JP2023164976A - オーディオ信号処理システム及び方法 - Google Patents
オーディオ信号処理システム及び方法 Download PDFInfo
- Publication number
- JP2023164976A JP2023164976A JP2023145272A JP2023145272A JP2023164976A JP 2023164976 A JP2023164976 A JP 2023164976A JP 2023145272 A JP2023145272 A JP 2023145272A JP 2023145272 A JP2023145272 A JP 2023145272A JP 2023164976 A JP2023164976 A JP 2023164976A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- playback
- speaker
- metadata
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 230000005236 sound signal Effects 0.000 title claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 123
- 230000008569 process Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 122
- 239000000203 mixture Substances 0.000 description 50
- 230000000694 effects Effects 0.000 description 35
- 238000002156 mixing Methods 0.000 description 24
- 238000004091 panning Methods 0.000 description 21
- 238000009826 distribution Methods 0.000 description 20
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004806 packaging method and process Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000007812 deficiency Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012858 packaging process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000010421 standard material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Liquid Crystal Substances (AREA)
Abstract
【課題】シネマサウンドフォーマットと、空間記述フォーマットを含むオーディオ信号を処理するシステム及び方法を提供する。【解決手段】複数のモノラルオーディオストリームと、関連するメタデータとを有するオーサリングコンポーネントは、再生ロケーションを示す適応的オーディオミックスを生成する。その一部分はチャンネルベースオーディオとして識別され、他の部分はオブジェクトベースオーディオとして識別される。再生ロケーションは、スピーカの指定及び3次元空間中のロケーションを含む。メタデータは、オブジェクトベースのモノラルオーディオストリームのそれぞれが、複数のスピーカフィードのうちの一以上の特定のスピーカのいずれにもレンダリングされないように、各モノラルオーディオストリームを複数のスピーカのうちの一以上の特定のスピーカにレンダリングすることが禁止されるかどうかを示す。【選択図】図3
Description
一または複数の実施形態は、概してオーディオ信号処理に関し、より具体的には、シネマ、ホーム、及びその他の環境で用いるためのハイブリッドオブジェクト及びチャンネルベースオーディオ処理に関する。
背景技術セクションで説明する主題は、背景技術セクションで言及するからというだけで先行技術であると考えてはならない。同様に、背景技術セクションで言及する、または背景技術セクションの主題に関連する問題は、先行技術で事前に認識されていたと間が手はならない。背景技術セクションの主題は、単に複数の異なるアプローチを表し、それ自体も発明であり得る。
フィルム付きサウンドの登場以来、映画サウンドトラックに関するクリエータの芸術的意図を捉え、それをシネマ環境で正確に再現するのに用いられる技術は安定的に進化してきた。シネマサウンドの基本的役割は、スクリーンに映されるストーリーをサポートすることである。典型的なシネマサウンドトラックは、スクリーン上の要素が画像に対応する異なる多くのサウンド要素である、会話、ノイズ、異なるオンスクリーン要素から発せられバックグラウンドミュージックや周辺効果と結びついて全体的な聴衆体験を形成するサウンドエフェクトを含む。クリエータやプロデューサの芸術的意図は、音源位置、強さ、動き、その他の同様なパラメータに関して、スクリーンに映されるものにできるだけ近く対応するように、これらのサウンドを再生させる望みを表している。
現在のシネマオーサリング、配信、及び再生には、真に没入的な実物そっくりなオーディオの生成を制約する制限がある。従来のチャンネルベースオーディオシステムは、ステレオや5.1システムなどの再生環境の個別のスピーカにスピーカフィードの形式でオーディオコンテンツを送る。デジタルシネマの登場でフィルム上のサウンドについて、オーディオの16チャンネルまでの組み込みなど、新しい標準が生まれ、コンテンツクリエータに大きなクリエイティビティを与え、聴衆により包囲的かつ現実的な音響体験を与えている。7.1サラウンドシステムの登場により、既存の左右のサラウンドチャンネルを4つのゾーンに分割して、サウンドデザイナーとミキサーの範囲を増大してシアターにおけるオーディオ要素のポジショニングを制御することにより、サラウンドチャンネル数を増やす新しいフォーマットが提供された。
リスナの体験をさらに向上するため、仮想的な3次元環境におけるサウンドの再生が研究開発のエリアになった。サウンドの空間表現は、オーディオオブジェクトを利用する。オーディオオブジェクトは、オーディオ信号と、それに関連する、見かけのソース位置(例えば、3D座標)、見かけのソース幅、及びその他のパラメータのパラメトリックソース記述である。オブジェクトベースオーディオは、デジタルムービー、ビデオゲーム、シミュレーション、3Dビデオなど現在の多くのマルチメディアアプリケーションにますます使われつつある。
空間的オーディオを配信する手段として、従来のスピーカフィードやチャンネルベースオーディオを越える拡張が必須であり、モデルベースオーディオ記述に大きな関心が寄せられている。モデルベースオーディオ記述は、リスナ/エギジビタに、個別のニーズやバジェットに合った再生構成を選択させ、オーディオを彼らが選択した構成でレンダさせる自由を約束ものである。ハイレベルでは、現在、4つのメイン空間的オーディオ記述フォーマットがある:予定(nominal)スピーカ位置のスピーカを意図した信号としてオーディオが記述されるスピーカフィード;
所定アレイ中の仮想または実際のマイクロホンによりキャプチャされた信号としてオーディオが記述されるマイクロホンフィード;
記述された位置におけるオーディオイベントのシーケンスについてオーディオが記述されるモデルベース記述;及び
リスナの耳に届く信号によりオーディオが記述されるバイノーラル。これらの4つの記述フォーマットは、オーディオ信号をスピーカフィードに変換する一または複数のレンダリング技術と関連付けられることが多い。現在のレンダリング技術には、オーディオストリームが一組のパニング則(panning laws)と既知のまたは仮定のスピーカ位置とを用いてスピーカフィードに変換される(一般的には配信前にレンダされる)パニング(panning);マイクロホン信号を変換してスケーラブルなスピーカアレイ用にフィードする(一般的には、配信後にレンダされる)Ambisonics;サウンドイベントがサウンドフィールドを合成するために適当なスピーカ信号に変換される(一般的には配信後にレンダされる)WFS(wave field synthesis);一般的にはヘッドホンを用いるが、スピーカとクロストークキャンセレーションも用いられ、L/R(左/右)バイノーラル信号が左右の耳に送られる(配信の前または後にレンダされる)バイノーラルがある。これらのフォーマットのうち、単純かつ有効なので、スピーカフィードフォーマットが最も一般的である。(最も正確かつ最も信頼できる)最高の音的結果は、ミキシング/モニタリング及びスピーカフィードへの直接の配信により実現できる。コンテンツクリエータとリスナとの間の処理がないからである。再生システムが予め分かっている場合、スピーカフィード記述は一般的に最も高い忠実性を提供する。しかし、多くの実際のアプリケーションでは、再生システムは分からない。モデルベース記述は、最も適応的であると思われる。レンダリング技術に関する仮定をせず、そのためにどのレンダリング技術にも容易に適用できるからである。モデルベース記述は空間的情報を効率的に捕捉するが、音源の数が増えるにつれて、非効率的になる。
所定アレイ中の仮想または実際のマイクロホンによりキャプチャされた信号としてオーディオが記述されるマイクロホンフィード;
記述された位置におけるオーディオイベントのシーケンスについてオーディオが記述されるモデルベース記述;及び
リスナの耳に届く信号によりオーディオが記述されるバイノーラル。これらの4つの記述フォーマットは、オーディオ信号をスピーカフィードに変換する一または複数のレンダリング技術と関連付けられることが多い。現在のレンダリング技術には、オーディオストリームが一組のパニング則(panning laws)と既知のまたは仮定のスピーカ位置とを用いてスピーカフィードに変換される(一般的には配信前にレンダされる)パニング(panning);マイクロホン信号を変換してスケーラブルなスピーカアレイ用にフィードする(一般的には、配信後にレンダされる)Ambisonics;サウンドイベントがサウンドフィールドを合成するために適当なスピーカ信号に変換される(一般的には配信後にレンダされる)WFS(wave field synthesis);一般的にはヘッドホンを用いるが、スピーカとクロストークキャンセレーションも用いられ、L/R(左/右)バイノーラル信号が左右の耳に送られる(配信の前または後にレンダされる)バイノーラルがある。これらのフォーマットのうち、単純かつ有効なので、スピーカフィードフォーマットが最も一般的である。(最も正確かつ最も信頼できる)最高の音的結果は、ミキシング/モニタリング及びスピーカフィードへの直接の配信により実現できる。コンテンツクリエータとリスナとの間の処理がないからである。再生システムが予め分かっている場合、スピーカフィード記述は一般的に最も高い忠実性を提供する。しかし、多くの実際のアプリケーションでは、再生システムは分からない。モデルベース記述は、最も適応的であると思われる。レンダリング技術に関する仮定をせず、そのためにどのレンダリング技術にも容易に適用できるからである。モデルベース記述は空間的情報を効率的に捕捉するが、音源の数が増えるにつれて、非効率的になる。
長年にわたって、シネマシステムでは、レフト、センター、ライト、及び場合によっては「インナーレフト」と「インナーライト」チャンネルの形式の離散的スクリーンチャンネルを用いてきた(have featured)。これらの離散的ソースは、一般的に、サウンドをスクリーンの異なるエリアに正確に配置し、サウンドがロケーション間を移動またはパン(panned)するにつれ音質マッチングをさせるのに十分な周波数応答とパワーハンドリングを有する。リスナ体験を向上する最近の開発では、リスナに対する、サウンドのロケーションを正確に再生する試みがなされている。5.1システムでは、サラウンド「ゾーン」は複数のスピーカの配列を有し、そのすべてがレフトサラウンドゾーンとライトサラウンドゾーンのそれぞれにおいて同じオーディオ情報を有する。かかる配列(arrays)は「環境の(ambient)」または拡散したサラウンド効果には有効化も知れないが、日常では、サウンド効果はランダムに配置された点音源から発せられる。例えば、レストランでは、そこら中から環境音楽が流されている一方で、捉えにくいが個別のサウンドが、例えば、ある点からは人の話し声、他の点からはお皿にナイフが当たる音などが、複数の点から発せられる。かかるサウンドを観客席の周りに直接配置できれば、気づくほど明らかでなくても現実感が高くなる。オーバーヘッドサウンドもサラウンドデフィニションの重要な成分である。実世界では、サウンドはすべての方向から発せられ、必ずしも単一の水平面からではない。サウンドが頭上から、すなわち「上半球」から聞こえると、現実感が高くなる。しかし、現在のシステムは、異なる様々な再生環境において異なるオーディオタイプのサウンドの真に正確な再生は提供できない。既存のシステムを用いてサウンドのロケーションの正確な表現を試みるには、大量の処理、実際の再生環境に関する知識、及び設定が必要であり、ほとんどのアプリケーションでは現在のレンダリングシステムは実用的ではない。
必要なものは、複数のスクリーンチャンネルをサポートして、オンスクリーンサウンドや会話のデフィニションを増やしオーディオ・ビジュアルコヒーレンスを向上するシステムと、音源をサラウンドゾーン中のどこにでも正確に配置して、スクリーンから部屋へオーディオ・ビジュアルトランジションを向上する能力とである。例えば、スクリーン上のキャラクタが部屋の中で音源の方を見ている場合、サウンドエンジニア(「ミキサ」)はそのサウンドを正確に配置して、そのキャラクタの視線と一致し、その効果が観衆中で一貫しているようにする能力を有するべきである。しかし、従来の5.1または7.1サラウンドサウンドミックスでは、その効果はリスナの着席位置に大きく依存するので、大規模なリスニング環境では不利である。サラウンドの分解能を高くすると、単一のリスナが「スイートスポット」にいると仮定してコンテンツを作成する従来のアプローチとは反対に、ルームセントリックにサウンドを用いる新しい機会が生まれる。
空間的問題とは別に、現在の技術水準のマルチチャンネルシステムは、音質に関しても問題がある。例えば、壊れたパイプから蒸気が漏れるシューという音などの音質(timbral quality)は、複数のスピーカの配列により再生しなければならない。単一のスピーカにサウンドを向ける能力により、ミキサーは、配列再生(array reproduction)のアーティファクトを無くし、聴衆により現実的な体験を届ける機会を与えられる。従来、複数のサラウンドスピーカは、オーディオ周波数の同じフルレンジと、大きなスクリーンチャンネルがサポートするレベルをサポートしない。歴史的には、これはミキサーの問題となり、スクリーンから部屋にフルレンジサウンドを自由に動かす能力を低減してきた。結果として、シアターのオーナーは、自分のサラウンドチャンネル構成をアップグレードしようとは感じず、より音質の高い装置の普及の妨げになっていた。
[関連出願との相互参照]
[関連出願との相互参照]
本願は、2011年7月1日出願の米国仮出願第61/504,005と2012年4月20日出願の米国仮出願第61/636,429号の優先権を主張するものであり、両出願はその全体をあらゆる目的において参照援用する。
シネマサウンドフォーマットと、新しいスピーカレイアウト(チャンネル構成)及び関連する空間記述フォーマットを含む処理システムのためのシステムと方法を説明する。複数のレンダリング技術をサポートする適応的オーディオシステム及びフォーマットを定義する。オーディオストリームは、オーディオストリームの所望の位置を含む「ミキサーの意図」を記述するメタデータとともに伝送される。その位置は、(予め画定されたチャンネル構成内から)指定されたチャンネルとして、または3次元位置情報として、表される。このチャンネル及びオブジェクトフォーマットにより、チャンネルベース及びモデルベースのオーディオシーン記述方法が最適に結合される。適応的オーディオシステム用のオーディオデータは、複数の独立したモノフォニックオーディオストリームを含む。各ストリームは、ストリームがチャンネルベースストリームかオブジェクトベースストリームかを示す、関連するメタデータを有する。チャンネルベースストリームはチャンネル名により符号化されたレンダリング情報を有する。
オブジェクトベースストリームは、別の関連メタデータに符号化された数学的式により符号化されたロケーション情報を有する。元の独立な複数のオーディオストリームは、オーディオデータの全部を含む単一のシリアルビットストリームとしてパッケージされる。この構成により、サウンドが、他者中心的参照枠によりレンダされる。サウンドのレンダリングロケーションは、ミキサーの意図に対応するように、再生環境(例えば、部屋のサイズ、形など)の特性に基づく。オブジェクト位置メタデータは、適応的オーディオコンテンツを再生するように設定された部屋における利用可能なスピーカ位置を用いて、サウンドを正しく再生するのに必要な、適切な他者中心的参照枠情報を含む。これにより、サウンドが、サウンドエンジニアが体験したミックス環境とは異なるかも知れない再生環境に合わせて、最適にミックスされる。
適応的オーディオシステムは、改善された部屋等化(room equalization)とサラウンドバス管理(surround bass management)などの利益により、ミキサーにより音色マッチングに関して考えなくてもスピーカを(オンスクリーンであろうとオフスクリーンであろうと)自由にアドレスできるように、異なる部屋におけるオーディオの品質を改善する。適応的オーディオシステムは、従来のチャンネルベースのワークフローに、動的オーディオオブジェクトの柔軟性とパワーを加える。これらのオーディオオブジェクトにより、クリエータは、オーバーヘッドスピーカを含む再生スピーカ構成にかかわらず、個別のサウンド要素を制御できる。また、このシステムは、ポストプロダクションプロセスに新しい効率を導入し、それによりサウンドエンジニアは、自分の意図の全部を効率的に捕捉して、サラウンドサウンド7.1及び5.1バージョンをリアルタイムでモニターし、または自動生成できる。
この適応的オーディオシステムは、デジタルシネマプロセッサ内で、単一のトラックファイルにオーディオのエッセンスと芸術的意図をカプセル化することにより、配信を単純化する。この単一トラックファイルは、広い範囲のシアター構成において忠実に再生できる。このシステムは、ミックスとレンダが同じチャンネル構成とレンダリング構成への下向き適応された単一のインベントリを用いる時、すなわちダウンミキシング時、芸術的意図の最適な再生を提供する。
これらの利点及びその他の利点は、シネマサウンドプラットフォームに関連する実施形態を通して提供され、現在のシステム限界を解決し、現在利用できるシステムを越えるオーディオ体験を届ける。
以下の図面では、同じ参照番号は同じ要素を参照するのに用いられる。以下の図面は様々な例を示すが、一または複数のインプリメンテーションは、図面に示された例に限定されない。
一実施形態による、適応的オーディオシステムを利用するオーディオ生成及び再生環境のトップレベルの概要を示す図である。
一実施形態による、適応的オーディオミックスを作成するチャンネル及びオブジェクトベースデータの結合を示す図である。
一実施形態による、適応的オーディオコンテンツを生成、パッケージ、及びレンダリングするワークフローを示すブロック図である。
一実施形態による、適応的オーディオシステムのレンダリング段階を示すブロック図である。
一実施形態による、適応的オーディオシステムのメタデータタイプ及び関連メタデータ要素を列記した表である。
一実施形態による、適応的オーディオシステムのポストプロダクション及びマスタリングを示す図である。
一実施形態による、適応的オーディオファイルを用いるデジタルシネマパッケージングプロセスのワークフロー例を示す図である。
典型的な観客席における適応的オーディオシステムと用いるために示唆されたスピーカロケーションのレイアウト例を示す上面図である。
典型的な観客席で用いるために示唆されたスクリーンのスピーカロケーションの配置例を示す前面図である。
典型的な観客席における適応的オーディオシステムで用いるために示唆されたスピーカロケーションのレイアウト例を示す側面図である。
一実施形態による、基準点に対するトップサラウンドスピーカとサイドサラウンドスピーカの配置例を示す図である。
適応的オーディオシステム及び方法と、関連オーディオ信号と、複数のレンダリング技術をサポートするデータフォーマットとを説明する。ここに説明する一または複数の実施形態の態様は、ソフトウェア命令を実行する一または複数のコンピュータまたは処理デバイスを含むミキシング、レンダリング、及び再生システムにおいて、ソースオーディオ情報を処理するオーディオまたはオーディオビジュアルシステムでインプリメントできる。説明する実施形態のどれも、それだけで、または互いに組み合わせて用いることができる。先行技術の様々な欠陥により様々な実施形態が動機付けられ、これらは本明細書の一または複数の箇所で説明されるが、実施形態は必ずしもこれらの欠陥を解消するものでなくてもよい。言い換えると、異なる実施形態は本明細書で説明される異なる欠陥を解消するものである。ある実施形態は、本明細書で説明するある欠陥を部分的に解消するだけであってもよく、1つの欠陥だけを解消するものであってもよく、ある実施形態はこれらの欠陥をどれも解消しないものであってもよい。
本説明の目的において、以下の用語は関連付けられた意味を有する:
チャンネルまたはオーディオチャンネル:例えば、レフトフロントやライトトップサラウンドなど、位置がチャンネルIDとしてコード化されたモノフォニックオーディオ信号またはオーディオストリーム及びメタデータ。チャンネルオブジェクトは複数のスピーカを駆動し、例えば、レフトサラウンドチャンネル(Ls)はLs配列中のすべてのスピーカをフィードする。
チャンネルまたはオーディオチャンネル:例えば、レフトフロントやライトトップサラウンドなど、位置がチャンネルIDとしてコード化されたモノフォニックオーディオ信号またはオーディオストリーム及びメタデータ。チャンネルオブジェクトは複数のスピーカを駆動し、例えば、レフトサラウンドチャンネル(Ls)はLs配列中のすべてのスピーカをフィードする。
チャンネル構成:関連するノミナルロケーション、例えば、5.1、7.1などを有する所定の一組のスピーカゾーン;
5.1は、レフトとライトのチャンネル、センターチャンネル、2つのサラウンドチャンネル、及びサブウーファチャンネルを有する6チャンネルサラウンドサウンドオーディオシステムを言う;
7.1は、5.1システムに2つの追加的サラウンドチャンネルを追加する8チャンネルサラウンドシステムを言う。5.1及び7.1構成の例は、ドルビー(登録商標)サラウンドシステムを含む。
5.1は、レフトとライトのチャンネル、センターチャンネル、2つのサラウンドチャンネル、及びサブウーファチャンネルを有する6チャンネルサラウンドサウンドオーディオシステムを言う;
7.1は、5.1システムに2つの追加的サラウンドチャンネルを追加する8チャンネルサラウンドシステムを言う。5.1及び7.1構成の例は、ドルビー(登録商標)サラウンドシステムを含む。
スピーカ:オーディオ信号をレンダ(render)する一オーディオトランスデューサまたは複数のトランスデューサの組。
スピーカゾーン:一または複数のスピーカの配列は、一意的に参照でき、シネマで一般的に見られるように、レフトサラウンドなどの単一のオーディオ信号を受け取り、具体的にオブジェクトレンダリングのために除外または含める。
スピーカチャンネルまたはスピーカフィードチャンネル:画定されたスピーカ構成内における指定されたスピーカまたはスピーカゾーンに関連するオーディオチャンネル。スピーカチャンネルは関連するスピーカゾーンを用いてノミナル(nominally)にレンダされる。
スピーカチャンネルグループ:チャンネル構成に対応する一または複数のスピーカチャンネルの組(例えば、ステレオトラック、モノトラックなど)。
オブジェクトまたはオブジェクトチャンネル:数値的ソース記述を有する一または複数のオーディオチャンネルであって、明らかなソース位置(例えば、3D座標)、明らかなソース幅など。位置が空間内の3D位置としてコード化されたメタデータを有するオーディオストリーム。
オーディオプログラム:完全なセットになったスピーカチャンネル及び/またはオブジェクトチャンネルと所望の空間的オーディオプレゼンテーションを記述する関連メタデータ。
オーディオプログラム:完全なセットになったスピーカチャンネル及び/またはオブジェクトチャンネルと所望の空間的オーディオプレゼンテーションを記述する関連メタデータ。
他者中心基準(allocentric reference):レンダリング環境内の例えば部屋の壁や角、標準的スピーカロケーション、スクリーンロケーション(例えば、部屋のフロントレフトコーナー)などにあるフィーチャに対しオーディオオブジェクトが画定された空間的基準。
自己中心基準(egocentric reference):オーディオオブジェクトが、(観客)リスナの視点に対して画定された、リスナに対する角度(例えば、リスナの30°右)で指定されることが多い空間的基準。
フレーム:フレームは、オーディオプログラム全体が分割された、独立して復号可能なセグメント。オーディオフレームレートと境界は一般的にはビデオフレームと合わせられる(aligned)。
適応的オーディオ:チャンネルベース及び/またはオブジェクトベースのオーディオ信号及び再生環境に基づきオーディオ信号をレンダするメタデータ。
ここに説明するシネマサウンドフォーマットと処理システムは、「適応的オーディオシステム」とも呼ばれ、新しい空間的オーディオ記述とレンダリング技術を利用して、観客の没頭を強くし、芸術的な制御を大きくし、システムの柔軟性とスケーラビリティを高め、設置と維持を容易にする。シネマオーディオプラットフォームの実施形態には、ミキシングツール、パッカー/エンコーダ、アンパック/デコーダ、シアター内ファイナルミックス・レンダリングコンポーネント、新しいスピーカデザイン、ネットワークされた増幅器を含む複数の個別のコンポーネントが含まれる。システムには、コンテンツクリエータとエギジビタ(exhibitors)により用いられる新しいチャンネル構成の示唆が含まれている。本システムは、下記の複数のフィーチャをサポートするモデルベース記述を利用する。レンダリング構成への下向き及び上向き適応した、利用可能スピーカの最適な使用を可能にする単一のインベントリ;
チャンネル間相関を回避する最適化されたダウンミキシングを含む改善されたサウンドエンベロープメント(envelopment);
ステアスルー(steer-thru)アレイ(例えば、サラウンドアレイ中の一または複数のスピーカに動的に割り当てられたオーディオオブジェクト)による高くした空間的解像度;
代替的レンダリング方法のサポート。
チャンネル間相関を回避する最適化されたダウンミキシングを含む改善されたサウンドエンベロープメント(envelopment);
ステアスルー(steer-thru)アレイ(例えば、サラウンドアレイ中の一または複数のスピーカに動的に割り当てられたオーディオオブジェクト)による高くした空間的解像度;
代替的レンダリング方法のサポート。
図1は、一実施形態による、適応的オーディオシステムを利用するオーディオ生成及び再生環境のトップレベルの概要を示す図である。図1に示したように、包括的エンド・ツー・エンド環境100は、幅広いエンドポイントデバイス及びユースケースにわたるコンテンツ作成、パッケージング、配信及び再生/レンダリングコンポーネントを含む。全体的システム100は、異なるユーザ体験112を含む多数の異なるユースケースから補足されるコンテンツを端緒とする。コンテンツキャプチャ要素102は、例えば、シネマ、TV、ライブ放送、ユーザ作成コンテンツ、記録されたコンテンツ、ゲーム、音楽などを含み、オーディオ/ビジュアルコンテンツまたは純粋なオーディオコンテンツを含む。コンテンツは、システム100内をキャプチャ段階102から最終的ユーザ体験112まで進むにつれて、個別のシステムコンポーネントを通り、複数のキー処理ステップを通過する。これらのプロセスステップには、オーディオの前処理104、オーサリングツール及び処理106、例えばオーディオデータ、追加的メタデータ及び再生情報、及びオブジェクトチャンネルなどをキャプチャするオーディオコーデックによる符号化108が含まれる。圧縮(ロッシーまたはロスレス)、暗号化などの様々な処理効果は、様々な媒体による効率的かつセキュアな配信のため、オブジェクトチャンネルに適用される。適当なエンドポイント特有の復号及びレンダリングプロセス110が適用され、適応的オーディオユーザ体験112を再生し届ける。オーディオ体験112は、適切なスピーカと再生デバイスによるオーディオまたはオーディオ/ビジュアルコンテンツの再生を表し、キャプチャされたコンテンツの再生をリスナが体験する、シネマ、コンサートホール、アウトドアシアタ、家または部屋、リスニングブース、自動車、ゲームコンソール、ヘッドホンまたはヘッドセットシステム、パブリックアドレス(PA)システム、またはその他の再生環境などの任意の環境を表す。
システム100の実施形態は、マルチチャンネルオーディオプログラムの効率的な配信と記憶ができ、そのため「ハイブリッド」コーデックと呼ばれることがあるオーディオコーデック108を含む。コーデック108は、従来のチャンネルベースのオーディオデータを関連メタデータと結合して、ミキシング環境と異なるかも知れない環境におけるレンダリング及び再生のために適応され最適化されたオーディオの生成と配信を容易にするオーディオオブジェクトを作成する。これにより、サウンドエンジニアは、リスナの実際のリスニング環境に基づいて、最終的なオーディオがリスナにどのように聞こえるかに関する自分の意図をエンコード(encode)できる。
従来のチャンネルベースオーディオコーデックは、オーディオプログラムがリスナに対して所定の位置でスピーカアレイにより再生されるという仮定の下に動作する。完全なマルチチャンネルオーディオプログラムを生成するため、サウンドエンジニアは、一般的に、多数のオーディオストリーム(例えば、会話、音楽、効果音)をミックスして、総合的に望ましいインプレッションを作成する。オーディオミキシングの決定は、一般的に、具体的なシアターの5.1または7.1システムなど所定の位置のスピーカアレイにより再生されたオーディオプログラムを聞くことにより、なされる。最終的なミックスされた信号は、オーディオコーデックへの入力となる。再生の場合、スピーカがその所定一に配置された時にのみ、空間的に正確なサウンドフィールドが実現される。
オーディオオブジェクトコーディングと呼ばれる新しいオーディオコーディング形式により、別のオーディオストリームの形式でエンコーダへの入力として、区別できる音源(オーディオオブジェクト)が供給される。オーディオオブジェクトの例は、会話トラック、単一インスツルメント、個別のサウンド効果音、そのたのポイントソースを含む。各オーディオオブジェクトは、空間的パラメータに関連し、サウンド位置、サウンド幅、及びベロシティ情報を含むがこれらに限定されない。オーディオオブジェクトと関連パラメータは、配信と格納のためにコード化される。最終的オーディオオブジェクトミキシングとレンダリングは、オーディオ配信チェーンの受信端で、オーディオプログラム再生の一部として行われる。このステップは、実際のスピーカ位置の知識に基づき、結果がユーザ特有のリスニング条件に合わせてカスタマイズできるオーディオ配信システムである。チャンネルベースとオブジェクトベースの2つのコーディング形式は、異なる入力信号条件で最適に動作する。チャンネルベースオーディオコーダは、一般的に、異なるオーディオソースの高密度のミクスチャを含む入力信号のコーディングでより効率的である。逆に、オーディオオブジェクトコーダは、少数の方向性が高い音源のコーディングにより効率的である。
一実施形態では、これらの方法とシステム100のコンポーネントは、従来のチャンネルベースオーディオ要素とオーディオオブジェクトコーディング要素との両方を含む一または複数のビットストリームを生成するように構成されたオーディオ符号化、配信、及び復号システムを有する。かかる組合せアプローチにより、チャンネルベースアプローチまたはオブジェクトベースアプローチのどちらと比較しても、コーディング効率とレンダリングの柔軟性が高くなる。
説明の実施形態の他の態様には、所定のチャンネルベースオーディオコーデックを後方互換に拡張して、オーディオオブジェクトコーディング要素を含めることが含まれる。オーディオオブジェクトコーディング要素を含む新しい「拡張レイヤ」が定義され、チャンネルベースオーディオコーデックビットストリームの「ベース」または「後方互換」レイヤに追加される。このアプローチにより、レガシーコーデックにより処理される拡張レイヤを含む一または複数のビットストリームを可能にし、一方、新しいデコーダを有するユーザにはエンハンスされたリスナ体験を提供する。エンハンスされたリスナ体験の一例には、オーディオオブジェクトレンダリングの制御が含まれる。このアプローチの追加的利点は、チャンネルベースオーディオコーデックでエンコードされたマルチチャンネルオーディオを復号/ミキシング/再符号化しなくても、オーディオオブジェクトが配信チェーンのどこで追加または修正されてもよいことである。
基準枠に関して、オーディオ信号の空間効果はリスナに没頭体験を提供するのに重要である。ビューイングスクリーンまたは部屋のある領域から発するように意図されたサウンドは、同じ相対的ロケーションに配置されたスピーカにより発せられるべきである。このように、モデルベース記述のサウンドイベントのプライマリオーディオメタデータは、位置であるが、他のパラメータ、例えば、サイズ、方向、ベロシティ、及び音響分散なども記述され得る。位置を伝えるため、モデルベースの3Dオーディオ空間記述は3D座標系を必要とする。伝送に用いられる座標系(ユークリッド、球面など)は一般的に便利さとコンパクト性で選択されるが、レンダリング処理には他の座標系を用いても良い。座標系に加え、空間内でオブジェクトのロケーションを表すのに基準枠が必要である。様々な異なる環境においてシステムがポジションベースサウンドを正確に再生するため、適当な参照枠の選択が重要な要因である。他者中心参照枠では、部屋の壁やコーナー、標準的スピーカロケーション、スクリーンロケーションなどレンダリング環境内のフィーチャに対して、音源位置が画定される。自己中心的参照枠では、リスナの視点で、例えば「私の前、少し左」などのようにロケーションが表される。空間知覚(オーディオその他)の化学的研究により、自己中心的パースペクティブがほとんど世界的に使われている。しかし、シネマの場合、複数の理由により他者中心が一般的に適切である。例えば、スクリーン上に関連オブジェクトがある場合、オーディオオブジェクトの正確なロケーションが最も重要である。他者中心基準を用いると、すべてのリスニング位置に対して、及び任意のスクリーンサイズに対して、サウンドはスクリーン上の同じ相対位置に、例えば、スクリーンの真ん中の3分の1左に、局在する。他の理由は、ミキサーが他者中心で考えてミキシングし、パンニングツール(panning tolls)が他者中心枠(部屋の壁)で構成され、及びミキサーが、このサウンドはオンスクリーンで、このサウンドはオフスクリーンで、または左の壁からなどとレンダリングされることを期待することである。
シネマ環境において他者中心参照枠の使用にかかわらず、自己中心参照枠が有用でありより適切である場合がある。これらには、非物語世界の音、すなわち、「物語世界」ではないサウンド、例えば、ムード音楽が含まれ、これらについては自己中心的一様なプレゼンテーションが望ましい。他の場合は、自己中心表現を必要とするニアフィールド効果(例えば、リスナの左耳でぶんぶん音をたてている蚊)である。現在、ヘッドホンや非常にニアフィールドなスピーカを用いないでかかるサウンドフィールドをレンダする手段はない。また、無限に遠い音源(及びその結果の平面波)は、一定の自己中心位置(例えば、左に30°)から来るように見え、かかるサウンドは他者中心項よりも自己中心項で記述する方がやさしい。
ある場合には、ノミナルなリスニング位置が画定される限り、他者中心参照枠の使用が可能であり、一方、ある例では、まだレンダできない自己中心表現を必要とする。他者中心参照はより有用かつ適当であるが、オーディオ表現は伸縮可能であるべきである。あるアプリケーションやリスニング環境では、自己中心的表現を含む多くの新しいフィーチャが望ましいからである。適応的オーディオシステムの実施形態は、最適な忠実度のため、自己中心参照を用いて拡散したまたは複雑なマルチポイントソース(例えば、スタジアムの群衆、雰囲気など)の及び他者中心的モデルベースサウンド記述をレンダリングして、空間的解像度とスケーラビリティを高めるための推奨チャンネル構成を含むハイブリッド空間的記述アプローチを含む。
システムコンポーネント
図1を参照して、元のサウンドコンテンツデータ102は、最初に、前処理ブロック104で処理される。システム100の前処理ブロック104は、オブジェクトチャンネルフィルタリングコンポーネントを含む。多くの場合、オーディオオブジェクトは個別の音源を含み、独立したサウンドのパンニングを可能にする。ある場合には、自然なまたは「プロダクション」サウンドを用いてオーディオプログラムを製作する時など、個別のサウンドオブジェクトを複数の音源を含むレコーディングから抽出する必要がある。実施形態には、より複雑な信号から独立なソース信号を分離(isolate)する方法が含まれる。独立したソース信号から分離すべき望ましくない要素には、他の独立した音源と背景ノイズが含まれるがこれらに限定されない。また、リバーブは除かれて「ドライな」音源が回復される。
図1を参照して、元のサウンドコンテンツデータ102は、最初に、前処理ブロック104で処理される。システム100の前処理ブロック104は、オブジェクトチャンネルフィルタリングコンポーネントを含む。多くの場合、オーディオオブジェクトは個別の音源を含み、独立したサウンドのパンニングを可能にする。ある場合には、自然なまたは「プロダクション」サウンドを用いてオーディオプログラムを製作する時など、個別のサウンドオブジェクトを複数の音源を含むレコーディングから抽出する必要がある。実施形態には、より複雑な信号から独立なソース信号を分離(isolate)する方法が含まれる。独立したソース信号から分離すべき望ましくない要素には、他の独立した音源と背景ノイズが含まれるがこれらに限定されない。また、リバーブは除かれて「ドライな」音源が回復される。
プリプロセッサ104もソース分離及びコンテンツタイプ検出機能を含む。このシステムは、入力オーディオの分析によるメタデータの自動生成を提供する。位置メタデータは、マルチチャンネルレコーディングから、チャンネルペア間の対応する入力の相対レベルの分析により、求められる。「話し」や「音楽」などのコンテンツタイプの検出は、例えば、特徴抽出と分類により実現できる。
オーサリングツール
オーサリングツールブロック106は、サウンドエンジニアの創造的意図の入力とコード化を最適化し、そのエンジニアに現実的に任意の再生環境での再生に最適化された最終的オーディオミックスを生成させることにより、オーディオプログラムのオーサリングを改善するフィーチャを含む。これは、オーディオオブジェクトと、元のオーディオコンテンツに関連し符号化されていた位置データの使用により実現できる。サウンドを観客席に正しく配置するため、サウンドエンジニアは、再生環境の実際の制約と特徴に基づきサウンドが結局どのようにレンダされるか制御する必要がある。適応的オーディオシステムは、サウンドエンジニアに、オーディオオブジェクトと位置データの使用によりオーディオコンテンツが設計されミックスされるしかたを変更させることにより、この制御を提供する。
オーサリングツールブロック106は、サウンドエンジニアの創造的意図の入力とコード化を最適化し、そのエンジニアに現実的に任意の再生環境での再生に最適化された最終的オーディオミックスを生成させることにより、オーディオプログラムのオーサリングを改善するフィーチャを含む。これは、オーディオオブジェクトと、元のオーディオコンテンツに関連し符号化されていた位置データの使用により実現できる。サウンドを観客席に正しく配置するため、サウンドエンジニアは、再生環境の実際の制約と特徴に基づきサウンドが結局どのようにレンダされるか制御する必要がある。適応的オーディオシステムは、サウンドエンジニアに、オーディオオブジェクトと位置データの使用によりオーディオコンテンツが設計されミックスされるしかたを変更させることにより、この制御を提供する。
オーディオオブジェクトは、観客席の物理的ロケーションから発すると知覚されるサウンド要素のグループと考えることができる。かかるオブジェクトは静的であってもよいし、動いても良い。適応的オーディオシステム100において、オーディオオブジェクトはメタデータにより制御される。このメタデータは、なかんずく、所与の時点におけるサウンドの位置の詳細である。オブジェクトは、シアターにおいてモニターされまたは再生される時、必ずしも物理的チャンネルに出力されるのではなく、そこにあるスピーカを用いて位置メタデータによりレンダされる、セッション中のトラックはオーディオオブジェクトであり、標準的パンニングデータは位置メタデータに類似している。このように、スクリーン上に配置されるコンテンツは、チャンネルベースコンテンツと事実上同じようにパンされるが、サラウンドに配置されたコンテンツは、必要なら個別のスピーカにレンダされ得る。オーディオオブジェクトの使用により、個々の効果の所望の制御がでくるが、映画サウンドトラックの他の側面は、チャンネルベース環境において有効に機能する。例えば、多くのアンビエント効果や反響は、スピーカの配列に入力されることにより実際の利益がある。これらはアレイを満たすのに十分な幅を有するオブジェクトとして扱えるが、チャンネルベース機能をすこし保持するとよい。
一実施形態では、適応的オーディオシステムは、オーディオオブジェクトに加えて「ベッド(beds)」をサポートする。ここで、ベッドは、事実上チャンネルベースのサブミックスまたはシュテム(stems)である。これらは、最終的再生(レンダリング)のために、コンテンツクリエータの意図に応じて、個別に、または単一のベッドに結合されて、配信できる。これらのベッドは、5.1、7.1などの異なるチャンネルベース構成で生成でき、9.1などのより大きいフォーマット及びオーバーヘッドスピーカを含む配列に拡張可能である。
図2は、一実施形態による、適応的オーディオミックスを作成するチャンネル及びオブジェクトベースデータの結合を示す図である。プロセス200で示したように、チャンネルベースデータ202は、例えばパルスコード変調(PCM)データの形式で提供される5.1または7.1サラウンドサウンドデータであるが、オーディオオブジェクトデータ204と結合され、適応的オーディオミックス208を形成する。オーディオオブジェクトデータ204は、元のチャンネルベースデータの要素を、オーディオオブジェクトのロケーションに関するパラメータを規定する関連メタデータと結合することにより生成される。
図2に概念的に示したように、オーサリングツールは、スピーカチャンネルグループとオブジェクトチャンネルのコンビネーションを同時に含むオーディオプログラムを生成する能力を提供する。例えば、オーディオプログラムは、任意的に複数のグループ(または、ステレオや5.1トラックなどのトラック)にオーガナイズされた一または複数のスピーカチャンネル、一または複数のスピーカチャンネルの記述的メタデータ、一または複数のオブジェクトチャンネル、及び一または複数のオブジェクトチャンネルの記述的メタデータを含み得る。一オーディオプログラム中で、各スピーカチャンネルグループ、及び各オブジェクトチャンネルは、一または複数の異なるサンプルレートを用いて表される。例えば、デジタルシネマ(Dシネマ)アプリケーションは、48kHzと96kHzのサンプルレートをサポートするが、他のサンプルレートをサポートしてもよい。さらにまた、異なるサンプルレートを有するチャンネルの取り込み、記憶、及び編集もサポートできる。
オーディオプログラムの生成は、サウンドデザインのステップを要する。これは、サウンド要素をレベル調整された構成サウンド要素の和として結合し、新しい所望のサウンド効果を生成するステップを含む。適応的オーディオシステムのオーサリングツールは、サウンド効果の生成を、スペーシオビジュアル(spatio-visual)サウンドデザイングラフィカルユーザインタフェースを用いて、相対的位置でサウンドオブジェクトのコレクションとして可能とする。例えば、発音オブジェクト(例えば、車)のビジュアル表現を、オーディオ要素(排気音、タイヤの音、エンジン雑音)をサウンドと適切な空間的位置(テールパイプ、タイヤ、ボンネットのところ)を含むオブジェクトチャンネルとして、アセンブルするテンプレートとして用いることができる。個別のオブジェクトチャンネルはグループとしてリンク及び操作できる。オーサリングツール106は、サウンドエンジニアが制御情報を入力しミックスパラメータを見て、システム機能を改善することができる複数のユーザインタフェース要素を含む。また、サウンドデザイン及びオーサリングプロセスは、オブジェクトチャンネルとスピーカチャンネルをグループとしてリンクし操作できるようにすることにより、改善される。一例は、オブジェクトチャンネルを、関連する反響信号を含む一組のスピーカチャンネルを有する個々のドライな音源と結合することである。
オーディオオーサリングツール106は、一般的にはミキシングと呼ばれる、複数のオーディオチャンネルを結合する機能をサポートする。ミキシングの複数の方法がサポートされ、従来のレベルベースミキシングとラウドネスベ―スミキシングを含む。レベルベースミキシングでは、ワイドバンドスケーリングがオーディオチャンネルに適用され、スケールされたオーディオチャンネルが足し合わせられる。各チャンネルのワイドバンドスケールファクタを選択して、得られるミクスト信号の絶対レベルと、ミクスト信号中のミックスされたチャンネルの相対レベルを制御する。ラウドネスベースミキシングでは、周波数依存振幅スケーリングを用いて、一または複数の入力信号が修正される。入力サウンドの知覚される音色は保存しつつ、周波数依存振幅を選択して所望の知覚される絶対ラウドネス及び相対ラウドネスを提供する。
オーサリングツールにより、スピーカチャンネルとスピーカチャンネルグループを生成できる。これにより、メタデータは、各スピーカチャンネルグループと関連する。各スピーカチャンネルグループは、コンテンツタイプに応じてタグできる。コンテンツタイプはテキスト記述を介して拡張可能である。コンテンツタイプは、会話、音楽、効果音を含むがこれらに限定されない。各スピーカチャンネルグループには、あるチャンネル構成から他のチャンネル構成にどのようにアップミックスするかに関する一意的な命令が割り当てられ、アップミキシングはN個のチャンネルのうちのM個のオーディオチャンネルの生成として定義される。ここで、M>Nである。アップミックス命令は、次のものを含むがこれらに限定されない:アップミキシングが許可されているかを示すイネーブル/ディスエーブルフラグ;
各入出力チャンネル間のマッピングを制御するアップミックスマトリックス;及び
デフォルトのイネーブルとマトリックス設定はコンテンツタイプに基づき割り当てられる、例えば音楽についてのみアップミキシングをイネーブルにする。また、各スピーカチャンネルグループには、あるチャンネル構成から他のチャンネル構成にどのようにダウンミックスするかに関する一意的な命令が割り当てられ、ダウンミキシングはX個のチャンネルのうちのY個のオーディオチャンネルの生成として定義される。ここで、Y<Xである。ダウンミックス命令は、次の事項を含むがこれらに限定されない:各入出力チャンネル間のマッピングを制御するマトリックス;及び
デフォルトマトリックス設定は、コンテンツタイプ、例えば会話に基づき割り当てでき、スクリーンにダウンミックスする;
効果はスクリーンからダウンミックスされる。各スピーカチャンネルは、レンダリング中のバス管理をディスエーブルするメタデータフラグと関連付けられる。
各入出力チャンネル間のマッピングを制御するアップミックスマトリックス;及び
デフォルトのイネーブルとマトリックス設定はコンテンツタイプに基づき割り当てられる、例えば音楽についてのみアップミキシングをイネーブルにする。また、各スピーカチャンネルグループには、あるチャンネル構成から他のチャンネル構成にどのようにダウンミックスするかに関する一意的な命令が割り当てられ、ダウンミキシングはX個のチャンネルのうちのY個のオーディオチャンネルの生成として定義される。ここで、Y<Xである。ダウンミックス命令は、次の事項を含むがこれらに限定されない:各入出力チャンネル間のマッピングを制御するマトリックス;及び
デフォルトマトリックス設定は、コンテンツタイプ、例えば会話に基づき割り当てでき、スクリーンにダウンミックスする;
効果はスクリーンからダウンミックスされる。各スピーカチャンネルは、レンダリング中のバス管理をディスエーブルするメタデータフラグと関連付けられる。
実施形態には、オブジェクトチャンネルとオブジェクトチャンネルグループの生成を可能にする機能を含む。この発明により、メタデータは、各オブジェクトチャンネルグループと関連する。各オブジェクトチャンネルグループは、コンテンツタイプに応じてタグできる。コンテンツタイプは、テキスト記述を介して拡張可能である。コンテンツタイプは会話、音楽、及び効果を含むがこれらに限定されない。各オブジェクトチャンネルグループには、オブジェクトがどのようにレンダされるべきか記述するメタデータを割り当てられる。
所望の明らかなソース位置を示す位置情報が提供される。位置は、自己中心的または他人中心的参照枠を用いて示せる。自己中心参照は、ソース位置がリスナに参照されるときに適当である。自己中心的位置の場合、位置記述には球面座標が有用である。他人中心参照は、シネマ及びその他のオーディオ/ビジュアルプレゼンテーションの典型的参照枠であり、ソース位置は、ビジュアルディスプレイスクリーンや部屋の境界などのプレゼンテーション環境中のオブジェクトに対して参照される。位置の補間を可能とする、または「スナップ・ツー・モード(snap to mode)」を可能にするなどのその他のレンダリング決定を使用するための3次元(3D)トラジェクトリ情報が提供される。所望の明らかに知覚されるオーディオソースサイズを示すサイズ情報が提供される。
サウンドエンジニアまたはミキサーによる、(ある程度空間的な正確性を犠牲にして)ただ1つのスピーカによりオブジェクトをレンダリングさせる意図を示す「最も近いスピーカへのスナップ(snap to closest speaker)」コントロールにより空間的量子化がされる許可された空間的歪みの限界は、エレベーションとアジマスの許容閾値により示せ、閾値を過ぎると、「スナップ」機能が生じない。距離閾値に加え、クロスフェードレートパラメータを示して、所望の位置がスピーカ間を動く時、動いているオブジェクトがあるスピーカから他のスピーカにどのくらい速く移行するか制御する
一実施形態では、ある位置メタデータには、従属空間メタデータを用いる。例えば、「スレーブ」オブジェクトを、そのスレーブオブジェクトが従うべき「マスター」オブジェクトと関連づけて、そのスレーブオブジェクトに対してメタデータを自動的に生成できる。タイムラグや相対スピードをスレーブオブジェクトに割り当てることができる。複数のオブジェクトのセットまたはグループに対し、音響重心を画定できるメカニズムを設けて、オブジェクトが他のオブジェクトの周りを動くように知覚されるように、オブジェクトをレンダすることもできる。かかる場合には、一または複数のオブジェクトが一オブジェクトまたは支配点などの画定されたエリアまたは部屋のドライエリアの周りを回転する。究極のロケーション情報は、他のオブジェクトに対するロケーションとは反対に、部屋に対するロケーションとして表されるが、レンダリング段階で音響重心を用いて、適切な各オブジェクトベースサウンドのロケーション情報を決める。
一実施形態では、ある位置メタデータには、従属空間メタデータを用いる。例えば、「スレーブ」オブジェクトを、そのスレーブオブジェクトが従うべき「マスター」オブジェクトと関連づけて、そのスレーブオブジェクトに対してメタデータを自動的に生成できる。タイムラグや相対スピードをスレーブオブジェクトに割り当てることができる。複数のオブジェクトのセットまたはグループに対し、音響重心を画定できるメカニズムを設けて、オブジェクトが他のオブジェクトの周りを動くように知覚されるように、オブジェクトをレンダすることもできる。かかる場合には、一または複数のオブジェクトが一オブジェクトまたは支配点などの画定されたエリアまたは部屋のドライエリアの周りを回転する。究極のロケーション情報は、他のオブジェクトに対するロケーションとは反対に、部屋に対するロケーションとして表されるが、レンダリング段階で音響重心を用いて、適切な各オブジェクトベースサウンドのロケーション情報を決める。
オブジェクトは、レンダされるとき、位置メタデータ及び再生スピーカのロケーションにより一または複数のスピーカに割り当てられる。追加的メタデータは、オブジェクトに関連付けられ、使用されるスピーカを限定する。制約の使用により、示されたスピーカの使用を禁止でき、または単に示されたスピーカを阻止できる(制約を使用しない場合よりもそのスピーカへのエネルギーを少なくする)。制約されるスピーカセットは、指定スピーカまたはスピーカゾーン(例えば、L、C、Rなど)、または前壁、後壁、左壁、右壁、天井、床、室内のスピーカなどのスピーカエリアを含むがこれらに限定されない。同様に、複数のサウンド要素の所望のミックスを規定する過程では、他の「マスキング」サウンド要素があるために、一または複数の要素を聞こえなくするまたは「マスク」することが可能である。例えば、マスクされた要素は、検出された時、グラフィカルディスプレイを介してユーザに識別され得る。
別途説明するように、広いバラエティのスピーカインストレーションとチャンネル構成におけるレンダリングに、オーディオプログラム記述を適応できる。オーディオプログラムをオーサリングする時、期待の再生構成にいてプログラムをレンダリングする効果をモニターして、所望の結果が実現されていることを確認することが重要である。この発明は、ターゲット再生構成を選択してその結果をモニターする機能を含む。また、このシステムは、自動的に、期待される各再生構成で生成されるワーストケース(すなわち、最高)信号レベルをモニターして、クリッピングやリミッティングが起これば、表示を提供できる。
図3は、一実施形態による、適応的オーディオコンテンツを生成、パッケージ、及びレンダリングするワークフローを示すブロック図である。図3のワークフロー300は、生成/オーサリング、パッケージング、及びエギジビションとラベルされた3つの区別できるタスクグループに分割されている。一般的に、図2に示したベッドとオブジェクトのハイブリッドモデルにより、ほとんどのサウンドデザイン、編集、プリミキシング、ファイナルミキシングが今日行われているのと同様に行われ、本プロセスに過度なオーバーヘッドを加えない。一実施形態では、サウンドプロダクションと処理機器と共に使われるソフトウェア、ファームウェア、または回路の形式で、適応的オーディオ機能が提供され、かかる機器は新しいハードウェアシステムであってもよく、または既存のシステムをアップデートする。例えば、プラグインアプリケーションがデジタルオーディオワークステーションのために提供され、サウンドデザインと編集内の既存のパンニング方法は変わらなくても良い。このように、ベッドとオブジェクトを両方とも5.1または同様のサラウンド対応の編集室にあるワークステーション内に入れることが可能である。オブジェクトオーディオ及びメタデータは、ダビングシアターにおいて、プリミックス及びファイナルミックス段階の準備のセッションで記録される。
図3に示したように、製作またはオーサリングタスクには、ユーザによる、例えば以下の例ではサウンドエンジニアによるミキシングコントロール302の、ミキシングコンソールまたはオーディオワークステーション304への入力を含む。一実施形態では、メタデータは、魅しキングコンソール面に集積され、これによりチャンネルストリップのフェーダ、パンニング、及びオーディオ処理がベッドまたはシュテムとオーディオオブジェクトと協働できる。メタデータは、コンソール面またはワークステーションユーザインタフェースのいずれかを用いて編集でき、サウンドはレンダリング及びマスタリングユニット(RMU)306を用いてモニターされる。ベッドとオブジェクトのオーディオデータ及び関連メタデータは、マスタリングセッション中に記録され、「プリントマスター」を生成する。このプリントマスターは、適応的オーディオミックス310とその他の任意のレンダされた派生物(サラウンド7.1または5.1シアター用ミックス)308を含む。既存のオーサリングツール(例えば、ProToolsなどのデジタルオーディオワークステーション)を用いて、サウンドエンジニアは、ミックスセッション中の個々のオーディオトラックをラベルできる。実施形態は、ユーザがトラック中の個々のサブセグメントをラベルして、オーディオ要素の発見または素早い特定を支援することにより、このコンセプトを拡張する。メタデータの定義または生成を可能にするミキシングコンソールへのユーザインタフェースを、グラフィカルユーザインタフェース要素、物理的コントロール(例えば、スライダやノブ)、またはこれらの任意の組合せにより実施できる。
パッケージング段階において、プリントマスターファイルは、デジタルシネマパッケージング施設に送るため、オーディオコンテンツのインテグリティを保証するために、業界標準のMXFラッピングプロシージャを用いてラップされ、ハッシュされ、任意的に暗号化される。このステップは、デジタルシネマプロセッサ(DCP)312または任意の適切なオーディオプロセッサにより、シアター318に備えられた標準サラウンドサウンド、適応的オーディオ対応シアター320、またはその他の再生環境など、最終的な再生環境に応じて行える。図3に示したように、プロセッサ312は、エギジビション環境に応じて適当なオーディオ信号314と316を出力する。
一実施形態では、適応的オーディオプリントマスターは、標準的DCI準拠パルスコード変調(PCM)ミックスとともに適応的オーディオミックスを含む。PCMミックスは、ダビングシアターのレンダリング及びマスタリングユニットによりレンダでき、または必要に応じて別個のミックスパスにより生成できる。PCMオーディオは、デジタルシネマプロセッサ312中の標準的メインオーディオトラックファイルを形成し、適応的オーディオは突いて蚊的トラックファイルを形成する。かかるトラックファイルは、既存の業界標準に準拠しており、それを使えないDCI準拠サーバにより無視される。
シネマ再生環境の例では、適応的オーディオトラックファイルを含むDCPは、サーバにより有効なパッケージとして認識され、サーバに取り込まれ、適応的オーディオシネマプロセッサにストリーミングされる。リニアPCMと適応的オーディオファイルを両方とも利用できるシステムは、必要に応じてそれらを切り換えることができる。エギジビション段階への配信のため、適応的オーディオパッケージングスキームにより、単一タイプのパッケージがシネマに配信できる。DCPパッケージは、PCMと適応的オーディオファイルの両方を含む。鍵デリバリーメッセージ(KDM)などのセキュリティ鍵の利用を組み込み、ムービーコンテンツその他の同様のコンテンツのセキュアデリバリーを可能にする。
図3に示したように、サウンドエンジニアが、オーディオワークステーション304により、オーディオコンテンツのレンダリングと再生に関する自分の意図を表現できるようにすることにより、適応的オーディオメソドロジーが実現される。入力コントロールを制御することにより、エンジニアは、リスニング環境に応じて、オーディオオブジェクトとサウンド要素がどこでどのように再生されるか、規定することができる。メタデータは、エンジニアのミキシング入力302に応じて、オーディオワークステーション304において生成され、空間的パラメータ(例えば、位置、ベロシティ、強さ、音色など)を制御し、エギジビション中に、リスニング環境のどのスピーカまたはスピーカグループがそれぞれのサウンドを発する(play)するか規定するレンダリングキューを提供する。メタデータは、DCP312によるパッケージングと伝送のために、ワークステーション304またはRMU306において、それぞれのオーディオデータと関連付けられる。
エンジニアによるワークステーション304の制御を提供するグラフィカルユーザインタフェース及びソフトウェアツールは、図1のオーサリングツール106の少なくとも一部を有する。
ハイブリッドオーディオコーデック
図1に示したように、プロセッサ100はハイブリッドオーディオコーデック108を含む。このコンポーネントは、従来のチャンネルベースのオーディオ要素とオーディオオブジェクトコーディング要素の両方を含む単一ビットストリームを生成するように構成されたオーディオ符号化、配信、及び復号システムを有する。ハイブリッドオーディオコーディングシステムは、第1の符号化プロトコル(チャンネルベース)により符号化されたオーディオデータを復号するように構成された第1のデコーダと、一または複数の第2の符号化プロトコル(オブジェクトベース)により符号化されたオーディオデータを復号するように構成された一または複数の第2のデコーダとに、同時にコンパチブルである(すなわち、それらにより復号可能な)単一の(一体化された)ビットストリームを生成するように構成されたチャンネルベースの符号化システムを中心に作られている。ビットストリームは、第1のデコーダにより復号可能な(どの第2のデコーダによっても無視される)(データバーストの形式の)符号化データと、一または複数の第2のデコーダにより復号可能な(第1のデコーダにより無視される)(例えば、他のデータバーストである)符号化データとを両方とも含み得る。第1と一または複数の第2のデコーダからの復号されたオーディオ及び関連情報(メタデータ)を、チャンネルベース及びオブジェクトベースの情報が両方とも同時にレンダされ、ハイブリッドコーディングシステムに提供された(すなわち、3D空間またはリスニング環境内の)環境、チャンネル、空間情報、オブジェクトのファクシミリを生成するように、結合できる。
図1に示したように、プロセッサ100はハイブリッドオーディオコーデック108を含む。このコンポーネントは、従来のチャンネルベースのオーディオ要素とオーディオオブジェクトコーディング要素の両方を含む単一ビットストリームを生成するように構成されたオーディオ符号化、配信、及び復号システムを有する。ハイブリッドオーディオコーディングシステムは、第1の符号化プロトコル(チャンネルベース)により符号化されたオーディオデータを復号するように構成された第1のデコーダと、一または複数の第2の符号化プロトコル(オブジェクトベース)により符号化されたオーディオデータを復号するように構成された一または複数の第2のデコーダとに、同時にコンパチブルである(すなわち、それらにより復号可能な)単一の(一体化された)ビットストリームを生成するように構成されたチャンネルベースの符号化システムを中心に作られている。ビットストリームは、第1のデコーダにより復号可能な(どの第2のデコーダによっても無視される)(データバーストの形式の)符号化データと、一または複数の第2のデコーダにより復号可能な(第1のデコーダにより無視される)(例えば、他のデータバーストである)符号化データとを両方とも含み得る。第1と一または複数の第2のデコーダからの復号されたオーディオ及び関連情報(メタデータ)を、チャンネルベース及びオブジェクトベースの情報が両方とも同時にレンダされ、ハイブリッドコーディングシステムに提供された(すなわち、3D空間またはリスニング環境内の)環境、チャンネル、空間情報、オブジェクトのファクシミリを生成するように、結合できる。
コーデック108は、コード化されたオーディオ情報と、複数組のチャンネル位置(スピーカ)に関する情報を含むビットストリームを生成する。一実施形態では、一組のチャンネル位置は一定であり、チャンネルベースの符号化プロトコルに用いられ、一方、他の一組のチャンネル位置は適応的であり、オーディオオブジェクトのチャンネル構成が(そのオブジェクトがサウンドフィールドのどこに配置されるかに応じて)時間の関数として変化してもよいように、オーディオオブジェクトベースの符号化プロトコルに用いられる。このように、ハイブリッドオーディオコーディングシステムは、再生用に2組のスピーカロケーションに関する情報を担っており、一組は一定であり他の組のサブセットであってもよい。レガシーコード化されたオーディオ情報をサポートしているデバイスは、一定のサブセットからオーディオ情報を復号してレンダし、一方、より大きなセットをサポートできるデバイスは、そのより大きなセットから異なるスピーカに時間に依存して割り当てられた追加的コード化されたオーディオ情報を復号してレンダする。さらに、このシステムは、システム及び/またはデバイス内に同時に存在する第1の及び一または複数の第2のデコーダに依存しない。よって、第1のプロトコルをサポートしているデコーダのみを含むレガシー及び/または既存のデバイス/システムは、従来のチャンネルベースの再生システムを介してレンダされる完全にコンパチブルなサウンドフィールドを作る。この場合、ハイブリッドビットストリームプロトコルの未知のまたはサポートされていない部分(すなわち、第2の符号化プロトコルにより表現されたオーディオ情報)は、第1のハイブリッド符号化プロトコルをサポートしているシステムまたはデバイスデコーダにより無視される。
他の一実施形態では、コーデック108は、(第1のプロトコルをサポートする)第1の符号化サブシステムが、ハイブリッドエンコーダ中にある第1と一または複数の第2のエンコーダの両方により表されたすべてのサウンドフィールド情報(チャンネル及びオブジェクト)の結合表現(combined representation)を含むモードで動作するように構成されている。これにより、(典型的には一または複数の第2のエンコーダプロトコルに担われる)オーディオオブジェクトが第1のプロトコルのみをサポートするデコーダ内で表現されレンダされることにより、ハイブリッドビットストリームが、第1のエンコーダサブシステムのプロトコルのみをサポートするデコーダと後方互換性を含む。
さらに他の一実施形態では、コーデック108は、二以上の符号化サブシステムを含む。これらのサブシステムの各々は、異なるプロトコルによりオーディオデータを符号化するように構成され、複数のサブシステムの出力を結合してハイブリッドフォーマットの(一体化された)ビットストリームを生成する。
この実施形態の利益の一つは、ハイブリッドコード化されたオーディオビットストリームが、各々が第1の符号化プロトコルにより符号化されたデータのみを従来からサポートする広い範囲のコンテンツ配信システムで搬送できることである。これにより、ハイブリッドコーディングシステムをサポートするために、システム及び/またはトランスポートレベルのプロトコルの修正/変更が必要でなくなる。
オーディオ符号化システムは、一般的に、標準化されたビットストリーム要素を利用して、ビットストリーム自体中の追加的(任意の)データの伝送を可能にする。この追加的(任意の)データは、ビットストリーム中に含まれる符号化オーディオの復号中にはスキップ(すなわち、無視)されるが、復号以外の目的に用いられる。異なるオーディオコーディング標準は、一意的な用語体系を用いてこれらの追加的データフィールドを表す。この一般タイプのビットストリーム要素には、補助データ、スキップフィールド、データストリーム要素、フィル要素、付随的データ、及びサブストリーム要素を含むが、これらに限定されない。特に断らなければ、本文書において「補助データ」との表現の利用は、あるタイプやフォーマットの追加的データを示唆するのではなく、本発明に関連する実施例の一部または全部を含む一般的な表現として解釈すべきである。
結合されたハイブリッドコーディングシステムビットストリーム中の第1の符号化プロトコルの「補助的」ビットストリームを介してイネーブルされたデータチャンネルは、(一または複数の第2の符号化プロトコルで符号化された)一または複数の(独立のまたは従属した)オーディオビットストリームを担い得る。一または複数の第2のオーディオビットストリームは、N個のサンプルブロックに分割でき、第1のビットストリームの「補助データ」フィールドに多重される。第1のビットストリームは、適当な(準拠した)デコーダにより復号される。また、第1のビットストリームの補助データは、抽出され、一または複数の第2のオーディオビットストリームに再結合され、一または複数の第2のビットストリームのシンタックスをサポートしているプロセッサにより復号され、共にまたは独立に結合及びレンダされる。さらに、第1のビットストリームのデータのブロックが第2のビットストリームの補助データに多重されるように、第1と第2のビットストリームの役割を逆転することも可能である。
第2の符号化プロトコルに関連するビットストリーム要素も、その基礎をなすオーディオの情報(メタデータ)特性を担い搬送する。その情報は、所望の音源位置、ベロシティ、及びサイズを含むがこれらに限定されない。このメタデータは、復号とレンダリングのプロセスで利用され、適応可能なビットストリーム中に担われた関連オーディオオブジェクトの適切な(すなわち、元の)位置を再生する。また、上記のメタデータは、ハイブリッドストリームにある一または複数の第2のビットストリームに含まれたオーディオオブジェクトに適用可能であり、これを第1の符号化プロトコルに関連するビットストリーム要素内に担うことも可能である。
ハイブリッドコーディングシステムの第1と第2の符号化プロトコルのどちらかまたは両方に関連するビットストリーム要素は、空間パラメータ(すなわち、信号プロパティ自体のエッセンス)と、ハイブリッドコード化されたオーディオビットストリーム中に担われるオーディオクラスの形式で、基礎となるオーディオエッセンスタイプを記述するさらに別の情報とを特定するコンテキストメタデータを担う/搬送する。かかるメタデータは、例えば、話された会話、音楽、音楽ごしの会話、拍手、歌う声などの存在を示し、ハイブリッドコーディングシステムの上流または下流の、相互接続された前または後処理モジュールを適応的に修正するのに利用できる。
一実施形態では、コーデック108は、コーディングに利用できるビットが一または複数のプロトコルをサポートしている符号化サブシステムの全部または一部間で「共有」されている共有または共通ビットプールで動作するように構成されている。かかるコーデックは、一体化されたビットストリームの全体的な音質を最適化するために、符号化サブシステム間で(共通の「共有」ビットプールから)利用可能なビットを記述する。例えば、第1の時間区間中、コーデックは、第1の符号化サブシステムにより多い利用可能ビットを割り当て、残りのサブシステムにより少ない利用可能ビットを割り当て、第2の時間区間中、コーデックは、第1の符号化サブシステムにより少ない利用可能ビットを割り当て、残りのサブシステムにより多い利用可能ビットを割り当ててもよい。符号化サブシステム間でビットをいかに割り当てるかという決定は、例えば、共有ビットプールの統計的分析及び/または各サブシステムにより符号化されたオーディオコンテンツの分析の結果に依存する。コーデックは、符号化サブシステムの出力を多重することにより構成された一体化ビットストリームが規定時間区間にわたり一定のフレーム長さ/ビットレートを維持するように、共有プールからのビットを割り当てる。また、ある場合には、一体化されたビットストリームのフレーム長さ/ビットレートが規定時間区間にわたり変化することも可能である。
別の一実施形態では、コーデック108は、(第1の符号化プロトコルをサポートしているデコーダが復号する)符号化されたデータストリームの独立サブストリームとして構成され送信された第1の符号化プロトコルにより符号化されたデータと、(第1のプロトコルをサポートしているデコーダが無視する)符号化されたデータストリームの独立なまたは従属するサブストリームとして送られた第2のプロトコルにより符号化されたデータとを含む、一体化されたビットストリームを生成する。より一般的に、一クラスの実施形態において、コーデックは、二以上の独立または従属したサブストリーム(各サブストリームは異なるまたは同じ符号化プロトコルにより符号化されたデータを含む)を含む一体化されたビットストリームを生成する。
さらに別の一実施形態では、コーデック108は、(一意的ビットストリーム識別子と関連する第1の符号化プロトコルをサポートするデコーダが復号する)一意的ビットストリーム識別子で構成され送信された第1の符号化プロトコルにより符号化されたデータと、一意的なビットストリーム識別子と構成され送信された第2のプロトコルにより符号化された、第1のプロトコルをサポートするデコーダは無視するデータとを含む、一体化されたビットストリームを生成する。より一般的に、一クラスの実施形態において、コーデックは、二以上のサブストリーム(各サブストリームは異なるまたは同じ符号化プロトコルにより符号化されたデータを含み、各々が一意的なビットストリーム識別子を担う)を含む一体化されたビットストリームを生成する。上記の一体化されたビットストリームを生成する方法とシステムにより、ハイブリッドビットストリーム中でどのインターリービング及び/またはプロトコルが利用されたか、(デコーダに)曖昧さ無くシグナリングする機能が提供される(例えば、AUXデータ、SKIP、DSE、またはサブストリームアプローチを利用するかシグナリングする)。
本ハイブリッドコーディングシステムは、一または複数の第2のプロトコルをサポートしているビットストリームのデ・インターリービング/デ・マルチプレクシングと、メディア配信システムにわたり見つかる処理ポイントにおいて(第1のプロトコルをサポートしている)第1のビットストリームへの再インターリービング/再マルチプレクシングをサポートするように構成されている。また、ハイブリッドコーデックは、異なるサンプルレートのオーディオ入力ストリームをビットストリームに符号化できるように構成されている。これにより、生来的に異なる帯域幅を有する信号を含む音源を効率的にコーディングして配信する手段を提供する。例えば、ダイアローグトラックは、一般的には、音楽や効果トラックよりも、生来的に低い帯域幅を有する。
レンダリング
一実施形態では、本適応的オーディオシステムにより、複数の(例えば、128までの)トラックを、通常はベッドとオブジェクトの組合せとして、パッケージングすることができる。適応的オーディオシステム用のオーディオデータの基本的フォーマットは、複数の独立したモノフォニックオーディオストリームを含む。各ストリームは、ストリームがチャンネルベースストリームかオブジェクトベースストリームかを規定する、関連するメタデータを有する。チャンネルベースストリームは、チャンネル名またはラベルにより符号化されたレンダリング情報を有する。オブジェクトベースストリームは、別の関連メタデータに符号化された数学的式により符号化されたロケーション情報を有する。元の独立な複数のオーディオストリームは、順序付けられた、オーディオデータの全部を含む単一のシリアルビットストリームとしてパッケージされる。この適応的データ構成により、サウンドが、他者中心的参照枠によりレンダされる。サウンドの最終的レンダリングロケーションは、ミキサーの意図に対応するように、再生環境に基づく。このように、サウンドは、ラベルされたスピーカやスピーカグループ(例えば、レフトサラウンド)ではなく、再生する部屋の参照枠(例えば、左壁の中央)から発するように規定できる。オブジェクト位置メタデータは、適応的オーディオコンテンツを再生するように設定された部屋における利用可能なスピーカ位置を用いて、サウンドを正しく再生するのに必要な、適切な他者中心的参照枠情報を含む。
レンダリング
一実施形態では、本適応的オーディオシステムにより、複数の(例えば、128までの)トラックを、通常はベッドとオブジェクトの組合せとして、パッケージングすることができる。適応的オーディオシステム用のオーディオデータの基本的フォーマットは、複数の独立したモノフォニックオーディオストリームを含む。各ストリームは、ストリームがチャンネルベースストリームかオブジェクトベースストリームかを規定する、関連するメタデータを有する。チャンネルベースストリームは、チャンネル名またはラベルにより符号化されたレンダリング情報を有する。オブジェクトベースストリームは、別の関連メタデータに符号化された数学的式により符号化されたロケーション情報を有する。元の独立な複数のオーディオストリームは、順序付けられた、オーディオデータの全部を含む単一のシリアルビットストリームとしてパッケージされる。この適応的データ構成により、サウンドが、他者中心的参照枠によりレンダされる。サウンドの最終的レンダリングロケーションは、ミキサーの意図に対応するように、再生環境に基づく。このように、サウンドは、ラベルされたスピーカやスピーカグループ(例えば、レフトサラウンド)ではなく、再生する部屋の参照枠(例えば、左壁の中央)から発するように規定できる。オブジェクト位置メタデータは、適応的オーディオコンテンツを再生するように設定された部屋における利用可能なスピーカ位置を用いて、サウンドを正しく再生するのに必要な、適切な他者中心的参照枠情報を含む。
レンダラは、オーディオトラックを符号化するビットストリームを取り、信号タイプによりそのコンテンツを処理する。ベッドはアレイに送られる。アレイは、潜在的にここのオブジェクトとは異なる遅延及び等化処理を要する。本プロセスは、これらのベッドとオブジェクトの、複数の(64までの)スピーカ出力へのレンダリングをサポートする。図4は、一実施形態による、適応的オーディオシステムのレンダリング段階を示すブロック図である。図4のシステム400に示したように、適応的オーディオ信号402を有する128までのオーディオトラックなどの複数の入力信号は、RMU306とプロセッサ312などのシステム300の製作、オーサリング、及びパッケージング段階のコンポーネントにより提供される。これらの信号は、レンダラ404により利用されるチャンネルベースのベッドとオブジェクトを含む。チャンネルベースのオーディオ(ベッド)とオブジェクトは、異なるオーディオコンポーネントの出力レベルまたは振幅を制御するレベルマネージャ406に入力される。あるオーディオコンポーネントは、アレイ補正コンポーネント408により処理される。適応的オーディオ信号は、Bチェーン処理コンポーネント410を通してパスされる。Bチェーン処理コンポーネント410は、複数の(例えば、64までの)スピーカフィード出力信号を生成する。一般的に、Bチェインフィードは、フィルムストックのサウンドトラックを構成するAチェインコンテンツに対して、パワーアンプ、クロスオーバー、及びスピーカにより処理された信号を指す。
一実施形態では、レンダラ404は、シアターのサラウンドスピーカをその最高の能力までインテリジェントに使うレンダリングアルゴリズムを実行する。サラウンドスピーカのパワーハンドリングと周波数応答を改善し、シアターの各出力チャンネルまたはスピーカの同じモニタリング基準レベルを維持することにより、スクリーンとサラウンドスピーカ間でパン(panned)されるオブジェクトは、自分の音圧レベルを維持して、シアターの全体的な音圧レベルを上げること無く、音色をよりマッチさせることができる。適当に規定されたサラウンドスピーカのアレイは、サラウンド7.1または5.1サウンドトラック(すなわち、基準レベルの20dB上)中で利用可能な最大ダイナミックレンジを再生するのに一般的には十分なヘッドルームを有するが、単一のサラウンドスピーカが大型のマルチウェイスクリーンスピーカと同じヘッドルームを有する可能性は低い。結果として、サラウンドフィールドに配置されたオブジェクトが、単一のサラウンドスピーカを用いて得られるより大きい音圧を必要とする場合がある。これらの場合には、レンダラは、必要な音圧レベルを実現するため、適当な数のスピーカにわたりサウンドを分散する。適応的オーディオシステムは、サラウンドスピーカの品質とパワーハンドリングを改善して、レンダリングの忠実性を改善する。適応的オーディオシステムは、各サラウンドスピーカが改善されたパワーハンドリングを実現できる、同時に任意的により小さなスピーカキャビネットを利用できる、任意的なリアサブウーファの使用によるサラウンドスピーカのバスマネージメントをサポートする。また、現在のプラクティスよりもスクリーン近くにサイドサラウンドスピーカの追加して、オブジェクトがスクリーンからサラウンドにスムースに移行することを確保する。
オーディオオブジェクトのロケーション情報を規定するメタデータをレンダリングプロセスで使うことにより、システム400は、コンテンツクリエータが既存のシステムを越えて動く包括的かつ柔軟な方法を提供する。前述の通り、現在のシステムは、あるスピーカロケーションに固定されたオーディオを、オーディオエッセンス(再生されるオーディオの部分)で搬送されるコンテンツのタイプについての限定的知識だけで、生成して配信する。適応的オーディオシステム100は、特定スピーカロケーションオーディオ(レフトチャンネル、ライトチャンネル等)と、サイズとベロシティを含むがこれらに限定されない一般化空間情報を有するオブジェクト指向オーディオ要素との両方のオプションを含む新しいハイブリッドアプローチを提供する。このハイブリッドアプローチは、(固定スピーカロケーションにより提供される)忠実性と(一般化オーディオオブジェクトの)レンダリングにおける柔軟性に対するバランスが取れたアプローチを提供する。また、このシステムは、コンテンツ制作時におけるコンテンツクリエータによるオーディオエッセンスとペアになったオーディオコンテンツに関する追加的な有用な情報を提供する。この情報は、レンダリング中に非常にパワフルな方法で用いられるオーディオの属性に関するパワフルで詳細な情報を提供する。かかる属性には、コンテンツタイプ(会話、音楽、効果、フォーリィ(Foley)、背景/周囲など)、空間属性(3D位置、3Dサイズ、ベロシティ)、レンダリング情報(スピーカロケーションへのスナップ、チャンネル重み、ゲイン、バスマネージメント情報など)を含むが、これらに限定されない。
ここに説明する適応的オーディオシステムは、幅広く可変する数のエンドポイントによりレンダするのに使えるパワフルな情報を提供する。多くの場合、適用される最適なレンダリング方法は、エンドポイントデバイスに大きく依存する。例えば、ホームシアタシステムとサウンドバーは、2、3、5、7または9個の別個のスピーカを有することがある。テレビジョン、コンピュータ、及びミュージックドックなどの他の多くのタイプのシステムは、2つのスピーカのみを有し、ほとんどすべての一般に使われるデバイス(PC、ラップトップ、タブレット、携帯電話、ミュージックプレーヤなど)はバイノーラルヘッドホン出力を有する。しかし、今日販売されている従来のオーディオ(モノ、ステレオ、5.1、7.1チャンネル)の場合、エンドポイントデバイスは単純化した決定をする必要があることが多く、特定チャンネル/スピーカ形式で配信されているオーディオをレンダ及び再生する妥協をする。また、配信されている実際のコンテンツ(会話、音楽、周囲など)に関して搬送される情報はほとんどまたは全く無く、オーディオ再生についてコンテンツクリエータの意図に関する情報はほとんどまたは全く無い。しかし、適応的オーディオシステム100は、この情報と、潜在的にオーディオオブジェクトへのアクセスを提供する。これらを用いて、人を引きつける次世代のユーザ体験を創造できる。
システム100により、コンテンツクリエータは、一意的及びパワフルなメタデータと適応的オーディオ伝送フォーマットにより、位置サイズ、ベロシティなどのメタデータを用いてビットストリーム中に、ミックスの空間的意図を組み込める。これにより、オーディオの空間再生に大きな柔軟性ができる。空間レンダリングの立場から、適応的オーディオにより、再生システムのジオメトリがオーサリングシステムのジオメトリと同じでない場合に生じる空間的歪みを回避するため、ミックスの適応を、部屋におけるスピーカの厳密な位置にすることができる。一スピーカチャンネルのオーディオのみが送られる現在のオーディオ再生システムでは、コンテンツクリエータの意図は分からない。システム100は、生成及び配信パイプラインで搬送されたメタデータを用いる。適応的オーディオ対応(adaptive audio-aware)再生システムは、このメタデータ情報を用いて、コンテンツクリエータの元の意図に合うように、コンテンツを再生する。同様に、ミックスを再生システムの厳密なハードウェア構成に適応させることができる。現在、テレビジョン、ホームシアタ、サウンドバー、ポータブルミュージックプレーヤドックなど、レンダリング機器には多くの異なるスピーカ構成とタイプがある。これらのシステムは、今日、特定チャンネルオーディオ情報(すなわち、レフト及びライトチャンネルオーディオまたはマルチチャンネルオーディオ)を送る時、オーディオを処理して、レンダリング機器の能力に適宜マッチさせなければならない。一例は、標準的なステレオオーディオが三以上のスピーカを有するサウンドバーに送られる時である。一スピーカチャンネルのオーディオのみが送られる現在のオーディオ再生では、コンテンツクリエータの意図は分からない。生成及び配信パイプラインにより搬送されたメタデータの使用により、適応的オーディオ対応再生システムは、この情報を用いて、コンテンツクリエータの元の意図にマッチするように、コンテンツを再生する。例えば、あるサウンドバーは、横向きのスピーカを有し、包み込まれた感じを生じる。適応的オーディオでは、空間情報とコンテンツタイプ(周囲効果など)をサウンドバーにより用いて、適切なオーディオのみをこれらの横向き(side firing)スピーカに送ることができる。
適応的オーディオシステムにより、すべてのフロント/バック、レフト/ライト、アップ/ダウン、ニア/ファーディメンションで無制限の補間をできる。現在のオーディオ再生システムでは、リスナが2つのスピーカの間にいると感じるようにオーディオを配置することが望ましいオーディオをどのように処理するかに関する情報は無い。現在、特定のスピーカのみに割り当てられたオーディオでは、空間的量子化ファクタが導入される。適応的オーディオでは、オーディオの空間的位置付けが正確に分かり、オーディオ再生システムにおいて適宜再生できる。
ヘッドホンレンダリングに関して、クリエータの意図は、頭部伝達関数(HRTF)を空間位置にマッチングすることにより実現される。オーディオがヘッドホンで再生される時、頭部伝達関数の適用により、空間的仮想化が実現できる。頭部伝達関数は、オーディオを処理し、オーディオがヘッドホンではなく3D空間で発せられているような感じを生じる知覚的キューを付け加える。空間再生の正確性は、空間的位置を含む複数のファクタに基づき変化し得る適当なHRTFの選択に依存する。適応的オーディオシステムにより提供される空間情報を用いると、一または連続的に変化する数のHRTFが選択され、再生体験が大幅に改善される。
適応的オーディオシステムにより搬送される空間情報は、コンテンツクリエータにより、人を引きつけるエンターテイメント体験(フィルム、テレビジョン、音楽など)の生成に使われるだけでなく、ビルディングや地理的関心地点などの物理的オブジェクトに対してリスナがどこに配置しているかを示すことができる。これにより、ユーザは、現実世界に関する、すなわち拡張現実に関する仮想化されたオーディオ体験とインターラクトできる。
実施形態は、オブジェクトオーディオデータが利用できない場合にのみメタデータを読むことにより、エンハンスされたアップミキシングをすることにより、空間的アップミキシングを可能にする。すべてのオブジェクトの位置とそのタイプを知ることにより、アップミキサは、チャンネルベーストラック中の要素を差別化できる。既存のアップミキシングアルゴリズムは、オーディオコンテンツタイプなど、及びオーディオストリーム中の異なる要素の位置などの情報を推論し、可聴アーティファクトが最小限のまたは無い高品質アップミックスを生成しなければならない。多くの場合、推論される情報は不正確または不適当である。適応的オーディオでは、オーディオコンテンツタイプ、空間的位置、ベロシティ、オーディオオブジェクトサイズなどに関するメタデータから得られる追加情報を、アップミキシングアルゴリズムにより用いて、高品質の再生結果を生成することができる。また、本システムは、スクリーンのオーディオオブジェクトをビジュアル要素に正確に位置付けすることにより、オーディオをビデオに空間的にマッチさせる。この場合、オーディオ要素の再生される空間的ロケーションがスクリーン上の画像要素にマッチする場合、人を引きつけるオーディオ/ビデオ再生体験が可能であり、特にスクリーンサイズが大きい場合にそうである。一例は、フィルムまたはテレビジョンプログラム中の会話を、スクリーン上で話している人やキャラクタと空間的に一致させることである。通常のスピーカチャンネルベースオーディオでは、スクリーン上の人やキャラクタのロケーションにマッチさせるために、会話が空間的にどこに配置されるべきかを決定する簡単な方法は無い。適応的オーディオで利用可能なオーディオ情報を用いて、かかるオーディオ/ビジュアルアライメントが実現できる。また、ビジュアル位置及びオーディオ空間アライメントを、自動車、トラック、アニメーションなどの非キャラクタ/会話オブジェクトに用いることもできる。
空間マスキング処理がシステム100により促進される。適応的オーディオメタデータによるミックスの空間的意図の知識は、そのミックスを任意のスピーカ構成に適応できることを意味するからである。しかし、人は再生システムの制約により、同じロケーションまたはほとんど同じロケーションにおけるオブジェクトをダウンミックスする危険を冒す。例えば、サラウンドチャンネルがなければ、レフトリアにパンされることを意図されたオブジェクトは、レフトフロントにダウンミックスされ、同時にレフトフロントで音量がより大きな要素がしょうじた場合、ダウンミックスされたオブジェクトはマスクされ、ミックスから消える。適応的オーディオメタデータを用いて、空間マスキングがレンダラにより予定され、各オブジェクトの空間及び/またはラウドネスダウンミックスパラメータが調整されるので、ミックスのすべてのオーディオ要素は、元のミックスと同じくらい知覚可能のままである。レンダラは、ミックスと再生システムとの間の空間的関係を理解しているので、二以上のスピーカ間にファントムイメージを生成する替わりに、最も近いスピーカにオブジェクトを「スナップ」する機能を有する。これは、ミックスの空間表現を少し歪めるが、レンダラが意図しないファントムイメージを回避できる。例えば、ミキシング段階のレフトスピーカの角度位置が、再生システムのレフトスピーカの角度位置に対応しない場合、最も近いスピーカへのスナップ機能を用いて、再生システムにミキシング段階のレフトチャンネルの一定のファントムイメージを再生させることを回避できる。
コンテンツ処理に関して、適応的オーディオシステム100により、コンテンツクリエータは、個々のオーディオオブジェクトを生成し、コンテンツに関する情報を追加でき、再生システムに搬送できる。これにより、再生前のオーディオの処理の柔軟性が大きくなる。コンテンツ処理とレンダリングの立場から、適応的オーディオシステムにより処理をオブジェクトの対応に適応させることが可能である。例えば、会話エンハンスメントは会話オブジェクトのみに適用できる。会話エンハンスメントは、会話の可聴性及び/または明瞭性が高く及び/または向上するように、会話を含むオーディオを処理する方法を指す。多くの場合、会話に適用されるオーディオ処理は、非会話オーディオコンテンツ(すなわち、音楽、周囲効果など)には不適当であり、好ましくない可聴アーティファクトが生じることがある。適応的オーディオでは、オーディオオブジェクトは、一コンテンツに会話のみを含み、レンダリングソリューションが会話コンテンツのみに会話エンハンスメントを選択的に適用するように、適宜ラベルできる。また、オーディオオブジェクトが会話のみである(かつ、多くの場合のように、会話とその他のコンテンツのミクスチャではない)場合、会話エンハンスメント処理は、排他的に会話を処理できる(それにより、他のコンテンツに処理がされることを制限する)。同様に、バスマネージメント(フィルタリング、減衰、利得)は、それらのタイプに基づきオブジェクトにターゲットにできる。バスマネージメントは、一コンテンツ中のバス(以下の)周波数のみを選択的に隔離して処理することを指す。現在のオーディオシステムと配信メカニズムでは、これはすべてのオーディオに適用される「ブラインド」プロセスである。適応的オーディオでは、バスマネージメントが適当であるオーディオオブジェクトは、メタデータにより特定でき、レンダリング処理を適当に適用できる。
また、適応的オーディオシステム100は、オブジェクトベースの動的レンジ補正と選択的アップミキシングを提供する。従来のオーディオトラックは、コンテンツ自体と同じ長さを有するが、オーディオオブジェクトはコンテンツ中の限られた時間のみに生じることもある。オブジェクトと関連したメタデータは、その平均に関する情報と、ピーク信号振幅と、及びその開始またはアタック時間(特に、遷移素材の場合)を含む。この情報により、コンプレッサは、その圧縮と時定数(アタック、リリースなど)をコンテンツにより合うように適応する。選択的アップミキシングの場合、コンテンツクリエータは、適応的オーディオビットストリームに、オブジェクトがアップミックスされるべきか否かを示すことを選択するかも知れない。この情報により、適応的オーディオレンダラとアップミキサは、クリエータの意図をリスペクトしつつ、どのオーディオ要素が安全にアップミックスできるか、判断できる。
また、実施形態により、適応的オーディオシステムは、複数の利用可能なレンダリングアルゴリズム及び/またはサラウンドサウンドフォーマットから、好ましいレンダリングアルゴリズムを選択できる。利用可能なレンダリングアルゴリズムの例には、バイノーラル、ステレオダイポール、Ambisonics、Wave Field Synthesis(WFS)、マルチチャンネルパンニング、位置メタデータを有する未加工シュテム(raw stems)などがある。他には、デュアルバランスやベクトルベース振幅パンニングがある。
バイノーラル配信フォーマットは、左右の耳における信号に関して、サウンドフィールドの2チャンネル表現を用いる。バイノーラル情報は耳内レコーディングにより生成でき、またはHRTFモデルを用いて合成できる。バイノーラル表現の再生は、一般的にはヘッドホンにより、またはクロストークキャンセレーションを用いることにより行われる。任意のスピーカ設定による再生には、関連サウンドフィールド及び/または信号ソースを決定する信号分析が必要である。
ステレオダイポールレンダリング法は、バイノーラル信号を、(例えば、センターから±10°離れたところの)ステレオスピーカで再生できるようにするトランスオーラルクロストークキャンセレーションプロセスである。
Ambisonicsは、Bフォーマットと呼ばれる4チャンネルで符号化された(配信フォーマット及びレンダリング方法)である。第1のチャンネルWは、無指向性圧力信号である;第2のチャンネルXは、フロント及びバック情報を含む指向性圧力グラジエントである;第3のチャンネルYは、レフトとライトを含む、Zはアップとダウンを含む。これらのチャンネルは、ある点における完全なサウンドフィールドの一次サンプルを画定する。Ambisonicsは、利用可能なすべてのスピーカを用いて、スピーカアレイ内のサンプリング(または合成)されたサウンドフィールドを、一部のスピーカがプッシュしている時に、他のスピーカがプルするように再生成する。
Wave Field Synthesisは、セカンダリソースによる所望のウェーブフィールドの正確な構成に基づく、サウンド再生のレンダリング方法である。WFSは、ホイヘンスの原理に基づき、リスニングスペースを取り囲み、個々の各サウンドウェーブを再生成するように、統制された位相制御された方法で動作する(数十または数百の)スピーカアレイとして実装される。
マルチチャンネルパンニングは、配信フォーマット及び/またはレンダリング方法であり、チャンネルベースオーディオと呼ばれる。この場合、サウンドは、リスナからある画定された角度にある複数のスピーカにより、同数の個別ソースとして表現される。コンテンツクリエータ/ミキサーは、隣接するチャンネル間で信号をパンニングして方向キューを与えることにより、仮想イメージを生成できる;早期の反響やリバーブなどを多くのチャンネルにミックスして方向及び環境キューを提供する。
位置データを有するローシュテム(raw stems with position metadata)は、配信フォーマットであり、オブジェクトベースオーディオとも呼ばれる。このフォーマットでは、区別できる「接近したマイク」によるサウンドソースが、位置及び環境メタデータにより表される。メタデータと再生機器とリスニング環境とに基づき、仮想ソースがレンダされる。
適応的オーディオフォーマットは、マルチチャンネルパンニングフォーマットとローシュテムフォーマットのハイブリッドである。本実施形態のレンダリング方法はマルチチャンネルパンニングである。オーディオチャンネルに対して、レンダリング(パンニング)はオーサリング時に行われ、一方、オブジェクトに対して、レンダリング(パンニング)は再生時に行われる。
メタデータ及び適応的オーディオ伝送フォーマット
上記の通り、メタデータは、生成段階中に生成され、オーディオオブジェクトの位置情報をエンコードし、オーディオプログラムに付随してオーディオプログラムのレンダリングを支援し、具体的には、幅広い再生装置と再生環境におけるオーディオプログラムのレンダリングを可能にするようにオーディオプログラムを記述する。メタデータは、所与のプログラムに対して、及びポストプロダクション中にそのオーディオを生成、収集、編集及び操作する絵できた及びミキサーに対して生成される。適応的オーディオフォーマットの重要な特徴は、ミックス環境と異なる再生システム及び環境に、オーディオがどのようにトランスレートされるかを制御する能力である。具体的には、あるシネマは、ミックス環境よりも機能が劣るかも知れない。
上記の通り、メタデータは、生成段階中に生成され、オーディオオブジェクトの位置情報をエンコードし、オーディオプログラムに付随してオーディオプログラムのレンダリングを支援し、具体的には、幅広い再生装置と再生環境におけるオーディオプログラムのレンダリングを可能にするようにオーディオプログラムを記述する。メタデータは、所与のプログラムに対して、及びポストプロダクション中にそのオーディオを生成、収集、編集及び操作する絵できた及びミキサーに対して生成される。適応的オーディオフォーマットの重要な特徴は、ミックス環境と異なる再生システム及び環境に、オーディオがどのようにトランスレートされるかを制御する能力である。具体的には、あるシネマは、ミックス環境よりも機能が劣るかも知れない。
適応的オーディオレンダラは、ミキサーの意図を再生成するのに利用できる装置を最大限利用するように設計されている。さらに、適応的オーディオオーサリングツールにより、ミキサーは、様々な再生構成においてミックスがどのようにレンダされるかをプリビュー及び調整できる。すべてのメタデータ値は、再生環境とスピーカ構成を条件とすることができる。例えば、あるオーディオ要素の異なるミックスレベルは、再生構成またはモードに基づき規定できる。一実施形態では、条件付き再生モードのリストは拡張可能であり、(1)チャンネルベースのみ再生:5.1、7.1、7.1(高さ)、9.1;(2)個別スピーカ再生:3D、2D(高さ無し)を含む。
一実施形態では、メタデータは、適応的オーディオコンテンツの異なる側面を制御または支配し、プログラムメタデータ、オーディオメタデータ、(チャンネル及びオブジェクトの)レンダリングメタデータを含む異なるタイプに基づき組織化される。各タイプのメタデータは、識別子(ID)により参照される特性の値を与える一または複数のメタデータアイテムを含む。図5は、一実施形態による、適応的オーディオシステムのメタデータタイプ及び関連メタデータ要素を列記した表である。
図5の表500に示したように、第1タイプのメタデータはプログラムメタデータである。これは、フレームレート、トラック亜クンと、拡張可能チャンネル記述、及びミックス段階記述を規定する複数のメタデータ要素を含む。フレームレートメタデータ要素は、フレーム/秒(fps)の単位でオーディオコンテンツのフレームレートを規定する。生のオーディオフォーマットは、オーディオまたはメタデータのフレーミングを含まない。オーディオは、オーディオセグメント(オブジェクトの長さ)ではなく、フルトラック(リールまたはフィーチャ全体の長さ)として供給されるからである。生のフォーマットは、適応的オーディオエンコーダが、実際のフレームレートを含む、オーディオとメタデータをフレームできるようにするのに必要なすべての情報を担う必要がある。表1は、フレームレートメタデータ要素のID、値例、及び説明を示す。
図3に示したように、オーディオメタデータは、サンプルの要素、ビットデプス、及びコーディングシステムを含む。表5は、サンプルレートメタデータ要素のID、値例、及び説明を示す。
一実施形態では、2(またはそれ以上)の組のメタデータ要素は、チャンネル及びオブジェクトベースのオーディオストリームのそれぞれに関連する。第1組のメタデータは、再生環境の第1の条件の複数のオーディオストリームに適用され、第2組のメタデータは、再生環境の第2の条件の複数のオーディオストリームに適用される。再生環境の条件に基づき、あるオーディオストリームに対して、第2のまたはその後の組のメタデータ要素は、第1の組のメタデータ要素を置き換える。条件には、ルームサイズ、形状、室内の材料組成、部屋に人がいるか否かとその密度、周囲のノイズ特性、周囲の光特性、及び再生環境のサウンドまたはさらにはムードに影響するその他のファクタが含まれる。
ポストプロダクションとマスタリング
適応的オーディオ処理システム100のレンダリング段階110は、ファイナルミックスの生成につながるポストプロダクションステップを含む。シネマアプリケーションでは、ムービーミックスで用いるサウンドの3つのメインカテゴリーは、会話、音楽、そして効果である。効果は、会話や音楽でないサウンド(例えば、周囲のノイズ、背景/シーンノイズ)よりなる。サウンド効果はサウンドデザイナーにより録音または合成され、または効果ライブラリから得られるソースであってもよい。具体的なノイズソース(例えば、足音、ドアなど)を含む効果のサブグループは、フォーリー(Foley)として知られ、フォーリーアクターにより演技される。レコーディングエンジニアにより異なるタイプのサウンドが、適宜、マークされ、パンされる。
適応的オーディオ処理システム100のレンダリング段階110は、ファイナルミックスの生成につながるポストプロダクションステップを含む。シネマアプリケーションでは、ムービーミックスで用いるサウンドの3つのメインカテゴリーは、会話、音楽、そして効果である。効果は、会話や音楽でないサウンド(例えば、周囲のノイズ、背景/シーンノイズ)よりなる。サウンド効果はサウンドデザイナーにより録音または合成され、または効果ライブラリから得られるソースであってもよい。具体的なノイズソース(例えば、足音、ドアなど)を含む効果のサブグループは、フォーリー(Foley)として知られ、フォーリーアクターにより演技される。レコーディングエンジニアにより異なるタイプのサウンドが、適宜、マークされ、パンされる。
図6は、一実施形態による、適応的オーディオシステムのポストプロダクションのワークフロー例を示す図である。図600に示したように、音楽、会話、フォーリー及び効果の個別サウンドコンポーネントはすべて、ファイナルミックス606中に、ダビングシアターに集められる。再レコーディングミキサ604は、個別サウンドオブジェクトと位置データとともにプレミックス(「ミックスマイナス」としても知られている)を用いて、例えば、会話、音楽、効果、フォーリー及び背景サウンドとしてシュテムを生成する。ファイナルミックス606を形成するのに加えて、音楽及びすべての効果シュテムを、ムービーのダビングされた言語のバージョンの生成の基礎として用いることができる。各シュテムは、チャンネルベースのベッドと、メタデータを有する複数のオーディオオブジェクトよりなる。シュテムが合成されファイナルミックスを形成する。オーディオワークステーションとミキシングコンソールの両方からのオブジェクトパンニング情報を用いて、レンダリング及びマスタリングユニット608は、ダビングシアターのスピーカロケーションにオーディオをレンダする。このレンダリングにより、ミキサーは、チャンネルベースベッドとオーディオオブジェクトがどう合成されるか聞くことができ、また、異なる構成にレンダする能力も提供する。ミキサーは、関連プロファイルのデフォルトになる条件付きメタデータを用いて、コンテンツがサラウンドチャンネルにどうレンダされるか制御できる。このように、ミキサーは、すべてのスケーラブル環境において映画がどのように再生されるかの完全な制御を保持する。モニタリングステップが、再レコーディングステップ604と最終ミックスステップ606のいずれかまたは両方の後に含まれ、ミキサーが、これらのステップのそれぞれで生成された中間コンテンツを聞いて評価できる。
マスタリングセッション中、シュテム、オブジェクト、及びメタデータは、適応的オーディオパッケージ614に集められる。適応的オーディオパッケージ614はプリントマスター610により生成される。このパッケージも、後方互換(レガシー5.1または7.1)サラウンドサウンドシアタミックス612を含む。レンダリング/マスタリングユニット(RMU)608は、必要に応じて、この出力をレンダできる。それにより、既存のチャンネルベースのデリバラブルの生成において追加のワークフローステップが必要なくなる。一実施形態では、オーディオファイルは、標準的なマテリアルエクスチェンジフォーマット(MXF)ラッピングを用いてパッケージされる。また、適応的オーディオミックスマスタファイルを用いて、コンシューママルチチャンネルミックスやステレオミックスなど、その他のデリバラブルを生成できる。インテリジェントプロファイル及び条件付きメタデータにより、かかるミックスを生成するのに必要な時間を大幅に短縮できる制御されたレンダリングができる。
一実施形態では、パッケージングシステムを用いて、適応的オーディオミックスを含むデリバラブルのために、デジタルシネマパッケージを生成する。オーディオトラックファイルは、共にロックされ、適応的オーディオトラックファイルとの同期エラーを防ぐことを助ける。ある分野では、パッケージングフェース中、メインオーディオトラックファイルへの聴覚障害者(HI)や視覚障害者ナレーション(VI-N)トラックの追加などトラックファイルの追加が必要である。
一実施形態では、再生環境のスピーカアレイは、確立されたサラウンドサウンド標準により配置及び設計された任意数のサラウンドサウンドスピーカを含み得る。オブジェクトベースオーディオコンテンツの正確なレンダリング用の任意数の追加スピーカは、再生環境の条件に基づき配置され得る。これらの追加スピーカは、サウンドエンジニアによりセットアップされ、このセットアップは、適応オーディオのオブジェクトベース成分をスピーカアレイ全体中の一または複数のスピーカにレンダするために、システムにより使用されるセットアップファイルの形式でシステムに提供される。セットアップファイルには、少なくともスピーカ指定、チャンネルの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれる。ランタイムマッピングは、点音源オブジェクトベースオーディオコンテンツを、サウンドエンジニアにより意図されたサウンドの知覚ロケーションに最も近いスピーカにレンダするシステムのスナップ・ツー(snap-to)機能により利用される。
図7は、一実施形態による、適応的オーディオファイルを用いるデジタルシネマパッケージングプロセスのワークフロー例を示す図である。図700に示したように、適応的オーディオファイルと5.1または7.1サラウンドサウンドオーディオファイルの両方を含むオーディオファイルがラッピング/暗号化ブロック704に入力される。一実施形態では、ブロック706におけるデジタルシネマパッケージの生成時、(適当な追加トラックが付加された)PCM MXFファイルが、既存のプラクティスにより、SMPTE仕様を用いて暗号化される。適応的オーディオMXFは、補助トラックファイルとしてパッケージされ、SMPTE仕様による対称コンテンツキーを用いて、任意的に暗号化される。この単一DCP708は、デジタルシネマイニシアティブ(DCI)準拠サーバに送られる。一般的に、適当でないインストレーションは、適応的オーディオサウンドトラックを含む追加的トラックファイルを単に無視し、標準的再生のために既存の主オーディオトラックファイルを使用する。適当な適応的オーディオプロセッサを備えたインストレーションは、適用可能であれば、必要に応じて標準的オーディオトラックに戻り、適応的オーディオサウンドトラックを受け取り再生できる。また、ラッピング/暗号化コンポーネント704は、デジタルシネマサーバで用いるための適当なセキュリティキーを生成するため、配信KDMブロック710に直接入力する。字幕714や画像716などのその他のムービー要素またはファイルは、オーディオファイル702ととものラップされ、暗号化される。この場合、画像ファイル716の場合、圧縮712などの処理ステップが含まれる。
コンテンツマネージメントに関して、適応的オーディオシステム100により、コンテンツクリエータは、個々のオーディオオブジェクトを生成し、コンテンツに関する情報を追加でき、再生システムに搬送できる。これにより、オーディオのコンテンツマネージメントに大きな柔軟性ができる。コンテンツマネージメントの観点から、適応的オーディオ方法により複数の異なる機能が可能になる。これらには、スペース節約、ダウンロード効率、地理的再生適応などのために会話オブジェクトを置き換えるだけでコンテンツの言語を変更することが含まれる。フィルム、テレビジョン、及びその他のエンターテイメントプログラムは、一般的には国際的に配信される。これには、再生される所に応じて(フランスで表示されるフィルムの場合はフランス語、ドイツで表示されるテレビプログラムの場合はドイツ語など)、コンテンツ中の言語を変更する必要があることが多い。このため、今日では、完全に独立したオーディオサウンドトラックが生成され、パッケージされ、配信される。適応的オーディオとオーディオオブジェクトの本来的なコンセプトで、コンテンツの会話は独立したオーディオオブジェクトであり得る。これにより、コンテンツの言語は、音楽、効果などのオーディオサウンドトラックのその他の要素を更新したり変更したりしなくても、容易に変更できる。これは外国語に適用されるだけでなく、ある聴衆(例えば、子供のテレビジョンショー、航空会社用のムービーなど)、ターゲットされた広告などにたいして不適当な言葉にも適用できる。
インストレーション及び機器検討
適応的オーディオファイルフォーマットと関連プロセッサにより、シアター機器をどうインストールし、較正し、維持するかを変更できる。より多くの潜在的スピーカ出力の導入により、一実施形態では、適応的オーディオシステムは最適化された1/12オクターブバンド等化エンジンを用いる。シアターのサウンドをより正確にバランスさせるため、64出力まで処理できる。また、本システムは、観客席で再生されたサウンドを通して、シネマプロセッサ出力から、個別のスピーカ出力のスケジュールされたモニタリングをできる。適当なアクションが取られるように、ローカルまたはネットワークの警告を生成できる。柔軟なレンダリングシステムは、再生チェーンから故障したスピーカやアンプを自動的に除外し、それを回避してレンダでき、ショーを継続できる。
適応的オーディオファイルフォーマットと関連プロセッサにより、シアター機器をどうインストールし、較正し、維持するかを変更できる。より多くの潜在的スピーカ出力の導入により、一実施形態では、適応的オーディオシステムは最適化された1/12オクターブバンド等化エンジンを用いる。シアターのサウンドをより正確にバランスさせるため、64出力まで処理できる。また、本システムは、観客席で再生されたサウンドを通して、シネマプロセッサ出力から、個別のスピーカ出力のスケジュールされたモニタリングをできる。適当なアクションが取られるように、ローカルまたはネットワークの警告を生成できる。柔軟なレンダリングシステムは、再生チェーンから故障したスピーカやアンプを自動的に除外し、それを回避してレンダでき、ショーを継続できる。
シネマプロセッサは、適応的オーディオデータをストリーミングするため、既存の8×AESメインオーディオ接続及びイーサネット(登録商標)接続でデジタルシネマサーバと接続できる。サラウンド7.1または5.1接続の再生は、既存のPCM接続を用いる。適応的オーディオデータは、デコーディングとレンダリングのため、シネマプロセッサにイーサネット(登録商標)でストリーミングされ、サーバとシネマプロセッサとの間の接続により、オーディオを特定し同期できる。適応的オーディオトラック再生に何か問題が発生した場合には、サウンドは、ドルビーサラウンド7.1または5.1PCMオーディオに戻される。
5.1及び7.1サラウンドサウンドシステムに関して実施形態を説明したが、留意点として、9.1、11.1及び13.1及びそれ以降を含む他の多くの現在ある及び将来現れるサラウンド構成を実施形態と共に用いることができる。
適応的オーディオシステムは、それによりコンテンツクリエータとエギジビタが両方とも、異なる再生スピーカ構成においてサウンドコンテンツをどうレンダするか決定できるように設計されている。使用されるスピーカ出力チャンネルの理想的な数は部屋のサイズにより変わる。よって、推奨するスピーカ配置は、サイズ、コンポジション、シーティング構成、環境、平均聴衆サイズなど多くのファクタに依存する。例示のみを目的として、代表的なスピーカ構成とレイアウトや例をここで説明するが、特許請求する実施形態の範囲を限定することを意図するものではない。
適応的オーディオシステムのスピーカの推奨レイアウトは、既存のシネマシステムと互換であり、これは既存の5.1及び7.1チャンネルベースフォーマットの再生を悪くしないために必須である。適応的オーディオサウンドエンジニアの意図及び7.1及び5.1コンテンツのミキサーの意図を保存するため、新しいスピーカロケーションの導入を急ごうとして、既存スクリーンチャンネルの位置をあまり大きく変えるべきではない。利用できる64出力チャンネルすべてを用いるのと対照的に、適応的オーディオフォーマットは、シネマで7.1などのスピーカ構成に正確にレンダできるので、アンプやスピーカを変更しなくても、このフォーマット(及び関連ベネフィット)を既存のシアターで用いることができる。
異なるスピーカロケーションの有効性は、シアター設計に応じて異なり、現在のところ業界で指定されたチャンネルの理想的な数や配置は無い。適応的オーディオは、再生チャンネル数が限定されていたり、多くのチャンネルが柔軟な構成になっているかにかかわらず、様々な観客席での正確な再生に真に適応可能かつ能力があることを意図されている。
図8は、典型的な観客席において適応的オーディオシステムと用いる示唆されたスピーカロケーションのレイアウト例を示す上面図800である。また、図9は、その観客席のスクリーンにおける示唆されたスピーカロケーションのレイアウト例を示す前面図900である。以下に参照する基準位置は、スクリーンのセンターライン上、スクリーンから後壁までの距離の2/3の位置に対応する。標準的スクリーンスピーカ801は、スクリーンに対して通常の位置に示されている。スクリーン面におけるエレベーションの知覚の研究から、スクリーンの後の追加的スピーカ804は、例えば(70mmフィルムフォーマットのレフトエキストラ及びライトエキストラチャンネルのロケーションにある)レフトセンター(Lc)及びライトセンター(Rc)スクリーンスピーカは、スクリーンにわたるスムースなパンをするのに有益であることが分かっている。かかる任意的スピーカは、特に12m(40ft.)より大きいスクリーンを有する観客席では、推奨できる。すべてのスクリーンスピーカは、基準位置に向かうような角度にするべきである。スクリーンの後のサブウーファ810の推奨配置は、部屋の中心に対して対称なキャビネット配置を維持し、定在波の刺激を防止することを含め、変わらない。追加的サブウーファ816をシアターの後に配置してもよい。
サラウンドスピーカ802は、アンプラックに個別にワイヤリングされ、可能であれば、製造者の仕様に応じてスピーカのパワーハンドリングにマッチしたパワー増幅の専用チャンネルを用いて、個別に増幅されるべきである。理想的には、サラウンドスピーカは、各個別スピーカのSPLを処理し、可能であればより広い周波数応答を有するように規定されるべきである。平均的サイズのシアターのための大まかなやり方として、サラウンドスピーカのスペーシングは2ないし3m(6‘6“ないし9’9”)で、左右のサラウンドスピーカは対称に配置されるべきである。しかし、サラウンドスピーカのスペ―シングは、スピーカ間の絶対的な距離を用いるのではなく、隣接スピーカ間のリスナからの角度として有効に考えられる。観客席全体の最適な再生のため、隣接スピーカ間の角度距離は、主リスニングエリアの4隅それぞれから視て、30°以下である。50°までのスペーシングで良い結果が得られる。各サラウンドゾーンに対して、スピーカは、可能であれば、シーティングエリアに隣接して等しいリニアスペーシングを維持すべきである。リスニングエリアを越えるリニアスペーシング、例えば前列とスクリーンとの間は、少し大きくできる。図11は、一実施形態による、基準点に対するトップサラウンドスピーカ808とサイドサラウンドスピーカ806の配置例を示す図である。
追加的サイドサラウンドスピーカ806は、観客席の後までの距離の約1/3から始めるという現在推奨されているプラクティスより、スクリーンにより近く配置すべきである。これらのスピーカは、ドルビーサラウンド7.1または5.1サウンドトラックの再生中にサイドサラウンドとして用いないが、スクリーンスピーカからサラウンドゾーンにオブジェクトをパンニングする時、スムースなトランジションと改善された音色マッチングを可能にする。空間の印象を最大化するため、次の制約下、サラウンドアレイはできる限り低く配置されるべきである:アレイの前にあるサラウンドスピーカの仮想的配置は、スクリーンスピーカ音響センターの高さに近く、スピーカの指向性に応じてシーティングエリアにわたり十分なカバレッジを維持するのに純分高い。サラウンドスピーカの垂直配置は、図10に示したように、フロントからバックまで直線を形成するように、かつ(一般的には)サラウンドスピーカの相対的エレベーションがリスナの上で、シーティングエレベーションが大きくなるにつれ、シネマの後に向けて維持されるように傾いていなければならない。図10は、典型的な観客席において適応的オーディオシステムとともに用いるための、示唆されたスピーカロケーションのレイアウト例の側面図である。実際には、これは、最も簡単には、最も前の及び最も後のサラウンドスピーカのエレベーションを選択し、残りのスピーカをこれらの点の間に一列に配置することにより実現できる。
シーティングエリアに各スピーカの最適なカバレッジを提供するため、サイドサラウンド806、リアスピーカ816、及びトップサラウンド808は、スペーシング、位置、角度などに関する画定されたガイドラインの下、シアターの基準位置に向いていなくてはならない。
適応的オーディオシネマシステムとフォーマットの実施形態により、ミキサーに新しいパワフルなオーサリングツールを提供し、各部屋のスピーカレイアウトと特性にサウンドトラックの音質及びサラウンド効果を最適化する柔軟なレンダリングエンジンを備えた新しいシネマプロセッサを提供することにより、現在のシステムより、聴衆の没頭のレベルを高くできる。また、本システムは、現在のプロダクション及び配信ワークフローへの後方互換性を維持し、それに対するインパクトを最小化する。
実施形態を、適応的オーディオコンテンツがデジタルシネマ処理システムにおいて仕様されるフィルムコンテンツに関連しているシネマ環境の例と実装に関して説明したが、留意点として、実施形態は非シネマ環境でも実施できる。オブジェクトベースオーディオとチャンネルベースオーディオを含む適応的オーディオコンテンツは、任意の関連コンテンツ(関連オーディオ、ビデオ、グラフィックスなど)と共に用いることができ、またはスタンドアロンのオーディオコンテンツを構成してもよい。再生環境は、ヘッドホンやニアフィールドモニタから小さいまたは大きい部屋、車、屋外アリーナ、コンサートホールまでの適当なリスニング環境である。
システム100の態様は、デジタルまたはデジタル化されたオーディオファイルを処理する適当なコンピュータベースのサウンド処理ネットワーク環境で実施できる。適応可能オーディオシステムの部分には、コンピュータ間を伝送されるデータをバッファしルーティングする役割を果たす一または複数のルータ(図示せず)を含む、所望数の個別マシンを含む一または複数のネットワークを含む。かかるネットワークは、異なる様々なネットワークプロトコル上に構成され、インターネット、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)またはこれらの任意の組合せであり得る。ネットワークがインターネットである一実施形態では、一または複数のマシンがウェブブラウザプログラムを通してインターネットにアクセスするように構成されている。
一または複数のコンポーネント、ブロック、プロセッサ、その他の機能的コンポーネントは、システムのプロセッサベースコンピューティングデバイスの実行を制御するコンピュータプログラムにより実施される。留意点として、ここに開示の様々な機能は、振る舞い、レジスタトランスファ、ロジックコンポーネント、及び/またはその他の特性に関して、ハードウェア、ファームウェア、及び/または様々なマシン読み取り可能またはコンピュータ読み取り可能媒体に化体されたデータ及び/または命令の任意の数の組合せを用いて記述できる。かかるフォーマットされたデータ及び/または命令が化体されたコンピュータ読み取り可能媒体は、様々な形式の物理的(非一時的)、不揮発性記憶媒体であって、例えば光、磁気、または半導体ストレージ媒体を含むがこれに限定されない。
コンテキストから明確に要求されない限り、本明細書と特許請求の範囲にわたり、「comprise」、「comprising」などの言葉は、包含する意味であり、排他するまたは網羅する意味ではない;すなわち、「including, but not limited to」という意味である。単数または複数の単語は、それぞれ複数または単数の場合を含む。また、「herein」、「hereunder」、「above」、「below」などの単語は、本願を全体として参照するものであり、本願の特定の部分を参照するものではない。単語「or」は、2以上のアイテムのリストを参照して用いられる時、そのリスト中の任意のアイテム、そのリスト中の任意のアイテム及びそのリスト中のアイテムの任意の組合せというこの単語の解釈のすべてをカバーする。
一または複数の実装を実施例により、及び具体的な実施形態に関して説明したが、言うまでもなく、一または複数の実装は開示の実施形態に限定されない。反対に、本技術分野の当業者には明らかな様々な修正や同様の構成をカバーすることを意図している。それゆえ、添付した特許請求の範囲は、かかる修正と同様の構成とをすべて含むように、最も広く解釈すべきである。
上記の実施形態に関し付記する。
(付記1) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定する一または複数のメタデータセットとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは3次元空間中のロケーションを含み、
第1セットのメタデータは前記複数のオーディオストリームのうちの一または複数にデフォルトで適用され、前記再生環境の条件が前記再生環境の前記一条件にマッチするとき、第2セットのメタデータは再生環境の一条件に関連し、前記第1セットの替わりに前記複数のオーディオストリームのうちの一または複数に適用され、
前記オーサリングコンポーネントに結合し、前記複数のモノフォニックオーディオストリームと一または複数のデータセットをカプセル化するビットストリームを受け取り、前記再生環境の条件に基づき、前記一または複数のメタデータセットにより前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムとを有する、システム。
(付記2) 各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記1に記載のシステム。
(付記3) 前記スピーカアレイは、前記再生環境の条件に基づきユーザからのセットアップ命令に関連する再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記システムは、ユーザから、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれるセットアップファイルを受け取る、
付記1に記載のシステム。
(付記4) 前記オーサリングコンポーネントは、前記元のオーディオコンテンツを含むオーディオストリームの再生レベルを規定するようにユーザにより操作可能なコントロールを有するミキシングコンソールを含み、
各オブジェクトベースストリームに関連するメタデータ要素は、前記ユーザによる前記ミキシングコンソールコントロールへの入力があると、自動的に生成される、
付記1に記載のシステム。
(付記5) 前記メタデータセットは、前記スピーカアレイの第1の構成から前記スピーカアレイの第2の構成への変更により、前記チャンネルベースオーディオストリームと前記オブジェクトベースオーディオストリームのうち少なくとも一のアップミキシングまたはダウンミキシングを可能にするメタデータを含む、
付記1に記載のシステム。
(付記6) 前記コンテンツタイプは、会話、音楽、及び効果よりなるグループから選択され、各コンテンツタイプはチャンネルベースストリームまたはオブジェクトベースストリームのそれぞれのセットに化体され、
各コンテンツタイプのサウンドコンポーネントは、前記スピーカアレイ中で指定された一または複数のスピーカグループのうちの画定されたスピーカグループに送信される、
付記3に記載のシステム。
(付記7) 前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、
各オブジェクトベースストリームに関連するメタデータ要素は、一または複数のサウンドコンポーネントが、前記ポジションメタデータにより示される、前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカにより再生するために、スピーカフィードにレンダされることを規定する、
付記6に記載のシステム。
(付記8) 前記再生ロケーションは、前記再生環境または前記再生環境を包み込む面内のスクリーンに対する空間位置であり、
前記面は、前面、後面、左面、右面、上面、及び下面を含む、
付記1に記載のシステム。
(付記9) 前記オーサリングコンポーネントと前記レンダリングコンポーネントに結合し、前記複数のオーディオストリームとメタデータとを受け取り、前記複数のオーディオストリームを順序づけて含む単一のデジタルビットストリームを生成するように構成されたコーデックをさらに有する、
付記1に記載のシステム。
(付記10) 前記レンダリングコンポーネントは、さらに、前記レンダリングコンポーネントにより利用されるレンダリングアルゴリズムを選択する手段をさらに有し、前記レンダリングアルゴリズムは、バイノーラル、ステレオダイポール、Ambisonics、Wave Field Synthesis(WFS)、マルチチャンネルパンニング、位置メタデータを有するローシュテム、デュアルバランス、及びベクトルベース振幅パンニングよりなるグループから選択される、
付記9に記載のシステム。
(付記11) 各オーディオストリームの再生ロケーションは、自己中心参照枠または他者中心参照枠のいずれかに対して独立に規定され、
自己中心参照枠は前記再生環境のリスナに対して取られ、
前記他者中心参照枠は前記再生環境の特性に対して取られる、
付記1に記載のシステム。
(付記12) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定するメタデータとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは3次元空間中のロケーションを含み、
各オブジェクトベースオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダされ、
前記オーサリングコンポーネントに結合し、前記複数のモノフォニックオーディオストリームとメタデータとをカプセル化したビットストリームを受け取り、前記オーディオストリームを再生環境のスピーカに対応する複数のスピーカフィードにレンダし、
前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、
各オブジェクトベースストリームに関連するメタデータ要素は、一または複数のサウンドコンポーネントが、オブジェクトベースストリームが、意図された再生ロケーションに最も近いスピーカに有効にスナップされるように、前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカにより再生するために、スピーカフィードにレンダされることを規定する、システム。
(付記13) 前記メタデータは2以上のメタデータセットを含み、前記レンダリングシステムは前記再生環境の条件に基づき前記2以上のメタデータセットのうちの一により、前記オーディオストリームをレンダし、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記12に記載のシステム。
(付記14) 前記スピーカアレイは、前記再生環境の条件に基づきユーザからのセットアップ命令に関連する再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記システムは、ユーザから、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれるセットアップファイルを受け取る、
前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカによる再生のためにスピーカフィードにレンダされたオブジェクトストリームは、前記追加的スピーカの単一のスピーカにスナップする、
付記12に記載のシステム。
(付記15) 前記意図された再生ロケーションは、前記再生環境または前記再生環境を包み込む面内のスクリーンに対する空間位置であり、
前記面は、前面、後面、左面、上面、及び下面を含む、
付記14に記載のシステム。
(付記16) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定するメタデータとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
各オブジェクトベースオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダされ、
前記オーサリングコンポーネントに結合され、前記再生環境内の複数のスピーカとそれぞれのロケーションのリストを含むスピーカのオーディオチャンネルに対する第1のマップと、複数のモノフォニックオーディオストリームとメタデータとをカプセル化したビットストリームとを受け取り、スピーカの相対的位置に基づく前記再生環境へのランタイムマッピングと前記再生環境の条件とにより、前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムとを有する、システム。
(付記17) 前記再生環境の条件は、前記再生環境の部屋のサイズと形状、占有状態、材料構成、周辺ノイズを含む変数に依存する、
付記16に記載のシステム。
(付記18) 前記第1のマップは、少なくとも、スピーカ指定と、前記スピーカアレイの個別のスピーカへのチャンネルのマッピングとのリストと、スピーカのグルーピングに関する情報とを含むセットアップファイルに規定されている、
付記17に記載のシステム。
(付記19) 前記意図された再生ロケーションは、前記再生環境または前記再生環境を含むエンクロージャの面内のスクリーンに対する空間位置であり、
前記面は、前記エンクロージャの前面、後面、サイド面、上面、及び下面を含む、
付記18に記載のシステム。
(付記20) 前記スピーカアレイは、画定されたサラウンドサウンド構成に配置されたスピーカを有し、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含み、
オブジェクトベースストリームは前記スピーカアレイの追加的スピーカにより再生され、
前記ランタイムマッピングは、前記スピーカアレイのうちのどの個別スピーカが再生プロセス中に対応するオブジェクトベースストリームを再生するか動的に決定する、
付記19に記載のシステム。
(付記21) レンダリングするオーディオ信号をオーサリングする方法であって、
複数のオーディオ信号を受け取る段階と、
複数のモノフォニックオーディオストリームと、各オーディオストリームに関連する一または複数のメタデータセットを生成し、それぞれのオーディオストリームの再生ロケーションを規定する段階と、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
前記再生環境の条件に基づき、前記一または複数のメタデータセットにより前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムへの送信のために、ビットストリームに前記複数のモノフォニックオーディオストリームと一または複数のメタデータのセットをカプセル化する段階と、を有する方法。
(付記22) 各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記21に記載の方法。
(付記23) 前記スピーカアレイは、再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、前記方法は、さらに、前記再生環境の条件に基づきユーザからのセットアップ命令を受け取る段階をさらに有し、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記セットアップ命令は、さらに、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストを含む、
付記21に記載の方法。
(付記24) 前記元のオーディオコンテンツを含むオーディオストリームの再生レベルを規定するようにユーザにより操作されたなコントロールを有するミキシングコンソールから、受け取る段階と、
前記ユーザ入力の受け取った時に、生成された各オブジェクトベースストリームに関連するメタデータ要素を自動的に生成する段階とを有する、
付記23に記載の方法。
(付記25) オーディオ信号をレンダリングする方法であって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連し、それぞれのオーディオストリームの再生ロケーションを規定する一または複数のメタデータセットとを生成するように構成されたオーサリングコンポーネントから、複数のモノフォニックオーディオストリームと一または複数のメタデータセットをビットストリームにカプセル化したビットストリームを受け取る段階と、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
前記再生環境の条件に基づき、前記一または複数のメタデータセットにより、前記再生環境中のスピーカに対応する複数のスピーカフィードに前記複数のオーディオストリームをレンダリングする段階とを有する、方法。
(付記26) オーサリングコンポーネントで処理される複数のモノフォニックオーディオストリームを含むオーディオコンテンツを生成する方法であって、
前記モノフォニックオーディオストリームは少なくとも1つのチャンネルベースオーディオストリームと少なくとも1つのオブジェクトベースオーディオストリームとを含み、前記方法は、
前記複数のオーディオストリームの各オーディオストリームがチャンネルベースストリームかオブジェクトベースストリームか示す段階と、
各チャンネルベースストリームに、チャンネルベースストリームを再生環境中の一または複数のスピーカにレンダするチャンネル位置を規定するメタデータ要素を関連付ける段階と、
各オブジェクトベースストリームに、前記再生環境のサイズと寸法に関して規定された他者中心参照枠に対し、それぞれのオブジェクトベースストリームを前記再生環境内の一または複数のスピーカにレンダするために、オブジェクトベース一を規定する一または複数のメタデータ要素を関連づける段階と、
前記複数のモノフォニックオーディオストリームと、関連するメタデータとを信号にアセンブルする段階とを有する、方法。
(付記27) 前記再生環境は、前記再生環境を化体するエンクロージャの基準点に対して、画定されたロケーションと方向に配置されたスピーカのアレイを含む、
付記26に記載の方法。
(付記28) 前記スピーカアレイの第1セットのスピーカは、画定されたサラウンドサウンドシステムに応じて構成されたスピーカを有し、
前記スピーカアレイの第2セットのスピーカは、適応的オーディオスキームに応じて構成されたスピーカを有する、
付記27に記載の方法。
(付記29) 前記複数のモノフォニックオーディオストリームのセットのオーディオタイプを画定するステップと、
前記オーディオタイプは、会話、音楽、及び効果よりなるグループから選択され、
オーディオストリームのセットのオーディオタイプに基づいて、前記オーディオストリームのセットをスピーカのセットに送信する段階を有する、
付記28に記載の方法。
(付記30) 前記モノフォニックオーディオストリームの再生レベルを規定するユーザにより操作可能なコントロールを有するミキシングコンソールにインプリメントされたオーサリングコンポーネントにより、前記メタデータ要素を自動的に生成する段階をさらに有する、
付記29に記載の方法。
(付記31) エンコーダにおいて、単一デジタルビットストリームに複数のモノフォニックオーディオストリームと関連メタデータ要素をパッケージングする段階をさらに有する、
付記30に記載の方法。
(付記32) オーディオコンテンツを生成する方法であって、
チャンネルベース及びオブジェクトベースコンテンツの両方をハンドリングするハイブリッドオーディオシステムにおいて処理するためにオーディオコンテンツのプログラミングに関連づけられた第1のメタデータグループ中の一または複数のメタデータ要素の値を決定する段階と、
前記ハイブリッドオーディオシステムのオーディオコンテンツの記憶及びレンダリング特性に関連する第2のメタデータグループの一または複数のメタデータ要素の値を決定する段階と、
前記チャンネルベース及びオブジェクトベースオーディオコンテンツをレンダリングするため、オーディオソース位置及びコントロール情報に関連する第3のメタデータグループの一または複数のメタデータ要素の値を決定する段階とを有する、方法。
(付記33) 前記チャンネルベースオーディオコンテンツをレンダリングするためのオーディオソース位置は、サラウンドサウンドスピーカシステムのスピーカに関連する名称を含み、
前記名称は、前記再生環境の基準点に対するスピーカのロケーションを画定する、
付記32に記載の方法。
(付記34) 前記チャンネルベースオーディオコンテンツをレンダするコントロール情報は、異なるサラウンドサウンド構成でオーディオコンテンツをレンダリングするためのアップミックス及びダウンミックス情報を含み、
前記メタデータは、アップミックス及び/またはダウンミックス機能をイネーブルまたはディスエーブルするメタデータを含む、
付記33に記載の方法。
(付記35) 前記オブジェクトベースオーディオコンテンツをレンダするオーディオソース位置は、前記オブジェクトベースオーディオコンテンツのサウンドコンポーネントの再生の意図された再生ロケーションを規定する一または複数の数学的関数に関連する値を有する、
付記32に記載の方法。
(付記36) 前記数学的関数は、x、y、z座標値として規定された3次元座標と、面の定義と一セットの2次元座標、曲線の定義と一セットの1次元リニア位置座標と、前記再生環境中のスクリーン上のスカラー位置とよりなるグループから選択される、
付記35に記載の方法。
(付記37) 前記オブジェクトベースオーディオコンテンツをレンダするコントロール情報は、前記サウンドコンポーネントが再生される再生環境内の個別のスピーカまたはスピーカグループを規定する値を有する、
付記36に記載の方法。
(付記38) 前記オブジェクトベースオーディオコンテンツをレンダするコントロール情報は、さらに、前記再生環境内の最も近いスピーカまたは最も近いスピーカグループにスナップされるサウンドソースを規定するバイナリ値を含む、
付記37に記載の方法。
(付記39) オーディオトランスポートプロトコルを画定する方法であって、
チャンネルベース及びオブジェクトベースコンテンツの両方をハンドリングするハイブリッドオーディオシステムにおいて処理するためにオーディオコンテンツのプログラミングに関連づけられた第1のメタデータグループ中の一または複数のメタデータ要素の値を画定する段階と、
前記ハイブリッドオーディオシステムのオーディオコンテンツの記憶及びレンダリング特性に関連する第2のメタデータグループの一または複数のメタデータ要素の値を画定する段階と、
前記チャンネルベース及びオブジェクトベースオーディオコンテンツをレンダリングするため、オーディオソース位置及びコントロール情報に関連する第3のメタデータグループの一または複数のメタデータ要素の値を画定する段階とを有する、方法。
一または複数の実装を実施例により、及び具体的な実施形態に関して説明したが、言うまでもなく、一または複数の実装は開示の実施形態に限定されない。反対に、本技術分野の当業者には明らかな様々な修正や同様の構成をカバーすることを意図している。それゆえ、添付した特許請求の範囲は、かかる修正と同様の構成とをすべて含むように、最も広く解釈すべきである。
上記の実施形態に関し付記する。
(付記1) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定する一または複数のメタデータセットとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは3次元空間中のロケーションを含み、
第1セットのメタデータは前記複数のオーディオストリームのうちの一または複数にデフォルトで適用され、前記再生環境の条件が前記再生環境の前記一条件にマッチするとき、第2セットのメタデータは再生環境の一条件に関連し、前記第1セットの替わりに前記複数のオーディオストリームのうちの一または複数に適用され、
前記オーサリングコンポーネントに結合し、前記複数のモノフォニックオーディオストリームと一または複数のデータセットをカプセル化するビットストリームを受け取り、前記再生環境の条件に基づき、前記一または複数のメタデータセットにより前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムとを有する、システム。
(付記2) 各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記1に記載のシステム。
(付記3) 前記スピーカアレイは、前記再生環境の条件に基づきユーザからのセットアップ命令に関連する再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記システムは、ユーザから、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれるセットアップファイルを受け取る、
付記1に記載のシステム。
(付記4) 前記オーサリングコンポーネントは、前記元のオーディオコンテンツを含むオーディオストリームの再生レベルを規定するようにユーザにより操作可能なコントロールを有するミキシングコンソールを含み、
各オブジェクトベースストリームに関連するメタデータ要素は、前記ユーザによる前記ミキシングコンソールコントロールへの入力があると、自動的に生成される、
付記1に記載のシステム。
(付記5) 前記メタデータセットは、前記スピーカアレイの第1の構成から前記スピーカアレイの第2の構成への変更により、前記チャンネルベースオーディオストリームと前記オブジェクトベースオーディオストリームのうち少なくとも一のアップミキシングまたはダウンミキシングを可能にするメタデータを含む、
付記1に記載のシステム。
(付記6) 前記コンテンツタイプは、会話、音楽、及び効果よりなるグループから選択され、各コンテンツタイプはチャンネルベースストリームまたはオブジェクトベースストリームのそれぞれのセットに化体され、
各コンテンツタイプのサウンドコンポーネントは、前記スピーカアレイ中で指定された一または複数のスピーカグループのうちの画定されたスピーカグループに送信される、
付記3に記載のシステム。
(付記7) 前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、
各オブジェクトベースストリームに関連するメタデータ要素は、一または複数のサウンドコンポーネントが、前記ポジションメタデータにより示される、前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカにより再生するために、スピーカフィードにレンダされることを規定する、
付記6に記載のシステム。
(付記8) 前記再生ロケーションは、前記再生環境または前記再生環境を包み込む面内のスクリーンに対する空間位置であり、
前記面は、前面、後面、左面、右面、上面、及び下面を含む、
付記1に記載のシステム。
(付記9) 前記オーサリングコンポーネントと前記レンダリングコンポーネントに結合し、前記複数のオーディオストリームとメタデータとを受け取り、前記複数のオーディオストリームを順序づけて含む単一のデジタルビットストリームを生成するように構成されたコーデックをさらに有する、
付記1に記載のシステム。
(付記10) 前記レンダリングコンポーネントは、さらに、前記レンダリングコンポーネントにより利用されるレンダリングアルゴリズムを選択する手段をさらに有し、前記レンダリングアルゴリズムは、バイノーラル、ステレオダイポール、Ambisonics、Wave Field Synthesis(WFS)、マルチチャンネルパンニング、位置メタデータを有するローシュテム、デュアルバランス、及びベクトルベース振幅パンニングよりなるグループから選択される、
付記9に記載のシステム。
(付記11) 各オーディオストリームの再生ロケーションは、自己中心参照枠または他者中心参照枠のいずれかに対して独立に規定され、
自己中心参照枠は前記再生環境のリスナに対して取られ、
前記他者中心参照枠は前記再生環境の特性に対して取られる、
付記1に記載のシステム。
(付記12) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定するメタデータとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは3次元空間中のロケーションを含み、
各オブジェクトベースオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダされ、
前記オーサリングコンポーネントに結合し、前記複数のモノフォニックオーディオストリームとメタデータとをカプセル化したビットストリームを受け取り、前記オーディオストリームを再生環境のスピーカに対応する複数のスピーカフィードにレンダし、
前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、
各オブジェクトベースストリームに関連するメタデータ要素は、一または複数のサウンドコンポーネントが、オブジェクトベースストリームが、意図された再生ロケーションに最も近いスピーカに有効にスナップされるように、前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカにより再生するために、スピーカフィードにレンダされることを規定する、システム。
(付記13) 前記メタデータは2以上のメタデータセットを含み、前記レンダリングシステムは前記再生環境の条件に基づき前記2以上のメタデータセットのうちの一により、前記オーディオストリームをレンダし、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記12に記載のシステム。
(付記14) 前記スピーカアレイは、前記再生環境の条件に基づきユーザからのセットアップ命令に関連する再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記システムは、ユーザから、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれるセットアップファイルを受け取る、
前記サウンドコンポーネントの意図された再生ロケーションに最も近いスピーカによる再生のためにスピーカフィードにレンダされたオブジェクトストリームは、前記追加的スピーカの単一のスピーカにスナップする、
付記12に記載のシステム。
(付記15) 前記意図された再生ロケーションは、前記再生環境または前記再生環境を包み込む面内のスクリーンに対する空間位置であり、
前記面は、前面、後面、左面、上面、及び下面を含む、
付記14に記載のシステム。
(付記16) オーディオ信号を処理するシステムであって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連しそれぞれのオーディオストリームの再生ロケーションを規定するメタデータとを生成するように構成されたオーサリングコンポーネントと、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
各オブジェクトベースオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダされ、
前記オーサリングコンポーネントに結合され、前記再生環境内の複数のスピーカとそれぞれのロケーションのリストを含むスピーカのオーディオチャンネルに対する第1のマップと、複数のモノフォニックオーディオストリームとメタデータとをカプセル化したビットストリームとを受け取り、スピーカの相対的位置に基づく前記再生環境へのランタイムマッピングと前記再生環境の条件とにより、前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムとを有する、システム。
(付記17) 前記再生環境の条件は、前記再生環境の部屋のサイズと形状、占有状態、材料構成、周辺ノイズを含む変数に依存する、
付記16に記載のシステム。
(付記18) 前記第1のマップは、少なくとも、スピーカ指定と、前記スピーカアレイの個別のスピーカへのチャンネルのマッピングとのリストと、スピーカのグルーピングに関する情報とを含むセットアップファイルに規定されている、
付記17に記載のシステム。
(付記19) 前記意図された再生ロケーションは、前記再生環境または前記再生環境を含むエンクロージャの面内のスクリーンに対する空間位置であり、
前記面は、前記エンクロージャの前面、後面、サイド面、上面、及び下面を含む、
付記18に記載のシステム。
(付記20) 前記スピーカアレイは、画定されたサラウンドサウンド構成に配置されたスピーカを有し、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含み、
オブジェクトベースストリームは前記スピーカアレイの追加的スピーカにより再生され、
前記ランタイムマッピングは、前記スピーカアレイのうちのどの個別スピーカが再生プロセス中に対応するオブジェクトベースストリームを再生するか動的に決定する、
付記19に記載のシステム。
(付記21) レンダリングするオーディオ信号をオーサリングする方法であって、
複数のオーディオ信号を受け取る段階と、
複数のモノフォニックオーディオストリームと、各オーディオストリームに関連する一または複数のメタデータセットを生成し、それぞれのオーディオストリームの再生ロケーションを規定する段階と、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
前記再生環境の条件に基づき、前記一または複数のメタデータセットにより前記再生環境のスピーカに対応する複数のスピーカフィードに前記オーディオストリームをレンダするように構成されたレンダリングシステムへの送信のために、ビットストリームに前記複数のモノフォニックオーディオストリームと一または複数のメタデータのセットをカプセル化する段階と、を有する方法。
(付記22) 各メタデータセットは、各オブジェクトベースストリームに関連するメタデータ要素を含み、各オブジェクトベースストリームのメタデータは対応するオブジェクトベースサウンドの再生を制御する空間パラメータを規定し、サウンド位置、サウンド幅、及びサウンドベロシティのうちの一または複数を有し、
各メタデータセットは、各チャンネルベースストリームに関連するメタデータ要素を含み、前記スピーカアレイは画定されたサラウンドサウンド構成で構成され、
各チャンネルベースストリームに関連するメタデータ要素は、画定されたサラウンドサウンド標準によるスピーカアレイ中のスピーカのサラウンドサウンドチャンネルの指定を含む、
付記21に記載の方法。
(付記23) 前記スピーカアレイは、再生環境中に配置されたオブジェクトベースストリームの再生用の追加的スピーカを含み、前記方法は、さらに、前記再生環境の条件に基づきユーザからのセットアップ命令を受け取る段階をさらに有し、
前記再生条件は、前記再生環境の部屋のサイズと形状、占有状態、周辺ノイズを含む変数に依存し、
前記セットアップ命令は、さらに、少なくともスピーカ指定、チャンネルの前記スピーカアレイの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストを含む、
付記21に記載の方法。
(付記24) 前記元のオーディオコンテンツを含むオーディオストリームの再生レベルを規定するようにユーザにより操作されたなコントロールを有するミキシングコンソールから、受け取る段階と、
前記ユーザ入力の受け取った時に、生成された各オブジェクトベースストリームに関連するメタデータ要素を自動的に生成する段階とを有する、
付記23に記載の方法。
(付記25) オーディオ信号をレンダリングする方法であって、
複数のオーディオ信号を受け取り、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連し、それぞれのオーディオストリームの再生ロケーションを規定する一または複数のメタデータセットとを生成するように構成されたオーサリングコンポーネントから、複数のモノフォニックオーディオストリームと一または複数のメタデータセットをビットストリームにカプセル化したビットストリームを受け取る段階と、
前記オーディオストリームはチャンネルベースオーディオまたはオブジェクトベースオーディオとして特定され、
前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは前記スピーカアレイを含む再生環境に対する3次元空間中のロケーションを含み、
第1セットのメタデータは、前記再生環境の第1の条件の複数のオーディオストリームのうちの1以上に適用され、第2セットのメタデータは、前記再生環境の第2の条件の複数のオーディオストリームのうちの1以上に適用され、
前記再生環境の条件に基づき、前記一または複数のメタデータセットにより、前記再生環境中のスピーカに対応する複数のスピーカフィードに前記複数のオーディオストリームをレンダリングする段階とを有する、方法。
(付記26) オーサリングコンポーネントで処理される複数のモノフォニックオーディオストリームを含むオーディオコンテンツを生成する方法であって、
前記モノフォニックオーディオストリームは少なくとも1つのチャンネルベースオーディオストリームと少なくとも1つのオブジェクトベースオーディオストリームとを含み、前記方法は、
前記複数のオーディオストリームの各オーディオストリームがチャンネルベースストリームかオブジェクトベースストリームか示す段階と、
各チャンネルベースストリームに、チャンネルベースストリームを再生環境中の一または複数のスピーカにレンダするチャンネル位置を規定するメタデータ要素を関連付ける段階と、
各オブジェクトベースストリームに、前記再生環境のサイズと寸法に関して規定された他者中心参照枠に対し、それぞれのオブジェクトベースストリームを前記再生環境内の一または複数のスピーカにレンダするために、オブジェクトベース一を規定する一または複数のメタデータ要素を関連づける段階と、
前記複数のモノフォニックオーディオストリームと、関連するメタデータとを信号にアセンブルする段階とを有する、方法。
(付記27) 前記再生環境は、前記再生環境を化体するエンクロージャの基準点に対して、画定されたロケーションと方向に配置されたスピーカのアレイを含む、
付記26に記載の方法。
(付記28) 前記スピーカアレイの第1セットのスピーカは、画定されたサラウンドサウンドシステムに応じて構成されたスピーカを有し、
前記スピーカアレイの第2セットのスピーカは、適応的オーディオスキームに応じて構成されたスピーカを有する、
付記27に記載の方法。
(付記29) 前記複数のモノフォニックオーディオストリームのセットのオーディオタイプを画定するステップと、
前記オーディオタイプは、会話、音楽、及び効果よりなるグループから選択され、
オーディオストリームのセットのオーディオタイプに基づいて、前記オーディオストリームのセットをスピーカのセットに送信する段階を有する、
付記28に記載の方法。
(付記30) 前記モノフォニックオーディオストリームの再生レベルを規定するユーザにより操作可能なコントロールを有するミキシングコンソールにインプリメントされたオーサリングコンポーネントにより、前記メタデータ要素を自動的に生成する段階をさらに有する、
付記29に記載の方法。
(付記31) エンコーダにおいて、単一デジタルビットストリームに複数のモノフォニックオーディオストリームと関連メタデータ要素をパッケージングする段階をさらに有する、
付記30に記載の方法。
(付記32) オーディオコンテンツを生成する方法であって、
チャンネルベース及びオブジェクトベースコンテンツの両方をハンドリングするハイブリッドオーディオシステムにおいて処理するためにオーディオコンテンツのプログラミングに関連づけられた第1のメタデータグループ中の一または複数のメタデータ要素の値を決定する段階と、
前記ハイブリッドオーディオシステムのオーディオコンテンツの記憶及びレンダリング特性に関連する第2のメタデータグループの一または複数のメタデータ要素の値を決定する段階と、
前記チャンネルベース及びオブジェクトベースオーディオコンテンツをレンダリングするため、オーディオソース位置及びコントロール情報に関連する第3のメタデータグループの一または複数のメタデータ要素の値を決定する段階とを有する、方法。
(付記33) 前記チャンネルベースオーディオコンテンツをレンダリングするためのオーディオソース位置は、サラウンドサウンドスピーカシステムのスピーカに関連する名称を含み、
前記名称は、前記再生環境の基準点に対するスピーカのロケーションを画定する、
付記32に記載の方法。
(付記34) 前記チャンネルベースオーディオコンテンツをレンダするコントロール情報は、異なるサラウンドサウンド構成でオーディオコンテンツをレンダリングするためのアップミックス及びダウンミックス情報を含み、
前記メタデータは、アップミックス及び/またはダウンミックス機能をイネーブルまたはディスエーブルするメタデータを含む、
付記33に記載の方法。
(付記35) 前記オブジェクトベースオーディオコンテンツをレンダするオーディオソース位置は、前記オブジェクトベースオーディオコンテンツのサウンドコンポーネントの再生の意図された再生ロケーションを規定する一または複数の数学的関数に関連する値を有する、
付記32に記載の方法。
(付記36) 前記数学的関数は、x、y、z座標値として規定された3次元座標と、面の定義と一セットの2次元座標、曲線の定義と一セットの1次元リニア位置座標と、前記再生環境中のスクリーン上のスカラー位置とよりなるグループから選択される、
付記35に記載の方法。
(付記37) 前記オブジェクトベースオーディオコンテンツをレンダするコントロール情報は、前記サウンドコンポーネントが再生される再生環境内の個別のスピーカまたはスピーカグループを規定する値を有する、
付記36に記載の方法。
(付記38) 前記オブジェクトベースオーディオコンテンツをレンダするコントロール情報は、さらに、前記再生環境内の最も近いスピーカまたは最も近いスピーカグループにスナップされるサウンドソースを規定するバイナリ値を含む、
付記37に記載の方法。
(付記39) オーディオトランスポートプロトコルを画定する方法であって、
チャンネルベース及びオブジェクトベースコンテンツの両方をハンドリングするハイブリッドオーディオシステムにおいて処理するためにオーディオコンテンツのプログラミングに関連づけられた第1のメタデータグループ中の一または複数のメタデータ要素の値を画定する段階と、
前記ハイブリッドオーディオシステムのオーディオコンテンツの記憶及びレンダリング特性に関連する第2のメタデータグループの一または複数のメタデータ要素の値を画定する段階と、
前記チャンネルベース及びオブジェクトベースオーディオコンテンツをレンダリングするため、オーディオソース位置及びコントロール情報に関連する第3のメタデータグループの一または複数のメタデータ要素の値を画定する段階とを有する、方法。
Claims (9)
- オーディオ信号を処理するシステムであって、
レンダリングシステムを有し、前記レンダリングシステムは、
複数のモノラルオーディオストリームを表す符号化されたオーディオデータを含み、前記モノラルオーディオストリームの各々に関連付けられ、それぞれのモノラルオーディオストリームの再生位置を示すメタデータをさらに含むビットストリームを受信することであって、前記複数のモノラルオーディオストリームの少なくともいくつかはオブジェクトベースオーディオとして識別され、オブジェクトベースモノラルオーディオストリームの前記再生位置は3次元空間内の位置を含む、受信することと
前記符号化されたオーディオデータを復号して、前記複数のモノラルオーディオストリームを提供する、複合することと
前記複数のモノラルオーディオストリームを再生環境にあるスピーカに対応する複数のスピーカフィードにレンダリングすることであって、前記スピーカは前記再生環境中の特定の位置に配置され、それぞれのオブジェクトベースのモノラルオーディオストリームに関連付けられた一以上の追加のメタデータ要素は、前記それぞれのオブジェクトベースのモノラルオーディオストリームが前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードのいずれにもレンダリングされないように、前記それぞれのモノラルオーディオストリームを前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードにレンダリングすることが禁止されるかどうかを示す、レンダリングすることと
を行うように構成された、システム。 - 各オブジェクトベースのモノラルオーディオストリームに関連付けられた前記メタデータ要素は、サウンド位置、サウンド幅、およびベロシティのうちの一以上を含む、対応するサウンド成分の再生を制御する空間パラメータをさらに示す、請求項1に記載のシステム。
- 複数のオブジェクトベースのモノラルオーディオストリームの各々についての前記再生位置は、自己中心参照枠または他者中心参照枠のいずれかに関して独立して指定され、前記自己中心参照枠は、前記再生環境におけるリスナに関して取られ、前記他者中心参照枠は、前記再生環境の特性に関して取られる、請求項1に記載のシステム。
- レンダリングのためのオーディオコンテンツをオーサリングする方法であって
複数のオーディオ信号を受信することと
複数のモノラルオーディオストリームと、前記複数のモノラルオーディオストリームの各々に関連付けられ、それぞれのモノラルオーディオストリームの再生位置を示すメタデータとを生成することであって、前記複数のモノラルオーディオストリームの少なくともいくつかはオブジェクトベースオーディオとして識別され、前記オブジェクトベースオーディオの前記再生位置は3次元空間における位置を含む、生成することと
前記複数のモノラルオーディオストリームを符号化して、符号化されたオーディオデータを提供することと
再生環境内のスピーカに対応する複数のスピーカフィードに前記複数のモノラルオーディオストリームをレンダリングするように構成されたレンダリングシステムに送信するために、前記符号化されたオーディオデータおよび前記メタデータをビットストリーム内にカプセル化することであって、前記スピーカは前記再生環境内の特定の位置に配置され、それぞれのオブジェクトベースのモノラルオーディオストリームに関連付けられた一以上の追加のメタデータ要素は、前記それぞれのオブジェクトベースのモノラルオーディオストリームが前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードのいずれにもレンダリングされないように、前記それぞれのモノラルオーディオストリームを前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードにレンダリングすることが禁止されるかどうかを示す、カプセル化することと
を含む方法。 - オーディオ信号をレンダリングする方法であって
複数のモノラルオーディオストリームを表す符号化されたオーディオデータを含み、前記モノラルオーディオストリームの各々に関連付けられ、それぞれのモノラルオーディオストリームの再生位置を示すメタデータをさらに含むビットストリームを受信することであって、前記複数のモノラルオーディオストリームの少なくともいくつかはオブジェクトベースオーディオとして識別され、オブジェクトベースモノラルオーディオストリームの前記再生位置は3次元空間内の位置を含む、受信することと
前記符号化されたオーディオデータを復号して、前記複数のモノラルオーディオストリームを提供する、復号することと
前記複数のモノラルオーディオストリームを再生環境にあるスピーカに対応する複数のスピーカフィードにレンダリングすることであって、前記スピーカは前記再生環境中の特定の位置に配置され、それぞれのオブジェクトベースのモノラルオーディオストリームに関連付けられた一以上の追加のメタデータ要素は、前記それぞれのオブジェクトベースのモノラルオーディオストリームが前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードのいずれにもレンダリングされないように、前記それぞれのモノラルオーディオストリームを前記複数のスピーカフィードのうちの一以上の特定のスピーカフィードにレンダリングすることが禁止されるかどうかを示す、レンダリングすることと
を含む方法。 - 各オブジェクトベースのモノラルオーディオストリームに関連付けられた前記メタデータ要素は、サウンド位置、サウンド幅、およびベロシティのうちの一以上を含む、対応するサウンド成分の再生を制御する空間パラメータをさらに示す、請求項5に記載の方法。
- 複数のオブジェクトベースのモノラルオーディオストリームの各々についての前記再生位置は、再生環境内のスクリーンまたは前記再生環境を囲む面に対する空間位置を含み、前記面は、前面、後面、左面、右面、上面及び下面を含み、及び/又は自己中心参照枠または他者中心参照枠のいずれかに対して独立して指定され、前記自己中心参照枠は、前記再生環境におけるリスナに対して取られ、前記他者中心参照枠は、前記再生環境の特性に対して取られる、請求項5に記載の方法。
- 一連の命令を含む非一時的コンピュータ可読記憶媒体であって、オーディオ信号を処理するシステムによって実行されると、前記一連の命令は、前記システムに、請求項4ないし7いずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- コンピュータで実行されると、前記コンピュータに、請求項4ないし7いずれか一項に記載の方法を実行させるコンピュータプログラム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161504005P | 2011-07-01 | 2011-07-01 | |
US61/504,005 | 2011-07-01 | ||
US201261636429P | 2012-04-20 | 2012-04-20 | |
US61/636,429 | 2012-04-20 | ||
JP2021078508A JP7009664B2 (ja) | 2011-07-01 | 2021-05-06 | オーディオ信号処理システム及び方法 |
JP2022002776A JP7348320B2 (ja) | 2011-07-01 | 2022-01-12 | オーディオ信号処理システム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002776A Division JP7348320B2 (ja) | 2011-07-01 | 2022-01-12 | オーディオ信号処理システム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023164976A true JP2023164976A (ja) | 2023-11-14 |
Family
ID=46604526
Family Applications (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014518958A Active JP5912179B2 (ja) | 2011-07-01 | 2012-06-27 | 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法 |
JP2016072282A Active JP6174184B2 (ja) | 2011-07-01 | 2016-03-31 | オーディオ信号処理システム及び方法 |
JP2017131759A Active JP6486995B2 (ja) | 2011-07-01 | 2017-07-05 | オーディオコンテンツのオーサリング及びレンダリング方法及び装置 |
JP2019028442A Active JP6523585B1 (ja) | 2011-07-01 | 2019-02-20 | オーディオ信号処理システム及び方法 |
JP2019084101A Active JP6637208B2 (ja) | 2011-07-01 | 2019-04-25 | オーディオ信号処理システム及び方法 |
JP2019229648A Active JP6759442B2 (ja) | 2011-07-01 | 2019-12-19 | オーディオ信号処理システム及び方法 |
JP2020147539A Active JP6821854B2 (ja) | 2011-07-01 | 2020-09-02 | オーディオ信号処理システム及び方法 |
JP2021000842A Active JP6882618B2 (ja) | 2011-07-01 | 2021-01-06 | オーディオ信号処理システム及び方法 |
JP2021078508A Active JP7009664B2 (ja) | 2011-07-01 | 2021-05-06 | オーディオ信号処理システム及び方法 |
JP2022002776A Active JP7348320B2 (ja) | 2011-07-01 | 2022-01-12 | オーディオ信号処理システム及び方法 |
JP2023145272A Pending JP2023164976A (ja) | 2011-07-01 | 2023-09-07 | オーディオ信号処理システム及び方法 |
Family Applications Before (10)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014518958A Active JP5912179B2 (ja) | 2011-07-01 | 2012-06-27 | 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法 |
JP2016072282A Active JP6174184B2 (ja) | 2011-07-01 | 2016-03-31 | オーディオ信号処理システム及び方法 |
JP2017131759A Active JP6486995B2 (ja) | 2011-07-01 | 2017-07-05 | オーディオコンテンツのオーサリング及びレンダリング方法及び装置 |
JP2019028442A Active JP6523585B1 (ja) | 2011-07-01 | 2019-02-20 | オーディオ信号処理システム及び方法 |
JP2019084101A Active JP6637208B2 (ja) | 2011-07-01 | 2019-04-25 | オーディオ信号処理システム及び方法 |
JP2019229648A Active JP6759442B2 (ja) | 2011-07-01 | 2019-12-19 | オーディオ信号処理システム及び方法 |
JP2020147539A Active JP6821854B2 (ja) | 2011-07-01 | 2020-09-02 | オーディオ信号処理システム及び方法 |
JP2021000842A Active JP6882618B2 (ja) | 2011-07-01 | 2021-01-06 | オーディオ信号処理システム及び方法 |
JP2021078508A Active JP7009664B2 (ja) | 2011-07-01 | 2021-05-06 | オーディオ信号処理システム及び方法 |
JP2022002776A Active JP7348320B2 (ja) | 2011-07-01 | 2022-01-12 | オーディオ信号処理システム及び方法 |
Country Status (22)
Country | Link |
---|---|
US (12) | US9179236B2 (ja) |
EP (2) | EP2727383B1 (ja) |
JP (11) | JP5912179B2 (ja) |
KR (9) | KR20230170110A (ja) |
CN (2) | CN105792086B (ja) |
AR (1) | AR086775A1 (ja) |
AU (7) | AU2012279357B2 (ja) |
BR (2) | BR112013033386B1 (ja) |
CA (3) | CA2973703C (ja) |
DK (1) | DK2727383T3 (ja) |
ES (1) | ES2871224T3 (ja) |
HK (1) | HK1219604A1 (ja) |
HU (1) | HUE054452T2 (ja) |
IL (8) | IL291043B2 (ja) |
MX (1) | MX2013014684A (ja) |
MY (1) | MY165933A (ja) |
PL (1) | PL2727383T3 (ja) |
RU (3) | RU2617553C2 (ja) |
SG (1) | SG10201604679UA (ja) |
TW (6) | TWI603632B (ja) |
UA (1) | UA124570C2 (ja) |
WO (1) | WO2013006338A2 (ja) |
Families Citing this family (303)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE534980C2 (sv) | 2009-08-26 | 2012-03-06 | Svenska Utvecklings Entreprenoeren Susen Ab | Metod för att väcka en insomnad motorfordonsförare |
TWI603632B (zh) | 2011-07-01 | 2017-10-21 | 杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
WO2013192111A1 (en) | 2012-06-19 | 2013-12-27 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
TWI590234B (zh) | 2012-07-19 | 2017-07-01 | 杜比國際公司 | 編碼聲訊資料之方法和裝置,以及解碼已編碼聲訊資料之方法和裝置 |
EP2863657B1 (en) | 2012-07-31 | 2019-09-18 | Intellectual Discovery Co., Ltd. | Method and device for processing audio signal |
BR112015004288B1 (pt) | 2012-08-31 | 2021-05-04 | Dolby Laboratories Licensing Corporation | sistema para renderizar som com o uso de elementos de som refletidos |
JP6186436B2 (ja) | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
JP5897219B2 (ja) | 2012-08-31 | 2016-03-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクト・ベースのオーディオの仮想レンダリング |
WO2014036121A1 (en) | 2012-08-31 | 2014-03-06 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
US9622010B2 (en) | 2012-08-31 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers |
BR122021021487B1 (pt) * | 2012-09-12 | 2022-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V | Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d |
KR20140047509A (ko) * | 2012-10-12 | 2014-04-22 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
SG10201709574WA (en) | 2012-12-04 | 2018-01-30 | Samsung Electronics Co Ltd | Audio providing apparatus and audio providing method |
CN104885151B (zh) | 2012-12-21 | 2017-12-22 | 杜比实验室特许公司 | 用于基于感知准则呈现基于对象的音频内容的对象群集 |
TWI635753B (zh) | 2013-01-07 | 2018-09-11 | 美商杜比實驗室特許公司 | 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器 |
KR102160218B1 (ko) * | 2013-01-15 | 2020-09-28 | 한국전자통신연구원 | 사운드 바를 위한 오디오 신호 처리 장치 및 방법 |
WO2014112793A1 (ko) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
CN105009207B (zh) * | 2013-01-15 | 2018-09-25 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
EP2757558A1 (en) * | 2013-01-18 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Time domain level adjustment for audio signal decoding or encoding |
US9609452B2 (en) | 2013-02-08 | 2017-03-28 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
US9883310B2 (en) | 2013-02-08 | 2018-01-30 | Qualcomm Incorporated | Obtaining symmetry information for higher order ambisonic audio renderers |
US9959875B2 (en) * | 2013-03-01 | 2018-05-01 | Qualcomm Incorporated | Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams |
CN105075117B (zh) * | 2013-03-15 | 2020-02-18 | Dts(英属维尔京群岛)有限公司 | 根据多个音频主干进行自动多声道音乐混合的系统和方法 |
US10038957B2 (en) * | 2013-03-19 | 2018-07-31 | Nokia Technologies Oy | Audio mixing based upon playing device location |
CN107426666B (zh) * | 2013-03-28 | 2019-06-18 | 杜比实验室特许公司 | 用于创作和渲染音频再现数据的非暂态介质和设备 |
WO2014160717A1 (en) * | 2013-03-28 | 2014-10-02 | Dolby Laboratories Licensing Corporation | Using single bitstream to produce tailored audio device mixes |
TWI530941B (zh) * | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
JP2014204316A (ja) * | 2013-04-05 | 2014-10-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
MX2015014065A (es) * | 2013-04-05 | 2016-11-25 | Thomson Licensing | Metodo para manejar campo reverberante para audio inmersivo. |
JP6204684B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
JP6204683B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
JP6204681B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
JP6204680B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
JP6204682B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
WO2014171706A1 (ko) * | 2013-04-15 | 2014-10-23 | 인텔렉추얼디스커버리 주식회사 | 가상 객체 생성을 이용한 오디오 신호 처리 방법 |
EP2991383B1 (en) * | 2013-04-26 | 2021-01-27 | Sony Corporation | Audio processing device and audio processing system |
EP2946573B1 (en) * | 2013-04-30 | 2019-10-02 | Huawei Technologies Co., Ltd. | Audio signal processing apparatus |
US9860669B2 (en) | 2013-05-16 | 2018-01-02 | Koninklijke Philips N.V. | Audio apparatus and method therefor |
CN105191354B (zh) * | 2013-05-16 | 2018-07-24 | 皇家飞利浦有限公司 | 音频处理装置及其方法 |
US9706324B2 (en) | 2013-05-17 | 2017-07-11 | Nokia Technologies Oy | Spatial object oriented audio apparatus |
US9883312B2 (en) * | 2013-05-29 | 2018-01-30 | Qualcomm Incorporated | Transformed higher order ambisonics audio data |
KR101410976B1 (ko) | 2013-05-31 | 2014-06-23 | 한국산업은행 | 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치 |
TWI615834B (zh) * | 2013-05-31 | 2018-02-21 | Sony Corp | 編碼裝置及方法、解碼裝置及方法、以及程式 |
CN106961647B (zh) * | 2013-06-10 | 2018-12-14 | 株式会社索思未来 | 音频再生装置以及方法 |
US9705953B2 (en) * | 2013-06-17 | 2017-07-11 | Adobe Systems Incorporated | Local control of digital signal processing |
JP6276402B2 (ja) | 2013-06-18 | 2018-02-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ・レンダリングのためのベース管理 |
CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
EP3014901B1 (en) | 2013-06-28 | 2017-08-23 | Dolby Laboratories Licensing Corporation | Improved rendering of audio objects using discontinuous rendering-matrix updates |
US9858932B2 (en) | 2013-07-08 | 2018-01-02 | Dolby Laboratories Licensing Corporation | Processing of time-varying metadata for lossless resampling |
EP2830049A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for efficient object metadata coding |
EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
TWI560699B (en) * | 2013-07-22 | 2016-12-01 | Fraunhofer Ges Forschung | Apparatus and method for efficient object metadata coding |
EP2830332A3 (en) * | 2013-07-22 | 2015-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
US9712939B2 (en) | 2013-07-30 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Panning of audio objects to arbitrary speaker layouts |
WO2015017584A1 (en) | 2013-07-30 | 2015-02-05 | Dts, Inc. | Matrix decoder with constant-power pairwise panning |
CN110797037A (zh) | 2013-07-31 | 2020-02-14 | 杜比实验室特许公司 | 用于处理音频数据的方法和装置、介质及设备 |
WO2015025185A1 (en) | 2013-08-21 | 2015-02-26 | Thomson Licensing | Video display with pan function controlled by viewing direction |
US9483228B2 (en) | 2013-08-26 | 2016-11-01 | Dolby Laboratories Licensing Corporation | Live engine |
EP3503095A1 (en) | 2013-08-28 | 2019-06-26 | Dolby Laboratories Licensing Corp. | Hybrid waveform-coded and parametric-coded speech enhancement |
CN105612510B (zh) * | 2013-08-28 | 2018-11-13 | 兰德音频有限公司 | 用于使用语义数据执行自动音频制作的系统和方法 |
CN105556837B (zh) | 2013-09-12 | 2019-04-19 | 杜比实验室特许公司 | 用于各种回放环境的动态范围控制 |
US8751832B2 (en) * | 2013-09-27 | 2014-06-10 | James A Cashin | Secure system and method for audio processing |
US9067135B2 (en) | 2013-10-07 | 2015-06-30 | Voyetra Turtle Beach, Inc. | Method and system for dynamic control of game audio based on audio analysis |
US9338541B2 (en) | 2013-10-09 | 2016-05-10 | Voyetra Turtle Beach, Inc. | Method and system for in-game visualization based on audio analysis |
US10063982B2 (en) | 2013-10-09 | 2018-08-28 | Voyetra Turtle Beach, Inc. | Method and system for a game headset with audio alerts based on audio track analysis |
US9716958B2 (en) * | 2013-10-09 | 2017-07-25 | Voyetra Turtle Beach, Inc. | Method and system for surround sound processing in a headset |
US8979658B1 (en) | 2013-10-10 | 2015-03-17 | Voyetra Turtle Beach, Inc. | Dynamic adjustment of game controller sensitivity based on audio analysis |
EP3059732B1 (en) * | 2013-10-17 | 2018-10-10 | Socionext Inc. | Audio decoding device |
KR102231755B1 (ko) | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
EP3063955B1 (en) * | 2013-10-31 | 2019-10-16 | Dolby Laboratories Licensing Corporation | Binaural rendering for headphones using metadata processing |
US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
WO2015073454A2 (en) * | 2013-11-14 | 2015-05-21 | Dolby Laboratories Licensing Corporation | Screen-relative rendering of audio and encoding and decoding of audio for such rendering |
CN105981411B (zh) * | 2013-11-27 | 2018-11-30 | Dts(英属维尔京群岛)有限公司 | 用于高声道计数的多声道音频的基于多元组的矩阵混合 |
EP3657823A1 (en) | 2013-11-28 | 2020-05-27 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
EP2892250A1 (en) * | 2014-01-07 | 2015-07-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a plurality of audio channels |
US9704491B2 (en) | 2014-02-11 | 2017-07-11 | Disney Enterprises, Inc. | Storytelling environment: distributed immersive audio soundscape |
US9578436B2 (en) | 2014-02-20 | 2017-02-21 | Bose Corporation | Content-aware audio modes |
CN112019882B (zh) * | 2014-03-18 | 2022-11-04 | 皇家飞利浦有限公司 | 为视听内容项生成音频信号的方法和设备 |
US10412522B2 (en) | 2014-03-21 | 2019-09-10 | Qualcomm Incorporated | Inserting audio channels into descriptions of soundfields |
EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
KR102201726B1 (ko) * | 2014-03-21 | 2021-01-12 | 돌비 인터네셔널 에이비 | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 |
CN109087653B (zh) * | 2014-03-24 | 2023-09-15 | 杜比国际公司 | 对高阶高保真立体声信号应用动态范围压缩的方法和设备 |
JP6313641B2 (ja) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | チャンネル数変換装置 |
EP2925024A1 (en) | 2014-03-26 | 2015-09-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
EP2928216A1 (en) * | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
KR102302672B1 (ko) | 2014-04-11 | 2021-09-15 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
WO2015164572A1 (en) | 2014-04-25 | 2015-10-29 | Dolby Laboratories Licensing Corporation | Audio segmentation based on spatial metadata |
HK1195445A2 (en) * | 2014-05-08 | 2014-11-07 | 黃偉明 | Endpoint mixing system and reproduction method of endpoint mixed sounds |
EP3146730B1 (en) * | 2014-05-21 | 2019-10-16 | Dolby International AB | Configuring playback of audio via a home audio playback system |
WO2015184307A1 (en) * | 2014-05-30 | 2015-12-03 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
CN106415711A (zh) * | 2014-05-30 | 2017-02-15 | 索尼公司 | 信息处理装置和信息处理方法 |
CN106465028B (zh) * | 2014-06-06 | 2019-02-15 | 索尼公司 | 音频信号处理装置和方法、编码装置和方法以及程序 |
US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
SG11201610951UA (en) * | 2014-06-30 | 2017-02-27 | Sony Corp | Information processing apparatus and information processing method |
WO2016009944A1 (ja) | 2014-07-18 | 2016-01-21 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US9875751B2 (en) | 2014-07-31 | 2018-01-23 | Dolby Laboratories Licensing Corporation | Audio processing systems and methods |
EP3197182B1 (en) * | 2014-08-13 | 2020-09-30 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
CN105657633A (zh) * | 2014-09-04 | 2016-06-08 | 杜比实验室特许公司 | 生成针对音频对象的元数据 |
US9782672B2 (en) * | 2014-09-12 | 2017-10-10 | Voyetra Turtle Beach, Inc. | Gaming headset with enhanced off-screen awareness |
EP3198887A1 (en) * | 2014-09-24 | 2017-08-02 | Dolby Laboratories Licensing Corp. | Overhead speaker system |
US9774974B2 (en) | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
CN113921019A (zh) | 2014-09-30 | 2022-01-11 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
US20160094914A1 (en) * | 2014-09-30 | 2016-03-31 | Alcatel-Lucent Usa Inc. | Systems and methods for localizing audio streams via acoustic large scale speaker arrays |
KR102226817B1 (ko) * | 2014-10-01 | 2021-03-11 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
JP6732739B2 (ja) * | 2014-10-01 | 2020-07-29 | ドルビー・インターナショナル・アーベー | オーディオ・エンコーダおよびデコーダ |
DK3201918T3 (en) * | 2014-10-02 | 2019-02-25 | Dolby Int Ab | DECODING PROCEDURE AND DECODS FOR DIALOGUE IMPROVEMENT |
JP6812517B2 (ja) * | 2014-10-03 | 2021-01-13 | ドルビー・インターナショナル・アーベー | パーソナル化されたオーディオへのスマート・アクセス |
CN110164483B (zh) * | 2014-10-03 | 2021-03-02 | 杜比国际公司 | 渲染音频节目的方法和系统 |
CN107004421B (zh) | 2014-10-31 | 2020-07-07 | 杜比国际公司 | 多通道音频信号的参数编码和解码 |
CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
CN105895086B (zh) * | 2014-12-11 | 2021-01-12 | 杜比实验室特许公司 | 元数据保留的音频对象聚类 |
US10057705B2 (en) * | 2015-01-13 | 2018-08-21 | Harman International Industries, Incorporated | System and method for transitioning between audio system modes |
JP6550756B2 (ja) * | 2015-01-20 | 2019-07-31 | ヤマハ株式会社 | オーディオ信号処理装置 |
EP3254435B1 (en) | 2015-02-03 | 2020-08-26 | Dolby Laboratories Licensing Corporation | Post-conference playback system having higher perceived quality than originally heard in the conference |
WO2016126715A1 (en) | 2015-02-03 | 2016-08-11 | Dolby Laboratories Licensing Corporation | Adaptive audio construction |
WO2016126819A1 (en) | 2015-02-03 | 2016-08-11 | Dolby Laboratories Licensing Corporation | Optimized virtual scene layout for spatial meeting playback |
CN105992120B (zh) * | 2015-02-09 | 2019-12-31 | 杜比实验室特许公司 | 音频信号的上混音 |
CN105989845B (zh) | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
US9933991B2 (en) * | 2015-03-10 | 2018-04-03 | Harman International Industries, Limited | Remote controlled digital audio mixing system |
TWI758146B (zh) | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
WO2016148552A2 (ko) * | 2015-03-19 | 2016-09-22 | (주)소닉티어랩 | 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 |
US10992727B2 (en) * | 2015-04-08 | 2021-04-27 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
EP3286929B1 (en) * | 2015-04-20 | 2019-07-31 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
US10257636B2 (en) | 2015-04-21 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Spatial audio signal manipulation |
US20160315722A1 (en) * | 2015-04-22 | 2016-10-27 | Apple Inc. | Audio stem delivery and control |
JPWO2016171002A1 (ja) | 2015-04-24 | 2018-02-15 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US10063985B2 (en) | 2015-05-14 | 2018-08-28 | Dolby Laboratories Licensing Corporation | Generation and playback of near-field audio content |
KR102357293B1 (ko) * | 2015-05-26 | 2022-01-28 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
US9985676B2 (en) * | 2015-06-05 | 2018-05-29 | Braven, Lc | Multi-channel mixing console |
ES2936089T3 (es) * | 2015-06-17 | 2023-03-14 | Fraunhofer Ges Forschung | Control de intensidad del sonido para interacción del usuario en sistemas de codificación de audio |
TWI607655B (zh) * | 2015-06-19 | 2017-12-01 | Sony Corp | Coding apparatus and method, decoding apparatus and method, and program |
DE102015008000A1 (de) * | 2015-06-24 | 2016-12-29 | Saalakustik.De Gmbh | Verfahren zur Schallwiedergabe in Reflexionsumgebungen, insbesondere in Hörräumen |
US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
WO2016210174A1 (en) * | 2015-06-25 | 2016-12-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
GB2540226A (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio microphone array and locator configuration |
CN105187625B (zh) * | 2015-07-13 | 2018-11-16 | 努比亚技术有限公司 | 一种电子设备及音频处理方法 |
GB2529310B (en) * | 2015-07-16 | 2016-11-30 | Powerchord Group Ltd | A method of augmenting an audio content |
GB2540407B (en) * | 2015-07-16 | 2020-05-20 | Powerchord Group Ltd | Personal audio mixer |
GB2540404B (en) * | 2015-07-16 | 2019-04-10 | Powerchord Group Ltd | Synchronising an audio signal |
US9934790B2 (en) * | 2015-07-31 | 2018-04-03 | Apple Inc. | Encoded audio metadata-based equalization |
CN105070304B (zh) | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
CN108141692B (zh) | 2015-08-14 | 2020-09-29 | Dts(英属维尔京群岛)有限公司 | 用于基于对象的音频的低音管理系统和方法 |
KR102423753B1 (ko) | 2015-08-20 | 2022-07-21 | 삼성전자주식회사 | 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
US9832590B2 (en) * | 2015-09-12 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Audio program playback calibration based on content creation environment |
WO2017058097A1 (en) * | 2015-09-28 | 2017-04-06 | Razer (Asia-Pacific) Pte. Ltd. | Computers, methods for controlling a computer, and computer-readable media |
US10341770B2 (en) | 2015-09-30 | 2019-07-02 | Apple Inc. | Encoded audio metadata-based loudness equalization and dynamic equalization during DRC |
US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
US9877137B2 (en) * | 2015-10-06 | 2018-01-23 | Disney Enterprises, Inc. | Systems and methods for playing a venue-specific object-based audio |
WO2017069055A1 (ja) | 2015-10-21 | 2017-04-27 | 富士フイルム株式会社 | 映像音響システム |
US9807535B2 (en) * | 2015-10-30 | 2017-10-31 | International Business Machines Corporation | Three dimensional audio speaker array |
EP3378240B1 (en) | 2015-11-20 | 2019-12-11 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
CN105979349A (zh) * | 2015-12-03 | 2016-09-28 | 乐视致新电子科技(天津)有限公司 | 一种音频数据处理的方法和装置 |
CN108370482B (zh) | 2015-12-18 | 2020-07-28 | 杜比实验室特许公司 | 用于呈现沉浸式音频内容的双定向扬声器 |
WO2017126895A1 (ko) * | 2016-01-19 | 2017-07-27 | 지오디오랩 인코포레이티드 | 오디오 신호 처리 장치 및 처리 방법 |
WO2017130210A1 (en) * | 2016-01-27 | 2017-08-03 | Indian Institute Of Technology Bombay | Method and system for rendering audio streams |
US11121620B2 (en) | 2016-01-29 | 2021-09-14 | Dolby Laboratories Licensing Corporation | Multi-channel cinema amplifier with power-sharing, messaging and multi-phase power supply |
US11290819B2 (en) | 2016-01-29 | 2022-03-29 | Dolby Laboratories Licensing Corporation | Distributed amplification and control system for immersive audio multi-channel amplifier |
CN105656915B (zh) * | 2016-01-29 | 2019-01-18 | 腾讯科技(深圳)有限公司 | 即时通话方法、装置和系统 |
US10778160B2 (en) | 2016-01-29 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Class-D dynamic closed loop feedback amplifier |
JP7023848B2 (ja) | 2016-01-29 | 2022-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | バイノーラル・ダイアログ向上 |
US9924291B2 (en) * | 2016-02-16 | 2018-03-20 | Sony Corporation | Distributed wireless speaker system |
US10573324B2 (en) * | 2016-02-24 | 2020-02-25 | Dolby International Ab | Method and system for bit reservoir control in case of varying metadata |
CN105898669B (zh) * | 2016-03-18 | 2017-10-20 | 南京青衿信息科技有限公司 | 一种声音对象的编码方法 |
US11528554B2 (en) | 2016-03-24 | 2022-12-13 | Dolby Laboratories Licensing Corporation | Near-field rendering of immersive audio content in portable computers and devices |
US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
GB2550877A (en) * | 2016-05-26 | 2017-12-06 | Univ Surrey | Object-based audio rendering |
TWI744341B (zh) | 2016-06-17 | 2021-11-01 | 美商Dts股份有限公司 | 使用近場/遠場渲染之距離聲相偏移 |
US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
US10951985B1 (en) * | 2016-07-01 | 2021-03-16 | Gebre Waddell | Method and system for audio critical listening and evaluation |
US9956910B2 (en) * | 2016-07-18 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Audible notification systems and methods for autonomous vehicles |
EP3488439B1 (en) * | 2016-07-22 | 2021-08-11 | Dolby Laboratories Licensing Corporation | Network-based processing and distribution of multimedia content of a live musical performance |
CN106375778B (zh) * | 2016-08-12 | 2020-04-17 | 南京青衿信息科技有限公司 | 一种符合数字电影规范的三维音频节目码流传输的方法 |
GB201615538D0 (en) | 2016-09-13 | 2016-10-26 | Nokia Technologies Oy | A method , apparatus and computer program for processing audio signals |
WO2018055860A1 (ja) * | 2016-09-20 | 2018-03-29 | ソニー株式会社 | 情報処理装置と情報処理方法およびプログラム |
CN109565631B (zh) * | 2016-09-28 | 2020-12-18 | 雅马哈株式会社 | 混音器、混音器的控制方法以及程序 |
GB2554447A (en) | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Gain control in spatial audio systems |
CN117221801A (zh) * | 2016-09-29 | 2023-12-12 | 杜比实验室特许公司 | 环绕声系统中扬声器位置的自动发现和定位 |
US10349196B2 (en) * | 2016-10-03 | 2019-07-09 | Nokia Technologies Oy | Method of editing audio signals using separated objects and associated apparatus |
US10419866B2 (en) | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
US9980078B2 (en) * | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
US10516914B2 (en) * | 2016-10-19 | 2019-12-24 | Centurylink Intellectual Property Llc | Method and system for implementing automatic audio optimization for streaming services |
EP3470976A1 (en) * | 2017-10-12 | 2019-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience |
US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
US10535355B2 (en) | 2016-11-18 | 2020-01-14 | Microsoft Technology Licensing, Llc | Frame coding for spatial audio data |
CN109983786B (zh) | 2016-11-25 | 2022-03-01 | 索尼公司 | 再现方法、装置及介质、信息处理方法及装置 |
JP6993774B2 (ja) * | 2016-12-07 | 2022-01-14 | シャープ株式会社 | 音声出力制御装置 |
CN110326310B (zh) | 2017-01-13 | 2020-12-29 | 杜比实验室特许公司 | 串扰消除的动态均衡 |
US11012803B2 (en) * | 2017-01-27 | 2021-05-18 | Auro Technologies Nv | Processing method and system for panning audio objects |
DE102017102234A1 (de) | 2017-02-06 | 2018-08-09 | Visteon Global Technologies, Inc. | Verfahren und Vorrichtung zur räumlichen Darstellung virtueller Geräuschquellen in einem Fahrzeug |
WO2018150774A1 (ja) * | 2017-02-17 | 2018-08-23 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
US10999678B2 (en) * | 2017-03-24 | 2021-05-04 | Sharp Kabushiki Kaisha | Audio signal processing device and audio signal processing system |
US10972859B2 (en) * | 2017-04-13 | 2021-04-06 | Sony Corporation | Signal processing apparatus and method as well as program |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
US9843883B1 (en) * | 2017-05-12 | 2017-12-12 | QoSound, Inc. | Source independent sound field rotation for virtual and augmented reality applications |
US11595774B2 (en) | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
US20180357038A1 (en) * | 2017-06-09 | 2018-12-13 | Qualcomm Incorporated | Audio metadata modification at rendering device |
WO2018231185A1 (ru) * | 2017-06-16 | 2018-12-20 | Василий Васильевич ДУМА | Способ синхронизации звуковых сигналов |
US10028069B1 (en) | 2017-06-22 | 2018-07-17 | Sonos, Inc. | Immersive audio in a media playback system |
US10516962B2 (en) | 2017-07-06 | 2019-12-24 | Huddly As | Multi-channel binaural recording and dynamic playback |
US11386913B2 (en) | 2017-08-01 | 2022-07-12 | Dolby Laboratories Licensing Corporation | Audio object classification based on location metadata |
US11128977B2 (en) | 2017-09-29 | 2021-09-21 | Apple Inc. | Spatial audio downmixing |
WO2019067469A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | FILE FORMAT FOR SPACE |
RU2020111480A (ru) | 2017-10-05 | 2021-09-20 | Сони Корпорейшн | Устройство и способ кодирования, устройство и способ декодирования и программа |
FR3072840B1 (fr) * | 2017-10-23 | 2021-06-04 | L Acoustics | Arrangement spatial de dispositifs de diffusion sonore |
CN111567037B (zh) | 2017-11-10 | 2022-12-06 | 惠普发展公司,有限责任合伙企业 | 会议环境监视 |
US10440497B2 (en) * | 2017-11-17 | 2019-10-08 | Intel Corporation | Multi-modal dereverbaration in far-field audio systems |
US10511909B2 (en) * | 2017-11-29 | 2019-12-17 | Boomcloud 360, Inc. | Crosstalk cancellation for opposite-facing transaural loudspeaker systems |
KR102561608B1 (ko) | 2017-12-12 | 2023-08-01 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
TWI702594B (zh) * | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
JP7261807B2 (ja) | 2018-02-01 | 2023-04-20 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ハイブリッドエンコーダ/デコーダ空間解析を使用する音響シーンエンコーダ、音響シーンデコーダおよびその方法 |
KR102482960B1 (ko) | 2018-02-07 | 2022-12-29 | 삼성전자주식회사 | 듀얼 스피커를 이용한 오디오 데이터 재생 방법 및 그의 전자 장치 |
DE102018206025A1 (de) * | 2018-02-19 | 2019-08-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering |
US10514882B2 (en) | 2018-02-21 | 2019-12-24 | Microsoft Technology Licensing, Llc | Digital audio processing system for adjoining digital audio stems based on computed audio intensity/characteristics |
KR102622714B1 (ko) | 2018-04-08 | 2024-01-08 | 디티에스, 인코포레이티드 | 앰비소닉 깊이 추출 |
EP3777245A1 (en) * | 2018-04-11 | 2021-02-17 | Dolby International AB | Methods, apparatus and systems for a pre-rendered signal for audio rendering |
BR112020016912A2 (pt) * | 2018-04-16 | 2020-12-15 | Dolby Laboratories Licensing Corporation | Métodos, aparelhos e sistemas para codificação e decodificação de fontes de som direcionais |
US10672405B2 (en) * | 2018-05-07 | 2020-06-02 | Google Llc | Objective quality metrics for ambisonic spatial audio |
US10630870B2 (en) * | 2018-06-20 | 2020-04-21 | Gdc Technology (Shenzhen) Limited | System and method for augmented reality movie screenings |
EP3588988B1 (en) * | 2018-06-26 | 2021-02-17 | Nokia Technologies Oy | Selective presentation of ambient audio content for spatial audio presentation |
US20200007988A1 (en) * | 2018-07-02 | 2020-01-02 | Microchip Technology Incorporated | Wireless signal source based audio output and related systems, methods and devices |
SG11202007629UA (en) | 2018-07-02 | 2020-09-29 | Dolby Laboratories Licensing Corp | Methods and devices for encoding and/or decoding immersive audio signals |
CN110675889A (zh) | 2018-07-03 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、客户端和电子设备 |
US10445056B1 (en) * | 2018-07-03 | 2019-10-15 | Disney Enterprises, Inc. | System for deliverables versioning in audio mastering |
US10455078B1 (en) * | 2018-07-11 | 2019-10-22 | International Business Machines Corporation | Enhancing privacy in mobile phone calls by caller controlled audio delivering modes |
GB2575510A (en) * | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
US11159327B2 (en) * | 2018-08-06 | 2021-10-26 | Tyson York Winarski | Blockchain augmentation of a material exchange format MXF file |
WO2020047298A1 (en) | 2018-08-30 | 2020-03-05 | Dolby International Ab | Method and apparatus for controlling enhancement of low-bitrate coded audio |
US10404467B1 (en) * | 2018-09-09 | 2019-09-03 | Tyson York Winarski | Blockchain digest augmention of media files including group-of-pictures video streams for MXF files |
US20200081681A1 (en) * | 2018-09-10 | 2020-03-12 | Spotify Ab | Mulitple master music playback |
CN112740721A (zh) * | 2018-09-28 | 2021-04-30 | 索尼公司 | 信息处理装置、方法和程序 |
US10932344B2 (en) | 2018-10-09 | 2021-02-23 | Rovi Guides, Inc. | Systems and methods for emulating an environment created by the outputs of a plurality of devices |
WO2020081674A1 (en) | 2018-10-16 | 2020-04-23 | Dolby Laboratories Licensing Corporation | Methods and devices for bass management |
WO2020086357A1 (en) | 2018-10-24 | 2020-04-30 | Otto Engineering, Inc. | Directional awareness audio communications system |
BR112021007089A2 (pt) * | 2018-11-13 | 2021-07-20 | Dolby Laboratories Licensing Corporation | processamento de áudio em serviços de áudio imersivos |
CN109451417B (zh) * | 2018-11-29 | 2024-03-15 | 广州艾美网络科技有限公司 | 多声道音频处理方法及系统 |
US11474776B2 (en) * | 2018-12-18 | 2022-10-18 | Intel Corporation | Display-based audio splitting in media environments |
US11503422B2 (en) | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
KR20200107758A (ko) * | 2019-03-08 | 2020-09-16 | 엘지전자 주식회사 | 음향 객체 추종을 위한 방법 및 이를 위한 장치 |
CA3135849A1 (en) | 2019-04-02 | 2020-10-08 | Syng, Inc. | Systems and methods for spatial audio rendering |
JP7419666B2 (ja) * | 2019-04-03 | 2024-01-23 | ヤマハ株式会社 | 音信号処理装置および音信号処理方法 |
US11087738B2 (en) * | 2019-06-11 | 2021-08-10 | Lucasfilm Entertainment Company Ltd. LLC | System and method for music and effects sound mix creation in audio soundtrack versioning |
CN112233647A (zh) * | 2019-06-26 | 2021-01-15 | 索尼公司 | 信息处理设备和方法以及计算机可读存储介质 |
CN112153530B (zh) * | 2019-06-28 | 2022-05-27 | 苹果公司 | 用于存储捕获元数据的空间音频文件格式 |
US11841899B2 (en) | 2019-06-28 | 2023-12-12 | Apple Inc. | Spatial audio file format for storing capture metadata |
CN116978387A (zh) | 2019-07-02 | 2023-10-31 | 杜比国际公司 | 用于离散指向性数据的表示、编码和解码的方法、设备和系统 |
US10972852B2 (en) | 2019-07-03 | 2021-04-06 | Qualcomm Incorporated | Adapting audio streams for rendering |
US11580213B2 (en) * | 2019-07-03 | 2023-02-14 | Qualcomm Incorporated | Password-based authorization for audio rendering |
US20220295207A1 (en) | 2019-07-09 | 2022-09-15 | Dolby Laboratories Licensing Corporation | Presentation independent mastering of audio content |
WO2021014933A1 (ja) * | 2019-07-19 | 2021-01-28 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP2021048500A (ja) * | 2019-09-19 | 2021-03-25 | ソニー株式会社 | 信号処理装置、信号処理方法および信号処理システム |
TWI735968B (zh) * | 2019-10-09 | 2021-08-11 | 名世電子企業股份有限公司 | 音場型自然環境音效系統 |
TW202123220A (zh) | 2019-10-30 | 2021-06-16 | 美商杜拜研究特許公司 | 使用方向性元資料之多通道音頻編碼及解碼 |
US11096006B1 (en) * | 2019-11-04 | 2021-08-17 | Facebook Technologies, Llc | Dynamic speech directivity reproduction |
CN110782865B (zh) * | 2019-11-06 | 2023-08-18 | 上海音乐学院 | 一种三维声音创作交互式系统 |
US11533560B2 (en) * | 2019-11-15 | 2022-12-20 | Boomcloud 360 Inc. | Dynamic rendering device metadata-informed audio enhancement system |
WO2021099363A2 (en) * | 2019-11-20 | 2021-05-27 | Dolby International Ab | Methods and devices for personalizing audio content |
WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
RU2721180C1 (ru) * | 2019-12-02 | 2020-05-18 | Самсунг Электроникс Ко., Лтд. | Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его |
BR112022010737A2 (pt) | 2019-12-02 | 2022-08-23 | Dolby Laboratories Licensing Corp | Sistemas, métodos e aparelho para conversão de áudio com base em canal para áudio com base em objeto |
KR20210072388A (ko) * | 2019-12-09 | 2021-06-17 | 삼성전자주식회사 | 오디오 출력 장치 및 오디오 출력 장치의 제어 방법 |
CN114830233A (zh) * | 2019-12-09 | 2022-07-29 | 杜比实验室特许公司 | 基于噪声指标和语音可懂度指标来调整音频和非音频特征 |
JP7443870B2 (ja) | 2020-03-24 | 2024-03-06 | ヤマハ株式会社 | 音信号出力方法および音信号出力装置 |
US11900412B2 (en) * | 2020-03-25 | 2024-02-13 | Applied Minds, Llc | Audience participation application, system, and method of use |
CN111586553B (zh) * | 2020-05-27 | 2022-06-03 | 京东方科技集团股份有限公司 | 显示装置及其工作方法 |
US11275629B2 (en) * | 2020-06-25 | 2022-03-15 | Microsoft Technology Licensing, Llc | Mixed reality complementary systems |
WO2022010454A1 (en) * | 2020-07-06 | 2022-01-13 | Hewlett-Packard Development Company, L.P. | Binaural down-mixing of audio signals |
CA3187342A1 (en) * | 2020-07-30 | 2022-02-03 | Guillaume Fuchs | Apparatus, method and computer program for encoding an audio signal or for decoding an encoded audio scene |
CN112398455B (zh) * | 2020-10-21 | 2022-09-27 | 头领科技(昆山)有限公司 | 一种自适应功率放大器芯片及其自适应控制方法 |
CN112312298A (zh) | 2020-11-19 | 2021-02-02 | 北京小米松果电子有限公司 | 音频播放方法及装置、电子设备和存储介质 |
JP2022083445A (ja) * | 2020-11-24 | 2022-06-03 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
KR102500694B1 (ko) * | 2020-11-24 | 2023-02-16 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법 |
JP2022083443A (ja) * | 2020-11-24 | 2022-06-03 | ネイバー コーポレーション | オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法 |
US11521623B2 (en) | 2021-01-11 | 2022-12-06 | Bank Of America Corporation | System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording |
CN114915874B (zh) * | 2021-02-10 | 2023-07-25 | 北京全景声信息科技有限公司 | 音频处理方法、装置、设备及介质 |
RU2759666C1 (ru) * | 2021-02-19 | 2021-11-16 | Общество с ограниченной ответственностью «ЯЛОС СТРИМ» | Система воспроизведения аудио-видеоданных |
KR20220146165A (ko) * | 2021-04-23 | 2022-11-01 | 삼성전자주식회사 | 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법 |
GB2618016A (en) * | 2021-04-30 | 2023-10-25 | That Corp | Passive sub-audible room path learning with noise modeling |
WO2022245076A1 (ko) * | 2021-05-21 | 2022-11-24 | 삼성전자 주식회사 | 다채널 오디오 신호 처리 장치 및 방법 |
EP4348643A1 (en) * | 2021-05-28 | 2024-04-10 | Dolby Laboratories Licensing Corporation | Dynamic range adjustment of spatial audio objects |
CN113905321A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于对象音频通道元数据和生成方法、设备及存储介质 |
CN113905322A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于双耳音频通道元数据和生成方法、设备及存储介质 |
CN113923584A (zh) * | 2021-09-01 | 2022-01-11 | 赛因芯微(北京)电子科技有限公司 | 基于矩阵音频通道元数据和生成方法、设备及存储介质 |
CN113938811A (zh) * | 2021-09-01 | 2022-01-14 | 赛因芯微(北京)电子科技有限公司 | 基于音床音频通道元数据和生成方法、设备及存储介质 |
CN113963724A (zh) * | 2021-09-18 | 2022-01-21 | 赛因芯微(北京)电子科技有限公司 | 音频内容元数据和产生方法、电子设备及存储介质 |
CN114143695A (zh) * | 2021-10-15 | 2022-03-04 | 赛因芯微(北京)电子科技有限公司 | 一种音频流元数据和生成方法、电子设备及存储介质 |
CN114363791A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频元数据生成方法、装置、设备及存储介质 |
CN114363790A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频块格式元数据生成方法、装置、设备及介质 |
CN114363792A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 传输音轨格式串行元数据生成方法、装置、设备及介质 |
US11902771B2 (en) * | 2021-12-27 | 2024-02-13 | Spatialx Inc. | Audio space simulation in a localized audio environment |
CN114510212B (zh) * | 2021-12-31 | 2023-08-08 | 赛因芯微(北京)电子科技有限公司 | 一种基于串行数字音频接口的数据传输方法、装置及设备 |
CN114509043B (zh) * | 2022-02-15 | 2024-04-30 | 深圳须弥云图空间科技有限公司 | 空间对象编码方法、装置、设备及介质 |
WO2023212880A1 (zh) * | 2022-05-05 | 2023-11-09 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
KR102504081B1 (ko) * | 2022-08-18 | 2023-02-28 | 주식회사 킨트 | 사운드 파일 마스터링 시스템 |
WO2024076828A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby Laboratories Licensing Corporation | Method, apparatus, and medium for encoding and decoding of audio bitstreams with parametric flexible rendering configuration data |
WO2024074283A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for decoding of audio signals with skippable blocks |
WO2024074284A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for efficient encoding and decoding of audio bitstreams |
WO2024074282A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for encoding and decoding of audio bitstreams |
KR102608935B1 (ko) * | 2023-04-06 | 2023-12-04 | 뉴튠(주) | 사용자 정보에 기초한 실시간 오디오 믹싱 서비스 제공 방법 및 장치 |
CN116594586B (zh) * | 2023-07-18 | 2023-09-26 | 苏州清听声学科技有限公司 | 一种车载自适应调节的音频播放系统及方法 |
Family Cites Families (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5155510A (en) | 1990-11-29 | 1992-10-13 | Digital Theater Systems Corporation | Digital sound system for motion pictures with analog sound track emulation |
RU1332U1 (ru) | 1993-11-25 | 1995-12-16 | Магаданское государственное геологическое предприятие "Новая техника" | Гидромонитор |
US5802181A (en) | 1994-03-07 | 1998-09-01 | Sony Corporation | Theater sound system with upper surround channels |
JPH0951600A (ja) * | 1995-08-03 | 1997-02-18 | Fujitsu Ten Ltd | 効果音再生システム |
US5642423A (en) | 1995-11-22 | 1997-06-24 | Sony Corporation | Digital surround sound processor |
US5970152A (en) * | 1996-04-30 | 1999-10-19 | Srs Labs, Inc. | Audio enhancement system for use in a surround sound environment |
US6229899B1 (en) | 1996-07-17 | 2001-05-08 | American Technology Corporation | Method and device for developing a virtual speaker distant from the sound source |
US6164018A (en) | 1997-12-08 | 2000-12-26 | Shopro, Inc. | Cinematic theater and theater multiplex |
US6624873B1 (en) | 1998-05-05 | 2003-09-23 | Dolby Laboratories Licensing Corporation | Matrix-encoded surround-sound channels in a discrete digital sound format |
US6931370B1 (en) * | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
US6771323B1 (en) | 1999-11-15 | 2004-08-03 | Thx Ltd. | Audio visual display adjustment using captured content characteristics |
EP1134724B1 (en) * | 2000-03-17 | 2008-07-23 | Sony France S.A. | Real time audio spatialisation system with high level control |
AU2000280030A1 (en) * | 2000-04-19 | 2001-11-07 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preservespatial harmonics in three dimensions |
US7212872B1 (en) | 2000-05-10 | 2007-05-01 | Dts, Inc. | Discrete multichannel audio with a backward compatible mix |
US6970822B2 (en) | 2001-03-07 | 2005-11-29 | Microsoft Corporation | Accessing audio processing components in an audio generation system |
KR20030015806A (ko) | 2001-08-17 | 2003-02-25 | 최해용 | 극장용 영상,음향 광학계(劇場用 映像,音響 光學係) |
AU2003209957A1 (en) * | 2002-04-10 | 2003-10-20 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
US20030223603A1 (en) | 2002-05-28 | 2003-12-04 | Beckman Kenneth Oren | Sound space replication |
JP2003348700A (ja) * | 2002-05-28 | 2003-12-05 | Victor Co Of Japan Ltd | 臨場感信号の生成方法、及び臨場感信号生成装置 |
DE10254404B4 (de) * | 2002-11-21 | 2004-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals |
JP2004205768A (ja) * | 2002-12-25 | 2004-07-22 | Dainippon Printing Co Ltd | ラベルおよびそれを用いたラベル付容器 |
GB0301093D0 (en) * | 2003-01-17 | 2003-02-19 | 1 Ltd | Set-up method for array-type sound systems |
GB0304126D0 (en) * | 2003-02-24 | 2003-03-26 | 1 Ltd | Sound beam loudspeaker system |
FR2853802B1 (fr) | 2003-04-11 | 2005-06-24 | Pierre Denis Rene Vincent | Installation pour la projection d'oeuvres cinematographiques ou numeriques sonores |
RU2347282C2 (ru) | 2003-07-07 | 2009-02-20 | Конинклейке Филипс Электроникс Н.В. | Система и способ обработки звукового сигнала |
US6972828B2 (en) | 2003-12-18 | 2005-12-06 | Eastman Kodak Company | Method and system for preserving the creative intent within a motion picture production chain |
SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
SE0400997D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding of multi-channel audio |
US7106411B2 (en) | 2004-05-05 | 2006-09-12 | Imax Corporation | Conversion of cinema theatre to a super cinema theatre |
EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
US20060206221A1 (en) * | 2005-02-22 | 2006-09-14 | Metcalf Randall B | System and method for formatting multimode sound content and metadata |
DE102005008343A1 (de) * | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System |
DE102005008366A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
DE102005008342A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Speichern von Audiodateien |
JP2006304165A (ja) * | 2005-04-25 | 2006-11-02 | Yamaha Corp | スピーカアレイシステム |
DE102005033238A1 (de) * | 2005-07-15 | 2007-01-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP |
KR100897971B1 (ko) * | 2005-07-29 | 2009-05-18 | 하르만 인터내셔날 인더스트리즈, 인코포레이티드 | 오디오 튜닝 시스템 |
KR100733965B1 (ko) | 2005-11-01 | 2007-06-29 | 한국전자통신연구원 | 객체기반 오디오 전송/수신 시스템 및 그 방법 |
KR100983286B1 (ko) * | 2006-02-07 | 2010-09-24 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
EP1843635B1 (en) * | 2006-04-05 | 2010-12-08 | Harman Becker Automotive Systems GmbH | Method for automatically equalizing a sound system |
DE102006022346B4 (de) * | 2006-05-12 | 2008-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Informationssignalcodierung |
US8150065B2 (en) | 2006-05-25 | 2012-04-03 | Audience, Inc. | System and method for processing an audio signal |
EP1879293B1 (en) | 2006-07-10 | 2019-02-20 | Harman Becker Automotive Systems GmbH | Partitioned fast convolution in the time and frequency domain |
MX2008012251A (es) | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
ATE539434T1 (de) | 2006-10-16 | 2012-01-15 | Fraunhofer Ges Forschung | Vorrichtung und verfahren für mehrkanalparameterumwandlung |
CN101001485A (zh) * | 2006-10-23 | 2007-07-18 | 中国传媒大学 | 一种有限声源多通道声场系统及声场模拟方法 |
EP2102858A4 (en) | 2006-12-07 | 2010-01-20 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL |
US7788395B2 (en) | 2007-02-14 | 2010-08-31 | Microsoft Corporation | Adaptive media playback |
US8463413B2 (en) | 2007-03-09 | 2013-06-11 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
WO2008120933A1 (en) | 2007-03-30 | 2008-10-09 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
CN103299363B (zh) | 2007-06-08 | 2015-07-08 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
EP2168122B1 (en) | 2007-07-13 | 2011-11-30 | Dolby Laboratories Licensing Corporation | Audio processing using auditory scene analysis and spectral skewness |
US8194882B2 (en) | 2008-02-29 | 2012-06-05 | Audience, Inc. | System and method for providing single microphone noise suppression fallback |
US20110188342A1 (en) * | 2008-03-20 | 2011-08-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for acoustic display |
JP5174527B2 (ja) | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
US8315396B2 (en) | 2008-07-17 | 2012-11-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating audio output signals using object based metadata |
US7996422B2 (en) * | 2008-07-22 | 2011-08-09 | At&T Intellectual Property L.L.P. | System and method for adaptive media playback based on destination |
US7796190B2 (en) | 2008-08-15 | 2010-09-14 | At&T Labs, Inc. | System and method for adaptive content rendition |
US8793749B2 (en) | 2008-08-25 | 2014-07-29 | Broadcom Corporation | Source frame adaptation and matching optimally to suit a recipient video device |
US8798776B2 (en) | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
JP5629429B2 (ja) | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | オーディオ再生装置及びオーディオ再生方法 |
EP2194527A3 (en) * | 2008-12-02 | 2013-09-25 | Electronics and Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
US8786682B2 (en) * | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
US20120096353A1 (en) | 2009-06-19 | 2012-04-19 | Dolby Laboratories Licensing Corporation | User-specific features for an upgradeable media kernel and engine |
US8136142B2 (en) | 2009-07-02 | 2012-03-13 | Ericsson Television, Inc. | Centralized content management system for managing distribution of packages to video service providers |
KR20120062758A (ko) * | 2009-08-14 | 2012-06-14 | 에스알에스 랩스, 인크. | 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템 |
US8380786B2 (en) * | 2009-09-22 | 2013-02-19 | Thwapr, Inc. | Subscribing to mobile media sharing |
US20110088076A1 (en) * | 2009-10-08 | 2011-04-14 | Futurewei Technologies, Inc. | System and Method for Media Adaptation |
WO2011045813A2 (en) | 2009-10-15 | 2011-04-21 | Tony Joy | A method and product to transparently deliver audio through fusion of fixed loudspeakers and headphones to deliver the sweet spot experience |
CN102714038B (zh) * | 2009-11-20 | 2014-11-05 | 弗兰霍菲尔运输应用研究公司 | 用以基于下混信号表示型态而提供上混信号表示型态的装置、用以提供表示多声道音频信号的位流的装置、方法 |
WO2011068490A1 (en) | 2009-12-02 | 2011-06-09 | Thomson Licensing | Optimizing content calibration for home theaters |
TWI603632B (zh) * | 2011-07-01 | 2017-10-21 | 杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
US20130163794A1 (en) * | 2011-12-22 | 2013-06-27 | Motorola Mobility, Inc. | Dynamic control of audio on a mobile device with respect to orientation of the mobile device |
RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
EP2830336A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
-
2012
- 2012-06-27 TW TW105113526A patent/TWI603632B/zh active
- 2012-06-27 EP EP12743261.5A patent/EP2727383B1/en active Active
- 2012-06-27 MY MYPI2013004181A patent/MY165933A/en unknown
- 2012-06-27 TW TW101123003A patent/TWI543642B/zh active
- 2012-06-27 IL IL291043A patent/IL291043B2/en unknown
- 2012-06-27 UA UAA201702759A patent/UA124570C2/uk unknown
- 2012-06-27 IL IL302167A patent/IL302167A/en unknown
- 2012-06-27 JP JP2014518958A patent/JP5912179B2/ja active Active
- 2012-06-27 KR KR1020237041109A patent/KR20230170110A/ko not_active Application Discontinuation
- 2012-06-27 KR KR1020147037035A patent/KR101845226B1/ko active IP Right Grant
- 2012-06-27 BR BR112013033386-3A patent/BR112013033386B1/pt active IP Right Grant
- 2012-06-27 KR KR1020137034894A patent/KR101685447B1/ko active IP Right Grant
- 2012-06-27 KR KR1020197020510A patent/KR102115723B1/ko active Application Filing
- 2012-06-27 SG SG10201604679UA patent/SG10201604679UA/en unknown
- 2012-06-27 CA CA2973703A patent/CA2973703C/en active Active
- 2012-06-27 TW TW110107115A patent/TWI792203B/zh active
- 2012-06-27 RU RU2013158054A patent/RU2617553C2/ru active
- 2012-06-27 CA CA3157717A patent/CA3157717A1/en active Pending
- 2012-06-27 CN CN201610142870.1A patent/CN105792086B/zh active Active
- 2012-06-27 DK DK12743261.5T patent/DK2727383T3/da active
- 2012-06-27 TW TW112102919A patent/TW202339510A/zh unknown
- 2012-06-27 KR KR1020197003234A patent/KR102003191B1/ko active IP Right Grant
- 2012-06-27 KR KR1020207034194A patent/KR102406776B1/ko active IP Right Grant
- 2012-06-27 TW TW107142737A patent/TWI722342B/zh active
- 2012-06-27 MX MX2013014684A patent/MX2013014684A/es active IP Right Grant
- 2012-06-27 KR KR1020227018617A patent/KR102608968B1/ko active IP Right Grant
- 2012-06-27 RU RU2017112527A patent/RU2731025C2/ru active
- 2012-06-27 KR KR1020187008804A patent/KR101946795B1/ko active IP Right Grant
- 2012-06-27 KR KR1020207014372A patent/KR102185941B1/ko active IP Right Grant
- 2012-06-27 US US14/130,386 patent/US9179236B2/en active Active
- 2012-06-27 TW TW106125585A patent/TWI651005B/zh active
- 2012-06-27 CA CA2837893A patent/CA2837893C/en active Active
- 2012-06-27 CN CN201280032058.3A patent/CN103650539B/zh active Active
- 2012-06-27 ES ES12743261T patent/ES2871224T3/es active Active
- 2012-06-27 AR ARP120102308A patent/AR086775A1/es active IP Right Grant
- 2012-06-27 PL PL12743261T patent/PL2727383T3/pl unknown
- 2012-06-27 EP EP21169907.9A patent/EP3893521A1/en active Pending
- 2012-06-27 AU AU2012279357A patent/AU2012279357B2/en active Active
- 2012-06-27 BR BR122020001361-3A patent/BR122020001361B1/pt active IP Right Grant
- 2012-06-27 IL IL295733A patent/IL295733B2/en unknown
- 2012-06-27 WO PCT/US2012/044388 patent/WO2013006338A2/en active Application Filing
- 2012-06-27 HU HUE12743261A patent/HUE054452T2/hu unknown
-
2013
- 2013-12-19 IL IL230046A patent/IL230046A/en active IP Right Grant
-
2015
- 2015-09-25 US US14/866,350 patent/US9467791B2/en active Active
-
2016
- 2016-03-31 JP JP2016072282A patent/JP6174184B2/ja active Active
- 2016-04-11 AU AU2016202227A patent/AU2016202227B2/en active Active
- 2016-05-10 IL IL245574A patent/IL245574A0/en active IP Right Grant
- 2016-06-28 HK HK16107493.9A patent/HK1219604A1/zh unknown
- 2016-09-12 US US15/263,279 patent/US9622009B2/en active Active
-
2017
- 2017-04-10 US US15/483,806 patent/US9800991B2/en active Active
- 2017-07-05 JP JP2017131759A patent/JP6486995B2/ja active Active
- 2017-08-09 US US15/672,656 patent/US9942688B2/en active Active
-
2018
- 2018-02-26 US US15/905,536 patent/US10057708B2/en active Active
- 2018-05-28 AU AU2018203734A patent/AU2018203734B2/en active Active
- 2018-07-13 US US16/035,262 patent/US10165387B2/en active Active
- 2018-11-30 US US16/207,006 patent/US10327092B2/en active Active
-
2019
- 2019-02-20 JP JP2019028442A patent/JP6523585B1/ja active Active
- 2019-04-01 IL IL265741A patent/IL265741B/en active IP Right Grant
- 2019-04-25 JP JP2019084101A patent/JP6637208B2/ja active Active
- 2019-06-07 AU AU2019204012A patent/AU2019204012B2/en active Active
- 2019-06-17 US US16/443,268 patent/US10477339B2/en active Active
- 2019-11-11 US US16/679,945 patent/US10904692B2/en active Active
- 2019-12-19 JP JP2019229648A patent/JP6759442B2/ja active Active
-
2020
- 2020-08-18 RU RU2020127493A patent/RU2741738C1/ru active
- 2020-08-31 AU AU2020226984A patent/AU2020226984B2/en active Active
- 2020-09-02 JP JP2020147539A patent/JP6821854B2/ja active Active
- 2020-10-01 IL IL277736A patent/IL277736B/en unknown
-
2021
- 2021-01-06 JP JP2021000842A patent/JP6882618B2/ja active Active
- 2021-01-22 US US17/156,459 patent/US11412342B2/en active Active
- 2021-05-06 JP JP2021078508A patent/JP7009664B2/ja active Active
- 2021-07-04 IL IL284585A patent/IL284585B/en unknown
- 2021-10-28 AU AU2021258043A patent/AU2021258043B2/en active Active
-
2022
- 2022-01-12 JP JP2022002776A patent/JP7348320B2/ja active Active
- 2022-08-08 US US17/883,440 patent/US11962997B2/en active Active
-
2023
- 2023-01-31 AU AU2023200502A patent/AU2023200502A1/en active Pending
- 2023-09-07 JP JP2023145272A patent/JP2023164976A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7348320B2 (ja) | オーディオ信号処理システム及び方法 | |
AU2012279357A1 (en) | System and method for adaptive audio signal generation, coding and rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230907 |