JP2020536286A - DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム - Google Patents
DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2020536286A JP2020536286A JP2020519284A JP2020519284A JP2020536286A JP 2020536286 A JP2020536286 A JP 2020536286A JP 2020519284 A JP2020519284 A JP 2020519284A JP 2020519284 A JP2020519284 A JP 2020519284A JP 2020536286 A JP2020536286 A JP 2020536286A
- Authority
- JP
- Japan
- Prior art keywords
- dirac
- format
- metadata
- audio
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 title claims description 23
- 238000004590 computer program Methods 0.000 title claims description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000032258 transport Effects 0.000 claims description 64
- 238000004458 analytical method Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 36
- 230000003595 spectral effect Effects 0.000 claims description 34
- 230000005236 sound signal Effects 0.000 claims description 32
- 239000000203 mixture Substances 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 11
- 230000008878 coupling Effects 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000004091 panning Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 26
- 238000003786 synthesis reaction Methods 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000033458 reproduction Effects 0.000 description 11
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005184 irreversible process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
以下では、没入型音声およびオーディオサービス(IVAS:Immersive Voice and Audio Service)のために設計されたDirACに基づく、新規の空間オーディオコーディングシステムの概要が提示される。そのようなシステムの目標は、オーディオシーンを表す異なる空間オーディオフォーマットを扱うこと、またそれらを低ビットレートでコーディングすること、また伝送後に元のオーディオシーンをできる限り忠実に再現することが、可能となることである。
想定されるエンコーダの第1の実現は、図11に示されるように、すべての入力フォーマットを結合されたBフォーマットに変換することによって達成され得る。
Pi(n,k)=Wi(k,n)
Ui(n,k)=Xi(k,n)ex+Yi(k,n)ey+Zi(k,n)ez
ただし、iは入力のインデックスであり、kおよびnは時間周波数タイルの時間インデックスおよび周波数インデックスであり、ex、ey、ezは直交単位ベクトルを表す。
すべての入力フォーマットを結合されたBフォーマット信号に変換することの限定を回避するために、本代替は、元のフォーマットからDirACパラメータを直接導出し、次いで、後でそれらをDirACパラメータ領域において結合することを提案する。そのようなシステムの一般的な概要が図13において与えられる。図13は、DirACベースのエンコーダ/デコーダが、デコーダ側におけるオブジェクト操作の可能性とともにDirAC領域において異なる入力フォーマットを結合する、システム概要である。
代替として、結合はデコーダ側において実行され得る。図14は、DirACベースのエンコーダ/デコーダが、DirACメタデータ結合器を通じてデコーダ側において異なる入力フォーマットを結合する、システム概要である。図14において、DirACベースコーディング方式は、前よりも高いビットレートで機能するが、個々のDirACメタデータの送信を可能にする。異なるDirACメタデータストリームが、DirAC合成220、240の前にデコーダの中で、たとえば、[4]において提案されたように結合される(144)。DirACメタデータ結合器144はまた、DirAC分析の際に、オブジェクトの後続の操作のために個々のオブジェクトの位置を取得することができる。
マルチチャネル信号、アンビソニックスフォーマット、およびオーディオオブジェクトを、別々または同時に符号化できるDirACベース空間オーディオコーダ。
・関連するほとんどの没入型オーディオ入力フォーマットのための汎用DirACベース空間オーディオコーディング方式
・異なる出力フォーマットに対する異なる入力フォーマットの汎用オーディオレンダリング
本発明の第2の態様は、スペクトル領域における2つ以上のDirAC記述の結合およびレンダリングに関する。
・効率的かつ精密なDirACストリーム結合
・任意のシーンを汎用的に表すDirACの使用と、異なるストリームをパラメータ領域またはスペクトル領域において効率的に結合することとを可能にする
・個々のDirACシーンまたはスペクトル領域における結合されたシーンの効率的かつ直感的なシーン操作、および操作される結合されたシーンの時間領域への後続の変換。
本発明の第3の態様は、直接DirAC領域へのオブジェクトメタデータおよび随意にオブジェクト波形信号の変換、ならびに一実施形態では、オブジェクト表現へのいくつかのオブジェクトの結合に関する。
・オーディオオブジェクトメタデータの単純なメタデータトランスコーダによる効率的かつ精密なDirACメタデータ推定
・DirACが、1つまたは複数のオーディオオブジェクトを伴う複合オーディオシーンをコーディングすることを可能にする
・完全なオーディオシーンの単一のパラメトリック表現でのDirACを通じてオーディオオブジェクトをコーディングするための効率的な方法。
本発明の第3の態様は、方向を用いた、かつ最適には、DirACパラメータによって表される結合されたオーディオシーンを構成する個々のオブジェクトの距離または拡散性を用いた、DirACメタデータの補正に対処する。この余分な情報は、主に時間単位ごとに単一の広帯域方向からなり、またオブジェクトが静的であるかまたはゆっくりしたペースで移動するかのいずれかと想定され得るので、他のDirACパラメータよりも低い頻度でリフレッシュされ得るので容易にコーディングされる。
・DirACが、1つまたは複数のオーディオオブジェクトを伴う複合オーディオシーンをコーディングすることを可能にする
・オーディオオブジェクトメタデータの単純なメタデータトランスコーダによる効率的かつ精密なDirACメタデータ推定。
・それらのメタデータをDirAC領域において効率的に結合することによって、DirACを通じてオーディオオブジェクトをコーディングするためのより効率的な方法
・オーディオシーンの単一のパラメトリック表現でのそれらのオーディオ表現を効率的に結合することによって、オーディオオブジェクトをコーディングするための、かつDirACを通じた、効率的な方法。
第4の態様は、デコーダ側に関し、オーディオオブジェクトの知られている位置を活用する。位置は、対話式インターフェースを通じてユーザによって与えることができ、ビットストリーム内に余分な副次情報として含めることもできる。
・DirACが、エンコーダの入力において提示されるようなオーディオオブジェクトをデコーダ側において出力することを可能にする。
・利得、回転、または...を適用することによって個々のオーディオオブジェクトを操作するための、DirAC再現を可能にする
・能力は、DirAC合成の終わりにおいて、レンダリングおよび合成フィルタバンクの前に位置依存の重み付け演算しか必要としない(追加のオブジェクト出力が、オブジェクト出力ごとに1つの追加の合成フィルタバンクしか必要としない)ので、最小限の追加の計算的な取組みしか必要としない。
[1]V.Pulkki、M-V Laitinen、J Vilkamo、J Ahonen、T Lokki、およびT Pihlajamaki、「Directional audio coding - perception-based reproduction of spatial sound」、International Workshop on the Principles and Application on Spatial Hearing、2009年11月、蔵王、宮城、日本
[2]Ville Pulkki、「Virtual source positioning using vector base amplitude panning」、J. Audio Eng. Soc., 45(6):456-466、1997年6月
[3]M.V. LaitinenおよびV.Pulkki、「Converting 5.1 audio recordings to B-format for directional audio coding reproduction」、2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)、プラハ、2011年、61〜64頁
[4]G.Del Galdo、F.Kuech、M.Kallinger、およびR.Schultz-Amling、「Efficient merging of multiple audio streams for spatial sound reproduction in Directional Audio Coding」、2009 IEEE International Conference on Acoustics, Speech and Signal Processing、台北、2009年、265〜268頁
[5]Jurgen HERRE、CORNELIA FALCH、DIRK MAHNE、GIOVANNI DEL GALDO、MARKUS KALLINGER、およびOLIVER THIERGART、「Interactive Teleconferencing Combining Spatial Audio Object Coding and DirAC Technology」、J. Audio Eng. Soc., Vol. 59, No. 12、2011年12月
[6]R.Schultz-Amling、F.Kuech、M.Kallinger、G.Del Galdo、J.Ahonen、V.Pulkki、「Planar Microphone Array Processing for the Analysis and Reproduction of Spatial Audio using Directional Audio Coding」、Audio Engineering Society Convention 124、アムステルダム、オランダ、2008年
[7]Daniel P.JarrettおよびOliver ThiergartおよびEmanuel A.P. HabetsおよびPatrick A.Naylor、「Coherence-Based Diffuseness Estimation in the Spherical Harmonic Domain」、IEEE 27th Convention of Electrical and Electronics Engineers in Israel (IEEEI)、2012年
[8]米国特許第9,015,051号
120 フォーマット変換器
121,122 時間/周波数分析器、スペクトル変換器、時間/周波数表現変換器
123,124 DirAC分析
125,126 DirACパラメータ計算器、メタデータ変換器
127,128 Bフォーマット変換器
140 フォーマット結合器
144 結合器、DirACメタデータ結合器
146a W成分加算器
146b X成分加算器
146c Y成分加算器
146d Z成分加算器
148 方向抽出、メタデータ変換器
150 メタデータ変換器
160 ダウンミックス信号、トランスポートチャネル生成器、ビームフォーマー
161,162 ダウンミックス生成器
163 結合器、ダウンミキサ
170 オーディオコアコーダ、トランスポートチャネルエンコーダ、エンコーダ、トランスポート信号エンコーダ、トランスポートエンコーダ
180 DirAC分析器、DirAC処理
190 空間メタデータエンコーダ、メタデータエンコーダ
200 出力インターフェース
220 DirAC合成器
221 シーン結合器
222,223,224 DirACレンダラ
225 結合器
226 選択的操作器、0位相利得関数
240 DirAC合成器、スペクトル時間変換器
260 ユーザインターフェース
300 出力インターフェース
400 メタデータ生成器
420 音場計算器
422,425 DirAC合成器
426 周波数時間変換器
430 アンビソニックス信号生成器
500 操作器
802 DirAC分析
1020 コアデコーダ
1310 帯域フィルタのバンク
1320 エネルギー分析器
1330 強度分析器
1340 時間平均化
1350 拡散性計算器
1360 方向計算器
1370 帯域フィルタのバンク
1380 拡散性利得変換器
1390 ベクトルベース振幅パンニング(VBAP)利得テーブル
1400 仮想マイクロフォン
1420 マイクロフォン補償
1430 ラウドスピーカー利得平均化
1440 分配器
1450 直接/拡散合成器
1460 ラウドスピーカー設定
Claims (41)
- 結合されたオーディオシーンの記述を生成するための装置であって、
第1のフォーマットでの第1のシーンの第1の記述および第2のフォーマットでの第2のシーンの第2の記述を受信するための入力インターフェース(100)であって、前記第2のフォーマットが前記第1のフォーマットとは異なる、入力インターフェース(100)と、
前記第2のフォーマットが共通フォーマットとは異なるとき、前記第1の記述を前記共通フォーマットに変換するための、かつ前記第2の記述を前記共通フォーマットに変換するための、フォーマット変換器(120)と、
前記結合されたオーディオシーンを取得するために、前記共通フォーマットでの前記第1の記述と前記共通フォーマットでの前記第2の記述とを結合するためのフォーマット結合器(140)と
を備える装置。 - 前記第1のフォーマットおよび前記第2のフォーマットが、1次アンビソニックスフォーマット、高次アンビソニックスフォーマット、前記共通フォーマット、DirACフォーマット、オーディオオブジェクトフォーマット、およびマルチチャネルフォーマットを備えるフォーマットの群から選択される、
請求項1に記載の装置。 - 前記フォーマット変換器(120)が、前記第1の記述を第1のBフォーマット信号表現に変換し、前記第2の記述を第2のBフォーマット信号表現に変換するように構成され、
前記フォーマット結合器(140)が、前記第1および前記第2のBフォーマット信号表現の個々の成分を個別に結合することによって、前記第1および前記第2のBフォーマット信号表現を結合するように構成される、
請求項1または2に記載の装置。 - 前記フォーマット変換器(120)が、前記第1の記述を第1の音圧/速度信号表現に変換し、前記第2の記述を第2の音圧/速度信号表現に変換するように構成され、
前記フォーマット結合器(140)が、結合された音圧/速度信号表現を取得するために、前記音圧/速度信号表現の個々の成分を個別に結合することによって、前記第1および前記第2の音圧/速度信号表現を結合するように構成される、
請求項1から3のいずれか一項に記載の装置。 - 前記フォーマット変換器(120)が、前記第2の記述がDirACパラメータ表現とは異なるとき、前記第1の記述を第1のDirACパラメータ表現に変換し、前記第2の記述を第2のDirACパラメータ表現に変換するように構成され、
前記フォーマット結合器(140)が、前記結合されたオーディオシーンに対する結合されたDirACパラメータ表現を取得するために、前記第1および第2のDirACパラメータ表現の個々の成分を個別に結合することによって、前記第1および前記第2のDirACパラメータ表現を結合するように構成される、
請求項1から4のいずれか一項に記載の装置。 - 前記フォーマット結合器(140)が、前記結合されたオーディオシーンを表す、時間周波数タイルに対する到来方向値、または前記時間周波数タイルに対する到来方向値および拡散性値を生成するように構成される、
請求項5に記載の装置。 - 前記結合されたオーディオシーンに対するDirACパラメータを導出するために、前記結合されたオーディオシーンを分析するためのDirAC分析器(180)をさらに備え、
前記DirACパラメータが、前記結合されたオーディオシーンを表す、時間周波数タイルに対する到来方向値、または前記時間周波数タイルに対する到来方向値および拡散性値を備える、
請求項1から6のいずれか一項に記載の装置。 - 前記結合されたオーディオシーンから、または前記第1のシーンおよび前記第2のシーンから、トランスポートチャネル信号を生成するためのトランスポートチャネル生成器(160)と、
前記トランスポートチャネル信号をコア符号化するためのトランスポートチャネルエンコーダ(170)とをさらに備えるか、あるいは
前記トランスポートチャネル生成器(160)が、それぞれ、左の位置または右の位置に導かれているビームフォーマーを使用して、1次アンビソニックスフォーマットまたはより高次のアンビソニックスフォーマットをなしている前記第1のシーンまたは前記第2のシーンからステレオ信号を生成するように構成されるか、あるいは
前記トランスポートチャネル生成器(160)が、マルチチャネル表現の3つ以上のチャネルをダウンミックスすることによって、前記マルチチャネル表現をなしている前記第1のシーンまたは前記第2のシーンからステレオ信号を生成するように構成されるか、あるいは
前記トランスポートチャネル生成器(160)が、オブジェクトの位置を使用して前記各オブジェクトをパンすることによって、またはどのオブジェクトがどのステレオチャネルの中に配置されるのかを示す情報を使用してオブジェクトをステレオダウンミックスにダウンミックスすることによって、オーディオオブジェクト表現をなしている前記第1のシーンまたは前記第2のシーンからステレオ信号を生成するように構成されるか、あるいは
前記トランスポートチャネル生成器(160)が、前記ステレオ信号の左チャネルのみを左ダウンミックストランスポートチャネルに加算し、右トランスポートチャネルを取得するために前記ステレオ信号の右チャネルのみを加算するように構成されるか、あるいは
前記共通フォーマットがBフォーマットであり、前記トランスポートチャネル生成器(160)が、前記トランスポートチャネル信号を導出するために、結合されたBフォーマット表現を処理するように構成され、前記処理が、ビームフォーミング動作を実行すること、またはオムニ指向性成分などの、Bフォーマット信号の成分のサブセットをモノトランスポートチャネルとして抽出することを含むか、あるいは
前記処理が、左チャネルおよび右チャネルを計算するために、オムニ指向性信号、および前記Bフォーマットの反対符号を有するY成分を使用する、ビームフォーミングを含むか、あるいは
前記処理が、前記Bフォーマットの成分、ならびに所与の方位角および所与の仰角を使用する、ビームフォーミング動作を含むか、あるいは
前記トランスポートチャネル生成器(160)が、前記結合されたオーディオシーンの前記Bフォーマット信号を前記トランスポートチャネルエンコーダに証明するように構成され、前記フォーマット結合器(140)によって出力される前記結合されたオーディオシーンの中に空間メタデータが含まれない、
請求項1から7のいずれか一項に記載の装置。 - 符号化されたDirACメタデータを取得するために、前記結合されたオーディオシーンの中に記述されたDirACメタデータを符号化するための、または
第1の符号化されたDirACメタデータを取得するために、前記第1のシーンから導出されたDirACメタデータを符号化するための、かつ第2の符号化されたDirACメタデータを取得するために、前記第2のシーンから導出されたDirACメタデータを符号化するための、
メタデータエンコーダ(190)をさらに備える、
請求項1から8のいずれか一項に記載の装置。 - 前記結合されたオーディオシーンを表す符号化された出力信号を生成するための出力インターフェース(200)をさらに備え、前記出力信号が、符号化されたDirACメタデータおよび1つまたは複数の符号化トランスポートチャネルを備える、
請求項1から9のいずれか一項に記載の装置。 - 前記フォーマット変換器(120)が、高次アンビソニックスフォーマットまたは1次アンビソニックスフォーマットを前記Bフォーマットに変換するように構成され、前記高次アンビソニックスフォーマットが、前記Bフォーマットに変換される前に切り詰められるか、あるいは
前記フォーマット変換器(120)が、投影された信号を取得するために、基準位置において球面調和関数にオブジェクトまたはチャネルを投影するように構成され、前記フォーマット結合器(140)が、Bフォーマット係数を取得するために、投影信号を結合するように構成され、前記オブジェクトまたは前記チャネルが、空間の中の指定された位置に配置され、基準位置からの随意の個々の距離を有するか、あるいは
前記フォーマット変換器(120)が、Bフォーマット成分の時間周波数分析ならびに音圧および速度ベクトルの決定を含むDirAC分析を実行するように構成され、前記フォーマット結合器(140)が、異なる音圧/速度ベクトルを結合するように構成され、前記フォーマット結合器(140)が、前記結合された音圧/速度データからDirACメタデータを導出するためのDirAC分析器をさらに備えるか、あるいは
前記フォーマット変換器(120)が、前記第1または第2のフォーマットとしてのオーディオオブジェクトフォーマットのオブジェクトメタデータからDirACパラメータを抽出するように構成され、音圧ベクトルが、オブジェクト波形信号であり、方向が、空間の中のオブジェクト位置から導出され、または拡散性が、前記オブジェクトメタデータの中で直接与えられるか、もしくは0値などのデフォルト値に設定されるか、あるいは
前記フォーマット変換器(120)が、オブジェクトデータフォーマットから導出されたDirACパラメータを音圧/速度データに変換するように構成され、前記フォーマット結合器(140)が、前記音圧/速度データを1つまたは複数の異なるオーディオオブジェクトの異なる記述から導出された音圧/速度データと結合するように構成されるか、あるいは
前記フォーマット変換器(120)が、DirACパラメータを直接導出するように構成され、前記フォーマット結合器(140)が、前記結合されたオーディオシーンを取得するために、前記DirACパラメータを結合するように構成される、
請求項1から10のいずれか一項に記載の装置。 - 前記フォーマット変換器(120)が、
1次アンビソニックス入力フォーマットもしくは高次アンビソニックス入力フォーマットまたはマルチチャネル信号フォーマットに対するDirAC分析器(180)と、
オブジェクトメタデータをDirACメタデータに変換するための、または時間に独立な位置を有するマルチチャネル信号を前記DirACメタデータに変換するための、メタデータ変換器(150、125、126、148)と、
個々のDirACメタデータストリームを結合するか、またはいくつかのストリームからの到来方向メタデータを重み付き加算によって結合するためであって、前記重み付き加算の重み付けが、関連する音圧信号エネルギーのエネルギーに従って行われるための、またはいくつかのストリームからの拡散性メタデータを重み付き加算によって結合するためであって、前記重み付き加算の重み付けが、関連する音圧信号エネルギーのエネルギーに従って行われるための、メタデータ結合器(144)とを備えるか、あるいは
前記メタデータ結合器(144)が、前記第1のシーンの前記第1の記述の時間/周波数ビンに対してエネルギー値および到来方向値を計算し、前記第2のシーンの前記第2の記述の前記時間/周波数ビンに対してエネルギー値および到来方向値を計算するように構成され、前記フォーマット結合器(140)が、結合された到来方向値を取得するために、第1のエネルギーを第1の到来方向値と乗算するとともに第2のエネルギー値と第2の到来方向値の乗算結果を加算するか、または代替として、前記第1の到来方向値および前記第2の到来方向値の中から、大きいほうのエネルギーに関連する前記到来方向値を前記結合された到来方向値として選択するように構成される、
請求項1から11のいずれか一項に記載の装置。 - オーディオオブジェクトに対する別個のオブジェクト記述を結合されたフォーマットに追加するための出力インターフェース(200、300)をさらに備え、前記オブジェクト記述が、方向、距離、拡散性、または任意の他のオブジェクト属性のうちの少なくとも1つを備え、前記オブジェクトが、すべての周波数帯域全体にわたって単一の方向を有し、静的であるかまたは速度しきい値よりもゆっくり移動するかのいずれかである、
請求項1から12のいずれか一項に記載の装置。 - 結合されたオーディオシーンの記述を生成するための方法であって、
第1のフォーマットでの第1のシーンの第1の記述を受信し、第2のフォーマットでの第2のシーンの第2の記述を受信するステップであって、前記第2のフォーマットが前記第1のフォーマットとは異なる、ステップと、
前記第2のフォーマットが共通フォーマットとは異なるとき、前記第1の記述を前記共通フォーマットに変換し、前記第2の記述を前記共通フォーマットに変換するステップと、
前記結合されたオーディオシーンを取得するために、前記共通フォーマットでの前記第1の記述と前記共通フォーマットでの前記第2の記述とを結合するステップと
を備える方法。 - コンピュータ上またはプロセッサ上で動作するとき、請求項14に記載の方法を実行するためのコンピュータプログラム。
- 複数のオーディオシーンの合成を実行するための装置であって、
第1のシーンの第1のDirAC記述を受信するための、かつ第2のシーンの第2のDirAC記述、および1つまたは複数のトランスポートチャネルを受信するための、入力インターフェース(100)と、
前記複数のオーディオシーンを表すスペクトル領域オーディオ信号を取得するために、前記複数のオーディオシーンをスペクトル領域において合成するためのDirAC合成器(220)と、
前記スペクトル領域オーディオ信号を時間領域に変換するためのスペクトル時間変換器(240)と
を備える装置。 - 前記DirAC合成器が、
前記第1のDirAC記述と前記第2のDirAC記述とを結合して、結合されたDirAC記述にするためのシーン結合器(221)と、
前記スペクトル領域オーディオ信号を取得するために、1つまたは複数のトランスポートチャネルを使用して、前記結合されたDirAC記述をレンダリングするためのDirACレンダラ(222)とを備えるか、あるいは
前記シーン結合器(221)が、前記第1のシーンの第1の記述の時間/周波数ビンに対してエネルギー値および到来方向値を計算し、前記第2のシーンの第2の記述の前記時間/周波数ビンに対してエネルギー値および到来方向値を計算するように構成され、前記シーン結合器(221)が、結合された到来方向値を取得するために、第1のエネルギーを第1の到来方向値と乗算するとともに第2のエネルギー値と第2の到来方向値との乗算結果を加算するか、または代替として、前記第1の到来方向値および前記第2の到来方向値の中から大きいほうのエネルギーに関連する前記到来方向値を前記結合された到来方向値として選択するように構成される、
請求項16に記載の装置。 - 前記入力インターフェース(100)が、DirAC記述に対して、別個のトランスポートチャネルおよび別個のDirACメタデータを受信するように構成され、
前記DirAC合成器(220)が、各記述に対するスペクトル領域オーディオ信号を取得するために、対応するDirAC記述に対する前記トランスポートチャネルおよび前記メタデータを使用して各記述をレンダリングし、前記スペクトル領域オーディオ信号を取得するために、各記述に対する前記スペクトル領域オーディオ信号を結合するように構成される、
請求項16に記載の装置。 - 前記入力インターフェース(100)が、オーディオオブジェクトに対する余分なオーディオオブジェクトメタデータを受信するように構成され、
前記DirAC合成器(220)が、前記オブジェクトメタデータの中に含まれるオブジェクトデータに基づいて、またはユーザが与える方向情報に基づいて、指向性フィルタ処理を実行するために、前記余分なオーディオオブジェクトメタデータ、または前記メタデータに関係するオブジェクトデータを選択的に操作するように構成されるか、あるいは
前記DirAC合成器(220)が、0位相利得関数(226)を前記スペクトル領域において実行するために構成され、前記0位相利得関数が、オーディオオブジェクトの方向に依存し、オブジェクトの方向が副次情報として送信される場合、前記方向がビットストリームの中に含まれるか、または前記方向がユーザインターフェースから受信される、
請求項16から18のいずれか一項に記載の装置。 - 複数のオーディオシーンの合成を実行するための方法であって、
第1のシーンの第1のDirAC記述を受信し、第2のシーンの第2のDirAC記述、および1つまたは複数のトランスポートチャネルを受信するステップと、
前記複数のオーディオシーンを表すスペクトル領域オーディオ信号を取得するために、前記複数のオーディオシーンをスペクトル領域において合成するステップと、
前記スペクトル領域オーディオ信号を時間領域にスペクトル時間変換するステップと
を備える方法。 - コンピュータ上またはプロセッサ上で動作するとき、請求項20に記載の方法を実行するためのコンピュータプログラム。
- オーディオデータ変換器であって、
オーディオオブジェクトメタデータを有するオーディオオブジェクトのオブジェクト記述を受信するための入力インターフェース(100)と、
前記オーディオオブジェクトメタデータをDirACメタデータに変換するためのメタデータ変換器(150、125、126、148)と、
前記DirACメタデータを送信または記憶するための出力インターフェース(300)と
を備えるオーディオデータ変換器。 - 前記オーディオオブジェクトメタデータがオブジェクト位置を有し、前記DirACメタデータが基準位置に対する到来方向を有する、請求項22に記載のオーディオデータ変換器。
- 前記メタデータ変換器(150、125、126、148)が、オブジェクトデータフォーマットから導出されたDirACパラメータを音圧/速度データに変換するように構成され、前記メタデータ変換器(150、125、126、148)が、DirAC分析を前記音圧/速度データに適用するように構成される、
請求項22または23に記載のオーディオデータ変換器。 - 前記入力インターフェース(100)が、複数のオーディオオブジェクト記述を受信するように構成され、
前記メタデータ変換器(150、125、126、148)が、各オブジェクトメタデータ記述を個々のDirACデータ記述に変換するように構成され、
前記メタデータ変換器(150、125、126、148)が、結合されたDirAC記述を前記DirACメタデータとして取得するために、個々のDirACメタデータ記述を結合するように構成される、
請求項22から24のいずれか一項に記載のオーディオデータ変換器。 - 前記メタデータ変換器(150、125、126、148)が、異なるメタデータ記述からの到来方向メタデータを重み付き加算によって個別に結合することであって、前記重み付き加算の重み付けが、関連する音圧信号エネルギーのエネルギーに従って行われることによって、または異なるDirACメタデータ記述からの拡散性メタデータを重み付き加算によって結合することであって、前記重み付き加算の重み付けが、関連する音圧信号エネルギーのエネルギーに従って行われることによって、前記個々のDirACメタデータ記述を結合することであって、各メタデータ記述が、到来方向メタデータ、または到来方向メタデータおよび拡散性メタデータを備えること、または代替として、第1の到来方向値および第2の到来方向値の中から、大きいほうのエネルギーに関連する到来方向値を結合された到来方向値として選択することを行うように構成される、請求項25に記載のオーディオデータ変換器。
- 前記入力インターフェース(100)が、各オーディオオブジェクトに対して、このオブジェクトメタデータに加えてオーディオオブジェクト波形信号を受信するように構成され、
前記オーディオデータ変換器が、前記オーディオオブジェクト波形信号を1つまたは複数のトランスポートチャネルにダウンミックスするためのダウンミキサ(163)をさらに備え、
前記出力インターフェース(300)が、前記DirACメタデータに関連付けて前記1つまたは複数のトランスポートチャネルを送信または記憶するように構成される、
請求項22から26のいずれか一項に記載のオーディオデータ変換器。 - オーディオデータ変換を実行するための方法であって、
オーディオオブジェクトメタデータを有するオーディオオブジェクトのオブジェクト記述を受信するステップと、
前記オーディオオブジェクトメタデータをDirACメタデータに変換するステップと、
前記DirACメタデータを送信または記憶するステップと
を備える方法。 - コンピュータ上またはプロセッサ上で動作するとき、請求項28に記載の方法を実行するためのコンピュータプログラム。
- オーディオシーンエンコーダであって、
DirACメタデータを有するオーディオシーンのDirAC記述を受信するための、かつオブジェクトメタデータを有するオブジェクト信号を受信するための、入力インターフェース(100)と、
前記DirACメタデータおよび前記オブジェクトメタデータを備える結合されたメタデータ記述を生成するためのメタデータ生成器(400)とを備え、前記DirACメタデータが、個々の時間周波数タイルに対する到来方向を備え、前記オブジェクトメタデータが、個々のオブジェクトの方向、または追加として距離もしくは拡散性を備える、
オーディオシーンエンコーダ。 - 前記入力インターフェース(100)が、前記オーディオシーンの前記DirAC記述に関連するトランスポート信号を受信するために構成され、前記入力インターフェース(100)が、前記オブジェクト信号に関連するオブジェクト波形信号を受信するために構成され、
前記オーディオシーンエンコーダが、前記トランスポート信号および前記オブジェクト波形信号を符号化するためのトランスポート信号エンコーダ(170)をさらに備える、請求項30に記載のオーディオシーンエンコーダ。 - 前記メタデータ生成器(400)が、請求項12から27のいずれか一項において説明されるようなメタデータ変換器(150、125、126、148)を備える、
請求項30または31のいずれか一項に記載のオーディオシーンエンコーダ。 - 前記メタデータ生成器(400)が、前記オブジェクトメタデータに対して時間ごとの単一の広帯域方向を生成するように構成され、前記メタデータ生成器が、時間ごとの前記単一の広帯域方向を、前記DirACメタデータよりも低い頻度でリフレッシュするように構成される、
請求項30から32のいずれか一項に記載のオーディオシーンエンコーダ。 - オーディオシーンを符号化する方法であって、
DirACメタデータを有するオーディオシーンのDirAC記述を受信し、オーディオオブジェクトメタデータを有するオブジェクト信号を受信するステップと、
前記DirACメタデータおよび前記オブジェクトメタデータを備える結合されたメタデータ記述を生成するステップとを備え、前記DirACメタデータが、個々の時間周波数タイルに対する到来方向を備え、前記オブジェクトメタデータが、個々のオブジェクトの方向、または追加として距離もしくは拡散性を備える、
方法。 - コンピュータ上またはプロセッサ上で動作するとき、請求項34に記載の方法を実行するためのコンピュータプログラム。
- オーディオデータの合成を実行するための装置であって、
1つもしくは複数のオーディオオブジェクトもしくはマルチチャネル信号、または1次アンビソニックス信号もしくは高次アンビソニックス信号のDirAC記述を受信するための入力インターフェース(100)であって、前記DirAC記述が、副次情報としての、またはユーザインターフェースからの、前記1つもしくは複数のオブジェクトの位置情報、または前記1次アンビソニックス信号もしくは前記高次アンビソニックス信号に対する副次情報、または前記マルチチャネル信号に対する位置情報を備える、入力インターフェース(100)と、
操作されたDirAC記述を取得するために、前記1つもしくは複数のオーディオオブジェクト、前記マルチチャネル信号、前記1次アンビソニックス信号、または前記高次アンビソニックス信号の前記DirAC記述を操作するための操作器(500)と、
合成されたオーディオデータを取得するために、前記操作されたDirAC記述を合成するためのDirAC合成器(220、240)と
を備える装置。 - 前記DirAC合成器(220、240)が、スペクトル領域オーディオ信号を取得するために、前記操作されたDirAC記述を使用してDirACレンダリングを実行するためのDirACレンダラ(222)と、
前記スペクトル領域オーディオ信号を時間領域に変換するためのスペクトル時間変換器(240)とを備える、
請求項36に記載の装置。 - 前記操作器(500)が、DirACレンダリングの前に位置依存の重み付け演算を実行するように構成される、
請求項36または37に記載の装置。 - 前記DirAC合成器(220、240)が、複数のオブジェクト、または1次アンビソニックス信号もしくは高次アンビソニックス信号、またはマルチチャネル信号を出力するように構成され、前記DirAC合成器(220、240)が、前記1次アンビソニックス信号もしくは前記高次アンビソニックス信号の各オブジェクトもしくは各成分に対して、または前記マルチチャネル信号の各チャネルに対して、別個のスペクトル時間変換器(240)を使用するように構成される、
請求項36から38のいずれか一項に記載の装置。 - オーディオデータの合成を実行するための方法であって、
1つもしくは複数のオーディオオブジェクト、またはマルチチャネル信号、または1次アンビソニックス信号もしくは高次アンビソニックス信号のDirAC記述を受信するステップであって、前記DirAC記述が、副次情報としての、またはユーザインターフェースに対しての、前記1つもしくは複数のオブジェクトの、または前記マルチチャネル信号の位置情報、または前記1次アンビソニックス信号もしくは前記高次アンビソニックス信号に対する追加の情報を備える、ステップと、
操作されたDirAC記述を取得するために、前記DirAC記述を操作するステップと、
合成されたオーディオデータを取得するために、前記操作されたDirAC記述を合成するステップと
を備える方法。 - コンピュータ上またはプロセッサ上で動作するとき、請求項40に記載の方法を実行するためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023098016A JP2023126225A (ja) | 2017-10-04 | 2023-06-14 | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17194816.9 | 2017-10-04 | ||
EP17194816 | 2017-10-04 | ||
PCT/EP2018/076641 WO2019068638A1 (en) | 2017-10-04 | 2018-10-01 | APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING, DECODING, SCENE PROCESSING AND OTHER PROCEDURES RELATED TO DIRAC-BASED SPATIAL AUDIO CODING |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023098016A Division JP2023126225A (ja) | 2017-10-04 | 2023-06-14 | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020536286A true JP2020536286A (ja) | 2020-12-10 |
JP7297740B2 JP7297740B2 (ja) | 2023-06-26 |
Family
ID=60185972
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020519284A Active JP7297740B2 (ja) | 2017-10-04 | 2018-10-01 | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム |
JP2023098016A Pending JP2023126225A (ja) | 2017-10-04 | 2023-06-14 | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023098016A Pending JP2023126225A (ja) | 2017-10-04 | 2023-06-14 | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム |
Country Status (18)
Country | Link |
---|---|
US (3) | US11368790B2 (ja) |
EP (2) | EP3975176A3 (ja) |
JP (2) | JP7297740B2 (ja) |
KR (2) | KR20220133311A (ja) |
CN (2) | CN117395593A (ja) |
AR (2) | AR117384A1 (ja) |
AU (2) | AU2018344830B2 (ja) |
BR (1) | BR112020007486A2 (ja) |
CA (4) | CA3219540A1 (ja) |
ES (1) | ES2907377T3 (ja) |
MX (1) | MX2020003506A (ja) |
PL (1) | PL3692523T3 (ja) |
PT (1) | PT3692523T (ja) |
RU (1) | RU2759160C2 (ja) |
SG (1) | SG11202003125SA (ja) |
TW (2) | TWI834760B (ja) |
WO (1) | WO2019068638A1 (ja) |
ZA (1) | ZA202001726B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069796A1 (ja) * | 2022-09-28 | 2024-04-04 | 三菱電機株式会社 | 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3782152A2 (en) * | 2018-04-16 | 2021-02-24 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for encoding and decoding of directional sound sources |
JP2021530723A (ja) * | 2018-07-02 | 2021-11-11 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 没入的オーディオ信号を含むビットストリームを生成またはデコードするための方法および装置 |
KR20210090096A (ko) | 2018-11-13 | 2021-07-19 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 신호 및 연관된 메타데이터에 의해 공간 오디오를 표현하는 것 |
WO2020115311A1 (en) * | 2018-12-07 | 2020-06-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators |
US11158335B1 (en) * | 2019-03-28 | 2021-10-26 | Amazon Technologies, Inc. | Audio beam selection |
JP7469298B2 (ja) * | 2019-04-24 | 2024-04-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 到来方向推定装置、システム、及び、到来方向推定方法 |
WO2021018378A1 (en) | 2019-07-29 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain |
GB2587335A (en) * | 2019-09-17 | 2021-03-31 | Nokia Technologies Oy | Direction estimation enhancement for parametric spatial audio capture using broadband estimates |
US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
US20220406318A1 (en) * | 2019-10-30 | 2022-12-22 | Dolby Laboratories Licensing Corporation | Bitrate distribution in immersive voice and audio services |
WO2022079049A2 (en) | 2020-10-13 | 2022-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding a plurality of audio objects or apparatus and method for decoding using two or more relevant audio objects |
TW202316416A (zh) * | 2020-10-13 | 2023-04-16 | 弗勞恩霍夫爾協會 | 在降混過程中使用方向資訊對多個音頻對象進行編碼的設備和方法、或使用優化共變異數合成進行解碼的設備和方法 |
TWI816071B (zh) * | 2020-12-09 | 2023-09-21 | 宏正自動科技股份有限公司 | 音訊轉換裝置及音訊處理方法 |
GB2608406A (en) * | 2021-06-30 | 2023-01-04 | Nokia Technologies Oy | Creating spatial audio stream from audio objects with spatial extent |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012526296A (ja) * | 2009-05-08 | 2012-10-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 音声フォーマット・トランスコーダ |
JP2015502573A (ja) * | 2011-12-02 | 2015-01-22 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法 |
JP2015522183A (ja) * | 2012-07-15 | 2015-08-03 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 基底関数係数を使用した3次元オーディオコード化のためのシステム、方法、装置、およびコンピュータ可読媒体 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6233562B1 (en) * | 1996-12-09 | 2001-05-15 | Matsushita Electric Industrial Co., Ltd. | Audio decoding device and signal processing device for decoding multi-channel signals with reduced memory requirements |
US8872979B2 (en) | 2002-05-21 | 2014-10-28 | Avaya Inc. | Combined-media scene tracking for audio-video summarization |
TW200742359A (en) | 2006-04-28 | 2007-11-01 | Compal Electronics Inc | Internet communication system |
US9014377B2 (en) * | 2006-05-17 | 2015-04-21 | Creative Technology Ltd | Multichannel surround format conversion and generalized upmix |
US20080004729A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Direct encoding into a directional audio coding format |
US8290167B2 (en) * | 2007-03-21 | 2012-10-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for conversion between multi-channel audio formats |
US9015051B2 (en) * | 2007-03-21 | 2015-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Reconstruction of audio channels with direction parameters indicating direction of origin |
US8509454B2 (en) * | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
US20110002469A1 (en) * | 2008-03-03 | 2011-01-06 | Nokia Corporation | Apparatus for Capturing and Rendering a Plurality of Audio Channels |
EP2154910A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for merging spatial audio streams |
EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
ES2425814T3 (es) * | 2008-08-13 | 2013-10-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato para determinar una señal de audio espacial convertida |
WO2010090019A1 (ja) * | 2009-02-04 | 2010-08-12 | パナソニック株式会社 | 結合装置、遠隔通信システム及び結合方法 |
US20130003998A1 (en) * | 2010-02-26 | 2013-01-03 | Nokia Corporation | Modifying Spatial Image of a Plurality of Audio Signals |
DE102010030534A1 (de) * | 2010-06-25 | 2011-12-29 | Iosono Gmbh | Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion |
EP2448289A1 (en) * | 2010-10-28 | 2012-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for deriving a directional information and computer program product |
EP2464145A1 (en) * | 2010-12-10 | 2012-06-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decomposing an input signal using a downmixer |
EP2839461A4 (en) * | 2012-04-19 | 2015-12-16 | Nokia Technologies Oy | AUDIO SCENE APPARATUS |
CN103236255A (zh) * | 2013-04-03 | 2013-08-07 | 广西环球音乐图书有限公司 | 音频文件转化midi文件 |
DE102013105375A1 (de) | 2013-05-24 | 2014-11-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals |
US9847088B2 (en) * | 2014-08-29 | 2017-12-19 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
KR101993348B1 (ko) * | 2014-09-24 | 2019-06-26 | 한국전자통신연구원 | 동적 포맷 변환을 지원하는 오디오 메타데이터 제공 장치 및 오디오 데이터 재생 장치, 상기 장치가 수행하는 방법 그리고 상기 동적 포맷 변환들이 기록된 컴퓨터에서 판독 가능한 기록매체 |
EP3251116A4 (en) * | 2015-01-30 | 2018-07-25 | DTS, Inc. | System and method for capturing, encoding, distributing, and decoding immersive audio |
CN104768053A (zh) | 2015-04-15 | 2015-07-08 | 冯山泉 | 一种基于流分解和流重组的格式转换方法及系统 |
-
2018
- 2018-10-01 CA CA3219540A patent/CA3219540A1/en active Pending
- 2018-10-01 KR KR1020227032462A patent/KR20220133311A/ko active IP Right Grant
- 2018-10-01 AU AU2018344830A patent/AU2018344830B2/en active Active
- 2018-10-01 SG SG11202003125SA patent/SG11202003125SA/en unknown
- 2018-10-01 CA CA3219566A patent/CA3219566A1/en active Pending
- 2018-10-01 ES ES18779381T patent/ES2907377T3/es active Active
- 2018-10-01 EP EP21208008.9A patent/EP3975176A3/en active Pending
- 2018-10-01 CN CN202311301426.6A patent/CN117395593A/zh active Pending
- 2018-10-01 BR BR112020007486-1A patent/BR112020007486A2/pt unknown
- 2018-10-01 MX MX2020003506A patent/MX2020003506A/es unknown
- 2018-10-01 CN CN201880077928.6A patent/CN111630592B/zh active Active
- 2018-10-01 WO PCT/EP2018/076641 patent/WO2019068638A1/en unknown
- 2018-10-01 PT PT187793815T patent/PT3692523T/pt unknown
- 2018-10-01 JP JP2020519284A patent/JP7297740B2/ja active Active
- 2018-10-01 CA CA3134343A patent/CA3134343A1/en active Pending
- 2018-10-01 EP EP18779381.5A patent/EP3692523B1/en active Active
- 2018-10-01 CA CA3076703A patent/CA3076703C/en active Active
- 2018-10-01 KR KR1020207012249A patent/KR102468780B1/ko active IP Right Grant
- 2018-10-01 RU RU2020115048A patent/RU2759160C2/ru active
- 2018-10-01 PL PL18779381T patent/PL3692523T3/pl unknown
- 2018-10-03 TW TW108141539A patent/TWI834760B/zh active
- 2018-10-03 TW TW107134948A patent/TWI700687B/zh active
- 2018-10-04 AR ARP180102867A patent/AR117384A1/es active IP Right Grant
-
2020
- 2020-03-17 US US16/821,069 patent/US11368790B2/en active Active
- 2020-03-18 ZA ZA2020/01726A patent/ZA202001726B/en unknown
-
2021
- 2021-12-23 AU AU2021290361A patent/AU2021290361B2/en active Active
-
2022
- 2022-01-26 US US17/585,124 patent/US11729554B2/en active Active
- 2022-01-26 US US17/585,169 patent/US20220150635A1/en active Pending
- 2022-03-21 AR ARP220100655A patent/AR125562A2/es unknown
-
2023
- 2023-06-14 JP JP2023098016A patent/JP2023126225A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012526296A (ja) * | 2009-05-08 | 2012-10-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 音声フォーマット・トランスコーダ |
JP2015502573A (ja) * | 2011-12-02 | 2015-01-22 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法 |
JP2015522183A (ja) * | 2012-07-15 | 2015-08-03 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 基底関数係数を使用した3次元オーディオコード化のためのシステム、方法、装置、およびコンピュータ可読媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069796A1 (ja) * | 2022-09-28 | 2024-04-04 | 三菱電機株式会社 | 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7297740B2 (ja) | DirACベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム | |
US9584912B2 (en) | Spatial audio rendering and encoding | |
JP5337941B2 (ja) | マルチチャネル・パラメータ変換のための装置および方法 | |
JP2022153626A (ja) | マルチポイント音場記述を使用して拡張音場記述または修正音場記述を生成するためのコンセプト | |
US11863962B2 (en) | Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220711 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7297740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |