JP2015531078A - オーディオ信号処理方法および装置 - Google Patents
オーディオ信号処理方法および装置 Download PDFInfo
- Publication number
- JP2015531078A JP2015531078A JP2015523022A JP2015523022A JP2015531078A JP 2015531078 A JP2015531078 A JP 2015531078A JP 2015523022 A JP2015523022 A JP 2015523022A JP 2015523022 A JP2015523022 A JP 2015523022A JP 2015531078 A JP2015531078 A JP 2015531078A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- channel
- downmix
- group
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000009877 rendering Methods 0.000 description 42
- 230000000873 masking effect Effects 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 15
- 230000006854 communication Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004091 panning Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011438 discrete method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
Description
複数のグループ別にダウンミックスを生成し、各グループ別に独立したパラメトリックオブジェクト符号化を行うにあたり、各グループで使用されるビット数は互いに異なり得る。グループ別ビットを割り当てる基準は、グループ内に含まれたオブジェクトの数、グループ内のオブジェクト間のマスキング効果を考慮した有効オブジェクト数、人の空間解像度を考慮した位置に応じた加重値、オブジェクトの音圧の大きさ、オブジェクト間相関度、サウンド場面上のオブジェクトの重要度などを考慮することができる。例えば、A、B、Cの3つの空間的オブジェクトグループを有する場合、それぞれグループのobject信号が3、2、1個ずつ含まれていれば、割り当てられたビットは3a1(n−x)、2a2(n−y)、a3nに割り当てられてよい。ここで、x,yは、各グループ内でオブジェクト間、そしてオブジェクト内でマスキング効果によってビットをより少なく割り当ててもよい程度を示し、a1、a2、a3は、グループ別に前記言及した多様な要素によって決定できる。
一方、オブジェクト情報の場合、プロデューサーが生成した意図によって勧告したり、他のユーザが提案するミックス情報などを、オブジェクトの位置および大きさ情報としてメタデータを介して伝達する手段を有することが好ましい。本発明では、これを、便宜上、プリセット情報と呼ぶ。オブジェクトが時間に応じて位置可変するダイナミックオブジェクトの場合、プリセット情報を介して伝送されるべき位置情報の情報量が少なくない。例えば、1000個のオブジェクトに対して毎フレーム可変する位置情報を伝送すれば、非常に大きいデータ量になる。したがって、オブジェクトの位置情報も効果的に伝送することが好ましい。そこで、本発明では、主オブジェクトと副オブジェクトという定義を利用して、位置情報の効果的な符号化方法を用いる。
図8は、本発明によるオブジェクトおよびチャンネル信号復号化システム800をブロック図に示す一実施例である。システム800は、オブジェクト信号801、チャンネル信号802、あるいはオブジェクト信号とチャンネル信号との組み合わせを受けることができる。また、オブジェクト信号あるいはチャンネル信号は、それぞれウェーブフォーム符号化(801、802)されたり、パラメトリック符号化(803、804)されていてよい。復号化システム800は、大きく、3DA復号化部860と、3DAレンダリング部870とに区分され、3DAレンダリング部870は、任意の外部システムあるいはソリューションが使用されてもよい。したがって、3DA復号化部860と3DAレンダリング部870は、外部と容易に互換される標準化されたインタフェースを提供することが好ましい。
図10は、本発明の他の実施例によるエンコーダおよびデコーダの構成を示す図である。
本発明によるオブジェクトのウェーブフォーム符号化器(以下、ウェーブフォーム(waveform)符号化器は、チャンネルオーディオ信号あるいはオブジェクトオーディオ信号を各チャンネルあるいはオブジェクト別に独立して復号化可能に符号化する場合をいい、パラメトリック符号化/復号化に相対する概念で、さらに個別(discrete)符号化/復号化とも呼ぶ)は、オブジェクトのサウンド場面上の位置を考慮してビット割当する。これは、心理音響のBMLD(Binaural Masking Level Difference)現象とオブジェクト信号符号化の特徴を利用したものである。
本発明のさらに他の実施例では、カップリングされたオブジェクトを含むビット列をより低いビット率にトランスコーディングするために、データの大きさを低減するために、オブジェクトの数字を低減しなければならない場合(すなわち、複数のオブジェクトを1つにダウンミックスして1つのオブジェクトで表現する場合)、カップリングされたオブジェクトに対して1つのオブジェクトで表現することが好ましい。
3Dオーディオのために必要な技術のうち、柔軟なレンダリングは、3Dオーディオの品質を最上に引き上げるために解決すべき重要な課題の一つである。居間の構造、家具の配置に応じて、5.1チャンネルスピーカの位置が非常に不定形的なのは周知の事実である。このような不定形的位置にスピーカが存在しても、コンテンツ制作者の意図したサウンド場面を提供できるようにしなければならない。このためには、ユーザごとにまちまちの再生環境でのスピーカ環境を知らなければならないのとともに、規格に応じた位置対比の差を補正するためのレンダリング技術が必要である。すなわち、伝送されたビット列をデコーディングすることでコーデックの役割が終わるのではなく、これをユーザの再生環境に合わせて最適化変形する過程に対する一連の技術が要求される。
信号の大きさを基準として、2つのスピーカの間の音源の方向情報を決定するAmplitude Panningや、3次元空間上で3つのスピーカを用いて音源の方向を決定するのに広く使用されるVBAP(Vector−Based Amplitude Panning)を用いると、オブジェクト別に伝送されたオブジェクト信号に対しては相対的に便利にフレキシブルレンダリングを実現できることが分かる。チャンネルの代わりにオブジェクト信号を伝送することの利点の一つである。
図14は、本発明によるオブジェクトのビット列に対する復号化器とこれを用いたフレキシブルレンダリングシステムが接続された2つの実施例の構造1400、1401を示す。前述のように、オブジェクトの場合、所望のサウンド場面に合わせてオブジェクトを音源に位置させることが容易である利点があり、ここでは、ミックス(Mix)部1420でミキシング行列で表現された位置情報を受信して、優先チャンネル信号に変更する。すなわち、サウンド場面に対する位置情報を、出力チャンネルに対応するスピーカからの相対的な情報として表現されるのである。この時、実際にスピーカの個数と位置が定められた位置に存在しない場合、当該位置情報(Speaker Config)を用いて再びレンダリングする過程が必要である。下記に記述するように、チャンネル信号を再び異なる形態のチャンネル信号にレンダリングすることは、オブジェクトを最終チャンネルに直接レンダリングする場合より実現しにくい。
一方、チャンネル信号が入力として伝送され、当該チャンネルに対応するスピーカの位置が任意の位置に変更された場合、オブジェクト信号に対するパニング手法のような方法が適用されにくく、別のチャンネルマッピングプロセスが必要である。より大きい問題は、このようにオブジェクト信号とチャンネル信号に対してレンダリングのために必要な過程と解決方法が異なるため、オブジェクト信号とチャンネル信号が同時に伝送され、2つの信号をミックスした形態のサウンド場面を演出しようとする場合は、空間の不整合による歪みが発生しやすいというのである。このような問題を解決するために、本発明の他の実施例では、オブジェクトに対するフレキシブルレンダリングを別途に行わず、チャンネル信号にミックスを先に行った後、チャンネル信号に対するフレキシブルレンダリングを行うようにする。HRTFを用いたレンダリングなども同様の方法で実現されることが好ましい。
ダウンミックスレンダリングにおいて、マルチチャンネルコンテンツをそれより少ない数の出力チャンネルを介して再生する場合、今まではM−Nダウンミックスマトリクス(Mは入力チャンネル数、Nは出力チャンネル数)を用いて実現することが一般的であった。すなわち、5.1チャンネルコンテンツをステレオで再生する時、与えられた数式によってダウンミックスを行う方式で実現される。しかし、このようなダウンミックス実現方法は、まず、ユーザの再生スピーカ環境が5.1チャンネルだけであるにもかかわらず、伝送された22.2チャンネルに相当するすべてのビット列を復号化しなければならない演算量の問題が発生する。携帯機器での再生のためのステレオ信号生成のためにも、22.2チャンネル信号をすべて復号化しなければならないとすれば、その演算量の負担が非常に高いだけでなく、おびただしい量のメモリの無駄使い(22.2チャンネル復号化されたオーディオ信号の格納)が発生する。
これに対する代案として、巨大な22.2チャンネルの原ビット列から効果的なトランスコーディングにより、目標機器あるいは目標の再生空間に適した数のビット列に切り替える方法を考えることができる。例えば、クラウドサーバに格納された22.2チャンネルコンテンツであれば、クライアント端末から再生環境情報を受信し、これに合わせて変換して伝送するシナリオが実現可能である。
一方、復号化器とレンダリングが分離されているシナリオの場合、例えば、22.2チャンネルのオーディオ信号とともに、50個のオブジェクト信号を復号化して、これをレンダラに伝達しなければならない場合が発生することがある。この時、伝送されるオーディオ信号は、復号化が完了した高データ率の信号であるので、復号化器とレンダラとの間に非常に大きい帯域幅を要求する問題がある。したがって、一度にこのように多いデータを同時に伝送することは好ましくなく、効果的な伝送計画を立てることが好ましい。そして、これに合わせて復号化器が復号化順序を決定して伝送することが好ましい。図16は、このように復号化器とレンダラとの間の伝送計画を決定して伝送する構造1600を示すブロック図である。
一方、ビット列のうち、双方向通信の音声に相当するオブジェクトが含まれてよい。双方向通信は、他のコンテンツと異なり、時間遅延に非常に敏感であるため、これに相当するオブジェクトあるいはチャンネル信号が受信された場合、これを優先してレンダラに伝送しなければならない。これに相当するオブジェクトあるいはチャンネル信号は、別のフラグなどで表示することができる。まず、伝送オブジェクトは、他のオブジェクト/チャンネルと異なり、同じフレームに入っている他のオブジェクト/チャンネル信号と再生時間(presentation time)において独立した特性を有する。
UHDTV、すなわち超高解像度テレビを考慮する時、発生する新たな問題の一つとして、一般にNear Fieldと呼ぶ状況がある。すなわち、一般的なユーザ環境(居間)の視聴距離を考慮する時、再生されるスピーカからの聞き手までの距離が各スピーカの間の距離より短くなることによって、各スピーカが点音源として動作する点と、広くて大きいスクリーンによって中央部にスピーカが不在する状況でビデオに同期化した音オブジェクトの空間解像度が非常に高くてはじめて、高品質の3Dオーディオサービスが可能であるという点である。
ユーザ認証部320は、ユーザ情報を受信してユーザ認証を行うものであって、指紋認識部320A、虹彩認識部320B、顔認識部320C、および音声認識部320Dのうちの1つ以上を含むことができるが、それぞれ指紋、虹彩情報、顔輪郭情報、音声情報を受信して、ユーザ情報に変換し、ユーザ情報および既に登録されているユーザデータと一致するか否かを判断して、ユーザ認証を行うことができる。
Claims (6)
- 第1ダウンミックス信号と第2ダウンミックス信号を含む複数のダウンミックス信号を受信するステップと、
第1ダウンミックス信号に対応する、第1オブジェクト信号グループに対する第1オブジェクト抽出情報を受信するステップと、
第2ダウンミックス信号に対応する、第2オブジェクト信号グループに対する第2オブジェクト抽出情報を受信するステップと、
第1ダウンミックス信号と第1オブジェクト抽出情報を用いて、第1オブジェクト信号グループに属するオブジェクト信号を生成するステップと、
第2ダウンミックス信号と第2オブジェクト抽出情報を用いて、第2オブジェクト信号グループに属するオブジェクト信号を生成するステップとを含むことを特徴とする、オーディオ信号処理方法。 - 前記第1オブジェクト信号グループに属するオブジェクト信号のうちの少なくとも1つのオブジェクト信号と、前記第2オブジェクト信号グループに属する少なくとも1つのオブジェクト信号を用いて、出力オーディオ信号を生成するステップをさらに含むことを特徴とする、請求項1に記載のオーディオ信号処理方法。
- 前記第1オブジェクト抽出情報と第2オブジェクト抽出情報は、1つのビット列から受信することを特徴とする、請求項1に記載のオーディオ信号処理方法。
- 第1オブジェクト抽出情報から第1オブジェクト信号グループに属した少なくとも1つのオブジェクト信号に対するダウンミックスゲイン情報が得られ、前記ダウンミックスゲイン情報を用いて前記少なくとも1つのオブジェクト信号を生成することを特徴とする、請求項1に記載のオーディオ信号処理方法。
- グローバルゲイン情報を受信するステップをさらに含み、前記グローバルゲイン情報は、前記第1オブジェクト信号グループと前記第2オブジェクト信号グループにすべて適用されるゲイン値であることを特徴とする、請求項1に記載のオーディオ信号処理方法。
- 前記第1オブジェクト信号グループに属するオブジェクト信号のうちの少なくとも1つのオブジェクト信号と、前記第2オブジェクト信号グループに属する少なくとも1つのオブジェクト信号は、同じ時間帯に再生されることを特徴とする、請求項1に記載のオーディオ信号処理方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120084230A KR101950455B1 (ko) | 2012-07-31 | 2012-07-31 | 오디오 신호 처리 방법 및 장치 |
KR10-2012-0084231 | 2012-07-31 | ||
KR10-2012-0083944 | 2012-07-31 | ||
KR1020120084229A KR101949756B1 (ko) | 2012-07-31 | 2012-07-31 | 오디오 신호 처리 방법 및 장치 |
KR10-2012-0084229 | 2012-07-31 | ||
KR10-2012-0084230 | 2012-07-31 | ||
KR1020120084231A KR102059846B1 (ko) | 2012-07-31 | 2012-07-31 | 오디오 신호 처리 방법 및 장치 |
KR1020120083944A KR101949755B1 (ko) | 2012-07-31 | 2012-07-31 | 오디오 신호 처리 방법 및 장치 |
PCT/KR2013/006732 WO2014021588A1 (ko) | 2012-07-31 | 2013-07-26 | 오디오 신호 처리 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015531078A true JP2015531078A (ja) | 2015-10-29 |
JP6045696B2 JP6045696B2 (ja) | 2016-12-14 |
Family
ID=50028215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015523022A Active JP6045696B2 (ja) | 2012-07-31 | 2013-07-26 | オーディオ信号処理方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9564138B2 (ja) |
EP (1) | EP2863657B1 (ja) |
JP (1) | JP6045696B2 (ja) |
CN (1) | CN104541524B (ja) |
WO (1) | WO2014021588A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015527611A (ja) * | 2012-08-03 | 2015-09-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法 |
JP2016072891A (ja) * | 2014-09-30 | 2016-05-09 | シャープ株式会社 | 音声出力制御装置および音声出力制御方法 |
JP2018125883A (ja) * | 2018-04-04 | 2018-08-09 | シャープ株式会社 | 音響信号処理装置 |
WO2020008890A1 (ja) * | 2018-07-04 | 2020-01-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JPWO2018180531A1 (ja) * | 2017-03-28 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2020045126A1 (ja) * | 2018-08-30 | 2020-03-05 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
WO2020171049A1 (ja) * | 2019-02-19 | 2020-08-27 | 公立大学法人秋田県立大学 | 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置 |
JP2021507314A (ja) * | 2018-01-18 | 2021-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 音場表現信号を符号化する方法及びデバイス |
JP2023008889A (ja) * | 2021-06-28 | 2023-01-19 | ネイバー コーポレーション | ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431312B2 (en) | 2004-08-10 | 2022-08-30 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10848118B2 (en) | 2004-08-10 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10158337B2 (en) | 2004-08-10 | 2018-12-18 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US10701505B2 (en) | 2006-02-07 | 2020-06-30 | Bongiovi Acoustics Llc. | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US11202161B2 (en) | 2006-02-07 | 2021-12-14 | Bongiovi Acoustics Llc | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US10848867B2 (en) | 2006-02-07 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
US9883318B2 (en) | 2013-06-12 | 2018-01-30 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two-channel audio systems |
US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
EP3657823A1 (en) | 2013-11-28 | 2020-05-27 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
CN104915184B (zh) * | 2014-03-11 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 调节音效的方法和装置 |
KR102443054B1 (ko) * | 2014-03-24 | 2022-09-14 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
JP6243770B2 (ja) * | 2014-03-25 | 2017-12-06 | 日本放送協会 | チャンネル数変換装置 |
JP6313641B2 (ja) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | チャンネル数変換装置 |
WO2015147619A1 (ko) | 2014-03-28 | 2015-10-01 | 삼성전자 주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
EP3131313A4 (en) * | 2014-04-11 | 2017-12-13 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering sound signal, and computer-readable recording medium |
US10820883B2 (en) | 2014-04-16 | 2020-11-03 | Bongiovi Acoustics Llc | Noise reduction assembly for auscultation of a body |
CN112802496A (zh) | 2014-12-11 | 2021-05-14 | 杜比实验室特许公司 | 元数据保留的音频对象聚类 |
MX370034B (es) | 2015-02-02 | 2019-11-28 | Fraunhofer Ges Forschung | Aparato y método para procesar una señal de audio codificada. |
CN106303897A (zh) | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
CN107787584B (zh) | 2015-06-17 | 2020-07-24 | 三星电子株式会社 | 处理低复杂度格式转换的内部声道的方法和装置 |
US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
WO2018017394A1 (en) * | 2016-07-20 | 2018-01-25 | Dolby Laboratories Licensing Corporation | Audio object clustering based on renderer-aware perceptual difference |
US10779106B2 (en) * | 2016-07-20 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Audio object clustering based on renderer-aware perceptual difference |
CN110447243B (zh) * | 2017-03-06 | 2021-06-01 | 杜比国际公司 | 基于音频数据流渲染音频输出的方法、解码器系统和介质 |
WO2019004524A1 (ko) * | 2017-06-27 | 2019-01-03 | 엘지전자 주식회사 | 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치 |
CN114708874A (zh) | 2018-05-31 | 2022-07-05 | 华为技术有限公司 | 立体声信号的编码方法和装置 |
US10959035B2 (en) | 2018-08-02 | 2021-03-23 | Bongiovi Acoustics Llc | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
US11659332B2 (en) | 2019-07-30 | 2023-05-23 | Dolby Laboratories Licensing Corporation | Estimating user location in a system including smart audio devices |
GB2586461A (en) * | 2019-08-16 | 2021-02-24 | Nokia Technologies Oy | Quantization of spatial audio direction parameters |
GB2586586A (en) * | 2019-08-16 | 2021-03-03 | Nokia Technologies Oy | Quantization of spatial audio direction parameters |
CN114424586A (zh) * | 2019-09-17 | 2022-04-29 | 诺基亚技术有限公司 | 空间音频参数编码和相关联的解码 |
CN110841278A (zh) * | 2019-11-14 | 2020-02-28 | 珠海金山网络游戏科技有限公司 | 一种云游戏实现方法及装置 |
US11832079B2 (en) * | 2021-03-30 | 2023-11-28 | Harman Becker Automotive Systems Gmbh | System and method for providing stereo image enhancement of a multi-channel loudspeaker setup |
CN114666763B (zh) * | 2022-05-24 | 2022-08-26 | 东莞市云仕电子有限公司 | 车载无线耳机系统、控制方法及车载无线系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010507114A (ja) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | マルチチャネル・パラメータ変換のための装置および方法 |
JP2010511912A (ja) * | 2006-12-07 | 2010-04-15 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
JP2010529500A (ja) * | 2007-06-08 | 2010-08-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
WO2010109918A1 (ja) * | 2009-03-26 | 2010-09-30 | パナソニック株式会社 | 復号化装置、符号化復号化装置および復号化方法 |
JP2011501823A (ja) * | 2007-10-17 | 2011-01-13 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | アップミックスを使用した音声符号器 |
US20120183148A1 (en) * | 2011-01-14 | 2012-07-19 | Korea Electronics Technology Institute | System for multichannel multitrack audio and audio processing method thereof |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1946294A2 (en) | 2005-06-30 | 2008-07-23 | LG Electronics Inc. | Apparatus for encoding and decoding audio signal and method thereof |
US20070253557A1 (en) * | 2006-05-01 | 2007-11-01 | Xudong Song | Methods And Apparatuses For Processing Audio Streams For Use With Multiple Devices |
EP2071564A4 (en) * | 2006-09-29 | 2009-09-02 | Lg Electronics Inc | METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS |
MY145497A (en) | 2006-10-16 | 2012-02-29 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
EP2095365A4 (en) * | 2006-11-24 | 2009-11-18 | Lg Electronics Inc | METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF |
EP2115739A4 (en) * | 2007-02-14 | 2010-01-20 | Lg Electronics Inc | METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS |
US8639498B2 (en) * | 2007-03-30 | 2014-01-28 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
JP5310506B2 (ja) * | 2009-03-26 | 2013-10-09 | ヤマハ株式会社 | オーディオミキサ |
KR101842411B1 (ko) * | 2009-08-14 | 2018-03-26 | 디티에스 엘엘씨 | 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템 |
KR101756838B1 (ko) * | 2010-10-13 | 2017-07-11 | 삼성전자주식회사 | 다채널 오디오 신호를 다운 믹스하는 방법 및 장치 |
TW202339510A (zh) * | 2011-07-01 | 2023-10-01 | 美商杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
-
2013
- 2013-07-26 US US14/414,910 patent/US9564138B2/en active Active
- 2013-07-26 WO PCT/KR2013/006732 patent/WO2014021588A1/ko active Application Filing
- 2013-07-26 JP JP2015523022A patent/JP6045696B2/ja active Active
- 2013-07-26 CN CN201380039768.3A patent/CN104541524B/zh active Active
- 2013-07-26 EP EP13825888.4A patent/EP2863657B1/en active Active
-
2016
- 2016-12-19 US US15/383,293 patent/US9646620B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010507114A (ja) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | マルチチャネル・パラメータ変換のための装置および方法 |
JP2010511912A (ja) * | 2006-12-07 | 2010-04-15 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
JP2010529500A (ja) * | 2007-06-08 | 2010-08-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
JP2011501823A (ja) * | 2007-10-17 | 2011-01-13 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | アップミックスを使用した音声符号器 |
WO2010109918A1 (ja) * | 2009-03-26 | 2010-09-30 | パナソニック株式会社 | 復号化装置、符号化復号化装置および復号化方法 |
US20120183148A1 (en) * | 2011-01-14 | 2012-07-19 | Korea Electronics Technology Institute | System for multichannel multitrack audio and audio processing method thereof |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10176812B2 (en) | 2012-08-03 | 2019-01-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases |
JP2015527611A (ja) * | 2012-08-03 | 2015-09-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法 |
JP2016072891A (ja) * | 2014-09-30 | 2016-05-09 | シャープ株式会社 | 音声出力制御装置および音声出力制御方法 |
JP7230799B2 (ja) | 2017-03-28 | 2023-03-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2018180531A1 (ja) * | 2017-03-28 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2021507314A (ja) * | 2018-01-18 | 2021-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 音場表現信号を符号化する方法及びデバイス |
US11322164B2 (en) | 2018-01-18 | 2022-05-03 | Dolby Laboratories Licensing Corporation | Methods and devices for coding soundfield representation signals |
JP2018125883A (ja) * | 2018-04-04 | 2018-08-09 | シャープ株式会社 | 音響信号処理装置 |
JPWO2020008890A1 (ja) * | 2018-07-04 | 2021-08-02 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
CN112352278A (zh) * | 2018-07-04 | 2021-02-09 | 索尼公司 | 信息处理装置和方法以及程序 |
WO2020008890A1 (ja) * | 2018-07-04 | 2020-01-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP7276337B2 (ja) | 2018-07-04 | 2023-05-18 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
US11790925B2 (en) | 2018-07-04 | 2023-10-17 | Sony Corporation | Information processing device and method, and program |
JPWO2020045126A1 (ja) * | 2018-08-30 | 2021-08-10 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
WO2020045126A1 (ja) * | 2018-08-30 | 2020-03-05 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US11368806B2 (en) | 2018-08-30 | 2022-06-21 | Sony Corporation | Information processing apparatus and method, and program |
US11849301B2 (en) | 2018-08-30 | 2023-12-19 | Sony Group Corporation | Information processing apparatus and method, and program |
WO2020171049A1 (ja) * | 2019-02-19 | 2020-08-27 | 公立大学法人秋田県立大学 | 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置 |
JPWO2020171049A1 (ja) * | 2019-02-19 | 2021-11-25 | 公立大学法人秋田県立大学 | 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置 |
JP7232546B2 (ja) | 2019-02-19 | 2023-03-03 | 公立大学法人秋田県立大学 | 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置 |
JP2023008889A (ja) * | 2021-06-28 | 2023-01-19 | ネイバー コーポレーション | ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2863657B1 (en) | 2019-09-18 |
US9564138B2 (en) | 2017-02-07 |
EP2863657A1 (en) | 2015-04-22 |
CN104541524A (zh) | 2015-04-22 |
US9646620B1 (en) | 2017-05-09 |
WO2014021588A1 (ko) | 2014-02-06 |
US20150194158A1 (en) | 2015-07-09 |
US20170125023A1 (en) | 2017-05-04 |
CN104541524B (zh) | 2017-03-08 |
EP2863657A4 (en) | 2016-03-16 |
JP6045696B2 (ja) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6045696B2 (ja) | オーディオ信号処理方法および装置 | |
TWI744341B (zh) | 使用近場/遠場渲染之距離聲相偏移 | |
US11488610B2 (en) | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension | |
TWI700687B (zh) | 用於編碼、解碼、場景處理及與以指向性音訊編碼為基礎之空間音訊編碼有關的其他程序之裝置、方法及電腦程式 | |
CA2645912C (en) | Methods and apparatuses for encoding and decoding object-based audio signals | |
KR20140128564A (ko) | 음상 정위를 위한 오디오 시스템 및 방법 | |
EP3487189A1 (en) | Apparatus and method for screen related audio object remapping | |
US20200013426A1 (en) | Synchronizing enhanced audio transports with backward compatible audio transports | |
CN105075293A (zh) | 音频设备及其音频提供方法 | |
JP2015509212A (ja) | 空間オーディオ・レンダリング及び符号化 | |
KR102148217B1 (ko) | 위치기반 오디오 신호처리 방법 | |
JP2021513108A (ja) | ハイブリッドエンコーダ/デコーダ空間解析を使用する音響シーンエンコーダ、音響シーンデコーダおよびその方法 | |
KR20220084113A (ko) | 오디오 인코딩을 위한 장치 및 방법 | |
US11081116B2 (en) | Embedding enhanced audio transports in backward compatible audio bitstreams | |
JP2015529046A (ja) | オーディオ信号処理方法および装置 | |
KR102059846B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
KR101949756B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
GB2580899A (en) | Audio representation and associated rendering | |
US11062713B2 (en) | Spatially formatted enhanced audio data for backward compatible audio bitstreams | |
KR101949755B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
KR101950455B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
JP6652990B2 (ja) | サラウンドオーディオ信号処理のための装置及び方法 | |
KR20140128565A (ko) | 오디오 신호 처리 방법 및 장치 | |
KR20150111114A (ko) | 오디오 신호 처리 방법 | |
KR20150111117A (ko) | 오디오 신호 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6045696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |