JP2021060610A - 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ - Google Patents
少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ Download PDFInfo
- Publication number
- JP2021060610A JP2021060610A JP2020215169A JP2020215169A JP2021060610A JP 2021060610 A JP2021060610 A JP 2021060610A JP 2020215169 A JP2020215169 A JP 2020215169A JP 2020215169 A JP2020215169 A JP 2020215169A JP 2021060610 A JP2021060610 A JP 2021060610A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- channel
- channels
- complementary
- weighting factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000000295 complement effect Effects 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims description 17
- 230000001419 dependent effect Effects 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 230000003595 spectral effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereo-Broadcasting Methods (AREA)
- Time-Division Multiplex Systems (AREA)
- Amplifiers (AREA)
Abstract
Description
・チャンネル間のレベル差(またはバランス)を測定するチャンネル間レベル差(ILD)と、
・チャンネル間の時間または位相の差を記述するチャンネル間時間差(ITD)またはチャンネル間位相差(IPD)とをそれぞれ含むこともあり得る。
m[n] = w1l[n] + w2r[n]
によって表されるように、単に左および右チャンネルの合計によって時間領域内で行うことができ、ただし、l[n]およびr[n]は、左および右チャンネルであり、nは、時間インデックスであり、w1[n]およびw2[n]は、ミキシングを決定する重みである。もし重みが、時間とともに一定であるならば、我々は、受動的ダウンミックスについて述べる。それは、入力信号にかかわらず不都合を有し、得られるダウンミックス信号の品質は、入力信号特性に大きく依存する。重みを時間につれて適合させることは、この問題をある程度低減することができる。
M[k, n] = W1[k, n]L[k, n] + W2[k, n]R[k, n]
と表され、ただしM[k, n]、L[k, n]およびR[k,n]は、周波数インデックスkおよび時間インデックスnにおけるそれぞれダウンミックス信号、左チャンネルおよび右チャンネルのSTFT成分である。重みW1[k, n]およびW2[k, n]は、時間および周波数において適応的に調整することができる。それは、コムフィルタ処理効果によって引き起こされるスペクトルバイアスを最小化することによって2つの入力チャンネルの平均エネルギーまたは振幅を保存することを目指す。
M[k] = W[k](L[k] + R[k])
と定式化することができ、ただし、
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n]S[k, n]
と表すことができ、ただし相補信号S[k, n]は理想的には、できる限り合計信号に対して直交しなければならないが、実際には、
S[k, n] = L[k, n]
または
S[k, n] = R[k, n]
または
S[k, n] = L[k, n] - R[k, n]
と選択することができる。
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n]L[k, n]
によって与えられ、ただし、
|L[k, n] + R[k, n]| ≦ |L[k, n]| + |R[k, n]|
ならば、W1[k, n]およびW2[k, n]は、常に正であり、W1[k, n]は、
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n](L[k, n] - R[k, n])
ただし、利得W1[k, n]およびW2[k, n]の組は、ダウンミックスされた信号と入力チャンネルとの間のエネルギー関係が、あらゆる条件において持続するように計算される。
M = W1[k](L[k] + R[k]) + W2[k](L[k] - R[k])
によって与えられる。ただし、
〔実施例1〕
2つ以上のチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするためのダウンミキサにおいて、
前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するためのプロセッサ(10)と、
前記マルチチャンネル信号(12)から相補信号を計算するための相補信号計算機(20)であって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、相補信号計算機(20)と、
前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するための加算器(30)とを備える、少なくとも2つのチャンネルをダウンミックスするためのダウンミキサ。
〔実施例2〕
前記プロセッサ(10)は、前記少なくとも2つのチャンネルが、同相であるときは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルと前記部分的ダウンミックスチャンネルとの間の定義済みエネルギーまたは振幅関係が、満たされるように、かつ前記少なくとも2つのチャンネルが、位相を異にするときは、エネルギー損失が、前記少なくとも2つのチャンネルに関して前記部分的ダウンミックス信号内に生み出されるように、前記部分的ダウンミックス信号(14)を計算する(50)ように構成され、
前記相補信号計算機は、前記部分的ダウンミックス信号(14)の前記エネルギーまたは振幅損失が、前記加算器(30)における前記部分的ダウンミックス信号(14)および前記相補信号(22)の前記加算によって部分的にまたは完全に補償されるように、前記相補信号を計算する(52)ように構成される、実施例1に記載のダウンミキサ。
〔実施例3〕
前記相補信号計算機(20)は、前記相補信号が、前記部分的ダウンミックス信号(14)に関して0.7未満のコヒーレンスインデックスを有するように、前記相補信号(22)を計算するように構成され、0.0のコヒーレンスインデックスは、完全なインコヒーレンスを示し、1.0のコヒーレンスインデックスは、完全なコヒーレンスを示す、実施例1または2に記載のダウンミキサ。
〔実施例4〕
前記相補信号計算機(20)は、前記相補信号を計算するために、前記マルチチャンネル信号が、前記少なくとも2つのチャンネルよりも多いチャンネル、または無相関化された第1のチャンネル、無相関化された第2のチャンネル、無相関化されたさらなるチャンネル、前記第1のチャンネルおよび前記第2のチャンネルを伴う無相関化された差もしくは無相関化された部分的ダウンミックス信号(14)を有するとき、前記少なくとも2つのチャンネルの第1のチャンネル、前記少なくとも2つのチャンネルの第2のチャンネル、前記第1のチャンネルと前記第2のチャンネルとの間の差、前記第2のチャンネルと前記第1のチャンネルとの間の差、前記マルチチャンネル信号のさらなるチャンネルを含む信号のグループの1つの信号を使用するように構成される、実施例1から3のいずれか一つに記載のダウンミキサ。
〔実施例5〕
前記プロセッサ(10)は、
前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
計算された重み付け係数を定義済みしきい値と比較すること(72)、および
前記計算された重み付け係数が、定義済みしきい値に対して第1の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数を使用すること(74)、または
前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数の代わりに前記定義済みしきい値を使用すること(76)、または
前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、変更機能を使用して(76)変更された重み付け係数を導くことであって、前記変更機能は、前記変更された重み付け係数が、前記計算された重み付け係数よりも前記定義済みしきい値により近いようなものである、変更された重み付け係数を導くことのために構成される、実施例1から4のいずれか一つに記載のダウンミキサ。
〔実施例6〕
前記プロセッサ(10)は、
前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
変更機能を使用して変更された重み付け係数を導くことであって、前記変更機能は、変更された重み付け係数が、前記定義済みエネルギー関係によって定義されるようなエネルギーよりも小さい前記部分的ダウンミックス信号のエネルギーをもたらすようなものである、変更された重み付け係数を導くことのために構成される、実施例1から5のいずれか一つに記載のダウンミキサ。
〔実施例7〕
前記プロセッサ(10)は、時間または周波数依存重み付け係数を使用して前記少なくとも2つのチャンネルの合計信号に重み付けをする(16)ように構成され、前記重み付け係数W1は、前記重み付け係数が、周波数ビンkおよび時間インデックスnについては次の方程式、
ただしAは、実数値の定数であり、Lは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルの第1のチャンネルを表し、Rは、前記少なくとも2つのチャンネルの第2のチャンネルを表す、実施例1から6のいずれか一つに記載のダウンミキサ。
〔実施例8〕
前記相補信号計算機(20)は、前記少なくとも2つのチャンネルの1つのチャンネルを使用し、時間または周波数依存相補重み付け係数W2を使用して前記使用されるチャンネルに重み付けをするように構成され、前記相補重み付け係数W2は、前記相補重み付け係数が、周波数ビンkおよび時間インデックスnについては次の方程式、
ただしLは、前記マルチチャンネル信号(12)の第1のチャンネルを表し、Rは、第2のチャンネルを表す、実施例1から7のいずれか一つに記載のダウンミキサ。
〔実施例9〕
前記相補信号発生器(20)は、前記マルチチャンネル信号(12)の第1のチャンネルと前記第2のチャンネルとの間の差を使用し、時間および周波数依存相補重み付け係数を使用して前記差信号に重み付けをするように構成され、前記相補重み付け係数は、前記相補重み付け係数が、次の方程式、
ただし
〔実施例10〕
前記相補信号発生器(20)は、前記マルチチャンネル信号(12)の第1のチャンネルと前記第2のチャンネルとの間の差を使用し、時間および周波数依存相補重み付け係数を使用して前記差信号に重み付けをするように構成され、前記相補重み付け係数は、前記相補重み付け係数が、次の方程式、
ただし
〔実施例11〕
前記プロセッサ(10)は、
前記少なくとも2つのチャンネルから合計信号を計算し、
前記合計信号と前記少なくとも2つのチャンネルとの間の所定の関係に従って前記合計信号に重み付けをするための重み付け係数を計算し(15)、
定義済みしきい値よりも高い計算された重み付け係数を変更し(76)、かつ
前記部分的ダウンミックス信号(14)を得るために前記合計信号に重み付けをするための前記変更された重み付け係数を適用するように構成される、実施例1から10のいずれか一つに記載のダウンミキサ。
〔実施例12〕
前記プロセッサ(10)は、前記定義済みしきい値の±20%の範囲内にあるように前記計算された重み付け係数を変更し、または前記計算された重み付け係数が、次の方程式、
ただし
〔実施例13〕
2つ以上のチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするための方法において、
前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するステップと、
前記マルチチャンネル信号(12)から相補信号を計算するステップであって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、ステップと、
前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するステップとを含む、少なくとも2つのチャンネルをダウンミックスするための方法。
〔実施例14〕
2つまたは2つよりも多いチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するためのパラメータ計算機(82)と、
実施例1から12のいずれか一つに記載のダウンミキサ(80)と、
前記1つもしくは複数のダウンミックスチャンネル(40)および/または前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号を出力するまたは記憶するための出力インターフェース(86)とを備える、マルチチャンネルエンコーダ。
〔実施例15〕
マルチチャンネル信号をエンコードするための方法であって、
2つまたは2つよりも多いチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するステップと、
実施例13に記載の方法に従ってダウンミックスするステップと、
前記1つまたは複数のダウンミックスチャンネル(40)および前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号(88)を出力するまたは記憶するステップとを含む、マルチチャンネル信号をエンコードするための方法。
〔実施例16〕
エンコードされたマルチチャンネル信号(88)を発生させるための実施例14に記載のマルチチャンネルエンコーダと、
再構成されたオーディオ信号(98)を得るために前記エンコードされたマルチチャンネル信号(88)をデコードするためのマルチチャンネルデコーダとを備えるオーディオ処理システム。
〔実施例17〕
オーディオ信号を処理する方法であって、
実施例15に記載のマルチチャンネルエンコードをするステップと、
再構成されたオーディオ信号(98)を得るためにエンコードされたマルチチャンネル信号をマルチチャンネルデコードするステップとを含む、オーディオ信号を処理する方法。
〔実施例18〕
コンピュータまたはプロセッサ上で動くとき、実施例13、15または17のいずれか一つに記載の方法を行うためのコンピュータプログラム。
[1] US 7,343,281 B2, “PROCESSING OF MULTI-CHANNEL SIGNALS”, Koninklijke Philips Electronics N.V., Eindhoven (NL)
[2] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar, and S. George, “A Stereo to Mono Downmixing Scheme for MPEG-4 Parametric Stereo Encoder,” in IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 5, 2006, pp. 529-532.
[3] T. M. N. Hoang, S. Ragot, B. Kovesi, and P. Scalart, “Parametric Stereo Extension of ITU-T G. 722 Based on a New Downmixing Scheme,” IEEE International Workshop on Multimedia Signal Processing (MMSP) (2010).
[4] W. Wu, L. Miao, Y. Lang, and D. Virette, “Parametric Stereo Coding Scheme with a New Downmix Method and Whole Band Inter Channel Time/Phase Differences,” in IEEE International Conference on Acoustics, Speech and Signal Processing, 2013, pp. 556-560.
[5] Alexander Adami, Emanuel A.P. Habets, Jurgen Herre, “DOWN-MIXING USING COHERENCE SUPPRESSION”, 2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP)
[6] Vilkamo, Juha; Kuntz, Achim; Fug, Simone, “Reduction of Spectral Artifacts in Multichannel Downmixing with Adaptive Phase Alignment”, AES August 22, 2014
12 マルチチャンネル信号
14 部分的ダウンミックス信号
15 第1の重み付け係数計算機
16 ダウンミックス重み付け器
20 相補信号計算機、相補信号発生器
22 相補信号
23 相補信号決定器、相補信号セレクタ
24 第2の重み付け係数計算機
25 重み付け器
30 加算器
40 ダウンミックス信号、ダウンミックスチャンネル
60 時間-スペクトル変換器
62 スペクトル-時間変換器
64 周波数領域ダウンミックスエンコーダ
66 ダウンミックスプロセッサ
80 ダウンミキサ
82 パラメータ計算機
84 マルチチャンネルパラメータ
86 出力インターフェース
88 エンコードされたマルチチャンネル信号
90 入力インターフェース
92 マルチチャンネルパラメータ
94 ダウンミックスチャンネル
96 マルチチャンネル再構成器
98 再構成されたオーディオ信号
Claims (17)
- 2つ以上のチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするためのダウンミキサにおいて、
前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するためのプロセッサ(10)と、
前記マルチチャンネル信号(12)から相補信号を計算するための相補信号計算機(20)であって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、相補信号計算機(20)と、
前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するための加算器(30)とを備える、少なくとも2つのチャンネルをダウンミックスするためのダウンミキサ。 - 前記相補信号計算機(20)は、前記相補信号が、前記部分的ダウンミックス信号(14)に関して0.7未満のコヒーレンスインデックスを有するように、前記相補信号(22)を計算するように構成され、0.0のコヒーレンスインデックスは、完全なインコヒーレンスを示し、1.0のコヒーレンスインデックスは、完全なコヒーレンスを示す、請求項1に記載のダウンミキサ。
- 前記相補信号計算機(20)は、前記相補信号を計算するために、前記マルチチャンネル信号が、前記少なくとも2つのチャンネルよりも多いチャンネル、または無相関化された第1のチャンネル、無相関化された第2のチャンネル、無相関化されたさらなるチャンネル、前記第1のチャンネルおよび前記第2のチャンネルを伴う無相関化された差もしくは無相関化された部分的ダウンミックス信号(14)を有するとき、前記少なくとも2つのチャンネルの第1のチャンネル、前記少なくとも2つのチャンネルの第2のチャンネル、前記第1のチャンネルと前記第2のチャンネルとの間の差、前記第2のチャンネルと前記第1のチャンネルとの間の差、前記マルチチャンネル信号のさらなるチャンネルを含む信号のグループの1つの信号を使用するように構成される、請求項1または2に記載のダウンミキサ。
- 前記プロセッサ(10)は、
前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
計算された重み付け係数を定義済みしきい値と比較すること(72)、および
前記計算された重み付け係数が、前記定義済みしきい値に対して第1の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数を使用すること(74)、または
前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数の代わりに前記定義済みしきい値を使用すること(76)、または
前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、変更機能を使用して(76)変更された重み付け係数を導くことであって、前記変更機能は、前記変更された重み付け係数が、前記計算された重み付け係数よりも前記定義済みしきい値により近いようなものである、変更された重み付け係数を導くことのために構成される、請求項1から3のいずれか一項に記載のダウンミキサ。 - 前記プロセッサ(10)は、
前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
変更機能を使用して変更された重み付け係数を導くことであって、前記変更機能は、変更された重み付け係数が、前記定義済みエネルギー関係によって定義されるようなエネルギーよりも小さい前記部分的ダウンミックス信号のエネルギーをもたらすようなものである、前記変更された重み付け係数を導くことのために構成される、請求項1から4のいずれか一項に記載のダウンミキサ。 - 前記プロセッサ(10)は、時間または周波数依存重み付け係数を使用して前記少なくとも2つのチャンネルの合計信号に重み付けをする(16)ように構成され、前記重み付け係数W1は、前記重み付け係数が、周波数ビンkおよび時間インデックスnについては次の方程式、
ただしAは、実数値の定数であり、Lは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルの第1のチャンネルを表し、Rは、前記少なくとも2つのチャンネルの第2のチャンネルを表す、請求項1から5のいずれか一項に記載のダウンミキサ。 - 前記プロセッサ(10)は、
前記少なくとも2つのチャンネルから合計信号を計算し、
前記合計信号と前記少なくとも2つのチャンネルとの間の所定の関係に従って前記合計信号に重み付けをするための重み付け係数を計算し(15)、
定義済みしきい値よりも高い計算された重み付け係数を変更し(76)、かつ
前記部分的ダウンミックス信号(14)を得るために前記合計信号に重み付けをするための前記変更された重み付け係数を適用するように構成される、請求項1から9のいずれか一項に記載のダウンミキサ。 - 2つ以上のチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするための方法において、
前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するステップと、
前記マルチチャンネル信号(12)から相補信号を計算するステップであって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、ステップと、
前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するステップとを含む、少なくとも2つのチャンネルをダウンミックスするための方法。 - 2つまたは2つよりも多いチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するためのパラメータ計算機(82)と、
請求項1から11のいずれか一項に記載のダウンミキサ(80)と、
前記1つもしくは複数のダウンミックス信号(40)および/または前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号を出力するまたは記憶するための出力インターフェース(86)とを備える、マルチチャンネルエンコーダ。 - マルチチャンネル信号をエンコードするための方法であって、
2つまたは2つよりも多いチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するステップと、
請求項12に記載の方法に従ってダウンミックスするステップと、
前記1つまたは複数のダウンミックス信号(40)および前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号(88)を出力するまたは記憶するステップとを含む、マルチチャンネル信号をエンコードするための方法。 - エンコードされたマルチチャンネル信号(88)を発生させるための請求項13に記載のマルチチャンネルエンコーダと、
再構成されたオーディオ信号(98)を得るために前記エンコードされたマルチチャンネル信号(88)をデコードするためのマルチチャンネルデコーダとを備えるオーディオ処理システム。 - オーディオ信号を処理する方法であって、
請求項14に記載のマルチチャンネルエンコードをするステップと、
再構成されたオーディオ信号(98)を得るためにエンコードされたマルチチャンネル信号をマルチチャンネルデコードするステップとを含む、オーディオ信号を処理する方法。 - コンピュータまたはプロセッサ上で動くとき、請求項12、14または16のいずれか一項に記載の方法を行うためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023002454A JP2023052322A (ja) | 2016-11-08 | 2023-01-11 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16197813.5 | 2016-11-08 | ||
EP16197813 | 2016-11-08 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523611A Division JP6817433B2 (ja) | 2016-11-08 | 2017-10-30 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023002454A Division JP2023052322A (ja) | 2016-11-08 | 2023-01-11 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060610A true JP2021060610A (ja) | 2021-04-15 |
JP7210530B2 JP7210530B2 (ja) | 2023-01-23 |
Family
ID=60302095
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523611A Active JP6817433B2 (ja) | 2016-11-08 | 2017-10-30 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
JP2020215169A Active JP7210530B2 (ja) | 2016-11-08 | 2020-12-24 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
JP2023002454A Pending JP2023052322A (ja) | 2016-11-08 | 2023-01-11 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523611A Active JP6817433B2 (ja) | 2016-11-08 | 2017-10-30 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023002454A Pending JP2023052322A (ja) | 2016-11-08 | 2023-01-11 | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
Country Status (17)
Country | Link |
---|---|
US (3) | US10665246B2 (ja) |
EP (2) | EP3748633A1 (ja) |
JP (3) | JP6817433B2 (ja) |
KR (1) | KR102291792B1 (ja) |
CN (2) | CN110419079B (ja) |
AR (1) | AR110147A1 (ja) |
AU (1) | AU2017357452B2 (ja) |
BR (1) | BR112019009424A2 (ja) |
CA (1) | CA3045847C (ja) |
ES (1) | ES2830954T3 (ja) |
MX (1) | MX2019005214A (ja) |
PL (1) | PL3539127T3 (ja) |
PT (1) | PT3539127T (ja) |
RU (1) | RU2727861C1 (ja) |
TW (1) | TWI665660B (ja) |
WO (1) | WO2018086946A1 (ja) |
ZA (1) | ZA201903536B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11157807B2 (en) | 2018-04-14 | 2021-10-26 | International Business Machines Corporation | Optical neuron |
US11521055B2 (en) | 2018-04-14 | 2022-12-06 | International Business Machines Corporation | Optical synapse |
JP7416816B2 (ja) | 2019-03-06 | 2024-01-17 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ダウンミキサ及びダウンミックス方法 |
WO2020216459A1 (en) | 2019-04-23 | 2020-10-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating an output downmix representation |
EP4202921A4 (en) * | 2020-09-28 | 2024-02-21 | Samsung Electronics Co., Ltd. | AUDIO ENCODING APPARATUS AND METHOD AND AUDIO DECODING APPARATUS AND METHOD |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005533426A (ja) * | 2002-07-12 | 2005-11-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符合化方法 |
JP2007531913A (ja) * | 2004-04-05 | 2007-11-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチチャンネル・エンコーダ |
JP2010521002A (ja) * | 2006-09-29 | 2010-06-17 | 韓國電子通信研究院 | 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法 |
EP2854133A1 (en) * | 2013-09-27 | 2015-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a downmix signal |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2355240T3 (es) | 2003-03-17 | 2011-03-24 | Koninklijke Philips Electronics N.V. | Procesamiento de señales de múltiples canales. |
US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
US7391870B2 (en) * | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
BRPI0516658A (pt) * | 2004-11-30 | 2008-09-16 | Matsushita Electric Ind Co Ltd | aparelho de codificação de estéreo, aparelho de decodificação de estéreo e seus métodos |
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
WO2009039897A1 (en) * | 2007-09-26 | 2009-04-02 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
MX2010004138A (es) * | 2007-10-17 | 2010-04-30 | Ten Forschung Ev Fraunhofer | Codificacion de audio usando conversion de estereo a multicanal. |
CN102037507B (zh) * | 2008-05-23 | 2013-02-06 | 皇家飞利浦电子股份有限公司 | 参数立体声上混合设备、参数立体声译码器、参数立体声下混合设备、参数立体声编码器 |
EP2144229A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
BR122019023924B1 (pt) | 2009-03-17 | 2021-06-01 | Dolby International Ab | Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo |
BRPI1004215B1 (pt) | 2009-04-08 | 2021-08-17 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para upmixagem de sinal de áudio downmix utilizando uma atenuação de valor de fase |
EP2489040A1 (fr) * | 2009-10-16 | 2012-08-22 | France Telecom | Decodage parametrique stereo optimise |
EP2323130A1 (en) * | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
JP5604933B2 (ja) * | 2010-03-30 | 2014-10-15 | 富士通株式会社 | ダウンミクス装置およびダウンミクス方法 |
RU2683175C2 (ru) * | 2010-04-09 | 2019-03-26 | Долби Интернешнл Аб | Стереофоническое кодирование на основе mdct с комплексным предсказанием |
PL3779979T3 (pl) * | 2010-04-13 | 2024-01-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sposób dekodowania audio do przetwarzania sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji |
RU2573774C2 (ru) | 2010-08-25 | 2016-01-27 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство для декодирования сигнала, содержащего переходные процессы, используя блок объединения и микшер |
FR2966634A1 (fr) * | 2010-10-22 | 2012-04-27 | France Telecom | Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase |
CN103548080B (zh) * | 2012-05-11 | 2017-03-08 | 松下电器产业株式会社 | 声音信号混合编码器、声音信号混合解码器、声音信号编码方法以及声音信号解码方法 |
KR20140017338A (ko) * | 2012-07-31 | 2014-02-11 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 장치 및 방법 |
WO2014161996A2 (en) * | 2013-04-05 | 2014-10-09 | Dolby International Ab | Audio processing system |
EP2838086A1 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
CA2997334A1 (en) * | 2015-09-25 | 2017-03-30 | Voiceage Corporation | Method and system for encoding left and right channels of a stereo sound signal selecting between two and four sub-frames models depending on the bit budget |
-
2017
- 2017-10-30 BR BR112019009424A patent/BR112019009424A2/pt unknown
- 2017-10-30 CN CN201780082544.9A patent/CN110419079B/zh active Active
- 2017-10-30 ES ES17797289T patent/ES2830954T3/es active Active
- 2017-10-30 CN CN202310693632.XA patent/CN116741185A/zh active Pending
- 2017-10-30 AU AU2017357452A patent/AU2017357452B2/en active Active
- 2017-10-30 CA CA3045847A patent/CA3045847C/en active Active
- 2017-10-30 PT PT177972890T patent/PT3539127T/pt unknown
- 2017-10-30 MX MX2019005214A patent/MX2019005214A/es unknown
- 2017-10-30 RU RU2019116605A patent/RU2727861C1/ru active
- 2017-10-30 PL PL17797289T patent/PL3539127T3/pl unknown
- 2017-10-30 WO PCT/EP2017/077820 patent/WO2018086946A1/en active Search and Examination
- 2017-10-30 KR KR1020197016213A patent/KR102291792B1/ko active IP Right Grant
- 2017-10-30 EP EP20187260.3A patent/EP3748633A1/en active Pending
- 2017-10-30 EP EP17797289.0A patent/EP3539127B1/en active Active
- 2017-10-30 JP JP2019523611A patent/JP6817433B2/ja active Active
- 2017-11-07 TW TW106138444A patent/TWI665660B/zh active
- 2017-11-08 AR ARP170103098A patent/AR110147A1/es active IP Right Grant
-
2019
- 2019-04-26 US US16/395,933 patent/US10665246B2/en active Active
- 2019-06-03 ZA ZA2019/03536A patent/ZA201903536B/en unknown
-
2020
- 2020-04-13 US US16/847,403 patent/US11183196B2/en active Active
- 2020-12-24 JP JP2020215169A patent/JP7210530B2/ja active Active
-
2021
- 2021-10-14 US US17/501,356 patent/US11670307B2/en active Active
-
2023
- 2023-01-11 JP JP2023002454A patent/JP2023052322A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005533426A (ja) * | 2002-07-12 | 2005-11-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符合化方法 |
JP2007531913A (ja) * | 2004-04-05 | 2007-11-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチチャンネル・エンコーダ |
JP2010521002A (ja) * | 2006-09-29 | 2010-06-17 | 韓國電子通信研究院 | 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法 |
EP2854133A1 (en) * | 2013-09-27 | 2015-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a downmix signal |
JP2016538578A (ja) * | 2013-09-27 | 2016-12-08 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ダウンミックス信号を生成するための概念 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6817433B2 (ja) | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ | |
US11430453B2 (en) | Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing | |
RU2727799C1 (ru) | Устройство и способ понижающего или повышающего микширования многоканального сигнала с использованием фазовой компенсации | |
CN109509478B (zh) | 音频处理装置 | |
US9384740B2 (en) | Apparatus and method for encoding and decoding multi-channel signal | |
US8433583B2 (en) | Audio decoding | |
WO2004084185A1 (en) | Processing of multi-channel signals | |
KR101833380B1 (ko) | 다운믹스 신호를 발생시키기 위한 개념 | |
AU2020262159B2 (en) | Apparatus, method or computer program for generating an output downmix representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220307 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7210530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |