JP2019505017A - 複数のオーディオ信号の符号化 - Google Patents
複数のオーディオ信号の符号化 Download PDFInfo
- Publication number
- JP2019505017A JP2019505017A JP2018541416A JP2018541416A JP2019505017A JP 2019505017 A JP2019505017 A JP 2019505017A JP 2018541416 A JP2018541416 A JP 2018541416A JP 2018541416 A JP2018541416 A JP 2018541416A JP 2019505017 A JP2019505017 A JP 2019505017A
- Authority
- JP
- Japan
- Prior art keywords
- channel
- frequency domain
- midband
- target channel
- adjusted target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title description 216
- 230000002123 temporal effect Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims description 65
- 230000001364 causal effect Effects 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 34
- 230000004044 response Effects 0.000 description 25
- 238000012952 Resampling Methods 0.000 description 20
- 230000003111 delayed effect Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本出願は、同一出願人が所有する2016年2月12日に出願された"ENCODING OF MULTIPLE AUDIO SIGNALS"という名称の米国仮特許出願第62/294,946号、および2017年2月2日に出願された"ENCODING OF MULTIPLE AUDIO SIGNALS"という名称の米国非仮特許出願第15/422,988号からの優先権の利益を主張するものであり、前述の出願の各々の内容は、その全体が参照により本明細書に明確に組み込まれる。
M=(L+R)/2、S=(L-R)/2、 式1
M=c(L+R)、S=c(L-R)、 式2
M=(L+gDR)/2、 式3または
M=g1L+g2R 式4
Mfr(b)=(Lfr(b)+Rfr(b))/2
Mfr(b)=c1(b)*Lfr(b)+c2*Rfr(b)、ここでc1(b)およびc2(b)は複素数値である。
いくつかの実装形態では、複素数値c1(b)およびc2(b)はステレオキュー162に基づく。たとえば、IPDが推定されるときのミッドサイドダウンミックスの一実装形態では、c1(b)=(cos(-γ)-i*sin(-γ))/20.5およびc2(b)=(cos(IPD(b)-γ)+i*sin(IPD(b)-γ))/20.5であり、ここでiは-1の平方根を意味する虚数である。
周波数領域ミッドバンドチャネル530は、効率的なサイドバンドチャネル符号化の目的でミッドバンドエンコーダ504およびサイドバンドエンコーダ506に提供されてもよい。この実装形態では、ミッドバンドエンコーダ504は、ミッドバンドチャネル530を符号化の前に任意の他の変換/時間領域にさらに変換してもよい。たとえば、ミッドバンドチャネル530(Mfr(b))は、時間領域に戻る形で逆変換されること、またはコーディングのためにMDCT領域に変換されることがある。
102 符号化された信号
104 第1のデバイス
106 第2のデバイス
108 時間的イコライザ
109 信号適応型「フレキシブル」ステレオコーダ、時間領域もしくは周波数領域またはハイブリッド独立チャネル(たとえば、デュアルモノ)ステレオコーダ
109a 信号適応型「フレキシブル」ステレオコーダ、第1の実装形態
109b 第2の実装形態
109c 第3の実装形態
109d 第4の実装形態
109e 第5の実装形態
110 トランスミッタ
112 入力インターフェース
114 エンコーダ
116 最終シフト値
118 デコーダ
120 ネットワーク
124 時間的バランサ
125 周波数領域ステレオデコーダ
126 第1の出力信号
128 第2の出力信号
130 第1のオーディオ信号、オーディオ信号、信号
132 第2のオーディオ信号、オーディオ信号、信号
142 第1のラウドスピーカー
144 第2のラウドスピーカー
146 第1のマイクロフォン、マイクロフォン
148 第2のマイクロフォン、マイクロフォン
152 音源
153 メモリ
160 利得パラメータ、相対利得パラメータ
162 ステレオキュー、非因果的シフト値
164 サイドバンドビットストリーム
166 ミッドバンドビットストリーム
168 時間領域ダウンミックスパラメータ
190 「基準」チャネル
190 基準チャネル、時間領域信号
191 分析データ
192 調整済みターゲットチャネル、時間領域信号
202 信号プリプロセッサ
204 シフト推定器
206 フレーム間シフト変動分析器
208 基準チャネル指定器
210 ターゲットチャネル調整器
228 オーディオ信号
230 第1のリサンプリングされたチャネル
232 第2のリサンプリングされたチャネル
242 ターゲットチャネル
262 第1のシフト値
264 基準チャネルインジケータ
266 ターゲットチャネルインジケータ
302 変換
304 変換
306 ステレオキュー推定器
308 サイドバンドチャネル生成器、サイドバンド生成器
310 サイドバンドエンコーダ
312 ミッドバンドチャネル生成器
314 変換
316 ミッドバンドエンコーダ
330 周波数領域基準チャネル(Lfr(b))
332 (修正された)周波数領域調整済みターゲットチャネル(Rfr(b))、調整済みターゲットチャネル
334 周波数領域サイドバンドチャネル(Sfr(b))
336 時間領域ミッドバンドチャネル(m(t))
338 周波数領域ミッドバンドチャネル(Mfr(b))
404 変換
406 サイドバンドエンコーダ
430 周波数領域ミッドバンドビットストリーム
502 ミッドバンドチャネル生成器
504 ミッドバンドエンコーダ
506 サイドバンドエンコーダ
530 周波数領域ミッドバンドチャネルMfr(b)、ミッドバンドチャネル
532 第2のリサンプリングされたチャネル
602 サイドバンドエンコーダ
702 ミッドバンドエンコーダ
802 デマルチプレクサ(DeMUX)、deMUX
804 デエンファシス回路
806 リサンプラ
808 デエンファシス回路
810 リサンプラ
812 チルトバランサ
830 リサンプリング係数推定器
834 デエンファシス回路
836 リサンプラ
838 デエンファシス回路
840 リサンプラ
842 チルトバランサ
860 第1のサンプルレート
862 第1の係数
864 デエンファシス処理された信号
866 リサンプリングされたチャネル
868 デエンファシス処理された信号
870 リサンプリングされたチャネル
880 第2のサンプルレート
882 第2の係数
884 デエンファシス処理された信号
886 リサンプリングされたチャネル
888 デエンファシス処理された信号
890 リサンプリングされたチャネル
906 信号比較器
910 補間器
911 シフトリファイナ
912 シフト変化分析器
913 絶対シフト生成器
1000 方法
1102 デマルチプレクサ(DEMUX)
1104 ミッドバンドデコーダ
1106 サイドバンドデコーダ
1108 変換
1110 アップミキサ
1112 ステレオキュープロセッサ
1114 逆変換
1116 逆変換
1120 時間領域アップミキサ
1150 ミッドバンドチャネル(mCODED(t))
1152 周波数領域ミッドバンドチャネル(MCODED(b))
1154 サイドバンドチャネル(SCODED(b))
1156 第1のアップミックス信号(Lfr)、アップミックス信号
1158 第2のアップミックス信号(Rfr)、アップミックス信号
1160 信号
1162 信号
1164 第1の時間領域信号l(t)、時間領域信号
1166 第2の時間領域信号r(t)、時間領域信号
1200 デバイス
1202 デジタルアナログ変換器(DAC)
1204 アナログデジタル変換器(ADC)
1206 プロセッサ
1208 メディア(スピーチおよび音楽)コーダデコーダ(コーデック)、メディアコーデック
1210 プロセッサ
1212 エコーキャンセラ
1222 システムインパッケージまたはシステムオンチップデバイス
1226 ディスプレイコントローラ
1228 ディスプレイ
1230 入力デバイス
1234 コーデック
1242 アンテナ
1244 電源
1246 マイクロフォン
1248 スピーカー
1260 命令
1300 基地局
1306 プロセッサ
1308 オーディオコーデック
1310 トランスコーダ
1314 データストリーム
1316 トランスコーディングされたデータストリーム
1332 メモリ
1336 エンコーダ
1338 デコーダ
1342 第1のアンテナ
1344 第2のアンテナ
1352 第1のトランシーバ、トランシーバ
1354 第2のトランシーバ、トランシーバ
1360 ネットワーク接続
1362 復調器
1364 レシーバデータプロセッサ
1370 メディアゲートウェイ
1382 送信データプロセッサ
1384 送信多入力多出力(MIMO)プロセッサ
Claims (49)
- エンコーダであって、
基準チャネルとターゲットチャネルとの間の時間的不一致の量を示す不一致値を決定することと、
調整済みターゲットチャネルを生成するために、少なくとも前記不一致値およびコーディングモードに基づいて、前記ターゲットチャネルに対して第1の時間的シフト動作を実行すべきかどうかを判断することと、
周波数領域基準チャネルを生成するために、前記基準チャネルに対して第1の変換演算を実行することと、
周波数領域調整済みターゲットチャネルを生成するために、前記調整済みターゲットチャネルに対して第2の変換演算を実行することと、
前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、1つまたは複数のステレオキューを推定することと
を行うように構成されるエンコーダと、
前記1つまたは複数のステレオキューを送信するように構成されるトランスミッタと
を含む、デバイス。 - 前記不一致値は0であり、前記調整済みターゲットチャネルおよび前記ターゲットチャネルは同じである、請求項1に記載のデバイス。
- 前記エンコーダは、変換領域における前記基準チャネルと前記調整済みターゲットチャネルとの間の第2の不一致値を決定するようにさらに構成される、請求項1に記載のデバイス。
- 前記エンコーダは、修正された周波数領域調整済みターゲットチャネルを生成するために、前記第1の時間的シフト動作および前記第2の不一致値に基づいて前記変換領域において前記周波数領域調整済みターゲットチャネルに対して第2の時間的シフト動作を実行すべきかどうかを判断するようにさらに構成される、請求項3に記載のデバイス。
- 前記第2の不一致値は0であり、前記周波数領域調整済みターゲットチャネルおよび前記修正された周波数領域調整済みターゲットチャネルは同じである、請求項4に記載のデバイス。
- 前記エンコーダは、前記基準チャネルおよび前記調整済みターゲットチャネルに基づいて、時間領域ミッドバンドチャネルを生成するようにさらに構成される、請求項1に記載のデバイス。
- 前記エンコーダは、ミッドバンドビットストリームを生成するために前記時間領域ミッドバンドチャネルを符号化するようにさらに構成され、前記トランスミッタは、レシーバに前記ミッドバンドビットストリームを送信するようにさらに構成される、請求項6に記載のデバイス。
- 前記エンコーダは、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
周波数領域ミッドバンドチャネルを生成するために、前記時間領域ミッドバンドチャネルに対して第3の変換演算を実行することと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと
を行うようにさらに構成され、
前記トランスミッタは、レシーバに前記サイドバンドビットストリームを送信するようにさらに構成される、
請求項6に記載のデバイス。 - 前記エンコーダは、前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて周波数領域ミッドバンドチャネルを生成するようにさらに構成される、請求項1に記載のデバイス。
- 前記エンコーダは、ミッドバンドビットストリームを生成するために前記周波数領域ミッドバンドチャネルを符号化するようにさらに構成され、前記トランスミッタは、レシーバに前記ミッドバンドビットストリームを送信するようにさらに構成される、請求項9に記載のデバイス。
- 前記エンコーダは、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
前記サイドバンドチャネル、前記ミッドバンドビットストリーム、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと
を行うようにさらに構成され、
前記トランスミッタは、前記レシーバに前記サイドバンドビットストリームを送信するようにさらに構成される、
請求項10に記載のデバイス。 - 前記エンコーダは、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと
を行うようにさらに構成され、
前記トランスミッタは、レシーバに前記サイドバンドビットストリームを送信するようにさらに構成される、
請求項9に記載のデバイス。 - 前記エンコーダは、
前記基準チャネルをダウンサンプリングすることによって第1のダウンサンプリングされたチャネルを生成することと、
前記ターゲットチャネルをダウンサンプリングすることによって第2のダウンサンプリングされたチャネルを生成することと、
前記第1のダウンサンプリングされたチャネルと前記第2のダウンサンプリングされたチャネルに適用される複数の不一致値とに基づいて、比較値を判断することと
を行うようにさらに構成され、
前記不一致値は前記比較値に基づく、
請求項1に記載のデバイス。 - 前記不一致値は、第1のマイクロフォンを介した前記基準チャネルの第1のフレームの受信と第2のマイクロフォンを介した前記ターゲットチャネルの第2のフレームの受信との間の時間遅延の量に対応する、請求項1に記載のデバイス。
- 前記ステレオキューは、左チャネルおよび右チャネルに関連する空間特性のレンダリングを可能にする1つまたは複数のパラメータを含む、請求項1に記載のデバイス。
- 前記ステレオキューは、1つもしくは複数のチャネル間強度パラメータ、チャネル間強度差(IID)パラメータ、チャネル間位相パラメータ、チャネル間位相差(IPD)パラメータ、非因果的シフトパラメータ、スペクトル傾斜パラメータ、チャネル間有声化パラメータ、チャネル間ピッチパラメータ、チャネル間利得パラメータ、またはそれらの組合せを含む、請求項1に記載のデバイス。
- 前記エンコーダはモバイルデバイスに組み込まれる、請求項1に記載のデバイス。
- 前記エンコーダは基地局に組み込まれる、請求項1に記載のデバイス。
- 通信の方法であって、
第1のデバイスにおいて、基準チャネルとターゲットチャネルとの間の時間的不一致の量を示す不一致値を決定するステップと、
調整済みターゲットチャネルを生成するために、少なくとも前記不一致値およびコーディングモードに基づいて、前記ターゲットチャネルに対して第1の時間的シフト動作を実行すべきかどうかを判断するステップと、
周波数領域基準チャネルを生成するために、前記基準チャネルに対して第1の変換演算を実行するステップと、
周波数領域調整済みターゲットチャネルを生成するために、前記調整済みターゲットチャネルに対して第2の変換演算を実行するステップと、
前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、1つまたは複数のステレオキューを推定するステップと、
前記1つまたは複数のステレオキューを送信するステップと
を含む、方法。 - 前記不一致値は0であり、前記調整済みターゲットチャネルおよび前記ターゲットチャネルは同じである、請求項19に記載の方法。
- 変換領域における前記基準チャネルと前記調整済みターゲットチャネルとの間の第2の不一致値を決定するステップをさらに含む、請求項19に記載の方法。
- 修正された周波数領域調整済みターゲットチャネルを生成するために、前記第1の時間的シフト動作および前記第2の不一致値に基づいて前記変換領域において前記周波数領域調整済みターゲットチャネルに対して第2の時間的シフト動作を実行すべきかどうかを判断するステップをさらに含む、請求項21に記載の方法。
- 前記第2の不一致値は0であり、前記周波数領域調整済みターゲットチャネルおよび前記修正された周波数領域調整済みターゲットチャネルは同じである、請求項22に記載の方法。
- 前記基準チャネルおよび前記調整済みターゲットチャネルに基づいて、時間領域ミッドバンドチャネルを生成するステップをさらに含む、請求項19に記載の方法。
- ミッドバンドビットストリームを生成するために前記時間領域ミッドバンドチャネルを符号化するステップと、
第2のデバイスに前記ミッドバンドビットストリームを送信するステップと
をさらに含む、請求項24に記載の方法。 - 前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成するステップと、
周波数領域ミッドバンドチャネルを生成するために、前記時間領域ミッドバンドチャネルに対して第3の変換演算を実行するステップと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成するステップと、
第2のデバイスに前記サイドバンドビットストリームを送信するステップと
をさらに含む、請求項24に記載の方法。 - 前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、周波数領域ミッドバンドチャネルを生成するステップをさらに含む、請求項19に記載の方法。
- ミッドバンドビットストリームを生成するために前記周波数領域ミッドバンドチャネルを符号化するステップと、
第2のデバイスに前記ミッドバンドビットストリームを送信するステップと
をさらに含む、請求項27に記載の方法。 - 前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成するステップと、
前記サイドバンドチャネル、前記ミッドバンドビットストリーム、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成するステップと、
前記第2のデバイスに前記サイドバンドビットストリームを送信するステップと
をさらに含む、請求項28に記載の方法。 - 前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成するステップと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成するステップと、
第2のデバイスに前記サイドバンドビットストリームを送信するステップと
をさらに含む、請求項27に記載の方法。 - 前記基準チャネルをダウンサンプリングすることによって第1のダウンサンプリングされたチャネルを生成するステップと、
前記ターゲットチャネルをダウンサンプリングすることによって第2のダウンサンプリングされたチャネルを生成するステップと、
前記第1のダウンサンプリングされたチャネルと前記第2のダウンサンプリングされたチャネルに適用される複数の不一致値とに基づいて、比較値を決定するステップと
をさらに含み、
前記不一致値は前記比較値に基づく、
請求項19に記載の方法。 - 前記第1のデバイスはモバイルデバイスを含む、請求項19に記載の方法。
- 前記第1のデバイスは基地局を含む、請求項19に記載の方法。
- プロセッサによって実行されると、前記プロセッサに動作を実行させる命令を記憶するコンピュータ可読記憶デバイスであって、前記動作は、
第1のデバイスにおいて、基準チャネルとターゲットチャネルとの間の時間的不一致の量を示す不一致値を決定することと、
調整済みターゲットチャネルを生成するために、前記不一致値およびコーディングモードに基づいて、前記ターゲットチャネルに対して第1の時間的シフト動作を実行すべきかどうかを判断することと、
周波数領域基準チャネルを生成するために、前記基準チャネルに対して第1の変換演算を実行することと、
周波数領域調整済みターゲットチャネルを生成するために、前記調整済みターゲットチャネルに対して第2の変換演算を実行することと、
前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、1つまたは複数のステレオキューを推定することと、
前記1つまたは複数のステレオキューの送信を開始することと
を含む、コンピュータ可読記憶デバイス。 - 前記不一致値は0であり、前記調整済みターゲットチャネルおよび前記ターゲットチャネルは同じである、請求項34に記載のコンピュータ可読記憶デバイス。
- 変換領域における前記基準チャネルと前記調整済みターゲットチャネルとの間の第2の不一致値を決定することをさらに含む、請求項34に記載のコンピュータ可読記憶デバイス。
- 修正された周波数領域調整済みターゲットチャネルを生成するために、前記第1の時間的シフト動作および前記第2の不一致値に基づいて前記変換領域において前記周波数領域調整済みターゲットチャネルに対して第2の時間的シフト動作を実行すべきかどうかを判断することをさらに含む、請求項36に記載のコンピュータ可読記憶デバイス。
- 前記第2の不一致値は0であり、前記周波数領域調整済みターゲットチャネルおよび前記修正された周波数領域調整済みターゲットチャネルは同じである、請求項37に記載のコンピュータ可読記憶デバイス。
- 前記動作は、前記基準チャネルおよび前記調整済みターゲットチャネルに基づいて、時間領域ミッドバンドチャネルを生成することをさらに含む、請求項34に記載のコンピュータ可読記憶デバイス。
- 前記動作は、
ミッドバンドビットストリームを生成するために前記時間領域ミッドバンドチャネルを符号化することと、
第2のデバイスへの前記ミッドバンドビットストリームの送信を開始することと
をさらに含む、請求項39に記載のコンピュータ可読記憶デバイス。 - 前記動作は、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
周波数領域ミッドバンドチャネルを生成するために、前記時間領域ミッドバンドチャネルに対して第3の変換演算を実行することと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと、
第2のデバイスへの前記サイドバンドビットストリームの送信を開始することと
をさらに含む、請求項39に記載のコンピュータ可読記憶デバイス。 - 前記動作は、前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、周波数領域ミッドバンドチャネルを生成することをさらに含む、請求項34に記載のコンピュータ可読記憶デバイス。
- 前記動作は、
ミッドバンドビットストリームを生成するために前記周波数領域ミッドバンドチャネルを符号化することと、
第2のデバイスへの前記ミッドバンドビットストリームの送信を開始することと
をさらに含む、請求項42に記載のコンピュータ可読記憶デバイス。 - 前記動作は、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
前記サイドバンドチャネル、前記ミッドバンドビットストリーム、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと、
前記第2のデバイスへの前記サイドバンドビットストリームの送信を開始することと
をさらに含む、請求項43に記載のコンピュータ可読記憶デバイス。 - 前記動作は、
前記周波数領域基準チャネル、前記周波数領域調整済みターゲットチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドチャネルを生成することと、
前記サイドバンドチャネル、前記周波数領域ミッドバンドチャネル、および前記1つまたは複数のステレオキューに基づいてサイドバンドビットストリームを生成することと、
第2のデバイスへの前記サイドバンドビットストリームの送信を開始することと
をさらに含む、請求項42に記載のコンピュータ可読記憶デバイス。 - 基準チャネルとターゲットチャネルとの間の時間的不一致の量を示す不一致値を決定するための手段と、
調整済みターゲットチャネルを生成するために、前記不一致値およびコーディングモードに基づいて、前記ターゲットチャネルに対して第1の時間的シフト動作を実行すべきかどうかを判断するための手段と、
周波数領域基準チャネルを生成するために、前記基準チャネルに対して第1の変換演算を実行するための手段と、
周波数領域調整済みターゲットチャネルを生成するために、前記調整済みターゲットチャネルに対して第2の変換演算を実行するための手段と、
前記周波数領域基準チャネルおよび前記周波数領域調整済みターゲットチャネルに基づいて、1つまたは複数のステレオキューを推定するための手段と、
前記1つまたは複数のステレオキューを送信するための手段と
を含む、装置。 - 前記不一致値は0であり、前記調整済みターゲットチャネルおよび前記ターゲットチャネルは同じである、請求項46に記載の装置。
- 前記不一致値を前記決定するための手段、前記第1の時間的シフト動作を実行すべきかどうかを前記判断するための手段、前記第1の変換演算を前記実行するための手段、前記第2の変換演算を前記実行するための手段、前記推定するための手段、および前記送信するための手段はモバイルデバイスに組み込まれる、請求項46に記載の装置。
- 前記不一致値を前記決定するための手段、前記第1の時間的シフト動作を実行すべきかどうかを前記判断するための手段、前記第1の変換演算を前記実行するための手段、前記第2の変換演算を前記実行するための手段、前記推定するための手段、および前記送信するための手段は基地局に組み込まれる、請求項46に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662294946P | 2016-02-12 | 2016-02-12 | |
US62/294,946 | 2016-02-12 | ||
US15/422,988 US9978381B2 (en) | 2016-02-12 | 2017-02-02 | Encoding of multiple audio signals |
US15/422,988 | 2017-02-02 | ||
PCT/US2017/016418 WO2017139190A1 (en) | 2016-02-12 | 2017-02-03 | Encoding of multiple audio signals |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019505017A true JP2019505017A (ja) | 2019-02-21 |
JP2019505017A5 JP2019505017A5 (ja) | 2020-09-03 |
JP6856655B2 JP6856655B2 (ja) | 2021-04-07 |
Family
ID=59561681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541416A Active JP6856655B2 (ja) | 2016-02-12 | 2017-02-03 | 複数のオーディオ信号の符号化 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9978381B2 (ja) |
EP (1) | EP3414760B1 (ja) |
JP (1) | JP6856655B2 (ja) |
KR (1) | KR102230623B1 (ja) |
CN (1) | CN108701464B (ja) |
BR (1) | BR112018016247A2 (ja) |
CA (1) | CA3011741C (ja) |
ES (1) | ES2821676T3 (ja) |
TW (1) | TWI651716B (ja) |
WO (1) | WO2017139190A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020531912A (ja) * | 2017-08-23 | 2020-11-05 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ステレオ信号符号化の間に信号を再構成する方法及び機器 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10074373B2 (en) * | 2015-12-21 | 2018-09-11 | Qualcomm Incorporated | Channel adjustment for inter-frame temporal shift variations |
CN107731238B (zh) | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
US10224042B2 (en) * | 2016-10-31 | 2019-03-05 | Qualcomm Incorporated | Encoding of multiple audio signals |
CN108269577B (zh) | 2016-12-30 | 2019-10-22 | 华为技术有限公司 | 立体声编码方法及立体声编码器 |
CN109427338B (zh) * | 2017-08-23 | 2021-03-30 | 华为技术有限公司 | 立体声信号的编码方法和编码装置 |
US10891960B2 (en) * | 2017-09-11 | 2021-01-12 | Qualcomm Incorproated | Temporal offset estimation |
US10854209B2 (en) * | 2017-10-03 | 2020-12-01 | Qualcomm Incorporated | Multi-stream audio coding |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
WO2019091573A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
CN109600700B (zh) * | 2018-11-16 | 2020-11-17 | 珠海市杰理科技股份有限公司 | 音频数据处理方法、装置、计算机设备和存储介质 |
US20220406322A1 (en) * | 2021-06-16 | 2022-12-22 | Soundpays Inc. | Method and system for encoding and decoding data in audio |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE519981C2 (sv) * | 2000-09-15 | 2003-05-06 | Ericsson Telefon Ab L M | Kodning och avkodning av signaler från flera kanaler |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
US20070092086A1 (en) * | 2005-10-24 | 2007-04-26 | Pang Hee S | Removing time delays in signal paths |
KR101434198B1 (ko) * | 2006-11-17 | 2014-08-26 | 삼성전자주식회사 | 신호 복호화 방법 |
GB2453117B (en) * | 2007-09-25 | 2012-05-23 | Motorola Mobility Inc | Apparatus and method for encoding a multi channel audio signal |
BRPI0908630B1 (pt) * | 2008-05-23 | 2020-09-15 | Koninklijke Philips N.V. | Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador |
US8355921B2 (en) * | 2008-06-13 | 2013-01-15 | Nokia Corporation | Method, apparatus and computer program product for providing improved audio processing |
US8311810B2 (en) * | 2008-07-29 | 2012-11-13 | Panasonic Corporation | Reduced delay spatial coding and decoding apparatus and teleconferencing system |
EP2313886B1 (en) * | 2008-08-11 | 2019-02-27 | Nokia Technologies Oy | Multichannel audio coder and decoder |
US8219408B2 (en) * | 2008-12-29 | 2012-07-10 | Motorola Mobility, Inc. | Audio signal decoder and method for producing a scaled reconstructed audio signal |
WO2010084756A1 (ja) * | 2009-01-22 | 2010-07-29 | パナソニック株式会社 | ステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法 |
WO2010091555A1 (zh) | 2009-02-13 | 2010-08-19 | 华为技术有限公司 | 一种立体声编码方法和装置 |
US9584235B2 (en) | 2009-12-16 | 2017-02-28 | Nokia Technologies Oy | Multi-channel audio processing |
CN103403800B (zh) | 2011-02-02 | 2015-06-24 | 瑞典爱立信有限公司 | 确定多声道音频信号的声道间时间差 |
ES2555136T3 (es) * | 2012-02-17 | 2015-12-29 | Huawei Technologies Co., Ltd. | Codificador paramétrico para codificar una señal de audio multicanal |
WO2014108738A1 (en) | 2013-01-08 | 2014-07-17 | Nokia Corporation | Audio signal multi-channel parameter encoder |
TWI557727B (zh) | 2013-04-05 | 2016-11-11 | 杜比國際公司 | 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品 |
GB2515089A (en) | 2013-06-14 | 2014-12-17 | Nokia Corp | Audio Processing |
JP6272619B2 (ja) * | 2013-11-13 | 2018-01-31 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | オーディオ信号の符号化用エンコーダ、オーディオ伝送システムおよび補正値の判定方法 |
US9685164B2 (en) * | 2014-03-31 | 2017-06-20 | Qualcomm Incorporated | Systems and methods of switching coding technologies at a device |
-
2017
- 2017-02-02 US US15/422,988 patent/US9978381B2/en active Active
- 2017-02-03 CA CA3011741A patent/CA3011741C/en active Active
- 2017-02-03 ES ES17706610T patent/ES2821676T3/es active Active
- 2017-02-03 CN CN201780010398.9A patent/CN108701464B/zh active Active
- 2017-02-03 KR KR1020187023232A patent/KR102230623B1/ko active IP Right Grant
- 2017-02-03 JP JP2018541416A patent/JP6856655B2/ja active Active
- 2017-02-03 BR BR112018016247-7A patent/BR112018016247A2/pt unknown
- 2017-02-03 EP EP17706610.7A patent/EP3414760B1/en active Active
- 2017-02-03 WO PCT/US2017/016418 patent/WO2017139190A1/en active Application Filing
- 2017-02-10 TW TW106104348A patent/TWI651716B/zh active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020531912A (ja) * | 2017-08-23 | 2020-11-05 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ステレオ信号符号化の間に信号を再構成する方法及び機器 |
US11361775B2 (en) | 2017-08-23 | 2022-06-14 | Huawei Technologies Co., Ltd. | Method and apparatus for reconstructing signal during stereo signal encoding |
Also Published As
Publication number | Publication date |
---|---|
US9978381B2 (en) | 2018-05-22 |
JP6856655B2 (ja) | 2021-04-07 |
CN108701464A (zh) | 2018-10-23 |
EP3414760A1 (en) | 2018-12-19 |
KR20180111846A (ko) | 2018-10-11 |
WO2017139190A1 (en) | 2017-08-17 |
TWI651716B (zh) | 2019-02-21 |
CA3011741C (en) | 2023-01-10 |
CN108701464B (zh) | 2023-04-04 |
BR112018016247A2 (pt) | 2018-12-18 |
KR102230623B1 (ko) | 2021-03-19 |
US20170236521A1 (en) | 2017-08-17 |
ES2821676T3 (es) | 2021-04-27 |
CA3011741A1 (en) | 2017-08-17 |
EP3414760B1 (en) | 2020-07-01 |
TW201732779A (zh) | 2017-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6856655B2 (ja) | 複数のオーディオ信号の符号化 | |
US11823689B2 (en) | Stereo parameters for stereo decoding | |
US10891961B2 (en) | Encoding of multiple audio signals | |
US10885922B2 (en) | Time-domain inter-channel prediction | |
KR20180094904A (ko) | 시간 오프셋 추정 | |
TWI778073B (zh) | 用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備 | |
KR102581558B1 (ko) | 채널간 위상차 파라미터 수정 | |
KR102709512B1 (ko) | 다수의 오디오 신호들의 디코딩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200722 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6856655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |