JP2013050540A - オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム - Google Patents
オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム Download PDFInfo
- Publication number
- JP2013050540A JP2013050540A JP2011187470A JP2011187470A JP2013050540A JP 2013050540 A JP2013050540 A JP 2013050540A JP 2011187470 A JP2011187470 A JP 2011187470A JP 2011187470 A JP2011187470 A JP 2011187470A JP 2013050540 A JP2013050540 A JP 2013050540A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- channel
- frequency
- unit
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000005236 sound signal Effects 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000006866 deterioration Effects 0.000 abstract description 47
- 238000013139 quantization Methods 0.000 description 35
- 230000000873 masking effect Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 16
- 230000015556 catabolic process Effects 0.000 description 16
- 238000006731 degradation reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 3
- 101100165357 Staphylococcus aureus resR gene Proteins 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】オーディオ符号化装置1は、オーディオ信号が持つ第1及び第2のチャネルの周波数信号をダウンミックスすることにより、主信号と残差信号とを生成するダウンミックス部12と、第1のチャネルの周波数信号の推定される復号値と第2のチャネルの周波数信号の推定される復号値とを求め、第1のチャネルの周波数信号の推定される復号値と第2のチャネルの周波数信号の推定される復号値に基づいて、残差信号のうち、第1のチャネルと第2のチャネル間で相互に影響する信号成分を求め、信号成分に応じて残差信号に対する重み係数を決定する重み決定部13と、重み係数を用いて残差信号を重み付ける重み付け部14と、重み付けされた残差信号を符号化する残差信号符号化部16を有する。
【選択図】図1
Description
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
このオーディオ符号化装置は、複数のチャネルの信号をダウンミックスする際に算出される空間情報及び主信号に基づいて、周波数帯域ごとに、残差信号に含まれる、複数のチャネル間で相互に影響する成分、例えば、漏れ込み信号を表す成分を検出する。そしてこのオーディオ符号化装置は、残差信号がチャネル間相互に影響する成分を含む周波数帯域の残差信号に対して割り当てる符号量を多くし、一方、残差信号がその成分を含まない周波数帯域の残差信号に対して割り当てる符号量を少なくする。これにより、このオーディオ符号化装置は、信号の漏れ込み等による再生音質の劣化を抑制しつつ、残差信号の符号量を低下させる。
本実施形態では、時間周波数変換部11は、次式のQuadrature Mirror Filter(QMF)フィルタバンクを用いて、各チャネルの信号を周波数信号に変換する。
なお、時間周波数変換部11は、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いて、各チャネルの信号を、それぞれ、周波数信号に変換してもよい。
劣化度算出部21は、各周波数帯域の劣化度NMR(k)を、漏れ込み重み決定部24及び量子化誤差重み決定部25へ出力する。
符号化されたオーディオ信号を再生したオーディオ信号において、一方のチャネルに他方のチャネルからの漏れ込みが生じると、それら二つのチャネルの両方に同じ音が含まれることになる。そして漏れ込み信号の量が多いほど、それら二つのチャネルの音は類似する。したがって、再生されたオーディオ信号の二つのチャネル間の類似度は、漏れ込み信号の量が多いほど、元のオーディオ信号の二つのチャネル間の類似度よりも高くなる。
さらに、漏れ込み量推定部22は、(2)式において周波数信号L(k,n)及びR(k,n)の代わりに周波数信号L'(k,n)及びR'(k,n)を入力することにより、復号された左チャネルと右チャネル間の類似度ICC'(k)を算出できる。
図3(a)は、周波数帯域ごとの漏れ込み信号の推定量dICC(k)と閾値ThdICCの関係の一例を示す。図3(a)において、横軸は周波数を表し、縦軸は漏れ込み信号の推定値の大きさを表す。そして棒グラフ301〜304は、それぞれ、周波数帯域k1〜k4における漏れ込み信号の推定量dICC(k)を表す。この例では、周波数帯域k1及びk3において、推定量dICC(k)が閾値ThdICCよりも大きいので、周波数帯域k1及びk3については、残差信号res(k,n)に漏れ込み信号が含まれ、一方、周波数帯域k2及びk4については、残差信号res(k,n)に漏れ込み信号が含まれない。したがって、周波数帯域k1及びk3には、漏れ込み信号を含む残差信号に対する重み係数Wm(k)が設定され、一方、周波数帯域k2及びk4には、漏れ込み信号を含まない残差信号に対する重み係数Wq(k)が設定される。
さらに、漏れ込み重み決定部24は、劣化度NMR(k)が大きくなるほど、重み係数Wm(k)も大きくしてもよい。このために、漏れ込み重み決定部24は、劣化度NMR(k)が大きいほど、重み係数Wm(k)も大きくなるように重み係数Wm(k)を補正してもよい。
漏れ込み重み決定部24は、重み係数Wm(k)を重み合成部26へ出力する。
量子化誤差重み決定部25は、重み係数Wq(k)を重み合成部26へ出力する。
重み合成部26は、合成された重み係数W(k)を重み付け部14へ出力する。
また、漏れ込み量推定部22は、周波数帯域kにおける漏れ込み信号の推定量dICC(k)を算出する(ステップS102)。漏れ込み量推定部22は、その推定量dICC(k)を判定部23へ出力する。
dICC(k)が閾値ThdICCより大きい場合(ステップS103−Yes)、判定部23は、周波数帯域kにおける残差信号が漏れ込み信号を含むと判定する。そして判定部23は、漏れ込み信号の推定量dICC(k)を漏れ込み重み決定部24へ渡す。漏れ込み重み決定部24は、周波数帯域kについて、dICC(k)が大きいほど、漏れ込み信号を含む残差信号に対する重み係数Wm(k)を大きい値に設定する(ステップS104)。ただし、劣化度NMR(k)が0以下であれば、重み係数Wm(k)は0に設定されてもよい。そして漏れ込み重み決定部24は、重み係数Wm(k)を重み合成部26へ出力する。
重み付け部14は、重み付けされた残差信号res(k,n)を、残差信号符号化部16へ出力する。
主信号符号化部15は、主信号を符号化することにより得られた符号化データを多重化部18へ出力する。
残差信号符号化部16は、符号化された残差信号を多重化部18へ出力する。
例えば、周波数帯域kに対する強度差CLD(k)が10.8dBである場合、量子化テーブル900では、インデックス値5に対応する強度差の代表値がCLD(k)に最も近い。そこで、空間情報符号化部17は、CLD(k)に対するインデックス値を5に設定する。
なお、量子化テーブル及び符号化テーブルは、予め、空間情報符号化部17が有するメモリに格納される。
空間情報符号化部17は、生成したPS符号を多重化部18へ出力する。
図10は、符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。この例では、符号化されたオーディオ信号は、MPEG-4 ADTS(Audio Data Transport Stream)形式に従って作成される。
図10に示される符号化データ列1000において、データブロック1010に主信号を符号化することにより生成されたAAC符号が格納される。またADTS形式のFILLエレメントが格納されるブロック1020の一部領域に、主信号を符号化することにより生成されたSBR符号と、符号化された残差信号と、空間情報を符号化することにより生成されたPS符号が格納される。
重み付け部14は、周波数帯域ごとに残差信号に重み係数を乗じることにより、残差信号を重み付ける(ステップS204)。重み付け部14は、重み付けされた残差信号を残差信号符号化部16へ出力する。そして残差信号符号化部16は、重み付けされた残差信号を符号化する(ステップS205)。残差信号符号化部16は、符号化された残差信号を多重化部18へ出力する。
最後に、多重化部18は、符号化された主信号、残差信号及び空間情報を多重化することにより、符号化されたオーディオ信号を生成する(ステップS208)。
多重化部18は、符号化されたオーディオ信号を出力する。そしてオーディオ符号化装置1は、符号化処理を終了する。
なお、オーディオ符号化装置1は、ステップS203〜S205の処理と、ステップS206の処理と、ステップS207の処理の実行順序を入れ替えてもよい。あるいは、オーディオ符号化装置1は、ステップS203〜S205の処理と、ステップS206の処理と、ステップS207の処理を並列に実行してもよい。
図12(a)〜図12(c)において、上側は左チャネルの信号を表し、下側は右チャネルの信号を表す。また横軸は時間を表し、縦軸は周波数を表す。そして輝線は各チャネルの信号強度を表し、輝線の輝度が高いほど、強度が高いことを表す。
一方、図12(c)に示されるように、本実施形態によるオーディオ符号化装置1にて符号化されたステレオ信号を再生した再生信号における右チャネルの信号1231は、オリジナルの右チャネルの信号1211とほぼ等しい。そして時間帯1210においても、右チャネルの信号はほぼ0となっている。そのため、この場合の再生音の品質は、図12(b)に示された信号による再生音の品質よりも良い。このように、オーディオ符号化装置1により符号化されたステレオ信号を復号することにより、オリジナルのステレオ信号を良好に再現できることが分かる。
また他の変形例によれば、符号化の対象となるオーディオ信号は、ステレオ信号に限られない。例えば、符号化の対象となるオーディオ信号は、3ch、3.1ch、5.1chまたは7.1chなど、3個以上のチャネルを持つマルチチャネルオーディオ信号であってもよい。
なお、第2ダウンミックス部32は、空間情報を算出する他の方法、例えば、いわゆる予測モードにより、ダウンミックスされる二つのチャネルの周波数信号についての空間情報を算出してもよい。
重み付け部14は、重み付けされた左チャネルの残差信号及び右チャネルの残差信号を残差信号符号化部16へ出力する。
なお、オーディオ符号化装置の重み決定部以外の構成要素については、第1の実施形態または第2の実施形態の説明を参照されたい。また、重み決定部41のうち、こもり音検出部42、こもり重み決定部43及び重み合成部26以外の構成要素は、第1の実施形態による重み決定部13の対応する構成要素と同一である。そこで以下では、こもり音検出部42、こもり重み決定部43及び重み合成部26について説明する。また以下では、重み決定部41は、ステレオ信号に含まれる左チャネルの信号及び右チャネルの信号から求められた残差信号に対する重み係数を設定するものとして説明する。
符号化されたオーディオ信号を再生したオーディオ信号の音がこもる場合、主信号が減衰しているので、その主信号から再生された各チャネルの周波数信号は、元の周波数信号よりも減衰している。
こもり音検出部42は、こもり音が含まれると判定された周波数帯域及び減衰量Δ(k)をこもり重み決定部43へ通知する。
多重化部105は、符号化動画像データと符号化オーディオデータが多重化されたストリームを通信処理部106へ出力する。
(付記1)
複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換する時間周波数変換部と、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成するダウンミックス部と、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定する重み決定部と、
前記重み係数を用いて前記残差信号を重み付ける重み付け部と、
前記重み付けされた残差信号を符号化する残差信号符号化部と、
前記主信号を符号化する主信号符号化部と、
を有するオーディオ符号化装置。
(付記2)
前記ダウンミックス部は、複数の周波数帯域にわたって前記第1のチャネルの周波数信号と前記第2のチャネルの周波数信号間の類似度を算出し、かつ、前記複数の周波数帯域にわたって前記残差信号を算出し、
前記重み決定部は、前記複数の周波数帯域にわたって前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値間の符号化後類似度を算出し、前記複数の周波数帯域のうち、前記符号化後類似度が前記類似度よりも増加した周波数帯域における前記残差信号が前記信号成分を含むと判定し、前記信号成分を含む周波数帯域における残差信号に対する重み係数を、前記信号成分を含まない周波数帯域における残差信号に対する重み係数よりも大きくする、付記1に記載のオーディオ符号化装置。
(付記3)
前記重み決定部は、前記信号成分を含む周波数帯域における残差信号に対する重み係数を、前記前記符号化後類似度と前記類似度間の差が大きいほど大きくする、付記2に記載のオーディオ符号化装置。
(付記4)
前記重み決定部は、前記複数の周波数帯域のそれぞれにおいて、前記残差信号と、リスナーが可聴できる信号強度の下限値を表すマスキング閾値との差を求め、前記信号成分を含まない周波数帯域における残差信号に対する重み係数を、当該残差信号と当該マスキング閾値との差が大きいほど大きくする、付記2または3に記載のオーディオ符号化装置。
(付記5)
前記重み決定部は、前記複数の周波数帯域のうち、前記残差信号と前記マスキング閾値との差が0以下となる周波数帯域に対する前記重み係数を0に設定する、付記4に記載のオーディオ符号化装置。
(付記6)
前記ダウンミックス部は、複数の周波数帯域にわたって前記残差信号を算出し、
前記重み決定部は、前記複数の周波数帯域のうち、前記第1のチャネルの前記復号値が前記第1のチャネルの周波数信号より大きいか、または前記第2のチャネルの前記復号値が前記第2のチャネルの周波数信号よりも大きい周波数帯域における前記残差信号が前記信号成分を含むと判定し、前記信号成分を含む周波数帯域における残差信号に対する重み係数を、前記信号成分を含まない周波数帯域における残差信号に対する重み係数よりも大きくする、付記1に記載のオーディオ符号化装置。
(付記7)
複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換し、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成し、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、
前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定し、
前記重み係数を用いて前記残差信号を重み付け、
前記重み付けされた残差信号を符号化し、
前記主信号を符号化する、
ことを含むオーディオ符号化方法。
(付記8)
複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換し、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成し、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、
前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定し、
前記重み係数を用いて前記残差信号を重み付け、
前記重み付けされた残差信号を符号化し、
前記主信号を符号化する、
ことをコンピュータに実行させるオーディオ符号化用コンピュータプログラム。
(付記9)
入力された動画像信号を符号化する動画像符号化部と、
入力された複数のチャネルを持つオーディオ信号を符号化するオーディオ符号化部であって、
前記オーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換する時間周波数変換部と、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成するダウンミックス部と、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定する重み決定部と、
前記重み係数を用いて前記残差信号を重み付ける重み付け部と、
前記重み付けされた残差信号を符号化する残差信号符号化部と、
前記主信号を符号化する主信号符号化部と、
前記符号化された主信号と前記符号化された残差信号とを多重化することにより、符号化されたオーディオ信号を生成する多重化部とを有するオーディオ符号化部と、
前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより符号化された映像ストリームを生成する映像ストリーム生成部と、
を有する映像伝送装置。
11 時間周波数変換部
12 ダウンミックス部
13、41 重み決定部
14 重み付け部
15 主信号符号化部
16 残差信号符号化部
17 空間情報符号化部
18 多重化部
21 劣化度算出部
22 漏れ込み量推定部
23 判定部
24 漏れ込み重み決定部
25 量子化誤差重み決定部
26 重み合成部
31 第1ダウンミックス部
32 第2ダウンミックス部
42 こもり音検出部
43 こもり重み決定部
100 映像伝送装置
101 映像取得部
102 音声取得部
103 映像符号化部
104 音声符号化部
105 多重化部(映像ストリーム生成部)
106 通信処理部
107 出力部
Claims (5)
- 複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換する時間周波数変換部と、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成するダウンミックス部と、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定する重み決定部と、
前記重み係数を用いて前記残差信号を重み付ける重み付け部と、
前記重み付けされた残差信号を符号化する残差信号符号化部と、
前記主信号を符号化する主信号符号化部と、
を有するオーディオ符号化装置。 - 前記ダウンミックス部は、複数の周波数帯域にわたって前記第1のチャネルの周波数信号と前記第2のチャネルの周波数信号間の類似度を算出し、かつ、前記複数の周波数帯域にわたって前記残差信号を算出し、
前記重み決定部は、前記複数の周波数帯域にわたって前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値間の符号化後類似度を算出し、前記複数の周波数帯域のうち、前記符号化後類似度が前記類似度よりも増加した周波数帯域における前記残差信号が前記信号成分を含むと判定し、前記信号成分を含む周波数帯域における残差信号に対する重み係数を、前記信号成分を含まない周波数帯域における残差信号に対する重み係数よりも大きくする、請求項1に記載のオーディオ符号化装置。 - 前記重み決定部は、前記信号成分を含む周波数帯域における残差信号に対する重み係数を、前記前記符号化後類似度と前記類似度間の差が大きいほど大きくする、請求項2に記載のオーディオ符号化装置。
- 複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換し、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成し、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、
前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定し、
前記重み係数を用いて前記残差信号を重み付け、
前記重み付けされた残差信号を符号化し、
前記主信号を符号化する、
ことを含むオーディオ符号化方法。 - 複数のチャネルを持つオーディオ信号に含まれる各チャネルの信号を所定の時間長を持つフレーム単位で時間周波数変換することにより、前記各チャネルの信号を、それぞれ周波数信号に変換し、
前記複数のチャネルのうちの第1のチャネルの周波数信号と第2のチャネルの周波数信号をダウンミックスすることにより、前記第1のチャネルと前記第2のチャネルの主要成分を表す主信号と、該主信号と直交する成分である残差信号とを生成し、
前記第1のチャネルの周波数信号の推定される復号値と前記第2のチャネルの周波数信号の推定される復号値とを求め、
前記第1のチャネルの前記復号値と前記第2のチャネルの前記復号値に基づいて、前記残差信号のうち、前記第1のチャネルと前記第2のチャネル間で相互に影響する信号成分を求め、当該信号成分に応じて前記残差信号に対する重み係数を決定し、
前記重み係数を用いて前記残差信号を重み付け、
前記重み付けされた残差信号を符号化し、
前記主信号を符号化する、
ことをコンピュータに実行させるオーディオ符号化用コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011187470A JP5737077B2 (ja) | 2011-08-30 | 2011-08-30 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
US13/546,292 US8831960B2 (en) | 2011-08-30 | 2012-07-11 | Audio encoding device, audio encoding method, and computer-readable recording medium storing audio encoding computer program for encoding audio using a weighted residual signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011187470A JP5737077B2 (ja) | 2011-08-30 | 2011-08-30 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013050540A true JP2013050540A (ja) | 2013-03-14 |
JP5737077B2 JP5737077B2 (ja) | 2015-06-17 |
Family
ID=47744897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011187470A Expired - Fee Related JP5737077B2 (ja) | 2011-08-30 | 2011-08-30 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8831960B2 (ja) |
JP (1) | JP5737077B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050658A (ja) * | 2011-08-31 | 2013-03-14 | Nippon Hoso Kyokai <Nhk> | 多チャネル音響符号化装置およびそのプログラム |
JP2014194633A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置 |
JP2015037239A (ja) * | 2013-08-13 | 2015-02-23 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
JP2016531483A (ja) * | 2013-07-22 | 2016-10-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
TWI703559B (zh) * | 2019-07-08 | 2020-09-01 | 瑞昱半導體股份有限公司 | 音效編碼解碼電路及音頻資料的處理方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8639605B2 (en) * | 2006-04-21 | 2014-01-28 | Thomson Reuters Global Resources | Systems and methods for the identification and messaging of trading parties |
JP5609591B2 (ja) * | 2010-11-30 | 2014-10-22 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
KR101871234B1 (ko) * | 2012-01-02 | 2018-08-02 | 삼성전자주식회사 | 사운드 파노라마 생성 장치 및 방법 |
JP6294487B2 (ja) | 2014-09-30 | 2018-03-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 飛行ミッション処理方法、装置及びシステム |
KR102033603B1 (ko) * | 2014-11-07 | 2019-10-17 | 삼성전자주식회사 | 오디오 신호를 복원하는 방법 및 장치 |
CN108694955B (zh) * | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
CN109257688B (zh) * | 2018-07-23 | 2021-01-22 | 东软集团股份有限公司 | 音频区分方法、装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519306A (ja) * | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号の組のエンコード及びデコード |
US20100080397A1 (en) * | 2008-09-26 | 2010-04-01 | Fujitsu Limted | Audio decoding method and apparatus |
US20100153120A1 (en) * | 2008-12-11 | 2010-06-17 | Fujitsu Limited | Audio decoding apparatus audio decoding method, and recording medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE519981C2 (sv) * | 2000-09-15 | 2003-05-06 | Ericsson Telefon Ab L M | Kodning och avkodning av signaler från flera kanaler |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
US7646875B2 (en) * | 2004-04-05 | 2010-01-12 | Koninklijke Philips Electronics N.V. | Stereo coding and decoding methods and apparatus thereof |
MX2007005262A (es) | 2004-11-04 | 2007-07-09 | Koninkl Philips Electronics Nv | Codificacion y decodificacion de senales de audio de varios canales. |
RU2416129C2 (ru) * | 2005-03-30 | 2011-04-10 | Конинклейке Филипс Электроникс Н.В. | Масштабируемое многоканальное кодирование звука |
JP2007183528A (ja) | 2005-12-06 | 2007-07-19 | Fujitsu Ltd | 符号化装置、符号化方法、および符号化プログラム |
ATE531037T1 (de) * | 2006-02-14 | 2011-11-15 | France Telecom | Vorrichtung für wahrnehmungsgewichtung bei der tonkodierung/-dekodierung |
JP4984983B2 (ja) | 2007-03-09 | 2012-07-25 | 富士通株式会社 | 符号化装置および符号化方法 |
-
2011
- 2011-08-30 JP JP2011187470A patent/JP5737077B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-11 US US13/546,292 patent/US8831960B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519306A (ja) * | 2004-11-04 | 2008-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号の組のエンコード及びデコード |
US20090083040A1 (en) * | 2004-11-04 | 2009-03-26 | Koninklijke Philips Electronics, N.V. | Encoding and decoding a set of signals |
US20100080397A1 (en) * | 2008-09-26 | 2010-04-01 | Fujitsu Limted | Audio decoding method and apparatus |
JP2010078915A (ja) * | 2008-09-26 | 2010-04-08 | Fujitsu Ltd | オーディオ復号方法、装置、及びプログラム |
US20100153120A1 (en) * | 2008-12-11 | 2010-06-17 | Fujitsu Limited | Audio decoding apparatus audio decoding method, and recording medium |
JP2010139671A (ja) * | 2008-12-11 | 2010-06-24 | Fujitsu Ltd | オーディオ復号装置、方法、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050658A (ja) * | 2011-08-31 | 2013-03-14 | Nippon Hoso Kyokai <Nhk> | 多チャネル音響符号化装置およびそのプログラム |
JP2014194633A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置 |
JP2016531483A (ja) * | 2013-07-22 | 2016-10-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
JP2018010312A (ja) * | 2013-07-22 | 2018-01-18 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
JP2019135547A (ja) * | 2013-07-22 | 2019-08-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム |
JP2015037239A (ja) * | 2013-08-13 | 2015-02-23 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
TWI703559B (zh) * | 2019-07-08 | 2020-09-01 | 瑞昱半導體股份有限公司 | 音效編碼解碼電路及音頻資料的處理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130054253A1 (en) | 2013-02-28 |
US8831960B2 (en) | 2014-09-09 |
JP5737077B2 (ja) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5737077B2 (ja) | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム | |
JP7244609B2 (ja) | ビットバジェットに応じて2サブフレームモデルと4サブフレームモデルとの間で選択を行うステレオ音声信号の左チャンネルおよび右チャンネルを符号化するための方法およびシステム | |
JP7161564B2 (ja) | チャネル間時間差を推定する装置及び方法 | |
JP5267362B2 (ja) | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置 | |
JP4934427B2 (ja) | 音声信号復号化装置及び音声信号符号化装置 | |
JP5608660B2 (ja) | エネルギ保存型マルチチャネルオーディオ符号化 | |
JP5277508B2 (ja) | マルチ・チャンネル音響信号をエンコードするための装置および方法 | |
JP5533502B2 (ja) | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム | |
JP5753540B2 (ja) | ステレオ信号符号化装置、ステレオ信号復号装置、ステレオ信号符号化方法及びステレオ信号復号方法 | |
KR102550424B1 (ko) | 채널 간 시간 차를 추정하기 위한 장치, 방법 또는 컴퓨터 프로그램 | |
US10553223B2 (en) | Adaptive channel-reduction processing for encoding a multi-channel audio signal | |
KR101657916B1 (ko) | 멀티채널 다운믹스/업믹스의 경우에 대한 일반화된 공간적 오디오 객체 코딩 파라미터 개념을 위한 디코더 및 방법 | |
WO2010016270A1 (ja) | 量子化装置、符号化装置、量子化方法及び符号化方法 | |
JP5609591B2 (ja) | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム | |
EP4179530B1 (en) | Comfort noise generation for multi-mode spatial audio coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5737077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |