JP2010204533A - オーディオ復号装置及びオーディオ復号方法 - Google Patents

オーディオ復号装置及びオーディオ復号方法 Download PDF

Info

Publication number
JP2010204533A
JP2010204533A JP2009051938A JP2009051938A JP2010204533A JP 2010204533 A JP2010204533 A JP 2010204533A JP 2009051938 A JP2009051938 A JP 2009051938A JP 2009051938 A JP2009051938 A JP 2009051938A JP 2010204533 A JP2010204533 A JP 2010204533A
Authority
JP
Japan
Prior art keywords
frequency
signal
time
channel
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009051938A
Other languages
English (en)
Other versions
JP5163545B2 (ja
Inventor
Masanao Suzuki
政直 鈴木
Miyuki Shirakawa
美由紀 白川
Yoshiteru Tsuchinaga
義照 土永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009051938A priority Critical patent/JP5163545B2/ja
Priority to US12/659,306 priority patent/US8706508B2/en
Publication of JP2010204533A publication Critical patent/JP2010204533A/ja
Application granted granted Critical
Publication of JP5163545B2 publication Critical patent/JP5163545B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】各チャネルのオーディオ信号が異なる長さの窓を用いて符号化されていても、少ない演算量で各チャネルのオーディオ信号をミックスできるオーディオ復号装置を提供する。
【解決手段】オーディオ復号装置１は、複数のチャネルを持つ符号化された第１のオーディオ信号の各チャネルの第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列を算出するスペクトル変換部２３と、全てのチャネルの第１の信号列のうち、同一時刻及び同一周波数帯域の信号を加重加算することにより、少なくとも一つの第２の信号列を合成するダウンミックス部２４と、第２の信号列を第２の周波数スペクトルに変換するスペクトル逆変換部（２６ａ、２６ｂ）と、第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成部（２７ａ、２７ｂ）とを有する。
【選択図】図２

Description

ここに開示される実施形態は、複数のチャネルのオーディオ信号から、元のチャネル数と異なるチャネル数のオーディオ信号を合成するオーディオ復号装置及びオーディオ復号方法に関する。
近年、テレビジョンまたはラジオなどの放送のデジタル化が進展しており、これに伴ってデジタル放送が普及している。例えば、日本では、地上デジタルテレビジョン放送、ＢＳ（放送衛星、Broadcasting Satellite）／ＣＳ（通信衛星、communications satellite）デジタル放送、地上デジタル音声放送などのデジタル放送サービスが提供されている。このようなデジタル放送では、オーディオ信号の符号化方式として、例えば、マルチチャネルに対応可能なMoving Picture Experts Group phase 2 audio Advanced Audio Coding（MPEG-2 AAC）方式が採用されている。そのため、デジタル放送では、従来のステレオよりも臨場感に優れた5.1チャネル音声を含むコンテンツが多数配信されている。なお、以下では、5.1チャネルを5.1chと表記する。同様に、3.1チャネル及び7.1チャネルを、それぞれ3.1ch、7.1chと表記する。
しかし、デジタル放送を受信して、オーディオ信号を再生するオーディオ復号装置の中には、5.1ch音声の復号及び再生に対応していない装置も多数存在する。そのため、5.1ch音声のようなマルチチャネルオーディオ信号から、ステレオオーディオ信号など、オリジナルのマルチチャネルオーディオ信号よりもチャネル数の少ないオーディオ信号を合成するためのダウンミックス技術が必要とされている。
そのようなダウンミックス技術として、例えば、周波数領域のオーディオ信号に対してダウンミックス処理を行った後、ダウンミックス処理を施された周波数領域のオーディオ信号を時間領域のオーディオ信号に変換する技術が開発されている。
特開平９−２５２２５４号公報 特開２０００−２９４９８号公報 特表２００７−５３１９１３号公報
一方、上述したMPEG-2 AAC方式では、オーディオ信号を符号化するために、修正離散コサイン変換（Modified Discrete Cosine Transform、MDCT）が使用され、そして時間領域のオーディオ信号が周波数スペクトルに変換される。MPEG-2 AAC方式を採用したオーディオ符号化装置は、オーディオ信号に対してMDCT処理を実行する際、MDCTの処理単位となる窓の長さを、そのオーディオ信号の特性に応じて変更する。例えば、オーディオ符号化装置は、定常的な音を含むオーディオ信号に対して、オーディオ信号のサンプル点を2048個含む窓を用いてMDCT処理を実行する。一方、オーディオ符号化装置は、アタック音のように短時間で変動する音を含むオーディオ信号に対しては、オーディオ信号のサンプル点を256個含む窓を用いてMDCT処理を実行する。そのため、そのオーディオ符号化装置により符号化されたオーディオ信号について、チャネルごとに使用された窓の長さが異なることがある。
このような場合、上述した従来のダウンミックス技術を採用したオーディオ復号装置は、各チャネルの周波数領域のオーディオ信号が互いに異なる時間長で算出されているため、そのオーディオ信号に対して、直接ダウンミックス処理を実行することはできない。そのオーディオ復号装置は、ダウンミックス処理を実行する前に、各チャネルの周波数領域のオーディオ信号に対して一旦逆修正離散コサイン変換を実行することにより、時間領域のオーディオ信号に変換する。なお、以下では、逆修正離散コサイン変換をIMDCTと表記する。そして従来のオーディオ復号装置は、全てのチャネルの時間領域のオーディオ信号に対して共通の窓を使用して再度MDCT処理を実行する必要がある。このように、従来のオーディオ復号装置は、ダウンミックス処理を行うために、MDCT処理及びIMDCT処理をそれぞれのチャネルのオーディオ信号に対して行わなければならず、非常に膨大な演算量を必要とする。
そこで、本明細書は、各チャネルのオーディオ信号が異なる長さの窓を用いて符号化されていても、少ない演算量で各チャネルのオーディオ信号をミックスできるオーディオ復号装置及びオーディオ復号方法を提供することを目的とする。
一つの実施形態によれば、オーディオ復号装置が提供される。係るオーディオ復号装置は、第１のチャネル数を持つ符号化された第１のオーディオ信号を受信する信号取得部と、第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化部と、第１のオーディオ信号の各チャネルについて、第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換部と、第１のオーディオ信号の全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス部と、第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の第２の信号列のそれぞれに含まれる、同一周波数帯域の信号からその周波数帯域の周波数スペクトル値を一つ求めることにより、または、第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、第２の信号列を第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換部と、第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成部とを有する。
また他の実施形態によれば、オーディオ復号方法が提供される。係るオーディオ復号方法は、第１のチャネル数を持つ符号化された第１のオーディオ信号を受信し、第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、第１のオーディオ信号の各チャネルについて、第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、第１のオーディオ信号の全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の第２の信号列のそれぞれに含まれる、同一周波数帯域の信号からその周波数帯域の周波数スペクトル値を一つ求めることにより、または、第２の信号列のうち、周波数方向に連続する第２の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、第２の信号列を第２のチャネル数を持つ第２の周波数スペクトルに変換し、第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換することを含む。
さらに他の実施形態によれば、オーディ復号回路が提供される。係るオーディオ復号回路は、第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化回路と、第１のオーディオ信号の各チャネルについて、第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換回路と、第１のオーディオ信号の全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス回路と、第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の第２の信号列のそれぞれに含まれる、同一周波数帯域の信号からその周波数帯域の周波数スペクトル値を一つ求めることにより、または、第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、第２の信号列を第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換回路と、第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成回路とを有する。
さらに他の実施形態によれば、コンピュータに入力されたオーディオ信号を復号させるオーディ復号用コンピュータプログラムが提供される。係るコンピュータプログラムは、第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、第１のオーディオ信号の各チャネルについて、第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、第１のオーディオ信号の全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の第２の信号列のそれぞれに含まれる、同一周波数帯域の信号からその周波数帯域の周波数スペクトル値を一つ求めることにより、または、第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、第２の信号列を第２のチャネル数を持つ第２の周波数スペクトルに変換し、第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換することをコンピュータに実行させる命令を有する。
本明細書に開示されたオーディオ復号装置及びオーディオ復号方法は、各チャネルのオーディオ信号が異なる長さの窓を用いて符号化されていても、少ない演算量で各チャネルのオーディオ信号をミックスできるという効果を奏する。
一つの実施形態に係るオーディオ復号装置の概略構成図である。 ダウンミックス処理を実行するために実現される機能を示す処理部の機能ブロック図である。 （ａ）及び（ｂ）は、それぞれ、LONG窓を用いて計算されたMDCT係数の概念図及びSHORT窓を用いて計算されたMDCT係数の概念図である。（ｃ）は、（ａ）に示されたMDCT係数から得られた時間周波数信号の概念図である。（ｄ）は、（ｂ）に示されたMDCT係数から得られた時間周波数信号の概念図である。 一つの実施形態に係るオーディオ復号装置の処理部上で実行されるコンピュータプログラムにより制御される、オーディオ信号のダウンミックス処理の動作を示すフローチャートである。
以下、図を参照しつつ、一つの実施形態による、オーディオ復号装置について説明する。
このオーディオ復号装置は、5.1chのオーディオ信号に対してダウンミックス処理を実行することにより、2チャネルのステレオオーディオ信号を合成する。その際、このオーディオ復号装置は、5.1chのオーディオ信号に含まれる各チャネルのMDCT係数を、時間解像度と周波数解像度が一致するように分割した後にダウンミックス処理を実行する。そしてこのオーディオ復号装置は、ダウンミックス処理された信号を、所定の時間解像度及び所定の周波数解像度を持つMDCT係数に変換した後、得られたMDCT係数を時間領域のオーディオ信号に変換する。これにより、このオーディオ復号装置は、チャネルごとに異なる長さの窓を使用して符号化された5.1chのオーディオ信号についても、一旦時間領域のオーディオ信号に変換することなくダウンミックス処理を実行する。
図１は、一つの実施形態によるオーディオ復号装置１の概略構成図である。図１に示すように、オーディオ復号装置１は、信号取得部１１と、音声再生部１２と、記憶部１３と、処理部１４とを有する。
信号取得部１１は、5.1chのオーディオ信号を受信する。そのために、信号取得部１１は、例えば、放送電波を受信するアンテナと、アンテナにより受信された信号を増幅する増幅回路とを有する。あるいは、信号取得部１１は、オーディオ復号装置１を通信ネットワーク（図示せず）に接続するための通信インターフェース及びその制御回路を有する。例えば、信号取得部１１は、イーサネット（登録商標）などの通信規格に従った通信ネットワークまたはIntegrated Services Digital Network（総合ディジタル通信網サービス、ISDN）に接続するための通信インターフェース及びその制御回路を有する。
そして信号取得部１１は、処理部１４と接続され、受信したオーディオ信号を処理部１４へ出力する。
音声再生部１２は、処理部１４により合成されたステレオオーディオ信号を、そのステレオオーディオ信号の強度に応じた空気振動に変換することにより、ステレオ音声として出力する。そのために、音声再生部１２は、左チャネル用スピーカと右チャネル用スピーカを有する。
記憶部１３は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部１３は、オーディオ復号装置１で使用されるコンピュータプログラム及び各種のデータを記憶する。また記憶部１３は、信号取得部１１を介して受信したオーディオ信号、あるいは処理部１４により合成されたオーディオ信号を記憶してもよい。さらに記憶部１３は、処理部１４がダウンミックス処理のために使用する中間段階の信号を一時的に記憶するバッファメモリとしても機能する。
処理部１４は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部１４は、信号取得部１１を介して受信した5.1chのオーディオ信号の周波数スペクトルに対して時間領域のオーディオ信号に変換せずに、ダウンミックス処理を実行する。そして処理部１４は、ダウンミックスされた周波数スペクトルから時間領域のオーディオ信号を再構成する。
まず、オーディオ復号装置１が受信する5.1chのオーディオ信号について簡単に説明する。各チャネルのオーディオ信号は、オーディオ符号化装置（図示せず）により、MDCT処理が行われることにより、周波数スペクトルを表すMDCT係数の組に変換されている。MDCT処理は、以下の式に従って行われる。
Figure 2010204533
 ここで、x(t)は、入力されるオーディオ信号のサンプル点t(t=0,1,2,...,N-1)の信号値である。またw(t)は、窓関数である。その窓関数として、例えば、カイザー・ベッセル派生窓が使用される。そしてy(k)はMDCT係数である。Nは窓に含まれるサンプルの総数を表す。またnは位相項を表し、n=N/2である。（１）式に従って求められるMDCT係数の組は、入力されたサンプルの総数Nの半分の個数のMDCT係数を含む。
そしてオーディオ符号化装置は、窓の長さの前半部分が、１時刻前にMDCT処理を行ったときに用いられた窓の後半部分と重複するように、時間軸に沿って窓の位置をずらしながら、入力されたオーディオ信号に対して順次MDCT処理を実行する。
各チャネルのオーディオ信号に対応するMDCT係数の組は、量子化され、その後、例えば、ハフマン符号のようなエントロピー符号を用いて符号化される。この量子化処理及び符号化処理は、複数回繰り返される。そして各チャネルの量子化され、かつ符号化されたMDCT係数の組が一つのデータストリームにマップされ、そして配信される。
ここで、オーディオ符号化装置は、各チャネルのオーディオ信号に対してMDCT処理を行う際、各チャネルのオーディオ信号の特性に応じて、MDCTの処理単位となる窓の長さを決定する。例えば、MPEG-2 AAC規格のオーディオ符号化装置では、入力信号の特徴に応じて2048サンプルの窓長と256サンプルの窓長のいずれかを選択できる。例えば、定常的な音に対しては2048サンプルの窓長を選択し、打撃音などのアタック音に対しては256サンプルの窓長を選択することができる。そのため、各チャネルのMDCT係数は互いに異なる時間解像度を持つ可能性がある。
また、MDCT処理に用いられた窓の長さに応じて、一つのMDCT係数の組に含まれるMDCT係数の個数が変動する。例えば、サンプルが256個含まれる窓を用いて求められたMDCT係数の組は、0Hz〜24kHzの周波数範囲を128等分した周波数帯域のそれぞれに割り当てられた、128個のMDCT係数を含む。一方、サンプルが2048個含まれる窓を用いて求められたMDCT係数の組は、0Hz〜24kHzの周波数範囲を1024等分した周波数帯域のそれぞれに割り当てられた、1024個のMDCT係数を含む。そのため、各チャネルのMDCT係数の周波数解像度は、互いに異なる可能性がある。
上述したように、オーディオ復号装置１が受信した5.1chのオーディオ信号に含まれる各チャネルのMDCT係数は、互いに異なる時間解像度及び周波数解像度を持つ可能性がある。そこでオーディオ復号装置１の処理部１４は、受信した5.1chのオーディオ信号に対してダウンミックス処理を実行するために、各チャネルのMDCT係数が持つ時間解像度及び周波数解像度を一致させる必要がある。
図２は、ダウンミックス処理を実行するために実現される機能を示す処理部１４の機能ブロック図である。図２に示されるように、処理部１４は、デマルチプレクサ２１と、逆量子化部２２ａ〜２２ｆと、スペクトル変換部２３と、ダウンミックス部２４と、過渡性検出部２５ａ、２５ｂと、スペクトル逆変換部２６ａ、２６ｂと、音声再構成部２７ａ、２７ｂとを有する。処理部１４が有するこれらの各部は、処理部１４が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部１４が有するこれらの各部は、ファームウェアとしてオーディオ復号装置１に実装されてもよい。さらにまた、処理部１４が有するこれらの各部は、それぞれ別個の演算回路としてオーディオ復号装置１に実装されてもよい。
デマルチプレクサ２１は、一つのデータストリームとして受信したオーディオ信号から、各チャネルの量子化され、符号化されたMDCT係数の組を取り出す。なお、5.1chのオーディオ信号に含まれる各チャネルを以下に示す。
・リスナーに対して、左前方から出力される音声に対応する左前方チャネル
・リスナーに対して、右前方から出力される音声に対応する右前方チャネル
・リスナーに対して、正面から出力される音声に対応する中央チャネル
・リスナーに対して、左後方から出力される音声に対応する左後方チャネル
・リスナーに対して、右後方から出力される音声に対応する右後方チャネル
・低域音に対応する低域強調チャネル
デマルチプレクサ２１は、各チャネルの量子化され、符号化されたMDCT係数の組を、各チャネルに対応する逆量子化部２２ａ〜２２ｆへそれぞれ渡す。
なお、デマルチプレクサ２１は、オーディオ復号装置で使用される様々なデマルチプレクサの何れかとすることができるので、デマルチプレクサ２１の構成の詳細な説明は省略する。
逆量子化部２２ａ〜２２ｆは、それぞれ、量子化され、符号化された各チャネルのオーディオ信号を復号し、かつ逆量子化することにより、MDCT係数の組を算出する。具体的には、逆量子化部２２ａは、左前方チャネルのMDCT係数yFL(k)を算出する。また逆量子化部２２ｂは、右前方チャネルのMDCT係数yFR(k)を算出する。さらに逆量子化部２２ｃは、中央チャネルのMDCT係数yC(k)を算出する。さらに逆量子化部２２ｄは、左後方チャネルのMDCT係数ySL(k)を算出する。さらに逆量子化部２２ｅは、右後方チャネルのMDCT係数ySR(k)を算出する。そして逆量子化部２２ｆは、低域強調チャネルのMDCT係数yLFE(k)を算出する。
例えば、逆量子化部２２ａ〜２２ｆは、受信したオーディオ信号に対して適用された符号化方法に応じた復号化処理を実行することにより、量子化値を得る。そして逆量子化部２２ａ〜２２ｆは、得られた量子化値に所定の値を乗じる。逆量子化部２２ａ〜２２ｆは、このような復号処理及び逆量子化処理を複数回繰り返すことにより、MDCT係数の組を得る。
逆量子化部２２ａ〜２２ｆは、それぞれ、得られた各チャネルのMDCT係数の組をスペクトル変換部２３に渡す。
スペクトル変換部２３は、各チャネルのMDCT係数の組が同一の周波数解像度及び時間解像度を持つように、各チャネルのMDCT係数を周波数軸方向または時間軸方向に関して分割する。なお、本明細書では、便宜上、MDCT係数を周波数軸方向または時間軸方向に関して分割することにより得られた、各チャネルについて同一の周波数解像度及び時間解像度を持つ信号を時間周波数信号と呼ぶ。
上述したように、各チャネルのMDCT係数の組は、異なる長さを持つ窓を用いて求められている可能性がある。そこで、スペクトル変換部２３は、オーディオ信号のサンプルを多数含む方の窓に対応する期間を1フレームとして、フレーム単位で各チャネルの時間周波数信号を算出する。なお、本明細書では、オーディオ信号のサンプルを多数含む方の窓をLONG窓と呼ぶ。一方、LONG窓に含まれるサンプルの数よりも少ないサンプルを含む窓をSHORT窓と呼ぶ。
スペクトル変換部２３は、各チャネルの時間周波数信号がSHORT窓に対応する時間解像度を持つように、LONG窓を用いて算出された各チャネルのMDCT係数を時間軸方向に分割する。例えば、あるフレームにおいて、左前方チャネルのMDCT係数yFL(k)が、サンプルが2048個含まれるLONG窓を用いて求められ、他のチャネルのMDCT係数が、サンプルが256個含まれるSHORT窓を用いて求めらている場合を仮定する。この場合、左前方チャネルのMDCT係数yFL(k)の単位時間は、他のチャネルのMDCT係数の単位時間よりも8倍長い。そこで、スペクトル変換部２３は、そのフレームの左前方チャネルの各周波数帯域k=0,1,...,1027におけるMDCT係数yFL(k)をそれぞれ時間軸方向に8分割する。スペクトル変換部２３は、この分割により得られた各時刻t=0,1,...,7における時間周波数信号SFL(t,k)の値を元のMDCT係数yFL(k)の値と同じにしてもよい。あるいは、スペクトル変換部２３は、各時間周波数信号SFL(t,k)の値を、そのフレームの対応する周波数帯域のMDCT係数と、前後のフレームの対応する周波数帯域のMDCT係数の両方または何れか一方との線形補間により求めてもよい。線形補間により時間周波数信号の値を算出するために、処理部１４は、逆量子化部２２ａ〜２２ｆにより得られた数フレーム分の各チャネルのMDCT係数の組を記憶部１３に一時的にバッファしておくとよい。
またスペクトル変換部２３は、各チャネルの時間周波数信号が、最も周波数方向の信号値の個数が多いMDCT係数の組と同一個数の信号値を持つように、周波数方向の信号値の個数が少ないチャネルのMDCT係数の組に含まれる各MDCT係数を周波数軸方向に分割する。
例えば、上記のように、あるフレームにおいて、左前方チャネルのMDCT係数yFL(k)が、サンプルが2048個含まれるLONG窓を用いて求められ、他のチャネルのMDCT係数が、サンプルが256個含まれるSHORT窓を用いて求められているとする。この場合、左前方チャネルのMDCT係数yFL(k)の各値は、それぞれ、例えば、0Hz〜24kHzの周波数範囲を1024等分した周波数帯域に対応する。一方、他のチャネルのMDCT係数の各値は、それぞれ、例えば、0Hz〜24kHzの周波数範囲を128等分した周波数帯域に対応する。すなわち、左前方チャネルのMDCT係数yFL(k)は、他のチャネルのMDCT係数よりも周波数方向の解像度が8倍高い。そこで、スペクトル変換部２３は、そのフレームの左前方チャネル以外のMDCT係数の組に含まれる各周波数帯域のMDCT係数を、周波数軸方向に8分割する。スペクトル変換部２３は、この分割により得られた各周波数帯域の時間周波数信号の値を、元のMDCT係数において対応する周波数帯域のMDCT係数と同じにしてもよい。あるいは、スペクトル変換部２３は、各周波数帯域の時間周波数信号の値を、その周波数帯域に対応する元のMDCT係数と、そのMDCT係数に隣接する周波数帯域のMDCT係数との線形補間により求めてもよい。なお、スペクトル変換部２３は、処理部１４が信号取得部１１を介して受け取ったデータストリームに含まれるヘッダ情報を参照することにより、各チャネルについて使用された窓の長さを知ることができる。
図３（ａ）及び図３（ｂ）は、それぞれ、LONG窓を用いて計算されたMDCT係数の概念図及びSHORT窓を用いて計算されたMDCT係数の概念図である。また図３（ｃ）は、図３（ａ）に示されたMDCT係数の組３１０が、スペクトル変換部２３により時間軸方向に分割されることにより得られた時間周波数信号の組３３０の概念図である。さらに図３（ｄ）は、図３（ｂ）に示されたMDCT係数の組３２０が、スペクトル変換部２３により周波数軸方向に分割されることにより得られた時間周波数信号の組３４０の概念図である。図３（ａ）〜図３（ｄ）において、それぞれ、横軸は時間を表し、縦軸は周波数を表す。図３（ａ）に示されるように、LONG窓を用いて計算されたMDCT係数の組３１０は、1フレーム当たり、1024個の周波数帯域のそれぞれについての係数値ml0、ml1、...、ml1023を持つ。一方、図３（ｂ）に示されるように、SHORT窓を用いて計算されたMDCT係数の組３２０は、1フレーム当たり、128個の周波数帯域のそれぞれについての係数値msn0、msn1、...、msn127を8組持つ（ただし、n=0,1,..,7）。そこで、スペクトル変換部２３は、MDCT係数の組３１０に含まれる各周波数帯域のMDCT係数ml0、ml1、...、ml1023を時間軸方向に8分割することにより、図３（ｃ）に示されるように、8組の時間周波数信号mln0、mln1、...、mln1023を作成する。また、スペクトル変換部２３は、MDCT係数の組３２０の各周波数帯域の値を周波数軸方向に8分割することにより、図３（ｄ）に示されるように、8組の時間周波数信号msn0、msn1、...、msn1023を作成する。
図３（ｃ）及び図３（ｄ）から明らかなように、スペクトル変換部２３により得られた各チャネルの時間周波数信号の組３３０及び３４０に含まれるそれぞれの時間周波数信号は、時間軸方向及び周波数軸方向の何れについても、擬似的に同じ解像度を持つ。
スペクトル変換部２３は、各チャネルの時間周波数信号を、ダウンミックス部２４に渡す。
ダウンミックス部２４は、スペクトル変換部２３から受け取った、5.1chオーディオ信号の各チャネルの時間周波数信号から、ステレオ音声の左右の出力に対応する二つの時間周波数信号を合成する。上述したように、各チャネルの時間周波数信号は、時間軸方向及び周波数軸方向の何れについても擬似的に同じ解像度を持つ。そのため、ダウンミックス部２４は、各チャネルの時間周波数信号のうち、同一時刻及び同一周波数帯域の信号に対して所定の加重加算を行うことにより、所望の時間周波数信号を合成することができる。
本実施形態では、ダウンミックス部２４は、次式に従ってステレオ音声の左右のチャネルに対応する二つの時間周波数信号を合成する。
Figure 2010204533
 ここで、SFL(t,k)及びSFR(t,k)は、それぞれ、左前方チャネル及び右前方チャネルの時間周波数信号である。また、SC(t,k)は中央チャネルの時間周波数信号である。さらに、SSL(t,k)及びSSR(t,k)は、それぞれ、左後方チャネル及び右後方チャネルの時間周波数信号である。またSLFE(t,k)は、低域強調チャネルの時間周波数信号である。さらに、G0、G1、G2は、それぞれゲインを表す係数である。例えば、G0及びG1は、-3dBに対応する0.707に設定される。またG2は、-3dBに対応する0.707、-6dBに対応する0.5、-9dBに対応する0.354あるいは0に設定される。さらに、L'(t,k)及びR'(t,k)は、それぞれ、合成されるステレオ音声の左右のチャネルに対応する時間周波数信号である。なお、（２）式に示された合成式は、単なる一例であり、ダウンミックス部２４は、他の合成式を用いてL'(t,k)及びR'(t,k)を求めてもよい。また、ここでいう「加重加算」には、（２）式に示された低域強調チャネルのように、特定のチャネルの時間周波数信号を加算しないこと、すなわち、係数として0を乗じた時間周波数信号を加算することが含まれる。
ダウンミックス部２４は、合成された時間周波数信号L'(t,k)及びR'(t,k)を、過渡性検出部２５ａ、２５ｂ及びスペクトル逆変換部２６ａ、２６ｂへ渡す。さらにダウンミックス部２４は、それら時間周波数信号L'(t,k)及びR'(t,k)を、記憶部１３に一時的に記憶する。
過渡性検出部２５ａは、時間周波数信号L'(t,k)が過渡性を有するか否か判定する。同様に、過渡性検出部２５ｂは、時間周波数信号R'(t,k)が過渡性を有するか否か判定する。なお、時間周波数信号がアタック音のような急激に変化する音に対応する場合、その時間周波数信号は過渡性を有する。そして時間周波数信号が過渡性を有する場合、時間周波数信号を時間解像度の高いMDCT係数に変換することにより、リスナーにとって雑音の少ない音が再生される。そこで、過渡性検出部２５ａ及び２５ｂは、時間周波数信号から変換されるMDCT係数の時間解像度を決定するための判断基準として、時間周波数信号が過渡性を有するか否かを判定する。
過渡性検出部２５ａ及び２５ｂは、着目するフレームに含まれる時間周波数信号の電力が、着目フレームよりも前の数フレームの時間周波数信号の電力から求めた閾値よりも大きい場合、着目フレームに含まれる時間周波数信号は過渡性を有すると判定する。なお、フレームは、スペクトル変換部２３に関して説明したように、オーディオ信号が符号化されるときに使用されたLONG窓の長さに対応する。以下、過渡性検出部２５ａの処理について具体的に説明する。なお、過渡性検出部２５ｂの処理も、判定対象となる時間周波数信号がR'(t,k)であることを除いて、過渡性検出部２５ａの処理と同一である。そのため、過渡性検出部２５ｂの処理についての説明は省略する。
過渡性検出部２５ａは、記憶部１３に記憶された、過去のフレームの時間周波数信号に基づいて、次式に従って時間周波数信号L'(t,k)が過渡性を有するか否かの判定に使用される閾値ThPL(k)を決定する。
Figure 2010204533
 ここで、L'-i(t,k)は、iフレーム前の時刻t、周波数帯域kにおける時間周波数信号を表す。またNは自然数であり、例えば、10に設定される。さらにMは、１フレーム当たりに含まれる時間周波数信号の組の数である。さらにΔthはバイアスであり、微小な電力の増加によって過渡性検出部２５ａが時間周波数信号が過渡性を有すると判断することを防止するために、過去の所定数のフレームの各周波数帯域の電力値の平均値に加算される。例えば、Δthは時間周波数信号L'(t,k)の電力が取り得る最大値の5％あるいは10％とすることができる。なお、過渡性検出部２５ａは、閾値ThPL(k)を、過去の所定数のフレームの各周波数帯域の電力値の平均値である（３）式の第１項に、所定の安全係数αを乗じた値としてもよい。この場合、所定の安全係数αは、1よりも僅かに大きい値、例えば、1.1あるいは1.2に設定される。
また、アタック音のような過渡性のある音に対応する時間周波数信号は、全ての周波数帯域において時間周波数信号の電力値が瞬間的に大きな値となり、かつ、全ての周波数帯域において時間周波数信号の電力値が一定となる傾向を有する。そこで、過渡性検出部２５ａは、着目するフレームについての時刻tにおける時間周波数信号L'(t,k)の周波数帯域kの電力PowL(t,k)を、対応する閾値ThPL(k)と比較する。なお、電力PowL(t,k)は、時間周波数信号L'(t,k)の２乗と等しい。そして過渡性検出部２５ａは、何れかの時刻tにおいて、全ての周波数帯域の電力PowL(t,k)が対応する閾値ThPL(k)よりも大きければ、その着目するフレームに含まれる時間周波数信号L'(t,k)は過渡性を有すると判定する。一方、過渡性検出部２５ａは、着目するフレーム内の全ての時刻において、何れかの周波数帯域の電力PowL(t,k)が対応する閾値ThPL(k)以下となるとき、着目するフレームに含まれる時間周波数信号L'(t,k)は過渡性を有さないと判定する。
過渡性検出部２５ａは、着目するフレームごとに時間周波数信号L'(t,k)が過渡性を有するか否かの判定結果をスペクトル逆変換部２６ａに通知する。同様に、過渡性検出部２５ｂは、着目するフレームごとに時間周波数信号R'(t,k)が過渡性を有するか否かの判定結果をスペクトル逆変換部２６ｂに通知する。尚、上記の説明では、過渡性検出部において、時間周波数信号の電力を用いてフレームの過渡性を検出する方法を説明した。しかし、過渡性検出部２５ａ及び２５ｂは、他の簡易な検出方法として、ダウンミックスされる各チャネルのMDCTの窓の長さの情報を用いてもよい。つまり、過渡性検出部２５ａ及び２５ｂは、信号取得部１１を介して受け取ったデータストリームに含まれるヘッダ情報を参照することにより、着目するフレームごとに各チャネルについて使用された窓の長さを調べる。そして過渡性検出部２５ａ及び２５ｂは、どれか一つのチャネルでSHORT窓が使用されている場合、着目するフレームに含まれる時間周波数信号は過渡性を有すると判定する。一方、過渡性検出部２５ａ及び２５ｂは、全てのチャネルでLONG窓が使用されている場合、着目するフレームに含まれる時間周波数信号は過渡性を有さないと判定する。
スペクトル逆変換部２６ａは、過渡性検出部２５ａによる、過渡性を有するか否かの判定結果にしたがって、時間周波数信号L'(t,k)を、左チャネルのMDCT係数y'L(k)に変換する。同様に、スペクトル逆変換部２６ｂは、過渡性検出部２５ｂによる、過渡性を有するか否かの判定結果にしたがって、時間周波数信号R'(t,k)を、右チャネルのMDCT係数y'R(k)に変換する。以下、スペクトル逆変換部２６ａが実行する処理について具体的に説明する。なお、スペクトル逆変換部２６ｂが実行する処理も、処理対象となる時間周波数信号がR'(t,k)であることを除いて、スペクトル逆変換部２６ａが実行する処理と同一である。そのため、スペクトル逆変換部２６ｂの処理についての詳細な説明は省略する。
時間周波数信号L'(t,k)が過渡性を有する場合、スペクトル逆変換部２６ａは、時間周波数信号L'(t,k)の連続する所定数の周波数帯域の信号値を統合することにより、時間解像度が高い、すなわちSHORT窓を用いてIMDCT処理可能な８組のMDCT係数y'L(k)に変換する。一方、時間周波数信号L'(t,k)が過渡性を有さない場合、スペクトル逆変換部２６ａは、同一フレーム内の各時刻における時間周波数信号L'(t,k)の同一周波数帯域の信号値を統合することにより、周波数帯域ごとに一つのMDCT係数を得る。これにより、時間周波数信号L'(t,k)は、時間解像度が低い、すなわちLONG窓を用いてIMDCT処理可能な一組のMDCT係数y'L(k)に変換される。
例えば、着目するフレームの時間周波数信号L'(t,k)が、1024個の周波数帯域ごとに信号値を有しており、かつ、256個の時間領域のオーディオ信号のサンプルが含まれるSHORT窓に対応する時刻ごとに信号値を有しているとする。この場合において、時間周波数信号L'(t,k)が過渡性を有していれば、スペクトル逆変換部２６ａは、各時刻において、時間周波数信号L'(t,k)の連続する8個の周波数帯域を一つに統合した周波数帯域について1個のMDCT係数を求める。その際、スペクトル逆変換部２６ａは、連続する8個の周波数帯域の時間周波数信号値を単純平均した値をMDCT係数としてもよい。また、スペクトル逆変換部２６ａは、連続する8個の周波数帯域の中央の帯域から離れるにつれて重みが小さくなるような重み係数を用いて、連続する8個の周波数帯域の時間周波数信号値を加重平均することにより、MDCT係数を求めてもよい。さらに、スペクトル逆変換部２６ａは、連続する8個の周波数帯域の時間周波数信号値のうちの中央値または最頻値をMDCT係数としてもよい。これにより、スペクトル逆変換部２６ａは、時間周波数信号L'(t,k)を、各時刻のMDCT係数の組が128個のMDCT係数を含む、8組のMDCT係数y'L(k)に変換できる。そして各組のMDCT係数y'L(k)は、SHORT窓を用いてIMDCT処理することが可能となる。
一方、時間周波数信号L'(t,k)が過渡性を有さなければ、スペクトル逆変換部２６ａは、着目するフレームの各時刻における時間周波数信号L'(t,k)の同一周波数帯域の時間周波数信号値から1個のMDCT係数を求める。その際、スペクトル逆変換部２６ａは、周波数帯域ごとに、着目するフレーム内の全ての時刻の時間周波数信号値を単純平均した値を、その周波数帯域のMDCT係数としてもよい。また、スペクトル逆変換部２６ａは、周波数帯域ごとに、着目するフレームの中央の時刻から離れるにつれて重みが小さくなるような重み係数を用いて、全ての時刻の時間周波数信号値を加重平均した値を、その周波数帯域のMDCT係数としてもよい。さらに、スペクトル逆変換部２６ａは、周波数帯域ごとに、着目するフレーム内の全ての時刻の時間周波数信号値のうちの中央値または最頻値を、その周波数帯域のMDCT係数としてもよい。これにより、スペクトル逆変換部２６ａは、着目するフレームの時間周波数信号L'(t,k)を、1024個のMDCT係数を含む一組のMDCT係数y'L(k)に変換できる。そしてその一組のMDCT係数y'L(k)は、2048個のオーディオ信号のサンプルが含まれるLONG窓を用いてIMDCT処理することが可能となる。
スペクトル逆変換部２６ａは、得られたMDCT係数y'L(k)を音声再構成部２７ａに渡す。また、スペクトル逆変換部２６ｂは、得られたMDCT係数y'R(k)を音声再構成部２７ｂに渡す。
音声再構成部２７ａは、スペクトル逆変換部２６ａから受け取ったMDCT係数y'L(k)をIMDCT処理することにより、ステレオ音声の左チャネルのオーディオ信号L'(t)を求める。同様に、音声再構成部２７ｂは、スペクトル逆変換部２６ｂから受け取ったMDCT係数y'R(k)をIMDCT処理することにより、ステレオ音声の右チャネルのオーディオ信号R'(t)を求める。なお、IMDCT処理は、次式に従って実行される。
Figure 2010204533
 ここで、y(k)は、MDCT係数である。そしてx(t)は、再構成されるオーディオ信号のサンプル点t(t=0,2,...,N-1)の信号値である。Nは窓の長さに対応し、その窓に含まれるサンプルの総数を表す。またnは位相項を表し、n=N/2である。（４）式に従って求めれた時間領域の信号は、入力されたMDCT係数の総数の２倍のサンプル信号を含む。そして音声再構成部２７ａ及び２７ｂは、それぞれ、得られた時間領域の信号を記憶部１３にバッファする。その後、音声再構成部２７ａ及び２７ｂは、オーディオ復号装置１が受信したオーディオ信号の各チャネルのMDCT係数が算出される際に用いられた窓関数と同じ形状の窓関数をバッファされた信号に乗じることにより、時間領域のオーディオ信号を得る。ただし、オーディオ復号装置１が受信したオーディオ信号の各チャネルのMDCT係数の算出において、各時刻における窓は、その時刻の前後の時刻における窓と重複するように設定されている。そこで、音声再構成部２７ａ及び２７ｂは、窓関数を乗じて得られた時間領域の信号について、前後の時刻のMDCT係数から得られた時間領域の信号と重複する部分を加算することにより、オーディオ信号を再構成する。
音声再構成部２７ａ及び２７ｂは、再構成されたオーディオ信号を、音声再生部１２へ出力する。
図４は、処理部１４上で実行されるコンピュータプログラムにより制御される、オーディオ信号のダウンミックス処理の動作フローチャートを示す。なお、図４に示されたフローチャートは、１フレーム分のオーディオ信号に対する処理を表す。オーディオ復号装置１は、オーディオ信号を受信し続けている間、フレームごとに図４に示されたダウンミックス処理の手順を繰り返し実行する。
図４に示されるように、オーディオ復号装置１が信号取得部１１を介して5.1chチャネルのオーディオ信号を含むデータストリームを受信すると、オーディオ復号装置１の処理部１４はダウンミックス処理を開始する。そして処理部１４のデマルチプレクサ２１は、受信した5.1chオーディオ信号のデータストリームから各チャネルの量子化され、かつ符号化されたオーディオ信号を取り出す（ステップＳ１０１）。そしてデマルチプレクサ２１は、各チャネルの量子化され、符号化されたオーディオ信号を、それぞれ、各チャネルに対応する、処理部１４の逆量子化部２２ａ〜２２ｆに渡す。逆量子化部２２ａ〜２２ｆは、それぞれ、各チャネルの量子化され、符号化されたオーディオ信号に対して復号処理及び逆量子化処理を実行することにより、各チャネルのMDCT係数を求める（ステップＳ１０２）。そして逆量子化部２２ａ〜２２ｆは、得られた各チャネルのMDCT係数を、処理部１４のスペクトル変換部２３に渡す。
スペクトル変換部２３は、受信したデータストリームに含まれるヘッダ情報を参照し、それぞれのチャネルのMDCT係数はLONG窓を用いて算出されたものか否か判定する（ステップＳ１０３）。着目するチャネルのMDCT係数がLONG窓を用いて算出されている場合（ステップＳ１０３−Ｙｅｓ）、スペクトル変換部２３は、そのMDCT係数を時間軸方向に分割することにより、時間周波数信号を算出する（ステップＳ１０４）。一方、着目するチャネルのMDCT係数がSHORT窓を用いて算出されている場合（ステップＳ１０３−Ｎｏ）、スペクトル変換部２３は、そのMDCT係数を周波数軸方向に分割することにより、時間周波数信号を算出する（ステップＳ１０５）。スペクトル変換部２３は、全てのチャネルについて、ステップＳ１０４またはステップＳ１０５の処理を終了した後、得られた各チャネルの時間周波数信号を、処理部１４のダウンミックス部２４に渡す。
ダウンミックス部２４は、各チャネルの時間周波数信号について、同一時刻及び同一周波数帯域の信号値を加重加算することにより、ステレオオーディオ信号の各チャネルに対応する時間周波数信号を合成する（ステップＳ１０６）。例えば、ダウンミックス部２４は、上記の（２）式にしたがって、各チャネルの時間周波数信号を加重加算することにより、ステレオの左チャネル及び右チャネルに対応する時間周波数信号を合成できる。ダウンミックス部２４は、ステレオの左チャネル及び右チャネルに対応する時間周波数信号を、それぞれ、処理部１４の過渡性検出部２５ａ、２５ｂ及びスペクトル逆変換部２６ａ、２６ｂへ渡す。
次に、過渡性検出部２５ａ及び２５ｂは、それぞれ、合成されたステレオの左チャネル及び右チャネルに対応する時間周波数信号が過渡性を有するか否か判定する（ステップＳ１０７）。そして過渡性検出部２５ａ及び２５ｂは、その判定結果をスペクトル逆変換部２６ａ及び２６ｂに通知する。ダウンミックス部２４から受け取った時間周波数信号が過渡性を有すると判定された場合（ステップＳ１０７−Ｙｅｓ）、スペクトル逆変換部２６ａ及び２６ｂは、それぞれ、その時間周波数信号をSHORT窓に対応するMDCT係数に変換する（ステップＳ１０８）。そのために、スペクトル逆変換部２６ａ及び２６ｂは 、連続する所定数の周波数帯域を一つの周波数帯域に統合するよう、その所定数の周波数帯域の時間周波数信号の統計値として一つのMDCT係数を算出する。
一方、時間周波数信号が過渡性を有さないと判定された場合（ステップＳ１０７−Ｎｏ）、スペクトル逆変換部２６ａ及び２６ｂは、それぞれ、その時間周波数信号をLONG窓に対応するMDCT係数に変換する（ステップＳ１０９）。そのために、スペクトル逆変換部２６ａ及び２６ｂは 、着目するフレーム内の各時刻における時間周波数信号の組を一組のMDCT係数に統合するよう、着目するフレーム内の同一周波数帯域の時間周波数の統計値として一つのMDCT係数を算出する。
ステップＳ１０８またはＳ１０９の後、スペクトル逆変換部２６ａ及び２６ｂは、それぞれ、得られたMDCT係数の組を、処理部１４の音声再構成部２７ａ及び２７ｂに渡す。
音声再構成部２７ａ及び２７ｂは、受け取ったMDCT係数の組に対してIMDCT処理を実行することにより、時間領域のステレオオーディオ信号を再構成する（ステップＳ１１０）。そして音声再構成部２７ａ及び２７ｂは、得られたステレオオーディオ信号を音声再生部１２に渡す。最後に、音声再生部１２は、再構成されたステレオオーディオ信号に基づいてステレオ音声を出力する（ステップＳ１１１）。そしてオーディオ復号装置１は、１フレーム分のオーディオ信号に対するダウンミックス処理を終了する。
以上に説明してきたように、一つの実施形態に係るオーディオ復号装置は、受信した5.1chのオーディオ信号の各チャネルのMDCT係数を、時間軸方向または周波数軸方向に分割する。そしてこのオーディオ復号装置は、全てのチャネルについて同一の時間解像度と周波数解像度を持つ時間周波数信号を得る。このオーディオ復号装置は、得られた各チャネルの時間周波数信号について、同一時刻及び同一周波数帯域の信号値を加重加算することにより、ステレオオーディオ信号の各チャネルに対応する時間周波数信号を合成する。そしてこのオーディオ復号装置は、得られた時間周波数信号が過渡性を有するか否かの判定結果に基づいて、その時間周波数信号をLONG窓あるいはSHORT窓に対応するMDCT係数に変換する。その後、このオーディオ復号装置は、得られたMDCT係数に対してIMDCT処理を実行することにより、ステレオオーディオ信号を再構成する。これにより、このオーディオ復号装置は、チャネルごとに異なる長さの窓を使用して符号化されたマルチチャネルのオーディオ信号についても、一旦時間領域のオーディオ信号に変換することなくダウンミックス処理を行うことができる。そのため、このオーディオ復号装置は、MDCT処理及びIMDCT処理の実行回数を減らすことができるので、ダウンミックス処理に要する演算量を著しく低減することができる。
なお、本発明は上記の実施形態に限定されるものではない。例えば、オーディオ復号装置が受信するオリジナルの各チャネルのオーディオ信号は、３種類以上の異なる長さを持つ窓の何れかを用いてMDCT係数に変換されていてもよい。この場合、スペクトル変換部は、各チャネルのMDCT係数を、最も短い窓の長さを用いて算出されたMDCT係数の時間解像度と一致するように、時間軸方向に分割する。また、スペクトル変換部は、各チャネルのMDCT係数を、最も長い窓の長さを用いて算出されたMDCT係数の周波数解像度と一致するように、周波数軸方向に分割する。なお、MDCT係数の算出に利用されたそれぞれの窓の長さが、最も短い窓の長さの整数倍でない場合も想定される。このような場合、スペクトル変換部は、各チャネルの時間周波数信号が各窓の長さの最大公約数に対応する長さに対応する時間解像度を持つように、各チャネルのMDCT係数を時間軸方向に分割する。さらに、スペクトル変換部は、各チャネルの時間周波数信号が、周波数方向に、各チャネルのMDCT係数の周波数軸方向の個数の最小公倍数に対応する個数の信号を持つように、各チャネルのMDCT係数を周波数軸方向に分割する。
例えば、左前方チャネルのMDCT係数がサンプルが2048個含まれる窓を用いて求められ、右前方チャネルのMDCT係数がサンプルが1024個含まれる窓を用いて求められ、他のチャネルのMDCT係数がサンプルが768個含まれる窓を用いて求めらている場合を仮定する。この場合、窓の長さの最大公約数は、サンプル数を単位とすると256となる。そこで、スペクトル変換部は、左前方チャネルのMDCT係数を時間軸方向に8分割し、右前方チャネルのMDCT係数を時間軸方向に4分割し、その他のチャネルのMDCT係数を時間軸方向に3分割する。またこの場合、左前方チャネルについては、MDCT係数の組が周波数軸方向に1024個のMDCT係数を持ち、右前方チャネルについては、MDCT係数の組が周波数軸方向に512個のMDCT係数を持つ。さらに、その他のチャネルについては、MDCT係数の組が周波数軸方向に384個のMDCT係数を持つ。この場合、各チャネルの周波数軸方向のMDCT係数の個数の最小公倍数は、3072となる。そこでスペクトル変換部は、左前方チャネルのMDCT係数を周波数軸方向に3分割し、右前方チャネルのMDCT係数を周波数軸方向に6分割し、その他のチャネルのMDCT係数を周波数軸方向に8分割する。
ダウンミックス部は、各チャネルのオーディオ信号が３種類以上の異なる長さを持つ窓の何れかを用いてMDCT係数が求められている場合も、上記の実施形態と同様に、同一時刻及び同一周波数に対応する各チャネルの時間周波数信号を加重加算すればよい。
一方、スペクトル逆変換部は、合成された時間周波数信号を、それら３種類以上の窓から、何れかの長さの窓に対応するMDCT係数に変換する必要がある。そこで、過渡性検出部は、時間周波数信号をどの長さの窓に対応するMDCT係数に変換するかを決定するために、時間周波数信号の各フレームごとに、過渡性のレベルを判定する。例えば、MDCT係数の算出に３種類の窓が使用されている場合、過渡性検出部は、まず、時間周波数信号を一番長い窓に対応するMDCT係数に変換すべき、最小レベルか否か判定する。そのために、過渡性検出部は、直目するフレームに含まれる、各時刻ごとに、各周波数帯域の時間周波数の電力を、その着目フレームよりも前に取得されたフレームに含まれる時間周波数信号から上記の（３）式に従って算出された閾値と比較する。そして過渡性検出部は、着目するフレーム内の全ての時刻において、何れかの周波数帯域の電力が対応する閾値以下となるとき、着目するフレームに含まれる時間周波数信号は過渡性を有さないと判定する。すなわち、過渡性検出部は、着目するフレームに含まれる時間周波数信号の過渡性のレベルは最小レベルであると判定する。
一方、着目するフレームの何れかの時刻において、全ての周波数帯域の電力が閾値よりも大きい場合、過渡性検出部は、着目するフレームの過渡性のレベルは最大レベルか、中間レベルかを判定する。そこで、着目するフレーム内の連続する２以上の時刻において、全ての周波数帯域の電力が閾値よりも大きい場合、過渡性検出部は、着目するフレームの過渡性のレベルは中間レベルであると判定する。一方、着目するフレームにおいて、全ての周波数帯域の電力が閾値よりも大きくなる時刻が連続しない場合、過渡性検出部は、目するフレームの過渡性のレベルは最大レベルであると判定する。
そして過渡性検出部は、スペクトル逆変換部に過渡性のレベルの判定結果を通知する。
スペクトル逆変換部は、過渡性検出部から、着目フレームの過渡性のレベルが最小レベルであるとの判定結果を通知された場合、時間周波数信号を、最も長い窓に対応するMDCT係数に変換する。一方、スペクトル逆変換部は、過渡性検出部から、着目フレームの過渡性のレベルが中間レベルであるとの判定結果を通知された場合、時間周波数信号を、２番目に短い窓に対応するMDCT係数に変換する。さらに、スペクトル逆変換部は、過渡性検出部から、着目フレームの過渡性のレベルが最大レベルであるとの判定結果を通知された場合、時間周波数信号を、最も短い窓に対応するMDCT係数に変換する。
なお、３種類よりも多い種類の異なる長さを持つ窓の何れかを用いてMDCT係数が求められている場合も、過渡性検出部が上記と同様に過渡性のレベルを判定することにより、スペクトル逆変換部は、時間周波数信号を適切な長さの窓に対応するMDCT係数に変換できる。すなわち、過渡性検出部は、着目するフレームについて、全ての周波数帯域の電力が閾値よりも大きい時刻が連続する期間が長くなるほど、過渡性のレベルが小さいと判定する。そしてスペクトル逆変換部は、着目するフレームの過渡性のレベルが小さいほど、時間周波数信号を長い窓に対応するMDCT係数に変換すればよい。
また、オーディオ復号装置において、ダウンミックス処理の対象となるマルチチャネルのオーディオ信号は、5.1chオーディオ信号に限られず、例えば、3.1ch、あるいは7.1chのオーディオ信号であってもよい。また、このオーディオ復号装置によりダウンミックス処理されたオーディオ信号も、ステレオオーディオ信号に限られない。ダウンミックス処理されたオーディオ信号は、オリジナルのオーディオ信号のチャネル数よりも少ないチャネル数を持つオーディオ信号とすることができる。例えば、オリジナルのオーディオ信号が5.1chのオーディオ信号である場合、ダウンミックス処理されたオーディオ信号は、3.1chのオーディオ信号またはモノラルオーディオ信号であってもよい。また、オリジナルのオーディオ信号が7.1chのオーディオ信号である場合、ダウンミックス処理されたオーディオ信号は、5.1chのオーディオ信号、3.1chのオーディオ信号、ステレオオーディオ信号またはモノラルオーディオ信号であってもよい。
オーディオ復号装置の処理部は、受信するオーディオ信号のチャネル数に応じた数の逆量子化部と、合成するオーディオ信号のチャネル数に応じた数の過渡性検出部、スペクトル逆変換部及び音声再構成部を有すればよい。
また、ダウンミックス処理により合成されたオーディオ信号は、再生されず、電子データとして記憶部に保存されるか、通信ネットワークを介して他の装置へ送られる場合、上記のオーディオ復号装置において、音声再生部は省略されてもよい。
さらに、オーディオ復号装置に対して要求される再生音声の品質レベルによっては、上記の実施形態におけるオーディオ復号装置の処理部において、過渡性判定検出部は省略されてもよい。この場合、処理部のスペクトル逆変換部は、時間周波数信号を、予め定められた長さを持つ窓に対応するMDCT係数の組に変換する。
また、オーディオ復号装置がダウンミックス処理の対象とするオーディオ信号は、MDCT以外の周波数変換、例えば、離散コサイン変換を用いて周波数スペクトルに変換されたものでもよい。この場合も、オーディオ復号装置は、上述した手順及び処理に従って、受信したオーディオ信号に対してダウンミックス処理を実行することができる。
また、上記の実施形態における処理部の各機能は、一つの集積回路、一つの回路基板あるいはそれらの機能をプロセッサに実行させるコンピュータプログラムに実装されてもよい。そして処理部の各機能が実装された集積回路、回路基板またはコンピュータプログラムは、コンピュータ、ビデオ信号の録画再生機または携帯電話機など、オーディオ信号を編集または再生するために利用される各種の機器に実装される。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１のチャネル数を持つ符号化された第１のオーディオ信号を受信する信号取得部と、
前記第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化部と、
前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換部と、
前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス部と、
前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換部と、
前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成部と、
を有するオーディオ復号装置。
（付記２）
前記第２のチャネル数は、前記第１のチャネル数よりも少ない、付記１に記載のオーディオ復号装置。
（付記３）
前記第１の所定数の前記第２の信号列を含むフレームの何れかの時刻において、前記第２の信号列の各周波数帯域の電力が所定の閾値以上のとき、該フレームに含まれる前記第２の信号列は過渡性を有すると判定し、該フレームの全ての時刻において、前記第２の信号列の何れかの周波数帯域の電力が所定の閾値未満のとき、該フレームに含まれる前記第２の信号列は過渡性を有さないと判定する過渡性検出部をさらに有し、
前記スペクトル逆変換部は、前記フレームに含まれる前記第２の信号列が過渡性を有するとき、前記第２の信号列の連続する前記第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる各時刻の前記第２の信号列を、それぞれの時刻の前記第２の周波数スペクトルに変換し、前記フレームに含まれる第２の信号列が過渡性を有さないとき、該フレームに含まれる全ての前記第２の信号列の同一周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる全ての前記第２の信号列を一つの前記第２の周波数スペクトルに変換する、付記１または２に記載のオーディオ復号装置。
（付記４）
前記過渡性検出部は、各周波数帯域における前記所定の閾値を、前記フレームよりも前に取得された第３の所定数のフレームについて求められたそれぞれの前記第２の信号列の対応する周波数帯域の電力の平均値に基づいて定める、付記３に記載のオーディオ復号装置。
（付記５）
前記第１の所定数の前記第２の信号列を含むフレームにおいて、前記第２の信号列に対応する何れかのチャネルの前記第１の周波数スペクトルが、第１の時間長よりも短い第２の時間長で時間−周波数変換することにより算出されている場合、該フレームに含まれる前記第２の信号列は過渡性を有すると判定し、該フレームにおいて、前記第２の信号列に対応する全てのチャネルの前記第１の周波数スペクトルが前記第１の時間長で時間−周波数変換することにより算出されている場合、該フレームに含まれる前記第２の信号列は過渡性を有さないと判定する過渡性検出部をさらに有し、
前記スペクトル逆変換部は、前記フレームに含まれる前記第２の信号列が過渡性を有するとき、前記第２の信号列の連続する前記第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる各時刻の前記第２の信号列を、それぞれの時刻の前記第２の周波数スペクトルに変換し、前記フレームに含まれる第２の信号列が過渡性を有さないとき、該フレームに含まれる全ての前記第２の信号列の同一周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる全ての前記第２の信号列を一つの前記第２の周波数スペクトルに変換する、付記１または２に記載のオーディオ復号装置。
（付記６）
前記第１の周波数スペクトルは、前記第１のオーディオ信号の第１のチャネルの信号を第１の時間長で時間−周波数変換することにより算出された長時間周波数スペクトルと、前記第１のオーディオ信号の第２のチャネルの信号を該第１の時間長よりも短い第２の時間長で時間−周波数変換することにより算出された短時間周波数スペクトルとを含み、
前記スペクトル変換部は、前記長時間周波数スペクトルを、前記短時間周波数スペクトルの時間解像度と一致するように時間方向に分割し、前記短時間周波数スペクトルを、前記長時間周波数スペクトルの周波数解像度と一致するように周波数方向に分割する、付記１〜５の何れか一項に記載のオーディオ復号装置。
（付記７）
第１のチャネル数を持つ符号化された第１のオーディオ信号を受信し、
前記第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、
前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、
前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、
前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換し、
前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する、
ことを含むオーディオ復号方法。
（付記８）
第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化回路と、
前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換回路と、
前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス回路と、
前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換回路と、
前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成回路と、
を有するオーディオ復号回路。
（付記９）
第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、
前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、
前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、
前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換し、
前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する、
ことをコンピュータに実行させるオーディオ復号用コンピュータプログラム。
１ オーディオ復号装置
１１ 信号取得部
１２ 音声再生部
１３ 記憶部
１４ 処理部
２１ デマルチプレクサ
２２ａ〜２２ｆ 逆量子化部
２３ スペクトル変換部
２４ ダウンミックス部
２５ａ、２５ｂ 過渡性検出部
２６ａ、２６ｂ スペクトル逆変換部
２７ａ、２７ｂ 音声再構成部

Claims (7)

  1. 第１のチャネル数を持つ符号化された第１のオーディオ信号を受信する信号取得部と、
    前記第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化部と、
    前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換部と、
    前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス部と、
    前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換部と、
    前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成部と、
    を有するオーディオ復号装置。
  2. 前記第１の所定数の前記第２の信号列を含むフレームの何れかの時刻において、前記第２の信号列の各周波数帯域の電力が所定の閾値以上のとき、該フレームに含まれる前記第２の信号列は過渡性を有すると判定し、該フレームの全ての時刻において、前記第２の信号列の何れかの周波数帯域の電力が所定の閾値未満のとき、該フレームに含まれる前記第２の信号列は過渡性を有さないと判定する過渡性検出部をさらに有し、
    前記スペクトル逆変換部は、前記フレームに含まれる前記第２の信号列が過渡性を有するとき、前記第２の信号列の連続する前記第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる各時刻の前記第２の信号列を、それぞれの時刻の前記第２の周波数スペクトルに変換し、前記フレームに含まれる第２の信号列が過渡性を有さないとき、該フレームに含まれる全ての前記第２の信号列の同一周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記フレームに含まれる全ての前記第２の信号列を一つの前記第２の周波数スペクトルに変換する、請求項１に記載のオーディオ復号装置。
  3. 前記過渡性検出部は、各周波数帯域における前記所定の閾値を、前記フレームよりも前に取得された第３の所定数のフレームについて求められたそれぞれの前記第２の信号列の対応する周波数帯域の電力の平均値に基づいて定める、請求項２に記載のオーディオ復号装置。
  4. 前記第１の周波数スペクトルは、前記第１のオーディオ信号の第１のチャネルの信号を第１の時間長で時間−周波数変換することにより算出された長時間周波数スペクトルと、前記第１のオーディオ信号の第２のチャネルの信号を該第１の時間長よりも短い第２の時間長で時間−周波数変換することにより算出された短時間周波数スペクトルとを含み、
    前記スペクトル変換部は、前記長時間周波数スペクトルを、前記短時間周波数スペクトルの時間解像度と一致するように時間方向に分割し、前記短時間周波数スペクトルを、前記長時間周波数スペクトルの周波数解像度と一致するように周波数方向に分割する、請求項１〜３の何れか一項に記載のオーディオ復号装置。
  5. 第１のチャネル数を持つ符号化された第１のオーディオ信号を受信し、
    前記第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、
    前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、
    前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、
    前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換し、
    前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する、
    ことを含むオーディオ復号方法。
  6. 第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求める逆量子化回路と、
    前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出するスペクトル変換回路と、
    前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成するダウンミックス回路と、
    前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換するスペクトル逆変換回路と、
    前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する音声再構成回路と、
    を有するオーディオ復号回路。
  7. 第１のチャネル数を持つ符号化された第１のオーディオ信号の各チャネルについて、符号化されたオーディオ信号を復号し、且つ逆量子化して第１の周波数スペクトルをそれぞれ求め、
    前記第１のオーディオ信号の各チャネルについて、前記第１の周波数スペクトルを、時間方向または周波数方向に分割することにより、前記第１のオーディオ信号の全てのチャネルに対して同一の時間解像度及び周波数解像度を有する第１の信号列をそれぞれ算出し、
    前記全てのチャネルの第１の信号列に含まれる、同一時刻及び同一周波数帯域の信号を加重加算することにより、前記第１のオーディオ信号のチャネル数と異なる第２のチャネル数を持つ第２の信号列を合成し、
    前記第２の信号列の各チャネルについて、時間方向に連続する第１の所定数の前記第２の信号列のそれぞれに含まれる、同一周波数帯域の信号から当該周波数帯域の周波数スペクトル値を一つ求めることにより、または、前記第２の信号列のうち、周波数方向に連続する第２の所定数の周波数帯域の信号から一つの周波数スペクトル値を求めることにより、前記第２の信号列を前記第２のチャネル数を持つ第２の周波数スペクトルに変換し、
    前記第２の周波数スペクトルを時間領域の第２のオーディオ信号に変換する、
    ことをコンピュータに実行させるオーディオ復号用コンピュータプログラム。
JP2009051938A 2009-03-05 2009-03-05 オーディオ復号装置及びオーディオ復号方法 Expired - Fee Related JP5163545B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009051938A JP5163545B2 (ja) 2009-03-05 2009-03-05 オーディオ復号装置及びオーディオ復号方法
US12/659,306 US8706508B2 (en) 2009-03-05 2010-03-03 Audio decoding apparatus and audio decoding method performing weighted addition on signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009051938A JP5163545B2 (ja) 2009-03-05 2009-03-05 オーディオ復号装置及びオーディオ復号方法

Publications (2)

Publication Number Publication Date
JP2010204533A true JP2010204533A (ja) 2010-09-16
JP5163545B2 JP5163545B2 (ja) 2013-03-13

Family

ID=42679016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009051938A Expired - Fee Related JP5163545B2 (ja) 2009-03-05 2009-03-05 オーディオ復号装置及びオーディオ復号方法

Country Status (2)

Country Link
US (1) US8706508B2 (ja)
JP (1) JP5163545B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031953A1 (ja) * 2011-08-31 2013-03-07 国立大学法人電気通信大学 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
KR101687658B1 (ko) * 2015-11-25 2016-12-19 한국항공우주연구원 처프-지 역변환 방법 및 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325373A (zh) 2012-03-23 2013-09-25 杜比实验室特许公司 用于传送和接收音频信号的方法和设备
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
KR102033304B1 (ko) * 2013-05-24 2019-10-17 돌비 인터네셔널 에이비 오디오 오브젝트들을 포함한 오디오 장면들의 효율적 코딩
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
EP3182410A3 (en) * 2015-12-18 2017-11-01 Dolby International AB Enhanced block switching and bit allocation for improved transform audio coding
EP3616196A4 (en) 2017-04-28 2021-01-20 DTS, Inc. AUDIO ENCODER WINDOW AND TRANSFORMATION IMPLEMENTATIONS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09252254A (ja) * 1995-09-29 1997-09-22 Nippon Steel Corp オーディオ復号装置
JP2000181473A (ja) * 1998-12-10 2000-06-30 Nippon Telegr & Teleph Corp <Ntt> オーディオ信号処理方法および装置
JP2002132295A (ja) * 2000-10-27 2002-05-09 Matsushita Electric Ind Co Ltd ステレオオーディオ信号高能率符号化装置
JP2002536681A (ja) * 1999-01-28 2002-10-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 適応性のあるブロック長符号化システムのためのデータ構成
JP2004206771A (ja) * 2002-12-24 2004-07-22 Sanyo Electric Co Ltd 簡易再生方法とこの方法に利用可能な簡易再生装置、復号方法、復号装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388181A (en) * 1990-05-29 1995-02-07 Anderson; David J. Digital audio compression system
US5867819A (en) * 1995-09-29 1999-02-02 Nippon Steel Corporation Audio decoder
US6931291B1 (en) * 1997-05-08 2005-08-16 Stmicroelectronics Asia Pacific Pte Ltd. Method and apparatus for frequency-domain downmixing with block-switch forcing for audio decoding functions
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
JP4174859B2 (ja) 1998-07-15 2008-11-05 ヤマハ株式会社 デジタルオーディオ信号のミキシング方法およびミキシング装置
DE602005006777D1 (de) 2004-04-05 2008-06-26 Koninkl Philips Electronics Nv Mehrkanal-codierer
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
WO2009049895A1 (en) * 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09252254A (ja) * 1995-09-29 1997-09-22 Nippon Steel Corp オーディオ復号装置
JP2000181473A (ja) * 1998-12-10 2000-06-30 Nippon Telegr & Teleph Corp <Ntt> オーディオ信号処理方法および装置
JP2002536681A (ja) * 1999-01-28 2002-10-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 適応性のあるブロック長符号化システムのためのデータ構成
JP2002132295A (ja) * 2000-10-27 2002-05-09 Matsushita Electric Ind Co Ltd ステレオオーディオ信号高能率符号化装置
JP2004206771A (ja) * 2002-12-24 2004-07-22 Sanyo Electric Co Ltd 簡易再生方法とこの方法に利用可能な簡易再生装置、復号方法、復号装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031953A1 (ja) * 2011-08-31 2013-03-07 国立大学法人電気通信大学 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
US9584906B2 (en) 2011-08-31 2017-02-28 The University Of Electro-Communications Mixing device, mixing signal processing device, mixing program and mixing method
KR101687658B1 (ko) * 2015-11-25 2016-12-19 한국항공우주연구원 처프-지 역변환 방법 및 시스템

Also Published As

Publication number Publication date
JP5163545B2 (ja) 2013-03-13
US20100228552A1 (en) 2010-09-09
US8706508B2 (en) 2014-04-22

Similar Documents

Publication Publication Date Title
JP5163545B2 (ja) オーディオ復号装置及びオーディオ復号方法
JP6472863B2 (ja) パラメトリック・マルチチャネル・エンコードのための方法
JP4934427B2 (ja) 音声信号復号化装置及び音声信号符号化装置
RU2625444C2 (ru) Система обработки аудио
JP4401173B2 (ja) 信号合成方法
KR101117336B1 (ko) 오디오 신호 부호화 장치 및 오디오 신호 복호화 장치
JP4794448B2 (ja) オーディオエンコーダ
US9275648B2 (en) Method and apparatus for processing audio signal using spectral data of audio signal
RU2639952C2 (ru) Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием
US20090204397A1 (en) Linear predictive coding of an audio signal
JP5737077B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP2004535145A (ja) 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
KR101647576B1 (ko) 스테레오 오디오 신호 인코더
KR20120095920A (ko) 최적의 저-스루풋 파라메트릭 코딩/디코딩
US20120072207A1 (en) Down-mixing device, encoder, and method therefor
JPWO2009131066A1 (ja) 信号分析制御及び信号制御のシステム、装置、方法及びプログラム
CA3212985A1 (en) Combining spatial audio streams
US20100121632A1 (en) Stereo audio encoding device, stereo audio decoding device, and their method
US8825495B2 (en) Acoustic signal processing system, acoustic signal decoding apparatus, processing method in the system and apparatus, and program
EP2610867A1 (en) Audio reproducing device and audio reproducing method
US9311925B2 (en) Method, apparatus and computer program for processing multi-channel signals
JPWO2008132826A1 (ja) ステレオ音声符号化装置およびステレオ音声符号化方法
KR101464977B1 (ko) 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
CN116458172A (zh) 空间音频参数编码和相关解码
WO2022223133A1 (en) Spatial audio parameter encoding and associated decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5163545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees