JP2012042534A - オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム - Google Patents

オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム Download PDF

Info

Publication number
JP2012042534A
JP2012042534A JP2010181345A JP2010181345A JP2012042534A JP 2012042534 A JP2012042534 A JP 2012042534A JP 2010181345 A JP2010181345 A JP 2010181345A JP 2010181345 A JP2010181345 A JP 2010181345A JP 2012042534 A JP2012042534 A JP 2012042534A
Authority
JP
Japan
Prior art keywords
audio
encoding
unit
decoding
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010181345A
Other languages
English (en)
Other versions
JP5749462B2 (ja
Inventor
Kei Kikuiri
圭 菊入
Chunsen Bun
チュンセン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010181345A priority Critical patent/JP5749462B2/ja
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to CN201180038817.2A priority patent/CN103098125B/zh
Priority to PCT/JP2011/068388 priority patent/WO2012020828A1/ja
Priority to EP11816491.2A priority patent/EP2605240B1/en
Priority to CN201510151793.1A priority patent/CN104835501B/zh
Priority to TW103145797A priority patent/TWI570712B/zh
Priority to TW100128857A priority patent/TWI476762B/zh
Publication of JP2012042534A publication Critical patent/JP2012042534A/ja
Priority to US13/765,109 priority patent/US9280974B2/en
Application granted granted Critical
Publication of JP5749462B2 publication Critical patent/JP5749462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】サイズの小さいストリームを生成し得るオーディオ符号化装置、オーディオ復号装置、等を提供する。
【解決手段】オーディオ復号装置では、複数の復号部が、互いに異なるオーディオ復号処理を実行して符号系列からオーディオ信号を生成する。抽出部が、ストリームから長期符号化処理情報を抽出する。ストリームは、各々がオーディオ信号の符号系列を含む複数のフレームを有する。長期符号化処理情報は、複数のフレームに対して単一の長期符号化処理情報であり当該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す。選択部は、長期符号化処理情報が抽出されたことに応じて、複数の復号部のうち、複数のフレームの符号系列の復号に共通に使用する復号部を選択する。
【選択図】図7

Description

本発明は、オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラムに関するものである。
音声信号と音楽信号の双方を効率的に符号化するためには、音声信号に適した符号化処理と音楽信号に適した符号化処理とを切り替えて利用する複合型のオーディオ符号化方式が有効である。
下記の特許文献1には、このような、複合型のオーディオ符号化方式が記載されている。特許文献1に記載されたオーディオ符号化方式では、フレームごとに、当該フレームにおける符号系列の生成に使用された符号化処理を示す情報を付加している。
また、MPEG USAC(Unified Speech and Audio Coding)におけるオーディオ符号化においては、三つの符号化処理、即ち、FD(Modified AAC(Advanced Audio Coding))、TCX(transform coded excitation)、ACELP(Algebraic Code Excited Linear Prediction)が用いられている。MPEG USACでは、TCXとACELPを一組にまとめてLPDと定義している。MPEG USACでは、FDが使用されたか又はLPDが使用されたかを表すために1ビットの情報が各フレームに付加される。また、MPEG USACでは、LPDを用いる場合には、TCXとACELPを組み合わせて利用する手順を規定するために4ビットの情報が各フレームに付加される。
また、第3世代携帯電話システム(3GPP)のAMR−WB+(Extended Adaptive Multi−Rate Wideband)では、二つの符号化処理、即ち、TCX及びACELPが用いられている。AMR−WB+では、TCX又はACELPの使用を規定するために2ビットの情報が各フレームに付加される。
特開2000−267699号公報
オーディオ信号は、人の発声に基づく信号である音声信号が中心であることもあり、音楽信号が中心であることもある。このようなオーディオ信号を符号化すると、複数のフレームに共通の符号化処理が利用され得る。このようなオーディオ信号に対して、符号化側から復号側へのより効率的な情報伝達を可能とする手法が要請されている。
本発明は、サイズの小さいストリームを生成し得るオーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム、並びに、サイズの小さいストリームを用いることができるオーディオ復号装置、オーディオ復号方法、及び、オーディオ復号プログラムを提供することを目的としている。
本発明の一側面は、オーディオ符号化に関するものであり、以下のオーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラムを含み得る。
本発明の一側面に係るオーディオ符号化装置は、複数の符号化部、選択部、生成部、及び、出力部を備えている。複数の符号化部は、互いに異なるオーディオ符号化処理を実行してオーディオ信号から符号系列を生成する。選択部は、複数の符号化部のうち、複数のフレームのオーディオ信号の符号化に共通に使用する符号化部を選択し、又は、各々が複数のフレームを含む複数のスーパーフレームのオーディオ信号の符号化に共通に使用する一組の符号化部を選択する。生成部は、長期符号化処理情報を生成する。長期符号化処理情報は、複数のフレームに対して単一の情報であり、当該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す情報である。或いは、長期符号化処理情報は、複数のスーパーフレームに対して単一の情報であり、当該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す情報である。出力部は、選択部によって選択された符号化部によって生成された上記複数のフレームの符号系列、又は、選択部によって選択された一組の符号化部によって生成された上記複数のスーパーフレームの符号系列と、長期符号化処理情報と、を含むストリームを出力する。
本発明の一側面に係るオーディオ符号化方法は、(a)互いに異なる複数のオーディオ符号化処理のうち、複数のフレームのオーディオ信号の符号化に共通に使用するオーディオ符号化処理を選択し、又は、複数のオーディオ符号化処理のうち、各々が複数のフレームを含む複数のスーパーフレームのオーディオ信号の符号化に共通に使用する一組のオーディオ符号化処理を選択するステップと、(b)選択されたオーディオ符号化処理を使用して上記複数のフレームのオーディオ信号を符号化して当該複数のフレームの符号系列を生成し、又は、選択された一組のオーディオ符号化処理を使用して上記複数のスーパーフレームのオーディオ信号を符号化して当該複数のスーパーフレームの符号系列を生成するステップと、(c)上記複数のフレームに対して単一の長期符号化処理情報であり当該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、上記複数のスーパーフレームに対して単一の長期符号化処理情報であり当該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を生成するステップと、(d)上記複数のフレームの符号系列、又は、上記複数のスーパーフレームの符号系列と、上記長期符号化処理情報と、を含むストリームを出力するステップと、を含んでいる。
本発明の一側面に係るオーディオ符号化プログラムは、コンピュータを、複数の符号化部、選択部、生成部、及び、出力部として機能させる。
本発明の一側面に係るオーディオ符号化装置、オーディオ符号化方法、及びオーディオ符号化プログラムによれば、長期符号化処理情報により、符号化側においては、複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたこと、又は、複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを通知することができる。この長期符号化処理情報の通知により、復号側では、共通のオーディオ復号処理、又は、共通の一組のオーディオ復号処理が選択され得る。したがって、ストリーム内に含めるオーディオ符号化処理を特定するための情報の量を低減することができる。
一実施形態においては、ストリームには、少なくとも複数のフレームのうち先頭のフレームより後のフレームには、当該後のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていなくてもよい。
一実施形態においては、上記複数のフレームに対して、複数の符号化部(又は複数のオーディオ符号化処理)のうち所定の符号化部(又は所定のオーディオ符号化処理)が選択されてもよく、ストリームには、上記複数のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていなくてもよい。この形態によれば、ストリームの情報量をより低減することが可能である。また、一実施形態においては、長期符号化処理情報は、1ビットの情報であってもよい。この形態によれば、ストリームの情報量を更に低減することが可能である。
本発明の別の一側面は、オーディオ復号に関するものであり、オーディオ復号装置、オーディオ復号方法、及び、オーディオ復号プログラムを含み得る。
本発明の別の一側面に係るオーディオ復号装置は、複数の復号部、抽出部、及び、選択部を備えている。複数の復号部は、互いに異なるオーディオ復号処理を実行して符号系列からオーディオ信号を生成する。抽出部は、ストリームから長期符号化処理情報を抽出する。ストリームは、各々がオーディオ信号の符号系列を含む複数のフレーム、及び/又は、各々が複数のフレームを含む複数のスーパーフレームを有する。長期符号化処理情報は、複数のフレームに対して単一の長期符号化処理情報であり当該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す。或いは、長期符号化処理情報は、複数のスーパーフレームに対して単一の長期符号化処理情報であり当該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す。選択部は、長期符号化処理情報が抽出されたことに応じて、複数の復号部のうち、複数のフレームの符号系列の復号に共通に使用する復号部を選択する。或いは、選択部は、複数の復号部のうち、複数のスーパーフレームの符号系列の復号に共通に使用する一組の復号部を選択する。
本発明の別の一側面に係るオーディオ復号方法は、(a)各々がオーディオ信号の符号系列を含む複数のフレーム及び/又は各々が複数のフレームを含む複数のスーパーフレームを有するストリームから、当該複数のフレームに対して単一の長期符号化処理情報であり当該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す長期符号化処理情報、又は、当該複数のスーパーフレームに対して単一の長期符号化処理情報であり当該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す長期符号化処理情報を抽出するステップと、(b)長期符号化処理情報が抽出されたことに応じて、互いに異なる複数のオーディオ復号処理のうち、上記複数のフレームの符号系列の復号に共通に使用するオーディオ復号処理を選択し、又は、当該複数の復号処理のうち、上記複数のスーパーフレームの符号系列の復号に共通に使用する一組のオーディオ復号処理を選択するステップと、(c)選択されたオーディオ復号処理を使用して上記複数フレームの符号系列を復号し、又は、選択された上記一組のオーディオ復号処理を使用して上記複数のスーパーフレームの符号系列を復号するステップと、を含む。
本発明の別の一側面に係るオーディオ復号プログラムは、コンピュータを、複数の復号部、抽出部、及び、選択部として機能させる。
本発明の別の一側面に係るオーディオ復号装置、オーディオ復号方法、及びオーディオ復号プログラムによれば、上述した符号化に関する本発明の一側面に基づいて生成されたストリームからオーディオ信号を生成することが可能である。
一実施形態においては、ストリームには、少なくとも複数のフレームのうち先頭のフレームより後のフレームには、当該後のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていなくてもよい。
一実施形態においては、上記複数のフレームに対して、複数の復号部(又は複数のオーディオ復号処理)のうち所定の復号部(又は所定のオーディオ復号処理)が選択されてもよく、ストリームには、上記複数のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていなくてもよい。この形態によれば、ストリームにおける情報の量をより低減することが可能である。また、一実施形態においては、長期符号化処理情報は、1ビットの情報であってもよい。この形態によれば、ストリームにおける情報の量を更に低減することが可能である。
以上説明したように、本発明によれば、サイズの小さいストリームを生成し得るオーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム、並びに、サイズの小さいストリームを用いることができるオーディオ復号装置、オーディオ復号方法、及び、オーディオ復号プログラムが提供される。
一実施形態に係るオーディオ符号化装置を示す図である。 一実施形態に係るオーディオ符号化装置によって生成されるストリームを示す図である。 一実施形態に係るオーディオ符号化方法を示すフローチャートである。 一実施形態に係るオーディオ符号化プログラムを示す図である。 一実施形態に係るコンピュータのハードウェア構成を示す図である。 一実施形態に係るコンピュータを示す斜視図である。 変形態様に係るオーディオ符号化装置を示す図である。 一実施形態に係るオーディオ復号装置を示す図である。 一実施形態に係るオーディオ復号方法を示すフローチャートである。 一実施形態に係るオーディオ復号プログラムを示す図である。 別の一実施形態に係るオーディオ符号化装置を示す図である。 従来のMPEG USACに従って生成されるストリームと図11に示すオーディオ符号化装置によって生成されるストリームとを示す図である。 別の一実施形態に係るオーディオ符号化方法のフローチャートである。 別の一実施形態に係るオーディオ符号化プログラムを示す図である。 別の一実施形態に係るオーディオ復号装置を示す図である。 別の一実施形態に係るオーディオ復号方法のフローチャートである。 mod[k]とa(mod[k])の関係を示す図である。 別の一実施形態に係るオーディオ復号プログラムを示す図である。 更に別の一実施形態に係るオーディオ符号化装置を示す図である。 従来のAMR WB+に従って生成されるストリームと図19に示すオーディオ符号化装置によって生成されるストリームとを示す図である。 更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。 更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。 更に別の一実施形態に係るオーディオ復号装置を示す図である。 更に別の一実施形態に係るオーディオ復号方法のフローチャートである。 更に別の一実施形態に係るオーディオ復号プログラムを示す図である。 更に別の一実施形態に係るオーディオ符号化装置を示す図である。 図26に示すオーディオ符号化装置によって生成されるストリームを示す図である。 更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。 更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。 更に別の一実施形態に係るオーディオ復号装置を示す図である。 更に別の一実施形態に係るオーディオ復号方法のフローチャートである。 更に別の一実施形態に係るオーディオ復号プログラムを示す図である。 更に別の一実施形態に係るオーディオ符号化装置を示す図である。 従来のMPEG USACに従って生成されるストリームと図33に示すオーディオ符号化装置によって生成されるストリームとを示す図である。 更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。 更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。 更に別の一実施形態に係るオーディオ復号装置を示す図である。 更に別の一実施形態に係るオーディオ復号方法のフローチャートである。 更に別の一実施形態に係るオーディオ復号プログラムを示す図である。 更に別の一実施形態に係るオーディオ符号化装置を示す図である。 図40に示すオーディオ符号化装置によって生成されるストリームを示す図である。 更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。 更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。 更に別の一実施形態に係るオーディオ復号装置を示す図である。 更に別の一実施形態に係るオーディオ復号方法のフローチャートである。 更に別の一実施形態に係るオーディオ復号プログラムを示す図である。 更に別の一実施形態に係るオーディオ符号化装置を示す図である。 従来のAMR WB+に従って生成されるストリームと図47に示すオーディオ符号化装置によって生成されるストリームとを示す図である。 更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。 更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。 更に別の一実施形態に係るオーディオ復号装置を示す図である。 更に別の一実施形態に係るオーディオ復号方法のフローチャートである。 更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
図1は、一実施形態に係るオーディオ符号化装置を示す図である。図1に示すオーディオ符号化装置10は、入力端子In1に入力される複数のフレームのオーディオ信号を、共通のオーディオ符号化処理を使用して符号化し得るものである。図1に示すように、オーディオ符号化装置10は、複数の符号化部10a〜10a、選択部10b、生成部10c、及び、出力部10dを備えている。ここで、nは2以上の整数である。
符号化部10a〜10aは、互いに異なるオーディオ符号化処理を実行してオーディオ信号から符号系列を生成する。これらオーディオ符号化処理には、任意のオーディオ符号化処理を採用し得る。例えば、オーディオ符号化処理として、Modified AAC符号化処理、ACELP符号化処理、及びTCX符号化処理といった処理が使用され得る。
選択部10bは、入力端子In2に入力される入力情報に応じて、符号化部10a〜10aのうち一つの符号化部を選択する。入力情報は、例えば、ユーザによって入力されるものである。一実施形態においては、この入力情報は、複数のフレームのオーディオ信号に共通に使用されるオーディオ符号化処理を特定する情報であり得る。選択部10bは、スイッチSWを制御して、符号化部10a〜10aのうち入力情報によって特定されるオーディオ符号化処理を実行する符号化部と入力端子In1とを結合し得る。
生成部10cは、入力情報に基づいて長期符号化処理情報を生成する。長期符号化処理情報は、複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す情報である。また、長期符号化処理情報は、復号側にて識別可能なユニークワードであってもよい。また、一実施形態においては、複数のフレームの符号系列の生成に共通に使用されたオーディオ符号化処理を復号側にて特定し得る情報であってもよい。
出力部10dは、選択された符号化部によって生成された複数のフレームの符号系列、及び、生成部10cによって生成された長期符号化処理情報を含むストリームを出力する。
図2は、一実施形態に係るオーディオ符号化装置によって生成されるストリームを示す図である。図2に示すストリームは、第1〜第mの複数のフレームを含んでいる。ここで、mは、2以上の整数である。以下、ストリームにおけるフレームのことを、出力フレームということがある。各出力フレームには、入力オーディオ信号において当該出力フレームに対応するフレームのオーディオ信号から生成された符号系列が含まれている。また、ストリームの第1フレームには、パラメータ情報として、長期符号化処理情報が付加され得る。
以下、オーディオ符号化装置10の動作と、一実施形態のオーディオ符号化方法について説明する。図3は、一実施形態に係るオーディオ符号化方法を示すフローチャートである。図3に示すように、一実施形態においては、ステップS10−1において、選択部10bが、入力情報に基づいて符号化部10a〜10aのうち一つの符号化部を選択する。
次いで、ステップS10−2において、生成部10cが、入力情報に基づいて長期符号化処理情報を生成する。続くステップS10−3において、出力部10dが、パラメータ情報として、第1フレームに長期符号化処理情報を付加する。
次いで、ステップS10−4において、選択部10bによって選択された符号化部が、現在の符号化対象のフレームのオーディオ信号を符号化して、符号系列を生成する。続くステップS10−5において、出力部10dが、符号化対象のフレームに対応するストリーム内の出力フレームに、符号化部によって生成された符号系列を含め、当該出力フレームを出力する。
続くステップS10−5においては、符号化していないフレームが存在するか否かの判定が行われる。符号化していないフレームが存在しない場合には、処理は終了する。一方、更に符号化すべきフレームが存在する場合には、符号化していないフレームを対象にステップS10−4からの一連の処理が継続される。
以上説明したオーディオ符号化装置10及び一実施形態のオーディオ符号化方法によれば、ストリームの第1フレームのみに長期符号化処理情報が含まれている。即ち、ストリームにおいて第2フレームより後のフレームには、使用されたオーディオ符号化処理を特定するための情報が含まれていない。したがって、サイズの小さい効率的なストリームが生成され得る。
以下、コンピュータをオーディオ符号化装置10として動作させるプログラムについて説明する。図4は、一実施形態に係るオーディオ符号化プログラムを示す図である。図5は、一実施形態に係るコンピュータのハードウェア構成を示す図である。図6は、一実施形態に係るコンピュータを示す斜視図である。図4に示すオーディオ符号化プログラムP10は、図5に示すコンピュータC10をオーディオ符号化装置10として動作させることができる。なお、本明細書に説明するプログラムは、図5に示すようなコンピュータに限定されず、携帯電話や、携帯情報端末といった任意の装置を、当該プログラムに従って動作させることができる。
オーディオ符号化プログラムP10は、記録媒体SMに格納されて提供され得る。なお、記録媒体SMとしては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
図5に示すように、コンピュータC10は、フロッピーディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置C12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)C14と、記録媒体SMに記憶されたプログラムを記憶するメモリC16と、ディスプレイといった表示装置C18と、入力装置であるマウスC20及びキーボードC22と、データ等の送受を行うための通信装置C24と、プログラムの実行を制御するCPU C26と、を備え得る。
コンピュータC10は、記録媒体SMが読取装置C12に挿入されると、読取装置C12から記録媒体SMに格納されたオーディオ符号化プログラムP10にアクセス可能になり、当該プログラムP10によって、オーディオ符号化装置10として動作することが可能になる。
図6に示すように、オーディオ符号化プログラムP10は、搬送波に重畳されたコンピュータデータ信号CWとしてネットワークを介して提供されるものであってもよい。この場合、コンピュータC10は、通信装置C24によって受信したオーディオ符号化プログラムP10をメモリC16に格納し、プログラムP10を実行することができる。
図4に示すように、オーディオ符号化プログラムP10は、複数の符号化モジュールM10a〜M10a、選択モジュールM10b、生成モジュールM10c、及び、出力モジュールM10dを備えている。
一実施形態においては、符号化モジュール部M10a〜M10a、選択モジュールM10b、生成モジュールM10c、出力モジュールM10dは、符号化部10a〜10a、選択部10b、生成部10c、出力部10dとそれぞれ同様の機能をコンピュータC10に実行させる。かかるオーディオ符号化プログラムP10によれば、コンピュータC10は、オーディオ符号化装置10として動作することが可能となる。
ここで、オーディオ符号化装置10の変形態様について説明する。図7は、変形態様に係るオーディオ符号化装置を示す図である。オーディオ符号化装置10では、入力情報に基づいて符号化部(符号化処理)が選択されるが、図7に示すオーディオ符号化装置10Aでは、オーディオ信号の解析結果に基づいて符号化部が選択される。そのために、オーディオ符号化装置10Aは、解析部10eを備えている。
解析部10eは、複数のフレームのオーディオ信号を解析して、当該複数のフレームのオーディ信号の符号化に適したオーディオ符号化処理を決定する。解析部10eは、決定したオーディオ符号化処理を特定する情報を、選択部10bに与えて、選択部10bに当該オーディオ符号化処理を実行する符号化部を選択させる。また、解析部10eは、決定したオーディオ符号化処理を特定する情報を、生成部10cに与えて、生成部10cに長期符号化処理情報を生成させる。
解析部10eは、例えば、オーディオ信号のトーン性、ピッチ周期、時間包絡,過渡的成分(突然の信号の立ち上がり/下がり)を解析し得る。例えば、解析部10eは、オーディオ信号のトーン性が所定のトーン性より強い場合には周波数領域の符号化を行うオーディオ符号化処理を使用するように決定をなすことができる。また、解析部10eは、例えば、オーディオ信号のピッチ周期が所定の範囲内にある場合には当該オーディオ信号の符号化に適したオーディオ符号化処理を使用するように決定をなすことができる。さらに、解析部10eは、例えば、オーディオ信号の時間包絡の変動が所定の変動より大きい場合、又は、オーディオ信号が過渡成分を含む場合には、時間領域の符号化を行うオーディオ符号化処理を使用するように決定をなすことができる。
以下、オーディオ符号化装置10によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図8は、一実施形態に係るオーディオ復号装置を示す図である。図8に示すオーディオ復号装置12は、複数の復号部12a〜12a、抽出部12b、及び、選択部12cを備えている。復号部12a〜12aは、互いに異なるオーディオ復号処理を実行して符号系列からオーディオ信号を生成する。復号部12a〜12aの処理は、符号化部10a〜10aの処理とそれぞれ対称の処理である。
抽出部12bは、入力端子Inに入力されるストリームから長期符号化処理情報(図3を参照)を抽出する。抽出部12bは、抽出した長期符号化処理情報を選択部12cに与え、長期符号化処理情報を取り除いたストリームの残部をスイッチSWへと出力し得る。
選択部12cは、長期符号化処理情報に基づいてスイッチSWを制御する。選択部12cは、復号部12a〜12aのうち、長期符号化処理情報に基づいて特定される符号化処理を実行する復号部を選択する。また、選択部12cは、ストリームに含まれる複数のフレームが選択した復号部に結合されるよう、スイッチSWを制御する。
以下、オーディオ復号装置12の動作、及び、一実施形態に係るオーディオ復号方法について説明する。図9は、一実施形態に係るオーディオ復号方法を示すフローチャートである。図9に示すように、一実施形態においては、ステップS12−1において、抽出部12bが、ストリームから長期符号化処理情報を抽出する。続くステップS12−2において、選択部12cが、抽出された長期符号化処理情報に応じて復号部12a〜12aから一つの復号部を選択する。
続くステップS12−3において、選択された復号部が、復号対象のフレームの符号系列を復号する。次いで、ステップS12−4で復号していないフレームが存在するか否かが判定される。復号していないフレームが存在しない場合には、処理は終了する。一方、復号していないフレームが存在する場合には、当該フレームを対象に、ステップS12−2において選択された復号部を用いて、ステップS12−3からの処理が継続される。
以下、コンピュータをオーディオ復号装置12として動作させ得るオーディオ復号プログラムについて説明する。図10は、一実施形態に係るオーディオ復号プログラムを示す図である。
図10に示すオーディオ復号プログラムP12は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP12は、オーディオ符号化プログラムP10と同様に提供され得る。
図10に示すように、オーディオ復号プログラムP12は、復号モジュールM12a〜M12a、抽出モジュールM12b、及び、選択モジュールM12cを備えている。復号モジュールM12a〜M12a、抽出モジュールM12b、選択モジュールM12cは、復号部12a〜12a、抽出部12b、選択部12cとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、別の一実施形態に係るオーディオ符号化装置について説明する。図11は、別の一実施形態に係るオーディオ符号化装置を示す図である。図11に示すオーディオ符号化装置14は、MPEG USACの拡張において使用し得る装置である。
図12は、従来のMPEG USACに従って生成されるストリームと図11に示すオーディオ符号化装置によって生成されるストリームとを示す図である。図12に示すように、従来のMPEG USACでは、ストリームにおける各フレームに、FD(Modified AAC)が使用されたかLPD(ACELP又はTCX)が使用されたかを示す情報、即ち、1ビットのcore_modeが付加される。また、従来のMPEG USACでは、LPDが使用されるフレームは4つのフレームを含むスーパーフレーム構造を有している。LPDが使用される場合には、スーパーフレームの各フレームの符号化にACELP又はTCXの何れが使用されたかを示す情報として、4ビットのlpd_modeが、そのスーパーフレームに付加されている。
図11に示すオーディオ符号化装置14は、全てのフレームのオーディオ信号を共通のオーディオ符号化処理によって符号化し得る。また、オーディオ符号化装置14は、従来のMPEG_USACと同様に、各フレームに使用するオーディオ符号化処理を切り替えることも可能である。なお、一実施形態においては、オーディオ符号化装置は、全てのスーパーフレームにLPD、即ち、一組のオーディオ符号化処理を共通に使用してもよい。
図11に示すように、オーディオ符号化装置14は、ACELP符号化部14a、TCX符号化部14a、Modified AAC符号化部14a、選択部14b、生成部14c、出力部14d、ヘッダ生成部14e、第1判定部14f、core_mode生成部14g、第2判定部14h、lpd_mode生成部14i、MPS符号化部14m、及び、SBR符号化部14nを備えている。
MPS符号化部14mは、入力端子In1に入力されるオーディオ信号を受ける。MPS符号化部14mに入力されるオーディオ信号は、2チャネル以上のマルチチャネルのオーディオ信号であり得る。MPS符号化部14mは、各フレームのマルチチャネルのオーディオ信号を、当該マルチチャネルのチャネル数より少ないチャネル数のオーディオ信号と、当該より少ないチャネル数のオーディオ信号からマルチチャネルのオーディ信号を復号するためのパラメータとで表現する。
マルチチャネルのオーディオ信号がステレオ信号である場合には、MPS符号化部14mは、当該ステレオ信号をダウンミックスすることによりモノラルのオーディオ信号を生成する。また、MPS符号化部14mは、モノラル信号からステレオ信号を復号するためのパラメータとして、モノラル信号とステレオ信号の各チャネルとの間のレベル差、位相差、及び/又は、相関値を生成する。MPS符号化部14mは、生成したモノラル信号をSBR符号化部14nへ出力し、生成したパラメータを符号化することによって得た符号化データを出力部14dに出力する。なお、ステレオ信号は、モノラル信号と残差信号、及び、パラメータによって表現されてもよい。
SBR符号化部14nは、MPS符号化部14mから各フレームのオーディオ信号を受ける。SBR符号化部14nが受けるオーディオ信号は、例えば、上述したモノラル信号であり得る。SBR符号化部14nは、入力端子In1に入力されるオーディオ信号がモノラル信号である場合には、当該オーディオ信号を受ける。SBR符号化部14nは、所定の周波数を基準として、入力されたオーディオ信号から低周波帯域のオーディオ信号及び高周波帯域のオーディオ信号を生成する。また、SBR符号化部14nは、低周波帯域のオーディオ信号から高周波帯域のオーディオ信号を生成するためのパラメータを算出する。当該パラメータとしては、例えば、所定の周波数を表す周波数情報、時間・周波数分解能情報、スペクトル包絡情報、付加雑音情報、及び、付加正弦波情報といった情報が利用され得る。SBR符号化部14nは、低周波帯域のオーディオ信号をスイッチSW1へ出力する。また、SBR符号化部14nは、算出したパラメータを符号化することによって得た符号化データを出力部14dへ出力する。
符号化部14aは、ACELP符号化処理によりオーディオ信号を符号化して符号系列を生成する。符号化部14aは、TCX符号化処理によりオーディオ信号を符号化して符号系列を生成する。符号化部14aは、Modified AAC符号化処理によりオーディオ信号を符号化して符号系列を生成する。
選択部14bは、入力端子In2に入力される入力情報に応じて、スイッチSW1に入力される複数のフレームのオーディオ信号を符号化する符号化部を選択する。本実施形態では、入力情報は、ユーザによって入力され得る情報であり得る。また、入力情報は、複数のフレームを共通の一つの符号化処理により符号化するか否かを示す情報であり得る。
本実施形態では、選択部14bは、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化することを示す場合に、所定の符号化処理を実行する所定の符号化部を選択する。例えば、説明するように、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化することを示す場合に、選択部14bは、スイッチSW1を制御して、ACELP符号化部14aを所定の符号化部として選択することができる。したがって、本実施形態では、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化することを示す場合には、ACELP符号化部14aによって複数のフレームのオーディオ信号が符号化される。
一方、選択部14bは、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化しないことを示す場合に、スイッチSW1に入力される各フレームのオーディオ信号を、第1判定部14f等に繋がるパスへと結合する。
生成部14cは、入力情報に基づいて長期符号化処理情報を生成する。図12に示すように、長期符号化処理情報としては、1ビットのGEM_IDが用いられ得る。また、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化することを示す場合には、生成部14cは、GEM_IDの値「1」に設定し得る。一方、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化しないことを示す場合には、生成部14cは、GEM_IDの値「0」に設定し得る。
ヘッダ生成部14eは、ストリームに含めるヘッダを生成し、設定されたGEM_IDを当該ヘッダに含める。図12に示すように、このヘッダは、出力部14dから出力されるときに、第1フレームに含められ得る。
第1判定部14fは、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化しないことを示す場合に、SW1を介して符号化対象のフレームのオーディオ信号を受ける。第1判定部14fは、符号化対象のフレームのオーディオ信号を解析して、Modified AAC符号化部14aにより当該オーディオ信号を符号化すべきか否かを判定する。
第1判定部14fは、符号化対象のフレームのオーディオ信号をModified AAC符号化部14aにより符号化すべきであると判定する場合には、スイッチSW2を制御して、当該フレームをModified AAC符号化部14aに結合する。
一方、第1判定部14fは、符号化対象のフレームのオーディオ信号をModified AAC符号化部14aにより符号化すべきでないと判定する場合には、スイッチSW2を制御して、当該フレームを第2判定部14h及びスイッチSW3に結合する。この場合に、符号化対象のフレームは、後続の処理において、4つのフレームに分割され、当該4つのフレームを含むスーパーフレームとして取り扱われる。
なお、第1判定部14fは、例えば、符号化対象のフレームのオーディ信号を解析して、当該オーディオ信号が所定量以上のトーン成分を有する場合には、Modified AAC符号化部14aを当該フレームの音声信号用の符号化部として選択し得る。
core_mode生成部14gは、第1判定部14fの判定結果に応じて、core_modeを生成する。図12に示すように、core_modeは1ビットの情報である。core_mode生成部14gは、第1判定部14fが符号化対象のフレームのオーディオ信号をModified AAC符号化部14aにより符号化すべきであると判定した場合には、core_modeの値を「0」に設定する。一方、core_mode生成部14gは、第1判定部14fが判定対象のフレームのオーディオ信号をModified AAC符号化部14aにより符号化すべきでないと判定した場合には、core_modeの値を「1」に設定する。このcore_modeは、出力部14dから出力されるときに、符号化対象のフレームに対応するストリーム内の出力フレームにパラメータ情報として付加される。
第2判定部14hは、スイッチSW2を介して符号化対象のスーパーフレームのオーディオ信号を受ける。第2判定部14hは、符号化対象のスーパーフレームにおける各フレームのオーディオ信号をACELP符号化部14aにより符号化すべきか又はTCX符号化部14aで符号化すべきかを判定する。
第2判定部14hは、符号化対象のフレームのオーディオ信号をACELP符号化部14aにより符号化すべきと判定する場合に、スイッチSW3を制御して当該フレームのオーディオ信号をACELP符号化部14aに結合する。一方、第2判定部14hは、符号化対象のフレームのオーディオ信号をTCX符号化部14aにより符号化すべきと判定する場合に、スイッチSW3を制御して当該フレームのオーディオ信号をTCX符号化部14aに結合する。
第2判定部14hは、例えば、符号化対象のフレームのオーディオ信号が強い音声成分を有する信号である場合、当該オーディオ信号の時間包絡が短時間で所定の変動より大きく変動する場合、又は、当該オーディオ信号が過渡的成分を含む場合には、当該オーディオ信号をACELP符号化部14aにより符号化すべきと判定し得る。第2判定部14hは、その他の場合には、当該オーディオ信号をTCX符号化部14aにより符号化すべきと判定し得る。なお、オーディオ信号が強い音声成分を有する信号である場合とは、当該オーディオ信号のピッチ周期が所定の範囲内にある場合、ピッチ周期のときの自己相関が所定の自己相関より強い場合、又は、ゼロクロスレートが所定のレートより小さい場合であり得る。
lpd_mode生成部14iは、第2判定部14hの判定結果に応じてlpd_modeを生成する。図12に示すようにlpd_modeは、4ビットの情報である。lpd_mode生成部14iは、第2判定部14hからのスーパーフレームにおける各フレームのオーディオ信号に対する判定結果に対応する所定の値に、lpd_modeの値を設定する。lpd_mode生成部14iによって値が設定されたlpd_modeは、出力部14dから出力されるときに、符号化対象のスーパーフレームに対応するストリーム内の出力スーパーフレームに付加される。
出力部14dは、ストリームを出力する。ストリームには、上述したGEM_IDを含むヘッダ及び対応の符号系列を有する第1フレーム、及び、対応の符号系列をそれぞれ有する第2〜第mフレーム(mは2以上の整数)が含まれる。また、出力部14dは、各出力フレームに、MPS符号化部14mによって生成されたパラメータの符号化データ及びSBR符号化部14nによって生成されたパラメータの符号化データを含める。
以下、オーディオ符号化装置14の動作、及び、別の一実施形態に係るオーディオ符号化方法について説明する。図13は、別の一実施形態に係るオーディオ符号化方法のフローチャートである。
図13に示すように、一実施形態においては、ステップS14−1において、生成部14cが、入力情報に基づいて、上述したようにGEM_IDを生成(設定)する。続くステップS14−2において、ヘッダ生成部14eが、設定されたGEM_IDを含むヘッダを生成する。
次いで、ステップS14−pに示す判定により、入力端子In1に入力されるオーディオ信号がマルチチャネル信号であると判断される場合には、ステップS14−mにおいて、MPS符号化部14mが、上述したように、入力される符号化対象のフレームのマルチチャネルのオーディオ信号から、マルチチャネルのチャネル数より少ないチャネル数のオーディオ信号と、当該より少ないチャネル数のオーディオ信号からマルチチャネルのオーディ信号を復号するためのパラメータと、を生成する。また、MPS符号化部14mが、当該パラメータの符号化データを生成する。この符号化データは、出力部14dにより、対応の出力フレームに含められる。一方、入力端子In1に入力されるオーディオ信号がモノラル信号である場合には、MPS符号化部14mは動作せず、入力端子In1に入力されるオーディオ信号は、SBR符号化部14nに入力される。
次いで、ステップS14−nにおいて、SBR符号化部14nが、上述したように、入力されるオーディオ信号から、低周波帯域のオーディオ信号と、低周波帯域のオーディオ信号から高周波帯域のオーディオ信号を生成するためのパラメータと、を生成する。また、SBR符号化部14nが、当該パラメータの符号化データを生成する。この符号化データは、出力部14dにより、対応の出力フレームに含められる。
次いで、ステップS14−3において、選択部14bが、入力情報に基づいて、複数のフレームのオーディオ信号、即ち、SBR符号化部14nから出力された複数のフレームの低周波帯域のオーディオ信号を共通のオーディオ符号化処理により符号化するか否かを判定する。
ステップS14−3において、入力情報が複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化することを示す場合、即ち、GEM_IDの値が「1」である場合には、選択部14bは、ACELP符号化部14aを選択する。
次いで、ステップS14−4において、選択部14bによって選択されたACELP符号化部14aが、符号化対象のフレームのオーディオ信号を符号化して、符号系列を生成する。
次いで、ステップS14−5において、出力部14dが、フレームにヘッダを付加するか否かを判断する。ステップS14−5においては、出力部14dは、符号化対象のフレームが第1フレームである場合に、当該符号化対象のフレームに対応するストリーム内の第1フレームにヘッダを付加するものと判定し、続くステップS14−6において、第1フレームにヘッダ及び符号系列を含めて、当該第1フレームを出力する。一方、第2フレーム以降のフレームの場合には、ヘッダは付加されず、ステップS14−7において、出力部14dが、フレームに符号系列を含めて出力する。
次いで、ステップS14−8において、符号化していないフレームが存在するか否かが判断される。符号化していないフレームが存在しない場合には、処理が終了する。一方、符号化していないフレームが存在する場合には、符号化していないフレームを対象にステップS14−mからの処理が継続される。
このように、本実施形態では、GEM_IDの値が「1」である場合には、ACELP符号化部14aが、複数のフレームのオーディオ信号の全ての符号化に継続して使用される。
ステップS14−3において、GEM_IDの値が「0」であると判断される場合、即ち、入力情報が、各フレームが個別の符号化処理方法によって処理されるべきことを示す場合には、ステップS14−9において、第1判定部14fが、符号化対象のフレームのオーディオ信号、即ち、SBR符号化部14nから出力された符号化対象のフレームの低周波帯域のオーディオ信号をModified AAC符号化部14aにより符号化すべきか否かを判定する。続くステップS14−10においては、core_mode生成部14gが、第1判定部14fによる判定結果に応じた値にcore_modeの値を設定する。
次いで、ステップS14−11において、第1判定部14fの判定結果がModified AAC符号化部14aにより符号化対象のフレームのオーディオ信号を符号化すべきことを示しているか否かが判定される。第1判定部14fの判定結果がModified AAC符号化部14aにより符号化対象のフレームのオーディオ信号を符号化すべきことを示している場合には、続くステップS14−12において、符号化対象のフレームのオーディオ信号がModified AAC符号化部14aによって符号化される。
次いで、ステップS14−13において、出力部14dが、符号化対象のフレームに対応するストリーム内の出力フレーム(又はスーパーフレーム)にcore_modeを付加する。そして、処理は、ステップS14−5に進む。
ステップS14−11において、第1判定部14fの判定結果がModified AAC符号化部14aにより符号化対象のフレームのオーディオ信号を符号化すべきでないことを示している場合には、ステップS14−14からの処理は、符号化対象のフレームをスーパーフレームとして取り扱う。
ステップS14−14においては、第2判定部14hが、スーパーフレームにおける各フレームをACELP符号化部14aで符号化すべきか、TCX符号化部14aで符号化すべきかを判定する。続くステップS14−15においては、lpd_mode生成部14iが、第2判定部14hの判定結果に応じた値にlpd_modeを設定する。
次いで、ステップS14−16において、第2判定部14hの判定結果が、スーパーフレーム内の符号化対象のフレームをACELP符号化部14aで符号化すべきことを示しているか、当該符号化対象のフレームをTCX符号化部14aで符号化すべきことを示しているかが判定される。
第2判定部14hの判定結果が符号化対象のフレームをACELP符号化部14aで符号化すべきことを示している場合には、ステップS14−17において、符号化対象のフレームのオーディオ信号がACELP符号化部14aによって符号化される。一方、第2判定部14hの判定結果が符号化対象のフレームをTCX符号化部14aで符号化すべきことを示している場合には、ステップS14−18において、符号化対象のフレームのオーディオ信号がTCX符号化部14aによって符号化される。
次いで、ステップS14−19において、符号化対象のスーパーフレームに対応するストリーム内の出力スーパーフレームにlpd_modeが付加される。そして、処理は、ステップS14−13に進む。
以上説明したオーディオ符号化装置14及びオーディオ符号化方法によれば、「1」に設定したGEM_IDをヘッダに含めることにより、各フレームに使用されたオーディオ符号化処理を特定する情報を含めることなく、複数のフレームのオーディオ信号をACELP符号化部のみで符号化したことを復号側に通知することができる。したがって、よりサイズの小さいストリームが生成される。
以下、コンピュータをオーディオ符号化装置14として動作させるオーディオ符号化プログラムについて説明する。図14は、別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図14に示すオーディオ符号化プログラムP14は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP14は、オーディオ符号化プログラムP10と同様に提供され得る。
図14に示すように、オーディオ符号化プログラムP14は、ACELP符号化モジュールM14a、TCX符号化モジュールM14a、Modified AAC符号化モジュールM14a、選択モジュールM14b、生成モジュールM14c、出力モジュールM14d、ヘッダ生成モジュールM14e、第1判定モジュールM14f、core_mode生成モジュールM14g、第2判定モジュールM14h、lpd_mode生成モジュールM14i、MPS符号化モジュールM14m、及び、SBR符号化モジュール14nを備えている。
ACELP符号化モジュールM14a、TCX符号化モジュールM14a、Modified AAC符号化モジュールM14a、選択モジュールM14b、生成モジュールM14c、出力モジュールM14d、ヘッダ生成モジュールM14e、第1判定モジュールM14f、core_mode生成モジュールM14g、第2判定モジュールM14h、lpd_mode生成モジュールM14i、MPS符号化モジュールM14m、及び、SBR符号化モジュール14nは、ACELP符号化部14a、TCX符号化部14a、Modified AAC符号化部14a、選択部14b、生成部14c、出力部14d、ヘッダ生成部14e、第1判定部14f、core_mode生成部14g、第2判定部14h、lpd_mode生成部14i、MPS符号化部14m、SBR符号化部14nとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、オーディオ符号化装置14によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図15は、別の一実施形態に係るオーディオ復号装置を示す図である。図15に示すオーディオ復号装置16は、ACELP復号部16a、TCX復号部16a、Modified AAC復号部16a、抽出部16b、選択部16c、ヘッダ解析部16d、core_mode抽出部16e、第1選択部16f、lpd_mode抽出部16g、第2選択部16h、MPS復号部16m、及び、SBR復号部16nを備えている。
ACELP復号部16aは、ACELP復号処理によりフレーム内の符号系列を復号して、オーディオ信号を生成する。TCX復号部16aは、TCX復号処理によりフレーム内の符号系列を復号して、オーディオ信号を生成する。Modified AAC復号部16aは、Modified AAC復号処理によりフレーム内の符号系列を復号して、オーディオ信号を生成する。一実施形態においては、これらの復号部から出力されるオーディオ信号は、オーディオ符号化装置14に関して上述した低周波帯域のオーディ信号である。
ヘッダ解析部16dは、第1フレームからヘッダを分離し得る。ヘッダ解析部16dは、分離したヘッダを抽出部16bに提供し、ヘッダが分離された第1フレーム、及び後続のフレームを、スイッチSW1、MPS復号部16m、及びSBR復号部16nへと出力する。
抽出部16bは、ヘッダからGEM_IDを抽出する。選択部16cは、抽出されたGEM_IDに応じて、複数のフレームの符号系列の復号に用いる復号部を選択する。具体的に、選択部16cは、GEM_IDの値が「1」の場合には、スイッチSW1を制御して、複数のフレームの全てをACELP復号部16aに結合する。一方、GEM_IDの値が「0」の場合には、選択部16cは、スイッチSW1を制御して、復号対象のフレーム(又はスーパーフレーム)をcore_mode抽出部16eに結合する。
core_mode抽出部16eは、復号対象のフレーム(又はスーパーフレーム)内のcore_modeを抽出し、当該core_modeを第1選択部16fに提供する。第1選択部16fは、提供されたcore_modeの値に応じて、スイッチSW2を制御する。具体的に、core_modeの値が「0」である場合には、第1選択部16fは、スイッチSW2を制御して、復号対象のフレームをModified AAC復号部16aに結合する。これにより、復号対象のフレームがModified AAC復号部16aに入力される。一方、core_modeの値が「1」である場合には、第1選択部16fは、スイッチSW2を制御して、復号対象のスーパーフレームをlpd_mode抽出部16gに結合する。
lpd_mode抽出部16gは、復号対象のフレーム、即ちスーパーフレームからcore_modeを抽出する。lpd_mode抽出部16gは、抽出したcore_modeを第2選択部16hに結合する。第2選択部16hは、入力されたcore_modeに応じて、lpd_mode抽出部16gから出力される復号対象のスーパーフレーム内の各フレームを、ACELP復号部16a又はTCX復号部16aに結合する。
具体的に、第2選択部16hは、lpd_modeの値に関連付けられた所定のテーブルを参照して、mod[k](k=0,1,2,3)の値を設定する。そして、第2選択部16hは、mod[k]の値に応じて、スイッチSW3を制御して、復号対象のスーパーフレーム内の各フレームを、ACELP復号部16a又はTCX復号部16aに結合する。なお、mod[k]の値と、ACELP復号部16a又はTCX復号部16aの選択の関係については、後述する。
SBR復号部16nは、復号部16a、16a、及び16aから低周波帯域のオーディオ信号を受ける。SBR復号部16nは、また、復号対象のフレームに含まれる符号化データを復号することにより、パラメータを復元する。SBR復号部16nは、低周波帯域のオーディオ信号及び復元したパラメータを用いて高周波帯域のオーディ信号を生成する。また、SBR復号部16nは、高周波帯域のオーディオ信号及び低周波帯域のオーディオ信号を合成することにより、オーディオ信号を生成する。
MPS復号部16mは、SBR復号部16nからオーディオ信号を受ける。このオーディオ信号は、復元すべきオーディオ信号がステレオ信号である場合には、モノラルのオーディオ信号で有り得る。MPS復号部16mは、また、復号対象のフレームに含まれる符号化データを復号することにより、パラメータを復元する。また、MPS復号部16mは、SBR復号部16nから受けたオーディオ信号と復元したパラメータを用いて、マルチチャネルのオーディオ信号を生成し、当該マルチチャネルのオーディオ信号を出力する。復元すべきオーディオ信号がモノラル信号である場合には、MPS復号部16mは動作せず、上記SBR復号部16nが生成するオーディオ信号を出力する。
以下、オーディオ復号装置16の動作と、別の一実施形態に係るオーディオ復号方法について説明する。図16は、別の一実施形態に係るオーディオ復号方法のフローチャートである。
図16に示すように、一実施形態においては、ステップS16−1において、ヘッダ解析部16dがストリームからヘッダを分離する。続くステップS16−2において、抽出部16bが、ヘッダ解析部16dから提供されるヘッダからGEM_IDを抽出する。
次いで、ステップS16−3において、選択部16cが、抽出部16bによって抽出されたGEM_IDの値に応じて、複数のフレームを復号する復号部を選択する。具体的には、GEM_IDの値が「1」の場合には、選択部16cは、ACELP復号部16aを選択する。この場合には、ステップS16−4において、ACELP復号部16aが、復号対象のフレーム内の符号系列を復号する。ステップS16−4により生成されるオーディオ信号は、上述した低周波帯域のオーディオ信号である。
次いで、ステップS16−nにおいて、SBR復号部16nが、復号対象のフレームに含まれる符号化データを復号することにより、パラメータを復元する。また、ステップS16−nにおいては、SBR復号部16nが、入力された低周波帯域のオーディオ信号及び復元したパラメータを用いて高周波帯域のオーディ信号を生成する。また、ステップS16−nにおいては、SBR復号部16nが、高周波帯域のオーディオ信号及び低周波帯域のオーディオ信号を合成することにより、オーディオ信号を生成する。
次いで、ステップS16−pにおける判定によりマルチチャネル信号を処理の対象としていると判断される場合には、続くステップS16−mにおいて、MPS復号部16mが、復号対象のフレームに含まれる符号化データを復号することにより、パラメータを復元する。また、ステップS16−mにおいては、MPS復号部16mが、SBR復号部16nから受けたオーディオ信号と復元したパラメータを用いて、マルチチャネルのオーディオ信号を生成し、当該マルチチャネルのオーディオ信号を出力する。一方、モノラル信号を処理の対象としていると判断される場合には、SBR復号部16nが生成するオーディオ信号を出力する。
次いで、ステップS16−5において、復号していないフレームが存在するか否かの判定が行われる。復号していないフレームが存在しない場合には、処理は終了する。一方、復号しないフレームが存在する場合には、復号していないフレームを対象にステップS16−4からの処理が継続される。これにより、GEM_IDの値が「1」である場合には、複数のフレームの符号系列が、共通の復号部、即ち、ACELP復号部16aにより復号される。
ステップS16−3に戻り、GEM_IDの値が「0」である場合には、選択部16cは、復号対象のフレームをcore_mode抽出部16eに結合する。この場合には、ステップS16−6において、core_mode抽出部16eが、復号対象のフレームからcore_modeを抽出する。
次いで、ステップS16−7において、第1選択部16fが、抽出されたcore_modeに応じて、Modified AAC復号部16a又はlpd_mode抽出部16gを選択する。具体的には、core_modeの値が「0」である場合には、第1選択部16fは、Modified AAC復号部16aを選択し、復号対象のフレームをModified AAC復号部16aに結合する。この場合には、続くステップS16−8おいて、処理対象のフレーム内の符号系列がModified AAC復号部16aによって復号される。このステップS16−8において生成されるオーディオ信号は、上述した低周波帯域のオーディオ信号である。このステップS16−8に続き、上述したSBR復号処理(ステップS16−n)及びMPS復号処理(ステップS16−m)が行われる。
次いで、ステップS16−9において、復号していないフレームが存在するか否かが判定され、復号していないフレームが存在しない場合には、処理が終了する。一方、復号していないフレームが存在する場合には、復号していないフレームを対象にステップS16−6からの処理が継続される。
ステップS16−7に戻り、core_modeの値が「1」である場合には、第1選択部16fは、lpd_mode抽出部16gを選択し、復号対象のフレームをlpd_mode抽出部16gに結合する。なお、この場合には、復号対象のフレームは、スーパーフレームとして取り扱われる。
次いで、ステップS16−10において、lpd_mode抽出部16gが、復号対象のスーパーフレームからlpd_modeを抽出する。そして、第2選択部16hが、抽出されたlpd_modeに応じてmod[k](k=0,1,2,3)を設定する。
次いで、ステップS16−11において、第2選択部16hは、kの値を「0」に設定する。続くステップS16−12において、第2選択部16hは、mod[k]の値が0より大きいか否かを判定する。mod[k]の値が0以下である場合には、第2選択部16hは、ACELP復号部16aを選択する。一方、mod[k]の値が0より大きい場合には、第2選択部16hは、TCX復号部16aを選択する。
そして、ACELP復号部16aが選択された場合には、続くステップS16−13において、ACELP復号部16aがスーパーフレーム内の復号対象のフレームの符号系列を復号する。次いで、ステップS16−14において、kの値がk+1に設定される。一方、TCX復号部16aが選択された場合には、続くステップS16−15において、TCX復号部16aがスーパーフレーム内の復号対象のフレームの符号系列を復号する。ついで、ステップS16−16において、kの値が、k+a(mod[k])に更新される。なお、mod[k]とa(mod[k])の関係については、図17を参照されたい。
次いで、ステップS16−17において、kの値が4より小さいか否かが判定される。kの値が4より小さい場合には、ステップS16−12からの処理がスーパーフレーム内の後続のフレームに対して継続される。一方、kの値が4以上である場合には、処理はステップS16−nに進む。
以下、コンピュータをオーディオ復号装置16として動作させるオーディオ復号プログラムについて説明する。図18は、別の一実施形態に係るオーディオ復号プログラムを示す図である。
図18に示すオーディオ復号プログラムP16は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP16は、オーディオ符号化プログラムP10と同様に提供され得る。
図18に示すように、オーディオ復号プログラムP16は、ACELP復号モジュールM16a、TCX復号モジュールM16a、Modified AAC復号モジュールM16a、抽出モジュールM16b、選択モジュールM16c、ヘッダ解析モジュールM16d、core_mode抽出モジュールM16e、第1選択モジュールM16f、lpd_mode抽出モジュールM16g、第2選択モジュールM16h、MPS復号モジュールM16m、及び、SBR復号モジュールM16nを備えている。
ACELP復号モジュールM16a、TCX復号モジュールM16a、Modified AAC復号モジュールM16a、抽出モジュールM16b、選択モジュールM16c、ヘッダ解析モジュールM16d、core_mode抽出モジュールM16e、第1選択モジュールM16f、lpd_mode抽出モジュールM16g、第2選択モジュールM16h、MPS復号モジュールM16m、SBR復号モジュールM16nは、ACELP復号部16a、TCX復号部16a、Modified AAC復号部16a、抽出部16b、選択部16c、ヘッダ解析部16d、core_mode抽出部16e、第1選択部16f、lpd_mode抽出部16g、第2選択部16h、MPS復号部16m、SBR復号部16nとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、更に別の一実施形態に係るオーディオ符号化装置について説明する。図19は、更に別の一実施形態に係るオーディオ符号化装置を示す図である。図19に示すオーディオ符号化装置18は、AMR−WB+の拡張として使用し得る装置である。
図20は、従来のAMR−WB+に従って生成されるストリームと図19に示すオーディオ符号化装置によって生成されるストリームとを示す図である。図20に示すように、AMR−WB+では、各フレームに、2ビットのMode bitsが付加されている。Mode bitsは、その値によって、ACELP符号化処理を選択するかTCX符号化処理を選択するか否かを示す情報である。
一方、図19に示すオーディオ符号化装置18は、全てのフレームのオーディオ信号を共通のオーディオ符号化処理によって符号化することができる。また、オーディオ符号化装置18は、各フレームに使用するオーディオ符号化処理を切替えることもできる。
図19に示すように、オーディオ符号化装置18は、ACELP符号化部18a、及び、TCX符号化部18a備えている。ACELP符号化部18aは、ACELP符号化処理によりオーディオ信号を符号化して符号系列を生成する。TCX符号化部18aは、TCX符号化処理によりオーディオ信号を符号化して符号系列を生成する。オーディオ符号化装置18は、更に、選択部18b、生成部18c、出力部18d、ヘッダ生成部18e、符号化処理判定部18f、Mode bits生成部18g、分析部18m、ダウンミックス部18n、高周波帯域符号化部18p、及び、ステレオ符号化部18qを備えている。
分析部18mは、所定の周波数を基準として、入力端子In1に入力される各フレームのオーディオ信号を低周波数帯域のオーディオ信号と高周波数帯域のオーディオ信号に分割する。分析部18mは、入力端子In1に入力されるオーディオ信号がモノラルのオーディオ信号である場合には、生成した低周波数帯域のオーディオ信号をスイッチSW1へ出力し、高周波数帯域のオーディオ信号を高周波数帯域符号化部18pへ出力する。一方、入力端子In1に入力されるオーディオ信号がステレオ信号である場合には、分析部18mは、生成した低周波数帯域のオーディオ信号(ステレオ信号)をダウンミックス部18nに出力する。
ダウンミックス部18nは、入力端子In1に入力されるオーディオ信号がステレオ信号である場合に、低周波数帯域のオーディオ信号(ステレオ信号)をモノラルのオーディオ信号にダウンミックスする。ダウンミックス部18nは、生成したモノラルのオーディオ信号をスイッチSW1へ出力する。ダウンミックス部18nは、低周波数帯域のオーディオ信号を所定の周波数を基準として二つの周波数帯域のオーディオ信号に分割する。ダウンミックス部18nは、二つの周波数帯域のオーディオ信号のうち低い周波数帯域のオーディオ信号(モノラル信号)と右チャネルのオーディオ信号をステレオ符号化部18qへ出力する。
高周波帯域符号化部18pは、復号側において低周波数帯域のオーディオ信号から高周波数帯域のオーディオ信号を生成するためのパラメータを算出し、当該パラメータの符号化データを生成し、当該符号化データを出力部18dに出力する。パラメータとしては、例えば、スペクトル包絡をモデル化した線形予測係数やパワー調整のためのゲインが用いられ得る。
ステレオ符号化部18qは、上記の二つの周波数帯域のオーディオ信号のうち低い周波数帯域のモノラルのオーディオ信号と右チャネルのオーディオ信号の差分信号であるサイド信号を算出する。ステレオ符号化部18qは、モノラルのオーディオ信号とサイド信号のレベル差を表すバランスファクタを算出し、当該バランスファクタと、サイド信号の波形をそれぞれ所定の方法で符号化し、符号化データを出力部18dに出力する。また、ステレオ符号化部18qは、上記二つの周波数帯域のオーディオ信号のうち低い周波数帯域のオーディオ信号から復号装置にてステレオオーディオ信号を生成するためのパラメータを算出し、当該パラメータの符号化データを出力部18dに出力する。
選択部18bは、選択部14bと同様の機能を有する。具体的には、入力情報が複数のフレームを共通の一つのオーディオ符号化処理により符号化することを示す場合には、選択部18bは、スイッチSW1を制御して、スイッチSW1に入力される全てのフレームのオーディオ信号を、ACELP符号化部18aに結合する。一方、入力情報が複数のフレームを共通の一つの符号化処理により符号化しないことを示す場合には、選択部18bは、スイッチSW1を制御して、スイッチSW1に入力される各フレームのオーディオ信号を、符号化処理判定部18f等に繋がるパスへと結合する。
生成部18cは、生成部14cと同様にGEM_IDを設定する。ヘッダ生成部18eは、生成部18cによって生成されたGEM_IDを含むAMR−WB+対応のヘッダを生成する。このヘッダは、ストリームの先頭において、出力部18dによって出力される。本実施形態では、GEM_IDは、ヘッダのAMRWBPSampleEntry_fields内の未使用の領域に含められ得る。
符号化処理判定部18fは、入力情報が複数のフレームを共通の一つの符号化処理により符号化しないことを示す場合に、SW1を介して符号化対象のフレームのオーディオ信号を受ける。
符号化処理判定部18fは、符号化対象のフレームを、当該符号化対象のフレームを4以下のフレームに分割したスーパーフレームとして取り扱う。符号化処理判定部18fは、スーパーフレームにおける各フレームのオーディオ信号を解析して、当該オーディオ信号をACELP符号化部18aにより符号化すべきか、TCX符号化部18aにより符号化すべきかを判定する。この解析は、上述した第2判定部14hと同様の解析であってもよい。
判定部18fは、フレームのオーディオ信号をACELP符号化部18aにより符号化すべきと判定した場合には、スイッチSW2を制御して、ACELP符号化部18aに当該フレームのオーディオ信号を結合する。一方、フレームのオーディオ信号をTCX符号化部18aにより符号化すべきと判定した場合には、スイッチSW2を制御して、TCX符号化部18aに当該フレームのオーディオ信号を結合する。
Mode bits生成部18gは、符号化処理判定部18fの判定結果に応じた値を有するK個のMode Bits[k](k=0〜K−1)を生成する。ここで、Kの値は、4以下の整数であり、スーパーフレーム内のフレーム数に対応する数であり得る。また、Mode bits[k]は、少なくとも符号化対象のフレームのオーディオ信号の符号化にACELP符号化処理が使用されたか、又は、TCX符号化処理が使用されたかを示す2ビットの情報である。
出力部18dは、ヘッダ、及び、対応の符号系列複数のフレームを有するストリームを出力する。また、出力部18dは、GEM_IDの値が0である場合には、出力フレームにMode bits[k]を含める。さらに、出力部18dは、高周波帯域符号化部18pによって生成された符号化データ、及び、ステレオ符号化部18によって生成された符号化データを対応のフレームに含める。
以下、オーディオ符号化装置18の動作、及び、一実施形態に係るオーディオ符号化方法について説明する。図21は、更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。
図21に示すように、一実施形態においては、まず、ステップS14−1と同様のステップS18−1が行われる。次いで、ステップS18−2において、ヘッダ生成部18eが、上述したように、GEM_IDを含むAMR−WB+のヘッダを生成する。続くステップS18−3では、出力部18dが、生成されたヘッダをストリームの先頭において出力する。
次いで、ステップS18−mにおいて、分析部18mが、上述したように、入力端子In1に入力される符号化対象のフレームのオーディオ信号を低周波数帯域のオーディオ信号と高周波数帯域のオーディオ信号に分割する。また、ステップS18−mにおいては、分析部18mが、入力端子In1に入力されるオーディオ信号がモノラルのオーディオ信号である場合には、生成した低周波数帯域のオーディオ信号をスイッチSW1へ出力し、高周波数帯域のオーディオ信号を高周波数帯域符号化部18pへ出力する。一方、入力端子In1に入力されるオーディオ信号がステレオ信号である場合には、分析部18mは、生成した低周波数帯域のオーディオ信号(ステレオ信号)をダウンミックス部18nに出力する。
次いで、ステップS18−rに示す判定により、入力端子In1に入力されるオーディオ信号がモノラル信号であると判断される場合には、ステップS18−pにおいて高周波帯域符号化部18pによる上述の処理が行われ、高周波帯域符号化部18pによって生成された上述の符号化データが出力部18dにより出力される。一方、入力端子In1に入力されるオーディオ信号がステレオ信号である場合には、ステップS18−nにおいてダウンミックス部18nによる上述の処理が行われ、続くステップS18−qにおいてステレオ符号化部18qによる上述の処理が行われ、ステレオ符号化部18qによって生成された上述の符号化データが出力部18dにより出力され、処理は、ステップS18−pに進む。
次いで、ステップS18−4において、選択部18bが、GEM_IDの値が「0」であるか否かを判定する。GEM_IDの値が「0」でない場合、即ち、GEM_IDの値が「1」である場合には、選択部18bは、ACELP符号化部18aを選択する。次いで、ステップS18−5において、選択されたACELP符号化部18aによりフレームのオーディオ信号(低周波帯域のオーディオ信号)が符号化される。続くステップS18−6において、生成された符号系列を含むフレームが出力部18dによって出力される。そして、GEM_IDの値が「1」である場合には、ステップS18−7における更に符号化すべきフレームがあるか否かの判定を経て、全てのフレームのオーディオ信号(低周波帯域のオーディオ信号)が、ACELP符号化部18aにより符号化されて、出力される。
ステップS18−4に戻り、GEM_IDの値が「0」である場合には、続くステップS18−8において、符号化処理判定部18fが、符号化対象のフレーム、即ち、スーパーフレームにおける各フレームのオーディオ信号(低周波帯域のオーディオ信号)をACELP符号化処理により符号化するか、TCX符号化処理により符号化するかを判定する。
次いで、ステップS18−9において、Mode bits生成部18gが、符号化処理判定部18fにおける判定結果に応じた値を有するMode bits[k]を生成する。
次いで、ステップS18−10において、ステップS18−8の判定結果が符号化対象のフレームのオーディオ信号をTCX符号化処理により符号化すること、即ち、TCX符号化部18aにより符号化することを示しているか否かの判定が行われる。
ステップS18−8の判定結果が符号化対象のフレームのオーディオ信号をTCX符号化部18aにより符号化することを示している場合には、続くステップS18−11において、TCX符号化部18aにより当該フレームのオーディオ信号(低周波帯域のオーディオ信号)が符号化される。一方、判定結果が符号化対象のフレームのオーディオ信号をTCX符号化部18aにより符号化することを示していない場合には、続くステップS18−12において、ACELP符号化部18aにより当該フレームのオーディオ信号(低周波帯域のオーディオ信号)が符号化される。なお、ステップS18−10〜ステップS18−12までの処理は、スーパーフレーム内の各フレームに対して行われる。
次いで、ステップS18−13において、出力部18dが、ステップS18−11又はステップS18−12において生成された符号系列にMode bits[k]を付加する。そして、処理は、ステップS18−6に進む。
以上説明したオーディオ符号化装置18及びオーディオ符号化方法においても、「1」に設定したGEM_IDをヘッダに含めることにより、複数のフレームのオーディオ信号をACELP符号化部のみで符号化したことを復号側に通知することができる。したがって、よりサイズの小さいストリームが生成される。
以下、コンピュータをオーディオ符号化装置18としで動作させるオーディオ符号化プログラムについて説明する。図22は、更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図22に示すオーディオ符号化プログラムP18は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP18は、オーディオ符号化プログラムP10と同様に提供され得る。
オーディオ符号化プログラムP18は、ACELP符号化モジュールM18a、TCX符号化モジュールM18a、選択モジュールM18b、生成モジュールM18c、出力モジュールM18d、ヘッダ生成モジュールM18e、符号化処理判定モジュールM18f、Mode bits生成モジュールM18g、分析モジュールM18m、ダウンミックスモジュールM18n、高周波帯域符号化モジュールM18p、及び、ステレオ符号化モジュールM18qを備えている。
ACELP符号化モジュールM18a、TCX符号化モジュールM18a、選択モジュールM18b、生成モジュールM18c、出力モジュールM18d、ヘッダ生成モジュールM18e、符号化処理判定モジュールM18f、Mode bits生成モジュールM18g、分析モジュールM18m、ダウンミックスモジュールM18n、高周波帯域符号化モジュールM18p、及び、ステレオ符号化モジュールM18qは、ACELP符号化部18a、TCX符号化部18a、選択部18b、生成部18c、出力部18d、ヘッダ生成部18e、符号化処理判定部18f、Mode bits生成部18g、分析部18m、ダウンミックス部18n、高周波帯域符号化部18p、ステレオ符号化部18qとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、オーディオ符号化装置18によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図23は、更に別の一実施形態に係るオーディオ復号装置を示す図である。図23に示すオーディオ復号装置20は、ACELP復号部20a、及び、TCX復号部20aを備えている。ACELP復号部20aは、ACELP復号処理によりフレーム内の符号系列を復号して、オーディオ信号(低周波帯域のオーディオ信号)を生成する。TCX復号部20aは、TCX復号処理によりフレーム内の符号系列を復号して、オーディオ信号(低周波帯域のオーディオ信号)を生成する。オーディオ復号装置20は、更に、抽出部20b、選択部20c、ヘッダ解析部20d、Mode bits抽出部20e、復号処理選択部20f、高周波帯域復号部20p、ステレオ復号部20q、及び、合成部20mを備えている。
ヘッダ解析部20dは、図20に示すストリームを受け、当該ストリームからヘッダを分離する。ヘッダ解析部20dは、分離したヘッダを抽出部20bに提供する。また、ヘッダ解析部20dは、ヘッダを分離したストリームにおける各フレームをスイッチSW1、高周波帯域復号部20p、及び、ステレオ復号部20qへ出力する。
抽出部20bは、ヘッダからGEM_IDを抽出する。選択部20cは、抽出されたGEM_IDの値が「1」の場合に、スイッチSW1を制御して、複数のフレームをACELP復号部20aに結合する。これにより、GEM_IDの値が「1」である場合には、全てのフレームの符号系列がACELP復号部20aによって復号される。
一方、GEM_IDの値が「0」である場合には、選択部20cは、スイッチSW1を制御して、各フレームをMode bits抽出部20eに結合する。Mode bits抽出部20eは、入力された各フレーム、即ちスーパーフレームにおける各フレーム用のMode bits[k]を抽出して、復号処理選択部20fに提供する。
復号処理選択部20fは、Mode bits[k]の値に応じてスイッチSW2を制御する。具体的に、復号処理選択部20fは、Mode bits[k]の値からACELP復号処理を選択すべきと判断する場合には、スイッチSW2を制御して、復号対象のフレームをACELP復号部20aに結合する。一方、復号処理選択部20fは、Mode bits[k]の値からTCX復号処理を選択すべきと判断する場合には、スイッチSW2を制御して、復号対象のフレームをTCX復号部20aに結合する。
高周波数帯域復号部20pは、復号対象のフレームに含まれる符号化データを復号し、上述したパラメータを復元する。高周波数帯域復号部20pは、復元したパラメータ、並びに、ACELP復号部20a及び/又はTCX復号部20aで復号された低周波数帯域のオーディオ信号を用いて、高周波数帯域のオーディオ信号を生成し、当該高周波帯域のオーディオ信号を合成部20mに出力する。
ステレオ復号部20qは、復号対象のフレームに含まれる符号化データを復号して、上述したパラメータ、バランスファクタ、及びサイド信号の波形を復元する。ステレオ復号部20qは、復元したパラメータ、バランスファクタ、及びサイド信号の波形、並びに、ACELP復号部20a及び/又はTCX復号部20aで復号された低周波数帯域のモノラルのオーディオ信号を用いて、ステレオ信号を生成する。
合成部20mは、ACELP復号部20a及び/又はTCX復号部20aで復元された低周波数帯域のオーディオ信号と、高周波数帯域復号部20pで生成された高周波数帯域のオーディオ信号を合成して、復号オーディオ信号を生成する。また、ステレオ信号を処理の対象としている場合には、合成部20mは、ステレオ復号部20qからの入力信号(ステレオ信号)も用いて、ステレオオーディオ信号を生成する。
以下、オーディオ復号装置20の動作と、一実施形態に係るオーディオ復号方法について説明する。図24は、更に別の一実施形態に係るオーディオ復号方法のフローチャートである。
図24に示すように、一実施形態においては、まず、ステップS20−1において、ヘッダ解析部20dが、ストリームからヘッダを分離する。
次いで、ステップS20−2において、抽出部20bが、ヘッダからGEM_IDを抽出する。続くステップS20−3においては、選択部20cが、GEM_IDの値に応じてスイッチSW1を制御する。
具体的に、GEM_IDの値が「1」である場合には、選択部20cは、スイッチSW1を制御して、ストリームにおける複数のフレームの符号系列を復号する復号部として、ACELP復号部20aを選択する。この場合には、続くステップS20−4において、ACELP復号部20aが、復号対象のフレームの符号系列を復号する。これにより、低周波帯域のオーディオ信号が復元される。
次いで、ステップS20−pにおいて、高周波帯域復号部20pが復号対象のフレームに含まれる符号化データからパラメータを復元する。また、ステップS20−pにおいては、高周波帯域復号部20pが、復元したパラメータ、及び、ACELP復号部20aで復元された低周波数帯域のオーディオ信号を用いて、高周波数帯域のオーディオ信号を生成し、当該高周波帯域のオーディオ信号を合成部20mに出力する。
次いで、ステップS20−rにおける判定によりステレオ信号を処理の対象としていると判断される場合には、続くステップS20−qにおいて、ステレオ復号部20qが、復号対象のフレームに含まれる符号化データを復号して、上述したパラメータ、バランスファクタ、及びサイド信号の波形を復元する。また、ステップS20−qにおいては、ステレオ復号部20qが、復元したパラメータ、バランスファクタ、及びサイド信号の波形、並びに、ACELP復号部20aで復元された低周波数帯域のモノラルのオーディオ信号を用いて、ステレオ信号を復元する。
次いで、ステップS20−mにおいて、合成部20mが、ACELP復号部20aで復元された低周波数帯域のオーディオ信号と、高周波数帯域復号部20pで生成された高周波数帯域のオーディオ信号を合成して、復号オーディオ信号を生成する。また、ステレオ信号を処理の対象としている場合には、合成部20mが、ステレオ復号部20qからの入力信号(ステレオ信号)も用いて、ステレオオーディオ信号を復元する。
そして、ステップS20−5において復号していないフレームが存在しないと判定される場合には、処理は終了する。一方、復号していないフレームが存在する場合には、未処理のフレームを対象としてステップS20−4からの処理が継続される。
ステップS20−3に戻り、GEM_IDの値が「0」である場合に、選択部20cは、スイッチSW1を制御して、ストリームの各フレームをMode bits抽出部20eに結合する。この場合には、続くステップS20−6において、Mode bits抽出部20eが、復号対象のスーパーフレームからMode bits[k]を抽出する。なお、Mode bits[k]は、スーパーフレームから1度に抽出されてもよく、スーパーフレーム内の各フレームの復号時に順に抽出されてもよい。
次いで、ステップS20−7において、復号処理選択部20fが、kの値を「0」に設定する。続くステップS20−8において、復号処理選択部20fが、Mode bits[k]の値が0より大きいか否かを判定する。Mode bits[k]の値が0以下である場合には、続くステップS20−9において、スーパーフレーム内の復号対象フレームの符号系列がACELP復号部20aによって復号される。一方、Mode bits[k]の値が0より大きい場合いは、スーパーフレーム内の復号対象フレームの符号系列がTCX復号部20aによって復号される。
次いで、ステップS20−11において、復号処理選択部20fが、kの値がk+a(Mode bits[k])により更新される。ここで、Mode bits[k]の値とa(Mode bits[k])との関係は、図17に示したmod[k]とa(mod[k])と同様の関係を有し得る。
次いで、ステップS20−12において、復号処理選択部20fは、kの値が4より小さいか否かの判定を行う。kの値が4より小さい場合には、スーパーフレーム内の後続のフレームを対象に、ステップS20−8からの処理が継続される。一方、kの値が4以上である場合には、ステップS20−pにおいて、高周波帯域復号部20pが復号対象のフレームに含まれる符号化データからパラメータを復元する。また、ステップS20−pにおいては、高周波帯域復号部20pが、当該パラメータ、及び、復号部20a又は復号部20aで復元された低周波数帯域のオーディオ信号から高周波数帯域のオーディオ信号を生成し、当該高周波帯域のオーディオ信号を合成部20mに出力する。
次いで、ステップS20−rにおける判定によりステレオ信号を処理の対象としていると判断される場合には、続くステップS20−qにおいて、ステレオ復号部20qが、復号対象のフレームに含まれる符号化データを復号して、上述したパラメータ、バランスファクタ、及びサイド信号の波形を復元する。また、ステップS20−qにおいては、ステレオ復号部20qが、復元したパラメータ、バランスファクタ、及びサイド信号の波形、並びに、復号部20a又は復号部20aで復元された低周波数帯域のモノラルのオーディオ信号を用いて、ステレオ信号を復元する。
次いで、ステップS20−mにおいて、合成部20mが、復号部20a又は復号部20aで復元された低周波数帯域のオーディオ信号と、高周波数帯域復号部20pで生成された高周波数帯域のオーディオ信号を合成して、復号オーディオ信号を生成する。また、ステレオ信号を処理の対象としている場合には、合成部20mが、ステレオ復号部20qからの入力信号(ステレオ信号)も用いて、ステレオオーディオ信号を復元する。そして、処理は、ステップS20−13に進む。
ステップS20−13においては、復号していないフレームがあるか否かの判定がなされる。復号していないフレームが存在しない場合には、処理は終了する。一方、復号していないフレームが存在する場合には、当該フレーム(スーパーフレーム)を対象として、ステップS20−6からの処理が継続される。
以下、コンピュータをオーディオ復号装置20として動作させ得るオーディオ復号プログラムについて、説明する。図25は、更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
図25に示すオーディオ復号プログラムP20は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP20は、オーディオ符号化プログラムP10と同様に提供され得る。
オーディオ復号プログラムP20は、ACELP復号モジュールM20a、TCX復号モジュールM20a、抽出モジュールM20b、選択モジュールM20c、ヘッダ解析モジュールM20d、Mode bits抽出モジュールM20e、復号処理選択モジュールM20f、高周波帯域復号モジュールM20p、ステレオ復号モジュールM20q、及び、合成モジュールM20mを備えている。
ACELP復号モジュールM20a、TCX復号モジュールM20a、抽出モジュールM20b、選択モジュールM20c、ヘッダ解析モジュールM20d、Mode bits抽出モジュールM20e、復号処理選択モジュールM20f、高周波帯域復号モジュールM20p、ステレオ復号モジュールM20q、合成モジュールM20mは、ACELP復号部20a、TCX復号部20a、抽出部20b、選択部20c、ヘッダ解析部20d、Mode bits抽出部20e、復号処理選択部20f、高周波帯域復号部20p、ステレオ復号部20q、合成部20mとそれぞれ同様の機能をコンピュータに実行させる。
以下、更に別の実施形態のオーディオ符号化装置について説明する。図26は、更に別の一実施形態に係るオーディオ符号化装置を示す図である。図26に示すオーディオ符号化装置22は、第1の複数のフレームのオーディオ信号の符号化に使用するオーディオ符号化処理と、後続の第2の複数のフレームのオーディオ信号の符号化に使用するオーディオ符号化処理とを切り替えることが可能である。
オーディオ符号化装置22は、オーディオ符号化装置10と同様に、符号化部10a〜10aを備えている。オーディオ符号化装置22は、更に、生成部22c、選択部22b、出力部22d、及び、検査部22eを備えている。
検査部22eは、入力端子In2への入力を監視し、入力端子In2に入力される入力情報を受ける。入力情報は、複数のフレームの符号化に共通に使用するオーディオ符号化処理を特定する情報である。
選択部22bは、入力情報に応じた符号化部を選択する。具体的に、選択部22bは、スイッチSWを制御して、入力情報によって特定されるオーディオ符号化処理を実行する符号化部に入力端子In1に入力されるオーディオ信号を結合する。選択部22bは、次に検査部22eに入力情報が入力されるまでの間、単一の符号化部の選択を継続する。
生成部22cは、検査部22eによって入力情報が受信される度に、当該入力情報基づいて複数のフレームに共通の符号化処理が使用されたことを示す長期符号化処理情報を生成する。
出力部22dは、生成部22cによって長期符号化処理情報が生成されると、当該長期符号化処理情報を複数のフレームに対して付加する。図27は、図26に示すオーディオ符号化装置によって生成されるストリームを示す図である。図27に示すように、長期符号化処理情報は、複数のフレームのうち先頭のフレームに付加される。図27に示す例では、第1フレームから第l−1フレームまでの複数のフレームが、共通の符号化処理によって符号化されており、第lフレームにおいて符号化処理が切り替わり、第lフレームから第mフレームまでの複数のフレームが、共通の符号化処理によって符号化されていることを示している。
以下、オーディオ符号化装置22の動作と、一実施形態に係るオーディオ符号化方法について説明する。図28は、更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。
図28に示すように、一実施形態においては、ステップS22−1において、検査部22eが、入力情報の入力を監視する。入力情報が入力されると、ステップS22−2において、選択部22bが、入力情報に応じた符号化部を選択する。
次いで、ステップS22−3において、選択部22bが、入力情報に基づいて長期符号化処理情報を生成する。長期符号化処理情報は、ステップS22−4において、出力部22dにより、複数のフレームのうち先頭のフレームに付加され得る。
そして、ステップS22−5において、符号化対象のフレームのオーディオ信号が、選択された符号化部によって符号化される。なお、次に入力情報が入力されるまでの間は、ステップS22−2〜S22−4の処理を経ずに、符号化対象のフレームのオーディオ信号が符号化される。
次いで、ステップS22−6において、符号化された符号系列が、符号化対象のフレームに対応するビットストリーム内のフレームに含められて出力部22dから出力される。
次いで、ステップS22−7において、符号化していないフレームが存在するか否かが判定される。符号化していないフレームが存在しない場合には、処理が終了する。一方、符号化していないフレームが存在する場合には、ステップS22−1からの処理が継続される。
以下、コンピュータをオーディオ符号化装置22として動作させ得るオーディオ符号化プログラムについて説明する。図29は、更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図29に示すオーディオ符号化プログラムP22は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP22は、オーディオ符号化プログラムP10と同様に提供され得る。
図29に示すように、オーディオ符号化プログラムP22は、符号化モジュールM10a〜10a、生成モジュールM22c、選択モジュールM22b、出力モジュールM22d、及び、検査モジュールM22eを備えている。
符号化モジュールM10a〜10a、生成モジュールM22c、選択モジュールM22b、出力モジュールM22d、検査モジュールM22eは、符号化部10a〜10a、生成部22c、選択部22b、出力部22d、検査部22eとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、オーディオ符号化装置22によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図30は、更に別の一実施形態に係るオーディオ復号装置を示す図である。
図30に示すオーディオ復号装置24は、オーディオ復号装置12と同様に、復号部12a〜12aを備えている。オーディオ復号装置24は、更に、抽出部24b、選択部24c、検査部24dを備えている。
検査部24dは、入力端子Inに入力されるストリーム内の各フレームに長期符号化処理情報が含まれているか否かを検査する。抽出部24bは、検査部24dによってフレームに長期符号化処理情報が含まれていると判断されると、当該フレームから長期符号化処理情報を抽出する。また、抽出部24bは、長期符号化処理情報を取り除いた上で、フレームをスイッチSWに送出する。
選択部24cは、抽出部24bによって長期符号化処理情報が抽出されると、スイッチSWを制御して、当該長期符号化処理情報に基づいて特定される符号化処理に対応するオーディオ復号処理を実行する復号部を選択する。選択部24cは、検査部24dによって次に長期符号化処理情報が抽出されるまでの間、単一の復号部を継続して選択し、複数のフレームの符号系列を共通のオーディオ復号処理によって復号することを継続する。
以下、オーディオ復号装置24の動作と、一実施形態にかかるオーディオ復号方法について説明する。図31は、更に別の一実施形態に係るオーディオ復号方法のフローチャートである。
図31に示すように、一実施形態においては、ステップS24−1において、検査部24dが、入力されるフレームに長期符号化処理情報が含まれているか否かを監視する。検査部24dによって長期符号化処理情報が検出されると、続くステップS24−2において、抽出部24bが、フレームから長期符号化処理情報を抽出する。
次いで、ステップS24−3において、選択部24cが、抽出された長期符号化処理情報に基づいて適切な復号部を選択する。続くステップS24−4において、選択された復号部が、復号対象のフレームの符号系列を復号する。
そして、ステップS24−5において、復号していないフレームが存在するか否かの判定がなされる。復号していないフレームが存在しない場合には、処理が終了する。一方、復号していないフレームが存在する場合には、ステップS24−1からの処理が継続される。
本実施形態では、ステップS24−1においてフレームに長期符号化処理情報が付加されていないと判断されると、ステップS24−2〜ステップS24−3からの処理を経ずに、ステップS24−4の処理が実行される。
以下、コンピュータをオーディオ復号装置24として動作させ得るオーディオ復号プログラムについて説明する。図32は、更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
図32に示すオーディオ復号プログラムP24は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP24は、オーディオ符号化プログラムP10と同様に提供され得る。
図32に示すように、オーディオ復号プログラムP24は、復号モジュールM12a〜12a、抽出モジュールM24b、選択モジュールM24c、及び、検査モジュールM24dを備えている。
復号モジュールM12a〜12a、抽出モジュールM24b、選択モジュールM24c、検査モジュールM24dは、復号部12a〜12a抽出部24b、選択部24c、検査部24dとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、更に別の一実施形態に係るオーディオ符号化装置について説明する。図33は、更に別の一実施形態に係るオーディオ符号化装置を示す図である。また、図34は、従来のMPEG USACに従って生成されるストリームと図33に示すオーディオ符号化装置によって生成されるストリームとを示す図である。
上述したオーディオ符号化装置14では、全フレームのオーディオ信号を単一の共通のオーディオ符号化処理によって符号化するか、各フレームのオーディオ信号を個別のオーディオ符号化処理によって符号化することができるものであった。
一方、図33に示すオーディオ符号化装置26は、複数のフレームのうち一部の複数のフレームに対して共通のオーディオ符号化処理を使用することができる。また、オーディオ符号化装置26は、全フレームのうちの一部のフレームに対して個別のオーディオ符号化処理を使用することも可能である。さらに、オーディオ符号化装置26は、全フレームのうち中間のフレームからの複数のフレームに対して共通のオーディオ符号化処理を使用することができる。
図33に示すように、オーディオ符号化装置26は、オーディオ符号化装置14と同様に、ACELP符号化部14a、TCX符号化部14a、Modified AAC符号化部14a、第1判定部14f、core_mode生成部14g、第2判定部14h、lpd_mode生成部14i、MPS符号化部14m、及び、SBR符号化部14nを備えている。オーディオ符号化装置26は、更に、検査部26j、選択部26b、生成部26c、出力部26d、及び、ヘッダ生成部26eを備えている。以下、オーディオ符号化装置26の要素のうち、オーディオ符号化装置14と異なる要素について、説明する。
検査部26jは、入力端子In2に入力情報が入力されているか否かを検査する。入力情報は、複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化するか否かを示す情報である。
選択部26bは、検査部26jによって入力情報が検出されると、スイッチSW1を制御する。具板的に、選択部26bは、検出された入力情報が複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化することを示している場合に、スイッチSW1を制御して、スイッチSW1とACELP符号化部14aを結合する。一方、検出された入力情報が複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化しないことを示している場合に、選択部26bは、スイッチSW1を制御して、スイッチSW1を、第1判定部14f等を含むパスに結合する。
生成部26cは、検査部26jによって入力情報が検出されると、その時点の符号化対象フレームに対応する出力フレーム用のGEM_IDを生成する。具体的に、生成部26cは、検出された入力情報が複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化することを示している場合に、GEM_IDの値を「1」に設定する。一方、検出された入力情報が複数のフレームのオーディオ信号を共通のオーディオ符号化処理により符号化しないことを示している場合に、生成部26cは、GEM_IDの値を「0」に設定する。
ヘッダ生成部26eは、検査部26jによって入力情報が検出されると、その時点の符号化対象フレームに対応する出力フレームのヘッダを生成して、当該ヘッダ内に生成部26cによって生成されたGEM_IDを含める。
出力部26dは、生成された符号系列を含む出力フレームを出力する。また、出力部26dは、各出力フレームに、MPS符号化部14mによって生成されたパラメータの符号化データ及びSBR符号化部14nによって生成されたパラメータの符号化データを含める。なお、出力フレームは、検査部26jによって入力情報が検出されている場合には、ヘッダ生成部26eによって生成されたヘッダを含むものである。
以下、オーディオ符号化装置26の動作と、更に別の一実施形態に係るオーディオ符号化方法について説明する。図35は、更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。
図35に示すフローにおいては、ステップS14−3〜4、ステップS14−9〜19、ステップS14−m〜ステップS14−nの処理は、図13に示したものと同様である。以下、図13に示したフロート異なる処理について説明する。
図35に示すように、一実施形態においては、ステップS26−aにおいて、GEM_IDの値が初期化される。GEM_IDの値は例えば「0」に初期化され得る。ステップS26−1において、検査部26jが上述したように入力情報を監視する。入力情報が入力されたことが検出されると、続くステップS26−2において、生成部26cが当該入力情報に応じたGEM_IDを生成し、続くステップS26−3において、ヘッダ生成部26eが、生成されたGEM_IDを含むヘッダを生成する。一方、入力情報がない場合には、ステップS26−2及びS26−3の処理を経ずに、処理はステップS14−mに進む。
ステップS26−4においては、ヘッダを付加するか否かの判断がなされる。検査部26jによって入力情報が検出されると、その時点の符号化対象フレームに対応する出力フレームには、ステップS26−5において、GEM_IDを含むヘッダが付加されて、当該ヘッダを含むフレームが出力される。一方、入力情報が検出されていないときには、その時点での符号化対象フレームに対応する出力フレームは、ステップS26−6において、そのまま出力される。
次いで、ステップS26−7においては、符号化していないフレームが存在するか否かの判定がなされる。符号化していないフレームが存在しない場合には、処理が終了する。一方、符号化していないフレームが存在する場合には、符号化していないフレームを対象にステップS26−1からの処理が継続される。
以上説明したオーディオ符号化装置26及び一実施形態に係るオーディオ符号化方法によれば、複数のフレームを共通のオーディオ符号化処理により符号化し、その後、幾つかのフレームを個別のオーディオ符号化処理により符号化し、更に後続の複数のフレームを共通のオーディオ符号化処理により符号化することができる。
なお、オーディオ符号化装置26では、入力情報に基づいて複数のフレームのオーディオ信号の符号化に使用するオーディオ符号化処理を決定しているが、本発明は、各フレームのオーディオ信号の解析結果に基づいて、複数のフレームに共通に使用するオーディオ符号化処理を決定してもよい。例えば、入力端子In1とスイッチSW1との間に、各フレームのオーディオ信号を解析する解析部を含めて、この解析結果に基づいて、選択部26b及び生成部26c等を動作させてもよい。また、この解析には、上述した解析手法を使用し得る。
また、全フレームのオーディオ信号を、一旦、第1判定部14fを含むパスへと結合し、符号系列を含む出力フレームを出力部26dにおいて蓄積してもよい。この場合には、第1判定部14f及び第2判定部14hの判定結果を用いて、lpd_mode、core_mode等の設定、ヘッダの生成、付加等を各フレームに対して事後的に調整することができる。
なお、所定数のフレームの解析、又は、所定数のフレームに対する第1判定部14f及び第2判定部による判定を行って、当該所定数のフレームの解析結果又は判定結果を用いて、当該所定数のフレームを含む複数のフレームに共通に利用する符号化処理を予測してもよい。
また、複数のフレームに共通の符号化処理を用いるか、又は、個別の符号化処理を用いるかは、core_mode、lpd_mode、及びヘッダ等を含む付加情報の量が少なくなるように、決定することができる。
以下、コンピュータをオーディオ符号化装置26として動作させ得るオーディオ符号化プログラムについて説明する。図36は、更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図36に示すオーディオ符号化プログラムP26は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP26は、オーディオ符号化プログラムP10と同様に提供され得る。
図36に示すように、オーディオ符号化プログラムP26は、ACELP符号化モジュールM14a、TCX符号化モジュールM14a、Modified AAC符号化モジュールM14a、第1判定モジュールM14f、core_mode生成モジュールM14g、第2判定モジュールM14h、lpd_mode生成モジュールM14i、MPS符号化モジュールM14m、SBR符号化モジュールM14n、検査モジュールM26j、選択モジュールM26b、生成モジュールM26c、出力モジュールM26d、及び、ヘッダ生成モジュールM26eを備えている。
ACELP符号化モジュールM14a、TCX符号化モジュールM14a、Modified AAC符号化モジュールM14a、第1判定モジュールM14f、core_mode生成モジュールM14g、第2判定モジュールM14h、lpd_mode生成モジュールM14i、MPS符号化モジュールM14m、SBR符号化モジュールM14n、検査モジュールM26j、選択モジュールM26b、生成モジュールM26c、出力モジュールM26d、ヘッダ生成モジュールM26eは、ACELP符号化部14a、TCX符号化部14a、Modified AAC符号化部14a、第1判定部14f、core_mode生成部14g、第2判定部14h、lpd_mode生成部14i、MPS符号化部14m、SBR符号化部14n、検査部26j、選択部26b、生成部26c、出力部26d、ヘッダ生成部26eとそれぞれ同様の機能を、コンピュータC10に実行させる。
以下、オーディオ符号化装置26によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図37は、更に別の一実施形態に係るオーディオ復号装置を示す図である。
図37に示すオーディオ復号装置28は、オーディオ復号装置16と同様に、ACELP復号部16a、TCX復号部16a、Modified AAC復号部16a、core_mode抽出部16e、第1選択部16f、lpd_mode抽出部16g、第2選択部16h、MPS復号部16m、及びSBR復号部16nを備えている。オーディオ復号装置28は、更に、ヘッダ検査部28j、ヘッダ解析部28d、抽出部28b、及び、選択部28cを備えている。以下、オーディオ復号装置28の要素のうち、オーディオ復号装置16の要素と異なる要素について説明する。
ヘッダ検査部28jは、入力端子Inに入力される各フレームにヘッダが存在するか否かを監視する。ヘッダ解析部28dは、ヘッダ検査部28jによってフレームにヘッダが存在することが検出されると、当該ヘッダを分離する。抽出部28bは、抽出されたヘッダからGEM_IDを抽出する。
選択部28cは、抽出されたGEM_IDに応じて、スイッチSW1を制御する。具体的に、GEM_IDの値が「1」である場合に、選択部28cは、スイッチSW1を制御して、次にGEM_IDが抽出されるまでの間、ヘッダ解析部28dから送出されるフレームをACELP復号部16aに結合させる。
一方、GEM_IDの値が「0」である場合に、選択部28cは、ヘッダ解析部28dから送出されるフレームを、core_mode抽出部16eに結合する。
以下、オーディオ復号装置28の動作と更に別の一実施形態に係るオーディオ復号方法について説明する。図38は、更に別の一実施形態に係るオーディオ復号方法のフローチャートである。
図38における「S16」を含む参照符号によって特定される処理は、図16における対応の処理と同様の処理である。以下、図38における処理のうち、図16に示す処理と異なる処理について、説明する。
図38に示すように、一実施形態においては、ステップS28−1において、ヘッダ検査部28jが入力されるフレームにヘッダが含まれるか否かを監視する。フレームにヘッダが含まれている場合には、続くステップS28−2において、ヘッダ解析部28dが当該フレームからヘッダを分離する。そして、ステップS28−3において、抽出部28bがヘッダからGEM_IDを抽出する。一方、フレームにヘッダが含まれていない場合には、ステップS28−4において、直前に抽出されたGEM_IDがコピーされて、以降、コピーされたGEM_IDが利用される。
ステップS28−5においては、復号していないフレームが存在するか否かの判定がなされる。復号していないフレームが存在しない場合には、処理が終了する。一方、復号していないフレームが存在する場合には、復号していないフレームを対象にして、ステップS26−1からの処理が継続される。
また、ステップS28−6においては、復号していないフレームが存在するか否かの判定がなされる。復号していないフレームが存在しない場合には、処理が終了する。一方、復号していないフレームが存在する場合には、復号していないフレームを対象にして、ステップS26−1からの処理が継続される。
以下、コンピュータをオーディオ復号装置28として動作させ得るオーディオ復号プログラムについて説明する。図39は、更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
図39に示すオーディオ復号プログラムP28は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP28は、オーディオ符号化プログラムP10と同様に提供され得る。
図39に示すように、オーディオ復号プログラムP28は、ACELP復号モジュールM16a1、TCX復号モジュールM16a2、Modified AAC復号モジュールM16a3、core_mode抽出モジュールM16e、第1選択モジュールM16f、lpd_mode抽出モジュールM16g、第2選択モジュールM16h、MPS復号モジュールM16m、SBR復号モジュールM16n、ヘッダ検査モジュールM28j、ヘッダ解析モジュールM28d、抽出モジュールM28b、及び、選択モジュールM28cを備えている。
ACELP復号モジュールM16a1、TCX復号モジュールM16a2、Modified AAC復号モジュールM16a3、core_mode抽出モジュールM16e、第1選択モジュールM16f、lpd_mode抽出モジュールM16g、第2選択モジュールM16h、MPS復号モジュールM16m、SBR復号モジュールM16n、ヘッダ検査モジュールM28j、ヘッダ解析モジュールM28d、抽出モジュールM28b、選択モジュールM28cは、ACELP復号部16a、TCX復号部16a、Modified AAC復号部16a、core_mode抽出部16e、第1選択部16f、lpd_mode抽出部16g、第2選択部16h、MPS復号部16m、SBR復号部16n、ヘッダ検査部28j、ヘッダ解析部28d、抽出部28b、選択部28cとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、更に別の一実施形態に係るオーディオ符号化装置について説明する。図40は、更に別の一実施形態に係るオーディオ符号化装置を示す図である。図41は、図40に示すオーディオ符号化装置によって生成されるストリームを示す図である。
図40に示すオーディオ符号化装置30は、出力部30dを除いて、オーディオ符号化装置22の対応の要素と同様の要素を有している。即ち、オーディオ符号化装置30では、GEM_IDが生成された場合に、出力フレームは長期符号化処理情報を含む第1フレームタイプの出力フレームとして出力部30dから出力される。一方、長期符号化処理情報が生成されていない場合には、出力フレームは長期符号化処理情報を含まない第2フレームタイプの出力フレームとして出力部30dから出力される。
図42は、更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。以下、図42を参照して、オーディオ符号化装置30の動作と、更に別の一実施形態に係るオーディオ符号化方法について説明する。なお、図42に示すフローは、ステップS30−1及びステップS30−2の処理以外は、図28に示したフロート同様である。したがって、以下では、ステップS30−1及びステップS30−2について説明する。
ステップS30−1では、入力情報がステップS22−1で入力されていると、出力部30dが、その時の符号化対象フレームに対応する出力フレームを、長期符号化処理情報を含み得る第1フレームタイプに設定する。一方、入力情報がステップS22−1で入力されていない場合には、ステップS30−2において、出力部30dが、その時の符号化対象フレームに対応する出力フレームを、長期符号化処理情報を含まない第2フレームタイプに設定する。なお、一実施形態においては、オーディオ信号の最初のフレームが入力される際には、入力情報が入力され、当該最初のフレームに対応する出力フレームは第1フレームタイプに設定され得る。
このように、長期符号化処理情報の有無によりフレームタイプを変更することにより、長期符号化処理情報を復号側に通知することも可能である。
以下、コンピュータをオーディオ符号化装置30として動作させ得るオーディオ符号化プログラムについて説明する。図43は、更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図43に示すオーディオ符号化プログラムP30は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP30は、オーディオ符号化プログラムP10と同様に提供され得る。
図43に示すように、オーディオ符号化プログラムP30は、符号化モジュールM10a〜10a、生成モジュールM22c、選択モジュールM22b、出力モジュールM30d、及び、検査モジュールM22eを備えている。
符号化モジュールM10a〜10a、生成モジュールM22c、選択モジュールM22b、出力モジュールM30d、検査モジュールM22eは、符号化部10a〜10a、生成部22c、選択部22b、出力部30d、検査部22eとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、オーディオ符号化装置30によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図44は、更に別の一実施形態に係るオーディオ復号装置を示す図である。図44に示すオーディオ復号装置32は、抽出部32b及びフレームタイプ検査部32dを除いて、オーディオ復号装置24における対応の要素と同様の要素を有している。以下、抽出部32b及びフレームタイプ検査部32dについて説明する。
フレームタイプ検査部32dは、入力端子Inに入力されるストリームにおける各フレームのフレームタイプを検査する。具体的に、フレームタイプ検査部32dは、復号対象のフレームが第1フレームタイプのフレームである場合には、当該フレームを抽出部30b及びスイッチSW1に提供する。一方、フレームタイプ検査部32dは、復号対象のフレームが第2フレームタイプのフレームである場合には、当該フレームをスイッチSW1にのみ送出する。抽出部32bは、フレームタイプ検査部32dから受けたフレーム内から長期符号化処理情報を抽出して、当該長期符号化処理情報を選択部24cに提供する。
図45は、更に別の一実施形態に係るオーディオ復号方法のフローチャートである。以下、図45を参照して、オーディオ復号装置32の動作、及び、更に別の一実施形態に係るオーディオ復号方法について説明する。なお、図45に示すフローにおいては、「S24」を含む参照符号によって示される処理は、図31に示した対応の処理と同様の処理である。以下、図31に示した処理とは異なるステップS30−1及びステップS30−2について説明する。
ステップS32−1では、フレームタイプ検査部32dが、復号対象のフレームが第1のフレームタイプのフレームであるか否かを解析する。続くステップS30−2において、復号対象のフレームが第1フレームタイプのフレームであると判定されると、ステップS24−2において、抽出部32bによって当該フレームから長期符号化処理情報が選択される。一方、ステップS32−2の判定において、復号対象のフレームが第1フレームタイプのフレームでないと判定されると、処理はステップS24−4に進む。即ち、一旦、ステップS24−3において復号部が選択されると、次に第1フレームタイプのフレームが入力されるまでの間、共通の復号部が継続して使用される。
以下、コンピュータをオーディオ復号装置32として動作させ得るオーディオ復号プログラムについて説明する。図46は、更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
図46に示すオーディオ復号プログラムP32は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP32は、オーディオ符号化プログラムP10と同様に提供され得る。
図46に示すように、オーディオ復号プログラムP24は、復号モジュールM12a〜12a、抽出モジュールM32b、選択モジュールM24c、及び、フレームタイプ検査モジュールM32dを備えている。
復号モジュールM12a〜12a、抽出モジュールM32b、選択モジュールM24c、フレームタイプ検査モジュールM32dは、復号部12a〜12a抽出部32b、選択部24c、フレームタイプ検査部32dとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、更に別の一実施形態のオーディオ符号化装置について説明する。図47は、更に別の一実施形態に係るオーディオ符号化装置を示す図である。図47に示すオーディオ符号化装置34は、以下に説明する点において、オーディオ符号化装置18と異なっている。即ち、オーディオ符号化装置34は、入力される複数のフレームのうち、一部の連続する複数のフレームに対して共通のオーディオ符号化処理を使用し、別の一部のフレームに対して個別のオーディオ符号化処理を使用し得る。また、オーディオ符号化装置34は、第1の複数のフレームに共通のオーディオ符号化処理を使用し、後続の一部のフレームに個別のオーディオ符号化処理を使用し、更に後続の第2の複数のフレームに共通のオーディオ符号化処理を使用し得る。図48は、従来のAMR−WB+に従って生成されるストリームと図47に示すオーディオ符号化装置によって生成されるストリームとを示す図である。図48に示すように、オーディオ符号化装置34は、GEM_IDを含む第1フレームタイプのフレーム、及び、GEM_IDを含まない第2フレームタイプのフレームを出力し得る。
図47に示すように、オーディオ符号化装置34は、オーディオ符号化装置18と同様に、ACELP符号化部18a、TCX符号化部18a、符号化処理判定部18f、Mode bits生成部18g、分析部18m、ダウンミックス部18n、高周波帯域符号化部18p、及び、ステレオ符号化部18qを備えている。オーディオ符号化装置34は、更に、検査部34e、選択部34b、生成部34c、及び、出力部34dを備えている。以下、オーディオ符号化装置34の要素のうち、オーディオ符号化装置18の要素と異なる要素について説明する。
検査部34eは、入力端子In2への入力情報の入力を監視する。入力情報は、複数のフレームのオーディオ信号に共通の符号化処理を使用するか否かを示す情報である。選択部34bは、検査部によって入力情報の入力が検出されると、入力情報が複数のフレームのオーディオ信号に共通の符号化処理を使用することを示しているか否かを判定する。入力情報が複数のフレームのオーディオ信号に共通の符号化処理を使用することを示している場合には、選択部34bは、スイッチSW1を制御して、スイッチSW1をACELP符号化部18aに結合する。この結合は、次に入力情報の入力が検出されるまで維持される。一方、入力情報が、入力情報が複数のフレームのオーディオ信号に共通の符号化処理を使用することを示していない、即ち、入力情報が符号化対象のフレームに個別の符号化処理を用いることを示している場合には、選択部34bは、スイッチSW1を、符号化処理判定部18f等を含むパスへと結合する。
生成部34cは、検査部によって入力情報の入力が検出されると、入力情報に応じた値を有するGEM_IDを生成する。具板的に、入力情報が複数のフレームのオーディオ信号に共通の符号化処理を使用することを示している場合には、生成部34cは、GEM_IDの値を「1」に設定する。一方、入力情報が複数のフレームのオーディオ信号に共通の符号化処理を使用することを示していない場合には、生成部34cは、GEM_IDの値を「0」に設定する。
出力部34dは、検査部34eによって入力情報が検出された場合には、その時点の符号化対象フレームに対応する出力フレームを第1フレームタイプの出力フレームとし、当該出力フレームに、生成部34cによって生成されたGEM_IDを含め、符号化対象フレームのオーディオ信号の符号系列を含める。出力部34dは、GEM_IDの値が0である場合には、出力フレームにMode bits[k]を含める。一方、検査部34eによって入力情報が検出されていない場合には、その時点の符号化対象フレームに対応する出力フレームを第2フレームタイプの出力フレームとし、当該出力フレームに、符号化対象フレームのオーディオ信号の符号系列を含める。出力部34dは、このように生成した出力フレームを出力する。
図49は、更に別の一実施形態に係るオーディオ符号化方法のフローチャートである。以下、図49を参照して、オーディオ符号化装置34の動作と、更に別の一実施形態に係るオーディオ符号化方法について説明する。なお、図49に示すフローにおいて、「S18」を含む参照符号によって示す処理は、図21における対応の処理と同様である。以下、図49に示すフローにおける処理のうち、図21における処理と異なる処理について、説明する。
図49に示すように、一実施形態においては、ステップS34−1において、検査部34eが、入力端子In2への入力情報の入力を監視する。入力情報の入力が検出された場合には、続くステップS34−2において、符号化対象のフレームに対応する出力フレームが第1フレームタイプの出力フレームとされる。一方、入力情報の入力が検出されていない場合には、続くステップS34−3において、符号化対象のフレームに対応する出力フレームが第2フレームタイプの出力フレームとされる。
次いで、ステップS34−4において、入力情報がフレーム毎に符号化処理を指定することを示しているか否かが判定される。即ち、入力情報が複数のフレームに共通の符号化処理を用いることを示しているか否かが判定される。入力情報が複数のフレームに共通の符号化処理を用いることを示している場合には、続くステップS34−5において、GEM_IDの値が「1」に設定される。一方、入力情報が複数のフレームに共通の符号化処理を用いることを示していない場合には、続くステップS34−6において、GEM_IDの値が「0」に設定される。
ステップS34−7においては、GEM_IDを付加するか否かが判定される。具体的に、入力情報の入力が検出された時の符号化対象フレームを処理している場合には、続くステップS34−8において、GEM_IDを付加し、符号系列を含めた第1フレームタイプの出力フレームが出力される。一方、入力情報の入力が検出されていない時の符号化対象フレームを処理している場合には、続くステップS34−9において、符号系列を含めた第2フレームタイプの出力フレームが出力される。
次いで、ステップS34−10において、符号化していないフレームが存在するか否かが判定される。符号化していないフレームが存在しない場合には、処理が終了する。一方、符号化していないフレームが存在する場合には、当該フレームを対象にステップS34−1からの処理が継続される。
以下、コンピュータをオーディオ符号化装置34として動作させ得るオーディオ符号化プログラムについて説明する。図50は、更に別の一実施形態に係るオーディオ符号化プログラムを示す図である。
図50に示すオーディオ符号化プログラムP34は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ符号化プログラムP34は、オーディオ符号化プログラムP10と同様に提供され得る。
オーディオ符号化プログラムP34は、ACELP符号化モジュールM18a、TCX符号化モジュールM18a、選択モジュールM34b、生成モジュールM34c、出力モジュールM34d、符号化処理判定モジュールM18f、Mode bits生成モジュールM18g、分析モジュールM18m、ダウンミックスモジュールM18n、高周波帯域符号化モジュールM18p、及び、ステレオ符号化モジュールM18qを備えている。
CELP符号化モジュールM18a、TCX符号化モジュールM18a、選択モジュールM34b、生成モジュールM34c、出力モジュールM34d、符号化処理判定モジュールM18f、Mode bits生成モジュールM18g、分析モジュールM18m、ダウンミックスモジュールM18n、高周波帯域符号化モジュールM18p、ステレオ符号化モジュールM18qは、ACELP符号化部18a、TCX符号化部18a、選択部34b、生成部34c、出力部34d、符号化処理判定部18f、Mode bits生成部18g、分析部18m、ダウンミックス部18n、高周波帯域符号化部18p、ステレオ符号化部18qとそれぞれ同様の機能をコンピュータC10に実行させる。
以下、オーディオ符号化装置34によって生成されたストリームを復号し得るオーディオ復号装置について説明する。図51は、更に別の一実施形態に係るオーディオ復号装置を示す図である。
図51に示すオーディオ復号装置36は、オーディオ復号装置20と同様に、ACELP復号部20a、TCX復号部20a、Mode bits抽出部20e、復号処理選択部20f、高周波帯域復号部20p、ステレオ復号部20q、及び、合成部20mを備えている。オーディオ復号装置36は、更に、フレームタイプ検査部36d、抽出部36b、及び、選択部36cを備えている。以下、オーディオ復号装置36の要素のうち、オーディオ復号装置20の要素と異なる要素について説明する。
フレームタイプ検査部36dは、入力端子Inに入力されるストリーム内の各フレームのフレームタイプを検査する。フレームタイプ検査部36dは、第1フレームタイプのフレームを、抽出部36b、スイッチSW1、高周波帯域復号部20p、及び、ステレオ復号部20qに送出する。一方、フレームタイプ検査部36dは、第2フレームタイプのフレームを、スイッチSW1、高周波帯域復号部20p、及び、ステレオ復号部20qのみに送出する。
抽出部36bは、フレームタイプ検査部36dから受けたフレームからGEM_IDを抽出する。選択部36cは、抽出されたGEM_IDの値に応じてスイッチSW1を制御する。具体的には、GEM_IDの値が「1」である場合には、選択部36cは、スイッチSW1を制御して、復号対象のフレームをACELP復号部20aに結合する。GEM_IDの値が「1」である場合には、次に第1フレームタイプのフレームが入力されるまでの間、ACELP復号部20aが継続して選択される。一方、GEM_IDの値が「0」である場合には、選択部36cは、スイッチSW1を制御して、復号対象のフレームをMode bits抽出部20eに結合する。
図52は、更に別の一実施形態に係るオーディオ復号方法のフローチャートである。以下、図52を参照して、オーディオ復号装置36の動作と、更に別の一実施形態に係るオーディオ復号方法について説明する。なお、図52に示すフローにおける処理のうち、「S20」を含む処理は、図24に示した対応の処理と同様の処理である。以下、図52に示すフローにおける処理のうち、図24に示した処理と異なる処理について説明する。
図52に示すように、一実施形態においては、ステップS36−1において、フレームタイプ検査部36dが、復号対象のフレームが第1フレームタイプのフレームか否かを判定する。復号対象のフレームが第1フレームタイプのフレームである場合には、続くステップS36−2において、抽出部36bが、GEM_IDを抽出する。一方、復号対象のフレームが第2フレームタイプのフレームである場合には、続くステップS36−3において、既存のGEM_IDがコピーされ、当該GEM_IDが以降の処理に利用される。
ステップS36−4においては、復号していないフレームが存在するか否かが判定される。復号していないフレームが存在しない場合には、処理が終了する。一方、復号していないフレームが存在する場合には、当該フレームを対象に、ステップS36−1からの処理が継続される。
以下、コンピュータをオーディオ復号装置36として動作させ得るオーディオ復号プログラムについて説明する。図53は、更に別の一実施形態に係るオーディオ復号プログラムを示す図である。
図53に示すオーディオ復号プログラムP36は、図5及び図6に示したコンピュータにおいて使用され得るものである。また、オーディオ復号プログラムP36は、オーディオ符号化プログラムP10と同様に提供され得る。
オーディオ復号プログラムP36は、ACELP復号モジュールM20a、TCX復号モジュールM20a、抽出モジュールM36b、選択モジュールM36c、フレームタイプ検査モジュールM36d、Mode bits抽出モジュールM20e、復号処理選択モジュールM20f、高周波帯域復号モジュールM20p、ステレオ復号モジュールM20q、及び、合成モジュールM20mを備えている。
ACELP復号モジュールM20a、TCX復号モジュールM20a、抽出モジュールM36b、選択モジュールM36c、フレームタイプ検査モジュールM36d、Mode bits抽出モジュールM20e、復号処理選択モジュールM20f、高周波帯域復号モジュールM20p、ステレオ復号モジュールM20q、合成モジュールM20mは、ACELP復号部20a、TCX復号部20a、抽出部36b、選択部36c、フレームタイプ検査部36d、Mode bits抽出部20e、復号処理選択部20f、高周波帯域復号部20p、ステレオ復号部20q、合成部20mとそれぞれ同様の機能をコンピュータに実行させる。
以上、本発明の種々の実施形態について説明した。本発明は上述した実施形態に限定されることなく種々の変形が可能である。例えば、上述した一部の実施形態では、ACELP符号化処理及びACELP復号処理が、複数のフレームに共通に使用される符号化処理及び復号処理としてそれぞれ選択されている。しかしながら、共通に使用される符号化処理及び復号処理は、ACELP符号化処理及び復号処理に限定されず、任意のオーディオ符号化処理及びオーディオ復号処理であってもよい。また、上述したGEM_IDは、任意のビットサイズ及び値に設定されるGEM_IDであってもよい。
10,10A…オーディオ符号化装置,10a〜10a…符号化部、10b…選択部、10c…生成部、10d…出力部、10e…解析部、12…オーディオ復号装置、12a〜12a…復号部、12b…抽出部、12c…選択部、14…オーディオ符号化装置、14a…ACELP符号化部、14a…TCX符号化部、14a…Modified AAC符号化部、14b…選択部、14c…生成部、14d…出力部、14e…ヘッダ生成部、14f…第1判定部、14g…core_mode生成部、14h…第2判定部、14…lpd_mode生成部、16…オーディオ復号装置、16a…ACELP復号部、16a…TCX復号部、16a…Modified AAC復号部、16b…抽出部、16c…選択部、16d…ヘッダ解析部、16e…core_mode抽出部、16f…第1選択部、16g…lpd_mode抽出部、16h…第2選択部、18…オーディオ符号化装置、18b…選択部、18c…生成部、18d…出力部、18e…ヘッダ生成部、18f…符号化処理判定部、18g…生成部、20…オーディオ復号装置、20b…抽出部、20c…選択部、20d…ヘッダ解析部、20e…Mode bits抽出部、20f…復号処理選択部、22…オーディオ符号化装置、22b…選択部、22c…生成部、22d…出力部、22e…検査部、24…オーディオ復号装置、24b…抽出部、24c…選択部、24d…検査部、26…オーディオ符号化装置、26b…選択部、26c…生成部、26d…出力部、26e…ヘッダ生成部、26j…検査部、28…オーディオ復号装置、28b…抽出部、28c…選択部、28d…ヘッダ解析部、28j…ヘッダ検査部、30…オーディオ符号化装置、30b…抽出部、30d…出力部、32…オーディオ復号装置、32b…抽出部、32d…フレームタイプ検査部、34…オーディオ符号化装置、34b…選択部、34c…生成部、34d…出力部、34e…検査部、36…オーディオ復号装置、36b…抽出部、36c…選択部。

Claims (12)

  1. 互いに異なるオーディオ復号処理を実行して符号系列からオーディオ信号を生成する複数の復号部と、
    各々がオーディオ信号の符号系列を含む複数のフレーム及び/又は各々が複数のフレームを含む複数のスーパーフレームを有するストリームから、該複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、該複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を抽出する抽出部と、
    前記長期符号化処理情報が抽出されたことに応じて、前記複数の復号部のうち、前記複数のフレームの符号系列の復号に共通に使用する復号部を選択し、又は、前記複数の復号部のうち、前記複数のスーパーフレームの符号系列の復号に共通に使用する一組の復号部を選択する選択部と、
    を備える、オーディオ復号装置。
  2. 前記ストリームにおいて、少なくとも前記複数のフレームのうち先頭のフレームより後のフレームには、当該後のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていない、請求項1に記載のオーディオ復号装置。
  3. 前記選択部は、前記抽出部によって前記長期符号化処理情報が抽出されたことに応じて、前記複数の復号部のうち所定の復号部を選択し、
    前記ストリームには、前記複数のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていない、請求項2に記載のオーディオ復号装置。
  4. 前記長期符号化処理情報は、1ビットの情報である、請求項3に記載のオーディオ復号装置。
  5. 互いに異なるオーディオ符号化処理を実行してオーディオ信号から符号系列を生成する複数の符号化部と、
    前記複数の符号化部のうち、複数のフレームのオーディオ信号の符号化に共通に使用する符号化部を選択し、又は、各々が複数のフレームを含む複数のスーパーフレームのオーディオ信号の符号化に共通に使用する一組の符号化部を選択する選択部と、
    前記複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、前記複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を生成する生成部と、
    前記選択部によって選択された前記符号化部によって生成された前記複数のフレームの符号系列、又は、前記選択部によって選択された前記一組の符号化部によって生成された前記複数のスーパーフレームの符号系列と、前記長期符号化処理情報と、を含むストリームを出力する出力部と、
    を備えるオーディオ符号化装置。
  6. 前記ストリームには、少なくとも前記複数のフレームのうち先頭のフレームより後のフレームには、当該後のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていない、請求項5に記載のオーディオ符号化装置。
  7. 前記選択部は、前記複数の符号化部のうち所定の符号化部を選択し、
    前記ストリームには、前記複数のフレームの符号系列の生成に使用されたオーディオ符号化処理を特定するための情報が含まれていない、請求項6に記載のオーディオ符号化装置。
  8. 前記長期符号化処理情報は、1ビットの情報である、請求項7に記載のオーディオ符号化装置。
  9. 各々がオーディオ信号の符号系列を含む複数のフレーム及び/又は各々が複数のフレームを含む複数のスーパーフレームを有するストリームから、該複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、該複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を抽出するステップと、
    前記長期符号化処理情報が抽出されたことに応じて、互いに異なる複数のオーディオ復号処理のうち、前記複数のフレームの符号系列の復号に共通に使用するオーディオ復号処理を選択し、又は、該複数のオーディオ復号処理のうち、前記複数のスーパーフレームの符号系列の復号に共通に使用する一組のオーディオ復号処理を選択するステップと、
    選択された前記オーディオ復号処理を使用して前記複数フレームの符号系列を復号し、又は、選択された前記一組のオーディオ復号処理を使用して前記複数のスーパーフレームの符号系列を復号するステップと、
    を含む、オーディオ復号方法。
  10. 互いに異なる複数のオーディオ符号化処理のうち、複数のフレームのオーディオ信号の符号化に共通に使用するオーディオ符号化処理を選択し、又は、該複数のオーディオ符号化処理のうち、各々が複数のフレームを含む複数のスーパーフレームのオーディオ信号の符号化に共通に使用する一組のオーディオ符号化処理を選択するステップと、
    選択された前記オーディオ符号化処理を使用して前記複数のフレームのオーディオ信号を符号化して該複数のフレームの符号系列を生成し、又は、選択された前記一組のオーディオ符号化処理を使用して前記複数のスーパーフレームのオーディオ信号を符号化して該複数のスーパーフレームの符号系列を生成するステップと、
    前記複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、前記複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を生成するステップと、
    前記複数のフレームの符号系列、又は、前記複数のスーパーフレームの符号系列と、前記長期符号化処理情報と、を含むストリームを出力するステップと、
    を含む、オーディオ符号化方法。
  11. コンピュータを、
    互いに異なるオーディオ復号処理を実行して符号系列からオーディオ信号を生成する複数の復号部と、
    各々がオーディオ信号の符号系列を含む複数のフレーム及び/又は各々が複数のフレームを含む複数のスーパーフレームを有するストリームから、該複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、該複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を抽出する抽出部と、
    前記長期符号化処理情報が抽出されたことに応じて、前記複数の復号部のうち、前記複数のフレームの符号系列の復号に共通に使用する復号部を選択し、又は、前記複数の復号部のうち、前記複数のスーパーフレームの符号系列の復号に共通に使用する一組の復号部を選択する選択部と、
    として機能させるプログラム。
  12. コンピュータを、
    互いに異なるオーディオ符号化処理を実行してオーディオ信号から符号系列を生成する複数の符号化部と、
    前記複数の符号化部のうち、複数のフレームのオーディオ信号の符号化に共通に使用する符号化部を選択し、又は、各々が複数のフレームを含む複数のスーパーフレームのオーディオ信号の符号化に共通に使用する一組の符号化部を選択する選択部と、
    前記複数のフレームに対して単一の長期符号化処理情報であり該複数のフレームの符号系列の生成に共通のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報、又は、前記複数のスーパーフレームに対して単一の長期符号化処理情報であり該複数のスーパーフレームの符号系列の生成に共通の一組のオーディオ符号化処理が使用されたことを示す該長期符号化処理情報を生成する生成部と、
    前記選択部によって選択された前記符号化部によって生成された前記複数のフレームの符号系列、又は、前記選択部によって選択された前記一組の符号化部によって生成された前記複数のスーパーフレームの符号系列と、前記長期符号化処理情報と、を含むストリームを出力する出力部と、
    として機能させるプログラム。
JP2010181345A 2010-08-13 2010-08-13 オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム Active JP5749462B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010181345A JP5749462B2 (ja) 2010-08-13 2010-08-13 オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
PCT/JP2011/068388 WO2012020828A1 (ja) 2010-08-13 2011-08-11 オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
EP11816491.2A EP2605240B1 (en) 2010-08-13 2011-08-11 Audio decoding device, audio decoding method, audio decoding program, audio encoding device, audio encoding method, and audio encoding program
CN201510151793.1A CN104835501B (zh) 2010-08-13 2011-08-11 音频解码装置、音频解码方法、音频编码装置、音频编码方法
CN201180038817.2A CN103098125B (zh) 2010-08-13 2011-08-11 音频解码装置、音频解码方法、音频编码装置、音频编码方法
TW103145797A TWI570712B (zh) 2010-08-13 2011-08-12 Audio decoding device, audio decoding method, audio decoding program, audio coding device, audio coding method, and audio coding program
TW100128857A TWI476762B (zh) 2010-08-13 2011-08-12 Audio decoding device, audio decoding method, audio decoding program, audio coding device, audio coding method, and audio coding program
US13/765,109 US9280974B2 (en) 2010-08-13 2013-02-12 Audio decoding device, audio decoding method, audio decoding program, audio encoding device, audio encoding method, and audio encoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010181345A JP5749462B2 (ja) 2010-08-13 2010-08-13 オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム

Publications (2)

Publication Number Publication Date
JP2012042534A true JP2012042534A (ja) 2012-03-01
JP5749462B2 JP5749462B2 (ja) 2015-07-15

Family

ID=45567788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010181345A Active JP5749462B2 (ja) 2010-08-13 2010-08-13 オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム

Country Status (6)

Country Link
US (1) US9280974B2 (ja)
EP (1) EP2605240B1 (ja)
JP (1) JP5749462B2 (ja)
CN (2) CN104835501B (ja)
TW (2) TWI570712B (ja)
WO (1) WO2012020828A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827964A (zh) * 2012-07-05 2014-05-28 松下电器产业株式会社 编解码系统、解码装置、编码装置以及编解码方法
CN104919524A (zh) * 2012-11-13 2015-09-16 三星电子株式会社 用于确定编码模式的方法和设备、用于对音频信号进行编码的方法和设备以及用于对音频信号进行解码的方法和设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5749462B2 (ja) * 2010-08-13 2015-07-15 株式会社Nttドコモ オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
US8620660B2 (en) * 2010-10-29 2013-12-31 The United States Of America, As Represented By The Secretary Of The Navy Very low bit rate signal coder and decoder
WO2013141638A1 (ko) 2012-03-21 2013-09-26 삼성전자 주식회사 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
CN106537500B (zh) * 2014-05-01 2019-09-13 日本电信电话株式会社 周期性综合包络序列生成装置、周期性综合包络序列生成方法、记录介质
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
US10499229B2 (en) * 2016-01-24 2019-12-03 Qualcomm Incorporated Enhanced fallback to in-band mode for emergency calling
WO2020157183A1 (en) * 2019-01-31 2020-08-06 British Telecommunications Public Limited Company Methods and apparatus for the encoding of audio and/or video data
US11495240B1 (en) * 2019-07-23 2022-11-08 Amazon Technologies, Inc. Management of local devices
US11392401B1 (en) 2019-07-23 2022-07-19 Amazon Technologies, Inc. Management of and resource allocation for local devices
US10978083B1 (en) * 2019-11-13 2021-04-13 Shure Acquisition Holdings, Inc. Time domain spectral bandwidth replication
CN112740708B (zh) * 2020-05-21 2022-07-22 华为技术有限公司 一种音频数据传输方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267699A (ja) * 1999-03-19 2000-09-29 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法および装置、そのプログラム記録媒体、および音響信号復号装置
JP2001053869A (ja) * 1999-08-13 2001-02-23 Oki Electric Ind Co Ltd 音声蓄積装置及び音声符号化装置
JP2003173622A (ja) * 2001-12-04 2003-06-20 Matsushita Electric Ind Co Ltd 符号化音声データ復号化装置及び符号化音声データ復号化方法
JP2003195894A (ja) * 2001-12-27 2003-07-09 Mitsubishi Electric Corp 符号化装置、復号化装置、符号化方法、及び復号化方法
JP2006195144A (ja) * 2005-01-13 2006-07-27 Kddi Corp 通信端末装置
JP2008197199A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd オーディオ符号化装置及びオーディオ復号化装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100419545B1 (ko) * 1994-10-06 2004-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 다른코딩원리들을이용한전송시스템
TW321810B (ja) * 1995-10-26 1997-12-01 Sony Co Ltd
JP3252782B2 (ja) * 1998-01-13 2002-02-04 日本電気株式会社 モデム信号対応音声符号化復号化装置
US6658381B1 (en) * 1999-10-15 2003-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for robust frame type detection in systems employing variable bit rates
TW501376B (en) * 2001-02-09 2002-09-01 Elan Microelectronics Corp Decoding device and method of digital audio
TW561451B (en) * 2001-07-27 2003-11-11 At Chip Corp Audio mixing method and its device
BR0206395A (pt) * 2001-11-14 2004-02-10 Matsushita Electric Ind Co Ltd Dispositivo de codificação, dispositivo de decodificação e sistema dos mesmos
CN1947407A (zh) * 2004-04-09 2007-04-11 日本电气株式会社 音频通信方法和装置
JP4558734B2 (ja) * 2004-07-28 2010-10-06 パナソニック株式会社 信号復号化装置
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
EP2131590A1 (en) * 2008-06-02 2009-12-09 Deutsche Thomson OHG Method and apparatus for generating or cutting or changing a frame based bit stream format file including at least one header section, and a corresponding data structure
US20100114568A1 (en) * 2008-10-24 2010-05-06 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
KR101797033B1 (ko) * 2008-12-05 2017-11-14 삼성전자주식회사 부호화 모드를 이용한 음성신호의 부호화/복호화 장치 및 방법
US8023530B1 (en) * 2009-01-07 2011-09-20 L-3 Communications Corp. Physical layer quality of service for wireless communications
JP5749462B2 (ja) * 2010-08-13 2015-07-15 株式会社Nttドコモ オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
US8976730B2 (en) * 2011-07-22 2015-03-10 Alcatel Lucent Enhanced capabilities and efficient bandwidth utilization for ISSI-based push-to-talk over LTE

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267699A (ja) * 1999-03-19 2000-09-29 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法および装置、そのプログラム記録媒体、および音響信号復号装置
JP2001053869A (ja) * 1999-08-13 2001-02-23 Oki Electric Ind Co Ltd 音声蓄積装置及び音声符号化装置
JP2003173622A (ja) * 2001-12-04 2003-06-20 Matsushita Electric Ind Co Ltd 符号化音声データ復号化装置及び符号化音声データ復号化方法
JP2003195894A (ja) * 2001-12-27 2003-07-09 Mitsubishi Electric Corp 符号化装置、復号化装置、符号化方法、及び復号化方法
JP2006195144A (ja) * 2005-01-13 2006-07-27 Kddi Corp 通信端末装置
JP2008197199A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd オーディオ符号化装置及びオーディオ復号化装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827964A (zh) * 2012-07-05 2014-05-28 松下电器产业株式会社 编解码系统、解码装置、编码装置以及编解码方法
JPWO2014006837A1 (ja) * 2012-07-05 2016-06-02 パナソニックIpマネジメント株式会社 符号化・復号化システム、復号化装置、符号化装置、及び符号化・復号化方法
CN104919524A (zh) * 2012-11-13 2015-09-16 三星电子株式会社 用于确定编码模式的方法和设备、用于对音频信号进行编码的方法和设备以及用于对音频信号进行解码的方法和设备
JP2015535099A (ja) * 2012-11-13 2015-12-07 サムスン エレクトロニクス カンパニー リミテッド 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置
JP2017167569A (ja) * 2012-11-13 2017-09-21 サムスン エレクトロニクス カンパニー リミテッド 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置
CN108074579A (zh) * 2012-11-13 2018-05-25 三星电子株式会社 用于确定编码模式的方法以及音频编码方法
US10468046B2 (en) 2012-11-13 2019-11-05 Samsung Electronics Co., Ltd. Coding mode determination method and apparatus, audio encoding method and apparatus, and audio decoding method and apparatus
US11004458B2 (en) 2012-11-13 2021-05-11 Samsung Electronics Co., Ltd. Coding mode determination method and apparatus, audio encoding method and apparatus, and audio decoding method and apparatus

Also Published As

Publication number Publication date
US20130159005A1 (en) 2013-06-20
JP5749462B2 (ja) 2015-07-15
CN103098125A (zh) 2013-05-08
TWI476762B (zh) 2015-03-11
CN104835501B (zh) 2018-08-14
TW201222531A (en) 2012-06-01
TWI570712B (zh) 2017-02-11
TW201514975A (zh) 2015-04-16
EP2605240A1 (en) 2013-06-19
EP2605240B1 (en) 2016-10-05
CN103098125B (zh) 2015-04-29
CN104835501A (zh) 2015-08-12
WO2012020828A1 (ja) 2012-02-16
US9280974B2 (en) 2016-03-08
EP2605240A4 (en) 2014-04-02

Similar Documents

Publication Publication Date Title
JP5749462B2 (ja) オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
KR101452722B1 (ko) 신호 부호화 및 복호화 방법 및 장치
JP6214160B2 (ja) マルチモードオーディオコーデックおよびそれに適応されるcelp符号化
JP5934922B2 (ja) 復号装置
JP5883561B2 (ja) アップミックスを使用した音声符号器
JP5551693B2 (ja) エイリアシングスイッチスキームを用いてオーディオ信号を符号化/復号化するための装置および方法
TWI435316B (zh) 用以將經編碼音訊信號解碼之裝置與方法
JP5400059B2 (ja) オーディオ信号処理方法及び装置
EP2209114B1 (en) Speech coding/decoding apparatus/method
KR101180202B1 (ko) 다중채널 오디오 코딩 시스템 내에 인핸스먼트 레이어를 생성하기 위한 방법 및 장치
EP2849180B1 (en) Hybrid audio signal encoder, hybrid audio signal decoder, method for encoding audio signal, and method for decoding audio signal
RU2011141881A (ru) Усовершенствованное стереофоническое кодирование на основе комбинации адаптивно выбираемого левого/правого или среднего/побочного стереофонического кодирования и параметрического стереофонического кодирования
JPWO2006082790A1 (ja) スケーラブル符号化装置およびスケーラブル符号化方法
US8825495B2 (en) Acoustic signal processing system, acoustic signal decoding apparatus, processing method in the system and apparatus, and program
JP2022031698A (ja) 時間領域ステレオパラメータ符号化方法および関連製品
US20230306978A1 (en) Coding apparatus, decoding apparatus, coding method, decoding method, and hybrid coding system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150514

R150 Certificate of patent or registration of utility model

Ref document number: 5749462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250