JP2011066868A - オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 - Google Patents

オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 Download PDF

Info

Publication number
JP2011066868A
JP2011066868A JP2009282358A JP2009282358A JP2011066868A JP 2011066868 A JP2011066868 A JP 2011066868A JP 2009282358 A JP2009282358 A JP 2009282358A JP 2009282358 A JP2009282358 A JP 2009282358A JP 2011066868 A JP2011066868 A JP 2011066868A
Authority
JP
Japan
Prior art keywords
dimensional
channels
plane
encoding
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009282358A
Other languages
English (en)
Inventor
Sadahiro Yasura
定浩 安良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009282358A priority Critical patent/JP2011066868A/ja
Publication of JP2011066868A publication Critical patent/JP2011066868A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】３次元の音源位置を明確に指定した３次元の音場再現を、所定の符号化方式に準拠した符号化ストリームにより可能とすると共に伝送効率の良いオーディオ信号符号化を行う。
【解決手段】３次元空間分割部１１は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の平面に分割するための方向である分割方向とに基づいて、平面情報とチャンネルマッピング情報を出力する。平面符号化部１２〜１４は、平面情報とチャンネルマッピング情報とに基づいて、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに平面位置情報を生成して出力する。ストリーム統合部１５は、符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する。
【選択図】図１

Description

本発明はオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置に係り、特に多チャンネルのオーディオ信号に対して、所定の音声符号化方式の規格に準拠したオーディオ符号化信号を生成するオーディオ信号符号化方法及び符号化装置、並びにその符号化されたオーディオ信号を復号化する復号化方法及び復号化装置に関する。
多チャンネルのオーディオ信号を符号化するオーディオ信号符号化方式として、複数のエンコーダを用いる方式が知られている（例えば、特許文献１参照）。
このオーディオ信号符号化方式では、符号化側では多チャンネルのオーディオ信号（音声信号）を、それぞれのチャンネルに対応するＡ／Ｄコンバータでデジタル信号に変換した後、各チャンネルに対応した並列駆動の複数のエンコーダ群でそれぞれの群毎に、例えば現行のデジタル放送において実績があるＭＰＥＧ−２ ＡＡＣ(Moving Picture Experts Group 2 Advanced Audio Coding)規格により符号化し、一本の伝送ストリームに多重して送出する。
復号化側では、受信した一本の伝送ストリームから複数の群毎の多チャンネルオーディオ信号を分離して、それぞれを並列駆動の複数のデコーダ群でＭＰＥＧ−２ ＡＡＣ規格に基づいて伸張処理した後、元の多チャンネルそれぞれに対応したＤ／Ａコンバータによりアナログ信号のオーディオ信号に復号化する。この復号化された多チャンネルのオーディオ信号は、聴取位置を中心とする水平平面とその上方の水平平面にそれぞれ配置された複数個のスピーカに供給されてこれらを駆動することにより、３次元的音場を再現する。
特開２０００−２３６５９９号公報
しかしながら、上記のＭＰＥＧ−２ ＡＡＣ規格は、２次元平面（幅×奥行き）に設置された複数個のスピーカにより再生を行うオーディオ信号を符号化する方式であり、チャンネル配置情報も２次元平面を想定している。すなわち、３次元空間（幅×奥行き×高さ）に設置された複数個のスピーカにより再生を行う場合を想定していないため、多平面（３次元空間）におけるチャンネル配置を、例えば上方フロントチャンネル何チャンネルのように、３次元空間用のチャンネル配置情報を定義することができない。
このため、上記の従来のオーディオ信号符号化方法では、フロントチャンネルと、上方フロントチャンネルを識別することができず、一本の伝送ストリームとして多平面を伝送することができない。従って、上記の従来のオーディオ信号符号化方法では、３次元の音源位置を明確に指定した３次元の音場再現ができない。
また、上記の従来のオーディオ信号符号化方法では、送信側（符号化側）で多チャンネルの独立した複数のＭＰＥＧ−２ ＡＡＣ規格の符号化信号をそれぞれ所定ビット毎に分割してストリームとして一本の伝送路上に時分割多重して送り出すようにしているため、伝送ストリームは、ＭＰＥＧ−２ ＡＡＣ規格に準拠したストリームではない。従って、復号化装置として、ＭＰＥＧ−２ ＡＡＣ規格に準拠したデコーダを用意しても、従来のオーディオ信号符号化方法固有の分離処理を行わなければ、受信した一本の伝送ストリームをそのまま復号化することができない。
更に、上記の従来のオーディオ信号符号化方法では、多重化する前に、複数本の独立した符号化ストリームを作るために、チャンネル数に応じた多数のエンコーダが必要であり、また時分割多重のための多重器も必要であるため、回路規模が大きく、また符号化ストリームそれぞれが、ヘッダ情報（同期コードなど）や転送レート調整用ビット等を有しているので、それらを多重化すると冗長な情報により一本のストリームサイズが大きくなり、伝送効率が悪い。上記の従来のオーディオ信号復号化方法も同様に、多数のデコーダだけでなく、分離器も必要であるため回路規模が大きくなってしまう。
本発明は以上の点に鑑みなされたもので、３次元の音源位置を明確に指定した３次元の音場再現を、ＭＰＥＧ−２ ＡＡＣ規格、ＭＰＥＧ−４ ＡＡＣ規格、ＡＣ−３（Audio Code number3）を基にしたＥ−ＡＣ３(Enhanced AC3)方式等の所定の符号化方式に準拠した符号化ストリームにより可能とすると共に伝送効率の良いオーディオ信号符号化を行い得るオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置を提供することを目的とする。
上記の目的を達成するため、本発明のオーディオ信号符号化方法は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、平面情報とチャンネルマッピング情報とに基づいて、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する第２のステップと、第２のステップにより２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップとを含むことを特徴とする。
ここで、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が平面位置情報として付加されていてもよい。
また、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を、複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報が付加されていてもよい。
また、上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
また、本発明は、上記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される複数のスピーカのうち、複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの２次元平面における位置を示す情報も含むようにし、上記第２のステップでは、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記第３のステップでは、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と、２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようにしてもよい。
また、上記の目的を達成するため、本発明のオーディオ信号符号化装置は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各２次元平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、平面情報とチャンネルマッピング情報とに基づいて、３次元空間に配置されるスピーカから出力するための多チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する平面符号化部と、平面符号化部により２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部とを有することを特徴とする。
ここで、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を平面位置情報として付加した１本の符号化ストリームを生成してもよい。
また、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した１本の符号化ストリームを生成するようにしてもよい。
上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
また、本発明のオーディオ信号符号化装置は、上記の３次元空間分割部は、３次元空間に立体的に配置される複数のスピーカのうち、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの２次元平面における位置を示す情報も出力するようにし、上記の平面符号化部は、複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記のストリーム統合部は、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしてもよい。
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離する第１のステップと、第１のステップで分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップとを含むことを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップとを含むことを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップとを含むことを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部において分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部とを有することを特徴とする。
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部とを有することを特徴とする。
本発明のオーディオ信号符号化方法及び装置によれば、３次元空間に対応する音声信号の３次元空間における位置を明確に指定した３次元の音場再現が可能な符号化ストリームを生成することができる。
また、本発明のオーディオ信号復号化方法及び装置によれば、符号化側で生成した３次元空間に対応する音声信号を２次元平面毎の音声信号に分割し、分割した２次元平面毎のオーディオ信号を符号化した符号化要素を、分割情報と平面でのチャンネル配置情報とを含めて統合した符号化ストリームを復号化するため、３次元空間における音源位置を明確に指定した３次元の音場再現ができる。
本発明のオーディオ信号符号化装置の一実施の形態のブロック図である。 ２２.２ｃｈのスピーカ配置を示す図である。 図２に示すスピーカ配置の３次元空間を高さ方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。 図３に示した３つの２次元平面の各対応要素（スピーカ位置）の３次元座標を示す図である。 本発明により３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す図である。 図５中のPCEの構成を、記述言語を用いて示した図である。 図１のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図である。 図２に示すスピーカ配置の３次元空間を奥行き方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例のフォーマットを示す図である。 図９にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例のフォーマットを示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例のフォーマットを示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第６の例のフォーマットを示す図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第７の例のフォーマットを示す図である。 図１５中のDSE0の構成を、記述言語を用いて示した図である。 本発明のオーディオ信号復号化装置の第１の実施形態のブロック図である。 本発明のオーディオ信号復号化装置の第２の実施形態のブロック図である。 図１８中のダウンミックス部の一例のブロック図である。 図１９中のモード１ブロックの一例のブロック図である。 本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第８の例のフォーマットを示す図である。 図２０中の上層チャンネルダウンミックス部の一例の構成図である。 図２０中の中層チャンネルダウンミックス部の一例の構成図である。 図２０中の下層チャンネルダウンミックス部の一例の構成図である。 図２０中の５.１ｃｈ合成部の一例の構成図である。 図１９中のモード２ブロックの一例のブロック図である。 図２６中の２ｃｈ合成部の一例のブロック図である。 図１９中のモード３ブロックの一例のブロック図である。 図１９中のモード４ブロックの一例のブロック図である。 図１８に示す本発明のオーディオ信号復号化装置におけるモード４のときの効果を説明するスピーカ配置の一例を示す図である。
次に、本発明の実施の形態について図面と共に詳細に説明する。
図１は、本発明になるオーディオ信号符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号符号化装置１０は、３次元空間分割部１１と、３つの平面符号化部１２、１３及び１４と、ストリーム統合部１５とから構成され、外部からＮチャンネル（Ｎは自然数）のオーディオ信号、分割方向、各チャンネルのオーディオ信号の３次元チャンネル配置情報を入力として受け、例えばＭＰＥＧ準拠の符号化ストリームを出力する。
上記の「分割方向」は、Ｎチャンネルの各チャンネル毎のオーディオ信号がそれぞれ発音されるＮ個のスピーカが配置された、Ｘ軸，Ｙ軸，Ｚ軸の３軸からなる３次元空間を、２次元平面に分割するときの分割方向が、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の３種類のいずれであるかを示す情報である。なお、「分割方向」は必ずしも外部から入力される必要はなく、３次元空間分割部１１は、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の内、いずれか１つの「分割方向」を常に使用するようにしてもよい。また、上記の「３次元チャンネル配置情報」は、入力されたＮチャンネル（ｃｈ）のオーディオ信号が発音される３次元空間上の各チャンネルのスピーカ（あるいは音源）の配置位置を、聴取者の位置（リスニングポイント）を原点（０，０，０）としたときの、３次元座標（ｘ，ｙ，ｚ）で示す情報である。更に、上記のＮｃｈオーディオ信号は、Ｎｃｈのアナログオーディオ信号を各チャンネル別に、例えばパルス符号変調（ＰＣＭ）して得られたデジタル信号である。
３次元空間分割部１１は、分割方向と３次元チャンネル配置情報とに基づいて、３次元空間上に配置されたスピーカに対応するＮチャンネルの音源に関する情報を、複数の２次元平面の音源に関する情報に分割し、平面情報と、分割された２次元平面上における音源位置を示すチャンネルマッピング情報とを出力する。平面情報には、平面総数、平面毎のチャンネル総数、平面分割順序を示す情報が含まれる。チャンネルマッピング情報は、各チャンネルと平面との関連付け、各チャンネルと平面内の位置（フロント、サイド、リア等）との関連付けを表す。
平面符号化部１２、１３及び１４は、３次元空間を分割して得られた３つの２次元の平面のうち、割り当てられた一平面毎に設けられており、上記の平面情報とチャンネルマッピング情報とに基づいて、平面に含まれる各チャンネルのオーディオ信号に対して例えばＭＰＥＧ準拠の符号化方式により、ひとまとまりのプログラムとして符号化を行い、オーディオ信号そのものを符号化した際に得られるメインデータ（符号化データ）を意味する符号化要素（SCE、CPEエレメント）と、補助データとして、その平面内のチャンネル配置（フロント何チャンネル、サイド何チャンネル、リア何チャンネル）を示す情報を含む平面位置情報（PCEエレメント）とを出力する。
ここで、本実施の形態では、上記の符号化方式として、ＢＳデジタル放送で使用されているＭＰＥＧ−２ ＡＡＣ符号化方式を例として説明する。なお、ＭＰＥＧ−４ ＡＡＣ符号化方式でもよく、この符号化方式は、ＭＰＥＧ−２ ＡＡＣ符号化方式に新たなオプションツールが追加された形であるので、ＭＰＥＧ−２ ＡＡＣ符号化方式で代用することができる。なお、以下の説明では、両符号化方式をまとめて「ＭＰＥＧ−２／４ ＡＡＣ」と記す。
ストリーム統合部１５は、平面符号化部１２、１３及び１４からそれぞれ出力された、３つの平面の平面位置情報と符号化要素とを統合して、１本のＭＰＥＧ準拠（ここでは、ＭＰＥＧ−２／４ ＡＡＣ）の符号化ストリームを生成して出力する。
次に、本実施の形態のオーディオ信号符号化装置１０の動作について詳細に説明する。ここでは、図２に示す２２.２ｃｈの３次元のスピーカ配置による立体音場を生成するために、図２に示すスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示す３つの２次元平面に分割し、図５に示す構成のＭＰＥＧ−２／４ ＡＡＣ符号化ストリームを生成する例について説明する。
図２は、２２.２ｃｈを有する音響システムのスピーカ配置を示す。この２２.２ｃｈを有する音響システムのスピーカ配置は、衛星デジタル放送の高度化（高度ＢＳ）において定義されている。図２に示すように、上層９チャンネル、中層１０チャンネル、下層３チャンネル、ＬＦＥ（Low Frequency Effect）２チャンネルによる合計２２.２ｃｈにより、（幅×奥行き×高さ）の３次元空間が構築される。なお、ＬＦＥチャンネルは主に低音域の音声が割り当てられるチャンネルである。
この２２.２ｃｈの３次元空間の立体音場を示す符号化ストリームを、ＢＳデジタル放送と同様に、ＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して構築しようとする場合、前述したようにＭＰＥＧ−２／４ ＡＡＣ符号化方式では高さ方向を定義することができないので、基本的に現規格では符号化ストリームを構築することができない。
そこで、本実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、一例として３次元空間の高さ方向に分割して、図３（Ａ）に示すように上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,UBC,UBR）を有する２次元平面と、図３（Ｂ）に示すように中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)を有する２次元平面と、図３（Ｃ）に示すように下層３チャンネル(LFL,LFC,LFR)とＬＦＥ２チャンネル(LFEL,LFER)とからなる３.２チャンネルの下層部の２次元平面の３つに分割している。このように、３次元空間を高さ方向に分割することで、ＭＰＥＧ−２／４ ＡＡＣ符号化方式における２次元平面のチャンネル配置を定義することが可能となる。なお、ここでは、一例として２２.２ｃｈ音響システムに対応して３層に分割しているが、分割数を限定するものではない。同様に分割方向は高さ方向に限定するものではない。
再び図１に戻って説明する。３次元空間分割部１１は、入力される分割方向が一例としてＸ−Ｙ分割を示しており、また、入力される３次元チャンネル配置情報として、表１に示す情報が入力されたものとする。
Figure 2011066868
 表１は、図２に示した２２.２ｃｈのスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示した高さ方向に３つの２次元平面に分割したときの、３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示す。表１に示す３次元チャンネル配置情報は、図４（Ｂ）に示したリスナー位置を原点とした時の距離を示す。なお、図４（Ａ）〜（Ｃ）は図３（Ａ）〜（Ｃ）と同じ３つの２次元平面を示しており、更に各対応要素の３次元座標を示している。
３次元空間分割部１１は、表１に示す３次元チャンネル配置情報に基づいて、平面総数と、平面毎のチャンネル総数と、平面分割順序とからなる平面情報を生成して出力する。ここで、上記の平面総数は２次元平面の総数であるので「３」、上記の平面毎のチャンネル総数は表２に示され、上記の平面分割順序は４ビット表現で例えば「００１１」である。ここで、「００１１」で表される平面分割順序は、Ｘ−Ｙ分割で、上層部から中層部を経て下層部＋ＬＦＥの順序で分割することを示す。なお、Ｘ−Ｙ分割で、下層部＋ＬＦＥから中層部を経て上層部への順序で分割する場合は、上記平面分割順序は「００１０」とされる。また、分割しない場合は上記平面分割順序は「００００」とされる。
Figure 2011066868
 表２に示す平面毎のチャンネル総数は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の例で、平面番号とチャンネル総数と図５の対応エレメントであるＰＣＥ(Program_Config_Element)との関係を示す。
平面番号「０」は上層部の２次元平面を示し、そのチャンネル総数は図３（Ａ）、図４（Ａ）に示すように「９」である。また、平面番号「１」は中層部の２次元平面を示し、そのチャンネル総数は図３（Ｂ）、図４（Ｂ）に示すように「１０」である。更に、平面番号「２」は下層部＋ＬＦＥの２次元平面を示し、図３（Ｃ）、図４（Ｃ）に示すように３.２ｃｈであるので、そのチャンネル総数は「５」である。従って、全チャンネル総数はｃｈ０〜ｃｈ２３の２４チャンネルとなる。
また、３次元空間分割部１１は、Ｘ−Ｙ分割である場合、同じ高さ（Ｚ軸）のチャンネルをまとめて一平面とし、また原点からのＹ軸の距離が同じものをフロント(front)、サイド(side)、バック(back)に分割する。また、センターのような単独チャンネルと、Ｌ／Ｒのようなペアチャンネルとの分離も行う。
これにより、３次元空間分割部１１は、フロントチャンネルで単独チャンネルを示す「front single 識別」、フロントチャンネルでペアチャンネルを示す「front pair識別」、サイドチャンネルで単独チャンネルを示す「side single 識別」、サイドチャンネルでペアチャンネルを示す「side pair識別」、バックチャンネルで単独チャンネルを示す「back single 識別」、バックチャンネルでペアチャンネルを示す「back pair識別」、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」を各チャンネル毎に示すチャンネルマッピング情報を生成する。表３は、このチャンネルマッピング情報を示す。
Figure 2011066868
 表３において、対応要素は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の、そのフォーマットの対応要素を示す。
平面符号化部１２は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、２２.２ｃｈの入力オーディオ信号のうち、平面番号「０」の上層部の２次元平面の各チャンネルのオーディオ信号に対してＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
また、平面符号化部１２の符号化動作と並行して、平面符号化部１３は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「１」の中層部の２次元平面の各チャンネルのオーディオ信号に対して、また平面符号化部１４は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「２」の下層部＋ＬＦＥの２次元平面の各チャンネルのオーディオ信号に対して、それぞれＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
このとき平面符号化部１２〜１４は、同一平面のチャンネルの符号化形態（チャンネルペアで符号化：ＣＰＥ、シングルチャンネルで符号化：ＳＣＥ）を、チャンネルマッピング情報を基に決定して符号化を行い、符号化要素を生成する。また、平面符号化部１２〜１４は、チャンネルマッピング情報から平面位置情報を生成する。これはストリーム中のプログラムコンフィグエレメント（ＰＣＥ）に相当する。
ストリーム統合部１５は、平面符号化部１２〜１４からそれぞれ出力された平面位置情報と符号化要素とから、ＭＰＥＧ−２／４ ＡＡＣ符号化方式に準拠した符号化ストリームを生成して出力する。
次に、オーディオ信号符号化装置１０から出力されるＭＰＥＧ準拠符号化ストリームの各例について説明する。
図５は、本発明により図２に示した２２.２ｃｈの３次元空間を、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す。このＭＰＥＧ準拠符号化ストリームは、ＭＰＥＧ−２／４ ＡＡＣ符号化方式で符号化されたストリームで、そのフォーマットは、ＡＤＴＳ（Audio_Data_Transport_Stream）フォーマットと呼ばれており、この図５（Ａ）もＡＤＴＳフォーマットに準拠している。
図５（Ａ）に示すように、符号化フォーマットは、１オーディオフレームに相当する「adts_frame」単位で時系列的に合成された構造である。「adts_frame」は、同期コード、フレーム長などの情報やＣＲＣエラー検出コードを含む「adts_header」と呼ぶヘッダと、符号化したオーディオ情報がエレメントと呼ばれる単位にまとめられて収められたブロックである「raw_data_block」とからなる。
本実施の形態の符号化ストリームは、図５（Ａ）、（Ｂ）に示すように、「raw_data_block」が、チャンネル情報用のPCE(Program_Config_Element)と、上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」と、スタッフィングビット用のFIL(File_element)と、フレームの終わりを示すEND(Terminator)とから構成される。
チャンネル情報用のPCEは図５（Ｂ）に示すように「PCE0」、「PCE1」、「PCE2」からなる。「PCE0」は、図１に示した平面符号化部１２から出力された上層の平面位置情報である。同様に、「PCE1」、「PCE2」は、それぞれ図１に示した平面符号化部１３、１４から出力された中層と下層＋ＬＦＥの平面位置情報である。
上層の情報「upper_layer」は、図５（Ｃ）に示すように、フロントのSCE(Single_Channel_Element)0及びCPE(Channel_Pair_Element)0と、サイドのSCE1及びCPE1と、バック（リア）のSCE2及びCPE2とからなる。この上層の情報「upper_layer」は、図１に示した平面符号化部１２から出力された符号化要素である。なお、ここでは、エレメントの名称とタグ番号（element_instance_tag）を一緒に記載している。例えば、SCEでタグ番号０を有するものを「SCE0」と記載している。
同様に、中層の情報「middle_layer」は、図５（Ｄ）に示すように、フロントのSCE3、CPE3及びCPE4と、サイドのCPE5と、バックのSCE4及びCPE6とからなる。この中層の情報「middle_layer」は、図１に示した平面符号化部１３から出力された符号化要素である。また、下層＋ＬＦＥの情報「lower+LFE_layer」は、図５（Ｅ）に示すように、フロントのSCE5及びCPE7と、ＬＦＥのLFE(LFE_Channel_Element)0及びLFE1とからなる。この下層＋ＬＦＥの情報「lower+LFE_layer」は、図１に示した平面符号化部１４から出力された符号化要素である。
図６は、上記のPCEの構成を、記述言語を用いて示した図である。各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値、bslbfはビット列）を表している。先頭にある「element_innstance_tag」は、タグ番号であり、複数のPCEが存在した場合に、それらを区別することができる。「num_front_channel_elements」はフロントチャンネルに存在するエレメント数を表しており、同様に、サイドチャンネル用、バックチャンネル用、LFEチャンネル用にそれぞれ、「num_side_channel_elements」,「num_back_channnel_elements」, 「num_lfe_channel_elements」が存在する。
そして、そのエレメントがSCEであるかCPEであるかを区別する情報１ビットと、そのエレメントに付けられているタグ番号(element_instance_tag)と同一の情報が４ビットで追加される（例えば、「front_element_is_cpe」,「front_element_tag_select」）。LFEについてはチャンネルペアとして符号化されることはないので、SCE/CPEを区別する情報はなく、タグ番号だけが４ビットで追加される（lfe_element_tag_select）。
図７は、本実施の形態のオーディオ信号符号化装置１０により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図を示す。図７（Ａ）は上層部に存在する９ｃｈを記述したPCE0、同図（Ｂ）は、中層部に存在する１０ｃｈを記述したPCE1、同図（Ｃ）は下層部＋ＬＦＥに存在する３.２ｃｈを記述したPCE2の構成を記述言語を用いて示す。このように、本実施の形態によれば、PCE0、PCE1、PCE2は問題なく定義できることが分かる。
このように、本実施の形態では、２２.２ｃｈを有する１つのプログラムは、高さ方向に分割された３プログラムから構成されるものとして分割し、図５（Ｂ）に示すように符号化ストリームに現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、分割された２次元平面に含まれるチャンネルをＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して各プログラムを構成し、ストリーム統合部１５が全てのプログラムを統合することで、ＭＰＥＧ規格に準拠し、かつ、３次元空間に対応した符号化ストリームを構築することができる。
このように、本実施の形態によれば、３次元空間用のチャンネル配置の定義を追加することなく、３次元の音源位置を明確に指定した３次元の音場再現が可能なＭＰＥＧ−２／４ＡＡＣ規格に準拠した符号化ストリームを生成することができる。また、本実施の形態によれば、３つの２次元平面のそれぞれの符号化要素をストリーム統合して１本の符号化ストリームを生成しており、独立した符号化ストリームを多重化しないため、冗長な情報が存在せず、伝送効率の良いオーディオ信号符号化ができる。
更に、本実施の形態によれば、多重器を用いることなく、１個のオーディオ信号符号化装置１０により２２.２ｃｈのオーディオ信号の符号化を行うことができるので回路規模を比較的小規模とすることができる。更に、本実施の形態によれば、符号化ストリームから、選択した２次元平面に関するストリーム情報だけを抜き出して復号することができる。
なお、高度ＢＳに関する答申は、電波産業会（ＡＲＩＢ:Association of Radio Industries and Businesses）より答申されたものであること、従来からARIB標準規格STD-B32において、ＭＰＥＧ規格の使用制限、厳密化を行っていることから、本実施の形態のように平面位置情報であるPCEと分割した２次元平面の符号化要素との対応を示す定義を追記することは、特に問題にならない。ＭＰＥＧ国際標準規格を修正して、日本のローカル放送方式に対応することの方が問題は大きい。
なお、上記の実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、３次元空間の高さ方向に分割（すなわち、前記のＸ−Ｙ分割）して２次元平面を得るようにしたが、分割方法はこれに限定されるものではない。例えば、図８（Ａ）〜（Ｃ）に示すように、奥行き方向に分割（Ｘ−Ｚ分割）して、３つの２次元平面（幅×高さ）を得て、各２次元平面のチャンネルのオーディオ信号毎に符号化するようにしてもよい。Ｘ−Ｚ分割の場合は、同じ奥行き（Ｙ軸）のチャンネルをまとめて一平面とする。図８（Ａ）は、３次元空間の奥行き方向の分割により、前方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。図８（Ｂ）は、中方部を有する２次元平面のチャンネル位置（スピーカ位置）、図８（Ｃ）は、後方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。
この例の場合、２種類のデフォルト定義が必要となる。第１のデフォルト定義は、高さ方向の分割と同様に、２２.２ｃｈを有する１番組（プログラム）は、奥行き方向に分割された３プログラムから構成されるものとし、一例として、符号化ストリームに最初に現れるPCE0を前方＋LFE用、２番目に現れるPCE1を中方用、最後に現れるPCE2を後方用と定義することである。
第２の定義は、フロントチャンネル、サイドチャンネル、バックチャンネルの定義が明確でなくなるため、一例として、下層部をフロントチャンネルにより対応し、中層部をサイドチャンネルにより対応し、上層部をバックチャンネルにより対応するものと定義することである。
以上のように定義することで、３次元空間に配置された２２.２ｃｈの音源位置を持つオーディオ信号を、ＭＰＥＧ規格に準拠した符号化方式（ここでは、ＭＰＥＧ−２／４ＡＡＣ符号化方式）で符号化された符号化ストリームを構築することができる。このような奥行き方向の分割を行うメリットは、前方からの距離が一定で、水平角は同一であるので、違いが仰角による伝搬時間の違いだけとなり、各２次元平面内の存在する音源間の相関が高いと考えられるためである。
なお、上記のＸ−Ｙ分割やＸ−Ｚ分割以外に、Ｙ−Ｚ分割も可能である。このＹ−Ｚ分割では、同じ幅（Ｘ軸）のチャンネルをまとめて一平面とするものである。このＹ−Ｚ分割では原点からのＺ軸からの距離が同じものをフロント、サイド、リニアに分類する。なお、前記の４ビットの平面分割順序は、Ｘ−Ｚ分割の場合は、スピーカ配置において前方から後方への分割順序かその逆の順序かを示し、Ｙ−Ｚ分割の場合は、左方から右方への分割順序かその逆の順序かを予め定められた４ビットの値で示す。
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例について説明する。
図９は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第２の例のフォーマットを示す。図９に示す第２の例のフォーマットは、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図９（Ｂ）にPCE3で示すように５.１ｃｈ互換用PCEを追加したものである。このPCE3は、３次元空間に配置された２２.２ｃｈよりも少ないチャンネル数からなる既存のサラウンドシステムで用いられる音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報であり、ストリーム統合部１５が平面位置情報に基づいて生成し、符号化ストリームに付加する。
図９（Ｄ）に示す中層の符号化要素（エレメント）のうち、５.１ｃｈのセンターチャネルをＭＦＣの要素SCE3で代用し、５.１ｃｈのフロントレフト、ライトチャンネルのＭＦＬ及びＭＦＲの要素CPE4で代用する。そして、５.１ｃｈのバックレフト、ライトをＭＢＬ及びＭＢＲの要素CPE6で代用する。また、図９（Ｅ）に示す下層＋ＬＦＥの符号化要素（エレメント）のうち、５.１ｃｈのＬＦＥを要素LFE0で代用する。なお、５．１ｃｈのサラウンドシステムを例としたが、以上の様に、３次元空間に配置された２２.２ｃｈの内、一部のチャンネルのみを復号化するための情報を付加することで、５.１ｃｈだけでなく７.１ｃｈや９.１ｃｈなどの既存のサラウンドシステムにも同様にして対応することができる。
このようにして、第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化した際、５.１ｃｈサラウンドシステムでの再生を可能とするため、復号化した２２.２ｃｈ信号をダウンミックスして５.１ｃｈ信号を生成するのではなく、復号化の時点で５.１ｃｈに対応したストリーム部分（斜線部）だけを復号化して、５.１ｃｈ信号を生成することが可能となる。
また、この第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームでは、中層と下層＋LFEに復号すべきエレメントが及んでいるので、デコード処理の最適化を図ることからも、中層においてLFEも処理するように中層のチャンネル数を１０.１ｃｈとして符号化ストリームを構成しておくことも可能である。また、５.１ｃｈ出力に関係するエレメントだけを１プログラムとして定義した符号化ストリーム構成としてもよい。
図１０は、図９（Ｂ）にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す。この５.１ｃｈ互換用PCEは、従来知られている５.１ｃｈ用PCEと比較して対応するエレメントのタグ番号だけが異なる。
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例について説明する。
図１１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す。図１１に示す第３の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号をＡＡＣ＋ＳＢＲ符号化方式により符号化して構築した符号化ストリームのフォーマットである。
ＳＢＲ（Spectral Band Replication）は、ＡＡＣのオプションツールとしてＭＰＥＧにて２００３年に追加された技術である。ＡＡＣ＋ＳＢＲ符号化方式は、通常のＡＡＣ符号化では高音質の実現が困難な低ビットレートにおいて、１／２サンプリング周波数を用いてＡＡＣ規格で符号化し、それにより破棄される高域成分については、低域成分から予測復元される高域成分の推定値と原信号の高域成分との差を基に補完情報を生成し、ＡＡＣ符号化ストリーム中のＦＩＬに多重するものである。
図１１に示すフォーマットでは、図５に示した第１の例のフォーマットと同様に、２２.２ｃｈを有する１番組は、高さ方向に分割された３プログラムから構成されるものとして分割を行い、図１１（Ｂ）に示すようにストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、このフォーマットでは、図１１（Ｃ）〜（Ｅ）に示すように「raw_data_block」中に上層、中層、下層部＋ＬＦＥに含まれるメインオーディオ用のエレメントSCE、CPEを持ち、各エレメントSCE、CPEの後ろにＳＢＲ情報を含むFIL SBRを連続させている。
上記のＡＡＣ＋ＳＢＲ符号化は、図１に示した平面符号化部１２〜１４により行う。このようにして、図１１に示すＭＰＥＧ規格に準拠した３次元空間用ＡＡＣ＋ＳＢＲ符号化ストリームを構築することができる。
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例について説明する。
図１２は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第４の例のフォーマットを示す。図１２に示す第４の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである。
この図１２に示すフォーマットは、図９に示したフォーマットと同様に、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図１２（Ｂ）に示すように５.１ｃｈ互換用PCE3を追加した点で図９に示したフォーマットと類似している。しかし、この図１２に示すフォーマットは、図１２（Ｄ）に示すように、中層の符号化要素（エレメント）として、５.１ｃｈのフロントチャネルのＭＦＣの要素SCE3、ミドルチャネルのＭＦＬ及びＭＦＲの要素CPE4、及びバックチャネルのＭＢＬ及びＭＢＲの要素CPE6だけでなく、５.１ｃｈのＬＦＥの要素LFE0も含む点で図９に示したフォーマットと異なる。
図９に示したフォーマットの場合は、CPE6をデコードした後、SCE5及びCPE7を読み捨ててLFE0のデコードを行う必要があったのに対し、この図１２に示すフォーマットでは、CPE6をデコードした後、直ちにLFE0のデコードを行うことができる。
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例について説明する。
図１３は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第５の例のフォーマットを示す。図１３に示す第５の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである点は、図９及び図１２に示したフォーマットと同様であるが、このフォーマットは５.１ｃｈに関係するエレメントだけを１プログラムとして定義したものである。
すなわち、図１３（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈ用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義する。上記のPCE0は、図９（Ｂ）に示したPCE3と同様、５.１ｃｈ、７.１ｃｈ、９.１ｃｈなどの既存のサラウンド音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報である。ストリーム統合部１５が平面位置情報に基づいて上記のPCEを生成し、符号化ストリームに統合する。
更に、図１３（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈの情報「5.1ch compatible_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈの情報「5.1ch compatible_layer」は、図１３（Ｃ）に示される。ストリーム統合部が、各符号化要素を基に「5.1ch compatible_layer」を符号化ストリームに付加する。
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１３（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈの情報「5.1ch compatible_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。
図１４は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第６の例のフォーマットを示す。図１４に示す第６の例のフォーマットは、図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、２２.２ｃｈのオーディオ信号を５.１ｃｈにダウンミックスした信号を同時に本発明になるオーディオ信号符号化装置に入力し、それぞれを符号化して、一本の符号化ストリームにしたものである。
この第６の例のフォーマットの符号化ストリームを生成する本発明になるオーディオ信号符号化装置は、図１に示した平面符号化部１２〜１４に、更に一つの平面符号化部を追加した構成である。これにより、２２.２ｃｈのオーディオ信号については、図１に示した平面符号化部１２〜１４が、ＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第１の例を生成する場合と同様に、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化する。一方、５.１ｃｈダウンミックス信号については、新たに追加された一つの平面符号化部が新たな１プログラムとして符号化し、符号化要素を生成する。そして、図１のストリーム統合部１５において、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号に関する、全ての符号化要素と全ての平面位置情報とを統合して、ＭＰＥＧ準拠の符号化ストリームを構築する。
また、図１４（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈダウンミックス信号用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義している。
更に、図１４（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」は、図１４（Ｃ）に示される。
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１４（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。また、予め２２.２ｃｈ信号とは別に、５.１ｃｈ信号を生成しているため、この例のフォーマットの符号化ストリームを復号化した場合は、ダウンミックス係数によりデジタルデータ的に加算する場合に比べて、コンテンツの音質及び、音楽表現は向上する。
Figure 2011066868
 表４は、表１に５.１ｃｈダウンミックス信号に関する情報を追加したものである。表４は、５.１ｃｈダウンミックス信号の３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示している。ここでは、５.１ｃｈダウンミックス信号は、中層部に位置するものとしている。また、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号との区別をするために、ダウンミックス（downmix）識別情報が追加されている。
Figure 2011066868
 表５は、表２に５.１ｃｈダウンミックス信号に関する情報を追加したものである。平面番号「１」として中層部の２次元平面を示し、そのチャンネル総数は、「６」である。また、ＰＣＥのタグ番号（element_instance_tag）は「０」としている。３次元空間を２次元平面に分割した際の平面総数に応じてＰＣＥの個数は可変し、ＰＣＥに付随するタグ番号も変化するので、５.１ｃｈダウンミックス信号用のタグ番号は常に「０」を使うようにしてもよい。
Figure 2011066868
 表６は、表３に５.１ｃｈダウンミックス信号に関するチャンネルマッピング情報を追加したものである。downmix識別情報を追加して、５.１ｃｈダウンミックス信号であるｃｈ２４〜ｃｈ２９にのみ、「１」が立つようにしている。また、ｃｈ２４〜ｃｈ２９は、平面番号「１」として中層部の２次元平面を示し、それぞれのチャンネルは、既存の５.１ｃｈサラウンドの配置同様に、フロントチャンネルで単独チャンネルを示す「front single 識別」に割り振られるチャンネル（ｃｈ２４）と、フロントチャンネルでペアチャンネルを示す「front pair識別」に割り振られるチャンネル（ｃｈ２５、２６）と、バックチャンネルでペアチャンネルを示す「back pair識別」に割り振られるチャンネル（ｃｈ２７、２８）と、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」に割り振られるチャンネル（ｃｈ２９）より構成されている。
そして、図１に新たに追加された前記一つの平面符号化部において、「front single 識別」に割り振られたチャンネルは、ＳＣＥとして符号化され、「front pair識別」、及び「back pair識別」に割り振られたチャンネルは、それぞれＣＰＥとして符号化され、「LFE single 識別」に割り振られたチャンネルは、ＬＦＥとして符号化される。
図１５は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第７の例のフォーマットを示す。図１５に示す第７の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号を、５.１ｃｈダウンミックス信号に変換するための変換係数を伴ったフォーマットである。
すなわち、図１５（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSE（データストリームエレメント）として、DSE0を定義する。このDSE0には５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数を記述する。
図１６は、上記のDSE0の構成を、図６と同様に記述言語を用いて示した図である。図１６において、各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値）を表している。先頭にある「element_instance_tag」はタグ番号であり、複数のDSEが存在した場合に、それらを区別することができる。「data_byte_align_flag」は、DSE内でバイトアラインが成されたかを示すフラグである。「count」にはデータ長が入る。「esc_count」はデータ長２５５以上を表現するためのものである。「data_stream_byte」にはデータ長分の実データが含められる。以上から、DSE0には実データに関するフォーマットの制約が無いため自由な記述が可能であり、この部分にダウンミックス用変換係数を記述することで、復号化の終わりにそれらの係数を用いてダウンミックスを実行することができる。
次に、本発明になるオーディオ信号復号化装置について説明する。
図１７は、本発明になるオーディオ信号復号化装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号復号化装置２０は、ストリーム分離部２１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５とから構成され、外部から図５、図９、図１１、図１２又は図１３に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号とを出力する。
ストリーム分離部２１は、入力された上記のＭＰＥＧ準拠の符号化ストリームから３つの２次元平面それぞれの符号化要素と平面位置情報とを分離して、５.１ｃｈ互換用以外の３つの平面位置情報(PCE)は３次元空間合成部２５にそれぞれ供給し、３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４に別々に供給する。
平面復号化部２２、２３及び２４は、図１に示した平面符号化部１２、１３、１４から出力された符号化要素と同じ符号化要素をストリーム分離部２１から供給され、入力された符号化要素を復号化して、その符号化要素が示す２次元平面の各スピーカ位置に対応したチャンネルのオーディオ信号を出力する。
例えば、図５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、平面復号化部２２は図５（Ｃ）に示した上層の情報「upper_layer」の符号化要素を復号化し、図３（Ａ）に示した上層の９ｃｈのオーディオ信号を対応するチャンネルに出力する。また、平面復号化部２３は図５（Ｄ）に示した中層の情報「middle_layer」の符号化要素を復号化し、図３（Ｂ）に示した中層の１０ｃｈのオーディオ信号を対応するチャンネルに出力する。更に、平面復号化部２４は図５（Ｅ）に示した下層及びＬＦＥの情報「lower+LFE_layer」の符号化要素を復号化し、図３（Ｃ）に示した下層及びＬＦＥの３.２ｃｈのオーディオ信号を対応するチャンネルに出力する。
一方、３次元空間合成部２５は、平面復号化部２１から入力される平面位置情報(PCE)から平面分割の種類と個数、２次元平面におけるフロント、サイド、リアの各チャンネル配置を識別した後、これらのチャンネル配置と２次元平面内のチャンネルとの対応をとり、各チャンネルの位置情報をリスニングポイントである原点座標（０，０，０）からの距離で表現された３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
このようにして、平面復号化部２２、２３及び２４から復号化された全部で２２.２ｃｈ（＝Ｎｃｈ）のオーディオ信号と、３次元空間合成部２５から出力された３次元チャンネル配置情報とを出力することにより、各チャンネルの３次元空間内の位置を明確にすることができ、図示しない対応する各チャンネルのスピーカによって立体音場を再生させることができる。このように、本実施の形態によれば、ＭＰＥＧ−２／４ ＡＡＣ規格に準拠した符号化ストリームを復号化して、２２.２ｃｈの各チャンネルの音源位置を明確に指定した立体音場の再生ができる。
また、図１４に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化する本発明のオーディオ信号復号化装置は、図１７に示した本発明のオーディオ信号復号化装置２０内に、平面復号化部２２〜２４に並列に更に一つの平面復号化部を新たに追加すると共に、ストリーム分離部２１により前記３つの２次元平面それぞれの符号化要素と平面位置情報とを分離すると共に、５.１ｃｈダウンミックス信号に関する符号化要素と平面位置情報も分離できるようにする。
これにより、２２.２ｃｈのオーディオ信号に対応する３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４により復号化される。また、５.１ｃｈダウンミックス信号に関する符号化要素は、上記の新たに追加された平面復号化部により復号化されて、オーディオ信号として出力される。また、３次元空間合成部２５は、２２．２ｃｈのオーディオ信号に関する３つの平面位置情報と５.１ｃｈダウンミックス信号に関する平面位置情報から、３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
図１８は、本発明になるオーディオ信号復号化装置の第２の実施の形態のブロック図を示す。同図中、図１７と同一構成部分には同一符号を付し、その説明を省略する。同図に示すように、本実施の形態のオーディオ信号復号化装置３０は、ストリーム分離部３１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５と、ダウンミックス部３２とから構成される。このオーディオ信号復号化装置３０は、外部から図１５に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号を生成し、そして、外部より入力されたダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号を出力するか、または、ダウンミックスされたオーディオ信号を出力する。
図１７に示したオーディオ信号復号化装置２０との相違点は、オーディオ信号復号化装置３０は、ストリーム分離部３１において、３つの平面位置情報及び符号化要素と共に変換係数情報を分離する点と、外部よりダウンミックス選択フラグの入力を伴ったダウンミックス部３２を有している点である。以下では、その相違点について詳細に説明する。
例えば、図１５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、オーディオ信号復号化装置３０はストリーム分離部３１において図１５（Ｂ）に示したDSE0を分離し、５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数情報を抽出し、ダウンミックス部３２に渡す。
ダウンミックス部３２は、３次元空間合成部２５からの３次元チャンネル配置情報と、平面復号化部２２、２３及び２４からの全部でＮｃｈの復号オーディオ信号と、上記変換係数情報と、ダウンミックス選択フラグとを入力として受け、ダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号、またはダウンミックスされたオーディオ信号を出力する。上記の３次元チャンネル配置情報と変換係数情報とが対になっているため、入力されたＮｃｈオーディオ信号に乗じる変換係数は、チャンネル番号により識別される。また、ダウンミックス選択フラグは、例えば、表７に示すような種類が存在する。
Figure 2011066868
 表７において、ダウンミックス選択フラグ番号「０」は、ダウンミックスを行わずＮｃｈオーディオ信号をそのまま出力するモードである。また、ダウンミックス選択フラグ番号「１」は、ダウンミックスを実行し、１枚の２次元平面に存在する５.１ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「２」は、ダウンミックスを実行し、１枚の２次元平面に存在する２ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「３」は、ダウンミックスにより、１枚の２次元平面に存在する２ｃｈバイノーラル信号を生成するモードである。更に、ダウンミックス選択フラグ番号「４」は、平面総数分の２次元平面に存在する５.１ｃｈとして出力するモードである。
図１９は、図１８中のダウンミックス部３２の一例のブロック図を示す。図１９に示すように、ダウンミックス部３２は、モード１ブロック３２１、モード２ブロック３２２、モード３ブロック３２３、モード４ブロック３２４及び出力セレクタ３２５から構成されている。モード番号は表７に示したダウンミックス選択フラグ番号に対応している。入力されたダウンミックス選択フラグに応じて、モード１ブロック３２１〜モード４ブロック３２４のうち、各番号に対応したモードブロックが有効になり、入力されたオーディオ信号、３次元チャンネル配置情報、及び変換係数情報を用いてダウンミックス処理がなされて、出力セレクタ３２５からオーディオ信号が出力される。以下、各モードついて詳細に説明する。
まず、ダウンミックス部３２に、ダウンミックス選択フラグ番号「０」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、ダウンミックスを行わず、入力されたＮｃｈオーディオ信号を出力セレクタ３２５で選択してそのまま出力する。この場合、モード１ブロック３２１〜モード４ブロック３２４は使用しない。
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「１」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、モード１ブロック３２１を有効とすると共に、出力セレクタ３２５をモード１ブロック３２１から出力されるオーディオ信号を選択する。
図２０は、モード１ブロック３２１の一例の全体ブロック図を示す。同図に示すように、モード１ブロック３２１は、上層チャンネルダウンミックス部１０１、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３及び５.１ｃｈ合成部１０４から構成されている。モード１ブロック３２１は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部１０１〜１０３で入力されたＮｃｈオーディオ信号の必要なチャンネルのオーディオ信号を選択してダウンミックス処理を行う。
上層チャンネルダウンミックス部１０１は、Ｎｃｈオーディオ信号のうち上層部に存在するチャンネルのオーディオ信号について、変換係数情報を用いて５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。同様に、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３は、変換係数情報を用いて中層部、下層部に存在するチャンネルのオーディオ信号をそれぞれ５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。
５.１ｃｈ合成部１０４は、各ダウンミックス部１０１〜１０３から入力された５．１ｃｈダウンミックス信号について、対応するチャンネル毎に加算することで、１枚の２次元平面に存在する最終的な５.１ｃｈのオーディオ信号を生成して出力する。
ダウンミックス方法について説明する。例えば、前述したＭＰＥＧ−２ ＡＡＣ規格は、下記の式（１ａ）、（１ｂ）を用いて１枚の２次元平面でのダウンミックスを実行し、左右の２ｃｈ（L'、R'）に変換する。
Figure 2011066868
 式（１ａ）、（１ｂ）において、右辺はオリジナル音声に関し、Ｌは左フロントチャンネル信号、Ｒは右フロントチャンネル信号、Ｃは前方センターチャンネル信号、Ｌsは左リアチャンネル信号、Ｒsは右リアチャンネル信号、Ａはダウンミックスの係数を示す。また、Ｌ’は左チャンネルのダウンミックス信号、Ｒ’は右チャンネルのダウンミックス信号を示す。
ここで、係数Ａは可変の値で、１/√２、１/２、１/(２√２）、０という値をとれる。このため、例えば、Ａ＝１/√２を用いるとすると、式（１ａ）、（１ｂ）は下記の式（２ａ）、（２ｂ）で表現することができる。
Ｌ’＝Ｃ１×［Ｌ＋Ｃ２×（Ｃ＋ＬＳ）］ （２ａ）
Ｒ’＝Ｃ１×［Ｒ＋Ｃ２×（Ｃ＋ＲＳ）］ （２ｂ）
ただし、式（２ａ）、（２ｂ）中、Ｃ１、Ｃ２は係数である。
ＭＰＥＧ−２ ＡＡＣ規格に示したダウンミックス手法は、再生出力を行うチャンネルである(Ｌ,Ｒ)の側面にあるチャンネル（ＬならばＣとＬs、ＲならばＣとＲs)に係数を乗じて加算しているので、これを中層部に応用して、中層ダウンミックスＬをＭ_Ｌ、中層ダウンミックスＲをＭ_Ｒ、中層ダウンミックスＣをＭ_Ｃ、中層ダウンミックスＢＬをＭ_ＢＬ、中層ダウンミックスＢＲをＭ_ＢＲとし、中層ダウンミックスＬＦＥをＭ_ＬＦＥとすると、係数Ｃ１、Ｃ２と中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
Ｍ_Ｌ＝Ｃ１×［ＭＦＬ＋Ｃ２×（ＭＦＬＣ＋ＭＳＬ）］ （３ａ）
Ｍ_Ｒ＝Ｃ１×［ＭＦＲ＋Ｃ２×（ＭＦＲＣ＋ＭＳＲ）］ （３ｂ）
Ｍ_Ｃ＝Ｃ１×［ＭＦＣ＋Ｃ２×（ＭＦＬＣ＋ＭＦＲＣ）］ （３ｃ）
Ｍ_ＢＬ＝Ｃ１×［ＭＢＬ＋Ｃ２×（ＭＳＬ＋ＭＢＣ）］ （３ｄ）
Ｍ_ＢＲ＝Ｃ１×［ＭＢＲ＋Ｃ２×（ＭＳＲ＋ＭＢＣ）］ （３ｅ）
Ｍ_ＬＦＥ＝０ （３ｆ）
上層部についても、これを応用して、上層ダウンミックスＬをＵ_Ｌ、上層ダウンミックスＲをＵ_Ｒ、上層ダウンミックスＣをＵ_Ｃ、上層ダウンミックスＢＬをＵ_ＢＬ、上層ダウンミックスＢＲをＵ_ＢＲとし、上層ダウンミックスＬＦＥをＵ_ＬＦＥとすると、これらは、係数Ｃ１、Ｃ２、Ｃ３と、上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,
UBC,UBR）とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２、Ｃ３の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝Ｃ３＝（１/√２）としている。
Ｕ_Ｌ＝Ｃ１×［Ｃ３×（ＵＦＬ＋Ｃ２×ＵＳＬ）］ （４ａ）
Ｕ_Ｒ＝Ｃ１×［Ｃ３×（ＵＦＲ＋Ｃ２×ＵＳＲ）］ （４ｂ）
Ｕ_Ｃ＝Ｃ１×［Ｃ３×（ＵＦＣ＋Ｃ２×ＵＳＣ）］ （４ｃ）
Ｕ_ＢＬ＝C1×［C3×｛ＵＢＬ＋C2×（ＵＳＬ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｄ）
Ｕ_ＢＲ＝C1×［C3×｛ＵＢＲ＋C2×（ＵＳＲ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｅ）
Ｕ_ＬＦＥ＝０ （４ｆ）
下層部については、ダウンミックスすべき信号は、ＬＦＥチャンネルだけである。下層ダウンミックスＬをＬ_Ｌ、下層ダウンミックスＲをＬ_Ｒ、下層ダウンミックスＣをＬ_Ｃ、下層ダウンミックスＢＬをＬ_ＢＬ、下層ダウンミックスＢＲをＬ_ＢＲとし、下層ダウンミックスＬＦＥをＬ_ＬＦＥとすると、係数Ｃ１、Ｃ２と下層の３チャンネル(LFL,LFC,LFR)とＬＦＥの２チャンネル(LFEL,LFER)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
Ｌ_Ｌ＝Ｃ１×ＬＦＬ （５ａ）
Ｌ_Ｒ＝Ｃ１×ＬＦＲ （５ｂ）
Ｌ_Ｃ＝Ｃ１×ＬＦＣ （５ｃ）
Ｌ_ＢＬ＝０ （５ｄ）
Ｌ_ＢＲ＝０ （５ｅ）
Ｌ_ＬＦＥ＝Ｃ２×（ＬＦＥＬ＋ＬＦＥＲ） （５ｆ）
以上より、最終の５.１ｃｈダウンミックス信号を、Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’とすると、これらは以下の式で表される。
Ｌ’＝（Ｕ_Ｌ）＋（Ｍ_Ｌ）＋（Ｌ_Ｌ） （６ａ）
Ｒ’＝（Ｕ_Ｒ）＋（Ｍ_Ｒ）＋（Ｌ_Ｒ） （６ｂ）
Ｃ’＝（Ｕ_Ｃ）＋（Ｍ_Ｃ）＋（Ｌ_Ｃ） （６ｃ）
ＢＬ’＝（Ｕ_ＢＬ）＋（Ｍ_ＢＬ）＋（Ｌ_ＢＬ） （６ｄ）
ＢＲ’＝（Ｕ_ＢＲ）＋（Ｍ_ＢＲ）＋（Ｌ_ＢＲ） （６ｅ）
ＬＦＥ’＝（Ｕ_ＬＦＥ）＋（Ｍ_ＬＦＥ）＋（Ｌ_ＬＦＥ） （６ｆ）
前述の例で示したＣ１＝（２／３）、Ｃ２＝Ｃ３＝（１/√２）の場合、Ｃ１＝（−３.５）ｄＢ、Ｃ２＝Ｃ３＝（−３.０）ｄＢであるので、この値と加算時の増加量（＋６ｄＢ）とを考慮して信号の増加レベルを計算すると、ダウンミックス後の信号(Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'）は、−１.４４ｄＢ、ＬＦＥ’は０ｄＢとなり、ほぼ元の信号レベルに近い値を持つダウンミックス信号を生成することができる。
以上の変換係数についてDSEを用いて符号化ストリームで伝送する際に、ダウンミックス信号の計算の仕方を、オーディオ信号符号化装置とオーディオ信号復号化装置で、上式のように取り決めるのであれば、係数Ｃ１、Ｃ２、Ｃ３だけを伝送するようにすればよい。もし、計算の仕方に自由度を持たせるのであれば、チャンネル毎に乗じる係数に分解して、それぞれを伝送するようにする。式（３ａ）〜式（６ｆ)を分解してチャンネルに対応させた表を表８に示す。
Figure 2011066868
 このようにすれば、各チャンネルのオーディオ信号に、対応するダウンミックスチャンネル生成要素の係数を乗じるだけで、ダウンミックスチャンネルの生成ができ、計算式に縛られることは無い。また、式（３ａ）〜式（６ｆ）からも分るように、２次元平面単位で、５.１ｃｈダウンミックス信号を生成することができるので、符号化ストリームを図２１に示すようなフォーマットに構成することができる。
図２１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第８の例のフォーマットを示す。このフォーマットは、図２１（Ｂ）に示すように、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSEを同様な順番で、DSE0を上層用、DSE1を中層用、DSE2を下層+LFE用と定義している。そして、各DSEでは、各２次元平面に含まれるチャンネルの変換係数だけを送る。この変換係数とチャンネルと平面番号と対応要素との関係は、例えば、表９Ａ、表９Ｂ、表９Ｃに示すようになる。
Figure 2011066868
Figure 2011066868
Figure 2011066868
 以上の変換係数を用いて、モード１ブロック３２１は５.１ｃｈのダウンミックス処理を行う。図２２は、モード１ブロック３２１内の表９Ａに対応した上層チャンネルに対するダウンミックス処理を行う図２０の上層チャンネルダウンミックス部１０１の一例の構成図を示す。図２２に示すように、上層チャンネルダウンミックス部１０１は、上層の９チャンネルのそれぞれと変換係数情報とを乗算する９個の乗算器１０１１と、所定の乗算器出力を加算する加算器１０１２〜１０１４と、乗算器１０１５と、加算器１０１６及び１０１７とより構成される。これにより、上層チャンネルダウンミックス部１０１は、式（４ａ）〜式（４ｆ）に示した上層の５.１ｃｈダウンミックス出力（U_L,U_R,U_C,U_BL,U_BR,U_LFE）を生成して出力する。
同様に、図２３は、モード１ブロック３２１内の表９Ｂに対応した中層チャンネルに対するダウンミックス処理を行う図２０の中層チャンネルダウンミックス部１０２の一例の構成図を示す。図２３に示すように、中層チャンネルダウンミックス部１０２は、中層の１０チャンネルのそれぞれと変換係数情報とを乗算する１０個の乗算器１０２１と、所定の乗算器出力を加算する加算器１０２２〜１０２６とより構成される。これにより、中層チャンネルダウンミックス部１０２は、式（３ａ）〜式（３ｆ）に示した中層の５.１ｃｈダウンミックス出力（M_L,M_R,M_C,M_BL,M_BR,M_LFE）を生成して出力する。
同様に、図２４は、モード１ブロック３２１内の表９Ｃに対応した下層チャンネルに対するダウンミックス処理を行う図２０の下層チャンネルダウンミックス部１０３の一例の構成図を示す。図２４に示すように、下層チャンネルダウンミックス部１０３は、下層の５チャンネルのそれぞれと変換係数情報とを乗算する５個の乗算器１０３１と、所定の乗算器出力を加算する加算器１０３２とより構成される。これにより、下層チャンネルダウンミックス部１０３は、式（５ａ）〜式（５ｆ）に示した下層の５.１ｃｈダウンミックス出力（L_L,L_R,L_C,L_BL,L_BR,L_LFE）を生成して出力する。
図２５は、図２０のモード１ブロック３２１内の５.１ｃｈ合成部１０４の一例のブロック図を示す。図２５に示すように、５.１ｃｈ合成部１０４は、上層、中層及び下層の各チャンネルのうち、５.１ｃｈの対応するチャンネルの信号同士を加算する６個の加算器１０４１〜１０４６により、式（６ａ）〜式（６ｆ）に示した加算結果をそれぞれ得て、前述の最終の５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’を出力する。
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「２」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード２ブロック３２２を有効とすると共に、出力セレクタ３２５をモード２ブロック３２２から出力されるオーディオ信号を選択する。
図２６は、モード２ブロック３２２の一例の全体ブロック図を示す。同図に示すように、モード２ブロック３２２は、上層チャンネルダウンミックス部２０１、中層チャンネルダウンミックス部２０２、下層チャンネルダウンミックス部２０３、５.１ｃｈ合成部２０４及び２ｃｈ合成部２０５から構成されている。モード２ブロック３２２は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部２０１〜２０３で入力されたＮｃｈオーディオ信号の必要なチャンネルを選択させてダウンミックス処理させた後、５．１ｃｈ合成部２０４で５.１ｃｈのダウンミックス信号を生成した後、２ｃｈ合成部２０５により５.１ｃｈダウンミックス信号から２ｃｈのオーディオ信号に変換して出力する。
モード２ブロック３２２は、図２０に示したモード１ブロック３２１と同様の構成に、２ｃｈ合成部２０５を追加した構成であるので、次に２ｃｈ合成部２０５について説明する。
図２７は、図２６中の２ｃｈ合成部２０５の一例のブロック図を示す。図２７に示すように、２ｃｈ合成部２０５は、５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’と変換係数情報とをそれぞれ乗算する乗算器２０５１〜２０５５と、乗算器２０５１、２０５３、２０５４の各出力信号を加算合成する加算器２０５６と、乗算器２０５２、２０５３、２０５５の各出力信号を加算合成する加算器２０５７とより構成されている。加算器２０５６は、ダウンミックスした左チャンネル信号Ｌ”を出力する。また、加算器２０５７は、ダウンミックスした右チャンネル信号Ｒ”を出力する。
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「３」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は図１９のモード３ブロック３２３を有効とすると共に、出力セレクタ３２５をモード３ブロック３２３から出力されるオーディオ信号を選択する。
ダウンミックス選択フラグ番号「３」の場合、モード３ブロック３２３によるダウンミックスにより、１枚の２次元平面上の２ｃｈバイノーラル（binaural)信号を生成する。バイノーラル信号を生成するためには、Ｎｃｈオーディオ信号の位置を示す３次元チャンネル配置情報で示されるオーディオ信号の音源位置（Ｘ，Ｙ，Ｚ）から、聴取者位置（０，０，０）に着席する聴取者の右耳までの頭部伝達関数（ＨＲＴＦ_Ｒ）と当該聴取者の左耳までの頭部伝達関数（ＨＲＴＦ_Ｌ）とを予め測定しておき、それらの頭部伝達関数に基づくフィルタ係数を用いて、各信号にフィルタ演算を行い、右耳用、左耳用にまとめることを行う。
図２８は、モード３ブロック３２３の一例の全体ブロック図を示す。図２８において、モード３ブロック３２３は、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される左耳用のＮ個のフィルタ３２３１0〜３２３１N-1と、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される右耳用のＮ個のフィルタ３２３２0〜３２３２N-1と、フィルタ３２３１0〜３２３１N-1の各出力信号を加算する加算器３２３３と、フィルタ３２３２0〜３２３２N-1の各出力信号を加算する加算器３２３４とより構成される。
モード３ブロック３２３の各フィルタ３２３１0〜３２３１N-1と３２３２0〜３２３２N-1とは、ダウンミックス選択フラグ番号「３」が選択された場合に、入力される変換係数情報に基づいたフィルタ係数に設定される。このフィルタ係数は、各チャンネルに対する対応要素（UFCなど）に対応した頭部伝達関数（HRTF: Head-Related Transfer Function)に基づくフィルタ係数である。固定位置に対する頭部伝達関数のデータベースで十分であれば、符号化ストリームとして伝送する必要はないが、自由度の高い３次元配置を必要とする場合には、その３次元配置からリスナーの右耳、左耳までの頭部伝達関数が必要となる。
図２８において、前述からの例でいえば、ｃｈ０はＵＦＣであり、ＵＦＣの３次元配置（0, Y, Z)から発した音がリスナーの左耳に届く際の伝達特性（HRTF(0, L)）をフィルタ３２３１0により、またリスナーの右耳に届く際の伝達特性（HRTF(0, R))をフィルタ３２３２0によりそれぞれｃｈ０の信号に畳み込み、出力する。同様に、ｃｈ１の信号に対して、ＵＦＬの伝達特性HRTF(1, L)をフィルタ３２３１1により、また、伝達関数HRTF(1, R)をフィルタ３２３２1により、それぞれ畳み込み、出力する。
そして、加算器３２３３は、全てのＬｃｈに対するフィルタ３２３１0〜３２３１N-1の各出力信号を加算合成してＬチャンネルのバイノーラル信号を出力する。また、これと並行して加算器３２３４は、全てのＲｃｈに対するフィルタ３２３２0〜３２３２N-1の各出力信号を加算合成してＲチャンネルのバイノーラル信号を出力する。このモードは、ヘッドホン試聴時に有効なモードとなる。
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「４」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード４ブロック３２４を有効とすると共に、出力セレクタ３２５をモード４ブロック３２４から出力されるオーディオ信号を選択する。
図２９は、モード４ブロック３２４の一例の全体ブロック図を示す。同図に示すように、モード４ブロック３２４は、上層チャンネルダウンミックス部３２４１、中層チャンネルダウンミックス部３２４２、下層チャンネルダウンミックス部３２４３から構成されている。このモード４ブロック３２４は、図２０に示したモード１ブロック３２１と同様の構成から５.１ｃｈ合成部１０４を削除した構成である。
このモードは、平面総数だけ存在する２次元平面について、２次元平面毎に５.１ｃｈダウンミックスを行い出力するモードである。このモードの利点は、上層用に９ｃｈ分のスピーカを設置できない場合でも、図３０に示すような、上層、中層、下層用にそれぞれ合計３個のユニットを備えたトールボーイ型スピーカ４１〜４５を配置することで、計５本のスピーカ４１〜４５と１個のサブウーハー（ＬＦＥ）とにより、１枚の２次元平面上での５.１ｃｈダウンミックスでは得られない効果を得ることができる点である。
なお、本発明は以上の実施の形態に限定されるものではなく、例えば「ストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、３番目に現れるPCE2を低層＋ＬＦＥ用と定義する」といった取り決めを行わないのであれば、別途PCE中のコメントフィールドに前述した３種類の平面情報を記載したり、あるいは、DSE(データストリームエレメント)に記載するようにし、PCEの「element_instance_tag」の順番（小さい番号）からの並びと対応させる（この番号がプログラム番号を意味する。）ようにしてもよい。この場合は、上記の３つの平面の情報を自由な並びで配置できる。
また、オーディオ信号符号化装置１０は、３つの平面符号化部１２〜１４を有しているが、１個の符号化部でメモリに蓄えつつ、３平面分の符号化処理を行うようにしてもよい。同様に、オーディオ信号復号化装置２０は、３つの平面復号化部２２〜２４を有しているが、１個の復号化部でメモリに蓄えつつ、３平面分の復号化処理を行うようにしてもよい。更に、本発明は２２.２ｃｈ以外の多チャンネルの３次元空間に配置されたスピーカにより立体音場を形成する多チャンネルオーディオ信号にも適用できることは勿論である。
また、以上の実施の形態ではＭＰＥＧ−２／４ ＡＡＣ方式を例に説明したが、例えば、Ｅ−ＡＣ３方式に本発明を適用することができる。Ｅ−ＡＣ３方式の場合、公知の文献（"SMPTE Proposed Recommended Practice, Digital Cinema Channel Mapping and Labeling, RP 226,"(c)SMPTE 2004）に示された上方スピーカを伴ったチャンネル配置に準拠して符号化ストリームを生成することができるが、チャンネル配置がSMPTE提案に限定的であるため、２２.２ｃｈを符号化することができない。しかし、本発明のオーディオ信号符号化装置は複数のプログラムを１本のストリームに統合化できる符号化を行うため、本発明をＥーＡＣ３方式に適用可能である。
また、本発明はオーディオ信号符号化装置１０の動作をコンピュータにより実行する符号化プログラムや、オーディオ信号復号化装置２０，３０の動作をコンピュータにより実行する復号化プログラムも包含するものである。
１０ オーディオ信号符号化装置
１１ ３次元空間分割部
１２、１３、１４ 平面符号化部
１５ ストリーム統合部
２０、３０ オーディオ信号復号化装置
２１、３１ ストリーム分離部
２２、２３、２４ 平面復号化部
２５ ３次元空間合成部
３２ ダウンミックス部
４１〜４５ トールボーイ型スピーカ
１０１、２０１、３２４１ 上層チャンネルダウンミックス部
１０２、２０２、３２４２ 中層チャンネルダウンミックス部
１０３、２０３、３２４３ 下層チャンネルダウンミックス部
１０４、２０４ ５.１ｃｈ合成部
２０５ ２ｃｈ合成部
３２１ モード１ブロック
３２２ モード２ブロック
３２３ モード３ブロック
３２４ モード４ブロック
３２５ 出力セレクタ

Claims (18)

  1. 複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、
    前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する第２のステップと、
    前記第２のステップにより前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップと
    を含むことを特徴とするオーディオ信号符号化方法。
  2. 前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が前記平面位置情報として付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
  3. 前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を、前記複数チャンネルよりも少ないチャンネル数に変換したオーディオ信号として再生できるようにするための変換係数情報が付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
  4. 前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項３記載のオーディオ信号符号化方法。
  5. 前記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの前記２次元平面における位置を示す情報も含むようにし、
    前記第２のステップでは、前記３次元空間に立体的に配置される前記複数のスピーカから出力するための前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
    前記第３のステップでは、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と、前記２次元平面内のチャンネル配置を示す情報を含む前記平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項１記載のオーディオ信号符号化方法。
  6. 複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、
    前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する平面符号化部と、
    前記平面符号化部により前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部と
    を有することを特徴とするオーディオ信号符号化装置。
  7. 前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を前記平面位置情報として付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
  8. 前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
  9. 前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項８記載のオーディオ信号符号化装置。
  10. 前記３次元空間分割部は、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの前記２次元平面における位置を示す情報も出力するようにし、
    前記平面符号化部は、前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
    前記ストリーム統合部は、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項６記載のオーディオ信号符号化装置。
  11. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
    前記第１のステップにおいて分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記３次元空間に配置された前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
    前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
    を含むことを特徴とするオーディオ信号復号化方法。
  12. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
    前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、
    前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
    を含むことを特徴とするオーディオ信号復号化方法。
  13. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
    前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
    前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
    復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップと
    を含むことを特徴とするオーディオ信号復号化方法。
  14. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
    前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
    前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
    復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップと
    を含むことを特徴とするオーディオ信号復号化方法。
  15. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
    前記ストリーム分離部において分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
    を有することを特徴とするオーディオ信号復号化装置。
  16. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
    を有することを特徴とするオーディオ信号復号化装置。
  17. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
    復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部と
    を有することを特徴とするオーディオ信号復号化装置。
  18. ３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
    前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
    復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部と
    を有することを特徴とするオーディオ信号復号化装置。
JP2009282358A 2009-08-18 2009-12-14 オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 Pending JP2011066868A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009282358A JP2011066868A (ja) 2009-08-18 2009-12-14 オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009189577 2009-08-18
JP2009282358A JP2011066868A (ja) 2009-08-18 2009-12-14 オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置

Publications (1)

Publication Number Publication Date
JP2011066868A true JP2011066868A (ja) 2011-03-31

Family

ID=43952575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009282358A Pending JP2011066868A (ja) 2009-08-18 2009-12-14 オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置

Country Status (1)

Country Link
JP (1) JP2011066868A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007095A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
WO2014007094A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
CN103748629A (zh) * 2012-07-02 2014-04-23 索尼公司 解码装置和方法、编码装置和方法以及程序
JP2014520491A (ja) * 2011-07-01 2014-08-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
JP2014204317A (ja) * 2013-04-05 2014-10-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222852A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222856A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222853A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
WO2014199536A1 (ja) * 2013-06-10 2014-12-18 パナソニック株式会社 オーディオ再生装置及びその方法
KR20150047943A (ko) * 2013-10-25 2015-05-06 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2743921A4 (en) * 2012-07-02 2015-06-03 Sony Corp DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM THEREFOR
JP2015195545A (ja) * 2014-03-25 2015-11-05 日本放送協会 チャンネル数変換装置
KR20160015265A (ko) * 2013-05-29 2016-02-12 퀄컴 인코포레이티드 컨텐츠 분석 및 가중치를 이용한 바이노럴 룸 임펄스 응답들에 의한 필터링
WO2016052185A1 (ja) * 2014-09-29 2016-04-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016149766A (ja) * 2015-02-05 2016-08-18 日本放送協会 音声信号の特性調整装置、音声信号の特性調整プログラム、及び、音声信号の特性調整方法
JP2016530788A (ja) * 2013-07-22 2016-09-29 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． 符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム
JP2018201225A (ja) * 2014-04-11 2018-12-20 サムスン エレクトロニクス カンパニー リミテッド 音響信号のレンダリング方法、装置及び記録媒体
KR20210034564A (ko) * 2013-10-25 2021-03-30 삼성전자주식회사 입체 음향 재생 방법 및 장치
CN114005454A (zh) * 2015-06-17 2022-02-01 三星电子株式会社 实现低复杂度格式转换的内部声道处理方法和装置
KR20220042086A (ko) * 2021-03-18 2022-04-04 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP2022545709A (ja) * 2019-08-30 2022-10-28 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・オーディオ信号のチャネル識別

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176391A (ja) * 1991-12-12 1993-07-13 Takenaka Komuten Co Ltd 音響再生装置
JPH11178089A (ja) * 1997-12-05 1999-07-02 Victor Co Of Japan Ltd マルチチャネルオーディオ信号の集音再生方法、記録装置、記録媒体及び再生装置
JP2000090582A (ja) * 1998-09-07 2000-03-31 Victor Co Of Japan Ltd オーディオ信号の伝送方法、オーディオディスク、エンコード装置及びデコード装置
JP2007081710A (ja) * 2005-09-13 2007-03-29 Yamaha Corp 信号処理装置
JP2007532960A (ja) * 2004-04-16 2007-11-15 コーディング テクノロジーズ アクチボラゲット マルチチャネルオーディオ信号を表示するための装置と方法
JP2008252834A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 音声再生装置
JP2008288935A (ja) * 2007-05-18 2008-11-27 Panasonic Corp 音声処理装置
JP2009531886A (ja) * 2006-03-24 2009-09-03 ドルビー スウェーデン アクチボラゲット 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176391A (ja) * 1991-12-12 1993-07-13 Takenaka Komuten Co Ltd 音響再生装置
JPH11178089A (ja) * 1997-12-05 1999-07-02 Victor Co Of Japan Ltd マルチチャネルオーディオ信号の集音再生方法、記録装置、記録媒体及び再生装置
JP2000090582A (ja) * 1998-09-07 2000-03-31 Victor Co Of Japan Ltd オーディオ信号の伝送方法、オーディオディスク、エンコード装置及びデコード装置
JP2007532960A (ja) * 2004-04-16 2007-11-15 コーディング テクノロジーズ アクチボラゲット マルチチャネルオーディオ信号を表示するための装置と方法
JP2007081710A (ja) * 2005-09-13 2007-03-29 Yamaha Corp 信号処理装置
JP2009531886A (ja) * 2006-03-24 2009-09-03 ドルビー スウェーデン アクチボラゲット 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成
JP2008252834A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 音声再生装置
JP2008288935A (ja) * 2007-05-18 2008-11-27 Panasonic Corp 音声処理装置

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549275B2 (en) 2011-07-01 2017-01-17 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
EP4543049A3 (en) * 2011-07-01 2025-06-11 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
EP4543049A2 (en) 2011-07-01 2025-04-23 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
TWI873802B (zh) * 2011-07-01 2025-02-21 美商杜比實驗室特許公司 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體
US12047768B2 (en) 2011-07-01 2024-07-23 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
JP2014520491A (ja) * 2011-07-01 2014-08-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
TWI816597B (zh) * 2011-07-01 2023-09-21 美商杜比實驗室特許公司 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體
US11641562B2 (en) 2011-07-01 2023-05-02 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
EP4135348A3 (en) * 2011-07-01 2023-04-05 Dolby Laboratories Licensing Corporation Apparatus for controlling the spread of rendered audio objects, method and non-transitory medium therefor
EP4132011A3 (en) * 2011-07-01 2023-03-01 Dolby Laboratories Licensing Corp. Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
TWI785394B (zh) * 2011-07-01 2022-12-01 美商杜比實驗室特許公司 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體
EP2727381B1 (en) * 2011-07-01 2022-01-26 Dolby Laboratories Licensing Corporation Apparatus and method for rendering audio objects
EP3913931A1 (en) * 2011-07-01 2021-11-24 Dolby Laboratories Licensing Corp. Apparatus for rendering audio, method and storage means therefor
US11057731B2 (en) 2011-07-01 2021-07-06 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
KR101547467B1 (ko) 2011-07-01 2015-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
US10609506B2 (en) 2011-07-01 2020-03-31 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US9204236B2 (en) 2011-07-01 2015-12-01 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US10244343B2 (en) 2011-07-01 2019-03-26 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US9838826B2 (en) 2011-07-01 2017-12-05 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
JP2017041897A (ja) * 2011-07-01 2017-02-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
US10140995B2 (en) 2012-07-02 2018-11-27 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
RU2648945C2 (ru) * 2012-07-02 2018-03-28 Сони Корпорейшн Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа
JPWO2014007097A1 (ja) * 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
EP2743921A4 (en) * 2012-07-02 2015-06-03 Sony Corp DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM THEREFOR
WO2014007094A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
US9437198B2 (en) 2012-07-02 2016-09-06 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
CN103748628A (zh) * 2012-07-02 2014-04-23 索尼公司 解码装置和方法、编码装置和方法、以及程序
US9542952B2 (en) 2012-07-02 2017-01-10 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
JPWO2014007094A1 (ja) * 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
EP2741286A4 (en) * 2012-07-02 2015-04-08 Sony Corp DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM
JPWO2014007095A1 (ja) * 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
US10304466B2 (en) 2012-07-02 2019-05-28 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program with downmixing of decoded audio data
AU2013284704B2 (en) * 2012-07-02 2019-01-31 Sony Corporation Decoding device and method, encoding device and method, and program
WO2014007095A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
CN103748629A (zh) * 2012-07-02 2014-04-23 索尼公司 解码装置和方法、编码装置和方法以及程序
JPWO2014007096A1 (ja) * 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
CN103782339A (zh) * 2012-07-02 2014-05-07 索尼公司 解码装置和方法、编码装置和方法、以及程序
US10083700B2 (en) 2012-07-02 2018-09-25 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
JP2018116313A (ja) * 2012-07-02 2018-07-26 ソニー株式会社 テレビジョン受像機および信号処理方法、並びにプログラム
JP2018116312A (ja) * 2012-07-02 2018-07-26 ソニー株式会社 テレビジョン受像機および信号処理方法、並びにプログラム
JP2018142003A (ja) * 2012-07-02 2018-09-13 ソニー株式会社 テレビジョン受像機および信号処理方法、並びにプログラム
JP2014204317A (ja) * 2013-04-05 2014-10-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222852A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222856A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222853A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
US9674632B2 (en) 2013-05-29 2017-06-06 Qualcomm Incorporated Filtering with binaural room impulse responses
KR20160015265A (ko) * 2013-05-29 2016-02-12 퀄컴 인코포레이티드 컨텐츠 분석 및 가중치를 이용한 바이노럴 룸 임펄스 응답들에 의한 필터링
KR101719094B1 (ko) 2013-05-29 2017-03-22 퀄컴 인코포레이티드 컨텐츠 분석 및 가중치를 이용한 바이노럴 룸 임펄스 응답들에 의한 필터링
JP2016523466A (ja) * 2013-05-29 2016-08-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ コンテンツ解析および重み付けを用いたバイノーラル室内インパルス応答によるフィルタリング
US9788120B2 (en) 2013-06-10 2017-10-10 Socionext Inc. Audio playback device and audio playback method
WO2014199536A1 (ja) * 2013-06-10 2014-12-18 パナソニック株式会社 オーディオ再生装置及びその方法
JPWO2014199536A1 (ja) * 2013-06-10 2017-02-23 株式会社ソシオネクスト オーディオ再生装置及びその方法
US10770080B2 (en) 2013-07-22 2020-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US10741188B2 (en) 2013-07-22 2020-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US12380899B2 (en) 2013-07-22 2025-08-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
JP2016530788A (ja) * 2013-07-22 2016-09-29 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． 符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム
US9940938B2 (en) 2013-07-22 2018-04-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US9953656B2 (en) 2013-07-22 2018-04-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US11657826B2 (en) 2013-07-22 2023-05-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US10147431B2 (en) 2013-07-22 2018-12-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US11488610B2 (en) 2013-07-22 2022-11-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US10645513B2 (en) 2013-10-25 2020-05-05 Samsung Electronics Co., Ltd. Stereophonic sound reproduction method and apparatus
KR20150047943A (ko) * 2013-10-25 2015-05-06 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR20210034564A (ko) * 2013-10-25 2021-03-30 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR102380232B1 (ko) 2013-10-25 2022-03-29 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR102231755B1 (ko) * 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
US11051119B2 (en) 2013-10-25 2021-06-29 Samsung Electronics Co., Ltd. Stereophonic sound reproduction method and apparatus
JP2018201224A (ja) * 2013-10-25 2018-12-20 サムスン エレクトロニクス カンパニー リミテッド オーディオ信号レンダリング方法及び装置
JP2015195545A (ja) * 2014-03-25 2015-11-05 日本放送協会 チャンネル数変換装置
JP2018201225A (ja) * 2014-04-11 2018-12-20 サムスン エレクトロニクス カンパニー リミテッド 音響信号のレンダリング方法、装置及び記録媒体
US10674299B2 (en) 2014-04-11 2020-06-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
US11785407B2 (en) 2014-04-11 2023-10-10 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
US10873822B2 (en) 2014-04-11 2020-12-22 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
US11245998B2 (en) 2014-04-11 2022-02-08 Samsung Electronics Co.. Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
WO2016052185A1 (ja) * 2014-09-29 2016-04-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11012736B2 (en) 2014-09-29 2021-05-18 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
JP2016149766A (ja) * 2015-02-05 2016-08-18 日本放送協会 音声信号の特性調整装置、音声信号の特性調整プログラム、及び、音声信号の特性調整方法
CN114005454A (zh) * 2015-06-17 2022-02-01 三星电子株式会社 实现低复杂度格式转换的内部声道处理方法和装置
JP2022545709A (ja) * 2019-08-30 2022-10-28 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・オーディオ信号のチャネル識別
JP7581333B2 (ja) 2019-08-30 2024-11-12 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・オーディオ信号のチャネル識別
US12165657B2 (en) 2019-08-30 2024-12-10 Dolby Laboratories Licensing Corporation Channel identification of multi-channel audio signals
KR20220129511A (ko) * 2021-03-18 2022-09-23 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR102608824B1 (ko) 2021-03-18 2023-12-04 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR102443055B1 (ko) 2021-03-18 2022-09-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR20220042086A (ko) * 2021-03-18 2022-04-04 삼성전자주식회사 입체 음향 재생 방법 및 장치

Similar Documents

Publication Publication Date Title
JP2011066868A (ja) オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置
KR100754220B1 (ko) Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
CN101479786B (zh) 用于编码和解码基于对象的音频信号的方法和装置
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
CN108307272B (zh) 音频信号处理方法和设备
JP5232795B2 (ja) オブジェクトベースのオーディオ信号の符号化及び復号化方法並びにその装置
RU2618383C2 (ru) Кодирование и декодирование аудиообъектов
CN102160113B (zh) 多声道音频编码器和解码器
RU2406166C2 (ru) Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов
CN101542597B (zh) 用于编码和解码基于对象的音频信号的方法和装置
CN101411063B (zh) 滤波器自适应频率分辨率
JP2013174891A (ja) 高品質マルチチャネルオーディオ符号化および復号化装置
CN104904239A (zh) 双耳音频处理
WO2020152394A1 (en) Audio representation and associated rendering
CN112823534A (zh) 信号处理设备和方法以及程序
JP4859925B2 (ja) オーディオ信号デコーディング方法及びその装置
JP4568363B2 (ja) オーディオ信号デコーディング方法及びその装置
WO2008084436A1 (en) An object-oriented audio decoder
JP4124702B2 (ja) 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム
CN108206984B (zh) 利用多信道传输三维声信号的编解码器及其编解码方法
CN101292285A (zh) 编码和解码多声道音频信号的方法及其装置
KR20070081735A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치
JP2006270649A (ja) 音声・音響信号処理装置およびその方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408