JP5135205B2

JP5135205B2 - 多チャンネル音響信号の音響圧縮符号化装置及び復号装置

Info

Publication number: JP5135205B2
Application number: JP2008334825A
Authority: JP
Inventors: 馨渡辺; 靖茂中山
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2013-02-06
Anticipated expiration: 2028-12-26
Also published as: JP2010156822A

Description

本発明は、多チャンネル音響信号の音響圧縮符号化装置及び復号装置に関し、特に、３次元（立体）音響方式のように多数のチャンネルから構成される音響システムにおいて、チャンネル間の位置関係と音響信号間の類似性（相関性）とを利用して符号化することで、従来よりも伝送ビットレート及び符号化負荷を低減可能な多チャンネル音響信号の音響圧縮符号化装置及び復号装置に関する。

現在、原音（リニアＰＣＭ：Pulse Code Modulation）に比べて大幅に少ない伝送ビットレートで、原音と遜色のない高音質の音響信号を伝送できる「低ビットレートの音響圧縮符号化技術」が多数知られている。例えば、マスキング等の聴覚の性質を利用して原音（リニアＰＣＭ）の約１／１０以下のビットレートで符号化するものがある（例えば、非特許文献１を参照）。このような符号化を行っても、聴感上で符号化音と原音との差が知覚されることはほとんどない。また、５．１チャンネルサラウンド音響等の符号化として、左右２チャンネルの音響信号の類似性を用いて、“単一チャンネル信号の所要ビットレート×チャンネル数”よりも少ないビットレートで符号化するステレオ圧縮符号化方式がある（例えば、特許文献１を参照）。また、送信側においてあるチャンネルの音響信号を別チャンネルの音響信号から予測し予測誤差信号を送ることによって、受信側における原音の復元を可能にし、かつ伝送ビットレートを削減させたロスレス符号化方式がある（例えば、非特許文献２、非特許文献３を参照）。

一方、５．１チャンネルサラウンド音響方式よりもさらに臨場感の高い音響を再生可能な、大画面・高精細の映像システムに適した「３次元音響方式」が開発されている（例えば、非特許文献４を参照）。これは、平面上に加え高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能としたものである。この３次元音響方式について、図を用いて説明する。図８は、３次元音響方式における番組制作時のスピーカ（チャンネル）配置例である。図８に示すように、３次元音響方式の番組制作においては、大画面映像ディスプレイ（例えば、７６８０×４３２０画素）と多数のスピーカとを配置した標準制作条件下で番組制作を行う。即ち、この標準制作条件下では、大画面のディスプレイＤＩＳを前方に、低域効果音用スピーカＬＦＥ１，ＬＦＥ２を除き、立体式の上位レイヤＵ１〜Ｕ９、中間レイヤＭ１〜Ｍ１０、下位レイヤＬ１〜Ｌ３の２２チャンネルで音響信号が制作される。

特開２００２−２６８６９４号公報ＩＳＯ／ＩＥＣ１３８１８−７，２００３ＩＳＯ／ＩＥＣ１４４９６−３，２００５／ＡＭＤ２鎌本、守谷、西本、嵯峨山、"チャンネル間相関を用いた多チャンネル信号の可逆圧縮符号化"、情報処理学会論文誌、vol. 46, No. 5, pp. 1118-1128, May 2005 安藤彰男、"高臨場感音響"、ＮＨＫ放送技術研究所、［検索日：平成２０年１２月１５日］、インターネット<http://www.nhk.or.jp/strl/group/ningen_joho/ningen_joho06.html>

この３次元音響方式は、多数の音響信号（図８の場合、メインチャンネルが２２チャンネル、低域強調チャンネル２チャンネル）から構成される。従って、これら音響信号を原音のまま伝送するためには、大きなビットレートを必要とする。なお、この３次元音響方式の多数の音響信号は、２チャンネルステレオ音響や５．１チャンネルサラウンド音響方式と比べ、音響信号間、特に、近接する音響チャンネルによる音響信号間により強い類似性をもつ。しかしながら、この３次元音響方式の多数の音響チャンネル信号がもつ強い類似性を利用した、すなわち、３次元音響方式等、複数のチャンネルが隣接して配置されるチャンネル配置の特性を生かした低ビットレート音響信号圧縮符号化技術は開発されていない。

従って、本発明の目的は、５．１チャンネルサラウンド音響方式よりもさらに臨場感の高い音響を再生できる３次元音響方式等、多数の音響チャンネルが用いられる多チャンネル音響方式において、多チャンネル音響方式の有する高い音響品質を保持しつつ、“単一チャンネル信号の所要ビットレート×チャンネル数”よりも少ない伝送ビットレートで伝送が可能な、低ビットレート音響圧縮符号化に関する技法（符号化装置、復号装置）を提供することにある。

上述した諸課題を解決すべく、本発明による、互いに離間して（三次元または二次元に）配置された複数の音響チャンネルによる多チャンネル音響信号の音響圧縮符号化装置は、
前記複数の音響チャンネルを、予め定められた音響チャンネルの配置情報（チャンネルの位置関係を示す情報）に基づいてグループ化するグループ化部と、
前記グループ化部によってグループ化されたグループ毎に、当該グループに属する音響チャンネルを、当該音響チャンネルの音響信号の相関性に基づいてカテゴリーに分割するカテゴリー分割部と、
前記カテゴリー分割部によって分割されたカテゴリー毎に、当該カテゴリーに属する各音響信号を符号化し、当該符号化された各音響信号を多重化したカテゴリー別の音響圧縮符号化信号を出力するカテゴリー別音響圧縮符号化部と、
前記カテゴリー別音響圧縮符号化部によって出力されたカテゴリー別の音響圧縮符号化信号を多重化して伝送する多重化部とを備えることを特徴とする。

また、本発明の一実施態様による多チャンネル音響信号の音響圧縮符号化装置は、
前記受信データは単一のフレームに含まれ、
前記カテゴリー分割部は、前記グループに属する音響チャンネルの音響信号を、当該音響信号を符号化する単位フレーム毎にカテゴリーに分割することを特徴とする。

本発明の別の実施態様による多チャンネル音響信号の音響圧縮符号化装置は、
既定のビットレートを、前記カテゴリー分割部によって分割された各カテゴリーに対して配分するビットレート配分部をさらに備えることを特徴とする。

本発明のさらに別の実施態様による多チャンネル音響信号の音響圧縮符号化装置は、
前記ビットレート配分部は、前記各カテゴリーに属するチャンネルの数に従って既定のビットレートを配分することを特徴とする。

上述したように本発明を送信側の符号化装置として説明してきたが、本発明はこれらの符号化装置によって送信された音響信号を復号する復号装置としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明を復号装置として実現した、互いに離間して（三次元または二次元に）配置された複数の音響チャンネルによる多チャンネル音響信号を受信して復号する音響復号装置は、
前記多チャンネル音響信号は、当該音響信号の相関性に基づくカテゴリー毎に符号化されたカテゴリー別の音響圧縮符号化信号が多重化された多重化信号であり、
前記多重化信号を、前記カテゴリー別の音響圧縮符号化信号に分離し、当該分離されたカテゴリーに関するカテゴリー分割情報を抽出する分離部と、
前記分離部によって分離された前記カテゴリー別の音響圧縮符号化信号をカテゴリー毎に復号し、当該カテゴリーに属する各音響信号を出力するカテゴリー別音響復号部と、
前記分離部によって分離された前記カテゴリー分割情報に基づいて前記カテゴリー別音響復号部によって出力された音響信号を統合化し、出力するカテゴリー統合部とを備えることを特徴とする。

なお、本発明による装置を、中央演算装置（ＣＰＵ等）、メモリ等を備えたコンピュータとして構成することもでき、上述した各部は、当該各部の機能を記述したプログラムをＣＰＵにより実行させることによって実現することができる。

このように、本発明によれば、３次元音響方式等複数の音響チャンネルが用いられる多チャンネル音響方式において、従来よりも符号化負荷を低減させ、かつ“単一チャンネル信号の所要ビットレート×チャンネル数”よりも少ない伝送ビットレートでの伝送が可能となる。

以下に、諸図面を参照しながら、本発明の一実施態様による多チャンネル音響信号の音響圧縮符号化装置及び復号装置について説明する。なお、これ以降では、図８に示す音響チャンネル配置を想定して説明する。しかしながら、本発明はこれに限られるものではなく、配置されるチャンネル数がより少ない場合（例えば、２チャンネル等）や、多数のチャンネルが平面上に配置される場合にも、本発明を適用可能であることに留意されたい。またこれ以降、「音響チャンネル信号」とは、各音響チャンネルから生成される音響信号のことを指すものとし、「音響信号」と同義で用いることもある。さらに、「多チャンネル音響信号」とは、複数の「音響チャンネル信号」の総称として用いる。

まず、図１に、本発明による多チャンネル音響信号の音響圧縮符号化装置及び復号装置を含む音響信号伝送システムの概略図を示す。図１に示すように、音響信号伝送システムは、送信側（放送局）として３次元音響等多チャンネル音響制作・運行装置３００及び多チャンネル音響圧縮符号化装置１００、受信側として多チャンネル音響復号装置２００及び３次元音響等多チャンネル音響再生装置４００を備える。３次元音響等多チャンネル音響制作・運行装置３００は、例えば図８に示すような、３次元空間にチャンネルが立体的に配置された形式で制作された番組コンテンツに含まれる多チャンネル音響信号を、放送局の番組運行に基づいて多チャンネル音響圧縮符号化装置１００へ送出する。多チャンネル音響圧縮符号化装置１００は、３次元音響等多チャンネル音響制作・運行装置３００から送出された多チャンネル音響信号を符号化し、低ビットレートの音響符号化ストリーム信号を生成する（詳細は後述する）。多チャンネル音響圧縮符号化装置１００によって生成されたストリーム信号は、図示しない多重化装置等によって番組コンテンツの画像データストリーム信号と多重化され、無線または有線によって受信側へ送信される。

受信側（一般家庭、企業等）において、多チャンネル音響復号装置２００は、図示しない分離装置等によって画像データストリーム信号から分離された音響符号化ストリーム信号を、多チャンネル音響信号の形式に復号する。多チャンネル音響復号装置２００によって復号された多チャンネル音響信号は、３次元音響等多チャンネル音響再生装置４００に送出され、再生される。

次に、本発明による多チャンネル音響圧縮符号化装置を説明する。図２は、本発明の一実施例による多チャンネル音響圧縮符号化装置１００の概略ブロック図である。図２に示すように、多チャンネル音響圧縮符号化装置１００は、多チャンネル音響カテゴリー分割部１１０、音響圧縮符号化部１２０、多チャンネル音響複数カテゴリー符号化ストリーム多重化部１３０及び各カテゴリー割当ビットレート配分部１４０を備える。さらに、音響圧縮符号化部１２０は、カテゴリー１内音響チャンネル圧縮符号化部１２１、カテゴリー２内音響チャンネル圧縮符号化部１２２等、多チャンネル音響カテゴリー分割部１１０によって分割されたカテゴリー数ｎ（ｎは０を除く自然数）に対応するカテゴリーｎ内音響チャンネル圧縮符号化部１２ｎを備える。

多チャンネル音響カテゴリー分割部１１０は、多チャンネル音響制作・運行装置３００から送出された多チャンネル音響信号を受信し、チャンネル配置に基づいて音響チャンネルを複数のグループにグループ化する。さらに、多チャンネル音響カテゴリー分割部１１０は、グループ毎に、グループに含まれる音響チャンネル信号を、音響チャンネル信号の類似性を基に複数のカテゴリーに分割（クラスタリング）する。また、カテゴリー分割に関する情報（多チャンネル音響カテゴリー分割情報）を、多チャンネル音響複数カテゴリー符号化ストリーム多重化部１３０及び各カテゴリー割当ビットレート配分部１４０に出力する。

音響圧縮符号化部１２０は、多チャンネル音響カテゴリー分割部１１０によって分割されたカテゴリー毎に、カテゴリーに属する音響チャンネル信号を符号化し、符号化された各音響チャンネル信号を多重化したカテゴリー別の音響圧縮符号化信号を生成する。すなわち、音響圧縮符号化部１２０は、多チャンネル音響カテゴリー分割部１１０によって分割されたカテゴリーの数と同数の、カテゴリー別の音響圧縮符号化信号を生成する。

多チャンネル音響複数カテゴリー符号化ストリーム多重化部１３０は、音響圧縮符号化部１２０によって生成された複数のカテゴリー別の音響圧縮符号化信号と、多チャンネル音響カテゴリー分割部１１０からの多チャンネル音響カテゴリー分割情報とを多重化して、一つの伝送ストリームとする。なお、詳細は後述するが、多チャンネル音響カテゴリー分割情報としては、多チャンネル音響信号のカテゴリー分割に関する情報、カテゴリー内の音響チャンネルの符号化情報、カテゴリー内の音響チャンネル符号化情報の多重化に関する情報等が含まれる。

各カテゴリー割当ビットレート配分部１４０は、既定の所要のビットレートを、多チャンネル音響カテゴリー分割部１１０からの多チャンネル音響カテゴリー分割情報に基づき、各カテゴリーに対して割当てる。

なお、多チャンネル音響圧縮符号化装置１００による音響信号の符号化は、予め定められた単位フレームに対して、または連続した数フレームに対して行われる。このフレームは、映像信号と同期をとることが可能なように構成し、例えば、音響信号４８ｋＨｚサンプリング、映像信号３０Ｈｚの間で同期を取る場合、１６００音声サンプルで構成される。

各部の詳細な機能を以下に説明する。図３は、多チャンネル音響カテゴリー分割部１１０の概略ブロック図である。図に示すように、多チャンネル音響カテゴリー分割部１１０は、多チャンネルグループ化部１１２及びカテゴリー分割部１１４を備える。なお、多チャンネル音響カテゴリー分割部１１０によるカテゴリー分割は、次のような概念に基づく。

まず、従来のマスキング等の聴覚の性質を利用した符号化を３次元音響方式に適用する場合に、３次元音響方式ではチャンネルが前方・後方及び上下方向に設置されているため、ある方向の音が同一方向の音を聞きづらくする（マスキングする）度合いと、別方向の音を聞きづらくする度合いとは異なる。すなわち、チャンネルの位置関係に応じてマスキング量を算出することが必要となる。これは言い換えれば、あるチャンネルに対して同程度の位置にある複数のチャンネルは、そのあるチャンネルからマスキングされる度合いが同程度になると考えられる。従って、チャンネルの位置関係に基づいて事前にチャンネルをグループ化し、グループ化したチャンネルに対して同じマスキング量を適用すれば、複数のチャンネルに対してマスキング量を算出する処理を軽減できる。

また、従来技術による、音響信号間の類似性に基づいた符号化によって伝送ビットレートを低減する場合、音響信号の類似性は音響チャンネルの位置関係による割合が大きいため、上述のように予め位置関係に基づいたグループ内の音響チャンネル信号間が類似性はより大きいと考えられる。すなわち、グループ内の音響チャンネル信号間の類似性に基づく符号化を行うのみで、十分に全ての音響チャンネル信号間の類似性に基づく符号化の利点を享受できると考えられる。従って、グループ化によって、全ての音響チャンネル信号に対する類似性を検査するよりも、類似性の検査処理を軽減できる。

図３に戻り、各部の機能を説明する。多チャンネルグループ化部１１２は、多チャンネル音響信号を、多数の音響チャンネルの配置情報に基づきグループ化する。グループ化の方法としては、最も理想的な視聴者の位置（例えば、スクリーンから数メートル等）に対するチャンネルの相対位置（視聴者の前方、後方、側方等）に応じて行うことができる。さらに、視聴者からの絶対距離を含めてもよい。なお、多チャンネルの配置情報は、あらかじめ番組の制作者によって入力される。または、音響チャンネル間で所定のテスト信号を送受信し、テスト信号の受信時間等に基づいてチャンネル間の位置を算出してもよい。

図４に、グループ化の一例を示す。なお簡単のため、二次元上のチャンネルのグループ化について説明する。図４に示すように、視聴者ＡＵに対して、Ｍ１〜Ｍ１０の１０チャンネルが配置されている。図４の例では、視聴者ＡＵの前方に位置するチャンネルＭ１〜Ｍ５の５チャンネルが１つのグループＧ１、後方に位置するＭ６〜Ｍ８の３チャンネルが１つのグループＧ２、左右に位置するＭ９，Ｍ１０が、それぞれ、グループＧ３，Ｇ４にグループ化される。なお、図は一例であり、本発明はこれに限られるものではないことに留意されたい。例えば、グループ化としては、制約付き最適化に関するペナルティ関数法を用いることもできる。

カテゴリー分割部１１４は、多チャンネルグループ化部１１２によってグループ化されたグループ毎に、グループ内に含まれるチャンネルを、それらの音響チャンネル信号の類似性に基づいて少なくとも１つのカテゴリーに分割する。このカテゴリーの分割手法としては、既存の手法を用いることができ、例えば、階層的クラスタリング、予測差分最小化クラスタリング等を用いることができる（例えば、鳥脇，“認識工学”，コロナ社，pp. 84-95、長尾，“パターン情報処理”，コロナ社，pp. 98-124、非特許文献３を参照）。また、その他既知のMax-Min法等を用いることもできる。図３の例では、ｎ個のカテゴリーに分割されるが、このとき、異なるグループの信号が同一のカテゴリーに属することはない。カテゴリー分割部１１４は、分割された各カテゴリーに属する音響チャンネル信号を、後続する音響圧縮符号化部１２０へ送出する。これは例えば、カテゴリーの数に応じたフラグ等を用意し、そのフラグを用いてカテゴリーｎに属する音響チャンネル信号（カテゴリーｎ音響チャンネル信号）であることを示すようにする。また、カテゴリー分割部１１４は、カテゴリー分割に関する情報（カテゴリー数、各カテゴリーに含まれる音響チャンネル数等）も生成し、後続する音響圧縮符号化部１２０へ送出する。

音響圧縮符号化部１２０は、各カテゴリーｎ音響チャンネル信号を、カテゴリー毎に符号化するが、音響圧縮符号化部１２０に先立ち、各カテゴリー割当ビットレート配分部１４０について説明する。

各カテゴリー割当ビットレート配分部１４０は、多チャンネル音響カテゴリー分割部１１０によって分割されたカテゴリーに対して既定の（所要の）ビットレートを配分する。音響信号及びそのマスキング閾値は時々刻々と変動するため、その変動に応じて適応的にビットレートを配分すれば、音響信号をさらに高音質にすることも可能である。しかしながらその場合、圧縮符号化に要する計算処理量や時間が多大になる。従って本願では、必要な計算処理量と音質とを考慮し、カテゴリー内に含まれる音響チャンネル数に応じて、ビットレートを配分する手法を採用する。

一例として、カテゴリー内に含まれる音響チャンネル数に応じてビットレートを配分することが考えられる。すなわち、カテゴリー毎に一番目の音響信号には同一のビット配分を行い、二番目以降の音響信号には一番目の配分ビット数を指数的に減算したビット数を割当てる。このとき、ｊ番目のカテゴリーに割当てられる配分ビット数の比は、このカテゴリー内に含まれる音響チャンネル数をchとすると、次式で与えられる。

さらに、全体ビットレートをbr_total、カテゴリー分割数をＮとすると、ｊ番目のカテゴリーに割当てられる配分ビット数は、次式で与えられる。

なお、αの値としては、例えばα＝１／２としてもよい。

このようにすれば、各カテゴリー内の音響信号間は類似性が高く、一方、カテゴリーの異なる音響信号間は類似性が弱い（無い）、という性質に基づいて、カテゴリー内の音響チャンネル数に従って所要のビットレートを配分することができる。各カテゴリー割当ビットレート配分部１４０は、上述のようにして求めたビットレート配分を、音響圧縮符号化部１２０へ出力する。

音響圧縮符号化部１２０の機能を説明する。音響圧縮符号化部１２０は、多チャンネル音響カテゴリー分割部１１０によって分割されたカテゴリー別の音響チャンネル信号をそれぞれ符号化する、カテゴリーｎ内音響チャンネル圧縮符号化部１２ｎを備える。なお、概念的に分かり易くするため、図２においてｎ個のカテゴリー内音響チャンネル圧縮符号化部を示しているが、分割されたカテゴリー毎に符号化することを示すためのものであり、必ずしも複数個備えられているものではないことに留意されたい。従って、カテゴリー１内音響チャンネル圧縮符号化部１２１〜カテゴリーｎ内音響チャンネル１２ｎの構成は同じものである。

図５に、カテゴリー１内音響チャンネル圧縮符号化部１２１の概略ブロック図を示す。図に示すように、カテゴリー１内音響チャンネル圧縮符号化部１２１は、時間-周波数変換部１２１Ａ、再量子化・符号化部１２１Ｂ、マスキング閾値算出部１２１Ｃ、カテゴリー１閾値算出部１２１Ｄ、音響チャンネル符号化情報多重化部１２１Ｅ及びカテゴリー割当ビットレート格納部ＢＩＴ１を備える。時間-周波数変換部１２１Ａは、カテゴリー１内に含まれる時間領域の音響チャンネル信号を周波数変換する。再量子化・符号化部１２１Ｂは、時間-周波数変換部１２１Ａによって周波数領域に変換された音響チャンネル信号の再量子化・符号化を行う。また、マスキング閾値算出部１２１Ｃは、カテゴリー１内に含まれる各音響チャンネル信号のマスキング閾値を算出し、カテゴリー１閾値算出部１２１Ｄは、マスキング閾値算出部１２１Ｃによって求められた各音響チャンネルのマスキング閾値に基づき、カテゴリー１全体に対するマスキング閾値を算出する。

マスキング閾値算出部１２１Ｃは、カテゴリー内に含まれる音響チャンネル信号毎に、聴覚の臨界帯域幅又は周波数サブバンドに沿って、各音響チャンネル信号のマスキング閾値（個別チャンネル・マスキング閾値）を算出する。カテゴリー１閾値算出部１２１Ｄは、マスキング閾値算出部１２１Ｃによって求められた個別チャンネル・マスキング閾値を用いて、カテゴリーに対するマスキング閾値（カテゴリー・マスキング閾値）を算出する。例えば、カテゴリー１閾値算出部１２１Ｄは、マスキング閾値算出部１２１Ｃによって求められた個別チャンネル・マスキング閾値のうち最大のものを、カテゴリー・マスキング閾値として求めてもよい。または、各個別チャンネル・マスキング閾値のパワーの合計から、カテゴリー・マスキング閾値を求めることもできる。なお、個別チャンネル・マスキング閾値の計算方法は、例えばＩＳＯ／ＩＥＣ１１１７２−３等から既知であるため、説明を省略する。

時間-周波数変換部１２１Ａによる時間領域の音響信号を周波数領域の信号（周波数サンプル信号）に変換する方法として、サブバンドにより複数の帯域に分割する方式と、ＤＣＴ（Discrete Cosine Transform）を用いて直接周波数に変換する方式がある。サブバンド方式はＭＰＥＧ−１Ｌａｙｅｒ２の符号化、ＤＣＴ変換方式はＭＰＥＧ−２ＡＡＣ（ＩＳＯ／ＩＥＣ１３８１８−７を参照）で用いられており、これら時間-周波数変換については、例えばＩＳＯ／ＩＥＣ１１１７２−３等から既知であるため説明を省略する。

再量子化・符号化部１２１Ｂは、カテゴリー内の音響チャンネル信号に、各カテゴリー割当ビットレート配分部１４０によって予め割当てられたビット数を、臨界帯域（または周波数サブバンド）毎に適応的に配分する。例えば、ビットは、カテゴリー１閾値算出部１２１Ｄによって求められたカテゴリー・マスキング閾値と音響チャンネル信号の振幅レベルの差（デシベル差）とが大きい臨界帯域の順に割当ててもよい。この場合、各カテゴリー割当ビットレート配分部１４０によって割当てられたビット数を超えた時点で、ビットの割当が終了する。さらに、再量子化・符号化部１２１Ｂは、臨界帯域に配分されたビット数に基づいて、周波数サブバンドに含まれる周波数サンプル値を再量子化・符号化する。ここで、符号化された周波数サンプル値の伝送ビット数をさらに削減するために、ハフマン符号等の可逆符号化を用いることもできる。なお、再量子化・符号化については、例えばＩＳＯ／ＩＥＣ１１１７２−３等から既知であるため、詳細な説明は省略する。

音響チャンネル符号化情報多重化部１２１Ｅは、再量子化・符号化部１２１Ｂによって符号化されたカテゴリー内の音響チャンネル信号と、それら音響チャンネル信号に関する符号化情報を、１つの信号ストリームに多重化する。符号化情報としては、音響チャンネル信号の臨界帯域のビット配分情報、臨界帯域のビット配分情報に基づいて符号化された周波数サブバンドに含まれる周波数サンプル符号化データ等が含まれる。

また、カテゴリー内の音響圧縮符号化を行う際に、予測符号化を用いることもできる（例えば、非特許文献３を参照）。カテゴリー分割は、音響チャンネル信号の類似性を基に行われている。従って、カテゴリー内の音響チャンネル信号の予測残差を再量子化・符号化することで、音響チャンネル信号をそのまま再量子化・符号化する場合（従来の符号化）に比べ、より少ない伝送ビット数で、音響チャンネル信号をそのまま再量子化・符号化した場合と同等の音質を達成することができる。言い換えれば、同じ伝送ビット数であれば、予測符号化を用いたほうが、従来の符号化よりも高音質化することができる。ただし、予測残差の計算には復号・差分・再量子化の処理を要するため、演算処理量の増加を招く。従って、予測用補助信号（追加情報）の必要ビット数や処理量の増加量を勘案し、予測符号化の使用の有無を決定すればよい。

この場合、音響チャンネル符号化情報多重化部１２１Ｅによって多重化される符号化情報として、上述のものの他に、予測符号化の有無の情報及び予測符号化に関する情報や、予測符号化の周波数サンプル符号化データ等を含めることもできる。

上述のように、本発明による音響圧縮符号化装置によれば、３次元音響方式のような多数の音響チャンネルによる多チャンネル音響信号が、チャンネル間の位置関係と音響信号間の類似性とに基づいて符号化されるため、従来よりも伝送ビットレート及び符号化処理の負荷を低減することが可能となる。また、カテゴリーに含まれるチャンネル数に応じてビットが配分されるため、音響信号の品質を劣化させずに伝送することが可能となる。

次に、上述の音響圧縮符号化装置によって生成された音響圧縮符号化ストリーム信号を復号する音響復号装置について説明する。すなわち、本発明による音響復号装置は、複数の音響チャンネル信号がそれらの相関性に基づくカテゴリー毎に符号化されたカテゴリー別の音響圧縮符号化信号が多重化された信号を、復号する装置である。

図６は、本発明の一実施例による多チャンネル音響復号装置の概略ブロック図である。図に示すように、多チャンネル音響復号装置２００は、多チャンネル音響複数カテゴリー符号化ストリーム分離部２１０、音響復号部２２０及び多チャンネル音響カテゴリー統合化部２３０を備える。多チャンネル音響複数カテゴリー符号化ストリーム分離部２１０は、多チャンネル音響圧縮符号化装置１００によって送信された符号化ストリーム信号を、音響チャンネル符号化情報とカテゴリー毎に符号化された音響チャンネル信号とに分離する。さらに、分離部２１０は、カテゴリー分割に関する情報（多チャンネル音響カテゴリー分割情報）も分離する。音響復号部２２０は、カテゴリーｎ内音響チャンネル音響復号部２２ｎを備え、分離部２１０によって分離されたカテゴリー別の音響圧縮符号化信号を、符号化情報に基づいてカテゴリー毎に復号し、カテゴリーに含まれる各音響チャンネル信号を復号する。多チャンネル音響カテゴリー統合化部２３０は、音響復号部２２０によって復号された各カテゴリーに含まれる音響チャンネル信号を、多チャンネル音響カテゴリー分割情報に基づいて統合し、多チャンネル音響信号を復元する。

図７に、カテゴリー１内音響チャンネル音響復号部２２１の概略ブロック図を示す。図のように、カテゴリー１内音響チャンネル音響復号部２２１は、カテゴリー１内音響チャンネル符号化ストリーム分離部２２１Ａ、復号部２２１Ｂ及び周波数-時間変換部２２１Ｃを備える。カテゴリー１内音響チャンネル符号化ストリーム分離部２２１Ａは、分離部２１０によって分離されたカテゴリー１に関する音響圧縮符号化信号を、カテゴリー１に含まれる個々の音響チャンネル信号の符号化信号（音響チャンネル符号化信号）に分離する。そして、個々の音響チャンネル符号化信号は、復号部２２１Ｂ及び周波数-時間変換部２２１Ｃによって、時間領域の音響チャンネル信号として出力される。なお、音響復号装置２００及びその各構成部の処理は、音響圧縮符号化装置１００の逆の構成をとるものであり、詳細な説明は省略する。

本発明によれば、３次元音響方式等複数の音響チャンネルが用いられる多チャンネル音響方式において、チャンネル間の位置関係と音響信号間の類似性とを利用した符号化によって、従来よりも符号化処理の負荷や時間を低減し、かつ“単一チャンネル信号の所要ビットレート×チャンネル数”よりも少ない伝送ビットレートでの伝送が可能となるので、多チャンネル音響方式の用途に有用である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

本発明による多チャンネル音響信号の音響圧縮符号化装置及び復号装置を含む音響信号伝送システムの概略図である。本発明の一実施例による多チャンネル音響圧縮符号化装置の概略ブロック図である。多チャンネル音響カテゴリー分割部の概略ブロック図である。グループ化の一例を示す図である。カテゴリー１内音響チャンネル圧縮符号化部の概略ブロック図である。本発明の一実施例による多チャンネル音響復号装置の概略ブロック図である。カテゴリー１内音響チャンネル音響復号部の概略ブロック図である。３次元音響方式における番組制作時のスピーカ（チャンネル）配置例である。

符号の説明

１００多チャンネル音響圧縮符号化装置
１１０多チャンネル音響カテゴリー分割部
１１２多チャンネルグループ化部
１１４カテゴリー分割部
１２０音響圧縮符号化部
１２１カテゴリー１内音響チャンネル圧縮符号化部
１２１Ａ時間-周波数変換部
１２１Ｂ再量子化・符号化部
１２１Ｃマスキング閾値算出部
１２１Ｄ閾値算出部
１２１Ｅ音響チャンネル符号化情報多重化部
１２２カテゴリー２内音響チャンネル圧縮符号化部
１２ｎカテゴリーｎ内音響チャンネル圧縮符号化部
１３０多チャンネル音響複数カテゴリー符号化ストリーム多重化部
１４０各カテゴリー割当ビットレート配分部
２００多チャンネル音響復号装置
２１０多チャンネル音響複数カテゴリー符号化ストリーム分離部
２２０音響復号部
２２１カテゴリー１内音響チャンネル音響復号部
２２１Ａカテゴリー１内音響チャンネル符号化ストリーム分離部
２２１Ｂ復号部
２２１Ｃ周波数-時間変換部
２３０多チャンネル音響カテゴリー統合化部
３００３次元音響等多チャンネル音響制作・運行装置
４００３次元音響等多チャンネル音響再生装置
Ｍ１〜Ｍ１０中間レイヤチャンネル
Ｕ１〜Ｕ９上位レイヤチャンネル
Ｌ１〜Ｌ３下位レイヤチャンネル
ＬＦＥ１，ＬＦＥ２低域効果音用スピーカ

Claims

互いに離間して配置された複数の音響チャンネルによる多チャンネル音響信号の音響圧縮符号化装置であって、
前記複数の音響チャンネルを、予め定められた音響チャンネルの配置情報に基づいてグループ化するグループ化部と、
前記グループ化部によってグループ化されたグループ毎に、当該グループに属する音響チャンネルを、当該音響チャンネルの音響信号の相関性に基づいてカテゴリーに分割するカテゴリー分割部と、
前記カテゴリー分割部によって分割されたカテゴリー毎に、当該カテゴリーに属する各音響信号を符号化し、当該符号化された各音響信号を多重化したカテゴリー別の音響圧縮符号化信号を生成するカテゴリー別音響圧縮符号化部と、
前記カテゴリー別音響圧縮符号化部によって生成されたカテゴリー別の音響圧縮符号化信号を多重化して伝送する多重化部と、
を備えることを特徴とする多チャンネル音響信号の音響圧縮符号化装置。
前記カテゴリー分割部は、前記グループに属する音響チャンネルの音響信号を、当該音響信号を符号化する単位フレーム毎にカテゴリーに分割する、
ことを特徴とする、請求項１に記載の多チャンネル音響信号の音響圧縮符号化装置。
既定のビットレートを、前記カテゴリー分割部によって分割された各カテゴリーに対して配分するビットレート配分部をさらに備える、
ことを特徴とする、請求項１又は２に記載の多チャンネル音響信号の音響圧縮符号化装置。
前記ビットレート配分部は、前記各カテゴリーに属する音響チャンネルの数に従って既定のビットレートを配分する、
ことを特徴とする、請求項３に記載の多チャンネル音響信号の音響圧縮符号化装置。
互いに離間して配置された複数の音響チャンネルによる多チャンネル音響信号を受信して復号する音響復号装置であって、
前記多チャンネル音響信号は、当該音響信号の相関性に基づくカテゴリー毎に符号化されたカテゴリー別の音響圧縮符号化信号が多重化された多重化信号であり、
前記多重化信号を、前記カテゴリー別の音響圧縮符号化信号に分離し、当該分離されたカテゴリーに関するカテゴリー分割情報を抽出する分離部と、
前記分離部によって分離された前記カテゴリー別の音響圧縮符号化信号をカテゴリー毎に復号し、当該カテゴリーに属する各音響信号を出力するカテゴリー別音響復号部と、
前記分離部によって分離された前記カテゴリー分割情報に基づいて前記カテゴリー別音響復号部によって出力された音響信号を統合化し、出力するカテゴリー統合部と、
を備えることを特徴とする多チャンネル音響信号の音響復号装置。
前記音響信号は、当該音響信号を符号化する単位フレーム毎にカテゴリーに分割されている、
ことを特徴とする、請求項５に記載の多チャンネル音響信号の音響復号装置。
既定のビットレートが、前記カテゴリー毎に配分されている、
ことを特徴とする、請求項５又は６に記載の多チャンネル音響信号の音響復号装置。