JP2019097164A

JP2019097164A - 音響処理装置及びプログラム

Info

Publication number: JP2019097164A
Application number: JP2018215192A
Authority: JP
Inventors: 弘樹久保; Hiroki Kubo; 大出　訓史; Norifumi Oide; 訓史大出
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-11-17
Filing date: 2018-11-16
Publication date: 2019-06-20
Anticipated expiration: 2038-11-16
Also published as: JP7222668B2

Abstract

【課題】任意のマルチチャンネル音響信号を、制作者の意図を大きく損なうことなく、別のチャンネル配置を持つ音響方式で再生する。【解決手段】音響処理装置１は、変換元マルチチャンネル音響信号の再生位置を、あらかじめ定められた上下方向の単一又は複数の層上におけるスピーカ配置位置に基づいて決定する変換チャンネル再生位置決定部１１と、変換先マルチチャンネル音響信号の再生位置と、変換チャンネル再生位置決定部１１により決定された変換元マルチチャンネル音響信号の再生位置とに基づいて、チャンネル数変換係数を決定するチャンネル数変換係数決定部１２と、チャンネル数変換係数決定部１１により決定されたチャンネル数変換係数を各要素とするチャンネル数変換係数行列を用いて、変換元マルチチャンネル音響信号から変換先マルチチャンネル音響信号を生成する出力信号生成部１４と、を備える。【選択図】図１

Description

本発明は、マルチチャンネル音響信号のチャンネル数及びチャンネル配置を変換する音響処理装置及びプログラムに関する。

複数音声チャンネルの音響信号からなる番組音声を、制作時におけるチャンネル数よりも少ないチャンネル数に変換（ダウンミックス）して聴取することがある。その際、制作時における各音声チャンネルの変換元音響信号に、それぞれダウンミックス係数（チャンネル数変換係数）を乗じて得られる音響信号を加算して、再生時における各音声チャンネルの変換先音響信号を生成する。ダウンミックス係数として、所定の音響システムの標準規格（例えば、非特許文献１参照）で規定されているものと、番組ごとに音響信号に付加したメタデータに基づいて指定されるものがある（例えば、非特許文献２参照）。

例えば、非特許文献２には、式（１）に示す関係を用いて５．１ｃｈサラウンドの音響信号からステレオ２ｃｈの音響信号へダウンミックス処理することが記載されている。

式（１）において、Ｌｔ，Ｒｔは、変換先であるステレオ２ｃｈのうち、それぞれ左チャンネル、右チャンネルの音響信号を示す。Ｌ，Ｒ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓは、変換元である５．１ｃｈサラウンドのうち、それぞれ前方左チャンネル、前方右チャンネル、前方中央チャンネル、低域効果音チャンネル、サラウンド左チャンネル、サラウンド右チャンネルそれぞれの音響信号を示す。したがって、式（１）の第１項の２行６列の行列の各要素がダウンミックス係数に相当する。ｋは、サラウンド左チャンネルＬｓ、サラウンド右チャンネルＲｓのレベルを規定する係数を示す。ｋは、例えば、１／√２、１／２、０である。メタデータが音響信号に付随して伝送されない場合、テレビジョン受信機では、ｋとして１／√２が用いられる。

また、昨今では４Ｋ／８Ｋ放送などの超高精細度テレビジョン放送において、２２．２マルチチャンネル音響（以下、「２２．２ｃｈ音響」という。）などのマルチチャンネル音響システムが導入されている。一方、昨今、５．１ｃｈサラウンドや７．１ｃｈサラウンドに上方２ｃｈや上方４ｃｈを追加したマルチチャンネル音響が提案され、２２．２ｃｈ音響で制作された番組音声を７．１ｃｈ（５．１＋２ｃｈ）や９．１ｃｈ（５．１＋４ｃｈ）、１１．１ｃｈ（７．１＋４ｃｈ）などで簡易的に再生することが考えられる。

これらのマルチチャンネル音響方式は「先進的音響システム」としてＩＴＵ−Ｒ勧告ＢＳ．２０５１に規格化されている（非特許文献３参照）。また、様々な種類のマルチチャンネル音響方式を規定する規格は、ＩＴＵ−Ｒ勧告ＢＳ．２０５１以外にもＩＴＵ−Ｒ勧告ＢＳ．２０９４やＩＥＣ６２５７４、ＩＳＯ／ＩＥＣ２３００８など複数存在し、上記の７．１ｃｈ、９．１ｃｈ、１１．１ｃｈなどの代表的なスピーカ配置の音響方式は、多くの規格の中で規定されている。

ＩＴＵ−Ｒ勧告ＢＳ．２０５１では、上下（仰角）方向に上層（Upper Layer、頭上のスピーカを含む）、中層（Middle Layer）、及び下層（Bottom Layer、低域効果音用スピーカを含む）の３つの層（Layer）に分けてスピーカ配置を規定している。想定されるスピーカ位置として、合計５４か所もの配置が規定されており、ＩＴＵ−Ｒ勧告ＢＳ．２０５１に記載されていない音響方式であっても、５４個のスピーカ配置から所望のスピーカを抽出することによって、このＩＴＵ−Ｒ勧告ＢＳ．２０５１のスピーカ配置に当てはめて考えることが可能である。ＩＴＵ−Ｒ勧告ＢＳ．２０５１に限らず、様々な種類のマルチチャンネル音響方式を規定する規格では、“possible loudspeaker positions”，“general loudspeaker configurations”などと呼ばれる、想定される全てのスピーカ配置を統一的に記述した総体としてのスピーカ配置が定められていることが一般的である。以下では、説明のためにこれを「統合スピーカ配置」という。それぞれの規格では、この統合スピーカ配置から必要なスピーカ配置を抽出することで、上記の７．１ｃｈや９．１ｃｈ、１１．１ｃｈなどの音響方式を規定している。

視聴環境によっては完全に規格通りの位置にはスピーカを設置できない状況も考えられるため、規格ではスピーカの設置許容範囲（以下、「トレランス」という。）を定め、この範囲内に設置されたスピーカは同じ役割（効果）を果たすものとして扱えるようにしている。

また、番組制作時とは異なるスピーカ配置で番組を視聴する場合のチャンネル数変換手法として、音の到来方向の再現を重視して、ベクトル合成による周囲のスピーカへの振幅配分を行う３次元パンニング法（例えば、非特許文献４参照）をチャンネル数変換にも応用する手法が提案されている。

International Telecommunication Union, Recommendation ITU-R勧告 BS.775-3, "Multichannel stereoscopic sound system with and without accompanying picture", 08/2012 一般財団法人電波産業会，ＡＲＩＢＳＴＤ−Ｂ３２３．６版，「デジタル放送における映像符号化、音声符号化及び多重化方式」，平成２８年３月２５日 International Telecommunication Union, Recommendation ITU-R勧告 BS.2051-1,"Advanced sound system for programme production", 06/2017 V. Pulkki, "Virtual sound source positioning using vector base amplitude panning", J. Audio Eng. Soc., 45, 6, pp.456-466, 1997

しかしながら、現状は、２２．２ｃｈ音響や、７．１ｃｈ（５．１＋２ｃｈ）、９．１ｃｈ（５．１＋４ｃｈ）、１１．１ｃｈ（７．１＋４ｃｈ）などの、ＩＴＵ−Ｒ勧告ＢＳ．２０５１に規定されるような３次元マルチチャンネル音響方式同士間で変換するチャンネル数変換係数は定まっていない。また、今後も様々なチャンネル数の音響方式や同じチャンネル数でも配置の異なる音響方式が提案され、多いチャンネル数のチャンネル配置から少ないチャンネル数のチャンネル配置に変換する場合だけではなく、チャンネル数が同じであるチャンネル配置から別のチャンネル配置へ変換する場合や、少ないチャンネル数のチャンネル配置から多いチャンネル数のチャンネル配置に変換するチャンネル数変換係数を規定する必要が生じる可能性もあるが、逐次チャンネル数変換係数を決めていくのは困難である。

また、非特許文献４に記載の手法を応用したチャンネル数変換は、変換先チャンネルとは異なる再生位置にある変換元チャンネルの数が多いと複数のスピーカで再生される音響信号の数が多くなり、全体の音がぼけて音色が劣化しうるという問題がある。

かかる事情に鑑みてなされた本発明の目的は、ＩＴＵ−Ｒ勧告ＢＳ．２０５１などの様々な種類のマルチチャンネル音響方式を定める規格で規定されるような、上下方向に単一又は複数の層を持つ任意のチャンネル配置を持つ音響方式で制作されたコンテンツ音声の音響信号を、制作者の意図を大きく損なうことなく、別のチャンネル配置を持つ音響方式で再生するためのチャンネル数変換係数行列を導出可能な音響処理装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る音響処理装置は、マルチチャンネル音響信号のチャンネル数及びチャンネル配置を変換する音響処理装置であって、変換元マルチチャンネル音響信号の再生位置を、あらかじめ定められた上下方向の単一又は複数の層上におけるスピーカ配置位置に基づいて決定する変換チャンネル再生位置決定部と、変換先マルチチャンネル音響信号の再生位置と、前記変換チャンネル再生位置決定部により決定された前記変換元マルチチャンネル音響信号の再生位置とに基づいて、チャンネル数変換係数を決定するチャンネル数変換係数決定部と、前記チャンネル数変換係数決定部により決定されたチャンネル数変換係数を各要素とするチャンネル数変換係数行列を用いて、前記変換元マルチチャンネル音響信号から前記変換先マルチチャンネル音響信号を生成する出力信号生成部と、を備えることを特徴とする。

さらに、本発明に係る音響処理装置において、前記変換チャンネル再生位置決定部は、前記変換先マルチチャンネル音響信号の再生位置が規定されている上下方向の複数層をさらに方位角方向の複数の範囲に分割したときに、変換先マルチチャンネル音響信号の再生位置が存在しない再生位置欠落範囲を含む再生位置欠落層については、該再生位置欠落層に最も近い層の前記再生位置欠落範囲に対応する範囲に存在する変換先マルチチャンネル音響信号の再生位置を、仮想的に前記再生位置欠落範囲の変換先マルチチャンネル音響信号の再生位置とすることを特徴とする。

さらに、本発明に係る音響処理装置において、前記変換チャンネル再生位置決定部は、前記変換チャンネル再生位置決定部は、前記変換元マルチチャンネル音響信号の再生位置を、前記変換元マルチチャンネル音響信号及び前記変換先マルチチャンネル音響信号の各チャンネルのチャンネル数変換のためのトレランスを元に決定することを特徴とする。

さらに、本発明に係る音響処理装置において、前記変換チャンネル再生位置決定部は、前記変換チャンネル再生位置決定部は、前記トレランスとして、標準化団体が定める規格書に規定されているトレランス、チャンネルごとに規定されたトレランス、チャンネル再生位置の方位角に対して一定の規則に従って定められたトレランス、ユーザによって指定されたトレランス、メタデータによって指定されたトレランス、又は変換元チャンネル及び変換先チャンネルの名称若しくは位置の類似度に基づいて決定されるトレランスのいずれかを採用することを特徴とする。

さらに、本発明に係る音響処理装置において、前記変換チャンネル再生位置決定部は、前記変換チャンネル再生位置決定部は、前記採用したトレランスについて、前記層上の方位角が０度、±９０度、及び１８０度の位置に規定される前記スピーカ配置位置においては前記トレランスを０度に変更することを特徴とする。

さらに、本発明に係る音響処理装置において、前記変換チャンネル再生位置決定部は、前記変換チャンネル再生位置決定部は、第１の変換元マルチチャンネル音響信号の再生位置の候補が複数存在する場合には、別の層上に存在する、方位角を前後左右に４分割した際に同じ分割範囲に属する第２の変換元チャンネルの再生位置に対して、方位角の差が最小である候補を選択することを特徴とする。

さらに、本発明に係る音響処理装置において、前記スピーカ配置位置は、標準化団体が定める規格書に規定されているものであることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記音響処理装置として機能させることを特徴とする。

本発明によれば、上下方向に複数の層を持つ任意のチャンネル配置の音響方式で制作された音響を、制作者の意図を大きく損なうことなく、別のチャンネル配置の音響方式用の再生装置で聴取するためのチャンネル数変換係数行列を生成することが可能となる。また、今後新たに様々なチャンネル数の音響方式や同じチャンネル数でも配置の異なる音響方式が提案された場合であっても、その提案された音響方式が、ＩＴＵ−Ｒ勧告ＢＳ．２０５１などで規格化されたスピーカ配置で規定できる、あるいは規格化されたスピーカ配置への適用方法が明らかである限り、チャンネル数変換係数行列を一意に生成することを保証するものである。

また、本発明が参照する規格に関しても、ＩＴＵ−Ｒ勧告ＢＳ．２０５１に限らず、ＩＴＵ−Ｒ勧告ＢＳ．２０９４やＩＥＣ６２５７４、ＩＳＯ／ＩＥＣ２３００８、あるいは今後規定される新しい規格であったとしても、その規格が上下方向の単一もしくは複数の層に分けて考えることができ、またその規格が想定される全てのスピーカ配置を統一的に記述した統合スピーカ配置を持つ限り、それらの規格を参照しても同様の効果を得ることができる。

本発明の一実施形態に係る音響処理装置の構成を示すブロック図である。本発明の一実施形態に係る音響処理装置において、チャンネル数変換係数を導出する手順を示すフローチャートである。本発明の一実施形態に係る音響処理装置において、変換先チャンネルの各層の分割の一例を示す図である。本発明の一実施形態に係る音響処理装置において、仰角±９０度の１点に変換先チャンネルの再生位置が存在しない場合の、仰角±９０度の変換元チャンネルの再生位置の第１の例を示す図である。本発明の一実施形態に係る音響処理装置において、仰角±９０度の１点に変換先チャンネルの再生位置が存在しない場合の、仰角±９０度の変換元チャンネルの再生位置の第２の例を示す図である。本発明の一実施形態に係る音響処理装置において、ＩＴＵ−Ｒ勧告ＢＳ．２０５１に規定されるスピーカ配置のトレランスを応用する場合のチャンネル数変換用トレランスの一例を示す図である。本発明の一実施形態に係る音響処理装置において、ＩＴＵ−Ｒ勧告ＢＳ．２０５１に規定されるスピーカ配置のトレランスを応用する場合のチャンネル数変換用トレランスの一例を示す図である。本発明の一実施形態に係る音響処理装置において、各チャンネルがその方位角を元に、一定の規則に従って算出したチャンネル数変換用トレランスの一例を示す図である。本発明の一実施形態に係る音響処理装置において、２個の変換先チャンネルの再生位置と変換元チャンネルの再生位置の角度によって係数を規定する一例を説明する図である。本発明の一実施形態に係る音響処理装置において、２個の変換先チャンネルの再生位置に挟まれる変換元チャンネル数によって係数を規定する場合の、チャンネル分配係数の求め方の一例を説明する図である。本発明の一実施形態に係る音響処理装置において、音響信号の分配係数をデシベル表記したときにきりのよい数字となるように置き換える例を示す。本発明の実施例１及び２に係る音響処理装置のチャンネル数変換係数を導出する手順を示すフローチャートである。本発明の実施例２に係る音響処理装置のチャンネル数変換用トレランスを導出する手順を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。また、以下では参照する規格として、単一又は複数の音響方式で想定されている全スピーカ位置を統一的に記述したスピーカ配置（統合スピーカ配置）が規定されているＩＴＵ−Ｒ勧告ＢＳ．２０５１（以下、「規格書」という）を例にとって説明する。

図１は、本実施形態に係る音響処理装置１の構成例を示すブロック図である。図１に示す音響処理装置１は、変換チャンネル再生位置決定部１１と、チャンネル数変換係数決定部１２と、チャンネル数変換係数行列記憶部１３と、出力信号生成部１４とを備える。

音響処理装置１は、任意のＭ個のチャンネル数からなる変換元マルチチャンネル音響信号を任意のＮ個のチャンネル数からなる変換先マルチチャンネル音響信号にチャンネル数とその配置を変換する。

変換チャンネル再生位置決定部１１は、変換元マルチチャンネル音響信号及び変換先マルチチャンネル音響信号のチャンネル数を含む変換元・変換先チャンネル位置情報を取得し、変換元マルチチャンネル音響信号の再生位置を、あらかじめ定められた上下方向の単一又は複数の層上におけるスピーカ配置位置に基づいて決定する。本実施形態では、このスピーカ配置が、標準化団体が定める規格書に規定される統合スピーカ配置である場合について説明する。以下、「変換元マルチチャンネル音響信号の再生位置」を「変換元チャンネルの再生位置」といい、「変換先マルチチャンネル音響信号の再生位置」を「変換先チャンネルの再生位置」という。また、「変換元マルチチャンネル」を適宜「変換元チャンネル」と略し、「変換先マルチチャンネル」を適宜「変換先チャンネル」と略す。

そして、変換チャンネル再生位置決定部１１は、取得した変換先・変換元チャンネル位置情報に基づいて、変換先チャンネルの再生位置が存在しない再生位置欠落範囲がある場合には、隣接する層の再生位置欠落範囲に対応する範囲に存在する変換先チャンネルの再生位置を用いることを決定する。詳細については後述する。

さらに、変換チャンネル再生位置決定部１１は、正中面・横断面上（方位角が０度、±９０度、及び１８０度）に存在するチャンネルを除く変換元チャンネルの再生位置を、変換元マルチチャンネル音響信号及び変換先マルチチャンネル音響信号の各チャンネルのチャンネル数変換のためのトレランスを元に決定する。トレランス（チャンネル数変換用トレランス）として、例えば、標準化団体が定める規格書に規定されているトレランス、チャンネルごとに規定されたトレランス、チャンネル再生位置の方位角に対して一定の規則に従って定められたトレランス、ユーザによって指定されたトレランス、メタデータによって指定されたトレランス、又は変換元チャンネル及び変換先チャンネルの名称若しくは位置の類似度に基づいて決定されるトレランスのいずれかを採用することができる。変換チャンネル再生位置決定部１１は、いずれのトレランスを採用してチャンネル数変換用トレランスを決定するかを指定する変換用トレランス選択情報を入力してもよい。そして、変換チャンネル再生位置決定部１１は、決定した変換元・変換先チャンネルのトレランスに基づいて、変換先チャンネルの再生位置及び変換元チャンネルの再生位置を、規格書で規定されたチャンネル配置上に決定する。詳細については後述する。

チャンネル数変換係数決定部１２は、変換元チャンネルの再生位置と変換先チャンネルの再生位置のトレランスが重複しない場合、２個の変換先チャンネルの再生位置に挟まれる変換元チャンネルの再生位置との位置関係、あるいは、２個の変換先チャンネルの再生位置に挟まれる変換元チャンネルの数によって分配係数を算出する。そしてチャンネル数変換係数決定部１２は、算出した分配係数からチャンネル数変換係数を決定し、チャンネル数変換係数行列記憶部１３に記憶する。詳細については後述する。

チャンネル数変換係数行列記憶部１３は、チャンネル数変換に必要なチャンネル数変換係数行列を記憶する。例えば、後述する１１．１ｃｈ音響（７．１＋４ｃｈ）から９．１ｃｈ音響（５．１＋４ｃｈ）、７．１ｃｈ音響（５．１＋２ｃｈあるいは中層７．１ｃｈ）に変換するチャンネル数変換係数行列を記憶する。なお、チャンネル数変換係数行列記憶部１３は必須の構成ではなく、チャンネル数変換係数行列記憶部１３を備えていない場合や、チャンネル数変換係数行列記憶部１３にチャンネル数変換係数が記憶されていない場合には、チャンネル数変換係数行列をその都度導出してもよい。

出力信号生成部１４は、変換元マルチチャンネル音響信号を入力する。そして、出力信号生成部１４は、チャンネル数変換係数決定部１２により決定されたチャンネル数変換係数を各要素とするチャンネル数変換係数行列を用いて、変換元マルチチャンネル音響信号のチャンネル数とその配置を変換して変換先マルチチャンネル音響信号を生成し、外部に出力する。

具体的には、出力信号生成部１４は、チャンネル数変換係数行列記憶部１３からＮ×Ｍ個のチャンネル数変換係数からなるチャンネル数変換行列を読み出し、式（２）に従い、Ｍ個の変換元マルチチャンネル音響信号にチャンネル数変換係数を乗じて加算することによって、Ｎ個の変換先マルチチャンネル音響信号を生成する。

図２は、音響処理装置１における、変換元マルチチャンネル音響信号から変換先マルチチャンネル音響信号にチャンネル数変換するときに用いるチャンネル数変換係数を導出する手順を示すフローチャートである。任意のＭチャンネルのマルチチャンネル音響信号からＮチャンネルのマルチチャンネル音響信号に変換する場合は、まず、変換チャンネル再生位置決定部１１により、Ｎ個の変換先チャンネルの再生位置を統合スピーカ配置の３層上に配置する。その後、変換先マルチチャンネル音響信号の再生位置欠落範囲の判別を行う。

規格書で規定されているスピーカ配置は上層（Upper Layer、頭上のスピーカを含む）、中層（Middle Layer、聴取者の耳の高さ）、及び下層（Lower Layer）の３層からなる。現在、世の中に提案されているマルチチャンネル音響方式のほとんどは、上下方向には３層かそれより少ない層構造となっている。例えば、２２．２ｃｈの場合は、下層、中層、及び上層の３層となり、１１．１ｃｈの場合は、中層及び上層の２層となる。ここで方式によっては、上層などで規格書に規定されているスピーカ配置の高さ（仰角３０度）とは異なる高さにスピーカが設置されていることがあるが、仰角に関しても後述する方位角のトレランスと同様にして考え、上層に変換するものとする。規格書で想定されている５４か所ものスピーカ位置は、それぞれが層の高さ及び方位角からなるスピーカラベル（SP Label）を持つ。層の高さはそれぞれの英語名の頭文字をとり（上層：Ｕ、中層：Ｍ、下層：Ｂ）、方位角はスクリーン中央を０００度として反時計回りに３桁の度数で表す。例えば５．１ｃｈサラウンドのＬチャンネルの再生位置のSP LabelはＭ＋０３０、ＲチャンネルはＭ−０３０となる。マルチチャンネル音響方式では、同じ再生位置を持つチャンネルに関しても、方式が違えばチャンネルの呼び方が異なることがしばしばあるが、このように変換先・変換元マルチチャンネルを両方とも規格書で規定されている、SP Labelで表現されるスピーカ配置に置きなおすことで、チャンネル数変換係数行列を明白かつ一意に生成することができる。

ここで、変換先チャンネルの再生位置欠落範囲の判別のために、変換先チャンネルの各分割層を方位角方向に０度から９０度ごとに前後左右（横断面、正中面）の４範囲に分割する（ステップＳ１０１）。変換元・変換先チャンネルのスピーカ配置は規格書により最初から分かっているため、層内での範囲の分割はデフォルト設定であらかじめ決めておいてもよいし、その都度算出してもよい。

方位角方向に分割された範囲に変換先チャンネルの再生位置が存在しない場合がある。以下、方位角方向に分割された範囲であって、変換先チャンネルの再生位置が存在しない範囲を「再生位置欠落範囲」といい、再生位置欠落範囲を含む層を「再生位置欠落層」という。変換チャンネル再生位置決定部１１は、再生位置欠落層については、最も近い層の再生位置欠落範囲に対応する範囲に存在する変換先チャンネルの再生位置を、仮想的に再生位置欠落範囲の変換先チャンネルの再生位置とする（ステップＳ１０２）。ただし、頭上（仰角９０度）といった４範囲に対して等しい位置関係にある変換先チャンネルに関しては除外する。なお、上記のように範囲の分割をあらかじめ行っていた場合、最も近い層を用いる再生範囲もあらかじめ決めておいてもよい。

図３に、７．１ｃｈ（中層５ｃｈと上層２ｃｈ）と１１．１ｃｈ（中層７ｃｈと上層４ｃｈ）の変換先チャンネルの再生位置を規格書で規定される３層上に配置し、各分割層を前後左右に４分割した例を示す。図３（ａ）に示した７．１ｃｈ音響において、中層は前方に０度、±３０度、後方に±１１０度、上層は±３０度に変換先チャンネルの再生位置は配置される。上層は後方の範囲に変換先チャンネルの再生位置が存在しない再生位置欠落層である。そこで、隣接する中層の後方チャンネルを上層の再生にも用いることとする。

ここで、変換先チャンネルがステレオの場合などであって、再生位置欠落層に隣接する層の再生位置欠落範囲に対応する範囲に変換先チャンネルの再生位置が存在しない場合には、再生位置欠落層内で変換先チャンネルの再生位置を前後に反転させることにより、変換先チャンネルの再生位置を仮想的に創出してもよい。また、中層に該チャンネルがなく、上下両方にある場合には、その両方の変換先チャンネルの再生位置を再生位置欠落範囲の変換先チャンネルの再生位置として、両チャンネルに変換元チャンネルの音響信号を分配してもよい。

また、０度又は１８０度に再生位置が存在するチャンネルは、左前及び右前、又は左後及び右後に再生位置が存在するチャンネルがない場合にのみ、等分に分配して例えば左前及び右前（±１度など）又は左後及び右後（±１７９度）に再生位置が存在するチャンネルとみなしてもよい。同様に、側方±９０度に再生位置が存在するチャンネルも、左前及び左後、又は右前及び右後に再生位置が存在するチャンネルがない場合にのみ、等分に分配して例えば左前及び左後（９０±１度など）、又は右前及び右後（−９０±１度）に再生位置が存在するチャンネルとみなしてもよい。

このようにして、変換先チャンネルの再生位置を上下方向の３層からなる統合スピーカ配置上に置くことにより、上下方向に複数の層を持つ任意のチャンネル配置の音響方式で制作された音響を、制作者の意図を大きく損なうことなく、別のチャンネル配置の音響方式用の再生装置で聴取するためのチャンネル数変換係数行列を生成することが可能となる。

図２に戻り、次に、変換チャンネル再生位置決定部１１により、仰角±９０度の１点に変換先チャンネルの再生位置が存在しない場合の、仰角±９０度にあった変換元チャンネルの再生位置を規定する（ステップＳ１０３）。なお、仰角±９０度の１点に変換先チャンネルの再生位置が存在する場合には、該再生位置を変更しない。

仰角±９０度の１点に変換先チャンネルの再生位置が存在しない場合、第１の例では、頭上（仰角９０度）又は足元（仰角−９０度）の変換元チャンネルの再生位置を、仰角±９０度に隣接する層の各分割範囲の中央に最も近い変換先チャンネルの再生位置とし、該分割範囲に中央から同程度離れた複数の変換先チャンネルの再生位置が存在する場合には、該複数の変換先チャンネルの再生位置とする。

図４に、仰角±９０度の１点に変換先チャンネルの再生位置が存在しない場合の、仰角±９０度の変換元チャンネルの再生位置の第１の例を示す。各分割層を４範囲に分割した場合は、隣接する層の前後左右４範囲の変換先チャンネルのうち、それぞれ四隅（方位角４５度と１３５度）付近に再生位置が存在する変換先チャンネルの再生位置各１点を使用する。例えば、図４（ａ）に示すように、変換先チャンネルが５ｃｈの場合、黒丸で示した四隅付近に存在する４ｃｈを再生位置と規定し、図４（ｂ）に示すように、変換先チャンネルが７ｃｈの場合、黒丸で示した四隅付近に存在する４ｃｈを再生位置と規定する。また、方位角３０度と６０度など四隅から同程度離れた再生位置に変換先チャンネルが２個存在する場合には、両方を使用する。例えば、図４（ｃ）に示すように、変換先チャンネルが１０ｃｈの場合、方位角３０度と６０度を共に使用し、黒丸で示した６ｃｈを再生位置と規定する。

変換元チャンネルの再生位置を規定すると、規定されたチャンネル数に応じて、音響信号のレベルを規定する。４範囲から各１点を選出した場合、チャンネル数変換係数は√（１／４）＝０．５００であり、４範囲から各２点を選出した場合、チャンネル数変換係数は√（１／８）＝０．３５４となる。この例では、エネルギーが保存されることを想定したが、上層で再生されるべき音響信号が中層等で再生されるとき、元々中層で再生される音響信号が聞こえにくくなる可能性がある。そこで、全体のエネルギーを−１．５ｄＢするなどの補正係数を乗じてもよい。このとき、４範囲から各１点を選出する場合の各要素は０．４２１となり、４範囲から各２点を選出する場合の各要素は０．２９７となる。

第２の例では、頭上（仰角９０度）の変換元チャンネルの再生位置を、仰角９０度に隣接する層の後方の左右分割範囲の中央にそれぞれ最も近い変換先チャンネルの再生位置、及び前方中央の変換先チャンネルの再生位置とする。前方中央に変換先チャンネルの再生位置が存在しない場合には、代わりに前方の左右分割範囲の中央にそれぞれ最も近い変換先チャンネルの再生位置を変換元チャンネルの再生位置とする。

図５に、仰角９０度の１点に変換先チャンネルの再生位置が存在しない場合の仰角９０度の変換元チャンネルの再生位置の第２の例を示す。例えば、図５（ａ）に示すように、変換先マルチチャンネルが５ｃｈの場合、黒丸で示した後方二隅付近に存在する２ｃｈ及び前方中央の１ｃｈを再生位置と規定し、図５（ｂ）に示すように、変換先チャンネルが７ｃｈの場合、黒丸で示した後方二隅付近に存在する２ｃｈ及び前方中央の１ｃｈを再生位置と規定する。また、前方中央に変換先チャンネルが存在しない場合には、前方左右に再生位置が存在する変換先チャンネルの再生位置を使用してもよい。例えば、図５（ｃ）に示すように、変換先チャンネルが４ｃｈの場合、黒丸で示した後方二隅付近に存在する２ｃｈ及び前方左右の２ｃｈを再生位置と規定する。

後方二隅付近及び前方中央を再生位置とした場合、チャンネル数変換係数行列の各要素は√（１／３）＝０．５７７となる。後方二隅付近及び前方左右を再生位置とした場合、前方左右のチャンネル数変換係数行列の各要素は√（１／６）＝０．４０８となる。また、上述したように、上層で再生されるべき音響信号が中層等で再生されることで、元々中層で再生される音響信号が聞こえにくくなることを防止するために、補正係数を乗じて全体のエネルギーを低減させてもよい。

図２に戻り、次に、仰角９０度を除く変換元チャンネルの再生位置を統合スピーカ配置の各層上に配置し、その再生位置を規定してゆく。まず、変換先チャンネルの再生位置と同じ位置にある変換元チャンネルの再生位置を当該位置に規定する。次に、正中面、横断面上にある変換元チャンネルの再生位置（方位角が０度、±９０度、及び１８０度）を当該位置に規定する。

この時点で再生位置が定まっていない変換元チャンネルは、チャンネル数変換のためのトレランスを元にその再生位置を変更する。このとき、変換元チャンネルの再生位置の変更に用いるチャンネル数変換のためのトレランスに関して、正中面・横断面上のチャンネルを除き規格書で規定されているようなスピーカ配置のトレランスを用いてチャンネル数変換用トレランスを決定する場合と（ステップＳ１０４）、各変換元・変換先マルチチャンネルの方位角からチャンネル数変換用トレランスを決定する場合とで（ステップＳ１０５）、変換元・変換先チャンネルのチャンネル数変換のためのトレランスを切り替える。この切り替えは、デフォルト設定であらかじめ決めておいてもよいし、ユーザが決定してもよい。

図６に、規格書に規定されるスピーカ配置のトレランスを用いる場合（ステップＳ１０４）のチャンネル数変換用トレランスの一例を示す。

ステップＳ１０４では、図６Ａに示す変換元チャンネル（Ｍ個）の規格書に規定されるスピーカ配置のトレランスを、そのままチャンネル数変換のためのトレランスにも用いる。ただし、正中面・横断面上（層上の方位角が０度、±９０度、及び１８０度）の位置に規定されるスピーカ配置位置においては、トレランスを０度に変更し（すなわち、トレランスを設けないで）、規格で定められているスピーカ配置位置のみを変換元チャンネルの再生位置とする。したがって、チャンネル数変換用トレランスは図６Ｂに示すようになる。これは、正中面・横断面上の角度が、聴取者から見て前後・左右といった方向感を決定づける特別な方位だからである。その正中面・横断面上にあるチャンネルもまた、再生される音響コンテンツにおいて特別な意味を持ち、仮にコンテンツ再生時に部屋の間取りなどの聴取環境の影響からスピーカ設置位置の多少のずれは許容するとされているものであったとしても、チャンネル数変換においては他の位置にあるチャンネルの再生位置に変更されてはならない。

また、ステップＳ１０５では、各変換元・変換先チャンネルごとに、一定の規則に従ってチャンネル数変換用トレランスを算出する。例えば、各変換元・変換先チャンネルに±ｘ度の標準トレランスを与える。標準トレランスの値は、全ての変換元・変換先チャンネルについて同一の値であってもよいし、それぞれ異なる値であってもよい。

この時、規格書で規定されるスピーカ配置のトレランスを用いる場合（ステップＳ１０４）と同様の考え方から、正中面・横断面上のチャンネルに設けられていたスピーカ配置に関しては、チャンネル数変換用トレランスは０度とし、規格の代表位置のみを再生位置として認める。ここで、±ｘ度の標準トレランスを持つ正中面・横断面以外のチャンネルのトレランスは、正中面・横断面に到達するところでこれを打ち切る。これは、正中面・横断面を超えた位置に再生位置が変更されることによる、前後・左右の変更という方向感の決定的な変化することを防ぐためである。またこれは、正中面・横断面上のチャンネルがトレランスを持たない一方で、正中面・横断面以外のチャンネルが±ｘ度のトレランスを持つことによる、正中面・横断面上のチャンネルと正中面・横断面以外のチャンネルの再生位置の逆転を防ぐためでもある。

図７に、標準トレランスを±３０度とした場合のチャンネル数変換用トレランスの一例を示す。方位角９０度のチャンネルと１１０度のチャンネルがあるときに、９０度のチャンネルは横断面上にあるためチャンネル数変換用トレランスは０度となり、再生位置は９０度のみである。一方、１１０度のチャンネルは、±３０度では８０度から１４０度までとなるが、チャンネル数変換用トレランスが横断面を超えないよう９０度でこれを打ち切り、結果としてチャンネル数変換用トレランスは９０度＜θ≦１４０度となる。

図２に戻り、ステップＳ１０４及びステップＳ１０５で決まったトレランスをもとに変換元チャンネルの再生位置を変更する。ただし、同じ層ににあった変換元チャンネルのうち、各変換先チャンネルの再生位置に変更するのは１チャンネルのみとし、残りのチャンネルは仮想音源で表現することとする。これは、同じ層にあった複数の変換元チャンネルの再生位置が同一の変換先チャンネルの再生位置に変更されることで、変換元チャンネル同士の相対位置関係が崩れ、コンテンツの制作者が意図した表現・演出が失われることを防ぐためである。

またこのとき、変更する再生位置に関しては、あらかじめ定められた位置、ユーザによって指定された位置、メタデータによって指定された位置、又は変換元チャンネル及び変換先チャンネルの名称若しくは位置の類似度に基づいた位置などの再生位置指定情報がある場合には、以下のトレランスによる再生位置の変更よりもこれを優先する。再生位置指定情報の例としては、画面横のチャンネルを指定することにより、画面サイズの変化に伴って、変換元チャンネルの再生位置が変更されることなどが考えられる。

まず、変換先チャンネルのトレランス内に、再生位置の定まっていない変換元チャンネルがある場合、この変換元チャンネルの再生位置を変換先チャンネルの再生位置に変更する。

次に、残る変換先チャンネルと、トレランス同士が重なっている、再生位置の定まっていない変換元チャンネルをその変換先チャンネルの再生位置に移動する。すなわち、変換先チャンネルのトレランス内に変換元チャンネルが入っていなくても、変換元チャンネルのトレランスと、変換先チャンネルのトレランスが重なっていればよい。

さらに、残る変換先チャンネルの再生位置に、残った中で最も近傍にある、再生位置の決まっていない変換元チャンネルの再生位置を変更する。ここで再生位置が変更されるのは、変換先チャンネルのトレランス上に、変換元チャンネルも変換元チャンネルのトレランスも重なっていない場合のみである。このステップが終了した時点で、変換先チャンネルの再生位置に一致していない変換元チャンネルは仮想音源で表現するチャンネルと決まる。正中面・横断面以外にある変換元チャンネルを仮想音源で表現すると決まる場合、その変換元チャンネルを挟むように存在する２つの変換先チャンネルの再生位置には、別の変換元チャンネルがそれぞれ再生位置を変更されてきているはずである。これにより、全ての変換元チャンネルの再生位置が決定される（ステップＳ１０６）。

なお、トレランスを元に第１の変換元チャンネルの再生位置の候補が複数存在する場合には、別の層上に存在する、方位角を０度から９０度ごとに前後左右に４分割した際に同じ分割範囲に属する第２の変換元チャンネルの再生位置に対して、方位角の差が最小である候補を選択するものとする。ただし、変換元チャンネルの再生位置の候補が複数存在し、別の層には判断基準となるチャンネルが存在しない場合には、その変換元チャンネルの代表位置と角度差が小さい位置にある候補を選択するものとする。

次に、変更した変換元チャンネルの再生位置と変換先チャンネルの再生位置に基づいて、変換元チャンネルから再生される変換元マルチチャンネル音響信号の分配係数を規定する（ステップＳ１０７）。２個の変換先チャンネルの再生位置に挟まれた変換元チャンネルは、該２個の変換先チャンネルに変換元マルチチャンネル音響信号を分配する。その際の係数を分配係数という。このとき、２個の変換先チャンネルの再生位置と変換元チャンネルの再生位置との位置関係（例えば、角度又は距離比）によって分配係数を規定する方法（位置モード）や、２個の変換先チャンネルの再生位置に挟まれる変換元チャンネルの数によって分配係数を規定する方法（数モード）などがある。

図８は、位置モードの場合の、分配係数の求め方の一例を説明する図である。位置モードでは、例えば、２個の変換先チャンネルのなす角（２θ_０）とその中心から変換元チャンネルのなす角（θ_１）によって、変換先チャンネルに配分する係数を算出する。係数の算出方法としては、Ｔａｎ則や非特許文献３に記載されたＶＢＡＰなどの方法があるが、その方法は問わない。例えば、式（３）により分配係数ｗ_Ｏ１，ｗ_Ｏ２を決定する。

一方、数モードの場合には、２つの変換先チャンネルの再生位置に挟まれる変換元チャンネルの数がｎ個である場合、分母をｎ＋１とし、分子を分配先の変換先チャンネルと逆側の変換先チャンネルから数えた変換元チャンネルの順番ｋとし、この分数の平方根である√（ｋ／（ｎ＋１））を分配係数とする。

図９は、数モードの場合の、チャンネル分配係数の求め方の一例を説明する図である。図９（ａ）に示すように、２つの変換先チャンネルＯ_１，Ｏ_２の再生位置に挟まれる変換元チャンネルの数が１個である場合、変換元チャンネルＩ_１は変換先チャンネルＯ_１，Ｏ_２にそれぞれ√（１／２）＝０．７０７の分配係数で割り振られる。

ここで、変換元チャンネルＩ_１が変換先チャンネルＯ_１，Ｏ_２のいずれか一方に極端に偏っている場合には、変換元チャンネルＩ_１と偏っていないほうの変換先チャンネルとの間に１個以上のダミーチャンネルを追加することで、２個以上の変換元チャンネルがある場合と同等の係数としてもよい。

図９（ｂ）に示すように、２つの変換先チャンネルＯ_１，Ｏ_２の再生位置に挟まれる変換元チャンネルの数が２個である場合、変換元チャンネルＩ_３は変換先チャンネルＯ_１，Ｏ_２にそれぞれ√（２／３）＝０．８１６（−１．７６ｄＢ）、√（１／３）＝０．５７７（−４．７７ｄＢ）の係数で割り振られる。なお、変換先チャンネルＩ_２の再生位置と変換元チャンネルＯ_１の再生位置のように両者の位置が一致している場合には、分配係数を１．００とし、再生位置が一致している変換先チャンネルに割り振る。

いずれの場合においても、エネルギーを保存させるため、音響信号の分配係数の自乗和が１となるように係数を規定しているが、この係数に対して、変換先マルチチャンネル音響信号同士の再生位置の角度による総エネルギーの補正係数、変換元マルチチャンネル音響信号と変換先マルチチャンネル音響信号のチャンネル再生位置の層が異なることによる総エネルギーの補正係数、変換元マルチチャンネル音響信号と変換先マルチチャンネル音響信号の再生位置の前後が異なることによる総エネルギーの補正係数、変換元マルチチャンネル音響信号同士の類似性による総エネルギーの補正係数のうち、少なくとも一つを乗じるようにしてもよい。本実施形態における変換元マルチチャンネル音響信号同士の類似性とは、同じ変換先チャンネルＣに分配される変換元チャンネルＡの音響信号と変換元チャンネルＢの音響信号の相関などであり、変換前のＡの音響信号とＢの音響信号のエネルギーの和と、変換後のＣの音響信号に含まれるＡの音響信号とＢの音響信号のエネルギーが等しくなるように補正係数を乗じることになる。

例えば、変換先のチャンネル同士の再生位置が近い場合など、変換先チャンネルの再生位置によっては、エネルギーを保存しない方が聞いた印象が保持されることがある。そこで、変換元のチャンネルを等分配する場合には−１．５ｄＢ（係数０．８４１）となり、片側に大きく分配する場合には−０．７５ｄＢ（係数０．９１７）となるように、補正係数を乗じてもよい。このとき、等分配するときの分配係数は−４．５ｄＢ（係数０．５９５（０．７０７×０．８４１））となり、変換先チャンネルＯ_１に大きく割り振る場合はＯ_１、Ｏ_２それぞれ−２．５ｄＢ（係数０．７４９（０．８１６×０．９１７））、−５．５ｄＢ（係数０．５３０（０．５７７×０．９１７））となる。この他、上層や下層の変換元チャンネルを中層の変換先チャンネルで再生する場合において、後方の変換元チャンネルを前方の変換先チャンネルで再生するときに、総エネルギーを−１．５ｄＢや−３．０ｄＢとするなどの補正係数を乗じてもよい。また、ＬＦＥ（低域効果音チャンネル）など相関が高い信号が含まれる可能性が高い複数の変換元チャンネルを同一の変換先チャンネルに統合する場合に、−３．０ｄＢ，−４．５ｄＢ，−６．０ｄＢなどの補正係数を乗じてもよい。

最後に、図２に示すように、各チャンネル数変換係数がある範囲に含まれる数値であった場合、代表値に置き換える丸め込みを行う（ステップＳ１０８）。出力信号生成部１４は、このようにして導出されたチャンネル数変換係数からなるチャンネル数変換係数行列を用いて、チャンネル数変換処理を行う。分配係数に、上述した補正係数の乗算や丸め込みを行ったものをチャンネル数変換係数という。

図１０に、音響信号の分配係数をデシベル表記したときにきりのよい数字となるように置き換える例を示す。例えば、√（１／２）＝√（３／６）＝０．７０７は０．１ｄＢ刻みで丸め込むと−３．０ｄＢに相当し、√（１／４）＝０．５００は−６.０ｄＢに相当する。このように代表値に置き換えることによって、精確な方向再現は失われるが、計算コストが軽くなると共に、変換先チャンネルの再生位置が少々異なっても同じ数値を使うことで汎用性が高くなる。

（実施例１）
次に、図２において、ステップＳ１０４を選択し、さらにステップＳ１０７において仮想音源で表現する変換元チャンネルの分配係数は２個の変換先チャンネルの再生位置に挟まれる変換元チャンネル数によって規定した場合（数モード）を実施例１として、実施例１に係る音響処理装置１の動作について説明する。

下記の表１〜５に、規格書で規定されているマルチチャンネル音響方式の一部を示す。実施例では、表１〜５に記載の音響方式を例にとり説明する。以下、「７．１ｃｈ（system C）」のように表記したものは、「規格書でSound system Cとして規定されている７．１ｃｈの音響方式」を意味する。７．１ｃｈ（system C）は中層５ｃｈに上層２ｃｈが組み合わさった音響方式であるのに対し、７．１ｃｈ（system I）は中層７ｃｈで上層のない音響方式である。

図１１は、実施例１に係る音響処理装置１によるチャンネル数変換係数を導出する手順を示すフローチャートである。ここでは、チャンネル数変換用トレランスを求める際に、規格書で規定されるスピーカ配置のトレランスを用いている（ステップＳ２０８とステップＳ２０９のうち、ステップＳ２０８を選択）。

まず、変換元と変換先のチャンネル数及びスピーカ配置（再生位置）を比較し、伝送されたチャンネル数変換係数があるか否かを判定する（ステップＳ２０１）。伝送されたチャンネル数変換係数がある場合には、このチャンネル数変換係数を用いるため、処理を終了する。次に、音響処理装置１の内部に保存されたチャンネル数変換係数があるか否かを判定する（ステップＳ２０２）。保存されたチャンネル数変換係数がある場合にも、この処理を終了する。

すなわち、チャンネル数変換係数は、他から事前に得られない場合に算出されるものであり、変換元マルチチャンネル音響信号と合わせて受信したチャンネル数変換係数や、音響処理装置１の内部に記憶されたチャンネル数変換係数がある場合には、それらがチャンネル数の変換に用いられる。

チャンネル数変換係数を導出するには、変換先チャンネルの再生位置を規格書で規定されている仰角方向の複数層に配置して考える。例えば、２２．２ｃｈ音響では下層、中層、上層の３層とし、７．１ｃｈ（system C）や９．１ｃｈ（system D）、１１．１ｃｈ（system J）では中層、上層の２層、７．１ｃｈ（system I）では中層のみの１層とする。ここで、１１．１ｃｈ（system J）などは、聴取者の耳の高さより上にある４つのチャンネルを天井（仰角４５以上）に設置することを想定する使用例もあり、上層の仰角（３０度）を超えている。しかしこの４チャンネルは仰角方向に＋３０度から＋５５度の範囲でトレランスを持ち、また他に聴取者の耳の高さより上にあるチャンネルも持たないため、方位角と同様にトレランスの考え方を用いて、上層（仰角３０度）にその再生位置を変更する。このように、規格化されていない方式の変換を考える場合などで、スピーカ配置の仰角方向に関しても再生位置が一致しないチャンネルがあっても、上記トレランスの考え方から、３層に変換することが可能である。なおここでは例として１１．１ｃｈ（system J）を用いたが、この方式は規格化されているため、本来はトレランスを用いた変換をするまでもなく上層のチャンネルが判明している。

その後、変換先チャンネルの各層を前後左右（横断面、正中面）４つの範囲に分割した範囲に変換先チャンネルの再生位置が存在しない場合には、隣接する層の変換先チャンネルの再生位置を当該層の再生位置と定める（ステップＳ２０３）。ただし、頭上（仰角９０度）といった１点のみで構成される層に関しては除外する。例えば、７．１ｃｈ（system C）では、変換先チャンネルの配置の上層後方にチャンネルがないため、中層の後方チャンネルが上層の再生にも用いられる。また９．１ｃｈ音響（system D）、１１．１ｃｈ（system J）音響は下層を持たないため、変換元チャンネルが下層のチャンネルを持つ場合には、それらのチャンネルの再生には中層を用いる。

頭上（仰角９０度）といった1点のみの層に関して、変換先チャンネルに再生位置が存在しない場合には、前後左右４範囲の変換先チャンネルのうち、それぞれ４隅（方位角４５度と１３５度）の基準点となる変換先チャンネルの再生位置各１点を使用する（ステップＳ２０４）。例えば、２２．２ｃｈ音響の頭上（仰角９０度）にあるＴｐＣは、変換先である７．１ｃｈ（system C）や９．１ｃｈ（system D）、１１．１ｃｈ（system J）音響に再生位置を持たない。よって変換先のそれぞれ４隅（方位角４５度と１３５度）付近にある変換先チャンネルの再生位置を利用することになり、９．１ｃｈ（system D）や１１．１ｃｈ（system J）音響では上層の４チャンネル、７．１ｃｈ（system J）では上層の２チャンネル及び中層後方の２チャンネルに分配する。

次に、変換元チャンネルの再生位置を規格書で規定されている仰角方向の複数層上に配置する（ステップＳ２０５）。

再生位置の決定方法は、まず、変換元・変換先で同じ位置にチャンネルが存在する場合は、当該変換元チャンネルの再生位置をその位置に定める（ステップＳ２０６）。例えば、１１．１ｃｈ（system J）から７．１ｃｈ（system C）、あるいは９．１ｃｈ（system D）へ変換する場合、変換先である７．１ｃｈ（system C）、９．１ｃｈ（system D）では、中層の方位角０度（Ｍ＋０００）及び±３０度（Ｍ＋０３０、Ｍ−０３０）にあるチャンネルの再生位置がそのままの位置と定まる。

次に、正中面、横断面上にある変換元チャンネル（０度，±９０度，１８０度）の再生位置をそのままの位置に定める（ステップＳ２０７）。これは、変換先チャンネルの再生位置が正中面・横断面上にないときもこれを適用する。例えば、１１．１ｃｈ（system J）から７．１ｃｈ（system C）、あるいは９．１ｃｈ（system D）へ変換する場合、変換元である１１．１ｃｈ（system J）は横断面上に方位角±９０度のチャンネルを持つが、変換先である７．１ｃｈ（system C）、９．１ｃｈ（system D）は横断面上にチャンネルを持たない。その場合であっても、±９０度（Ｍ±０９０）の変換元チャンネルの再生位置はそのまま±９０度（Ｍ±０９０）と定める（ステップＳ２０８）。すなわち、この±９０度の変換元チャンネルは仮想音源で表現することが決まる。

再生位置が定まっていない変換元チャンネルは、チャンネル数変換のためのトレランスをもとにその再生位置を変更する。実施例１では正中面・横断面上のチャンネルを除き、上記の表１から表５に記載のスピーカ配置のトレランス（表中では「Range」）を用いる。例えば、７．１ｃｈ（system I）や１１．１ｃｈ（system J）では、方位角＋９０度のＬｓｓチャンネルを再生するスピーカ配置のトレランス（Range）は＋８５度〜＋１１０度になっているが、Cチャンネルのトレランス（Range）が０度のみとなっているのと同様、Ｌｓｓチャンネルのチャンネル数変換用トレランスは＋９０度のみとなる。チャンネル数変換用トレランスはこのように、チャンネル数変換係数を算出する一連の流れの中で求めてもよいし、規格書で規定されているスピーカ配置をもとに、事前に求められ記憶されていた値を用いてもよい。

定まったチャンネル数変換用トレランスをもとに、変換元チャンネルの再生位置を変更していく。ここで、再生位置指定情報がある場合には、トレランスを用いた再生位置の変更よりも優先してこれを処理する（ステップＳ２１０）。例えば、画面の両端に対応するチャンネルの示す情報を再生位置指定情報とする場合、位置情報とは関係なく、変換元の画面の両端に対応するチャンネルの再生位置をそれぞれ、変換先の画面の両端に対応するチャンネルの再生位置に変更する。これは、２２．２ｃｈ音響のような大画面の映像と組み合わせることが想定される音響方式を変換元チャンネルとしたときなどに、変換元の画面の端にあたるチャンネルが方位角±６０度（Ｍ±０６０）にある、というケースが主に考えられる。

トレランスをもとに変換元チャンネルの再生位置を変更していくにはまず、変換先チャンネルのトレランス内に再生位置の定まっていない変換元チャンネルがある場合、この変換元チャンネルの再生位置を変換先チャンネルの再生位置に変更する（ステップＳ２１１）。例えば、１１．１ｃｈ（system J）から９．１ｃｈ（system D）へ変換する場合、変換先である９．１ｃｈ（system D）の上層のチャンネルのうち、方位角±３０度のチャンネル（Ｌｔｆ，Ｒｔｆ／Ｕ±０３０）は３０度〜４５度に、方位角±１１０度のチャンネル（Ｌｔｒ，Ｒｔｒ／Ｕ±１１０度）は１００度から１３５度にトレランスを持つため、変換元である９．１ｃｈ（system D）の上層の方位角±４５度のチャンネル（Ｌｔｆ，Ｒｔｆ／Ｕ±０４５）と±１３５度のチャンネル（Ｌｔｂ，Ｒｔｂ／Ｕ±１３５）の再生位置をそれぞれ方位角±３０度（Ｕ±０３０度、±１１０度（Ｕ±１１０）の位置に変更する。

次に、残る変換先チャンネルと、チャンネル数変換用トレランス同士が重なっている、再生位置の定まっていない変換元チャンネルをその変換先チャンネルの再生位置に移動する（ステップＳ２１２）。例えば、１１．１ｃｈ（system J）から７．１ｃｈ（system C）へ変換する場合、変換先である７．１ｃｈ（system C）の中層にある方位角±１１０度のチャンネル（Ｌｓ，Ｒｓ／Ｍ±１１０）のトレランス（１００度から１２０度）内には、変換元である１１．１ｃｈ（system J）のチャンネルは存在しない。しかし、１１．１ｃｈ（system J）の中層にある方位角±１３５度のチャンネル（Ｌｒｓ、Ｒｒｓ／Ｍ±１３５）は１２０度から１３５度のトレランスを持ち、変換元と変換先のトレランス同士には重複がある。よって、変換元である１１．１ｃｈ（system J）の中層±１３５度のチャンネル（Ｌｒｓ，Ｒｒｓ／Ｍ±１３５）の再生位置を±１１０度（Ｍ±１１０）の位置に変更する。この時、１１．１ｃｈ（system J）の中層にある方位角±９０度のチャンネル（Ｌｓｓ，Ｒｓｓ／Ｍ±０９０）は、チャンネル数変換用トレランスが０、すなわち再生位置は９０度のみとなっているため、再生位置を±１１０度（Ｍ±１１０）の位置に変更する候補にはなり得ない。

さらに、残る変換先チャンネルの再生位置に、残った中で最も近傍にある、再生位置の定まっていない変換元チャンネルの再生位置を変更する（ステップＳ２１３）。ここで再生位置が変更されるのは、変換先チャンネルのトレランス上に、変換元チャンネルも変換元チャンネルのトレランスも重なっていない場合のみである。これが起こり得るのは例えば、２２．２ｃｈ（system H）から９．１ｃｈ（system D）へ変換する場合などで、変換元である２２．２ｃｈ（system H）の下層±４５度のチャンネル（ＢｔＦＬ，ＢｔＦＲ／Ｂ±０４５）は４５度から６０度のトレランスを持つ一方、変換先である９．１ｃｈ（system D）の中層±３０度のチャンネル（Ｍ±０３０）はトレランスを持たず再生位置は３０度のみである。変換先の９．１ｃｈ（system D）は下層を持たないために中層のチャンネルで表現することになるが、この変換元・変換先チャンネルはトレランスが重ならない。しかし、変換元で下層にあったチャンネルの中で、この時点では変換先で中層±３０度（Ｍ±０３０）に再生位置を変更しているチャンネルはないため、変換先中層±３０度（Ｍ±０３０）のチャンネルから最も近傍にある変換元下層±４５度（Ｂ±０４５）のチャンネルの再生位置を±３０度（Ｍ±０３０）に変更する。

なお、トレランスをもとに再生位置を変更するにあたり、変換先チャンネルのスピーカ数が多く、前後左右に４分割したうちの一つの範囲に変換先チャンネルが複数存在する場合などには、変換元チャンネルの再生位置の候補が複数存在する可能性がある。その場合には、その変換元チャンネルの代表位置と方位角の差が最小である変換先チャンネルの再生位置に変更してもよい。ただし、変換元チャンネルの再生位置の候補が複数存在し、かつ別の層の同じ方位角にあった変換元チャンネルの再生位置が一意に決まる場合、その別の層上に存在する変換元チャンネルの再生位置と同じ方位角に、再生位置を移動する（ステップＳ２１１〜Ｓ２１３）。

このステップが終了した時点で再生位置が定まっていない変換元チャンネルは仮想音源で表現すると決まる。これにより、全ての変換元チャンネルの再生位置が決定される。

各変換元チャンネルの再生位置が定まったところで、仮想音源で表現されると定まった変換元マルチチャンネル音響信号の分配係数を規定する（ステップＳ２１４）。実施例では、２個の変換先チャンネルの再生位置に挟まれる変換元チャンネルの数によって分配係数を規定する方法（数モード）を用いた。この方法は、変換元チャンネルを再生する変換先チャンネルの間に均等に配置し直すことに等しく、これにより各チャンネルの識別性が向上する。また、変換元チャンネルのエネルギーと変換先チャンネルのエネルギーを一致させるよう、音響信号の分配係数の自乗和が１となるように係数を規定している。

本手法で得られた真数値を、デシベル表記した際にきりのよい値となるよう丸め込みを行ってもよい（ステップＳ２１４）。例えば、ＭＰＥＧ−４ＡＡＣで２２．２ｃｈの音声信号を伝送する場合は１．５ｄＢ刻みの値を用いるため、１／√２は−３ｄＢ、１／√３は−４．５ｄＢ、√（２／３）は−１．５ｄＢに丸め込む。デシベル表記した際の丸め込みの度合いにより、本手法の計算によって得られた真数値、あるいは例示した丸め込み例の値とは完全には一致しなくなることが考えられるが、例えば±０．０５程度の範囲のような、ある程度の数値のズレは本式に規定する関係に含まれるものとする。

下記の表７から表１８に、７．１ｃｈ（system C）、９．１ｃｈ（system D）、７．１ｃｈ（system I）、及び１１．１ｃｈ（system J）の４つの音響方式間でチャンネル数変換係数の例を示す。表６は、その変換係数表が表す変換元と変換先の音響方式の対応表である。

（実施例２）
次に、図１１において、チャンネル数変換用トレランスを用いることを選択し（ステップＳ２０９）、さらに仮想音源で表現する変換元マルチチャンネル音響信号の分配係数は２個の変換先チャンネルの再生位置に挟まれる変換元チャンネル数によって規定すること選択した場合を実施例２として、実施例２に係る音響処理装置１の動作について説明する。チャンネル数変換用トレランスには、前述の標準トレランスとして一律±３０度（ただし、正中面・横断面上のチャンネルを除く。）を用いる。

図１２は、ステップＳ２０９において、チャンネルス変換用トレランスを求める手順を示すフローチャートである。チャンネル数変換用トレランスを求めるところまでは実施例１と同じなので省略する。チャンネル数変換用トレランスを求めるにはまず、変換元・変換先の正中面・横断面上の各チャンネルのトレランスを０度、すなわちそれぞれ方位角０度、±９０度、１８０度のみを再生位置とすることを規定する（ステップＳ３０１）。次に、正中面・横断面以外の各チャンネルに一律で±３０度のトレランスを与える（ステップＳ３０２）。ただし、与えたトレランスが正中面・横断面を超えないよう、正中面・横断面に到達したところでこれを打ち切る（ステップＳ３０３）。例えば、１１．１ｃｈ（system J）の中層後方の±１３５度（Ｍ±１３５）のチャンネルのチャンネル数変換用トレランスは、±３０度を与えられ、１０５度≦θ≦１６５度となるが、９．１ｃｈ（system D）のチャンネル数変換用トレランスは横断面で打ち切られ、９０度＜θ≦１４０度となる。

求まったトレランスをもとに、実施例１と同様にして変換元チャンネルの再生位置を変更、分配係数を規定していく。±３０度のトレランスを与えると、多くの場合は変換先チャンネルのチャンネル数変換用トレランスの内側に変換元チャンネルが来ることになるが、前後左右に４分割したうちの一つの範囲に変換先チャンネルが複数存在する場合などはチャンネル数変換用トレランスが重複する範囲が出てくる可能性がある。このチャンネル数変換用トレランスが重複する範囲に変換元チャンネルが存在するなど、変換元チャンネルの再生位置の候補が複数存在する場合には、その変換元チャンネルの代表位置と方位角の差が最小である変換先チャンネルの再生位置に変更する。ただし、変換元チャンネルの再生位置の候補が複数存在し、かつ別の層の同じ方位角にあった変換元チャンネルの再生位置が一意に決まる場合、その別の層上に存在する変換元チャンネルの再生位置と同じ方位角に、再生位置を移動する。

例えば、９．１ｃｈ（system D）の中層後方に、±１５０度のチャンネルが追加された音響方式に変換することを仮定した場合に、変換先チャンネルの中層後方のチャンネルは、９０度＜θ≦１４０度のチャンネル数変換用トレランスを持つチャンネルと、１２０度≦θ＜１８０度のチャンネル数変換用トレランスを持つチャンネルが存在し、１２０度≦θ≦１４０度の範囲でチャンネル数変換用トレランスが重複する。この音響方式に対し、７．１ｃｈ（system I）のように変換元チャンネルの中層に方位角±１３５度（Ｍ±１３５）のチャンネルが存在した場合、より角度差の小さい±１５０度の変換先チャンネルの位置に再生位置が変更される。ただし、この変換元が１１．１ｃｈ（system J）であって上層にも方位角±１３５度（Ｕ±１３５）のチャンネルが存在した場合、上層では±１３５度（Ｕ±１３５）の変換元チャンネルが±１１０度（Ｕ±１１０）の変換先チャンネルの再生位置に移動しているため、中層の±１３５度（Ｍ±１３５）の変換元チャンネルも、より近傍にある±１５０度の変換先チャンネルではなく、±１１０度（Ｍ±１１０）の変換先チャンネルの再生位置に移動する。

チャンネル数変換用トレランスを用いた場合も、７．１ｃｈ（system C）、９．１ｃｈ（system D）、７．１ｃｈ（system I）、及び１１．１ｃｈ（system J）の４つの音響方式間におけるチャンネル数変換係数は、実施例１で算出した表７〜１８に一致する。このように、このチャンネル数変換用トレランスの取り方を変えてもチャンネル数変換係数は同じ値になることが多く、特に規格書に記載されている音響方式間の変換係数は同一のものとなる。

このように、現在提案されている多くの音響方式では、トレランスを用いた考え方により一意にその再生位置を変更することができる。しかし、ごく一部の音響方式においては、トレランスを元に変換元チャンネルの再生位置を変更する際に、再生位置を変更する候補が複数存在する場合がある。本発明では、その候補が複数存在する場合であっても、別の層の近傍にあった別の変換元チャンネルの再生位置を参照して、その複数の候補の中から一つの候補を決定し、当該変換元チャンネルの再生位置を一意に定めることができるようになっている。

例えば、ＩＳＯ／ＩＥＣ２３００８に規定されているChannel Configuration 18（以下、「ＣＣ１８」という。）と呼ばれる１３．１ｃｈの音響方式は、中層７ｃｈ（Ｍ±０３０、Ｍ＋０００、Ｍ±１１０、Ｍ±１５０）、上層６ｃｈ（Ｕ±０３０、Ｕ＋０００、Ｕ±１１０、Ｔ＋０００／仰角９０度のチャンネル）、低域専用チャンネル１ｃｈで構成されている。１１．１ｃｈ（system J）からこのＣＣ１８に変換することを例にとり、再生位置を変更する候補が複数存在する場合の処理例を説明する。

チャンネル数変換用トレランスに前述の一律±３０度（ただし、正中面・横断面上のチャンネルを除く。）を用いると、変換先であるＣＣ１８は中層後方にＭ±１１０（チャンネル数変換用トレランスは９０度＜θ≦１４０度）とＭ±１５０（チャンネル数変換用トレランスは１２０度≦θ＜１８０度）の２つのチャンネルを持ち、１１．１ｃｈ（system J）の中層後方であるＭ±１３５のチャンネルはこの両方のチャンネル数変換用トレランス内に入っているため、再生位置を変更する候補が２つ存在することになる。ここで、より代表値がＭ±１３５に近い位置にあるのはＭ±１５０のチャンネルだが、別の層を参照することで、より適切な再生位置に変更することが可能である。

別の層で変換元チャンネルＭ±１３５と最も近傍にある変換元チャンネルはＵ±１３５である。この変換先であるＣＣ１８は、上層後方にはＵ±１１０（チャンネル数変換用トレランスは９０度＜θ≦１４０度）しかチャンネルを持たず、変換元チャンネルＵ±１３５は変換先チャンネルＵ±１１０はそのチャンネル数変換用トレランス内にあるため、その再生位置をＵ±１３５からＵ±１１０に変換することが一意に定まる。よって、中層の同じ位置にあった変換元チャンネルＭ±１３５も、再生位置を変換するのはＭ±１１０とＭ±１５０の二つの候補のうち、Ｍ±１１０の位置と定まる。このように、再生位置を変更する候補が複数存在するときに別の層を参照することにより、変換元チャンネル同士の相対的な位置関係をより保って変換することができる。各変換元チャンネル単体で再生位置を決定していくと、上記の例では中層がＭ±１５０、上層がＵ±１１０の位置に再生位置が変更され、もともと上下一列にそろっていた変換元チャンネルＭ±１３５、Ｕ±１３５の相対的な位置関係を崩すような変換が行われかねない。

上記の例では複数の変換先チャンネルのトレランスの中に変換元チャンネルが存在していたが、図１１に示すように、別の層を参照してより適切な再生位置を決定する方法は、トレランス同士の重複をもととした変換、最寄りの位置にある変換先チャンネルに再生位置を変換する変換などの段階でも同様の考え方をすることができる。すなわち、再生位置を変更する候補が複数存在する場合とは、複数の変換先チャンネルのトレランスが重複する範囲の中に変換元チャンネルが存在する場合、変換先トレランスの中には変換元チャンネルは存在しないものの、変換元チャンネルのトレランスと重複する変換先チャンネルのトレランスが複数存在する場合、又は変換元チャンネルのトレランスと変換先チャンネルのトレランスは重ならないものの、変換元チャンネルの両側に複数の変換先チャンネルが存在し、かつそれらの変換先チャンネルの位置にまだ再生位置を変更した変換元チャンネルが存在しない場合のいずれかとなる。

以上、音響処理装置１について説明したが、音響処理装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、音響処理装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

本発明のチャンネル数変換係数の導出手法によれば、以下の効果を有する。第１に、任意のチャンネル数、チャンネル配置に対応することができる。すなわち、本導出手法は、変換元チャンネルの再生位置を適切に変更することで、変換元チャンネルの左右前方・左右後方の特徴的なチャンネルの聞こえる方向を規定した上で、仮想音源を用いることによる音色や音像の劣化を抑え、全体としての印象の変化を小さくすることができる。

第２に、変換元フォーマットとの印象（音色）の劣化を抑えることができる。すなわち、正中面・横断面以外の位置に、再生位置が一致する変換元チャンネルを持たない変換先チャンネルがある場合、近傍にある変換先のチャンネルの再生位置に、変換元チャンネルの再生位置を変更することにより、仮想音源の数の増加による全体的な印象の劣化を抑えることができる。

第３に、多くの音響フォーマットにおいて方向感の基準となる、前方左右・後方左右のチャンネルの組み合わせを保つことができる。すなわち、変換元の正中面・横断面上のチャンネルの再生位置を固定し、変換先の正中面・横断面以外の位置に再生位置を変更させないようにすることができる。また、チャンネル数変換用トレランスを正中面・横断面で打ち切ることで、相互との各変換元チャンネルの相対位置を保つことができ、方向感の維持に有利に働く。

第４に、変換元チャンネルにおける上下方向の位置関係を保持することができる。すなわち、変換元チャンネルの複数の変換先チャンネルのトレランスが重複する範囲の中に変換元チャンネルが存在するときなどの再生位置を変更する候補が複数存在する際に、別の層の同じ位置にあった変換元チャンネルの再生位置を参照することで、チャンネル数変換により、別々の層で同じ方位角にあった複数の変換元チャンネルの相対的な位置関係が崩れることを防ぐことができる。

第５に、変換元フォーマットの表現・演出を大きく損なわないでチャンネル数変換を実現することができる。すなわち、同じ高さ（層）にあった変換元チャンネルのうち、各変換先チャンネルの再生位置に変更するのは１チャンネルのみとし、残りのチャンネルは仮想音源で表現することにより、３次元マルチチャンネル音響ならではの表現・演出を大きく損なわないようにすることが可能となる。また、仮想音源で表現する変換元チャンネルを、その再生位置を挟む２つの変換先チャンネルの間に均等に配置しなおすことにより、各変換元チャンネルの方向を識別することが容易となる。

第６に、チャンネル数変換係数に利用しやすい数値を用いることができる。すなわち、本手法によって計算されたチャンネル数変換係数を実際に用いるにあたっては、その簡便さから導かれた分配係数をデシベル表記した際にきりのよい値となるようあらかじめ置き換えることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１音響処理装置
１１変換チャンネル再生位置決定部
１２チャンネル数変換係数決定部
１３チャンネル数変換係数行列記憶部
１４出力信号生成部

Claims

マルチチャンネル音響信号のチャンネル数及びチャンネル配置を変換する音響処理装置であって、
変換元マルチチャンネル音響信号の再生位置を、あらかじめ定められた上下方向の単一又は複数の層上におけるスピーカ配置位置に基づいて決定する変換チャンネル再生位置決定部と、
変換先マルチチャンネル音響信号の再生位置と、前記変換チャンネル再生位置決定部により決定された前記変換元マルチチャンネル音響信号の再生位置とに基づいて、チャンネル数変換係数を決定するチャンネル数変換係数決定部と、
前記チャンネル数変換係数決定部により決定されたチャンネル数変換係数を各要素とするチャンネル数変換係数行列を用いて、前記変換元マルチチャンネル音響信号から前記変換先マルチチャンネル音響信号を生成する出力信号生成部と、
を備えることを特徴とする音響処理装置。
前記変換チャンネル再生位置決定部は、前記変換先マルチチャンネル音響信号の再生位置が規定されている上下方向の複数層をさらに方位角方向の複数の範囲に分割したときに、変換先マルチチャンネル音響信号の再生位置が存在しない再生位置欠落範囲を含む再生位置欠落層については、該再生位置欠落層に最も近い層の前記再生位置欠落範囲に対応する範囲に存在する変換先マルチチャンネル音響信号の再生位置を、仮想的に前記再生位置欠落範囲の変換先マルチチャンネル音響信号の再生位置とすることを特徴とする、請求項１に記載の音響処理装置。
前記変換チャンネル再生位置決定部は、前記変換元マルチチャンネル音響信号の再生位置を、前記変換元マルチチャンネル音響信号及び前記変換先マルチチャンネル音響信号の各チャンネルのチャンネル数変換のためのトレランスを元に決定することを特徴とする、請求項１又は２に記載の音響処理装置。
前記変換チャンネル再生位置決定部は、前記トレランスとして、標準化団体が定める規格書に規定されているトレランス、チャンネルごとに規定されたトレランス、チャンネル再生位置の方位角に対して一定の規則に従って定められたトレランス、ユーザによって指定されたトレランス、メタデータによって指定されたトレランス、又は変換元チャンネル及び変換先チャンネルの名称若しくは位置の類似度に基づいて決定されるトレランスのいずれかを採用することを特徴とする、請求項３に記載の音響処理装置。
前記変換チャンネル再生位置決定部は、前記採用したトレランスについて、前記層上の方位角が０度、±９０度、及び１８０度の位置に規定される前記スピーカ配置位置においては前記トレランスを０度に変更することを特徴とする、請求項４記載の音響処理装置。
前記変換チャンネル再生位置決定部は、第１の変換元マルチチャンネル音響信号の再生位置の候補が複数存在する場合には、別の層上に存在する、方位角を前後左右に４分割した際に同じ分割範囲に属する第２の変換元チャンネルの再生位置に対して、方位角の差が最小である候補を選択することを特徴とする、請求項３に記載の音響処理装置。
前記スピーカ配置位置は、標準化団体が定める規格書に規定されているものであることを特徴とする、請求項１から６のいずれか一項に記載の音響処理装置。
コンピュータを、請求項１から７のいずれか一項に記載の音響処理装置として機能させるためのプログラム。