JP2017212547A - チャンネル数変換装置およびそのプログラム - Google Patents

Abstract

【課題】再生環境のスピーカ配置に応じたダウンミックス係数を算出するチャンネル数変換装置を提供する。【解決手段】チャンネル数変換装置は、第一ダウンミックス係数を用いてマルチチャネル音響信号から所望の第一ダウンミックス信号を算出し、第二ダウンミックス係数を用いて第一ダウンミックス信号から参照信号と同じチャンネル数の第二ダウンミックス信号を算出するダウンミックス信号算出部と、第二ダウンミックス信号と参照信号との差分を算出する差分信号算出部と、差分信号算出部が算出した差分が、最小または所定の閾値以下となるように、第一ダウンミックス係数および第二ダウンミックス係数を更新するダウンミックス係数更新部と、を備える。【選択図】図１

Description

本発明は、マルチチャンネルの音響信号から再生環境に応じた再生用音響信号を生成するチャンネル数変換装置およびプログラムに関する。

現在、２２．２ｃｈなどのマルチチャンネル音響放送（非特許文献１）の実用化が進められている。また、近年、５．１ｃｈなどのマルチチャンネル音響システムが家庭等でも広がりつつある。しかし、家庭等の音響システムは、２２．２ｃｈより少ないチャンネル数でのみ再生可能なシステムである場合が多いと想定される。一般に所定の数のチャンネル数で制作された番組の音響信号を、制作時よりも少ないチャンネル数で再生する場合、ダウンミックスと呼ばれるチャンネル数変換処理が行われる。ダウンミックスとは、制作時の音響信号の各チャンネルの信号にダウンミックス係数を乗じて加算することで、再生時のチャンネル数に応じた音響信号を算出する処理である。ダウンミックス係数は、規格において予め定められている場合がある（例えば、非特許文献２）。例えば、５．１ｃｈサラウンド（Ｌ，Ｒ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓの６チャンネル）からステレオ２ｃｈ（Ｌｔ, Ｒｔの２チャンネル）へのダウンミックス係数は、ＡＲＩＢ ＳＴＤ−Ｂ３２に以下のように規定されている。

ここで、サラウンドチャンネル（Ｌｓ，Ｒｓ）のレベルを規定する係数ｋには以下の値が用いられる。

また、メタデータが伝送されない場合、デジタルテレビ受信機では、係数ｋに以下の値が用いられる。

また、放送では、番組ごとにメタデータを添付することで、番組内容に合わせて異なるダウンミックス係数を指定することが可能である。

なお、近年、家庭やシアター等で利用される音響システムには、オブジェクトベース音響方式が採用されることも多い。オブジェクトベース音響方式では、様々なスピーカ配置が採用されており、再生環境は多様化している。

「デジタル放送における映像符号化、音声符号化及び多重化方式 標準規格 VIDEO CODING, AUDIO CODING AND MULTIPLEXING SPECIFICATIONS FOR DIGITAL BROADCASTING ARIB STANDARD ARIB STD-B32 3.6版」，平成２８年（２０１６年）３月２５日，一般社団法人電波産業会 勧告 ITU-R BS.775-3、「Multichannel stereophonic sound system with and without accompanying picture」、インターネット＜URL:https://www.itu.int/rec/R-REC-BS.775-3-201208-I/en＞

上記のとおり、４Ｋ／８Ｋ放送の２２．２ｃｈなど、５．１ｃｈを上回るチャンネル数のマルチチャンネル音響放送が提案されている。しかし、家庭では、２２．２ｃｈに対応するスピーカ数を所定のスピーカ位置に設置することができず、番組制作時に想定した数よりも少ないスピーカ数で再生される場合も多い。その場合、ダウンミックスが必要となるが、スピーカ数とその配置は、メーカーの製品の仕様に依存しており、全てのスピーカ配置に対するダウンミックス係数を規定するのは現実的ではない。また、ドキュメンタリーや音楽番組など番組によって最適なダウンミックス係数が異なる可能性があり、同じスピーカ配置であっても、番組ごとにスピーカ数、スピーカ配置に応じた適切なダウンミックス係数を規定することが望ましい。このような中、マルチチャンネル音響信号を、再生環境（スピーカ数、配置）や番組内容に応じて、最適にダウンミックスする技術に対するニーズが存在する。

そこでこの発明は、上述の課題を解決することのできるチャンネル数変換装置およびそのプログラムを提供することを目的としている。

本発明の一態様によれば、チャンネル数変換装置は、第一ダウンミックス係数を用いてマルチチャネル音響信号から所望の第一ダウンミックス信号を算出し、第二ダウンミックス係数を用いて前記第一ダウンミックス信号から参照信号と同じチャンネル数の第二ダウンミックス信号を算出するダウンミックス信号算出部と、前記第二ダウンミックス信号と参照信号との差分を算出する差分信号算出部と、前記差分信号算出部が算出した差分が、最小または所定の閾値以下となるように、前記第一ダウンミックス係数および前記第二ダウンミックス係数を更新するダウンミックス係数更新部と、を備える。

本発明の一態様によれば、前記チャンネル数変換装置は、前記マルチチャネル音響信号を所定のダウンミックス係数を用いてダウンミックスし、前記参照信号を算出する参照信号算出部、をさらに備えてもよい。

本発明の一態様によれば、前記ダウンミックス係数更新部は、前記第二ダウンミックス係数を固定して、前記第一ダウンミックス係数のみを更新してもよい。

本発明の一態様によれば、前記チャンネル数変換装置は、前記第一ダウンミックス係数の初期値と前記第二ダウンミックス係数の初期値とのうち少なくとも一方を記憶するダウンミックス係数記憶部、をさらに備えてもよい。

本発明の一態様によれば、前記ダウンミックス係数記憶部は、前記マルチチャネル音響信号に含まれる各チャンネルの音響信号の再生位置と前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置関係に基づいて定められた初期値を有する前記第一ダウンミックス係数を記憶してもよい。

本発明の一態様によれば、前記ダウンミックス係数記憶部は、前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置と前記第二ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置関係に基づいて定められた初期値を有する前記第二ダウンミックス係数を記憶してもよい。

本発明の一態様によれば、前記ダウンミックス係数更新部は、前記マルチチャネル音響信号に含まれる各チャンネルの音響信号の再生位置と前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置の類似度によって定められた拘束条件に基づいて、前記第一ダウンミックス係数を更新してもよい。

本発明の一態様によれば、前記ダウンミックス係数更新部は、前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置と前記第二ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置の類似度によって定められた拘束条件に基づいて、前記第二ダウンミックス係数を更新してもよい。

本発明の一態様によれば、前記ダウンミックス係数更新部は、前記位置の類似度が最も高いチャンネル間のダウンミックス係数の値が最大となることを拘束条件として、前記第一ダウンミックス係数および第二ダウンミックス係数を更新してもよい。

本発明の一態様によれば、コンピュータを、上記の何れか１つに記載のチャンネル数変換装置、として機能させるためのプログラムである。

本発明のチャンネル数変換装置によれば、再生環境（スピーカ数、スピーカ配置）に応じたダウンミックス係数を番組ごとに算出することができる。

本発明に係る第一実施形態におけるチャンネル数変換装置の一例を示すブロック図である。 本発明に係る第一実施形態におけるダウンミックス係数の一例を示す第一の図である。 本発明に係る第一実施形態における同一平面のチャンネル配置の一例を示す第一の図である 本発明に係る第一実施形態における同一平面のチャンネル配置の一例を示す第二の図である。 本発明に係る第一実施形態における上層があるチャンネル配置の一例を示す図である。 本発明に係る第一実施形態におけるダウンミックス係数の一例を示す第二の図である。 本発明に係る第一実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。 本発明に係る第二実施形態におけるチャンネル数変換装置の一例を示すブロック図である。 本発明に係る第二実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。

＜第一実施形態＞
以下、本発明の第一実施形態によるチャンネル数変換装置を図１〜図７を参照して説明する。
図１は、本発明に係る第一実施形態におけるチャンネル数変換装置の一例を示すブロック図である。
図１に示すようにチャンネル数変換装置１０は、マルチチャンネル音響信号入力部１１と、参照信号入力部１２と、スピーカ位置情報入力部１３と、ダウンミックス信号算出部１４と、差分信号算出部１５と、ダウンミックス係数更新部１６と、ダウンミックス係数記憶部１７と、を備えている。
チャンネル数変換装置１０は、所定のマルチチャンネル音響信号（Ｎチャンネル）を、そのマルチチャンネル音響信号のチャンネル数よりも少ないチャンネル数の音響信号（以下、参照信号と呼ぶ）（Ｓチャンネル）と、マルチチャンネル音響信号のスピーカ位置の情報と、ダウンミックス先のスピーカ位置の情報とに基づいて、所望のチャンネル数の再生用ダウンミックス音響信号（Ｍチャンネル）に変換する装置である。

以下、所定のマルチチャンネル音響信号として４ｋ／８Ｋの２２．２ｃｈ音響システム、参照信号としてステレオ２ｃｈ、再生音響信号を７．１ｃｈの場合を例に説明を行う。しかし、マルチチャンネル音響信号、参照信号、ダウンミックス信号の各チャンネル数は、この例の数に限らない。また、チャンネル数変換装置１０は、コンピュータによって構成されており、例えば、テレビなどの放送受信機やホームシアターなどのメディアの再生装置に組み込まれていてもよい。
図１は、チャンネル数変換装置１０にマルチチャンネル音響信号と参照信号を入力し、ダウンミックス信号を出力する構成を示す。チャンネル数変換装置１０が出力するダウンミックス信号は、例えば、再生装置に接続したスピーカ等から出力される。このとき、チャンネル数変換装置１０は、入力したマルチチャンネル音響信号が作成されたときのスピーカ数およびスピーカ配置によって出力されたときに聴取者が感じる音の印象を、なるべく再現できるようなダウンミックス信号を生成する。チャンネル数変換装置１０は、そのようなダウンミックス信号を生成するために、再生環境におけるスピーカの数およびスピーカ配置に応じた適切なダウンミックス係数を算出する。

マルチチャンネル音響信号入力部１１は、マルチチャンネル音響信号を入力する。ここで、マルチチャンネル音響信号は、例えば、放送局から送出された２２．２ｃｈのマルチチャンネル音響信号とする。
参照信号入力部１２は、参照信号を入力する。参照信号は、所望のダウンミックス信号のチャンネル数よりも少ないチャンネル数で制作されたマルチチャンネル音響信号と同一内容の音響信号であり、元のマルチチャンネル音響信号と別途入力される音響信号である。ここで、参照信号は、例えば、マルチチャンネル音響信号と同時に放送されたステレオ２ｃｈの音声信号である。また、参照信号は、所定のダウンミックス係数に基づいてマルチチャンネル音響信号からダウンミックスして生成された参照信号であってもよい。

スピーカ位置情報入力部１３は、マルチチャンネル音響信号の作成時において、そのマルチチャンネル音響信号に対して定められた複数のスピーカそれぞれの位置情報を取得する。また、スピーカ位置情報入力部１３は、ダウンミックス信号の再生環境における一つまたは複数のスピーカそれぞれの位置情報を取得する。ここで、スピーカ位置情報は、例えば、座標情報、極座標情報として与えられる。

ダウンミックス信号算出部１４は、第一ダウンミックス信号算出部１４１と、第二ダウンミックス信号算出部１４２と、を含む。第一ダウンミックス信号算出部１４１は、後述するダウンミックス係数記憶部１７が記憶する第一ダウンミックス係数（Ｍ×Ｎ）を用いて、チャンネル数Ｎのマルチチャネル音響信号（Ｎ）から所望のチャンネル数Ｍの第一ダウンミックス信号（Ｍ）を算出する。
第二ダウンミックス信号算出部１４２は、ダウンミックス係数記憶部１７が記憶する第二ダウンミックス係数（Ｓ×Ｍ）を用いて、算出したチャンネル数Ｍの第一ダウンミックス信号（Ｍ）から参照信号と同じチャンネル数Ｓの第二ダウンミックス信号（Ｓ）とを算出する。

差分信号算出部１５は、参照信号と第二ダウンミックス信号（Ｓ）との差分を算出する。また、差分信号算出部１５は、算出した差分が最小かどうか、または、算出した差分が所定の閾値以下かどうかを判定する。差分信号算出部１５は、完全に最小値となるまで計算を繰り返さなくても、第一ダウンミックス係数（Ｍ×Ｎ）と第二ダウンミックス係数（Ｓ×Ｍ）を更新しても差分の変化が閾値以下となることに基づいて差分が最小となったと判定してもよい。
ダウンミックス係数更新部１６は、差分信号算出部１５が算出する差分が最小もしくは閾値以下になるように第一ダウンミックス係数（Ｍ×Ｎ）および第二ダウンミックス係数（Ｓ×Ｍ）、または、第一ダウンミックス係数（Ｍ×Ｎ）のみを補正する。ダウンミックス係数更新部１６は、補正した第一ダウンミックス係数（Ｍ×Ｎ）等でダウンミックス係数記憶部１７が記憶する第一ダウンミックス係数（Ｍ×Ｎ）等を更新する。なお、後述するように、ダウンミックス係数更新部１６は、例えば、マルチチャネル音響信号に含まれる各チャンネルの音響信号の再生位置と、第一ダウンミックス信号（Ｍ）に含まれる各チャンネルの音響信号の再生位置との位置関係に基づいて第一ダウンミックス係数（Ｍ×Ｎ）を更新する。

ダウンミックス係数記憶部１７は、チャンネル数変換処理に必要な種々のデータを記憶する。まず、ダウンミックス係数記憶部１７は、第一ダウンミックス係数（Ｍ×Ｎ）の初期値、および、第二ダウンミックス係数（Ｓ×Ｍ）の初期値を記憶する。そして、ダウンミックス信号算出部１４は、これらの初期値を用いて第一ダウンミックス係数（Ｍ×Ｎ）、第二ダウンミックス係数（Ｓ×Ｍ）の算出を開始する。なお、第一ダウンミックス係数（Ｍ×Ｎ）初期値、および、第二ダウンミックス係数（Ｓ×Ｍ）初期値については、例えば乱数を発生させて設定してもよい。または、ダウンミックス前後の各チャンネル位置の角度差や距離差に応じた数値を設定してもよい。また、ダウンミックス係数が規格などで決まっており、チャンネル数変換装置１０によって、番組ごとの補正を行う場合は、規格で定められたダウンミックス係数を初期値に用いてもよい。

図２は、本発明に係る第一実施形態におけるダウンミックス係数の一例を示す第一の図である。図２を用いて本実施形態のチャンネル数変換処理の概要を説明する。
図２に示す（Ｍ−Ｃｈ_１、・・・、Ｍ−Ｃｈ_Ｎ）は、Ｎチャンネルのマルチチャンネル音響信号である。
また、図２に示す行列の第２項目

は、Ｍ行Ｎ列の第一ダウンミックス係数（Ｍ×Ｎ）である。第一ダウンミックス信号算出部１４１は、この第一ダウンミックス係数（Ｍ×Ｎ）を用いて、マルチチャネル音響信号から所望のチャンネル数Ｍの第一ダウンミックス信号（Ｍ）を算出する。
また、図２に示す行列の第１項目

は、Ｓ行Ｍ列の第二ダウンミックス係数（Ｓ×Ｍ）である。第二ダウンミックス信号算出部１４２は、この第二ダウンミックス係数（Ｓ×Ｍ）を用いて、第一ダウンミックス信号（Ｍ）から参照信号と同じチャンネル数Ｓの第二ダウンミックス信号（Ｓ）を算出する。図２において、（Ｌｔ、Ｒｔ）は第二ダウンミックス信号（Ｓ）である。差分信号算出部１５は、第二ダウンミックス信号（Ｓ）「（Ｌｔ、Ｒｔ）」と参照信号「（Ｌ、Ｒ）」との差分を、それぞれの信号のエネルギー差、二乗平均誤差、１−正規化相互相関係数（１から２つの信号の正規化相互相関係数を減算する）などの方法で算出する。なお、差分の算出方法は、これらの方法に限定されない。

ダウンミックス係数更新部１６は、差分信号算出部１５が算出する第二ダウンミックス信号（Ｓ）と参照信号の差分に基づいて、第一ダウンミックス係数（Ｍ×Ｎ）、第二ダウンミックス係数（Ｓ×Ｍ）を更新する。ダウンミックス係数更新部１６が、差分が小さくなるようにダウンミックス係数を更新するアルゴリズムには、遺伝的アルゴリズム、最急降下法、確率的勾配降下法などを用いることができるが、差分を小さくする方法であれば、他の方法を用いてもよい。
また、ダウンミックス係数更新部１６が、ダウンミックス係数を更新する場合、第一ダウンミックス係数（Ｍ×Ｎ）および第二ダウンミックス係数（Ｓ×Ｍ）を同時に変化させてもよい。あるいは、ダウンミックス係数更新部１６は、第二ダウンミックス係数（Ｓ×Ｍ）を所定の値に固定した状態で、第一ダウンミックス係数（Ｍ×Ｎ）だけを変化させてもよい。また、ダウンミックス係数更新部１６は、チャンネルの重要度に応じて、重要度の高いチャンネルの音響信号から順にダウンミックス係数を変化させてもよい。チャンネルの重要度は、例えば、前方に位置するスピーカに対応するチャンネルを重要度が高いと設定するなど再生位置によって規定されるほか、ダイアログ音声信号が含まれるチャンネルを重要度が高いと設定するなど音響信号の内容に応じて設定されてもよい。重要度は、メタデータとしてマルチチャンネル音響信号に付加されるほか、別途入力されるか、予め記憶されるか、ユーザによって指定されてもよい。なお、ダイアログ音声信号に含まれる音声は必ずしもダイアログ（対話）の音声に限られない。ナレーションなどの主に人の声で構成される音声信号をダイアログ音声信号としてよい。

ダウンミックス係数更新部１６は、第一ダウンミックス係数（Ｍ×Ｎ）、第二ダウンミックス係数（Ｓ×Ｍ）を用いて再度第二ダウンミックス信号（Ｓ）を出力する。ダウンミックス係数更新部１６は、差分が最小となるか、差分が予め定められた閾値以下になるまでダウンミックス係数を更新する処理を繰り返す。差分信号算出部１５で差分が閾値以下または最小と判定されると、ダウンミックス信号算出部１４（第二ダウンミックス信号算出部１４２）は、最終的に更新された第一ダウンミックス係数（Ｍ×Ｎ）を用いて元のマルチチャンネル音響信号から所望の第一ダウンミックス信号（Ｍ）を算出し、再生装置に出力する。

図３は、本発明に係る第一実施形態における同一平面のチャンネル配置の一例を示す第一の図である。
図３（ａ）は、変換前のマルチチャンネル音響信号に含まれる各チャンネルの配置の一例を示している。図３（ａ）は、２２．２ｃｈの中層のチャンネル配置の一例を示している。図３（ａ）において、例えば、チャンネル「ＦＣ」はユーザの正面、チャンネル「ＦＬ」「ＦＬｃ」、「ＦＣ」、「ＦＲｃ」、「ＦＲ」はユーザの前面に位置している。また、例えば、チャンネル「ＳｉＬ」はユーザの左側、チャンネル「ＳｉＲ」はユーザの右側、チャンネル「ＢＣ」はユーザの後側に位置するチャンネルである。
図３（ｂ）は、変換後の所望の第一ダウンミックス信号（Ｍ）に含まれる各チャンネルの配置の一例を示している。図３（ｂ）は、一例として、７．１ｃｈのチャンネル配置の一例を示している。例えば、チャンネル「Ｃｍ」はユーザの正面、チャンネル「Ｌｍ」、「Ｃｍ」、「Ｒｍ」はユーザの前面に位置している。これら、正面または前面のチャンネルには高い重要度が設定される場合がある。
図３（ｃ）は、参照信号に含まれる各チャンネルの配置の一例を示している。図３（ｃ）は、一例として、２ｃｈのチャンネル配置の一例を示している。
なお、図３（ｂ）、図３（ｃ）に例示するチャンネルは、２２．２ｃｈの中層の高さに対応するチャンネルである。

本実施形態のチャンネル数変換装置１０は、元のマルチチャンネル音響信号が持つ音響の印象をなるべく保持したまま第一ダウンミックス信号（Ｍ）を算出する。具体的には、ダウンミックス係数更新部１６が、上記の第一ダウンミックス係数（Ｍ×Ｎ）等の更新処理を繰り返す中で、マルチチャンネル音響信号が持つ音響の印象をできるだけ保持できるような第一ダウンミックス係数（Ｍ×Ｎ）を算出し、第二ダウンミックス信号（Ｓ）と参照信号の差分が収束するように第一ダウンミックス係数（Ｍ×Ｎ）等を更新する。そのため、チャンネル数変換装置１０では、第一ダウンミックス係数（Ｍ×Ｎ）の算出において、マルチチャンネル音響信号の特徴を保持するための拘束条件が必要となる。例えば、参照信号がモノ信号（１ｃｈ）やステレオ信号（２ｃｈ）であり、所望のチャンネル数が５．１ｃｈや７．１ｃｈであった場合、参照信号のチャンネル位置は、所望のチャンネル数のチャンネル配置に完全に包含される。この場合、拘束条件を設定しないと、元のマルチチャンネル音響から所望のチャンネル数に変換するための第一ダウンミックス係数（Ｍ×Ｎ）は、元のマルチチャンネル音響信号から参照信号と同じチャンネル数のダウンミックス係数と同じになる可能性がある。なぜなら、このような第一ダウンミックス係数（Ｍ×Ｎ）によって変換した第一ダウンミックス信号（Ｍ）を、図３（ｂ）で例示したチャンネルの配置どおりに設置されたスピーカ群を有する再生装置が出力しても、そのとき再生される音は、図３（ｃ）の「Ｌｔ」、「Ｒｔ」と同じ位置に配置されたチャンネル「Ｌｍ」、「Ｒｍ」に対応するスピーカだけから出力され、目的とする「マルチチャンネル音響信号が持つ音響の印象を保持した」音とはならないためである。このことからも、元のマルチチャネル音響の特徴をなるべく保持するためには、第一ダウンミックス係数（Ｍ×Ｎ）の算出に拘束条件が必要である。

次に、図３で例示したチャンネル配置を用いて、拘束条件の一部について説明を行う。図３に例示した各チャンネル数におけるチャンネル配置は、変換前後の各チャンネル数において、略同一の平面上に配置されるチャンネル群を対象としている。例えば、２２．２ｃｈのマルチチャンネル音響信号では、図３（ａ）に例示する中層の他、上層、下層が存在し、これらを含めた場合、異なる高さである上層、下層からの変換を考慮しなければならない。図３では、これらの変換については考慮せず、略同一の平面内に配置されるチャンネル間での変換における拘束条件について説明する。

（位置の類似性による拘束条件）
拘束条件は、例えば、元のマルチチャンネル音響のチャンネル位置と所望のダウンミックス先のチャンネル位置の類似度によって規定してもよい。位置の類似度は、例えば、ユーザの聴取位置（図３の場合、円の中心）に対する変換前後のそれぞれのチャンネル位置の間の距離、角度の変化によって定義してもよい。例えば、図３（ａ）の「ＦＣ」と、変換後の図３（ｂ）の「Ｃｍ」との位置の類似度は高い（どちらもユーザの正面であって、変換前後で距離、角度が同じ）。このような場合、チャンネル「ＦＣ」に割り当てられた音声信号から、チャンネル「Ｃｍ」に割り当てられる音声信号との変換を行うダウンミックス係数には、例えば、「１．０」と設定することを拘束条件として定めてもよい。
あるいは、この場合のダウンミックス係数が最大となるように拘束条件として定めてもよい。拘束条件で「１．０」と定めた場合には、ダウンミックス係数算出の計算量を減らすことができる。

（ダウンミックスの前後でユーザからの距離が変わらない場合）
また、この例の場合、まず、マルチチャネル音響信号に含まれるチャンネルの音響信号の再生位置の一つである「ＦＣ」と、ダウンミックス信号に含まれるチャンネルの音響信号の再生位置の一つである「Ｃｍ」とを予め対応付けておく。そして、「ＦＣ」から「Ｃｍ」へのダウンミックス係数の値を例えば「１．０」と定め、「ＦＣ」から他のチャンネルへのダウンミックス係数の値は「０」とすることを拘束条件としてもよい。

また、例えば、図３（ａ）の「ＦＣ」と、変換後の図３（ｂ）の「Ｌｍ」、「Ｒｍ」との位置の類似度はやや高い（どちらもユーザの前面であって、変換前後でユーザからの距離は変化せず、角度は例えば２０度強変化する）。このような場合、位置の類似度に応じて、チャンネル「ＦＣ」に割り当てられた音声信号から、チャンネル「Ｌｍ」、「Ｒｍ」に割り当てられる音声信号との変換を行うダウンミックス係数には、例えば、「１．０以下の同じ値」を設定することを拘束条件として定めてもよい。

同様に、例えば、図３（ａ）の「ＦＣ」と、変換後の図３（ｂ）の「Ｌｓｓｍ」、「Ｒｓｓｍ」との位置の類似度は低い（変換前後でユーザからの距離は変化しないが、角度は１１０度以上異なる）。このような場合、位置の類似度は低いことに基づいて、チャンネル「ＦＣ」に割り当てられた音声信号から、チャンネル「Ｌｓｓｍ」、「Ｒｓｓｍ」に割り当てられる音声信号との変換を行うダウンミックス係数には、例えば、「０」を設定することを拘束条件として定めてもよい。

また、例えば、図３（ａ）の「ＢＬ」と変換後の図３（ｂ）の「Ｌｒｓｍ」との位置の類似度と、図３（ａ）の「ＢＲ」と変換後の図３（ｂ）の「Ｒｒｓｍ」との位置の類似度とは同程度（どちらもユーザからみて左側または右側の斜め後方から、同じ側の斜め後方に位置するチャンネルへの変換）である。このような場合、位置の類似度が同程度であるため、チャンネル「ＢＬ」に割り当てられた音声信号から、チャンネル「Ｌｒｓｍ」に割り当てられる音声信号との変換を行うダウンミックス係数と、チャンネル「ＢＲ」に割り当てられた音声信号からチャンネル「Ｒｒｓｍ」に割り当てられる音声信号との変換を行うダウンミックス係数とに、同じ値を設定することを拘束条件として定めてもよい。

また、例えば、図３（ａ）の「ＢＬ」に割り当てられた音声信号から、変換後の図３（ｂ）の「Ｌｓｓｍ」、「Ｌｒｓｍ」に割り当てられる音声信号との変換を行うダウンミックス係数については、何れのチャンネルもユーザからの距離は同じとなる。しかしながら、変換前の「ＢＬ」の位置（ユーザからの角度）は、「Ｌｒｓｍ」により近く、「Ｌｒｓｍ」に比べれば「Ｌｓｓｍ」がより遠いことに基づいて、「Ｌｒｓｍ」へのダウンミックス係数の値が最大となるように設定することを拘束条件として定めてもよい。あるいは、さらに「Ｌｓｓｍ」へのダウンミックス係数の値は２番目に大きくなるように拘束条件を定めてもよい。また、円の中心と「ＢＬ」の位置を結ぶ線を基準とした、円の中心と「Ｌｓｓｍ」および「Ｌｓｓｍ」それぞれを結ぶ線がなす開き角度に基づいて、それぞれのダウンミックス係数の値の比が、開き角度の比の逆数となるようにダウンミックス係数を設定することを拘束条件として定めてもよい。

（スピーカを理想的な位置に置けないような場合）
図３は、ダウンミックスの前後でユーザからの距離が変わらない場合を例示している。次に、図４を用いて、ユーザがスピーカなどを設置する部屋のレイアウト等の都合で、あるチャンネルに対応するスピーカを理想的な位置に置けないような場合の例を挙げて拘束条件の説明を行う。

図４は、本発明に係る第一実施形態における同一平面のチャンネル配置の一例を示す第二の図である。
図４（ａ）は、変換前のマルチチャンネル音響信号におけるチャンネル配置の一例を示している。図４（ｂ）は、変換後の所望の第一ダウンミックス信号（Ｍ）におけるチャンネル配置の一例を示している。図４（ｂ）において、チャンネル「Ｌｓｓｍ」と「Ｌｒｓｍ」に対応するスピーカの位置は、所定の「Ｌｓｓｍ」と「Ｌｒｓｍ」の位置からずれている。この例の場合、「Ｌｓｓｍ」のスピーカが、変換前のマルチチャンネル音響信号におけるチャンネル「ＢＬ」の位置から距離ｖの位置に設置され、「Ｌｒｓｍ」のスピーカが、変換前のマルチチャンネル音響信号におけるチャンネル「ＢＬ」の位置から距離ｕの位置に設置されているものとする（ｖ＞ｕ）。また、図示するように他のチャンネルから「Ｌｓｓｍ」のスピーカ位置は、チャンネル「ＳｉＬ」から「Ｌｓｓｍ」までの距離ｙよりも離れているものとする。この場合、「ＳｉＬ」から「Ｌｓｓｍ」へのダウンミックス係数の値が最大となるように設定することを拘束条件として定めてもよい。さらに「ＢＬ」から「Ｌｒｓｍ」へのダウンミックス係数の値を１番目に大きく、「Ｌｓｓｍ」へのダウンミックス係数の値が２番目に大きくなるように拘束条件を定めてもよい。また、距離ｕ、ｖに基づいて、「ＢＬ」から「Ｌｓｓｍ」へのダウンミックス係数の値と「ＢＬ」から「Ｌｒｓｍ」へのダウンミックス係数の値の比が、ｖ：ｕとなるようにダウンミックス係数を設定することを拘束条件として定めてもよい。

また、図４（ｂ）において、チャンネル「Ｃｍ」に対応するスピーカの位置は、所定の「Ｃｍ」の位置から側方に距離ｗだけずれている。「ＦＣ」と「Ｃｍ」とを予め対応付け、「ＦＣ」から「Ｃｍ」へのダウンミックス係数の値を「１．０」、それ以外の他のチャンネルへのダウンミックス係数の値を「０」とする拘束条件の例を上記で説明した。この場合、変換前の「ＦＣ」の位置と変換後のｗのずれを含む「Ｃｍ」の位置との位置の類似度（この場合は距離の差）が所定の範囲内であるときのみ、当該拘束条件を適用してもよい。

なお、家庭でのスピーカ位置の座標情報は、ユーザが、チャンネル数変換装置１０に入力してもよい。あるいは、音響再生装置が備える各スピーカ位置を検出する機能を利用して得た座標情報を、音響再生装置がチャンネル数変換装置１０に入力してもよい。

（変換前のマルチチャンネル音響信号におけるチャンネル配置の一例）
次に図５を用いて上層から中層への変換におけるダウンミックス係数の拘束条件について説明を行う。
図５は、本発明に係る第一実施形態における上層があるチャンネル配置の一例を示す図である。
図５（ａ）は、変換前のマルチチャンネル音響信号におけるチャンネル配置の一例を示している。図５（ａ）に、上層、中層の二層からなるチャンネル配置の一例を示す。図５（ａ）において、チャンネル「ＴｐＦＬ」は上層のユーザの左斜め前、チャンネル「ＴｐＦＲ」は上層のユーザの右斜め前、チャンネル「ＴｐＢＬ」は上層のユーザの左斜め後、チャンネル「ＴｐＢＲ」は上層のユーザの右斜め後に位置している。図５（ｂ）は、変換後の所望の第一ダウンミックス信号（Ｍ）におけるチャンネル配置の一例を示している。図５（ｃ）は、参照信号におけるチャンネル配置の一例を示している。

例えば、図５（ａ）の「ＴｐＦＬ」と、変換後の図５（ｂ）の「Ｌ」との位置の類似度は、どちらもユーザの斜め左前であるが、ユーザからの開き角度が若干変化する。また、「ＴｐＦＬ」は上層にあり「Ｌ」は中層に位置するという違いが存在する。従って、チャンネル「ＴｐＦＬ」に割り当てられた音声信号から、チャンネル「Ｌ」に割り当てられる音声信号との変換を行うダウンミックス係数には、例えば、「１．０」または「１．０以下」の値を設定することを拘束条件として定めてもよい。拘束条件で「１．０」と定めた場合には、ダウンミックス係数算出の計算量を減らすことができる。

また、この例の場合、上層の「ＴｐＦＬ」と中層の「ＴｐＦＬ」に対応する位置の近傍に存在する「Ｌ」とを予め対応付けておき、「ＴｐＦＬ」から「Ｌ」へのダウンミックス係数の値を例えば「１．０」、「ＴｐＦＬ」から他のチャンネルへのダウンミックス係数の値を「０」とすることを拘束条件としてもよい。

また、例えば、図５（ａ）の「ＴｐＦＬ」と、変換後の図５（ｂ）の「Ｌｓ」、「Ｒｓ」との位置の類似度は低い（変換前後でユーザからの距離が遠ざかる関係にあり、角度も大きく異なり、さらに上層と中層の違いがある）。このような場合、チャンネル「ＴｐＦＬ」に割り当てられた音声信号から、チャンネル「Ｌｓ」、「Ｒｓ」に割り当てられる音声信号との変換を行うダウンミックス係数には、例えば、「０」を設定することを拘束条件として定めてもよい。

また、例えば、図５（ａ）の「ＴｐＦＬ」と変換後の図５（ｂ）の「Ｌ」との位置の類似度と、図５（ａ）の「ＴｐＦＲ」と変換後の図５（ｂ）の「Ｒ」との位置の類似度とは同程度である。このような場合、同一平面上でのダウンミックス係数と同様、チャンネル「ＴｐＦＬ」に割り当てられた音声信号から、チャンネル「Ｌ」に割り当てられる音声信号との変換を行うダウンミックス係数と、チャンネル「ＴｐＦＲ」に割り当てられた音声信号から、チャンネル「Ｒ」に割り当てられる音声信号との変換を行うダウンミックス係数とに、同じ値を設定することを拘束条件として定めてもよい。

また、例えば、図５（ａ）の「ＴｐＦＬ」と図５（ｂ）の「Ｌ」の距離、図５（ａ）の「ＴｐＦＬ」と図５（ｂ）の「Ｃ」の距離に基づいて、「ＴｐＦＬ」は「Ｌ」により近いことから、「ＴｐＦＬ」に割り当てられた音声信号から「Ｌ」に割り当てられる音声信号への変換を行うダウンミックス係数の値が最大となるように設定することを拘束条件として定めてもよい。

このように、変換元のマルチチャンネル音響信号のチャンネル位置とダウンミックス先のチャンネル位置との距離または開き角を算出し、最も近傍のチャンネル位置へのダウンミックス係数を最大となることを拘束条件とすることで、元のマルチチャンネル音響信号の特徴を保持できるダウンミックス係数を算出することが可能となる。

（聞きやすさによる拘束条件）
図３、図５に戻り、他の拘束条件の他の例について説明する。拘束条件は、音の聞きやすさの観点によって規定されてもよい。例えば、後方、側方にあるチャンネルが前方にあるチャンネルにダウンミックスされるとき、前方のチャンネルに割り当てられたダイアログ音声信号などの音声が聞きにくくなる可能性がある。そのような場合に聞きやすさを担保するために、後方、側方のうち少なくとも一方に位置するチャンネルに割り当てられた音声信号から前方のチャンネルに割り当てられる音声信号へのダウンミックス係数に「１．０」よりも小さい補正値を乗じることを拘束条件として定めてもよい。

同様に、上層か下層、もしくはその両方のチャンネルから中層のチャンネルへダウンミックスする場合に、上層、下層の音によって中層の音が聞き取りにくくなる可能性がある。従って、上層か下層、もしくはその両方のチャンネルから中層のチャンネルへのダウンミックス係数に１．０よりも小さい補正値を用いることを拘束条件として加えてもよい。

また、チャンネル配置は通常左右対称であるが、左右から聞こえてくる音の大きさのバランスが変化すると、マルチチャンネル音響信号を再生した場合の印象から大きく変わってしまう可能性がある。従って、左右対称な位置に配置されたチャンネルから対応する左右対称な位置に配置されたチャンネルへのダウンミックス係数を算出するにあたり、元のマルチチャネル音響信号に含まれる左右対称な位置に配置されたチャンネルから対応する左右対称な位置に配置されたチャンネルへのダウンミックス係数に同じ数値を用いることを拘束条件として加えてもよい。

前方からのダイアログ音声信号を強調した方が聞き取りやすい場合の例のように、ダウンミックス信号の特徴が、元のマルチチャンネル音響の特徴とは完全に一致しないことが望ましい場合がある。聞きやすさによる拘束条件を適用することで、ユーザの聞きやすさを確保することができる。

（重要度による拘束条件）
次に、重要度による拘束条件について説明する。拘束条件は、重要度の観点によって規定されてもよい。例えば、報道番組の場合、アナウンサー等によるダイアログ音声信号が最も重要となる。このような場合、例えば前面に位置するチャンネル（例えば、図５の「Ｌ」、「Ｃ」、「Ｒ」）に対して、これらはダイアログ音声信号に対応するチャンネルであるとして、高い重要度が設定されてもよい。重要度は、例えばマルチチャンネル音響信号のメタデータとして入力される。あるいは、ユーザが入力することでダウンミックス係数更新部１６に設定されてもよい。
この場合、例えば、「ＦＬ」から「Ｌ」、「ＦＣ」から「Ｃ」、「ＦＲ」から「Ｒ」へのダウンミックス係数に最大の値を設定することを拘束条件として加えてもよい。
重要度による拘束条件を適用することによって、特定の音響信号の印象を強調するようにダウンミックスすることができる。

なお、上記した拘束条件は、第一ダウンミックス係数（Ｍ×Ｎ）の算出時だけでなく、第二ダウンミックス係数（Ｓ×Ｍ）の算出時にも適用してよい。また、第一ダウンミックス係数（Ｍ×Ｎ）の初期値、第二ダウンミックス係数（Ｓ×Ｍ）の初期値の各要素の値について、拘束条件によってダウンミックス係数の値を「１．０」とすると予め定められているような場合、そのチャンネル間のダウンミックス係数に対応する要素には、初期値の段階で「１．０」が設定されていてもよい。また、拘束条件によって値が「１．０」等と定められていない場合でも、第一ダウンミックス係数（Ｍ×Ｎ）の初期値、第二ダウンミックス係数（Ｓ×Ｍ）の初期値の各要素の値には、上記した位置の類似性等に基づく拘束条件が考慮されて予め定められた値が設定されていてもよい。

次に図６を用いて、これらの拘束条件を課したうえで算出された第一ダウンミックス係数（Ｍ×Ｎ）および第二ダウンミックス係数（Ｓ×Ｍ）の一例を説明する。
図６は、本発明に係る第一実施形態におけるダウンミックス係数の一例を示す第二の図である。
図６に例示する第一ダウンミックス係数（Ｍ×Ｎ）、第二ダウンミックス係数（Ｓ×Ｍ）は、ダウンミックス係数更新部１６が、拘束条件を満たすようにして算出したものである。
図６の上図は、図５（ａ）で例示したマルチチャンネル音響信号に含まれる各チャンネル信号から、図５（ｂ）で例示した所望の第一ダウンミックス信号（Ｍ）に含まれる各チャンネル信号への第一ダウンミックス係数（Ｍ×Ｎ）の一例を示している。例えば、「Ｌ」と「Ｒ」、「ＦＬ」と「ＦＲ」は左右対称の位置に配置されている。従って、「ＦＬ」に割り当てられた音声信号からチャンネル「Ｌ」に割り当てられる音声信号との変換を行うダウンミックス係数と、「ＦＲ」に割り当てられた音声信号からチャンネル「Ｒ」に割り当てられる音声信号との変換を行うダウンミックス係数には同じ値「Ｃ１」が設定されている。また、また、「ＦＬ」と「Ｌ」はほぼ同じ位置に配置されている。同様に「ＦＲ」と「Ｒ」はほぼ同じ位置に配置されている。従って、「Ｃ１」の大きさは例えば「１．０」であってもよい。また、例えば、「ＴｐＦＬ」に割り当てられた音声信号から、チャンネル「Ｌ」に割り当てられる音声信号との変換を行うダウンミックス係数「ｋ１Ｃ１」の「ｋ１」は、上層から中層のチャンネルへのダウンミックス係数に乗じる補正値の例である。ここで、ｋ１は１よりも小さい値である。また、「ＳｉＬ」と「Ｌ」の距離、「ＳｉＬ」と「Ｌｓ」の距離を比べると、「ＳｉＬ」と「Ｌｓ」の距離の方が短い。従って、「ＳｉＬ」から「Ｌｓ」へのダウンミックス係数により大きな値が設定される（Ｃ４≧Ｃ３）。同様に、「ＢＬ」と「Ｌｓ」の距離、「ＢＲ」と「Ｌｓ」の距離を比べると、「ＢＬ」と「Ｌｓ」の距離の方が短い。従って、「ＢＬ」と「ＢＲ」とでは、「ＢＬ」から「Ｌｓ」へのダウンミックス係数により大きな値が設定される（Ｃ５≧Ｃ６）。また、上層の「ＴｐＢＬ」、「ＴｐＢＲ」に割り当てられた音声信号から、チャンネル「Ｌｓ」に割り当てられる音声信号との変換を行うダウンミックス係数には、上層から中層のチャンネルへのダウンミックス係数に用いる補正値「ｋ１」が含まれている。

図６の下図は、図５（ｂ）で例示した所望の第一ダウンミックス信号（Ｍ）における各チャンネル信号から図５（ｃ）で例示した参照信号への第二ダウンミックス係数（Ｓ×Ｍ）の一例を示している。上記の拘束条件は、第二ダウンミックス係数（Ｓ×Ｍ）に適用することも可能である。例えば、ｋ２は、後方のチャンネルから前方のチャンネルへのダウンミックス係数に用いる補正値である。また、「Ｌｔ」は「Ｃ」よりも「Ｌ」により近い為、「Ｌ」から「Ｌｔ」へのダウンミックス係数により大きな値が設定される（Ｃｔ１＞Ｃｔ２）。

図７は、本発明に係る第一実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
図７を用いて本実施形態のチャンネル数変換処理の流れを説明する。
前提として、マルチミックス音響信号の各チャンネルの位置情報（座標情報）、所望のダウンミックス信号の再生環境におけるスピーカの数および各スピーカの位置情報は、予めチャンネル数変換装置１０に入力され、スピーカ位置情報入力部１３がこれらの情報の入力を受け付けている。また、スピーカ位置情報入力部１３は、マルチミックス音響信号の各チャンネルの位置情報と再生環境における各スピーカの位置情報とをダウンミックス係数更新部１６に出力している。また、ダウンミックス係数更新部１６には、ダウンミックス係数算出における種々の拘束条件が設定されている。また、ダウンミックス係数記憶部１７は、第一ダウンミックス係数（Ｍ×Ｎ）の初期値、第二ダウンミックス係数（Ｓ×Ｍ）の初期値を記憶している。

まず、ステップＳ１１で、参照信号入力部１２は、参照信号を入力する。参照信号入力部１２は、入力した参照信号を差分信号算出部１５に出力する。また、ステップＳ１１と並行して、ステップＳ１２で、マルチチャンネル音響信号入力部１１は、マルチチャンネル音響信号を入力する。続いて、マルチチャンネル音響信号入力部１１は、マルチチャンネル音響信号をダウンミックス信号算出部１４に出力する。
次に、ステップＳ１３で、ダウンミックス信号算出部１４では、第一ダウンミックス信号算出部１４１が第一ダウンミックス信号（Ｍ）を算出する。具体的には、第一ダウンミックス信号算出部１４１は、ダウンミックス係数記憶部１７から第一ダウンミックス係数（Ｍ×Ｎ）の初期値を読み出して取得し、この初期値でマルチチャンネル音響信号をダウンミックスして第一ダウンミックス信号（Ｍ）を算出する。続いて、第一ダウンミックス信号算出部１４１は、第一ダウンミックス信号（Ｍ）を第二ダウンミックス信号算出部１４２に出力する。
次に、ステップＳ１４で、第二ダウンミックス信号算出部１４２が第二ダウンミックス信号（Ｓ）を算出する。具体的には、第二ダウンミックス信号算出部１４２は、ダウンミックス係数記憶部１７から第二ダウンミックス係数（Ｓ×Ｍ）の初期値を読み出して取得し、この初期値で第一ダウンミックス信号（Ｍ）をダウンミックスして第二ダウンミックス信号（Ｓ）を算出する。第二ダウンミックス信号算出部１４２は、ダウンミックス信号（Ｓ）を差分信号算出部１５へ出力する。

次に、ステップＳ１５で、差分信号算出部１５は、第二ダウンミックス信号（Ｓ）と参照信号の差分を算出する。差分の算出には、２つの信号のエネルギー差、二乗平均誤差、１−正規化相互相関係数などの方法を用いてもよい。
次に、ステップＳ１６で、差分信号算出部１５は、差分が所定の閾値以下かどうかを判定する。あるいは、差分信号算出部１５は、差分が最小となったかどうかを判定してもよい。差分が閾値以下の場合（差分が最小となった場合）、第一ダウンミックス信号算出部１４１は、ステップＳ１３で第一ダウンミックス係数（Ｍ×Ｎ）によって、マルチチャンネル音響信号をダウンミックスして生成した第一ダウンミックス信号（Ｍ）を再生装置へ出力する。

差分が閾値より大きい場合（差分が最小ではない場合）、差分信号算出部１５は、算出した差分をダウンミックス係数更新部１６に出力する。
次に、ステップＳ１７で、ダウンミックス係数更新部１６は、ダウンミックス係数を更新する。ダウンミックス係数更新部１６は、図３〜図６を用いて説明した拘束条件を満たしつつ、差分を小さくする第一ダウンミックス係数（Ｍ×Ｎ）および第二ダウンミックス係数（Ｓ×Ｍ）を算出する。
または、ダウンミックス係数更新部１６は、第二ダウンミックス係数（Ｓ×Ｍ）が固定されている場合、第一ダウンミックス係数（Ｍ×Ｎ）のみを算出する。なお、第一ダウンミックス係数（Ｍ×Ｎ）等の算出には、遺伝的アルゴリズム、最急降下法、確率的勾配降下法などを用いてもよい。ダウンミックス係数更新部１６は、第一ダウンミックス係数（Ｍ×Ｎ）等を算出すると、算出した新たな第一ダウンミックス係数（Ｍ×Ｎ）等をダウンミックス係数記憶部１７に記録する。そして、差分が閾値以下となるまで、ステップＳ１３からの処理を繰り返す。
なお、２回目以降のステップＳ１３、及びステップＳ１４の処理では、ダウンミックス係数記憶部１７が記憶する第一ダウンミックス係数（Ｍ×Ｎ）の初期値、第二ダウンミックス係数（Ｓ×Ｍ）の初期値を用いるのではなく、ステップＳ１７でダウンミックス係数更新部１６が算出し、ダウンミックス係数記憶部１７に記録した第一ダウンミックス係数（Ｍ×Ｎ）、第二ダウンミックス係数（Ｓ×Ｍ）を用いる。

地上デジタル放送において基本の音声フォーマットはステレオ２ｃｈであり、一方、ＢＳデジタル放送については、ステレオ２ｃｈまたは５．１ｃｈサラウンド放送である。４Ｋ／８Ｋ放送では、２２．２ｃｈマルチチャンネル音響と同時にステレオ２ｃｈ用の音声信号（参照信号）のいわゆるサイマル放送が検討されている。
そこで、本実施形態では、マルチチャンネル音響信号から再生環境のスピーカ配置に対応する第一ダウンミックス信号（Ｍ）と、再生環境のスピーカ配置に対応する参照信号と同じチャンネル数の第二ダウンミックス信号（Ｓ）とをダウンミックス係数の初期値を用いて作成する。そして、ステレオ２ｃｈ用の音声信号とダウンミックス信号（Ｓ）との差が最小となるようにダウンミックス係数を最適化する。
このとき、元のマルチチャンネル音響信号と所望の第一ダウンミックス信号（Ｍ）との変換について、スピーカ位置に応じた拘束条件を加えることで、元のマルチチャンネル音響の印象をなるべく保持した第一ダウンミックス信号（Ｍ）を実現する第一ダウンミックス係数（Ｍ×Ｎ）が算出できる。また、放送された番組製作者の意図が反映されたステレオ２ｃｈによる音声信号を参照することで、より番組製作者の意図に沿った第一ダウンミックス信号（Ｍ）を実現する第一ダウンミックス係数（Ｍ×Ｎ）が算出できる。

＜第二実施形態＞
以下、本発明の第二実施形態によるチャンネル数変換装置を、図８〜図９を参照して説明する。
図８は、本発明に係る第二実施形態におけるチャンネル数変換装置の一例を示すブロック図である。
図８に示すようにチャンネル数変換装置１０ａは、マルチチャンネル音響信号入力部１１と、スピーカ位置情報入力部１３と、ダウンミックス信号算出部１４と、差分信号算出部１５と、ダウンミックス係数更新部１６と、ダウンミックス係数記憶部１７と、参照信号算出部１８と、を備えている。つまり、第二実施形態によるチャンネル数変換装置１０ａは、第一実施形態の参照信号入力部１２に代えて参照信号算出部１８を備えている。他の構成は、第一実施形態と同様である。

参照信号算出部１８は、所定のダウンミックス係数を用いて、マルチチャンネル音響信号をダウンミックスして例えば２ｃｈステレオの参照信号を算出する。
第一実施形態では、マルチチャンネル音響信号と同時にステレオ２ｃｈの音声信号（参照信号）が放送される場合を前提とした。しかし、マルチチャンネル音響信号に対応する参照信号が常に得られるとは限らない。例えば、マルチチャンネル音響信号に付加されるメタデータとして参照信号へのダウンミックス係数が送出される場合がある。そこで、第二実施形態では、参照信号算出部１８が、入力したマルチチャンネル音響信号から参照信号を算出する。

次に図９を用いて本実施形態のチャンネル数変換処理の流れを説明する。
図９は、本発明に係る第二実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
前提として、参照信号算出部１８には、予めマルチチャンネル音響信号をステレオ２ｃｈ音声信号（参照信号）にダウンミックスするダウンミックス係数（参照ダウンミックス係数と呼ぶ）が設定されているとする。他の前提条件は第一実施形態と同様である。また、図７と同様の処理については簡単に説明する。
まず、ステップＳ１２で、マルチチャンネル音響信号入力部１１は、マルチチャンネル音響信号を入力する。マルチチャンネル音響信号入力部１１は、マルチチャンネル音響信号を、参照信号算出部１８、ダウンミックス信号算出部１４に出力する。
ステップＳ１２１で、参照信号算出部１８は、参照ダウンミックス係数によってマルチチャンネル音響信号をダウンミックスして参照信号を算出する。参照信号算出部１８は、算出した参照信号を差分信号算出部１５に出力する。以下の処理については第一実施形態と同様である。
つまり、次に、ステップＳ１３で、第一ダウンミックス信号算出部１４１が第一ダウンミックス信号（Ｍ）を算出し、ステップＳ１４で、第二ダウンミックス信号算出部１４２が第二ダウンミックス信号（Ｓ）を算出する。

次に、ステップＳ１５で、差分信号算出部１５は、第二ダウンミックス信号算出部１４２が算出した第二ダウンミックス信号（Ｓ）と参照信号算出部１８が算出した参照信号の差分を算出する。次に、ステップＳ１６で、差分信号算出部１５は、差分が所定の閾値以下かどうかを判定し、差分が閾値以下の場合、第一ダウンミックス信号算出部１４１が第一ダウンミックス信号（Ｍ）を再生装置へ出力する。

また、差分が閾値より大きい場合、ステップＳ１７で、ダウンミックス係数更新部１６は、ダウンミックス係数を更新し、差分が閾値より小さくなるまで、ステップＳ１３からの処理を繰り返す。

本実施形態によれば、ステレオ２ｃｈが同時に放送されない場合でも、マルチチャンネル音響方式からステレオ２ｃｈなどの既存のチャンネル数への最適化されたダウンミックス係数（例えば、最適化されたダウンミックス係数がマルチチャンネル音響信号にメタデータとして付加されてもよい）によってダウンミックスされた信号を参照信号の代わりに用いる。これにより、第一実施形態と同様の手順で、マルチチャンネル音響信号の制作時のスピーカ数、スピーカ配置で再生されたときの音の印象をなるべく保持しつつ、再生装置のスピーカ数およびスピーカ配置に応じた第一ダウンミックス係数（Ｍ×Ｎ）を、番組ごとに算出することができる。

なお、上述のチャンネル数変換装置１０、１０ａは、内部にコンピュータシステムを有している。そして、チャンネル数変換装置１０等の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
なお、第一ダウンミックス係数（Ｍ×Ｎ）、第一ダウンミックス係数（Ｍ×Ｎ）の初期値は、第一ダウンミックス係数の一例である。第二ダウンミックス係数（Ｓ×Ｍ）、第二ダウンミックス係数（Ｓ×Ｍ）の初期値は、第二ダウンミックス係数の一例である。また、第一ダウンミックス信号（Ｍ）は第一ダウンミックス信号の一例、第二ダウンミックス信号（Ｓ）は第二ダウンミックス信号の一例である。

１０、１０ａ・・・チャンネル数変換装置
１１・・・マルチチャンネル音響信号入力部
１２・・・参照信号入力部
１３・・・スピーカ位置情報入力部
１４・・・ダウンミックス信号算出部
１４１・・・第一ダウンミックス信号算出部
１４２・・・第二ダウンミックス信号算出部
１５・・・差分信号算出部
１６・・・ダウンミックス係数更新部
１７・・・ダウンミックス係数記憶部
１８・・・参照信号算出部

Claims (11)

1. 第一ダウンミックス係数を用いてマルチチャネル音響信号から所望の第一ダウンミックス信号を算出し、第二ダウンミックス係数を用いて前記第一ダウンミックス信号から参照信号と同じチャンネル数の第二ダウンミックス信号を算出するダウンミックス信号算出部と、
   前記第二ダウンミックス信号と参照信号との差分を算出する差分信号算出部と、
   前記差分信号算出部が算出した差分が、最小または所定の閾値以下となるように、前記第一ダウンミックス係数および第二ダウンミックス係数を更新するダウンミックス係数更新部と、
   を備えることを特徴とするチャンネル数変換装置。
2. 前記マルチチャネル音響信号を所定のダウンミックス係数を用いてダウンミックスし、前記参照信号を算出する参照信号算出部、
   をさらに備えることを特徴とする請求項１に記載のチャンネル数変換装置。
3. 請求項１または請求項２に記載のチャンネル数変換装置において、
   前記ダウンミックス係数更新部は、前記第二ダウンミックス係数を固定して、前記第一ダウンミックス係数のみを更新する、
   ことを特徴とするチャンネル数変換装置。
4. 請求項１から請求項３の何れか１項に記載のチャンネル数変換装置において、
   前記第一ダウンミックス係数の初期値と前記第二ダウンミックス係数の初期値とのうち少なくとも一方を記憶するダウンミックス係数記憶部、
   をさらに備えることを特徴とするチャンネル数変換装置。
5. 請求項４に記載のチャンネル数変換装置において、
   前記ダウンミックス係数記憶部は、前記マルチチャネル音響信号に含まれる各チャンネルの音響信号の再生位置と前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置関係に基づいて定められた初期値を有する前記第一ダウンミックス係数を記憶する、
   ことを特徴とするチャンネル数変換装置。
6. 請求項４または請求項５に記載のチャンネル数変換装置において、
   前記ダウンミックス係数記憶部は、前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置と前記第二ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置関係に基づいて定められた初期値を有する前記第二ダウンミックス係数を記憶する、
   ことを特徴とするチャンネル数変換装置。
7. 請求項１から請求項６の何れか１項に記載のチャンネル数変換装置において、
   前記ダウンミックス係数更新部は、前記マルチチャネル音響信号に含まれる各チャンネルの音響信号の再生位置と前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置の類似度によって定められた拘束条件に基づいて、前記第一ダウンミックス係数を更新する、
   ことを特徴とするチャンネル数変換装置。
8. 請求項７に記載のチャンネル数変換装置において、
   前記ダウンミックス係数更新部は、前記位置の類似度が最も高いチャンネル間のダウンミックス係数の値が最大となることを拘束条件として、前記第一ダウンミックス係数を更新する、
   ことを特徴とするチャンネル数変換装置。
9. 請求項１から請求項８の何れか１項に記載のチャンネル数変換装置において、
   前記ダウンミックス係数更新部は、前記第一ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置と前記第二ダウンミックス信号に含まれる各チャンネルの音響信号の再生位置との位置の類似度によって定められた拘束条件に基づいて、前記第二ダウンミックス係数を更新する、
   ことを特徴とするチャンネル数変換装置。
10. 請求項９に記載のチャンネル数変換装置において、
    前記ダウンミックス係数更新部は、前記位置の類似度が最も高いチャンネル間のダウンミックス係数の値が最大となることを拘束条件として、前記第二ダウンミックス係数を更新する、
    ことを特徴とするチャンネル数変換装置。
11. コンピュータを、請求項１から請求項１０の何れか１項に記載のチャンネル数変換装置、として機能させるためのプログラム。

Images