JP2011193164A - マルチチャンネル音響信号のダウンミックス装置及びプログラム - Google Patents

Abstract

【課題】マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置及びプログラムを提供する。
【解決手段】ダウンミックス装置１は、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離部１１と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と付随音響チャンネル信号を選択して決定。
【選択図】図１

Description

本発明は、多数の音響チャンネルを持つ番組コンテンツの音響信号を受信し、２チャンネル音響信号や５．１チャンネルサラウンド音響信号へダウンミックスする技術に関する。

大画面・高精細の映像システムに対応した２次元音響方式として、２チャンネル音響方式や５．１チャンネルサラウンド音響方式よりもさらに臨場感の高い音響再生が実現できる「前方５チャンネル＋側方・後方５チャンネル音響方式」がある。

また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした「３次元（立体）音響方式」がある。この３次元音響方式の例を図８に示す。３次元音響方式は、例えば図８に示す多数の音響チャンネル（メインチャンネル２２ｃｈ、低域強調（ＬＦＥ）チャンネル２ｃｈ）から構成されている。この３次元音響方式の番組制作は、大画面映像ディスプレイ（ＴＶディスプレイ）と多数のスピーカーを配置した図８の標準制作配置で行われる。

３次元音響方式などのマルチチャンネル音響の形式で制作された番組コンテンツの音響信号は、音響符号化ストリーム信号として多重され電波等により家庭に伝送される。この音響符号化ストリーム信号には、マルチチャンネル音響信号のほかに、音響方式に関するパラメータや番組コンテンツに適切なダウンミックス係数のパラメータなどの音響チャンネル関連メタデータが多重されている。

家庭においては、標準制作配置に則った音響用スピーカーを設置しない場合が多く、従来の２チャンネル音響信号や５．１チャンネルサラウンド音響信号の再生装置で再生されることも多いと想定される。この場合、家庭等においては、音響符号化ストリーム信号を受信し、これをマルチチャンネル音響信号の形式に復号し、また音響チャンネル関連メタデータを分離し、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置側で設定される再生チャンネル数に従って分配し、２チャンネル音響信号や５．１チャンネルサラウンド音響信号にダウンミックスした後、音響再生される。

例えば、ＤＶＤやハイビジョン放送の音響システムとして、「国際電気通信連合 無線通信部門（ＩＴＵ−Ｒ）で勧告されている、５．１チャンネルサラウンド音響技術方式が普及している（例えば、非特許文献１参照）。電波産業会（ＡＲＩＢ）では、５．１チャンネルサラウンド音響信号を受信したときに２チャンネルステレオ音響信号にダウンミックスする機能を、「ＡＲＩＢ ＳＴＤ−Ｂ２１ デジタル放送用受信装置（望ましい仕様）」として規定している（例えば、非特許文献２参照）。この規定においては具体的なダウンミックスの計算式及びメタデータとして送出される後方チャンネルパラメータが規定されている。

また、２次元音響方式よりもさらに臨場感の高い音響を再生できる「３次元（立体）音響方式」の番組制作に基づくマルチチャンネル音響信号についても、多数のスピーカーを標準配置とは異なる従来からの２チャンネル音響信号の再生装置や５．１チャンネルサラウンド音響信号の再生装置で再生されることも多い。この３次元音響方式などの多数の音響チャンネル信号を２チャンネル音響信号や５．１チャンネルサラウンド音響信号にダウンミックスするための具体的な計算式及びメタデータ、メタデータ受信時の計算式の例はＡＲＩＢ ＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」に記載されている（例えば、非特許文献３参照）。

ＩＴＵ−Ｒ勧告ＢＳ．７７５、"Multichannel stereophonic sound system with and without accompanying picture" ＡＲＩＢ ＳＴＤ−Ｂ２１ 「デジタル放送用受信装置（望ましい仕様）」 ＡＲＩＢ ＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」

しかしながら、ＡＲＩＢ ＳＴＤ−Ｂ３２に記載されている規定のダウンミックスの計算式に則りつつ単純にダウンミックスを行うと、「オーバーフローに伴う音質劣化又は番組（５．１チャンネルサラウンド音響信号や２チャンネル音響信号も混在する）間の音の大きなレベル差、及び音声バランスの劣化」が頻繁に発生する。

そこで、ダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化、又は番組間の音の大きなレベル差及び音声バランスの劣化を少なくする技術が必要とされていた。

本発明の目的は、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減する、マルチチャンネル音響信号のダウンミックス装置及びプログラムを提供することにある。

本発明は、３次元（立体）音響方式のように多数のチャンネルから構成されるマルチチャンネル音響信号に対してダウンミックスする際に、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を少なくするため、主に、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置側で設定される「再生チャンネル数」に従って各再生チャンネルのマルチチャンネル音響信号を選択して分配する音響チャンネル選択・分配部と、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定のダウンミックスの計算式のダウンミックス係数に従ってダウンミックスを行う各再生チャンネル用のダウンミックス音響チャンネルブロックとを備える。

各再生チャンネル用のダウンミックス音響チャンネルブロック（第ｉダウンミックス音響チャンネルブロック）は、ダウンミックスに際し、位相シフトダウンミックス音響信号及び単純ダウンミックス音響信号を生成するとともに、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号に対してフェードイン／フェードアウト処理を用いて切替を行い、第ｉダウンミックス音響信号を出力する。ダウンミックスされた第ｉダウンミックス音響信号は、対応するスピーカーを通して音響再生される。

即ち、本発明のダウンミックス装置は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、を備えることを特徴とする。

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、を備えることを特徴とする。

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする。

また、本発明のダウンミックス装置において、前記位相シフトブロック切替判定手段は、前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、を備えることを特徴とする。

また、本発明のダウンミックス装置において、前記切替判定手段は、前記切替判定基準として、前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする。

また、本発明のダウンミックス装置において、前記音響チャンネル関連メタデータ分離手段は、前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、前記ダウンミックス音響信号生成手段は、該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする。

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理手段を有することを特徴とする。

さらに、本発明は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、を実行させるためのプログラムとして特徴を有する。

本発明によれば、３次元音響方式などの多数の音響チャンネル信号のダウンミックスを行うにあたり、２チャンネル音響や５．１チャンネルサラウンド音響信号などの番組間での音響信号レベル等の差異がある場合でも、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減させることができるようになる。

本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図である。 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。 本発明による一実施例のダウンミックス装置の動作フロー図である。 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置の変形例を示す図である。 （ａ)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動の様子を示す図であり、（ｂ)は、本発明による一実施例のダウンミックス装置による、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制する様子を示す図である。 ３次元音響方式の標準制作配置の例を示す図である。 メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。 メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。 メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。 メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。

以下、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を説明する。

図１は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図であり、３次元音響方式などの多数の音響チャンネル信号を２チャンネル音響や５．１チャンネルサラウンド音響信号にダウンミックスする装置である。本実施例のダウンミックス装置１は、音響符号化ストリームとして伝送される図８に示す標準制作配置に従ったマルチチャンネル音響信号と音響チャンネル関連メタデータ多重信号を受信して、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置（ダウンミックス装置１）側で設定される再生チャンネル数に従って分配し、２チャンネル音響や５．１チャンネルサラウンド音響信号へとダウンミックスを行う装置である。尚、図８は、前述したように、大画面・高精細の映像システムに適した音響方式として、臨場感の高い音響を再生できる「３次元（立体）音響方式」のスピーカー配置例であり、メインチャンネル２２ｃｈ、低域強調（ＬＦＥ）チャンネル２ｃｈの場合である。

本実施例のダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１と、音響チャンネル選択・分配部１２と、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、単純ダウンミックス部１５、及びダウンミックス切替部１６からなる第ｎダウンミックス音響チャンネルブロックとを備える。第ｎダウンミックス音響チャンネルブロックは、再生チャンネル数（ｎ）に対応した数で構成される。

音響チャンネル関連メタデータ分離部１１は、音響符号化ストリームにてｍチャンネルマルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」を分離して抽出し、抽出した「音響方式に関するパラメータ」を、音響チャンネル選択・分配部１２、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、及び単純ダウンミックス部１５に送出する。

ここで、「音響方式に関するパラメータ」は、マルチチャンネル音響信号におけるベース音響チャンネル信号を指定するパラメータを含み、好適には、位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含めることもできる。「音響方式に関するパラメータ」に位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含んでいない場合には、再生装置側（ダウンミックス装置１側）で予め定めたダウンミックス係数を用いるようにする。

音響チャンネル選択・分配部１２は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」と再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて、第ｉダウンミックス音響チャンネルブロックに入力される各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号とベース音響チャンネルを除く他の音響信号（付随音響チャンネル信号）を選択して決定し、第ｎダウンミックス音響チャンネルブロックの各々（第ｉダウンミックス音響チャンネルブロック）に分配する。

位相シフトブロック切替判定部１３は、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号のいずれがダウンミックス処理（音質劣化等の抑制）に適しているかを、後述する予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成してダウンミックス切替部１６に送出する。

位相シフトダウンミックス部１４は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の位相シフトダウンミックスの計算式のダウンミックス係数に従って位相シフトダウンミックス音響信号を生成する。

単純ダウンミックス部１５は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の単純ダウンミックスの計算式のダウンミックス係数に従って単純ダウンミックス音響信号を生成する。

ダウンミックス切替部１６は、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部１３からのダウンミックス切替信号にしたがって切替を行い、第ｉダウンミックス音響信号を出力する。尚、ダウンミックス切替部１６は、位相シフトブロック切替判定部１３からのダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理部１６１を有する。このフェードイン／フェードアウト処理を行うことにより、音質劣化等の抑制に伴う信号切替時に生じうる雑音（歪み）を低下させることができる。ダウンミックスされた第ｉダウンミックス音響信号は、対応するスピーカー１７−１〜１７−ｎを通して音響再生される。

このように、各再生チャンネル用のダウンミックス音響チャンネルブロック（第ｉダウンミックス音響チャンネルブロック）は、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおけるベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルを算出し、算出した相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行い、各再生チャンネル用のダウンミックス音響信号を出力する。

尚、音響チャンネル関連メタデータ分離部１１は、位相シフトブロック切替判定部１３によって再生装置側（ダウンミックス装置１側）で「位相シフトブロック切替判定処理」を行う代わりに、送信側で予め位相シフトブロック切替判定部１３の「位相シフトブロック切替判定処理」を行っておき、「ダウンミックス切替信号用のメタデータ」として音響チャンネル関連メタデータに含めて伝送することも可能である。この場合、音響チャンネル関連メタデータ分離部１１は、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行うよう指示する「ダウンミックス切替信号用のメタデータ」が、音響チャンネル関連メタデータ内に存在するか否かを判定し、音響チャンネル関連メタデータ内に「ダウンミックス切替信号用のメタデータ」が存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する（図６参照）。したがって、図６に示す例では、再生装置側（ダウンミックス装置１側）で位相シフトブロック切替判定部１３を備える必要がなくなる。

以下、より詳細に、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、及び単純ダウンミックス部１５についてそれぞれ説明する。

（位相シフトブロック切替判定部）
図２は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。位相シフトブロック切替判定部１３は、相互相関演算部１３１と、音響信号レベル算出部１３２と、切替判定部１３３とを備える。

相互相関演算部１３１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出し、切替判定部１３３に送出する。

音響信号レベル算出部１３２は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号及び付随音響チャンネル信号のそれぞれの音響信号レベルを算出し、切替判定部１３３に送出する。

切替判定部１３３は、相互相関演算部１３１から得られる相互相関値と、音響信号レベル算出部１３２から得られる付随音響チャンネル信号の音響信号レベルから、位相シフトダウンミックス部１４で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成される単純ダウンミックス音響信号のいずれがダウンミックス（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。

切替判定部１３３は、「位相シフトダウンミックス」と「単純ダウンミックス」の切替判定基準として、相互相関値がａ（例えば、０．７）以上、且つベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベルＬｅ＿ｂａｓｅ（例えば−６ｄＢ）以上、且つ付随音響チャンネルの音響信号レベルの少なくとも１つがフルスケール換算で所定レベルＬｅ＿ａｕｘ（例えば−６ｄＢ）以上とし、全てが満たされた場合に位相シフトダウンミックス音響信号へと切り替え、それ以外は単純ダウンミックス音響信号に切り替えるように判定する。

メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合、図９及び図１１の２種類が規定のダウンミックスの計算式としてＡＲＩＢ等で規定されているものを用いる。

メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合、図１０及び図１２の２種類が規定のダウンミックスの計算式としてＡＲＩＢ等で規定されているものを用いる。

つまり、チャンネル２２．２ｃｈの音響チャンネル信号をチャンネル５．１ｃｈへダウンミックスする場合、図８に示す２２．２ｃｈの音響チャンネル信号のうち、ＦＬ，ＦＲ，ＦＣ，ＢＬ，ＢＲ（図９及び図１１）が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。

また、チャンネル２２．２ｃｈの音響チャンネル信号をチャンネル２ｃｈへダウンミックスする場合、図８に示す２２．２ｃｈの音響チャンネル信号のうち、ＦＬ，ＦＲ（図１０及び図１２）が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。

このように、位相シフトブロック切替判定部１３は、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部１４で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成される単純ダウンミックス音響信号のいずれがダウンミックス（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。

（位相シフトダウンミックス部）
図３は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。位相シフトダウンミックス部１４は、遅延部１４１と、位相シフト部１４２−ｋと、加算部１４３とを備える。

遅延部１４１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部１４３に出力する。

位相シフト部１４２−ｋは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた位相シフトを行い、加算部１４３に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの位相シフトに伴う遅延時間を所定の範囲内、例えば１音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限して位相シフトを行うのが望ましい。

加算部１４３は、遅延を施したベース音響チャンネル信号及び位相シフトを施した付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。

ここで、位相シフトダウンミックス部１４における付随音響チャンネルの音響信号の位相シフト及び加算処理の順は、加算を行った後、位相シフトを行うように構成することも可能である。位相シフトは、信号の周波数特性は変化させずに信号の位相特性のみを変える処理であり、全域通過フィルタ（Ａｌｌ Ｐａｓｓ Ｆｉｌｔｅｒ：ＡＰＦ）を用いて行う。位相シフトを行うフィルタの設計は、例えば、「ディジタル信号処理ハンドブック」（オーム社、ｐｐ９２−１０１、ｐｐ３８１−３８４）や、「コンピュータ音楽」（東京電機大学出版局、ｐｐ１５９−１６１，ｐｐ３１５−３３９，ｐｐ３８８−４００）や、「ディジタルフィルタデザイン」（昭晃堂）などで詳述されている。

各付随音響チャンネル信号の位相シフトは異なる特性を持つＡＰＦを使用することもできるが、同一の特性を持つＡＰＦを使用しても効果が得られる。同一の特性を持つＡＰＦを使用する場合、付随音響チャンネル信号の加算を行った後、位相シフトを行うことも可能である。

このように、位相シフトダウンミックス部１４は、付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた位相シフトを行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。

（単純ダウンミックス部）
図４は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。単純ダウンミックス部１５は、ベース音響チャンネル信号用の遅延部１５１と、付随音響チャンネル信号用の遅延部１５２−１〜遅延部１５２−ｋと、加算部１５３とを備える。

遅延部１５１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部１５３に出力する。

遅延部１５２−ｋは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた遅延処理を行い、加算部１５３に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの遅延時間を所定の範囲内、例えば１音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限するのが望ましい。

加算部１５３は、遅延を施したベース音響チャンネル信号及び付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。ここで、音響チャンネル信号の遅延処理は、ダウンミックス加算を行った後、遅延処理を行うことも可能である。

このように、単純ダウンミックス部１５は、付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた遅延処理を行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号に伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。

（ダウンミックス切替部）
図１に示すように、ダウンミックス切替部１６は、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部１３からのダウンミックス切替信号にしたがって、切替時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切替の際にフェードイン／フェードアウト処理を施しながら切替を行い、第ｉダウンミックス音響信号を出力する。

次に、本発明による一実施例のダウンミックス装置１の動作について説明する。

図５は、本発明による一実施例のダウンミックス装置１の動作フロー図である。

ステップＳ１にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、音響チャンネル関連メタデータ多重信号を受信する。

ステップＳ２にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、音響チャンネル関連メタデータの分離を行い、「音響方式に関するパラメータ」を抽出する。

ステップＳ３にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、再生チャンネル数に対応するチャンネルパラメータを設定する。

ステップＳ４にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、マルチチャンネル音響信号を受信する。

ステップＳ５にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、「音響チャンネル関連メタデータ」内に、送信側から「ダウンミックス切替信号用のメタデータ」が存在するか否かを確認する。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在する場合には、音響チャンネル関連メタデータ分離部１１は、「ダウンミックス切替信号用のメタデータ」からダウンミックス切替信号を生成して、ステップＳ１０に進む。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在しない場合、ステップＳ６に進む。

ステップＳ６にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、ダウンミックス切替信号用のメタデータ」内の「音響方式に関するパラメータ」に基づいて、マルチチャンネル音響信号をベース音響チャンネル信号と付随音響チャンネル信号に分離する。

ステップＳ７にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との相互相関値をそれぞれ算出する。

ステップＳ８にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との音響信号レベルをそれぞれ算出する。

ステップＳ９にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、再生チャンネルごとに、音響ブロック単位のダウンミックス切替信号（位相シフトダウンミックス／単純ダウンミックス）を生成する。

ステップＳ１０にて、ダウンミックス装置１は、位相シフトダウンミックス部１４及び単純ダウンミックス部１５によって、「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」をそれぞれ生成する。

ステップＳ１１にて、ダウンミックス装置１は、ダウンミックス切替部１６によって、ダウンミックス切替信号にしたがって、切り替え時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えの際にフェードイン／フェードアウト処理を施しながら切り替えを行い、第ｉダウンミックス音響信号を出力する。これにより、再生チャンネル数（ｎ）分のダウンミックス音響信号を生成して、音質や音圧の劣化を抑制しつつ各対応するスピーカー１７−１〜１７−ｎに送出して再生することが可能となる。

図７は、この音質や音圧の劣化を抑制する様子の説明図である。図７（ａ）は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を示す図である。ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判別することなくダウンミックスを実行した場合、再生装置側で許容されるダイナミックレンジ（Ｄレンジ）を超える可能性がある。一方、図７（ｂ)に示すように、本実施例のダウンミックス装置１によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるようになる。

本発明に係るダウンミックス装置１をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。

本発明によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるので、マルチチャンネル信号をダウンミックスする用途に有用である。

１ ダウンミックス装置
１１ 音響チャンネル関連メタデータ分離部
１２ 音響チャンネル選択・分配部
１３ 位相シフトブロック切替判定部
１４ 位相シフトダウンミックス部
１５ 単純ダウンミックス部
１６ ダウンミックス切替部
１７−１〜１７−ｎ スピーカー
１３１ 相互相関演算部
１３２ 音響信号レベル算出部
１３３ 切替判定部
１４１ 遅延部
１４２−ｋ 位相シフト部
１４３ 加算部
１５１ 遅延部
１５２−ｋ 遅延部
１５３ 加算部
１６１ フェードイン・フェードアウト処理部

Claims (8)

1. マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、
   マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、
   前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、
   再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、
   を備えることを特徴とするダウンミックス装置。
2. 前記ダウンミックス音響信号生成手段は、
   前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、
   前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、
   各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、
   を備えることを特徴とする、請求項１に記載のダウンミックス装置。
3. 前記ダウンミックス音響信号生成手段は、
   前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする、請求項２に記載のダウンミックス装置。
4. 前記位相シフトブロック切替判定手段は、
   前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、
   前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、
   前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、
   を備えることを特徴とする、請求項３に記載のダウンミックス装置。
5. 前記切替判定手段は、前記切替判定基準として、
   前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする、請求項４に記載のダウンミックス装置。
6. 前記音響チャンネル関連メタデータ分離手段は、
   前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、
   前記ダウンミックス音響信号生成手段は、
   該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする、請求項１に記載のダウンミックス装置。
7. 前記ダウンミックス音響信号生成手段は、
   前記ダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理手段を有することを特徴とする、請求項１〜６のいずれか一項に記載のダウンミックス装置。
8. マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、
   マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、
   前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、
   再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、
   を実行させるためのプログラム。

Images