JP2013545128A - 多チャネルオーディオ信号をダウンミックスする方法及び装置 - Google Patents

Abstract

多チャネル周波数係数それぞれについて、ＰＣＭオーディオサンプルのエンコード時に適用されたブロックタイプを判断し、ターゲットチャネル内で最も多く使われたタイプの多チャネル周波数係数を周波数ドメインで予めダウンミックスした後、ダウンミックスされた結果を残りのチャネルの信号と時間ドメインでダウンミックスすることで、多チャネルオーディオ信号の処理にかかる演算量及び電力消耗を低減させるダウンミックス技術が開示される。

Description

本発明は、多チャネルオーディオ信号をダウンミックスする方法及びそのための装置に関する。

マルチメディア処理技術が発展するにつれてオーディオチャネルの数は非常に多様になった。過去１チャネル（モノ）から始まったオーディオ信号は、２チャネル（ステレオ）を経て現在は５．１チャネル及び７．１チャネルのオーディオ信号が一般的に広く使われており、それ以上の多チャネルオーディオ信号を出力できる音響機器も生産されている。

このような多チャネルオーディオ信号を完璧に出力するためには、多チャネルオーディオ信号を支援する音響装備が求められるので、可用電力、信号処理リソース、出力スピーカの数が制限されるモバイル機器では多チャネルオーディオ信号を正常に出力できない。よって、モバイル機器では、多チャネルオーディオソースをステレオまたはモノサウンドにチャネル数を低減させるエンコードを行うが、このような過程をダウンミックス（ｄｏｗｎ ｍｉｘ）という。

図１は、多チャネルオーディオ信号をダウンミックスする一般的な過程を説明するためのブロック図である。図１に示したように、マルチチャネルオーディオのビットストリームは、ブロック１１０に入力されてアンパック（ｕｎｐａｃｋ）される。ブロック１２０で、アンパックされた情報は逆量子化して多チャネルそれぞれについての周波数係数が復元される。

ブロック１３０で、多チャネル周波数係数は、それぞれ逆変換（Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）過程を通じて時間ドメインの信号に変換される。例えば、５．１チャネルのビットストリームをステレオチャネルにダウンミックスする場合、ブロック１３０では５チャネル周波数係数それぞれについて逆変換を行い、その結果、５つの周波数係数が生成される。一般的に、５．１チャネルオーディオ信号をダウンミックスする時、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔｓ）チャネルの信号は捨てられるからである。ここで、逆変換過程は、周波数ドメインの信号を時間ドメインの信号に変換する過程であり、一般的にＩＦＦＴ（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）方式が使われる。

ブロック１４０では、多チャネル周波数係数から変換された時間ドメインのオーディオ信号のレベルを各チャネル別に好適に調節した後、調節された多チャネルオーディオ信号をステレオチャネルにダウンミックスする。一般的に５．１チャネルのオーディオ信号レベルは、ステレオチャネルにダウンミックスされる時に次のように調節される。

Ｌｏ＝Ｌ＋０．７０７Ｃ＋０．７０７Ｌｓ
Ｒｏ＝Ｒ＋０．７０７Ｃ＋０．７０７Ｒｓ
（Ｌｏ、Ｒｏ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｃ：Ｃｅｎｔｅｒ）
ブロック１５０では、オーディオコーデックによって必要な後処理（例えば、Ｏｖｅｒｌａｐ ａｎｄ Ａｄｄ ｐｒｏｃｅｓｓ）を行って最終的なステレオ信号を出力する。

このような一般的なダウンミックス方式によれば、オーディオソースのチャネル数を低減させられるので、多チャネルオーディオ信号をモバイル機器に好適なステレオチャネルオーディオ信号に変換可能になる。しかし、このようなダウンミックス過程は、多くの電力及びリソースが要求される。特に、逆変換過程では非常に多い演算量が要求されるが、オーディオソースのチャネル数が多くなるほどリソース及び電力の消耗量がさらに大きくなるので、モバイル機器のように制限された能力を持つ機器で多チャネルオーディオ信号をダウンミックスするためには、さらに少ない演算量及び電力がかかるダウンミックス方式が必要である。

本発明は、多チャネルオーディオ信号を少ない演算量及び電力でダウンミックスするための方法及び装置を提供する。

本発明の一実施形態は、多チャネルオーディオ信号をターゲットチャネルにダウンミックスする方法において、多チャネル周波数係数それぞれに対して該オーディオサンプルのエンコードに適用されたブロックタイプを判断する段階と、前記判断結果によってターゲットチャネルそれぞれについて最も多く使われたブロックタイプの周波数係数同士でダウンミックスする段階と、前記ダウンミックスされた結果で生成された周波数係数及び前記多チャネル周波数係数のうち、ダウンミックスされていない周波数係数を時間ドメインの信号に変換する段階と、前記時間ドメインの信号を用いてターゲットチャネルの信号を生成する段階と、を含む。

前記ターゲットチャネルの信号を生成する段階は、前記ダウンミックスされていない周波数係数から生成された信号のレベルを調節する段階と、前記調節された信号と、前記ダウンミックス結果で変換された周波数係数から生成された信号とをダウンミックスする段階と、を含む。

前記ダウンミックスする段階は、ダウンミックス方式がＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式であり、使用頻度の同じブロックタイプが複数である場合、前記多チャネル周波数係数のうちステレオチャネルに反映される周波数係数を定め、前記定められた周波数係数に使われていないブロックタイプを、前記最も多く使われたブロックタイプと定める段階を含む。

本発明の他の実施形態は、多チャネルオーディオ信号をターゲットチャネルにダウンミックスする装置において、多チャネル周波数係数それぞれについて、該オーディオサンプルのエンコードに適用されたブロックタイプを判断するブロックタイプ判断部と、前記判断結果によって、ターゲットチャネルそれぞれについて最も多く使われたブロックタイプの周波数係数同士でダウンミックスするダウンミックス実行部と、前記ダウンミックスされた結果で生成された周波数係数及び前記多チャネル周波数係数のうち、ダウンミックスされていない周波数係数を時間ドメインの信号に変換する変換部と、前記時間ドメインの信号を用いてターゲットチャネルの信号を生成するターゲットチャネル信号生成部と、を備える。

前記ターゲットチャネル信号生成部は、前記ダウンミックスされていない周波数係数から生成された信号のレベルを調節するレベル調節部と、前記調節された信号と、前記ダウンミックス結果で変換された周波数係数から生成された信号とをダウンミックスするダウンミックス部と、を備える。

前記ダウンミックス実行部は、前記ダウンミックス部がＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式を使い、使用頻度の同じブロックタイプが複数である場合、前記多チャネル周波数係数のうちステレオチャネルに反映される周波数係数を定め、前記定められた周波数係数に使われていないブロックタイプを、前記最も多く使われたブロックタイプと定める。

本発明のさらに他の実施形態は、前記ダウンミックス方法コンピュータで行わせるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明の一実施形態によれば、多チャネル周波数係数のうち、ステレオチャネルそれぞれでメジャー（ｍａｊｏｒ）タイプブロックを用いてエンコードされた一部の周波数係数は、周波数ドメインで予めダウンミックスされる。よって、本発明の一実施形態によれば、多チャネル周波数係数それぞれについて逆変換を行う既存方式に比べて逆変換を行う回数が低減するため、多チャネルオーディオ信号のダウンミックスに必要な演算量及び電力消耗量を低減させる。

多チャネルオーディオ信号をダウンミックスする一般的な過程を説明するためのブロック図である。 本発明の一実施形態によって多チャネルオーディオ信号をダウンミックスする過程を説明するためのブロック図である。 本発明の一実施形態によって多チャネルオーディオ信号をダウンミックスする過程を説明するためのフローチャートである。 本発明の一実施形態によってステレオ信号を生成する過程を説明するためのフローチャートである。 本発明の一実施形態によって５．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式でダウンミックスする過程を説明するためのブロック図である。 本発明の一実施形態によって５．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式でダウンミックスする過程を説明するためのブロック図である。 本発明の一実施形態によって７．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式でダウンミックスする過程を説明するためのブロック図である。 本発明の一実施形態によって７．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式でダウンミックスする過程を説明するためのブロック図である。 本発明の一実施形態によるダウンミックス装置の構造を示す図面である。

以下、添付した図面を参照して、本発明の望ましい実施形態を詳細に説明する。

以下のあらゆる実施形態では、多チャネルオーディオ信号をステレオチャネル（２チャネル）にダウンミックスする場合を仮定するが、本発明が適用される領域は、ミックスダウンの結果であるターゲットチャネルがステレオである場合に限定されるものではない。

図２は、本発明の一実施形態によって多チャネルオーディオ信号をダウンミックスする過程を説明するためのブロック図である。図２に示したように、マルチチャネルオーディオのビットストリームは、ブロック２１０に入力されてアンパック（ｕｎｐａｃｋ）される。ブロック２１１で、アンパックされた情報は逆量子化し、多チャネルそれぞれについての周波数係数が復元される。

ブロック２１２で、多チャネル周波数係数は、それぞれ既定値を乗算してそのレベルが好適に調節された後、周波数ドメインでダウンミックスされる。ブロック２１２の入力、すなわち、ブロック２１１で復元された周波数係数は、エンコーダで多チャネルオーディオソースのＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｉｎｇ Ｍｏｄｕｌａｔｉｏｎ）オーディオサンプルのブロックをエンコードして生成されるものである。一般的に、エンコードに適用されるブロックタイプは、エンコードに使うオーディオサンプルブロックの長さによってｌｏｎｇ／ｓｈｏｒｔの２つに大別される。ブロック２１２で周波数係数同士でダウンミックスする過程は、オーディオソースのエンコード時に同じブロックタイプが適用されたチャネル同士のみ可能である。

ブロック２１２では、多チャネルの周波数係数ののうち最も多く使われたブロックタイプ（以下では、メジャー（ｍａｊｏｒ）タイプと称する）を、ステレオチャネルそれぞれについて定め、メジャータイプのブロックが適用された周波数係数のレベルを好適に調節してダウンミックスする。このような周波数ドメインでのダウンミックス（ｐｒｅ−ｄｏｗｎｍｉｘ）はステレオチャネルそれぞれについて行われ、メジャータイプが適用されない周波数係数は、周波数ドメインでダウンミックスされない。

ブロック２１３では、ステレオＬｅｆｔチャネルについてダウンミックスされた結果を逆変換（Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ）する。ブロック２１４では、いかなるステレオチャネルでもダウンミックスされていない周波数係数が逆変換される。ブロック２１５では、ステレオＲｉｇｈｔチャネルでついてダウンミックスされた結果を逆変換する。

ブロック２１６では、いかなるステレオチャネルでもダウンミックスされていない周波数係数のレベルが好適に調節される。前述したように、周波数ドメインで予めダウンミックスされた周波数係数は、ブロック２１２でダウンミックスされる前にそのレベルが好適に調節されたので、該チャネルのオーディオ信号は再び時間ドメインでレベルを調節する必要がない。

ブロック２１７で、逆変換結果で生成されたオーディオ信号は、時間ドメインからステレオチャネル別にダウンミックスされる。ブロック２１８では、オーディオコーデックによって必要な後処理（例えば、Ｏｖｅｒｌａｐ ａｎｄ Ａｄｄ ｐｒｏｃｅｓｓ）を行って最終的なステレオオーディオ信号を出力する。

このように、本発明の一実施形態によれば、多チャネル周波数係数のうちステレオチャネルそれぞれでメジャータイプブロックを用いてエンコードされた一部の周波数係数は、周波数ドメインで予めダウンミックスされる。よって、本発明の一実施形態によれば、多チャネル周波数係数それぞれについて逆変換を行う既存方式に比べて逆変換を行う回数が低減するため、多チャネルオーディオ信号のダウンミックスに必要な演算量及び電力消耗量を低減させる。

図３は、本発明の一実施形態によって多チャネルオーディオ信号をダウンミックスする過程を説明するためのフローチャートである。

段階３１０で、各多チャネル周波数係数について、エンコードに適用されたブロックタイプを判断する。一般的に、ｌｏｎｇ／ｓｈｏｒｔの２タイプに大別される。段階３２０で、各ステレオチャネルについて最も多く使われたブロックタイプ（ｍａｊｏｒ ｔｙｐｅ）を定める。例えば、もしステレオＲｉｇｈｔチャネルに反映されるＣ、Ｒ、Ｒｓチャネルの周波数係数が、それぞれ順にｌｏｎｇ、ｓｈｏｒｔ、ｓｈｏｒｔタイプのブロックを用いてエンコードされたならば、ステレオＲｉｇｈｔチャネルでのメジャータイプは、ｓｈｏｒｔタイプになる。

一方、多チャネルをステレオにダウンミックスする方式は、Ｌｅｆｔ／Ｒｉｇｈｔｔｏｔａｌ方式とＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式とに大別される。Ｌｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式は、ステレオＬｅｆｔチャネルサウンドにＲｓ成分が反映され、ステレオＲｉｇｈｔチャネルサウンドにＬｓ成分が反映される。一般的に、５．１チャネルをＬｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式によってステレオにダウンミックスする場合、以下の式が用いられる。

Ｌｔ＝Ｌ＋０．７０７Ｃ−０．７０７（Ｌｓ＋Ｒｓ）
Ｒｔ＝Ｒ＋０．７０７Ｃ＋０．７０７（Ｌｓ＋Ｒｓ）
（Ｌｔ、Ｒｔ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｃ：Ｃｅｎｔｅｒ）
一方、Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式は、多チャネルのサウンド成分がユーザの位置を基準として左／右の一方向に属する多チャネル成分は、反対側ステレオチャネルに反映させない方式である。一般的に、５．１チャネルをＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式によってステレオにダウンミックスする場合、以下の式が用いられる。

Ｌｏ＝Ｌ＋０．７０７Ｃ＋０．７０７Ｌｓ
Ｒｏ＝Ｒ＋０．７０７Ｃ＋０．７０７Ｒｓ
（Ｌｏ、Ｒｏ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｃ：Ｃｅｎｔｅｒ）
段階３２０で各ステレオチャネルでメジャータイプを定める時、２つのブロックタイプが同一回数で使われた場合がありうる。この場合、Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式では、多チャネル周波数係数のうち共通チャネル（ステレオチャネルの両方に反映されるチャネル）の周波数係数に使われていないブロックタイプをメジャータイプと定めることが望ましい。例えば、多チャネルオーディオソースのうち、共通チャネルがセンター（Ｃ）である場合、センターに適用されたブロックがＬｏｎｇタイプならば、ｓｈｏｒｔタイプをメジャータイプと定めることが望ましい。共通チャネルの周波数係数は一回のみ逆変換を行った後、ステレオチャネルの両側で好適にレベルを調節して時間ドメインでダウンミックスすることで、共通チャネルの周波数係数を周波数ドメインでダウンミックスする場合より逆変換回数を低減させられるからである。このような場合についての具体的な実施形態は、図７を参照して後述する。

段階３３０で、各ステレオチャネルについてメジャータイプのブロックが適用された周波数係数同士でダウンミックスする。ここで、各チャネル別周波数係数のレベルは、ダウンミックスされる前に好適に調節される。

例えば、もしステレオＲｉｇｈｔチャネルに反映されるＣ、Ｒ、Ｒｓチャネルの周波数係数が、それぞれ順にｌｏｎｇ、ｓｈｏｒｔ、ｓｈｏｒｔタイプのブロックを用いてオーディオサンプルをエンコードした結果ならば、メージャータイプ（ｓｈｏｒｔ）が適用されたＲ、Ｒｓチャネルの周波数係数同士のみダウンミックスされる。例えば、Ｒｓチャネルの周波数係数は、数式Ｒｏ＝Ｒ＋０．７０７Ｃ＋０．７０７Ｒｓによって０．７０７を乗算してレベルが調節され、レベル調節されたＲｓ成分及びＲ成分は、周波数ドメインでダウンミックスされる。

段階３４０で、ダウンミックスされた結果で生成された周波数係数及びダウンミックスされていない周波数係数は、それぞれ逆変換を通じて時間ドメインの信号に変換される。多チャネル周波数係数のうち一部（メジャータイプが適用された成分）は、周波数ドメインで予めダウンミックスされるので、段階３４０での逆変換実行回数は多チャネルのチャネル数より少なくなる。

段階３５０で、時間ドメインの信号を用いてステレオ信号を生成する。段階３５０の過程は、以下の図４でさらに詳細に説明する。

図４は、本発明の一実施形態によってステレオ信号を生成する過程を説明するためのフローチャートである。

段階４１０で、ダウンミックスされていない周波数係数に対応するオーディオ信号のレベルを調節する。ダウンミックスされていない周波数係数に対応するオーディオ信号は、ダウンミックスされていない周波数係数を逆変換して得た時間ドメインの信号を意味する。

段階４２０で、周波数ドメインでダウンミックスされたチャネルのオーディオ信号と残りのチャネルのオーディオ信号とを、時間ドメインでダウンミックスする。段階４３０で、ステレオ各チャネルの信号について後処理（Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ）を行い、最終的なステレオ信号を出力する。

図５は、本発明の一実施形態によって５．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式でダウンミックスする過程を説明するためのブロック図である。図５に示したように、５．１チャネルでＬＦＥチャネルを除いたＬ、Ｌｓ、Ｃ、Ｒｓ、Ｒチャネルのオーディオサンプルは、それぞれ順にｌｏｎｇ、ｌｏｎｇ、ｓｈｏｒｔ、ｌｏｎｇ、ｌｏｎｇタイプのブロックを用いてエンコードされ、ダウンミックスは以下の式によると仮定する。

Ｌｏ＝Ｌ＋０．７０７Ｃ＋０．７０７Ｌｓ （１）
Ｒｏ＝Ｒ＋０．７０７Ｃ＋０．７０７Ｒｓ （２）
（Ｌｏ、Ｒｏ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｃ：Ｃｅｎｔｅｒ）
まず、Ｌｏチャネルに反映されるＬ、Ｌｓ、Ｃチャネルでメジャータイプは、ｌｏｎｇタイプである。よって、Ｌ、Ｌｓ２つのチャネルの周波数係数はブロック５１０でダウンミックスされる。図示されていないが、Ｌｓチャネルの周波数係数は、ダウンミックスされる前の前記数式によって０．７０７を乗算してそのレベルが調節される。以下、周波数ドメインでのダウンミックスを行うブロックは、別途の説明がなくても前記のようなレベル調節段階を共に行うと仮定する。

ダウンミックス結果で生成された周波数係数は、ブロック５２０で逆変換されて時間ドメインの信号に変換される。

次いで、Ｒｏチャネルに反映されるＲ、Ｒｓ、Ｃチャネルでも同じくメジャータイプは、ｌｏｎｇタイプである。よって、Ｒ、Ｒｓの２チャネルの周波数係数は、ブロック５１１でダウンミックスされる。図示されていないが、Ｒｓチャネルの周波数係数は、ダウンミックスされる前に前記の数式によって０．７０７を乗算してそのレベルが調節される。ダウンミックス結果で生成された周波数係数は、ブロック５２２で逆変換されて時間ドメインの信号に変換される。

一方、メジャータイプではないタイプ（以下、マイナー（ｍｉｎｏｒ）タイプと称する）は、Ｌｏ／Ｒｏでいずれもｓｈｏｒｔタイプである。よって、エンコード時にｓｈｏｒｔブロックが適用されたセンター（Ｃ）チャネルの場合、該周波数係数は、ダウンミックスなしにブロック５２１で逆変換される。

ブロック５２５で、ブロック５２１の出力信号、すなわち、センター（Ｃ）成分の時間ドメイン信号は、数式（１）、（２）によって０．７０７が乗算されてレベルが調節される。レベル調節に使われる係数は、逆変換の線形性によって周波数ドメイン及び時間ドメインで同一である。

ブロック５３０で、Ｌｏチャネルを構成する多チャネル成分、すなわち、ブロック５２０の出力信号及びブロック５２５の出力信号がダウンミックスされる（時間ドメインでのダウンミックス）。ブロック５４０で、ブロック５３０の出力信号についての後処理が行われ、その結果、ステレオＬｅｆｔ信号が出力される。

一方、ブロック５３１で、Ｒｏチャネルを構成する多チャネル成分、すなわち、ブロック５２２の出力信号及びブロック５２５の出力信号がダウンミックスされる（時間ドメインでのダウンミックス）。ブロック５４１で、ブロック５３１の出力信号についての後処理が行われ、その結果、ステレオＲｉｇｈｔ信号が出力される。

図５での実施形態の場合、従来の技術によれば、５回の逆変換を行わねばならないが、本発明によれば、３回の逆変換が行われるため、演算量及び消費電力を低減させられる。

図６は、本発明の一実施形態によって５．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式でダウンミックスする過程を説明するためのブロック図である。図６に示したように、５．１チャネルでＬＦＥチャネルを除いたＬ、Ｌｓ、Ｃ、Ｒｓ、Ｒチャネルのオーディオサンプルは、それぞれ順にｓｈｏｒｔ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇタイプのブロックを用いてエンコードされ、ダウンミックスは下記の式によると仮定する。

Ｌｔ＝Ｌ＋０．７０７Ｃ−０．７０７（Ｌｓ＋Ｒｓ） （３）
Ｒｔ＝Ｒ＋０．７０７Ｃ＋０．７０７（Ｌｓ＋Ｒｓ） （４）
（Ｌｔ、Ｒｔ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｃ：Ｃｅｎｔｅｒ）
まず、Ｌｔチャネルに反映されるＬ、Ｌｓ、Ｃ、Ｒｓチャネルでメジャータイプは、ｌｏｎｇタイプである。よって、Ｌｓ、Ｃ、Ｒｓチャネルの周波数係数は、ブロック６１０でダウンミックスされる。図示されていないが、Ｃ、Ｌｓ、Ｒｓチャネルの周波数係数は、ダウンミックスされる前に数式（３）によってそのレベルが調節される。ダウンミックス結果で生成された周波数係数は、ブロック６２１で逆変換されて時間ドメインの信号に変換される。一方、Ｌｔでマイナータイプが適用されたＬは、周波数ドメインでのダウンミックスなしにブロック６２０で逆変換される。

ブロック６３０で、ブロック６２０及びブロック６２１の出力信号は、時間ドメインでダウンミックスされる。ブロック６４０で、ブロック６３０の出力信号を後処理して最終的なステレオＬｅｆｔ信号を出力する。

一方、Ｒｔチャネルに反映されるＲ、Ｒｓ、Ｃ、Ｌｓチャネルでも、Ｌｔチャネルと同様にメジャータイプは、ｌｏｎｇタイプである。よって、ｌｏｎｇタイプのブロックが適用されたＲ、Ｒｓ、Ｃ、Ｌｓチャネルの周波数係数は、ブロック６１１で数式（４）によってそのレベルが調節された後、ダウンミックスされる。ブロック６１１でダウンミックスした結果で生成された周波数係数は、ブロック６２２で逆変換されて時間ドメインの信号に変換される。

ブロック６４１で、ブロック６４１の出力信号についての後処理が行われ、その結果でＬｔ信号が出力される。

図７は、本発明の一実施形態によって７．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式でダウンミックスする過程を説明するためのブロック図である。図７に示したように、７．１チャネルでＬＦＥチャネルを除いたＬ、Ｌｓ、Ｌｂ、Ｃ、Ｒｂ、Ｒｓ、ＲチャネルのＰＣＭオーディオサンプルは、それぞれ順にｌｏｎｇ、ｌｏｎｇ、ｓｈｏｒｔ、ｓｈｏｒｔ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇタイプのブロックを用いてエンコードされ、ダウンミックスは、下記の式によると仮定する。

Ｌｏ＝Ｌ＋０．７０７Ｃ＋０．７０７Ｌｓ＋０．５Ｌｂ （５）
Ｒｏ＝Ｒ＋０．７０７Ｃ＋０．７０７Ｒｓ＋０．５Ｒｂ （６）
（Ｌｏ、Ｒｏ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｌｂ：Ｌｅｆｔ Ｂａｃｋ、Ｒｂ：Ｒｉｇｈｔ Ｂａｃｋ、Ｃ：Ｃｅｎｔｅｒ）
まず、Ｌｏチャネルでのメジャータイプを定めなければならない。Ｌｏチャネルに反映されるＬ、Ｌｓ、Ｌｂ、Ｃチャネルを調べれば、ｌｏｎｇタイプ及びｓｈｏｒｔタイプは、同様に２回ずつ適用された。このような場合、多チャネルのうちＬｏ、Ｒｏにいずれも反映される共通チャネルを定め、共通チャネルに適用されないブロックタイプをメジャータイプと定める。

本実施形態では、センターチャネルＣがＬｏ、Ｒｏにいずれも反映される共通チャネルである。Ｃチャネルの周波数係数はｓｈｏｒｔタイプブロックを使ってエンコードされたので、Ｌｏチャネルのメジャータイプはｌｏｎｇタイプと定める。このように共通チャネルに適用されないタイプをメジャータイプと定める理由は、逆変換の回数を低減させるためである。すなわち、ｌｏｎｇタイプをメジャータイプと定めれば、４回の逆変換が要求されるが、もしｓｈｏｒｔタイプをメジャータイプと定めるならば、総５回の逆変換が行われねばならない。

メジャータイプが適用されたＬ、Ｌｓチャネルの周波数係数は、ブロック７１０でダウンミックスされた後、ブロック７２０で時間ドメインの信号に変換される。

マイナータイプが適用されたＬｂ、Ｃチャネルの周波数係数は、ダウンミックスされずにそれぞれブロック７２１、ブロック７２２で時間ドメインの信号に変換される。一方、Ｌｂチャネルの成分は、ブロック７２８で数式（５）によって０．５が乗算されたそのレベルが調節される。

ブロック７３０で、Ｌｏチャネルに反映される多チャネル成分は、時間ドメインでダウンミックスされる。ダウンミックスされた結果は、ブロック７４０で後処理されて最終的にステレオＬｅｆｔ（Ｌｏ）信号を生成する。

次いで、Ｒｏチャネルでメジャータイプは、ｌｏｎｇタイプである。よって、Ｒｂ、Ｒｓ、Ｒチャネルの周波数係数は、ブロック７１１でダウンミックスされ、ダウンミックス結果で生成された周波数係数は、ブロック７２３で逆変換される。

ブロック７３１で、Ｒｏを構成する多チャネル成分は、時間ドメインでダウンミックスされる。ダウンミックスされた結果はブロック７４１で後処理され、最終的にステレオＲｉｇｈｔ（Ｒｏ）信号を生成する。

図８は、本発明の一実施形態によって７．１チャネルのオーディオ信号をＬｅｆｔ／Ｒｉｇｈｔ ｔｏｔａｌ方式でダウンミックスする過程を説明するためのブロック図である。

図８に示したように、７．１チャネルでＬＦＥチャネルを除いたＬ、Ｌｓ、Ｌｂ、Ｃ、Ｒｂ、Ｒｓ、Ｒチャネルのオーディオサンプルは、それぞれ順にｓｈｏｒｔ、ｓｈｏｒｔ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇ、ｌｏｎｇタイプのブロックを用いてエンコードされ、ダウンミックスは、下記の式によると仮定する。

Ｌｔ＝Ｌ＋０．７０７Ｃ−０．７０７（Ｌｓ＋Ｒｓ）−０．５（Ｌｂ＋Ｒｂ） （７）
Ｒｔ＝Ｒ＋０．７０７Ｃ＋０．７０７（Ｌｓ＋Ｒｓ）＋０．５（Ｌｂ＋Ｒｂ） （８）
（Ｌｔ、Ｒｔ：ステレオ左／右、Ｌ：ｌｅｆｔ、Ｒ：Ｒｉｇｈｔ、Ｌｓ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ、Ｒｓ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ、Ｌｂ：Ｌｅｆｔ Ｂａｃｋ、Ｒｂ：Ｒｉｇｈｔ Ｂａｃｋ、Ｃ：Ｃｅｎｔｅｒ）
このような場合、Ｌｏ／Ｒｏチャネル両方でメジャータイプは、ｌｏｎｇタイプである。マイナータイプが適用されたＬ、Ｌｓは、周波数ドメインでのダウンミックスなしにブロック８２０、８２１で逆変換される。Ｌｔチャネルを構成する多チャネル成分のうちメジャータイプが適用されたＬｂ、Ｃ、Ｒｂ、Ｒｓチャネルの周波数係数は、ブロック８１０でダウンミックスされる。ダウンミックス結果で生成された周波数係数は、ブロック８２２で逆変換される。

ブロック８３０で、Ｌｔチャネルを構成する多チャネル成分は、時間ドメインでダウンミックスされる。図８に示したように、Ｌｓチャネルの成分は、式（７）によってそのレベルが調節された後、ダウンミックスされる。

ブロック８３０で出力された信号はブロック８４０で後処理され、その結果、最終的にステレオＬｅｆｔ信号（Ｌｔ）が出力される。

次いで、Ｒｔチャネルを構成する多チャネル成分のうちメジャータイプが適用されたＲ、Ｒｓ、Ｒｂ、Ｃ、Ｌｂチャネルの周波数係数は、ブロック８１１でダウンミックスされる。ダウンミックス結果で生成された周波数係数は、ブロック８２３で逆変換される。

ブロック８３１で、Ｒｔチャネルを構成する多チャネル成分は、時間ドメインでダウンミックスされる。図８に示したように、Ｌｓチャネルの成分は、式（８）によってそのレベルが調節された後、ダウンミックスされる。

ブロック８３１で出力された信号はブロック８４１で後処理され、その結果、最終的にステレオＲｉｇｈｔ信号（Ｒｔ）が出力される。

図９は、本発明の一実施形態によるダウンミックス装置の構造を示す図面である。図９に示したように、本発明の一実施形態によるダウンミックス装置９００は、ブロックタイプ判断部９１０、ダウンミックス実行部９２０、変換部９３０及びステレオ信号生成部９４０を備える。

ブロックタイプ判断部９１０は、多チャネル周波数係数それぞれについて、該チャネルでいかなるタイプのブロックを用いてオーディオサンプルデータをエンコードしたかを判断する。例えば、ターゲットチャネルがステレオである場合、ステレオＬｅｆｔ／Ｒｉｇｈｔ各チャネルに反映される多チャネル成分が、いかなるブロックタイプを使ってオーディオサンプルデータをエンコードした結果物であるかを判断する。

ダウンミックス実行部９２０は、ブロックタイプ判断部９１０の結果を参照してターゲットチャネルそれぞれについて最も多く使われたブロックタイプ、すなわち、メジャータイプに当たるチャネルの周波数係数をダウンミックスする。ここでのダウンミックスは、周波数ドメインでのダウンミックスであり、前述したように多チャネル周波数係数は、ダウンミックスされる前の数式（１）ないし（６）のような所定の数式によってレベルが調節される。

ダウンミックス方式がＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式であり、使用頻度の同じブロックタイプが複数である場合、多チャネル周波数係数のうちステレオチャネルの両方に反映される共通チャネルの周波数係数に使われていないブロックタイプをメジャータイプと定めることが望ましい。

変換部９３０は、ダウンミックス実行部９２０で出力された周波数係数を、逆変換を通じて時間ドメインの信号に変換する。逆変換のためにＩＦＦＴなどが使われるが、変換関数は特定なものと限定しない。

ステレオ信号生成部９４０は、変換部９３０で出力された時間ドメインの信号を用いて最終的なターゲットチャネルの信号を生成する。ステレオ信号生成部９４０は、レベル調節部９４１及びダウンミックス部９４２を備える。

レベル調節部９４１は、多チャネル成分のうちダウンミックス実行部９２０でダウンミックスされていないチャネルの信号を、数式（１）ないし（６）のような所定の数式によって時間ドメインでレベル調節する。

ダウンミックス部９４２は、周波数ドメインでダウンミックスされていない信号、すなわち、レベル調節部９４１でレベルが調節された信号及び周波数ドメインでダウンミックスされた信号を時間ドメインでダウンミックスし、最終的なタケッチャネルの信号を出力する。

一方、前述した本発明の実施形態はコンピュータで行われるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。

前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ディーブイディーなど）及びキャリアウェーブ（例えば、インターネットを通じる送信）などの記録媒体を含む。

実施形態は、ユニットがバスを介して連結され、そのバスに連結されて前述した機能及びコマンドを構築するための動作を制御する少なくとも一つのプロセッサ（例えばＣＰＵ、マイクロプロセッサなど）を備える一つの装置、例えば、モバイルデバイスによって具現される。

実施形態は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のように作業を行うソフトウェアやハードウェアで具現できるということを、当業者ならば理解できるであろう。ユニットやモジュールは、アドレスを持つ記録媒体に搭載され、少なくとも一つのプロセスやマイクロプロセッサを実行する。よって、ユニットやモジュールは、例えば、ソフトウェア要素、客体中心要素、クラス要素、タスク要素、プロセス、ファンクション、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、変数を含む。要素及びユニット内で提供される機能性は、さらに少ない数の要素及びユニットまたはモジュールに合わせられるか、または付加的な要素及びユニットまたはモジュールに分離される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態に具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は本発明に含まれていると解釈されねばならない。

Claims (8)

1. 多チャネルオーディオ信号をターゲットチャネルにダウンミックスする方法において、
   多チャネル周波数係数それぞれに対して該オーディオサンプルのエンコードに適用されたブロックタイプを判断する段階と、
   前記判断結果によってターゲットチャネルそれぞれについて最も多く使われたブロックタイプの周波数係数同士でダウンミックスする段階と、
   前記ダウンミックスされた結果で生成された周波数係数及び前記多チャネル周波数係数のうち、ダウンミックスされていない周波数係数を時間ドメインの信号に変換する段階と、
   前記時間ドメインの信号を用いてターゲットチャネルの信号を生成する段階と、を含むことを特徴とする方法。
2. 前記ターゲットチャネルの信号を生成する段階は、
   前記ダウンミックスされていない周波数係数から生成された信号のレベルを調節する段階と、
   前記調節された信号と、前記ダウンミックス結果で変換された周波数係数から生成された信号とをダウンミックスする段階と、を含むことを特徴とする請求項１に記載の方法。
3. 前記ダウンミックスする段階は、
   ダウンミックス方式がＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式であり、使用頻度の同じブロックタイプが複数である場合、前記多チャネル周波数係数のうちステレオチャネルに反映される周波数係数を定め、前記定められた周波数係数に使われていないブロックタイプを、前記最も多く使われたブロックタイプと定める段階を含むことを特徴とする請求項１に記載の方法。
4. 多チャネルオーディオ信号をターゲットチャネルにダウンミックスする装置において、
   多チャネル周波数係数それぞれについて、該オーディオサンプルのエンコードに適用されたブロックタイプを判断するブロックタイプ判断部と、
   前記判断結果によって、ターゲットチャネルそれぞれについて最も多く使われたブロックタイプの周波数係数同士でダウンミックスするダウンミックス実行部と、
   前記ダウンミックスされた結果で生成された周波数係数及び前記多チャネル周波数係数のうち、ダウンミックスされていない周波数係数を時間ドメインの信号に変換する変換部と、
   前記時間ドメインの信号を用いてターゲットチャネルの信号を生成するターゲットチャネル信号生成部と、を備えることを特徴とする装置。
5. 前記ターゲットチャネル信号生成部は、
   前記ダウンミックスされていない周波数係数から生成された信号のレベルを調節するレベル調節部と、
   前記調節された信号と、前記ダウンミックス結果で変換された周波数係数から生成された信号とをダウンミックスするダウンミックス部と、を備えることを特徴とする請求項４に記載の装置。
6. 前記ダウンミックス実行部は、
   前記ダウンミックス部がＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ｏｎｌｙ方式を使い、使用頻度の同じブロックタイプが複数である場合、前記多チャネル周波数係数のうちステレオチャネルに反映される周波数係数を定め、前記定められた周波数係数に使われていないブロックタイプを、前記最も多く使われたブロックタイプと定めることを特徴とする請求項４に記載の装置。
7. 前記ブロックタイプは、ｌｏｎｇタイプとｓｈｏｒｔタイプとを含むことを特徴とする請求項４に記載の装置。
8. 請求項１に記載の方法を行うコンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images