以下、本発明の実施形態について、図面を参照して説明する。
上述したように、例えば5.1chを超えるような複数の音声チャンネルの音声信号のチャンネル数を、提供するコンテンツに依存せずに一意に変換すると、種々の不都合が想定される。
例えば、このようなチャンネル数の変換を行うと、音声信号におけるラウドネスに変化が生じるため、ラウドネスを調整しなければならない。特に、上述のようなチャンネル数の変換を行うと、音声信号を加算する際にレベルがオーバするという問題が生じる。このため、ダウンミックス等のチャンネル数変換の処理においては、信号レベルがオーバフローしないように、チャンネル数変換前の音声信号に1より小さい係数を乗じてからダウンミックスを行うのが一般的である。
しかしながら、このようにすると、ラウドネスが大幅に低下してしまい、チャンネル数を変換することでラウドネスが変化してしまうという問題が発生する。
そこで、本実施形態においては、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号におけるラウドネスが、変換後も維持されるようにする。
図1は、本発明の一実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。
図1に示すように、本実施形態に係るチャンネル数変換装置1は、制御部10、および記憶部20を備えている。制御部10は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換したものを出力する。図1においては、チャンネル数変換装置1の左側から22.2chの音声信号が入力され、チャンネル数変換装置1の左側から、例えば5.1chのような、チャンネル数が変換された音声信号が出力される様子を示してある。
以下、制御部10および記憶部20を含んで本発明に係るチャンネル数変換装置1を構成するものとして説明する。しかしながら、本発明はこのような実施形態に限定されるものではない。例えば、制御部10が記憶部20を内蔵するような構成としたり、チャンネル数変換装置1を制御部10および記憶部20の機能を有するシステムオンチップ(SoC)として構成するなど、種々の構成態様を想定することができる。
制御部10は、例えばプロセッサまたはマイコンなどの任意の処理装置を含んで構成することができる。本実施形態において、制御部10は、音声信号を含む各種のデータの入力に基づいて、当該データを解析したり、各種の演算処理を施したりする。また、制御部10は、必要に応じて各種の解析結果を記憶部20に記憶させたり、必要に応じて記憶部20に記憶された各種情報を読み出したりすることができる。特に、本実施形態において、制御部10は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換する処理を行う。また、本実施形態において、制御部10は、このようなチャンネル数の変換に関連する各種の処理も行う。本実施形態において制御部10が行う処理については、さらに後述する。
記憶部20は、任意のメモリ装置を含んで構成することができる。記憶部20は、制御部10が上述したようなデータ解析および各種の演算処理などを行う際のアルゴリズム、およびルックアップテーブル(LUT)のような各種の参照テーブルなども記憶する。
上述したように、本実施形態に係るチャンネル数変換装置1は、複数のチャンネルの音声信号の入力に基づいて、当該音声信号のチャンネル数を変換してから出力する。ここで、チャンネル数変換装置1が扱う音声信号の複数のチャンネル数は特に限定されるものではなく、任意の複数のチャンネルとすることができる。しかしながら、本実施形態に係るチャンネル数変換装置1は、5.1chを超えるようなマルチチャンネルの音声信号を扱うのに特に好適である。以下の説明においては、チャンネル数変換装置1に入力される音声信号は、例として、SHVにおいて採用される22.2chサラウンドの音声信号である場合について述べる。ここで、チャンネル数変換装置に入力する22.2chの音声信号は、例えばPCM信号または圧縮符号化した信号など、種々の形式の信号とすることができる。
すなわち、本実施形態で22.2chの音声信号に基づく音声の再生を行う音響システムにおいてスピーカが配置される位置は、規格SMPTE ST2036−2−2008に規定されている。SHVの音響システムでは、聴取位置を中心とする三次元空間において、ch1〜12の中層には10個のスピーカを配置し、ch13〜21の上層(Top)に9個のスピーカを配置し、ch22〜24の下層(Bottom)に3個のスピーカを配置する。なお、ch4および10は、低域効果音(LFE)用のチャンネルである。このように、22.2chの音響システムにおいては、合計24chのチャンネルの音声信号に基づく音声を再生する。
次に、本実施形態に係るチャンネル数変換装置1において、複数のチャンネルの音声信号の入力に基づいて、チャンネル数を変換する際の処理について説明する。
図2は、本発明の一実施形態におけるチャンネル数の変換を説明する図である。図2は、チャンネル数変換装置1が、複数の音声チャンネルの音声信号を入力されて、当該音声信号のチャンネル数を変換してから出力する際の処理の流れを、左から右の方向に示している。
チャンネル数変換装置1に22.2chの音声信号が入力されると、制御部10は、入力された22.2ch音声信号のラウドネス値を測定する(ステップS11)。
ここで、複数の音声チャンネルを有する音響システムのラウドネスの測定方法は、現状の5.1ch用の測定方法または方向別のラウドネスを考慮した方法など、任意の手法とすることができる。従来の5.1chの音声信号からラウドネス値を算出する方法については、ARIB技術資料TR−B32(社団法人電波産業会「デジタルテレビ放送番組におけるラウドネス運用規定」)に規定されている。
また、5.1chを超えるようなマルチチャンネルの音声信号のラウドネスを測定する際には、上述のARIB技術資料TR−B32に規定された方法を単純に拡張することもできるが、各チャンネルからの音の到来方向を考慮したラウドネス値を算出してもよい。このように音の到来方向を考慮したラウドネス測定は、本出願人による先の特許出願(特願2014−32190)の明細書に開示したため、ここではその詳細な説明は省略する。
なお、ステップS11において、制御部10が22.2ch音響信号のラウドネス値を測定するのではなく、チャンネル数変換装置1の外部からラウドネスの情報が供給されるようにしてもよい。
ステップS11において音声信号のラウドネスが測定されたら、制御部10は、22.2chの音声信号のチャンネル数を変換する(ステップS12)。本実施形態では、ステップS12において、予め定められたチャンネル数変換手法に基づいて、22.2chのチャンネル数を、5.1chに変換する。
ステップS12において、22.2chの音声信号は、例えば以下の式(1)〜(6)を用いることにより、5.1chにダウンミックスすることができる。特に、チャンネル数変換装置1が、ラウドネスを逐次的に制御する機能を有さない場合、または、ラウドネス制御の信号を外部などから取得できない場合などは、以下の固定ダウンミックス係数を用いてチャンネル数変換を行うのが有利である。
この係数を用いることで、22.2ch信号時の音声バランスを大幅に損なうことなく、また大幅なラウドネスの変化を生じることなく、チャンネル数を5.1chに変換することができる。なお、以下の変換式中の係数をdBに変換すると、1/2
1/2は−3dBに、1/2
3/4は−4.5dBに、1/2は−6dBに対応する。この関係は、真数表示において完全には一致しないが、例えば±0.01程度の範囲のような、ある程度の数値のズレは、本式に規定する関係に含まれるものとする。また、このようなチャンネル数変換において、各チャンネル間の係数比を維持したまま、全チャンネルのレベルをシフトさせることにより、全体のレベルを上げ下げしてもよい。
また、上述のようにして22.2chの音声信号を5.1chにダウンミックスする際は、上記の式(1)〜(6)に代えて、以下の式(7)〜(12)を用いてもよい。これらの式に示す固定ダウンミックス係数を用いることで、22.2ch信号時の音声バランスを損なうことなく、さらに好適にチャンネル数を5.1chに変換することができる。
さらに、上述のようにして22.2chの音声信号を5.1chにダウンミックスする際は、上記の式(1)〜(6)または式(7)〜(12)に代えて、以下の式(13)〜(18)を用いてもよい。これらの式に示した係数g
1〜g
5およびg
LFEの関係を維持してダウンミックスをおこなうことで、22.2ch信号時の音声バランスを大きく損なうことなく、5.1ch信号のレベルやラウドネスの調整幅を拡大することができる。このため、さらに好適にチャンネル数を5.1chに変換することができる。なお、各係数はそれぞれ等しい値とすることも可能である。
なお、ステップS12におけるチャンネル数変換は、5.1chと同様の固定されたダウンミックス係数によるチャンネル数変換の他、三次元的なチャンネル配置を所望のチャンネル配置・数にレンダリングする方法(例えば、A. Ando and K. Hamasaki, “Sound intensity based three-dimensional panning,” AES Convention, Convention Paper 7675 (2009)など参照)などを用いることができる。
ステップS12においてチャンネル数が変換されたら、制御部10は、チャンネル数変換後の音声信号のラウドネスを再び測定する(ステップS13)。なお、ステップS13において、チャンネル数変換方式が既知の場合には、制御部10が22.2ch音響信号のラウドネス値を測定するのではなく、チャンネル数変換装置1の外部からラウドネスの情報が供給されるようにしてもよい。この場合、これらの情報は、チャンネル数変換装置1の外部から供給されるコンテンツ情報に付随する情報として供給されるようにしてもよい。
ステップS13において音声信号のラウドネスが測定されたら、制御部10は、ステップS11およびステップS13で測定したラウドネスに基づいて、音声信号のラウドネスを調整する(ステップS14)。具体的には、ステップS14では、制御部10は、ステップS14において測定されるラウドネス値が、ステップS11において測定されたラウドネス値に近づくように、信号レベルの調整をおこなう。
ステップS14における信号レベル調整の精度は、例えば、モメンタリ値の精度に追随させたり、または、信号レベル差が1LKFSを超えた場合に調整を行ったりするなど、コンテンツの要求精度に合わせた種々の指標を採用することができる。また、ステップS14におけるレベル調整は、例えば、コンプレッサ、リミッタ、メイクアップ(ゲイン調整)を用いる手法のみならず、EQまたは位相シフトを用いる手法などを適宜用いることもできる。
ステップS14において音声信号のラウドネスが調整されたら、チャンネル数変換装置1は、チャンネル数を変換した音声信号を出力することができる。
このように、本実施形態において、チャンネル数変換装置1は、複数の音声チャンネル(例えば22.2ch)の音声信号のチャンネル数を(例えば5.1chなどの少ないチャンネル数に)変換する。ここで、制御部10は、複数の音声チャンネルの音声信号のチャンネル数を変換する前後のラウドネスに基づいて、当該音声信号のチャンネル数を変換した後のラウドネスを調整する。また、制御部10は、音声信号のチャンネル数を変換した後のラウドネスを、当該音声信号のチャンネル数を変換する前のラウドネスに近づけるように調整するようにするのが好適である。
また、上述したように、本実施形態において、制御部10は、複数の音声チャンネルの音声信号のチャンネル数を変換する前のラウドネス、および当該音声信号のチャンネル数を変換した後のラウドネスの少なくとも一方を測定するように構成してもよい。また、制御部10は、複数の音声チャンネルの音声信号のチャンネル数を変換する前のラウドネスの情報、および当該音声信号のチャンネル数を変換した後のラウドネスの情報の少なくとも一方を、チャンネル数変換装置1の外部から供給されるようにしてもよい。
このように、本実施形態においては、チャンネル数を変換する前のラウドネス値を測定し、チャンネル数変換時に利用することにより、ラウドネスを調整する。
したがって、本実施形態に係るチャンネル数変換装置によれば、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号のラウドネスを、変換後も維持することができる。
本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを1つに組み合わせたり、あるいは分割したりすることが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
また、上述した実施形態においては、SHVに採用される22.2chのマルチチャンネルの音声信号を少ないチャンネル数に変換する装置を説明したが、本発明は、このような実施形態に限定されない。本発明は、SHVに採用される22.2chのマルチチャンネルのみならず、その他のチャンネルベースの立体音響フォーマットにおいても実施することができる。また、本発明は、上述した22.2chなどのチャンネルベース方式以外にも、Dolby ATMOSなどのオブジェクトベース方式、または高次アンビソニックスなどのシーンベース方式に適用することもできる。
また、上述した実施形態では、ステップS11およびステップS13の信号レベルの測定は、ラウドネス値を指標として用いてラウドネスを測定する態様を説明した。しかしながら、本発明におけるステップS11およびステップS13の信号レベル測定は、ラウドネス測定に限定されるものではない。例えば、ダイアログにとって重要であるホルマント成分の帯域に限定した信号レベル比、または聴覚心理上敏感な4kHz付近のみに着目した信号レベル比など、使用の目的によって、基準とする指標を適宜変更することができる。
また、上述した実施形態では、制御部10が、ステップS11およびステップS13においてラウドネスの測定を行う態様について説明した。しかしながら、本発明はこのような態様に限定されるものではなく、各種の情報を適宜外部から供給されるように構成してもよい。例えば、分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方は、制御部10が測定するのではなく、これらの信号レベル(ラウドネス)の情報をチャンネル数変換装置1の外部から供給されるようにしてもよい。