JP2014204317A - 音響信号再生装置、音響信号作成装置 - Google Patents

Abstract

【課題】複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換を行う。
【解決手段】本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載されたチャンネル変換係数に基づき、前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える。
【選択図】図１

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置、音響信号作成装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。チャンネル数の増加に伴い、スピーカ設置の制約から番組制作時の音響方式と再生環境の音響方式が異なる場合が考えられる。また、後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合で、チャンネル変換係数を変えたい場合もある。5.1サラウンドから2チャンネルステレオに変換する場合など、チャンネル変換係数が定められている場合があるが、想定される再生環境が一様ではなく、画一的なチャンネル変換係数を定めるだけでは、十分な音響品質が得られなかった。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載されたチャンネル変換係数に基づき、前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える。

また、前記チャンネル変換係数は映像フォーマット毎に記載されており、前記再生チャンネル変換部は、前記制作環境及び前記再生環境の映像フォーマットに対応するチャンネル変換係数により前記音響チャンネル信号の変換を行うことが好ましい。

また、前記チャンネル変換係数は前記音響空間層毎に記載されており、前記再生チャンネル変換部は、対応するチャンネル変換係数により前記各音響空間層の音響チャンネル信号の変換を行うことが好ましい。

さらに、上述した諸課題を解決すべく、本発明に係る音響信号作成装置は、複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、各音響空間層の音響チャンネル信号と、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータと、を多重化する多重化部を備える。

また、前記多重化部は、映像フォーマット毎に記載された前記チャンネル変換係数を多重化することが好ましい。

また、前記多重化部は、前記音響空間層毎に記載された前記チャンネル変換係数を多重化することが好ましい。

本発明に係る音響信号再生装置及び音響信号作成装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換を行うことが可能になる。

本発明の一実施形態に係る音響信号再生装置の構成を示す図である。 マルチチャンネル音響信号に含まれる音響空間層及び再生環境のチャンネル配置の一例を示す図である。 マルチチャンネル音響信号におけるメタデータの一例を示す図である。 マルチチャンネル音響信号におけるメタデータの一例を示す図である。 マルチチャンネル音響信号に含まれる音響空間層及び再生環境のチャンネル配置の一例を示す図である。 マルチチャンネル音響信号におけるメタデータの一例を示す図である。 本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生チャンネル変換部１３と、チャンネル変換判定部１５と、チャンネル変換係数生成部１６とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータをチャンネル変換判定部１５に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層（制作環境）及び再生環境のチャンネル配置の一例を示す図である。チャンネル配置１００はマルチチャンネル音響信号に含まれる音響空間層（制作環境）のチャンネル配置であり、利用者００１を中心に１０チャンネル（１１０〜２００）が配置される。一方、チャンネル配置３００はマルチチャンネル音響信号の再生環境のチャンネル配置であり、利用者００１を中心に５チャンネル（３１０〜３５０）が配置される。即ち、図２の場合、１０チャンネルの制作環境から、５チャンネルの再生環境へのチャンネル変換が必要となる。

図３は、図２に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。図３のメタデータには、マルチチャンネル音響信号に含まれる音響空間層（Sound Field 01）は、制作環境のチャンネル配置として１０チャンネルを持つことが記載される。また、各音響チャンネル信号１１０〜２００に対して、音響チャンネル信号の番号（Channel 01-10）、チャンネルラベル（FL FR FC BL BR FLc FRc SiL SiR BC）、スピーカ位置（角度）が記載されている。例えば、音響チャンネル信号１１０は、チャンネル番号がChannel 01、チャンネルラベルがＦＬ、スピーカ位置は利用者正面をゼロ度として時計回りに３００度と記載されている。また、他の９つの音響チャンネル信号１２０〜２００についても、それぞれの音響チャンネル信号の番号、チャンネルラベル、スピーカ位置が記載されている。

さらに図３のメタデータは、１０チャンネルの制作環境から５チャンネルの再生環境に変換する場合のチャンネル変換係数（Channel conversion）が含まれる。再生環境における各チャンネル３１０〜３５０に対して、チャンネルラベル（L R C BL BR）、スピーカ位置、チャンネル変換係数が記載されている。例えば、再生環境におけるチャンネル３１０は、チャンネルラベルがＬ、スピーカ位置は利用者正面をゼロ度として時計回りに３３０度であり、チャンネル変換係数として、制作環境の音響チャンネル信号を「FLc+0.88*FL+0.632*SiL」と計算したものを音響信号とすることが記載されている。また、他の４つのチャンネル３２０〜３５０についても、それぞれのチャンネルのチャンネルラベル、スピーカ位置、チャンネル変換係数が記載されている。

なお、図３では、スピーカ位置を水平面内の配置として表しているが、スピーカ位置を三次元的に表すことも可能である。例えば、メタデータに利用者を中心とした各音響チャンネル信号の方位角、仰角、距離を記載することによって、スピーカ位置を三次元的に表現することができる。また、スピーカ位置を三次元座標によって表現することも可能である。また、図３では、チャンネル変換係数をスピーカ位置の角度比によって求めているが、後方のチャンネルは少しレベルを下げて加算するなどしてもよい。

復号化部１２は、デマルチプレクサ１１からの音響チャンネル信号をチャンネルごとに復号化し、メタデータに基づいて、音響チャンネル信号を音響空間層毎にグルーピングすする。復号化部１２は、デコードした音響チャンネル信号を再生チャンネル変換部１３に出力する。

チャンネル変換判定部１５は、メタデータから取得する制作環境のチャンネル配置と、予め記憶されている再生環境データから取得した再生環境のチャンネル配置とを比較し、チャンネル変換を行うかどうかを判定する。チャンネル変換判定部１５は、制作環境及び再生環境のチャンネル配置が同じ場合など、チャンネル変換が不要であると判定した場合、各音響チャンネル信号をそのままスピーカ１４の入力信号とするよう再生チャンネル変換部１３に指示を出す。また、チャンネル変換判定部１５は、制作環境及び再生環境のチャンネル配置が異なる場合など、チャンネル変換が必要であると判定した場合、チャンネル変換係数生成部１６にチャンネル変換係数を生成するよう指示を出す。

チャンネル変換係数生成部１６は、メタデータを参照し、制作環境及び再生環境のチャンネル変換係数がメタデータに記載されているか判定する。チャンネル変換係数生成部１６は、メタデータに制作環境及び再生環境のチャンネル変換係数が記載されている場合、当該チャンネル変換係数を再生チャンネル変換部１３に出力する。また、チャンネル変換係数生成部１６は、メタデータに制作環境及び再生環境のチャンネル変換係数が記載されていない場合、制作環境及び再生環境のチャンネル配置に基づきチャンネル変換係数を算出し、再生チャンネル変換部１３に出力する。チャンネル変換係数生成部１６によるチャンネル変換係数の算出は、再生環境のスピーカにより制作環境のスピーカ方向に虚音像を生成するなど、任意の好適な方法を用いることができる。例えば、チャンネル変換係数の算出方法として、ＶＢＡＰ（Vector Base Amplitude Panning）や音響インテンシティが一致するように算出する方法などがある。このほか、ＷＦＳ（Wave Field Synthesis）といった方法でチャンネル変換係数を算出してもよい。

再生チャンネル変換部１３は、チャンネル変換判定部１５がチャンネル変換は不要であると判定した場合、復号化部１２からの各音響チャンネル信号をそのままスピーカ１４への入力信号として出力する。再生チャンネル変換部１３は、チャンネル変換判定部１５がチャンネル変換は必要であると判定した場合、チャンネル変換係数生成部１６からのチャンネル変換係数に基づき各音響チャンネル信号を加算し、スピーカ１４への入力信号として出力する。

このように、本実施形態によれば、再生チャンネル変換部１３は、マルチチャンネル音響信号に含まれるメタデータに記載されたチャンネル変換係数に基づき、各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと音響チャンネル信号の変換を行う。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能になる。特に、5.1サラウンドから2チャンネルステレオに変換する場合などの典型的な変換以外に、任意のスピーチ配置間のチャンネル変換を柔軟に規定することが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、スーパーハイビジョン（Ultra High Definition Television）の映像フォーマットであるUHDTV-1とUHDTV-2とでは想定されている視野角が異なるため、再生環境のチャンネル数が同じ場合でも、メタデータには映像フォーマット毎に異なるチャンネル変換係数が記載されることが望ましい。図４は、図２に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。図４に示すメタデータは、１０チャンネルの制作環境から５チャンネルの再生環境に変換する場合のチャンネル変換係数に関する点で図３と共通するが、映像フォーマットごとに異なるチャンネル変換係数が記載されるものである。図４のメタデータには、マルチチャンネル音響信号に含まれる音響空間層（Sound Field 01）は、制作環境のチャンネル配置として１０チャンネルを持つことと、映像フォーマットがUHDTV-2であることが記載される。さらに図４のメタデータには、UTDTV-2とUHDTV-1とのそれぞれについて、１０チャンネルの制作環境から５チャンネルの再生環境に変換する場合のチャンネル変換係数が記載されている。具体的には、UHDTV-1とUHDTV-2とでは画面の両サイドに位置するＬチャンネルとＲチャンネルのスピーカ位置が異なる。このため、例えば再生環境のＬｃｈは制作環境のＦＬチャンネルと対応するか、又は制作環境のＦＬｃチャンネルと対応するかという差異があり、かかる差異に基づき各映像フォーマットで異なるチャンネル変換係数が設定される。

この場合、再生チャンネル変換部１３は、制作環境及び再生環境の映像フォーマットに対応するチャンネル変換係数により音響チャンネル信号の変換を行う。これにより、制作環境及び再生環境の映像フォーマットに合わせた最適なチャンネル変換が可能となり、音響信号の再生品質を向上させることが可能となる。

また、音響空間層毎に異なるチャンネル変換係数をメタデータに記載することも可能である。図５は、複数の音響空間層（制作環境）及び再生環境のチャンネル配置の一例を示す図である。チャンネル配置２００はマルチチャンネル音響信号に含まれる第１の音響空間層（制作環境）のチャンネル配置を示すものであり、利用者００１を中心に５チャンネル（２１０〜２５０）が配置される。また、チャンネル配置３００はマルチチャンネル音響信号に含まれる第２の音響空間層（制作環境）のチャンネル配置を示すものであり、利用者００１を中心に５チャンネル（３１０〜３５０）が配置される。チャンネル配置４００はマルチチャンネル音響信号の再生環境のチャンネル配置であり、利用者００１を中心に２チャンネル（４１０、４２０）が配置される。即ち、図５の場合、第１及び第２の音響空間層に共通する５チャンネルの制作環境から、２チャンネルの再生環境へのチャンネル変換が必要となる。

図６は、図５に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。図６のメタデータには、マルチチャンネル音響信号の番組コンテンツはドラマ（Drama）であって、２つの音響空間層を持つことが記載されている。第１の音響空間層２００（Sound Field 01）は音声（Dialogue）であり、制作環境のチャンネル配置として５チャンネル（２１０〜２５０）を持つことが記載される。第２の音響空間層３００（Sound Field 02）は背景音（BGM）であり、制作環境のチャンネル配置として５チャンネル（３１０〜３５０）を持つことが記載される。

さらに図６のメタデータは、５チャンネルの制作環境から２チャンネルの再生環境へのチャンネル変換係数が、第１及び第２の音響空間層それぞれに対して記載される。具体的には、音声である第１の音響空間層２００（Sound Field 01）は、どの方向からも明瞭に発言内容が聞こえるように、BL、BRも均等に加算するチャンネル変換係数となる。一方、背景音である第２の音響空間層３００（Sound Field 02）では、後方チャンネルは会場の歓声などにより前方から同じ音量で再生すると大きく感じられる場合がある。そこで、第２の音響空間層３００においては、BL、BRのチャンネルの比率を小さく加算するチャンネル変換係数となる。さらに、第１及び第２の音響空間層全体の加算割合が記載されており、第１の音響空間層２００の音量を１とした場合、第２の音響空間層３００の音量の割合が０．８となるように各音響空間層の信号が加算される。

この場合、再生チャンネル変換部１３は、各音響空間層に対応するチャンネル変換係数により各音響空間層の音響チャンネル信号の変換を行う。これにより、例えば後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合など、収録されている音響空間層の種類、役割によってチャンネル変換係数を変えることができ、より番組コンテンツ及び再生環境に合致したチャンネル変換が可能となる。

図７は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、各音響空間層の音響チャンネル信号と、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。また、マルチプレクサ２３は、映像フォーマット毎に記載されたチャンネル変換係数を多重化することができる。また、マルチプレクサ２３は、音響空間層毎に記載された前記チャンネル変換係数を多重化することができる。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、各音響空間層の音響チャンネル信号と、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能になる。特に、5.1サラウンドから2チャンネルステレオに変換する場合などの典型的な変換以外に、任意のスピーチ配置間のチャンネル変換を柔軟に規定することが可能となる。

また、マルチプレクサ２３は、映像フォーマット毎に記載されたチャンネル変換係数を多重化する。これにより、音響信号再生装置側で、制作環境及び再生環境の映像フォーマットに合わせた最適なチャンネル変換が可能となり、音響信号の再生品質を向上させることが可能となる。

また、マルチプレクサ２３は、音響空間層毎に記載された前記チャンネル変換係数を多重化する。これにより、音響信号再生装置側で、例えば後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合など、収録されている音響空間層の種類、役割によってチャンネル変換係数を変えることができ、より番組コンテンツ及び再生環境に合致したチャンネル変換が可能となる。

１０ 音響信号再生装置
１１ デマルチプレクサ
１２ 復号化部
１３ 再生チャンネル変換部
１４ スピーカ
１５ チャンネル変換判定部
１６ チャンネル変換係数生成部
２０ 音響信号作成装置
２１ ミキサ
２２ 符号化部
２３ マルチプレクサ（多重化部）

Claims (6)

1. 複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、
   前記マルチチャンネル音響信号に含まれるメタデータに記載されたチャンネル変換係数に基づき、前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える音響信号再生装置。
2. 前記チャンネル変換係数は映像フォーマット毎に記載されており、
   前記再生チャンネル変換部は、前記制作環境及び前記再生環境の映像フォーマットに対応するチャンネル変換係数により前記音響チャンネル信号の変換を行う、請求項１に記載の音響信号再生装置。
3. 前記チャンネル変換係数は前記音響空間層毎に記載されており、
   前記再生チャンネル変換部は、対応するチャンネル変換係数により前記各音響空間層の音響チャンネル信号の変換を行う、請求項１に記載の音響信号再生装置。
4. 複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、
   各音響空間層の音響チャンネル信号と、
   制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータと、を多重化する多重化部を備える音響信号作成装置。
5. 前記多重化部は、映像フォーマット毎に記載された前記チャンネル変換係数を多重化する、請求項４に記載の音響信号作成装置。
6. 前記多重化部は、前記音響空間層毎に記載された前記チャンネル変換係数を多重化する、請求項４に記載の音響信号作成装置。
   

Images