JP2014222856A

JP2014222856A - 音響信号再生装置、音響信号作成装置

Info

Publication number: JP2014222856A
Application number: JP2013102436A
Authority: JP
Inventors: 大出　訓史; Norifumi Oide; 訓史大出; 靖茂中山; Yasushige Nakayama; 渡辺　馨; Kaoru Watanabe; 馨渡辺
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2013-05-14
Filing date: 2013-05-14
Publication date: 2014-11-27
Anticipated expiration: 2033-05-14
Also published as: JP6228389B2

Abstract

【課題】複数の音響空間層を持つマルチチャンネル音響方式に対応し、映像フォーマットに応じた役割を持つ音響チャンネル信号を適切に選択して再生する。
【解決手段】本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の対応する映像フォーマットと、再生環境の映像フォーマットとに基づき選択した１つの音響空間層の音響チャンネル信号の復号化を行う復号化部、を備える。
【選択図】図１

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置、音響信号作成装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。番組制作においては、画面上の映像と音像を一致させる場合があるが、次世代放送フォーマットとして提案されている映像フォーマットに対して想定されている視野角は、例えば30度から100度という大きな幅があり、空間的に同じ位置にスピーカが設置されていても、映像フォーマットによってスピーカの役割が異なる場合がある。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、映像フォーマットに応じた役割を持つ音響チャンネル信号を適切に選択して再生可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の対応する映像フォーマットと、再生環境の映像フォーマットとに基づき選択した１つの音響空間層の音響チャンネル信号の復号化を行う復号化部、を備える。

また、前記復号化部は、前記選択した音響空間層以外の音響空間層の音響チャンネル信号の復号化は行わない、ことが好ましい。

また、前記再生環境の画面配置が、前記映像フォーマットに対する標準配置と異なる場合、前記音響チャンネル信号のうち、画面と連動する音響チャンネル信号が、前記再生環境の画面配置における音響チャンネル位置から再生されるように前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える、ことが好ましい。

また、前記再生環境のスピーカ配置が、前記映像フォーマットに対する標準配置と異なる場合、前記音響チャンネル信号のうち、画面と連動しない音響チャンネル信号が、前記映像フォーマットに対する標準配置から再生されるように前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える、ことが好ましい。

さらに、上述した諸課題を解決すべく、本発明に係る音響信号作成装置は、複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、音響空間層の音響チャンネル信号と、音響空間層の対応する映像フォーマットを含むメタデータと、を多重化する多重化部を備える。

本発明に係る音響信号再生装置及び音響信号作成装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、映像フォーマットに応じた役割を持つ音響チャンネル信号を適切に選択して再生することが可能になる。

本発明の第１の実施形態に係る音響信号再生装置の構成を示す図である。マルチチャンネル音響信号に含まれる音響空間層と映像フォーマットの画面配置の一例を示す図である。マルチチャンネル音響信号におけるメタデータの一例を示す図である。映像フォーマットによるチャンネルの役割の違いを示す図である。再生環境の画面配置が映像フォーマットに対する標準配置と異なる場合の音響チャンネル信号の変換を示す図である。再生環境のスピーカ配置が映像フォーマットに対する標準配置と異なる場合の音響チャンネル信号の変換を示す図である。再生環境の画面配置における音響チャンネル位置と映像フォーマットに対する標準配置との関係を示す図である。振幅パンニング法の概要を示す図である。本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生チャンネル変換部１３とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２及び再生チャンネル変換部１３に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層と映像フォーマットの画面配置の一例を示す図である。図２に示される音響空間層１００は利用者を中心に１０チャンネル（１１０〜２００）が配置される。また、図示の通り、UHDTV（Ultra High Definition Television）の映像フォーマットであるUHDTV-1（4K）に対応する画面配置３２０と、UHDTV-2（スーパーハイビジョン）に対応する画面配置３１０とは、視野角が異なるものである。

図３は、マルチチャンネル音響信号における音響チャンネル信号及びメタデータの一例を示す図である。図３のメタデータ（Sound Essence 000）には、当該マルチチャンネル音響信号が音声（Talk）の役割を持つ１層の音響空間層（Sound Field）であり、映像フォーマットUHDTV-2及びUHDTV-1それぞれに対し、第１の音響空間層（Sound Field 01）及び第２の音響空間層（Sound Field 02）が対応することが記載されている。

第１の音響空間層（Sound Field 01）は、UHDTV-2に対応し、１０チャンネルの完プロ番組（complete mix、再生に必要な音が全て収録された番組）であり、画面左右の視野角が６０度であることが記載されている。また、各音響チャンネル信号１１０〜２００に対して、音響チャンネル信号の番号（Channel 01-10）、チャンネルラベル（FL FR FLc FRc FC SiL SiR BL BR BC）、各チャンネルの位置が画面と連動するか（Linked/Unlinked）が記載されている。

第２の音響空間層（Sound Field 02）は、UHDTV-1に対応し、１０チャンネルの完プロ番組（complete mix、再生に必要な音が全て収録された番組）であり、画面左右の視野角が３０度であることが記載されている。また、各音響チャンネル信号１１０〜２００に対して、音響チャンネル信号の番号（Channel 01-10）、チャンネルラベル（FLw FRw FL FR FC SiL SiR BL BR BC）、各チャンネルの位置が画面と連動するか（Linked/Unlinked）が記載されている。上述の通り、第１の音響空間層及び第２の音響空間層は、各チャンネルの配置は同じ空間位置となるが、画面左右のチャンネルの役割（チャンネルラベル）が異なるものである。

図４は、映像フォーマットによるチャンネルの役割の違いを示す図である。図４（ａ）はUHDTV-1に対応する画面配置３２０と、各チャンネルの役割を示す図である。UHDTV-1の場合、画面配置３２０の両端に対応するチャンネル１３０がＬｃｈ、チャンネル１４０がＲｃｈとなる。また、チャンネル１３０より外側（ワイド側）となるチャンネル１１０はＬｗチャンネル、チャンネル１４０より外側となるチャンネル１２０はＲｗチャンネルとなる。

図４（ｂ）はUHDTV-2に対応する画面配置３１０と、各チャンネルの役割を示す図である。UHDTV-2の場合、画面配置３１０の両端に対応するチャンネル１１０がＬｃｈ、チャンネル１２０がＲｃｈとなる。また、チャンネル１１０より内側（センター側）となるチャンネル１３０はＬｃチャンネル、チャンネル１２０より内側となるチャンネル１４０はＲｃチャンネルとなる。

なお、図４では、画面の両サイドのチャンネルであるＬｃｈ、Ｒｃｈを例に挙げたが、ＬＥＦ（低周波帯域用の効果チャンネル）などを含む他のチャンネルも、映像フォーマットにより役割が変化する場合がある。

復号化部１２は、マルチチャンネル音響信号に含まれるメタデータと再生環境データに基づき、再生環境に対応した音響空間層を選択し、選択した音響空間層に含まれる音響チャンネル信号を復号化する。再生環境データとは、映像フォーマット、画面サイズ、スピーカ配置、利用者の位置などであり、装置毎に予め定められたデータや、リモコン等を通じて利用者から入力されるデータである。

図２、３に示すマルチチャンネル音響信号の場合、復号化部１２は、再生環境データとして映像フォーマットがUHDTV-2である旨の情報を受信すると、第１の音響空間層（Sound Field 01）を選択し、各音響チャンネル信号１１０〜２００の復号化を行う。また、復号化部１２は、再生環境データとして映像フォーマットがUHDTV-1である旨の情報を受信すると、第２の音響空間層（Sound Field 02）を選択し、各音響チャンネル信号１１０〜２００の復号化を行う。なお、復号化部１２は、メタデータ及び再生環境データを参照し、再生対象とならない音響空間層については、当該音響空間層の各音響チャンネル信号の復号化は行わなくてもよい。これにより、復号化に関する消費電力を低減することができる。

再生チャンネル変換部１３は、メタデータと再生環境データとに基づき、各再生スピーカに入力する音響チャンネル信号を生成する。再生チャンネル変換部１３は、再生環境の画面配置及びスピーカ配置が、映像フォーマットに対する標準的な配置（標準配置）と同じか所定の許容範囲内に含まれる場合には、そのまま対応するスピーカより音響チャンネル信号を再生させる。これにより、不要な信号処理による音響品質の劣化を防ぐことができる。なお、画面配置及びスピーカ配置に関する映像フォーマットに対する標準配置とは、各音響空間層における理想的な再生環境であって、例えば標準規格に基づき定めたり、番組制作者が想定する再生環境を適宜設定したりできるものである。再生チャンネル変換部１３は、再生環境の画面配置及びスピーカ配置が、映像フォーマットに対する標準配置と（許容範囲以上）異なる場合には、音響チャンネル信号の変換を行う。

図５は、再生環境の画面配置が映像フォーマットに対する標準配置と異なる場合の音響チャンネル信号の変換を示すものである。ここで、UHDTV-2の画面配置及びスピーカ配置の標準配置は、図４（ｂ）に示す画面配置３１０及びチャンネル１１０〜２００であるものとする。図５では、画面配置３１０は図４（ｂ）に示すUHDTV-2の標準配置と異なる。このため、再生環境の画面配置における音響チャンネル位置は、Ｌチャンネル４１０、Ｌｃチャンネル４３０、Ｒｃチャンネル４４０、Ｒチャンネル４２０として図示するように、標準配置であるチャンネル１１０、１３０、１４０、１２０と異なる位置となる。図３のメタデータにおいて、UHDTV-2に対応する第１の音響空間層のうち、音響チャンネル信号１１０〜１５０は、各チャンネルの位置が画面と連動する（Linked）ことが記載されている。画面配置が標準配置と異なる場合、画面と連動する音響チャンネル信号については、その再生位置の変換が必要となる。このため、再生チャンネル変換部１３は、音響チャンネル信号１１０〜１４０は、図５に示すチャンネル４１０〜４４０の位置に虚音像が生成されるように、音響チャンネル信号の変換を行う。なお、画面配置の変化によるチャンネル位置の変更がない音響チャンネル信号１５０については、音響チャンネル信号の変換を省略することができる。また、音響チャンネル信号１６０〜２００は、各チャンネルの位置が画面と連動しない（UnLinked）ため、再生チャンネル変換部１３は、そのまま対応するスピーカより音響チャンネル信号を再生させる。

図６は、再生環境のスピーカ配置が映像フォーマットに対する標準配置と異なる場合の音響チャンネル信号の変換を示すものである。図６では、画面配置３１０は図４（ｂ）に示すUHDTV-2の標準的な画面配置と異なり、さらに、再生環境の画面配置における音響チャンネル位置に対応して、チャンネル１１０〜１４０を、それぞれＬチャンネル２１０、Ｌｃチャンネル２３０、Ｒｃチャンネル２４０、Ｒチャンネル２２０の位置へと配置したものである。図３のメタデータにおいて、UHDTV-2に対応する第１の音響空間層のうち、音響チャンネル信号１１０〜１５０は、各チャンネルの位置が画面と連動する（Linked）ことが記載されている。図６の場合、スピーカ配置が再生環境の画面配置における音響チャンネル位置となっているため、再生チャンネル変換部１３は、音響チャンネル信号１１０〜１５０は、そのまま対応するスピーカより音響チャンネル信号を再生させる。また、音響チャンネル信号１６０〜２００は、各チャンネルの位置が画面と連動しない（UnLinked）ため、再生チャンネル変換部１３は、対応するスピーカの標準配置の位置に虚音像が生成されるように、音響チャンネル信号の変換を行う。

図７は、再生環境に合わせて配置されたスピーカと映像フォーマットに対する標準配置との関係を示す図である。チャンネル２１０及び２２０は、再生環境の画面配置に合わせて配置されたスピーカであり、チャンネル１１０〜２００は、映像フォーマットにおけるスピーカの標準配置を示すものである。図７において、Ｌｃｈの音響チャンネル信号のメタデータにチャンネルの位置が画面と連動すること（Linked）が記載されている場合、再生チャンネル変換部１３は、チャンネル２１０よりそのままＬｃｈの音響チャンネル信号を再生させる。また、Ｌｃｈの音響チャンネル信号のメタデータにチャンネルの位置が画面と連動しないこと（Unlinked）が記載されている場合、再生チャンネル変換部１３は、チャンネル１１０の位置に虚音像が生成されるように、音響チャンネル信号の変換を行う。

再生チャンネル変換部１３による虚音像の生成には、任意の好適な方法を用いることができる。例えば、音響チャンネル信号の変換方法として、ＶＢＡＰ（Vector Base Amplitude Panning）や音響インテンシティが一致するように変換する方法などがある。このほか、ＷＦＳ（Wave Field Synthesis）といった方法で音響チャンネル信号をレンダリングしてもよい。

図８は、音響チャンネル信号の変換方法の一例である振幅パンニング法の概要を示す図である。振幅パンニング法では、スピーカＳＰ１３の位置に虚音像を生成するため、虚音像の方向を挟み隣り合うスピーカであるスピーカＳＰ２２及びＳＰ２３が用いられる。音響チャンネル信号Ｓ（ｔ）が重み係数Ｗ_Ｌ及びＷ_Ｒによって左右のスピーカＳＰ２３及びＳＰ２２に分配される場合を考える。各スピーカＳＰ２３及びＳＰ２２の挟み込む角度を２θとし、スピーカＳＰ２３及びＳＰ２２の中心から虚音像（スピーカＳＰ１３）までの角度をφとすると、振幅パンニング法におけるタンゼント則では、角度φに音を定位させるための重み係数Ｗ_Ｌ及びＷ_Ｒは、式（１）により表される。

ここで、重み係数Ｗ_Ｌ及びＷ_Ｒの和を１とすると、式（１）の右辺の分母が１となり、重み係数Ｗ_Ｌ及びＷ_Ｒについて式（２）が導き出される。

以上より、再生チャンネル変換部１３は、スピーカＳＰ１３に割り当てられた音響チャンネル信号Ｓ（ｔ）については、式（３）に示すスピーカＳＰ２２及びＳＰ２３それぞれから再生すべき音響信号Ｓ_Ｌ（ｔ）及びＳ_Ｒ（ｔ）へと変換することにより、虚音像によるスピーカ位置の補正を行うことができる。

このように、本実施形態によれば、復号化部１２は、マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の対応する映像フォーマットと、再生環境の映像フォーマットとに基づき選択した１つの音響空間層の音響チャンネル信号の復号化を行う。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、映像フォーマットに応じた役割を持つ音響チャンネル信号を適切に選択して再生することが可能となる。

また、再生チャンネル変換部１３は、再生環境の画面配置が、映像フォーマットに対する標準配置と異なる場合、音響チャンネル信号のうち、画面と連動する音響チャンネル信号が、再生環境の画面配置における音響チャンネル位置から再生されるように音響チャンネル信号の変換を行う。これにより、再生環境の画面配置が、映像フォーマットに対する標準配置と異なる場合でも、適切な音響チャンネル信号の変換が可能となり、より臨場感の高い音響再生が可能となる。

また、再生チャンネル変換部１３は、再生環境のスピーカ配置が、映像フォーマットに対する標準配置と異なる場合、音響チャンネル信号のうち、画面と連動しない音響チャンネル信号が、映像フォーマットに対する標準配置から再生されるように音響チャンネル信号の変換を行う。これにより、再生環境のスピーカ配置が、映像フォーマットに対する標準配置と異なる場合でも、適切な音響チャンネル信号の変換が可能となり、より臨場感の高い音響再生が可能となる。

図９は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、音響空間層の音響チャンネル信号と、音響空間層の対応する映像フォーマットを含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、音響空間層の音響チャンネル信号と、音響空間層の対応する映像フォーマットを含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、映像フォーマットに応じた役割を持つ音響チャンネル信号を適切に選択して再生することが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１０音響信号再生装置
１１デマルチプレクサ
１２復号化部
１３再生チャンネル変換部
１４スピーカ
２０音響信号作成装置
２１ミキサ
２２符号化部
２３マルチプレクサ（多重化部）

Claims

複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、
前記マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の対応する映像フォーマットと、再生環境の映像フォーマットとに基づき選択した１つの音響空間層の音響チャンネル信号の復号化を行う復号化部、を備える音響信号再生装置。
前記復号化部は、前記選択した音響空間層以外の音響空間層の音響チャンネル信号の復号化は行わない、請求項１に記載の音響信号再生装置。
前記再生環境の画面配置が、前記映像フォーマットに対する標準配置と異なる場合、前記音響チャンネル信号のうち、画面と連動する音響チャンネル信号が、前記再生環境の画面配置における音響チャンネル位置から再生されるように前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える、請求項１又は２に記載の音響信号再生装置。
前記再生環境のスピーカ配置が、前記映像フォーマットに対する標準配置と異なる場合、前記音響チャンネル信号のうち、画面と連動しない音響チャンネル信号が、前記映像フォーマットに対する標準配置から再生されるように前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える、請求項１又は２に記載の音響信号再生装置。
複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、
音響空間層の音響チャンネル信号と、
音響空間層の対応する映像フォーマットを含むメタデータと、を多重化する多重化部を備える音響信号作成装置。