JP2016072889A - 音声信号処理装置、音声信号処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】複数のチャンネル別音声信号が示す各音声を、意図された位置に定位させる。
【解決手段】音声信号処理装置（１０）は、復号した映像信号を複数の部分映像を示す部分映像信号に分割する分割部（１０２）と、上記映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照して、上記部分映像信号の何れかに割り当てる割当部（１０３）と、を備える。
【選択図】図１

Description

本発明は、音声信号を処理する音声信号処理装置、及び音声信号処理方法に関する。

近年では、技術の発展に伴い、高精細な映像信号を撮影・表示することのできる機器が増えてきている。テレビ放送の開始当時において、テレビ画面を構成する走査線数は525本であったが、いわゆるハイビジョン放送においては1125本となり、表示領域の解像度は1920×1080になった。さらに、いわゆる4k（3840×2160）の解像度を有する映像（以下、「4k映像」とも記載する）や、8k（7680×4320）の解像度を有する映像（以下、「8k映像」とも記載する）を表示する技術が開発され、より精細な表現が可能となっている。

音声に関しても同様であり、テレビ局から送出される放送波に関し、モノラル音声、ステレオ信号に加え、5.1ch信号等も送出が可能になり、家庭でも視聴者を取り囲むような音場が再生できるようになった。ここで、5.1ch信号とは、中央正面に置かれたセンタスピーカ、該センタスピーカに対して左右対称に配置された左右スピーカ、視聴者の背面側に配置された左右スピーカ、及び低音用スピーカの合計6個のスピーカを統合的に駆動する信号である。適切に製作された5.1ch信号を、適切に配置された5.1ch再生用スピーカシステムにより再生すると、あたかも視聴者の周囲に音源が再現されているような表現が可能となる。

さらに近年では、22.2chシステムが提案されている。これは、従来配置されていなかった高さ方向にもスピーカを配置するもので、具体的には上層（トップ層）9個、視聴者の耳の高さの中層（ミドル層）10個、低層（ボトム層）3個の合計22個のスピーカと、2個の低音用スピーカとを用いるものであり、適切に再生すると、高さ方向を含め、視聴者を取り囲む全周の音場が再現される。

これらの方法のみならず、複数のスピーカを用いるマルチチャンネル音響の様々な方式が提案されている。

特開２０１２−４９７２３号公報（２０１２年３月８日公開）

ここで、8k映像を表示するためには、8k映像に対応した画像処理装置が必要となる。そのような画像処理装置を備えていない表示装置において8k映像を表示するために、8k映像の画面領域を分割して表示する方法が考えられる。例えば、8k映像を上下左右に４分割した場合、それぞれの領域は一般的な4k映像に対応する表示サイズとなるため、4k映像用の画像処理装置を用いることにより、8k映像を表示することが可能になる。この方法によれば、8k映像のすべての画素を網羅する情報量の伝送が可能となる。

また、画像処理装置は、一般的に音声処理機能も有している例が多いが、その多くは2chの音声信号を対象としており、１系統の画像処理装置、あるいは１台の表示装置で2chを超える音声信号を出力できる構成はまれである。ここで、映像信号をHDMI（High Definition Multimedia Interface、登録商標）を用いて伝送する場合には、当該映像信号に加え、音声信号も伝送することができる。しかしながら、映像信号を分割して複数のHDMIケーブルにて伝送する場合に、複数の音声信号を適切に振り分ける方法は確立されていない。

例えば、8k映像を４分割した4k映像を示す4k映像信号の各々を４本のHDMIケーブルで伝送する場合には、音声信号をどの4k映像信号と組み合わせて伝送するかが問題となる。特に、音声信号が複数のチャンネル別音声信号を含むようなマルチチャンネルフォーマットである場合には、受信した各チャンネル別音声信号を適切な位置から出力しようとすると受信側での配線経路が非常に複雑になってしまうという課題がある。特許文献１には、複数の映像再生装置が同期して元となる映像を再生する場合において、映像信号及び音声信号を再生する各機器の設置位置に応じて、各機器から出力される音声信号の左右のチャンネルの出力バランスを制御する映像音声出力装置が記載されている。しかしながら、特許文献１に記載の技術においては、音声信号がマルチチャンネルフォーマットである場合については、何ら言及されていない。

また、予め定義された音声チャンネル番号順に各チャンネル別音声信号を振り分けて伝送すると、例えば、視聴者の左側のスピーカから出力されるべき音声が右側のスピーカから出力されてしまう、というように、各チャンネル別音声信号が示す各音声が、意図していない位置に定位してしまう虞があるという課題がある。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、映像信号を分割して伝送する際に、当該映像信号に付随する音声を示す音声信号に含まれる複数のチャンネル別音声信号が示す各音声を、表示装置において特別な処理を要することなく、またはユーザに複雑な配線の手間を強いることなく、意図された位置に定位させることが可能な音声信号処理装置等を提供することにある。

本発明の態様１に係る音声信号処理装置（１０）は、復号した映像信号を複数の部分映像を示す部分映像信号に分割する分割手段（分割部１０３）と、上記映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々を、当該チャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照して、上記部分映像信号の何れかに割り当てる割当手段（割当部１０３）と、を備えている。

上記の構成によれば、上記分割手段は、映像信号を複数の部分映像信号に分割し、上記割当手段は、当該映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々を、上記分割手段により分割された部分映像信号の何れかに割り当てる。この際、上記割当手段は、上記チャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照するので、上記の構成によれば、上記複数のチャンネル別音声信号が示す各音声を、表示装置において特別な処理を要することなく、またはユーザに複雑な配線の手間を強いることなく、意図された位置に定位させることができる。

本発明の態様２に係る音声信号処理装置は、上記態様１において、上記送信先情報は、上記複数のチャンネル別音声信号の各々と、当該チャンネル別音声信号の各々が示す音声を出力するスピーカとが関連づけられた変換テーブルである、ことが好ましい。

上記の構成によれば、上記割当手段は、上記複数のチャンネル別音声信号の各々が示す音声が、出力されるべきスピーカから出力されるように、上記複数のチャンネル別音声信号の各々を、上記部分映像の何れかに割り当てることができる。したがって、上記の構成によれば、上記複数のチャンネル別音声信号が示す各音声を、より確実に、意図された位置に定位させることができる。

本発明の態様３に係る音声信号処理装置は、上記態様１において、上記送信先情報は、上記複数のチャンネル別音声信号の各々と、当該複数のチャンネル別音声信号が示す各音声が定位すべき相対的な位置とが関連づけられた位置情報テーブルであってもよい。

上記の構成によれば、上記割当手段は、上記複数のチャンネル別音声信号の各々が示す音声が、定位すべき位置に定位するように、上記複数のチャンネル別音声信号の各々を、上記部分映像の何れかに割り当てることができる。したがって、上記の構成によれば、上記複数のチャンネル別音声信号が示す各音声を、より確実に、意図された位置に定位させることができる。

本発明の態様４に係る音声信号処理装置は、上記態様２または３において、上記割当手段は、上記部分映像信号に割り当てられる上記複数のチャンネル別音声信号の各々についての遅延時間を設定する、ことが好ましい。

上記の構成によれば、上記複数のチャンネル別音声信号が示す音声の各々を出力する各スピーカが、ユーザから等距離に配置されていない場合であっても、上記映像信号に付随した音声を適切に出力した場合と同様の音場を再現することができる。

本発明の態様５に係る音声信号処理装置は、上記態様１から４において、上記割当手段は、上記複数のチャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、上記部分映像信号の何れかに割り当てる、ことが好ましい。

上記の構成によれば、上記複数のチャンネル別音声信号のチャンネル数と、上記映像信号が示す映像を表示する表示装置が出力可能な音声のチャンネル数とが異なる場合であっても、各チャンネル別音声信号が示す音声の各々を出力させることができる。

本発明の態様６に係る音声信号処理装置は、上記態様５において、上記送信先情報には、各チャンネル別音声信号の音量比を指定する係数が含まれており、上記割当手段は、上記複数のチャンネル別音声信号の各々に上記係数をかけ合わせてダウンミックスし、ダウンミックスされた各音声信号を、上記部分映像信号の何れかに割り当てる、ことが好ましい。

上記の構成によれば、上記割当手段は、上記複数のチャンネル別音声信号に、上記係数をかけ合わせてダウンミックスする。一般的に、音量比を調整した音声を複数のスピーカから出力することにより、当該音声を意図された位置に定位させることができる。したがって、上記の構成によれば、上記複数のチャンネル別音声信号が示す各音声を、より確実に、意図された位置に定位させることができる。

本発明の態様７に係る音声信号処理方法は、復号した映像信号を複数の部分映像を示す部分映像信号に分割する分割ステップと、上記映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々を、当該チャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照して、上記部分映像信号の何れかに割り当てる割当ステップと、を含んでいる。

上記の構成によれば、上記の音声信号処理装置と同様の効果を奏する。

本発明の各態様に係る音声信号処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声信号処理装置が備える各手段として動作させることにより上記音声信号処理装置をコンピュータにて実現させる音声信号処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、映像信号を分割して伝送する際に、当該映像信号に付随する音声を示す音声信号に含まれる複数のチャンネル別音声信号が示す各音声を、表示装置において特別な処理を要することなく、またはユーザに複雑な配線の手間を強いることなく、意図された位置に定位させることができる。

本発明の一実施形態に係る映像表示システムの構成を示すブロック図である。 図１に示す映像表示システムに含まれる表示装置の外観を示す外観図である。 本発明の一実施形態に係る映像表示システムに含まれる表示装置の構成を示すブロック図である。 図３に示す表示装置の外観を示す外観図である。 図３に示す表示装置の変形例の外観を示す外観図である。 本発明の一実施形態に係る映像表示システムに含まれる表示装置の構成を示すブロック図である。 図７に示す表示装置の外観を示す外観図である。 本発明の一実施形態に係る映像表示システムに含まれる表示装置の外観と、当該表示装置が出力するチャンネル別音声信号が出力されるべき位置を示す図である。 本発明の一実施形態に係る音声信号処理装置が参照する変換テーブルの一例を示す図である。 本発明の一実施形態に係る映像表示システムに含まれる表示装置の外観と、当該表示装置が出力するチャンネル別音声信号が示す音声が定位すべき位置を示す図である。 本発明の一実施形態に係る映像表示システムに含まれる表示装置の外観と、当該表示装置が出力するチャンネル別音声信号が示す音声が定位すべき位置を示す図である。 本発明の一実施形態に係る音声信号処理装置が参照する位置情報テーブルの一例を示す図である。 表示装置の各寸法について説明するための図である。

〔実施形態１〕
本発明の一実施形態に係る音声信号処理装置について、図面を参照して説明すれば、以下の通りである。

図１は、本実施形態に係る音声信号処理装置を含む映像表示システムの構成を示すブロック図である。図１に示すように、映像表示システム１は、音声信号処理装置１０及び表示装置２０を含んでいる。

本実施形態において、音声信号処理装置１０は、符号化された映像コンテンツを復号し、復号した映像データ及び音声データを表示装置２０に供給するものである。音声信号処理装置１０としては、例えば、チューナ、ＳＴＢ（Set Top Box）、及びＤＶＤ（Digital Versatile Disc）プレーヤ等の再生機器が挙げられる。また、表示装置２０は、音声信号処理装置１０から供給された映像データが示す映像を表示するとともに、当該映像に付随された音声であって、音声信号処理装置１０から供給された音声データが示す音声を出力するものである。表示装置２０の例としては、音声を出力するスピーカが内蔵されたテレビジョン受像機などが挙げられる。

本実施形態において、表示装置２０は、8k映像を表示するための画像処理回路を有していない。そのため、表示装置２０は、4k映像用の画像処理回路を４つ備えており、各画像処理回路にて生成された表示画面を合成することにより、8k映像を表示するものである。

なお、本実施形態では、音声信号処理装置１０が、8k映像を４つの4k映像（部分映像）に分割して表示装置２０に供給する場合について説明するが、映像の分割の方式は、これに限定されるものではない。例えば、8k映像（7680×4320）を1920×4320の解像度を有する４つの部分映像に分割する、または、7680×1080の解像度を有する４つの映像に分割する構成としてもよい。

（音声信号処理装置）
図１に示す音声信号処理装置１０は、復号部１０１、分割部（分割手段）１０２、割当部（割当手段）１０３、記憶部１０４、及び通信部１０５ａ〜１０５ｄを備えている。

復号部１０１は、符号化された映像コンテンツを復号し、復号された映像信号を分割部１０２に供給する。また、復号部１０１は、復号された映像信号に付随した音声を示す音声信号に含まれる複数の音声信号を割当部１０３に供給する。ここで、複数の音声信号は、各音声チャンネルに予め割り当てられた音声信号であり、以下では、「チャンネル別音声信号」とも呼称する。本実施形態では、映像信号に付随した音声を示す音声信号には、7.1chのチャネル別音声信号が含まれているものとする。なお、復号部１０１にて復号される映像コンテンツは、放送経路または通信経路にて伝送されるコンテンツであってもよいし、ＤＶＤ等の記録媒体に記録されたコンテンツであってもよい。

分割部１０２は、復号部１０１により復号された映像信号を複数の部分映像を示す部分映像信号に分割する。上述のように、本実施形態においては、分割部１０２は、復号部１０１により復号された8k映像信号（8k映像を示す映像信号）を、４つの4k映像信号（4k映像を示す映像信号、部分映像信号）に分割する。分割部１０２は、分割した4k映像信号の各々を、通信部１０５ａ〜ｄにそれぞれ出力する。

割当部１０３は、復号部１０１により復号されたチャンネル別音声信号の各々を、分割部１０２により分割された４つの4k映像信号の何れかに割り当てる。具体的には、割当部１０３は、記憶部１０４に格納されている送信先情報を参照して、チャンネル別音声信号の各々を、４つの4k映像信号の何れかに割り当てる。なお、割当部１０３によるチャンネル別音声信号の割当処理の詳細については後述する。

ここで、送信先情報とは、チャンネル別音声信号の各々が送信されるべき送信先を示す情報である。送信先情報は、例えば、各チャンネル別音声信号と、映像信号の送信先の装置（本実施形態における表示装置２０）の備える１又は複数のスピーカの何れかとの対応関係を示す情報である。送信先情報は、例えば、映像信号の送信先の装置の備えるスピーカの数、及び該スピーカの配置に応じて、ユーザまたは機器製造元によって予め設定された情報である。また、例えば、映像信号の送信先の装置の機器ＩＤに対応した複数の送信先情報を記憶部１０４に格納する構成としてもよい。上記の場合には、音声信号処理装置１０は、映像信号の送信先の装置が変更された場合には、当該装置の機器ＩＤを識別し、識別されたＩＤに対応する送信先情報を参照する構成とすればよい。

記憶部１０４には、上述の送信先情報に加え、音声信号処理装置１０の動作を制御するための各種プログラム、及びアプリケーションプログラムなども格納される。

通信部１０５ａ〜ｄは、映像信号及び音声信号を表示装置２０に供給するための構成であり、例えば、HDMI端子が用いられる。分割部１０２から供給された4k映像信号、及び、当該映像信号に割り当てられたチャンネル別音声信号であって、割当部１０３から供給されたチャンネル別音声信号を表示装置２０の通信部２０１ａ〜ｄにそれぞれ出力する。本実施形態では、音声信号処理装置１０の通信部１０５ａ〜ｄの各々と、表示装置２０の通信部２０１ａ〜ｄの各々とは、HDMIケーブルにより接続される。

（表示装置２０）
図１に示す表示装置２０は、通信部２０１ａ〜ｄ、処理部２０２ａ〜ｄ、表示部２０３、スピーカ２０４ａ〜ｃ、及び出力部２０５ａ〜ｂを備えている。

ここで、参照する図面を図２に替えて、表示装置２０の外観について説明する。図２は、表示装置２０の外観を示す外観図である。図２に示すように、スピーカ２０４ａ〜ｃは、表示装置２０の正面に向かって左側、中央、及び右側にそれぞれ設置されている。また、表示装置２０の表示部２０３は、8k映像を表示可能な１枚の表示パネルを備えているが、図２において破線にて示すように、本実施形態では、8k映像を４つの4k映像に分割して画像処理を行ったうえで、各4k映像を合成することにより、8k映像の表示を実現している。

再び図１を参照する。通信部２０１ａ〜ｄは、映像信号及び音声信号を音声信号処理装置１０から受信するための構成であり、例えば、HDMI端子が用いられる。通信部２０１ａ〜ｄは、音声信号処理装置１０の通信部１０５ａ〜ｄより、4k映像信号及び当該映像信号に割り当てられたチャンネル別音声信号を、それぞれ受信する。通信部２０１ａ〜ｄは、受信した映像信号及び音声信号を処理部２０２ａ〜ｄにそれぞれ出力する。

処理部２０２ａ〜ｄは、4k映像を表示部２０３に表示させるための画像処理回路であり、通信部２０１ａ〜ｄから供給された4k映像信号が示す4k映像を表示部２０３に出力する。ここで、処理部２０２ａ〜ｄは、必要に応じて、例えば、スケーリング処理等の画像処理を施したうえで、4k映像を表示部２０３に出力するように構成されていてもよい。

表示部２０３は、不図示の表示制御部と表示パネルとを含んでおり、表示部２０３は、処理部２０２ａ〜ｄにより生成された各4k映像を表示制御部によって合成し、合成された8k映像を表示する。

また、処理部２０２ａ〜ｄは、通信部２０１ａ〜ｄから供給された4k映像信号に割り当てられたチャンネル別音声信号が示す音声を出力するための音声処理機能をさらに有しており、それぞれ2chのチャンネル別音声信号を処理する。すなわち、表示装置２０は、7.1chまでの音声信号を処理することが可能である。処理部２０２ａ〜ｄは、4k映像信号に割り当てられたチャンネル別音声信号を増幅して、スピーカ２０４ａ〜ｃ、或いは出力部２０５ａ及び２０５ｂに出力する。

本実施形態では、処理部２０２ａは、スピーカ２０４ａ及び２０４ｂに接続されており、処理部２０２ｄは、スピーカ２０４ｃに接続されている。そのため、処理部２０２ａに供給される4k映像信号には、スピーカ２０４ａから出力されるべきチャンネル別音声信号と、スピーカ２０４ｂから出力されるべきチャンネル別音声信号とが割り当てられている。また、処理部２０２ｄに供給される4k映像信号には、スピーカ２０４ｃから出力されるべきチャンネル別音声信号が割り当てられている。

また、処理部２０２ｂ及び２０２ｃは、出力部２０５ａ及び２０５ｂにそれぞれ接続されている。出力部２０５ａ及び２０５ｂは、処理部２０２ｂ及び２０２ｃにより音声処理が施された音声を外部スピーカ（不図示）から出力するため構成である。例えば、出力部２０５ａ及び２０５ｂには、視聴者の背面側に設置されるスピーカ、及び低音用スピーカが接続される。そのため、処理部２０２ｂ及び２０２ｃに供給される各4k映像信号には、視聴者の背面側に設置されるスピーカ、及び低音用スピーカから出力されるべきチャンネル別音声信号が割り当てられている。

ここで、7.1chの音響方式において規定されているチャンネル番号順に、2chずつのチャンネル別音声信号を各映像信号に割り当てると、各音声が意図された位置に定位しなくなってしまう場合が生じ得る。例えば、処理部２０２ａに供給される4k映像信号に、チャンネル番号が「１」、「２」の音声信号を割り当てる場合を考える。チャンネル番号が「１」である音声信号は、Left（L:前方左側）チャンネルの音声信号であり、チャンネル番号が「２」である音声信号は、Right（R:前方右側）チャンネルの音声信号であるため、Lチャンネルの音声がスピーカ２０４ａから出力され、Rチャンネルの音声がスピーカ２０４ｂから出力されてしまう。上記の事態を避けるために、例えば、処理部２０２ａ〜ｄの各々と、スピーカ２０４ａ〜ｃ、並びに出力部２０５ａ及び２０５ｂの各々とをそれぞれ配線しておき、供給されたチャンネル別音声信号に応じて音声の出力先を変更する構成とすることも可能である。しかしながら、上記のように構成する場合、表示装置２０における配線が複雑になるとともに、回路規模が増大し、ひいては表示装置の製造コストが増大するという問題が生じ得る。

本実施形態において、特筆すべきは、音声信号処理装置１０において、送信先情報を参照して、各チャンネル別音声信号を各映像信号に割り当てている点である。すなわち、本実施形態では、処理部２０２ａ〜ｄに供給される各映像信号には、各スピーカ又は各出力部から出力されるべきチャンネル別音声信号が割り当てられている。そのため、表示装置２０において特別な処理を要することなく、またはユーザに複雑な配線の手間を強いることなく、複数のチャンネル別音声信号が示す各音声を、意図された位置に定位させることが可能になる。

（チャンネル別音声信号の割当処理）
続いて、音声信号処理装置１０の割当部１０３による割当処理の具体例について説明する。上述のように、本実施形態では、映像信号に付随した音声を示す音声信号には、7.1chのチャネル別音声信号が含まれている。7.1chの音声信号は、チャンネル番号順に、Left（L:前方左側）、Right（R:前方右側）、Center(C:前方真正面)、LowFrequencyEffects（LFE：低域効果用）、SurroundLeft（SL：左側）、SurroundRight（SR：右側）、SurroundBackLeft（SBL：後方左側）、及びSurroundBackRight（SBR：後方右側）の８つのチャンネル別音声信号が含まれている。

本実施形態では、送信先情報として、各チャンネル別音声信号と、表示装置２０の備えるスピーカ２０４ａ〜ｃ、並びに出力部２０５ａ及び２０５ｂとの対応関係が示された情報が記憶部１０４に格納されている。具体的には、Lチャンネルの音声信号がスピーカ２０４ａに対応づけられ、Rチャンネルの音声信号がスピーカ２０４ｃに対応づけられ、Cチャンネルの音声信号がスピーカ２０４ｂに対応づけられている。また、LFEチャンネル、SLチャンネル、SRチャンネル、SBLチャンネル及びSBRチャンネルの音声信号は、出力部２０５ａ及び２０５ｂの何れかに対応づけられている。

ここで、処理部２０２ａがスピーカ２０４ａ及びスピーカ２０４ｂに接続されているため、割当部１０３は、処理部２０２ａに供給する4k映像信号（すなわち、分離部１０２が通信部１０５ａに供給する4k映像信号）に、Lチャンネル及びCチャンネルの音声信号を割り当てる。同様に、処理部２０２ｄがスピーカ２０４ｃに接続されているため、割当部１０３は、処理部２０２ｄに供給する4k映像信号（すなわち、分離部１０２が通信部１０５ｄに供給する4k映像信号）に、Rチャンネルの音声信号を割り当てる。同様に、出力部２０５ａ及び２０５ｂが処理部２０２ｂ及び２０２ｃにそれぞれ接続されているため、割当部１０３は、処理部２０２ｂまたは処理部２０２ｃに供給する4k映像信号（すなわち、分離部１０２が通信部１０５ｂまたは通信部１０５ｃに供給する4k映像信号）の何れかに、LFEチャンネル、SLチャンネル、SRチャンネル、SBLチャンネル及びSBRチャンネルの音声信号を割り当てる。

以上のように、音声信号処理装置１０において、送信先情報を参照して、各チャンネル別音声信号を各映像信号に割り当てて表示装置２０に供給することにより、複数のチャンネル別音声信号が示す各音声を、意図された位置に定位させることができる。

なお、マルチチャンネル音響方式においては、各スピーカと聴取者との距離が同一となるように、各スピーカを配置することが規定されている。本実施形態において、表示装置２０の備える各スピーカは、表示部２０３の表示パネルに平行な平面内に配置されており、各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成としてもよい。例えば、ユーザが表示装置２０を真正面から視聴していると仮定した場合に、表示装置２０の備えるスピーカ２０４ｂから出力される音声が、スピーカ２０４ａ及び２０４ｃから出力される音声よりも遅れて出力されるように、各チャンネル別音声信号についての遅延時間を設定すればよい。

なお、遅延時間は、表示装置２０を視聴するユーザから一番遠い位置にあるスピーカを基準として、それより近い位置にあるスピーカから出力される音声を示す音声信号を遅延させるように設定される。しかしながら、表示装置２０は、内蔵スピーカに加え、外部接続されたスピーカ（例えば、ユーザの後方に配置されたSLチャンネル、及びSRチャンネル用のスピーカ）を備えている場合がある。上記の場合には、当該外部接続されたスピーカと、表示装置２０を視聴するユーザとの距離を参照して、当該外部接続されたスピーカから出力される音声を示す音声信号の遅延時間を設定する構成とすればよい。また、表示装置２０を視聴するユーザの位置を示す情報として、表示パネルに対しての相対位置を示す情報を事前に入力する構成することが好ましい。同様に、ユーザの後方に配置されたSLチャンネル、及びSRチャンネル等の外部接続されたスピーカの位置を示す情報も事前に入力されることが好ましい。上記のユーザの位置を示す情報、及びスピーカの位置を示す情報が事前に入力されていない場合、ユーザ及びスピーカが、所定の位置にあるものとして遅延時間の設定を行ってもよい。例えば、8k映像を表示する表示装置において、ユーザと表示パネルとの距離は、画面の高さをHとして、0.75Hであることが推奨されている。そのため、ユーザの位置を示す情報が事前に入力されていない場合には、ユーザが表示パネルから0.75Hの距離にいるものとして、遅延時間を設定すればよい。

また、本実施形態では、8k映像を４分割する構成について説明したが、これに限定されるものではなく、４以上の映像に分割する構成としてもよい。上記の場合には、音声信号処理装置１０が４以上の通信部を備え、かつ、表示装置２０が４以上の通信部を備える構成とすればよい。また、8k映像の画素数と、分割された各映像の画素数の合計とが異なる組み合わせであってもよい。上記の場合には、各部分映像を適宜拡大・縮小することにより表示することが可能である。

〔実施形態２〕
本発明の他の実施形態について、図３〜図４に基づいて説明すれば、以下のとおりである。なお、本実施形態において、音声信号処理装置１０は、割当部１０３における割当処理が実施形態１の音声信号処理装置１０と異なるのみであるため、その説明を省略する。割当部１０３における割当処理の詳細については後述する。

図３は、本実施形態に係る映像表示システムに含まれる表示装置２０ａの構成を示すブロック図である。図３に示すように、表示装置２０ａは、４つの表示装置２００Ａ〜Ｄから構成される表示装置である。本実施形態において、表示装置２００Ａ〜Ｄには、8k映像を４分割した4k映像がそれぞれ表示され、結果として表示装置２０ａは、8k映像を表示することが可能になる。なお、表示装置２００Ａ〜Ｄの構成は、何れも同様であるため、以下では、表示装置２００Ａの構成のみについて説明する。

図３に示すように、表示装置２００Ａは、通信部２１０Ａ、処理部２２０Ａ、表示部２３０Ａ、スピーカ２４０ＡＬ、及びスピーカ２４０ＡＲを備えている。

通信部２１０Ａは、映像信号及び音声信号を音声信号処理装置１０から受信するための構成であり、実施形態１の表示装置２０における通信部２０１ａと同様の機能を有している。通信部２１０Ａとしては、例えば、HDMI端子が用いられる。通信部２１０Ａは、音声信号処理装置１０の通信部１０５ａより、4k映像信号及び当該映像信号に割り当てられたチャンネル別音声信号を受信する。通信部２１０Ａは、受信した映像信号及び音声信号を処理部２２０Ａに出力する。

処理部２２０Ａは、4k映像を表示部２３０Ａに表示させるための画像処理回路であり、実施形態１の表示装置２０の処理部２０２ａと同様の機能を有している。また、処理部２２０Ａは、通信部２１０Ａから供給された4k映像信号に割り当てられたチャンネル別音声信号が示す音声を出力するための音声処理機能をさらに有しており、各チャンネル別音声信号を増幅して、スピーカ２４０ＡＬ及びスピーカ２４０ＡＲに出力する。

続いて、表示装置２０ａの外観について図４を参照して説明する。図４は、表示装置２０ａの外観を示す外観図である。

図４に示すように、表示装置２０ａにおいて、上方左側に表示装置２００Ａ、上方右側に表示装置２００Ｂ、下方左側に表示装置２００Ｃ、下方右側に表示装置２００Ｄがそれぞれ配置されている。また、図４に示すように、各表示装置２００Ａ〜Ｄは、正面に向かって左側に配置されたスピーカ（２４０ＡＬ、２４０ＢＬ、２４０ＣＬ、２４０ＤＬ）と、正面に向かって右側に配置されたスピーカ（２４０ＡＲ、２４０ＢＲ、２４０ＣＲ、２４０ＤＲ）を備えている。

続いて、本実施形態に係る音声信号処理装置１０の割当部１０３における割当処理について説明する。なお、本実施形態では、入力された7.1chのチャンネル別音声信号のうち、視聴者の前方から出力されるLチャンネル、Rチャンネル、及びCチャンネルの音声信号を、各映像信号に割り当てる例について説明する。本実施形態では、音声信号処理装置１０の記憶部１０４に格納されている送信先情報には、各チャンネル別音声信号が示す音声を以下のように出力させるよう、各チャンネル別音声信号が示す音声の各々と、各スピーカとの対応関係が示されている。

L（前方左側）チャンネルの音声信号が示す音声は、表示装置２０ａにおける前方左側に定位するように出力されることが望ましい。表示装置２０ａにおいては、前方左側に対応する位置にスピーカ２４０ＡＬが配置されている。そのため、図５に示すように、Lチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬから1倍の音量で出力する。

また、C（前方真正面）チャンネルの音声信号が示す音声は、表示装置２０ａにおける前方真正面に定位するように出力されることが望ましい。図４に示すように、表示装置２０ａの前方真正面は、スピーカ２４０ＡＲと、スピーカ２４０ＢＬとの間の位置である。したがって、図５の変換テーブルに示すように、Cチャンネルの音声信号が示す音声を、スピーカ２４０ＡＲから0.7倍の音量で出力し、かつ、スピーカ２４０ＢＬから0.7倍の音量で出力する。これにより、当該音声を表示装置２０ａにおける前方真正面に定位させることができる。

さらに、R（前方右側）チャンネルの音声信号が示す音声は、表示装置２０ａにおける前方右側に定位するように出力されることが望ましい。表示装置２０ａにおいては、前方左側に対応する位置にスピーカ２４０ＢＲが配置されている。そのため、図５に示すように、Rチャンネルの音声信号が示す音声を、スピーカ２４０ＢＲから1倍の音量で出力する。

以上のように、割当部１０３は、送信先情報を参照して、各チャンネル別音声信号を、各スピーカを備える表示装置に供給される4k映像信号に割り当てる。これにより、表示装置２０ａにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

なお、本実施形態においても、表示装置２０ａの備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔実施形態２の変形例〕
本実施形態の変形例について、図５を参照して説明する。図５は、図３に示す表示装置２０ａの変形例である表示装置２０ｂの外観を示す外観図である。

図５に示すように、表示装置２０ｂは、表示装置２００Ａ及び表示装置２００Ｂが、上下が逆になるように設置されているという点において、図４に示す表示装置２０ａと異なる。上記のように構成することにより、表示装置２０ｂは、表示装置２０ａと比較して、表示装置２００Ａの表示部２３０Ａと表示装置２００Ｃの表示部２３０Ｃとの間の隙間を減らすことが可能となり、ユーザにとって違和感の少ない8k映像を表示することができる。表示装置２０ｂが上記のように構成されているため、本変形例では、音声信号処理装置１０が表示装置２００Ａに供給する4k映像信号と、表示装置２００Ｂに供給する4k映像信号とを入れ替え、さらに、表示画面を１８０°回転させて表示装置２００Ａ及び２００Ｂに表示されるように構成される。

また、本変形例において、表示装置２０ｂの各スピーカの配置位置は、表示装置２０ａと異なっている。そのため、本変形例では、音声信号処理装置１０の記憶部１０４に格納されている送信先情報には、各チャンネル別音声信号が示す音声を以下のように出力させるよう、各チャンネル別音声信号が示す音声の各々と、各スピーカとの対応関係が示されている。

Lチャンネルの音声信号が示す音声を、スピーカ２４０ＡＲ及びスピーカ２４０ＣＬからそれぞれ1倍の音量で出力する。これにより、当該音声を表示装置２０ｂにおける中央の前方左側、すなわち、スピーカ２４０ＡＲとスピーカ２４０ＣＬとの間の位置に定位させることができる。

また、Cチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬ、スピーカ２４０ＢＲ、スピーカ２４０ＣＲ、及びスピーカ２４０ＤＬからそれぞれ0.7倍の音量で出力する。これにより、当該音声を、表示装置２０ｂにおける中央の前方真正面、すなわち、スピーカ２４０ＡＬ、スピーカ２４０ＢＲ、スピーカ２４０ＣＲ、及びスピーカ２４０ＤＬの中心部の位置に定位させることができる。

同様に、Rチャンネルの音声信号が示す音声を、スピーカ２４０ＢＬ及びスピーカ２４０ＤＲからそれぞれ1倍の音量で出力する。これにより、当該音声を表示装置２０ｂにおける中央の前方右側、すなわち、スピーカ２４０ＢＬとスピーカ２４０ＤＲとの間の位置に定位させることができる。

以上のように、本変形例においても、割当部１０３は、送信情報を参照して、各チャンネル別音声信号を、各スピーカを備える表示装置に供給される4k映像信号に割り当てる。これにより、表示装置２０ａにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

〔実施形態３〕
本発明の他の実施形態について、図６〜７を参照して説明すれば、以下の通りである。なお、本実施形態において、音声信号処理装置１０は、割当部１０３における割当処理が上述の実施形態の音声信号処理装置１０と異なるのみであるため、その説明を省略する。割当部１０３における割当処理の詳細については後述する。

図６は、本実施形態に係る映像表示システムに含まれる表示装置２０ｃの構成を示すブロック図である。図６に示す表示装置２０ｃは、図１に示す表示装置２０とほぼ同様の構成であるため、表示装置２０との相違点について説明する。

図６に示すように、表示装置２０ｃは、１０個のスピーカを備えている点と、処理部２０２ａ〜ｄに接続されるスピーカが異なっている点において、表示装置２０ｂと異なっている。具体的には、処理部２０２ａにはスピーカ２０４ａ〜ｃが接続され、処理部２０２ｂにはスピーカ２０４ｆ〜ｈが接続され、処理部２０２ｃにはスピーカ２０４ｉ〜ｊが接続され、処理部２０２ｄにはスピーカ２０４ｄ〜ｅが接続されている。本実施形態では、表示装置２０ｃは、入力された22.2chのチャンネル別音声信号のうち、視聴者の前方から出力される11ch（ミドル層5ch、トップ層3ch、及びボトム層3ch）の音声信号が示す音声を出力するものとする。

続いて、表示装置２０ｃが備える１０個のスピーカの配置について図７を参照して説明する。図７は、表示装置２０ｃの外観を示す外観図である。図７に示すように表示装置２０ｃの表示部２０３の下方には、左側から順にスピーカ２０４ａ〜ｅが配置され、表示装置２０ｃの上方には、左側から順にスピーカ２０４ｆ〜ｊが配置されている。そのため、本実施形態では、音声信号処理装置１０の記憶部１０４に格納されている送信先情報には、各チャンネル別音声信号が示す音声を以下のように出力させるよう、各チャンネル別音声信号が示す音声の各々と、各スピーカとの対応関係が示されている。

ここで、例えば、22.2chの音声信号を出力する場合、前方から出力される音声を示す音声信号は１１のチャンネルのチャンネル別音声信号が含まれている。しかしながら、表示装置２０ｃの備えるスピーカは、１０個である。そのため、割当部１０３は、各チャンネル別音声信号が示す音声が、以下のように出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、各映像信号に割り当てる。なお、本実施形態では、送信先情報に、各チャンネル別音声信号の音量比を指定する係数がさらに含まれており、割当部１０３は、各チャンネル別音声信号の各々に上記係数をかけ合わせてダウンミックスし、ダウンミックスされた各音声信号を、各映像信号に割り当てる。

トップ層のTopFrontLeft（TpFL：前方左側）チャンネル、TopFrontRight（TpFR：前方右側）チャンネル、及びTopFrontCentre（TpFC：前方真正面）チャンネルの音声信号が示す音声を、それぞれスピーカ２０４ｆ、２０４ｊ及びスピーカ２０４ｈから、1倍の音量で出力する。また、ボトム層のBottomFrontLeft（BtFL：前方左側）チャンネル、BottomFrontRight（BtFR：前方右側）チャンネル、及びBottomFrontCentre（BtFC：前方真正面）チャンネルの音声信号が示す音声を、それぞれスピーカ２０４ａ、２０４ｅ及びスピーカ２０４ｃから、1倍の音量で出力する。

一方、ミドル層のFrontLeft（FL：前方左側）チャンネルの音声信号が示す音声を、スピーカ２０４ａ及び２０４ｆから音量比を調整したうえで出力することにより、当該音声をミドル層の前方左側に定位させる。同様に、ミドル層のFrontLeftcentre（FLc：前方正面左側）チャンネルの音声信号が示す音声は、スピーカ２０４ｂ及び２０４ｇから音量比を調整したうえで出力し、ミドル層のFrontCentre（FC：前方真正面）チャンネルの音声信号が示す音声は、スピーカ２０４ｃ及び２０４ｆから音量比を調整したうえで出力し、ミドル層のFrontRightcentre（FRc：前方正面右側）チャンネルの音声信号が示す音声は、スピーカ２０４ｄ及び２０４ｉから音量比を調整したうえで出力し、ミドル層のFrontRight（FR：前方右側）チャンネルの音声信号が示す音声は、スピーカ２０４ｅ及び２０４ｊから音量比を調整したうえで出力することにより、各音声を、意図された位置に定位させる。

本実施形態において、割当部１０３は、上記のように送信先情報を参照して、各チャンネル別音声信号が示す音声が出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、処理部２０２ａ〜ｄに供給する各映像信号に割り当てる。これにより、表示装置２０ｃにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

なお、本実施形態において、低域効果用のチャンネルであるLowFrequencyEffects-1（LFE-1:低域効果用）チャンネル、及びLowFrequencyEffects-2（LFE-2:低域効果用）チャンネルの音声信号が示す音声は、表示装置２０ｃの全てのスピーカから0.5倍の音量で出力するように構成されている。そのため、テレビで再生しにくい低音を効率的に出力することができる。

また、本実施形態においても、表示装置２０の備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔実施形態４〕
続いて、本発明の他の実施形態について、説明する。本実施形態における表示装置２０ａは、実施形態２における表示装置２０ａ（図３及び図４を参照）と同様の構成であるため、その説明を省略する。本実施形態では、表示装置２０ａは、入力された22.2chのチャンネル別音声信号のうち、視聴者の前方から出力される11ch（ミドル層5ch、トップ層3ch、及びボトム層3ch）の音声信号が示す音声を出力する点において、実施形態２の表示装置２０ｂと異なっている。

図９は、音声信号処理装置１０の割当部１０３が参照する変換テーブルの一例を示す図である。本実施形態では、送信先情報として、図９に示すような変換テーブルが記憶部１０４に格納されている。図９を参照して、本実施形態に係る音声信号処理装置１０の割当部１０３における割当処理について説明する。

図９に示す変換テーブルにおいては、ARIB STD-B59により規定されているチャンネル番号に対応する各チャンネル別音声信号と、各チャンネル別音声信号が示す音声を出力するスピーカとが関連づけられている。また、図９に示す変換テーブルにおいては、ARIB STD-B32により規定されている「channel configuration」（本実施形態における、映像信号に付随した音声を示す音声信号に含まれるチャンネル別音声信号の構成）に応じて、各チャンネル別音声信号が示す音声をどのスピーカから出力すべきかが示されている。また、図９に示す変換テーブルにおいては、各チャンネル別音声信号の音量比を指定する係数が示されている。図９に示す係数に従って、音量比を調整した音声を複数のスピーカから出力することにより、当該音声を意図された位置に定位させることができる。

FL（ミドル層、前方左側）チャンネルの音声信号が示す音声は、表示装置２０ａにおけるミドル層の前方左側に定位するように出力されることが望ましい。表示装置２０ａにおいては、ミドル層の前方左側に対応する位置にスピーカ２４０ＡＬが配置されている。そのため、図９に示すように、FLチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬから1倍の音量で出力するように構成されている。

また、FC（ミドル層、前方真正面）チャンネルの音声信号が示す音声は、表示装置２０ａにおけるミドル層の前方真正面に定位するように出力されることが望ましい。図４に示すように、表示装置２０ａの前方真正面は、スピーカ２４０ＡＲと、スピーカ２４０ＢＬとの間の位置である。したがって、図９の変換テーブルに示すように、FCチャンネルの音声信号が示す音声を、スピーカ２４０ＡＲから0.7倍の音量で出力し、かつ、スピーカ２４０ＢＬから0.7倍の音量で出力することにより、当該音声を表示装置２０ａにおけるミドル層の前方真正面に定位させることができる。

また、FLc（ミドル層、前方正面左側）チャンネルの音声信号が示す音声を、スピーカ２４０ＡＬから0.7倍の音量で出力し、かつ、スピーカ２４０ＡＲから0.7倍の音量で出力することにより、当該音声を表示装置２０ａにおけるミドル層の前方正面左側、すなわち、スピーカ２４０ＡＲとスピーカ２４０ＡＬとの間の位置に定位させることができる。他のチャンネル別音声信号が示す音声についても同様に、図５に示す変換テーブルに従って、何れかのスピーカから出力することにより、各音声が意図された位置に定位するように構成されている。

また、本実施形態において、低域効果用のチャンネルであるLFE-1チャンネル、及びLFE-2チャンネルの音声信号が示す音声は、表示装置２０ｂｇの全てのスピーカから0.5倍の音量で出力するように構成されている。そのため、テレビで再生しにくい低音を効率的に出力することができる。

また、本実施形態においても、表示装置２０ａの備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔実施形態４の変形例〕
続いて本実施形態の変形例について、図８を参照して説明する。本実施形態における表示装置２０ｂは、実施形態２における表示装置２０ｂと同様の構成であるため、その説明を省略する。すなわち、本変形例における表示装置２０ｂは、表示装置２００Ａ及び表示装置２００Ｂが、上下が逆になるように設置されているという点において、本実施形態の表示装置２０ａと異なる。本変形例においても、表示装置２０ｂは、入力された22.2chのチャンネル別音声信号のうち、視聴者の前方から出力される11ch（ミドル層5ch、トップ層3ch、及びボトム層3ch）の音声信号が示す音声を出力する。

図８は、本変形例に係る映像表示システムに含まれる表示装置２０ｂの外観と、表示装置２０ｂが出力する各チャンネル別音声信号が示す音声が定位すべき位置を示す図である。本変形例において、表示装置２００Ａ及び表示装置２００Ｂの配置が異なっているため、記憶部１０４に格納されている変換テーブルは、図９に示す変換テーブルと異なっている。本変形例における変換テーブルには、各チャンネル別音声信号が以下のように出力されることが示されている。

トップ層のTpFL（前方左側）チャンネル、及びTpFR（前方右側）チャンネルの音声信号が示す音声を、それぞれスピーカ２４０ＡＲ、及びスピーカ２４０ＢＬから、1倍の音量で出力する。また、トップ層のTpFCチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬ及び２４０ＢＲから0.7倍の音量でそれぞれ出力することにより、当該音声をトップ層の前方真正面に定位させる。

また、ボトム層のBtFL（前方左側）チャンネル、及びBtFR（前方右側）チャンネルの音声信号が示す音声を、それぞれスピーカ２４０ＣＬ、及びスピーカ２４０ＤＲから、1倍の音量で出力する。また、BtFCチャンネルの音声信号が示す音声を、スピーカ２４０ＣＲ及び２４０ＤＬから0.7倍の音量でそれぞれ出力することにより、当該音声をボトム層の前方真正面に定位させる。

さらに、ミドル層のFLチャンネルの音声信号が示す音声を、スピーカ２４０ＡＲ、及び２４０ＣＬから0.7倍の音量でそれぞれ出力することにより、当該音声をミドル層の前方左側に定位させる。同様に、ミドル層のFLcチャンネルの音声信号が示す音声は、スピーカ２４０ＡＲ、２４０ＡＬ、２４０ＣＬ及び２４０４ＣＲから0.4倍の音量でそれぞれ出力し、ミドル層のFCチャンネルの音声信号が示す音声は、スピーカ２４０ＡＬ、２４０ＢＲ、２４０ＣＲ、及び２４０ＤＬから0.4倍の音量でそれぞれ出力し、ミドル層のFRcチャンネルの音声信号が示す音声は、スピーカ２４０ＢＲ、２４０ＢＬ、２４０ＤＬ、及び２４０ＤＲから0.4倍の音量でそれぞれ出力し、ミドル層のFRチャンネルの音声信号が示す音声は、スピーカ２４０ＢＬ及び２４０ＤＲから0.7倍の音量でそれぞれ出力することにより、各音声を、意図された位置に定位させる。

本実施形態において、割当部１０３は、変換テーブルを参照して、各チャンネル別音声信号が示す音声が出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、表示装置２００Ａ〜Ｄに供給する各映像信号に割り当てる。これにより、表示装置２０ｂにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

なお、本実施形態において、低域効果用のチャンネルであるLFE-1チャンネル、及びLFE-2チャンネルの音声信号が示す音声は、表示装置２０ｂの全てのスピーカから0.5倍の音量で出力するように構成されている。そのため、テレビで再生しにくい低音を効率的に出力することができる。

また、本変形例においても、表示装置２０ｂの備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔実施形態５〕
次に、本発明の他の実施形態について説明する。本実施形態では、音声信号処理装置１０は、９つの通信部を備えている。そのため、本実施形態では、分割部１０２における分割処理、及び割当部１０３における割当処理が上述の実施形態の音声信号処理装置１０と異なっている。本実施形態において、音声信号処理装置１０の分割部１０２は、復号部１０１にて復号された8k映像信号を、９つの映像信号（部分映像信号）に分割する。分割部１０２は、分割した９つの映像信号の各々を、９つの通信部にそれぞれ出力する。また、割当部１０３は、復号部１０１により復号されたチャンネル別音声信号の各々を、分割部１０２により分割された９つの映像信号の何れかに割り当てる。なお、割当部１０３における割当処理の詳細については後述する。

図１０は、本変形例に係る映像表示システムに含まれる表示装置２０ｄの外観と、当該表示装置が出力するチャンネル別音声信号が定位すべき位置を示す図である。

図１０に示すように、本実施形態において、表示装置２０ｄは、表示装置２０ｂとは異なり、９つの表示装置２００Ａ〜Ｉから構成されている。すなわち、表示装置２０ｄは、8k映像を９分割して画像処理を行ったうえで、各映像を合成することにより、8k映像の表示を実現している。なお、表示装置２００Ａ〜Ｉの構成は、上述の実施形態における表示装置２００Ａとほぼ同様であるため、その説明を省略する。

本実施形態では、記憶部１０４に格納されている変換テーブルは、図９に示す変換テーブルと異なっている。本実施形態における変換テーブルには、各チャンネル別音声信号が示す音声が図１０に破線にて示す位置にそれぞれ定位するように、各チャンネル別音声信号を出力させることが示されている。

例えば、ミドル層のFLチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬ、２４０ＡＲ、２４０ＤＬ、及び２４０ＤＲから、音量比を調整したうえでそれぞれ出力する。これにより、図１０において破線ＦＬにて示す位置に、当該音声を定位させることができる。他の各チャンネル別音声信号についても同様に、表示装置２０ｄの備える各スピーカから、音量比を調整したうえで、それぞれ出力するように変換テーブルを設定しておけばよい。

なお、図１０に示す例において、トップ層の各音声信号が示す音声が定位すべき位置は、表示装置２０ｄの備える各スピーカよりも外側に位置している。上記の場合、いわゆる腹話術効果（映像につられて、音声が実際に出力されている位置ではなく、映像が表示されている位置から出力されているように知覚される現象）を利用することにより、図１０に示すような位置に、トップ層の各音声を定位させることも可能である。この現象は、左右方向よりも上下方向に働きやすいので、例えば、トップ層の各音声に対応する映像が、スピーカの外側位置を含む高い位置に表示（すなわち、表示装置２００Ａ〜Ｃに表示）されていれば、トップ層の各音声を図１０に示す位置に定位させることも可能である。

以上のように、本実施形態では、割当部１０３は、変換テーブルを参照して、各チャンネル別音声信号が示す音声が出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、表示装置２００Ａ〜Ｉに供給する各映像信号に割り当てる。これにより、表示装置２０ｄにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

また、本実施形態においても、表示装置２０ｄの備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔実施形態５の変形例〕
本実施形態の変形例について図１１を参照して説明する。図１１は、本変形例に係る映像表示システムに含まれる表示装置２０ｄの外観と、当該表示装置が出力するチャンネル別音声信号が出力されるべき位置を示す図である。

図１１に示すように、表示装置２０ｄは、表示装置２００Ａ〜Ｃが、上下が逆になるように設置されているという点において、表示装置２０ｄと異なる。上記のように構成することにより、本変形例に係る表示装置２０ｄは、表示装置２０ｄと比較して、表示装置２００Ａの表示部２３０Ａと表示装置２００Ｄの表示部２３０Ｄとの間の隙間、表示装置２００Ｂの表示部２３０Ｂと表示装置２００Ｅの表示部２３０Ｅとの間の隙間、及び表示装置２００Ｃの表示部２３０Ｃと表示装置２００Ｆの表示部２３０Ｆとの間の隙間を減らすことが可能となり、ユーザにとって違和感の少ない8k映像を表示することができる。さらに、表示装置２００Ａ〜Ｆの表示領域を、表示装置２００Ａ〜Ｃ及び２００Ｇ〜Ｉに設けられたスピーカで上下から挟むように設置されているので、各チャンネル別音声信号が示す音声を定位させる位置を、上下方向に拡大することができる。

また、本変形例では、表示装置２０ｄが上記のように構成されているため、音声信号処理装置１０が表示装置２００Ａに供給する部分映像信号と、表示装置２００Ｃに供給する部分映像信号とを入れ替え、かつ、表示装置２００Ａ〜Ｃに表示される表示画面を１８０°回転させて表示するように構成される。

また、本変形例に係る表示装置２０ｄの各スピーカの配置位置は、表示装置２０ｄと異なっている。そのため、本変形例における変換テーブルには、各チャンネル別音声信号が示す音声が図１１に破線にて示す位置にそれぞれ定位するように、各チャンネル別音声信号を出力させることが示されている。

例えば、ミドル層のFLチャンネルの音声信号が示す音声を、スピーカ２４０ＡＬ、２４０ＡＲ、２４０ＤＬ、及び２４０ＤＲから、音量比を調整したうえでそれぞれ出力する。これにより、図１０において破線ＦＬにて示す位置に、当該音声を定位させることができる。他の各チャンネル別音声信号についても同様に、表示装置２０ｄの備える各スピーカから、音量比を調整したうえで、それぞれ出力するように変換テーブルを設定しておけばよい。

以上のように、本変形例においても、割当部１０３は、変換テーブルを参照して、各チャンネル別音声信号が示す音声が出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、表示装置２００Ａ〜Ｉに供給する各映像信号に割り当てる。これにより、表示装置２０ｄにおいて各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。

また、本変形例においても、表示装置２０ｄの備える各スピーカとユーザとの距離は、同一ではない。そのため、割当部１０３は各映像信号に割り当てられる各チャンネル別音声信号についての遅延時間を設定する構成とすることが好ましい。

〔付記事項１〕
上述の各実施形態における送信先情報の他の例について図１２〜１３を参照して説明する。図１２は、音声信号処理装置１０が参照する位置情報テーブルの一例を示す図である。

図１２に示す位置情報テーブルは、図９に示す変換テーブルの構成と同様であるが、ARIB STD-B59により規定されているチャンネル番号に対応する各チャンネル別音声信号と、各チャンネル別音声信号が示す音声が定位すべき相対的な位置とが関連づけられているという点において異なっている。図１２に示す位置情報テーブルにおいて、上記の相対的な位置は、表示装置の表示パネルを正面から見て、表示領域の中心位置の座標を原点Ｏ（０，０）とし、表示領域の右上隅の座標を（１，１）、表示領域の左下隅の座標を（−１，−１）として正規化した座標値で示されている。例えば、ミドル層のFLチャンネルの音声信号が示す音声が定位すべき位置は座標（−１，０）で示され、ミドル層のFRチャンネルの音声信号が示す音声が定位すべき位置は座標（１，０）で示されている。上記の座標が、実際の寸法ではなく、表示領域において正規化された座標で示されているため、表示装置における表示領域以外の領域（表示装置のフレーム等）の幅が極小である場合は、表示装置のサイズを考慮することなく、各チャンネル別音声信号を割り当てることができる。

割当部１０３は、図１２に示す位置情報テーブルを参照して、各チャンネル別音声信号を、何れの部分映像信号に割り当てるかを決定する。また、各チャンネル別音声信号を割り当てる際に、必要に応じて各チャンネル別音声信号をダウンミックスする。また、図１２に示す位置情報テーブルを用いる場合には、例えば、各音声が定位すべき位置、及び音声信号処理装置１０に接続される表示装置の備える各スピーカ間の距離等を参照することにより、各チャンネル別音声信号の音量比を指定する係数を決定すればよい。また、上記係数は、例えばＶＢＡＰ（Vector Based Amplitude Panning）法により設定する構成としてもよい。

図１２に示すような位置情報テーブルを用いることにより、音声信号処理装置１０に接続される表示装置が変更された場合であっても、各チャンネル別音声信号が示す音声を、より確実に、意図された位置に定位させることが可能になる。

なお、表示装置毎に、表示パネルのサイズ等の寸法は異なっている。そのため、各チャンネル別音声信号が示す音声が実際に定位すべき位置、及び、各チャンネル別音声信号の音量比を指定する係数を決定するために、音声信号処理装置１０の記憶部１０４には、自装置に接続される表示装置の各寸法を示す情報が格納される。割当部１０３は、図１２に示す位置情報テーブルと、記憶部１０４に格納表示装置の各寸法とを参照することにより、各チャンネル別音声信号が示す音声が実際に定位すべき位置を決定し、上記係数を決定することができる。なお、例えば、音声信号処理装置１０に接続される表示装置が変更された場合には、ユーザにより表示装置の各寸法を入力してもよい。記憶部１０４に格納される表示装置の各寸法について、図１３を参照して説明する。

図１３は、表示装置２０の各寸法について説明するための図である。図１３に示すように、ｄ１、ｄ２、及びｄ３は、表示装置２０の表示部２０３（表示パネル）と、筐体との間隔を示す値である。また、ｄ４は、表示部２０３とスピーカ２０４ａとの間隔を示す値である。また、ｄ５は、スピーカ２０４ａとスピーカ２０４ｂとの間隔を示す値である。さらに、表示装置２０の表示パネルの表示領域の大きさを示す値（不図示）が記憶部１０４に格納されている。なお、表示領域の大きさを示す値は、例えば、当該表示パネルのインチサイズを示す値であってもよい。

以上のように、割当部１０３は、図１２に示す位置情報テーブルと、記憶部１０４に格納した表示装置の各寸法とを参照することにより、各チャンネル別音声信号が示す音声が実際に定位すべき位置を決定し、上記係数を決定することができる。そして、割当部１０３は、各チャンネル別音声信号が示す音声が出力されるように、各チャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、表示装置に供給する各映像信号に割り当てる。これにより、表示装置において各音声が出力された際に、各チャンネル別音声信号が示す音声を、意図された位置に定位させることができる。また、表示領域の大きさを示す値を参照することにより、表示装置と当該表示装置を視聴するユーザとの距離、すなわち視聴距離を類推もしくは設定することができるので、前述の遅延時間を適切に設定することもできる。

なお、例えば、表示装置２０ａのように、複数の表示装置により構成されている場合、各表示装置の備える各表示パネルの表示領域と、各表示パネル間のフレーム部分とを含む領域を全表示領域として、当該全表示領域に8k映像（分割前の映像）が表示されるように、各部分映像の表示サイズを調整する構成としてもよい。具体的には、全表示領域のうち、各表示パネル間のフレーム部分に対応する領域に表示されるべき映像が非表示となり、各表示パネルの表示領域に対応する領域に表示されるべき映像のみが表示されるよう、各表示装置の各寸法を参照して各部分映像を拡大するようにすればよい。

〔ソフトウェアによる実現例〕
音声信号処理装置１０の制御ブロック（特に分割部１０２および割当部１０３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、音声信号処理装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項２〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、映像信号を分割して伝送する際に、当該映像信号に付随する音声を示す音声信号を処理する音声信号処理装置に利用することができる。

１ 映像表示システム
１０ 音声信号処理装置
１０２ 分割部（分割手段）
１０３ 割当部（割当手段）
２０、２０ａ〜ｄ 表示装置

Claims (9)

1. 復号した映像信号を複数の部分映像を示す部分映像信号に分割する分割手段と、
   上記映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々を、当該チャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照して、上記部分映像信号の何れかに割り当てる割当手段と、を備えている、
   ことを特徴とする音声信号処理装置。
2. 上記送信先情報は、上記複数のチャンネル別音声信号の各々と、当該チャンネル別音声信号の各々が示す音声を出力するスピーカとが関連づけられた変換テーブルである、
   ことを特徴とする請求項１に記載の音声信号処理装置。
3. 上記送信先情報は、上記複数のチャンネル別音声信号の各々と、当該複数のチャンネル別音声信号が示す各音声が定位すべき相対的な位置とが関連づけられた位置情報テーブルである、
   ことを特徴とする請求項１に記載の音声信号処理装置。
4. 上記割当手段は、上記部分映像信号に割り当てられる上記複数のチャンネル別音声信号の各々についての遅延時間を設定する、
   ことを特徴とする請求項２または３に記載の音声信号処理装置。
5. 上記割当手段は、上記複数のチャンネル別音声信号をダウンミックスし、ダウンミックスされた各音声信号を、上記部分映像信号の何れかに割り当てる、
   ことを特徴とする請求項１から４の何れか１項に記載の音声信号処理装置。
6. 上記送信先情報には、各チャンネル別音声信号の音量比を指定する係数が含まれており、
   上記割当手段は、上記複数のチャンネル別音声信号の各々に上記係数をかけ合わせてダウンミックスし、ダウンミックスされた各音声信号を、上記部分映像信号の何れかに割り当てる、
   ことを特徴とする請求項５に記載の音声信号処理装置。
7. 復号した映像信号を複数の部分映像を示す部分映像信号に分割する分割ステップと、
   上記映像信号に付随した音声を示す音声信号に含まれる複数のチャンネル別音声信号の各々を、当該チャンネル別音声信号の各々が送信されるべき送信先を示す送信先情報を参照して、上記部分映像信号の何れかに割り当てる割当ステップと、を含んでいる、
   ことを特徴とする音声信号処理方法。
8. 請求項１から６のいずれか１項に記載の音声信号処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images