JP2012160984A

JP2012160984A - 立体音響再生装置および立体音響再生方法

Info

Publication number: JP2012160984A
Application number: JP2011020344A
Authority: JP
Inventors: Toshihiko Date; 俊彦伊達
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-02-02
Filing date: 2011-02-02
Publication date: 2012-08-23

Abstract

【課題】家庭で使用されるディスプレイ装置の画面サイズは様々であるが、両眼視差に基づく立体映像の奥行き、飛出し量は、左右画像の視差量によって決定されるため、画像信号の解像度が一定で、表示されるディスプレイサイズが変わると、各々のディスプレイサイズでの画素ピッチが変動するため、立体映像の奥行き、飛出し量は、表示するディスプレイのサイズによって変化することになる。
【解決手段】立体映像を表示するディスプレイの画面サイズ情報に従った立体音響処理を施すことによって、映像信号と音響信号との整合性が高い、より臨場感のある立体音響の再生処理を効率的な演算量で実現している。
【選択図】図１

Description

本発明は、立体映像による飛び出し感や奥行き感と同期した立体音響再生を実現する音響再生装置に関するものである。

近年、立体映画再生に対応した映画館が増加し、さらに映画以外でもゲームや放送など様々なコンテンツが立体映像で制作される動きが現れている。これに伴い、家庭においてもこれらの立体映像を再生できる薄型テレビに代表されるディスプレイ装置が提供されはじめている。

このように、映像再生は、２Ｄ映像から立体映像へ大きく変化している。しかし、音響再生については、映像表現が立体映像となっても従来のステレオや５．１ｃｈサラウンドなど再生方式やそれに基づくコンテンツの制作手法や制作フォーマットは、基本的には２Ｄ映像時と大きく変わっていない。

上記の理由により、立体映像に連動した音響効果を提供することができれば、立体映像再生の表現力増加を一層際立たせる臨場感や実在感を実現できることが考えられる。

立体映像に連動した音響信号の処理として特許文献１および特許文献２に記載される技術がある。

特許文献１は、映像の奥行き感に応じて音像の距離感を制御する３次元空間再現システムが開示されている。この３次元空間システムは、映像の奥行きに応じて、実際に出力する際の音のレベル、直接音対残響音のエネルギー比および両耳間相互相関関数を制御し、映像と音像の距離感を合わせる構成を備える。

また、特許文献２には立体映像データにおけるオブジェクトの３次元的位置と、音響の３次元的位置を対応づけて記録する立体映像・立体音響対応記録技術が開示されています。

特開平６−１０５４００号公報特開２００６−１２８８１６号公報

一般に家庭で使用されるディスプレイ装置の画面サイズは様々な種類がある。そのため、同じ立体映像を視聴したとしても、当該立体映像を表示するディスプレイ装置の画面サイズに依存して、当該立体映像の飛出し感、引っ込み感は変化する。これは、ディスプレイ装置の画面サイズに応じて、ディスプレイ上の画素ピッチが変動するためである。つまり、１０ピクセルの視差量を有する立体映像を１００インチの画面で表示する場合と５０インチの画面で表示する場合では、当該立体映像を構成する右目用映像と左目用映像の物理的な距離が異なる。

従って、立体映像と整合した音響効果を提供するという観点においては、立体映像再生で用いられる右目用画像と左目用画像の視差量を、立体音響処理の制御パラメータとして立体音響処理を行う必要がある。

上記の特許文献１では、奥行き信号の生成方法については具体的に明示されていないため、使用するディスプレイに応じた立体音響処理には対応できない。

また特許文献２では、特許文献１と同様に使用するディスプレイサイズによる視差量の変動については考慮されていない。

そこで本発明は、立体映像を表示するディスプレイの画面サイズ情報に従った立体音響処理を施すことによって、映像信号と音響信号との整合性が高い、より臨場感のある立体音響の再生処理を効率的な演算量で実現することを目的としている。

上記目的を達成するために本発明の立体音響再生装置は、立体視用の映像および当該立体視用の映像に対する音響信号からなるコンテンツデータを取得するデータ取得部と、前記立体視用の映像を表示する表示装置のディスプレイサイズを示すディスプレイサイズ情報を取得する情報取得部と、前記取得したディスプレイサイズ情報に基づいて、前記音響信号を再生した際の音の定位位置を複数設定する設定部と、前記設定した定位位置から音が再生されるように、前記音響信号に対して音響処理する音響処理部と、を備える。

このようすれば、立体音響再生装置は、表示装置のディスプレイサイズを考慮して、音響信号の定位位置を設定することができる。これにより、単に立体視用の映像を用いて音響信号の定位位置を設定するよりも、より自然な位置に音が定位するように処理できる。

また好ましくは、前記設定部は、前記表示装置のディスプレイサイズが大きくなるにつれ、前記複数の定位位置のうち前記音響信号を聴取する視聴者の前方に位置する定位位置が前記表示装置から離れていくように、前記定位位置を設定する。

このようにすれば、前記表示装置のディスプレイサイズが大きくなるにつれ、視聴者の前方に定位する音を前記表示装置から離れていくように設定できる。これにより、ディスプレイサイズが大きくなるにつれ、より飛び出しまたは引っ込みを感じるように音響信号を定位させることができる。つまり、飛び出すオブジェクトに起因する音は視聴者により近づいて聞こえるように定位し、逆に引っ込むオブジェクトに起因する音は視聴者からより離れて聞こえるように定位する。

また好ましくは、前記情報取得部は、前記立体視用の映像が前記表示装置において２Ｄ映像として再生されるか、立体映像として再生されるかを示す再生モード情報を取得し、前記設定部は、前記取得した再生モード情報に基づいて前記立体視用の映像が立体映像として再生される場合、前記ディスプレイサイズ情報に基づいて前記音響信号を再生した際の音の定位位置を複数設定する。

このようにすれば、立体視用の映像を立体映像として表示する場合にディスプレイサイズ情報に基づいて、音響信号の定位位置を設定することができる。

また好ましくは、前記設定部は、前記音響信号を聴取する視聴者の前方に位置する定位位置のみ前記ディスプレイサイズ情報に基づいて設定する。

このようにすれば、視聴者が視聴する方向から聞こえてくる音響信号のみ、ディスプレイサイズ情報に基づいて定位位置を設定することが可能となる。

本発明の立体音響再生装置及び、立体音響再生方法によれば、映像信号を構成する画像信号と音声信号との整合性が高い、より臨場感のある立体音響の再生処理を実現することができる。

本発明の実施の形態における立体音響再生装置の構成を示すブロック図画面サイズの変化と立体映像の飛出し、奥行き量の関係を示す概念図本発明における音像定位処理についての説明図本発明における画面サイズの変化に伴う音像定位処理についての説明図

以下、本実施形態について、図面を参照しながら説明する。

（実施の形態）
図１は本実施の形態における立体音響再生装置の構成を示すブロック図である。

図１において、本実施形態における立体音響再生装置は、ＡＶコンテンツ再生部１、立体音響処理部２、立体映像再生部３、音声再生部４とから構成される。さらに立体音響処理部２は、信号分離部５、音像位置決定部６、音像定位処理部７-1〜７-Nとから構成されている。

ＡＶコンテンツ再生部１は、外部の装置または内部の記録媒体からコンテンツデータを取得する。ここで、コンテンツデータとは、立体視用の映像と、当該映像に対応した音響信号を含むデータである。立体視用の映像とは、例えば第１視点における第１視点映像と第２視点における第２視点映像から構成される映像であっても構わないし、サイドバイサイド方式またはトップアンドボトム方式の映像であっても構わない。要するに、当該映像を特定の方式で再生した際に立体映像として再生される映像であればどのようなものでも構わない。また、コンテンツデータは、アンテナを介して取得されるデータであっても構わないし、ＢＤプレーヤが出力するデータであっても構わない。また、ドライブ装置またはハードディスクに蓄積されるコンテンツデータであっても構わない。要するに、ＡＶコンテンツ再生部１はコンテンツデータを取得さえできればよい。

また、ＡＶコンテンツ再生部１は取得したコンテンツデータを復号処理する。ＡＶコンテンツ再生部１はコンテンツデータを構成する２つの信号のうち、立体視用の映像を立体映像再生部３に出力し、音響信号を立体音響処理部２に出力する。

立体音響処理部２は、立体映像再生部３が出力するディスプレイサイズ情報に基づいて、ＡＶコンテンツ再生部１が出力する音響信号を信号処理する。具体的には、ディスプレイサイズ情報に基づいて、音響信号のうち視聴者の前方に音像定位する信号に含まれる各信号成分の定位位置を変更する。そして、定位位置が変更された音響信号を音響再生部４に出力する。なお、立体音響処理部２における具体的な処理については、後述する。

立体映像再生部３は、ＡＶコンテンツ再生部１から出力される立体視用の映像を取得し、取得した映像を映像として表示する。例えば立体映像再生部３は、液晶テレビまたはプラズマパネルディスプレイで実現される。

なお、立体映像再生部３は常に立体視用の映像を立体映像として表示するわけではなく、立体映像再生部３の使用者から特定の指示がなされた場合に立体映像として表示する。つまり、立体映像再生部３は立体視用の映像を、２Ｄ映像として表示する表示モードと、立体映像として表示する表示モードを有し、使用者によってこの２つのモードが切り替え可能に構成される。

また、立体映像再生部３は自装置のディスプレイサイズを示す情報であるディスプレイサイズ情報を立体音響処理部２に出力する。このディスプレイサイズ情報は、立体映像再生部３と立体音響処理部２がＨＤＭＩケーブルで接続されている場合、当該ＨＤＭＩ規格の制御情報として出力される情報であっても構わない。また、ディスプレイサイズ情報は、立体映像再生部３の製造時に予め設定される情報であっても構わないし、使用者がリモコン等を介して、入力する情報であっても構わない。

音響再生部４は、立体音響処理部２が出力する音響信号を再生するスピーカである。音響再生部４は、１つのスピーカから構成されても構わない。また、音響再生部４は、少なくとも２つ以上のスピーカから構成されても構わない。つまり、音響再生部４は、立体音響処理部２から複数のチャンネルを有する音響信号が入力される場合、当該チャンネル毎の信号成分を再生するスピーカを備える。

さて先述の通り、両眼視差に基づく立体映像の奥行き、飛出し量は、左右画像の視差量によって決定されるため、画像信号の解像度が一定で、表示されるディスプレイサイズが変わると、各々のディスプレイサイズでの画素ピッチが変動するため、立体映像の奥行き、飛出し量は、表示するディスプレイのサイズによって変化することになる。

（立体音響処理部２の具体的な構成の説明）
以下、立体音響処理部２の具体的な構成について説明する。

図１に示すように、立体音響処理部２は、信号分離部５、音像位置決定部６、音像定位処理部７−１、音像定位処理部７−２、・・・、音像定位処理部７−Ｎおよび結合部８から構成される。

信号分離部５は、ＡＶコンテンツ再生部１から取得される音響信号（以下、処理対象信号と称す。）を複数の信号成分に分離する。具体的に信号分離部５は、処理対象信号を、当該処理対象信号に含まれるＬチャンネル信号とＲチャンネル信号の相関度が低い信号成分と、相関度が高い信号成分に分離する。信号分離部５は、分離して得られる信号成分を音像定位処理部７−１から音像定位処理部７−Ｎにそれぞれ出力する。例えば、音像定位処理部７−１が相関度の高い信号成分を処理する処理部である場合、信号分離部５は相関度の高い信号成分を音像定位処理部７−１に出力する。要するに、信号分離部５は分離して得られる信号成分を、当該信号成分に対応する音像定位処理部７の各処理部にそれぞれ出力する。

ここで、上記の相関度が低い信号成分は、視聴者にとって音像位置が特定しにくい信号成分である。一方、相関度が高い信号成分は、視聴者にとって音像位置の特定が用意な信号成分である。

この相関度が低い信号成分は、視聴者が当該信号成分を聞いた場合、音の広がりを意識する信号成分となる。これは、相関度が低い信号成分は音像定位が特定しにくい信号成分であるため、視聴者が周囲からの音と知覚するためである。そのため、本実施形態においては、例えば相関度が低い成分を画面より奥に定位させる信号として以後の処理を実施する。要するに、この相関度が低い信号成分は音場空間が広がるように信号処理する。

また、相関度が高い信号成分は、視聴者が当該信号成分を聞いた場合、音の定位位置を意識する信号成分となる。これは、相関度が高い信号成分は音像定位が特定しやすい信号成分であるためである。そのため、本実施形態においては、例えば相関度が高い成分を画面より飛出して音像定位する信号として以後の処理を実施する。

なお信号分離部５は、処理対象信号を相関度が低い信号成分、相関度が高い信号成分およびそれ以外の信号成分に分離する。

なお信号分離部５は、処理対象信号を相関度以外の指標に基づく信号成分の分離方法を適用できる。例えば、信号分離部５は、入力音声信号の周波数スペクトラムから特定の振幅形状や位相成分を抽出して分離する手法を用いても構わない。また、信号分離部５は、独立成分分析によるブラインド音源抽出などによって音像オブジェクトの信号成分を抽出して分離する手法を用いても構わない。要するに、視聴者の視聴位置から音像定位する位置までの距離が異なる信号成分に分離することが出来ればどのようなものを利用しても構わない。

音像位置決定部６は、立体映像再生部３から出力されるディスプレイサイズ情報を取得する。音像位置決定部６は、取得したディスプレイサイズ情報に応じて、信号分離部５が出力する各信号成分の音像定位位置を音像定位処理部７−１から音像定位処理部７−Ｎに対して出力する。

ここで、音像位置決定部６が出力する音像定位位置に関して図面を参照しながら説明する。

図２は、画面サイズの変化と立体映像の飛出し、奥行き量の関係を示す概念図である。

図３は、立体映像再生部３と音響再生部４の配置関係および音像位置決定部６が出力する音像定位位置を説明するための図である。

図２に示すように、立体映像再生部３の水平方向における画面サイズがＨであるとする。このとき、ある立体視用の映像を再生した場合、映像の最大の飛出し位置と最大の奥行き位置間の距離の幅（以下、立体幅と称す）がＤであるとする。

ここで、立体幅Ｄとは、立体視用の映像を実際に視聴した際、視聴者が感じる立体感を示すものである。つまり、立体視用の映像から得られる視差量ではなく、当該視差量およびディスプレイサイズ情報を含む視聴環境に関する情報に基づいて設定される値となる。視聴環境に関する情報とは、立体映像再生部３から視聴者までの視聴距離、視聴者の視点間隔および立体映像再生部３の水平方向の画面サイズ等がある。

上記の立体視用の映像を、例えば水平方向の画面サイズがＨよりも小さいＨ０であるディスプレイで視聴した場合、立体幅Ｄよりも小さいＤ０となる。つまり、同じ立体視用の映像を再生した際の立体幅は、当該映像を表示するディスプレイのサイズが小さくなればなるほど圧縮される。

一方、上記の立体視用の映像を、例えば水平方向の画面サイズがＨよりも大きいＨ１であるディスプレイで視聴した場合、立体幅はＤよりも大きいＤ１となる。つまり、同じ立体視用の映像を再生した際の立体幅は、当該映像を表示するディスプレイのサイズが大きくなればなるほど伸張される。

このように、ディスプレイの水平方向の画面サイズによって立体画像の飛出し、奥行き量は変化するため、視聴者に提示される映像位置と音像位置とを整合させるためには、音像を提示する位置をディスプレイの水平方向の画面サイズに応じて変化する必要がある。

そこで、音像位置決定部６は、図３に示すようにディスプレイサイズ情報から設定される立体幅Ｄに応じて、音響再生部４から出力する音の音像定位位置を設定する。具体的に音像位置決定部６は、少なくとも立体視用の映像から得られる視差量およびディスプレイサイズ情報に基づいて、立体幅を算出する。

そして、音像位置決定部６は、図３に示すように立体映像再生部３の左右に配置される音響再生部４−Ｌおよび音響再生部４−Ｒから再生される音の音像定位位置を設定する。具体的に音像位置決定部６は、相関度が高い信号成分の音像定位位置と相関度が低い信号成分の音像定位位置との距離が立体幅と略同一となるように、２つの音像定位位置を設定する。

つまり、音響再生部４−Ｌから再生する相関度の高い信号成分は図３に示す９−Ｌ１の位置を音像定位位置として設定する。また、音響再生部４−Ｌから再生する相関度の低い信号成分は図３に示す９−Ｌ２の位置を音像定位位置として設定する。これにより、音響再生部４−Ｌから出力する音は、信号成分によって音像定位位置が９−Ｌ１と９−Ｌ２に振り分けられる。

また、音響再生部４−Ｒから再生する相関度の高い信号成分は図３に示す９−Ｒ１の位置を音像定位位置として設定する。また、音響再生部４−Ｒから再生する相関度の低い信号成分は図３に示す９−Ｒ２の位置を音像定位位置として設定する。これにより、音響再生部４−Ｒから出力する音は、信号成分によって音像定位位置が９−Ｒ１と９−Ｒ２に振り分けられる。

なお、音像位置決定部６は相関度が高い信号成分の音像定位位置と相関度が低い信号成分の音像定位位置との距離を立体幅Ｄよりも広く設定しても構わない。この場合、音の立体感がさらに強調される効果を奏する。また、音像位置決定部６は相関度が高い信号成分の音像定位位置と相関度が低い信号成分の音像定位位置との距離を立体幅Ｄよりも狭く設定しても構わない。

なお、音像位置決定部６は立体視用の映像およびディスプレイサイズ情報に基づいて、算出する立体幅は変化する。

図４は、立体映像再生部３の水平方向における画面サイズに基づく、音像定位位置を説明するための図である。

図４に示すように、立体映像再生部３における水平方向の画面サイズが大きくなるにつれ、立体幅は大きくなる。そのため、音像位置決定部６が設定する音像定位位置は立体映像再生部３の画面から離れるように設定される。

なお、音像位置決定部６における仮想音像の定位位置の決定ルールは、単純に水平方向の画面サイズに比例して仮想音像の飛出し、奥行き量の幅を決定するものであっても良い。

また、音像位置決定部６内にディスプレイサイズ情報と仮想音像の飛出し、奥行き量との関係を最適化したデータを保存したテーブルを有し、そのテーブルから決定するものであっても良い。

さらに上記テーブルは、ディスプレイサイズ情報に加えて、ディスプレイ位置と視聴者位置との距離情報の２つのパラメータと仮想音像の飛出し、奥行き量との関係を最適化したデータを保存したテーブルであっても良いものとする。この場合、ディスプレイ位置と視聴者位置との距離情報は、視聴者８の適切な手段によるマニュアル入力、ディスプレイまたは視聴者８近辺に設置したカメラによる画像分析、もしくはマイクによる音響分析によって作成されるものとする。

音像定位処理部７は、信号分離部５が出力する信号成分が音像位置決定部６が設定する音像定位位置となるように、当該信号成分に対して信号処理する。具体的に、音像定位処理部７−１は相関度が高い信号を音響再生部４から出力した際、音像位置決定部６が設定した音像定位位置となるように当該信号に対して音像定位処理する。音像定位処理部７は、音像定位処理した信号を結合部８にそれぞれ出力する。

ここで、本実施形態における音像定位処理は、目標とする定位位置に音源が置かれた時の頭部伝達関数を実現する処理などの一般的な仮想音像定位処理で実現できる。さらに音像定位に対する別の方法として、複数の仮想スピーカ９の位置それぞれに実スピーカを設置して、それぞれの信号成分を再生しても良い。なおこの場合、音像定位処理部７−１から音像定位処理部７−Ｎにおいては頭部伝達関数の実現による仮想音像定位処理は必要なくなる。そのため、それぞれの信号成分間のレベル調整や音質調整などを必要に応じて行う。

なお、音像定位位置の調整は、音像定位処理部７におけるレベル調整や音質調整などを行うことで実現することができる。

結合部８は、音像定位処理部７から出力される信号成分を１つの音響信号に結合し、音響再生部４に出力する。

（まとめ）
上記本実施形態の立体音響処理部２は、ＡＶコンテンツ再生部１から取得される処理対象信号を複数の信号成分に分離する信号分離部５と、前記立体視用の映像を表示する表示装置のディスプレイサイズを示すディスプレイサイズ情報を取得し、前記取得したディスプレイサイズ情報に基づいて、前記音響信号を再生した際の音の定位位置を設定する音像位置決定部６と、前記設定した定位位置から音が再生されるように、前記音響信号に対して音響処理する音像定位処理部７と、を備える。

このようすれば、立体音響処理部２は、表示装置のディスプレイサイズを考慮して、音響信号の定位位置を設定することができる。これにより、単に立体視用の映像を用いて音響信号の定位位置を設定するよりも、より自然な位置に音が定位するように処理できる。

また好ましくは、前記音像位置決定部６は、前記表示装置のディスプレイサイズが大きくなるにつれ、前記複数の定位位置のうち前記音響信号を聴取する視聴者の前方に位置する定位位置が前記表示装置から離れていくように、前記定位位置を設定する。

また好ましくは、前記音像位置決定部６は、前記立体視用の映像が前記表示装置において２Ｄ映像として再生されるか、立体映像として再生されるかを示す再生モード情報を取得し、前記音像位置決定部６は、前記取得した再生モード情報に基づいて前記立体視用の映像が立体映像として再生される場合、前記ディスプレイサイズ情報に基づいて前記音響信号を再生した際の音の定位位置を複数設定する。

また好ましくは、前記音像位置決定部６は、前記音響信号を聴取する視聴者の前方に位置する定位位置のみ前記ディスプレイサイズ情報に基づいて設定する。

本発明にかかる音像定位処理装置は、映像信号を構成する画像信号と音声信号との整合性が高く、より臨場感のある立体音響の再生処理を効率的な演算量で実現することができるものとして有用である。

１ＡＶコンテンツ再生部
２立体音響処理部
３立体映像再生部
４音響再生部
５信号分離部
６音像位置決定部
７−１、７−２、・・・、７−Ｎ音像定位処理部
８結合部
９音像定位位置

Claims

立体視用の映像および当該立体視用の映像に対する音響信号からなるコンテンツデータを取得するデータ取得部と、
前記立体視用の映像を表示する表示装置のディスプレイサイズを示すディスプレイサイズ情報を取得する情報取得部と、
前記取得したディスプレイサイズ情報に基づいて、前記音響信号を再生した際の音の定位位置を設定する設定部と、
前記設定した定位位置から音が再生されるように、前記音響信号に対して音響処理する音響処理部と、を備える
立体音響再生装置。
前記設定部は、前記表示装置のディスプレイサイズが大きくなるにつれ、前記複数の定位位置のうち前記音響信号を聴取する視聴者の前方に位置する定位位置が前記表示装置から離れていくように、前記定位位置を設定する請求項１に記載の立体音響再生装置。
前記情報取得部は、前記立体視用の映像が前記表示装置において２Ｄ映像として再生されるか、立体映像として再生されるかを示す再生モード情報を取得し、
前記設定部は、前記取得した再生モード情報に基づいて前記立体視用の映像が立体映像として再生される場合、前記ディスプレイサイズ情報に基づいて前記音響信号を再生した際の音の定位位置を複数設定する請求項１および請求項２に記載の立体音響再生装置。
前記設定部は、前記音響信号を聴取する視聴者の前方に位置する定位位置のみ前記ディスプレイサイズ情報に基づいて設定する請求項１に記載の立体音響再生装置。
立体視用の映像および当該立体視用の映像に対する音響信号からなるコンテンツデータを取得し、
前記立体視用の映像を表示する表示装置のディスプレイサイズを示すディスプレイサイズ情報を取得し、
前記取得したディスプレイサイズ情報に基づいて、前記音響信号を再生した際の音の定位位置を複数設定し、
前記設定した定位位置から音が再生されるように、前記音響信号に対して音響処理する、
立体音響再生方法。