JP2011035784A - 立体映像・立体音響記録再生装置・システム及び方法 - Google Patents

Abstract

【課題】高臨場感を提供する立体映像・立体音響記録再生システムにおいて、立体表示を行う際の表示サイズや、視聴距離、視差の調整により、立体映像の表示位置が変化するが、その変化に合わせて適切な位置で音像定位を行うようにする。
【解決手段】立体ディスプレイ上の立体映像の表示サイズと、立体ディスプレイと視聴者の間の視聴距離をあらかじめ想定し、想定表示サイズ情報と、想定視聴距離情報として、立体位置情報と共に、立体映像・立体音響データ内に記録し、前記立体映像・立体音響データを再生する際、想定表示サイズ情報と、想定視聴距離情報、立体位置情報に基づき、立体表示する際の実際の表示サイズと、視聴距離、視差の調整に応じて、立体位置情報の値を更新し、正しい立体映像の表示位置に合わせた音像定位を行う。これにより、高臨場感の立体映像・立体音響記録再生システムを提供することができる。
【選択図】図１

Description

本発明は、高い臨場感を実現するための立体映像・立体音響記録再生技術に関する。

近年、大画面テレビの普及と高精細デジタル放送の開始で、２Ｄ映像に関しては、家庭における大画面高精細映像を楽しめる環境が整ってきつつある。一方、次世代の映像システムとして、高臨場感をもつ立体表示映像システムへの期待が高まってきている。

この立体表示の高臨場感映像システムに関して、下記特許文献に開示されているシステムがある。図１９は、下記特許文献１に記載のシステム構成を示す図である。図１９に示すように、このシステムでは、受信した立体映像を、液晶ディスプレイ（ＬＣＤ）４００を用いて再生し、再生した立体映像をもとに、ＬＣＤ４００の前面に配置したＩＰ方式のレンズアレイ４０１を用いて要素画像から立体映像を構成する。ＬＣＤ４００の背面に配置したスピーカアレイ４０２において、レンズアレイ４０１より前に出てきているように知覚される立体映像のオブジェクト４０５にリンクした形でそのオブジェクト４０５の音源が、視聴者４０７にとって、あたかもそのオブジェクト４０５の位置から聞こえて来るように音像定位をして再生するシステムである。

上記特許文献１に記載のシステムのように、音源であるオブジェクト４０５の立体映像の位置から聞こえて来るように音像定位を行い、鑑賞者に提示することは、高い臨場感を作り出す上で重要であることが知られている。

特開２００６−１２８８１６号公報

しかしながら、上記特許文献１のシステムでは、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を記録するが、立体ディスプレイ上で表示される立体映像の表示位置が、立体ディスプレイ上における立体映像の大きさに応じて変化してしまうため、立体位置情報の示す位置と、実際に表示される立体映像の位置とが異なってしまうという問題が生じる。

図２０は、表示サイズにより、立体映像の表示位置が変化する様子を模式的に示した図である。例えば、図２０に示すように、立体ディスプレイ（１）４０３と、立体ディスプレイ（１）４０３と同じ解像度を持ち、かつ、その倍の大きさである立体ディスプレイ（２）４０４のそれぞれに、縮小拡大を行わないそのままの解像度で立体映像を表示した場合は、単純な図形の相似から、立体ディスプレイ（１）４０３から立体映像４０５までの奥行き方向の距離Ｌ１は、立体ディスプレイ（２）４０４から立体映像４０６までの距離Ｌ２の半分となり、立体ディスプレイ上で表示される立体映像の表示位置が、立体ディスプレイ上における立体映像の大きさに応じて変化することがわかる。

また、上記特許文献１に記載のシステムは、２眼式にも適応可能とあるが、２眼式の場合には、立体ディスプレイから視聴者までの視聴距離Ｌにより、立体映像の表示位置は変わってしまうため、このシステムで記録された立体位置情報の示す位置と、実際に表示される立体映像の位置とが異なってしまうという問題が生じる。

２眼式は、両眼視差方式とも呼ばれ、観察者の左右の目に、異なる２つの視点の映像を同時に提示する方式である。両眼視差方式には、２眼式だけでなく、多眼式も含まれる。多眼式は、３以上の視点の映像を提示する方式であるが、観察者の左右の目に同時に提示される映像は、異なる２つの視点の映像のみであるため、２眼式と立体視の原理としては同じである。そこで、以下では、説明の簡単化のため、２眼式で統一して説明する。ただし、２眼式の説明は、同じ両眼視差方式である多眼式にも同様に適応可能である。

２眼式では、視差を利用することにより立体映像を表示するが、その表示位置は視聴距離に応じて変化してしまうことが知られている。図２１は、２眼式の立体ディスプレイにおいて、点をディスプレイの手前に表示しようとした場合に、視聴距離に応じて立体映像の表示位置が変化することを説明する原理図である。ここで、説明を簡単にするために、表示する立体映像を１つの点を立体表示するものとして説明を行う。図２１は、２眼式の立体ディスプレイにおいて、視聴位置の違いにより、立体映像の表示位置が変化する様子を示した図である。

図２１において、ディスプレイ面４０７上に、右目用の点４０８と、その対応点である左目用の点４０９と、が表示される。このディスプレイ面４０７を視聴位置（１）４１０で観察する場合の立体映像の表示位置は、左目４１１と左目用の点４０９を結ぶ線と、右目４１２と右目用の点４０８を結ぶ線とが交わる交点（１）４１３の位置となる。また、視聴位置（１）４１０よりも遠い視聴位置（２）４１４で観察する場合の立体映像の表示位置は、左目４１５と左目用の点４０９を結ぶ線と、右目４１６と右目用の点４０８を結ぶ線が交わる交点４１７の位置となり、立体映像の表示位置が視聴距離に依存して変化することがわかる。

また、両眼視差方式において、視聴者が、視差を強くしたり、弱めたりするなどの視差の調整を行う際に、視差調整を行なう前と後との立体像の表示位置は異なるため、上記特許文献１に記載のシステムで記録された立体位置情報の示す位置と、実際に表示される立体映像の位置とが異なってしまうという問題が生じる。

このように、各種立体方式の立体ディスプレイや、同じ立体方式であっても解像度や表示サイズの異なる立体ディスプレイに立体映像を表示する際に、立体表示を行う際の立体映像の大きさに応じて、立体映像の表示位置が変化するが、変化後の立体映像の表示位置に合わせて音像定位を行うようなシステムは知られていない。

また、両眼視差方式の立体ディスプレイにおいては、視聴距離や、視差調整に応じて、立体映像の表示位置が変化するが、変化後の立体映像の表示位置に合わせて音像定位を行うようなシステムは知られていない。

このように、高臨場感を提供する立体映像・立体音響記録再生システムにおいて、立体表示を行う際の表示サイズや、視聴距離、視差の調整により、立体映像の表示位置が変化する。

そこで、本発明は、立体映像の表示位置の変化に合わせて適切な位置で音像定位を行うようにすることを目的とする。

本発明は、立体ディスプレイ上の立体映像の表示サイズと、立体ディスプレイと視聴者の間の視聴距離をあらかじめ想定し、想定表示サイズ情報と、想定視聴距離情報として、立体位置情報と共に、立体映像・立体音響データ内に記録し、前記立体映像・立体音響データを再生する際、想定表示サイズ情報と、想定視聴距離情報、立体位置情報に基づき、立体表示する際の実際の表示サイズと、視聴距離、視差の調整に応じて、立体位置情報の値を更新し、正しい立体映像の表示位置に合わせた音像定位を行うことができる高臨場感の立体映像・立体音響記録再生システムを提供するものである。

本発明の一観点によれば、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を、前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、立体映像ディスプレイ上で、前記立体映像・立体音響データがどのサイズで表示されるかを想定した値である想定表示サイズ情報を、前記立体映像・立体音響データ内に多重化し、出力するための立体映像・立体音響多重化手段を備えることを特徴とする立体映像・立体音響記録システムが提供される。

これにより、想定表示サイズ情報を参照し、実際の表示サイズに合わせて立体像の表示位置を再計算想定表示サイズ情報と、想定視聴距離情報、立体位置情報を立体映像・音響データと共に記録する。この記録を利用して音像定位を行うことできる。

前記立体映像・立体音響多重化手段は、観察者から立体ディススプレイまでの距離である想定視聴距離情報を、前記立体映像・立体音響データ内に多重化することを特徴とする。想定視聴距離情報を参照し、実際の視聴距離に応じて、表示位置を再計算して音像定位を行うことができる。

ここで、飛び出す立体映像の場合は、表示位置からより手前に音像を定位させる映像立体感強調モードを備え、引っ込む立体映像の場合、表示位置からより後ろに音像を定位させる映像立体感強調モードを備えることが好ましい。

また、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、前記立体映像・立体音響データから、立体映像データと立体音響データ、想定表示サイズ情報、オブジェクトごとの立体位置情報をそれぞれ分離する立体映像・立体音響分離手段と、外部から表示サイズ情報の入力を受け付ける入力手段と、
各オブジェクトの前記立体位置情報と、前記想定表示サイズ情報、前記表示サイズ情報を入力とし、前記想定表示サイズ情報、前記表示サイズ情報を用いて、前記表示サイズ情報の示すサイズで表示した場合の立体映像の表示位置である更新立体位置情報をオブジェクト毎に出力する立体位置情報更新手段と、オブジェクト毎に更新立体位置情報の示す位置を参照して音像定位させる位置を決定し、音像定位位置として出力する音像定位位置決定手段と、前記音像定位位置に、音響を音像定位させる音響変換手段と、を備えることを特徴とする立体映像・立体音響再生システムが提供される。

また、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、前記立体映像・立体音響データから、立体映像データと立体音響データ、想定表示サイズ情報、想定視聴距離情報、オブジェクトごとの立体位置情報をそれぞれ分離する立体映像・立体音響分離手段と、外部から表示サイズ情報と、視聴距離情報、立体表示方式情報の入力を受け付ける入力手段と、各オブジェクトの前記立体位置情報と、前記想定表示サイズ情報、前記表示サイズ情報、前記想定視聴距離情報、前記視聴距離情報、前記立体表示方式情報を入力とし、前記立体表示方式が、観察者の左右の目に異なる２つの視点の画像を同時に提示する両眼視差方式の立体表示方式である場合は、前記想定表示サイズ情報、前記表示サイズ情報、前記想定視聴距離情報、前記視聴距離情報、前記立体表示方式情報を用いて、前記表示サイズ情報の示すサイズで表示し、かつ、前記視聴距離情報の位置で観察する場合の、立体映像の表示位置である更新立体位置情報を、前記立体表示方式が前記両眼視差方式の立体表示方式でない場合は、前記想定表示サイズ情報、前記表示サイズ情報を用いて、前記表示サイズ情報の示すサイズで表示した場合の立体映像の表示位置である更新立体位置情報を、それぞれオブジェクト毎に出力する立体位置情報更新手段と、オブジェクト毎に更新立体位置情報の示す位置を音像定位させる位置として決定し、音像定位位置として出力する音像定位位置決定手段と、前記音像定位位置を参照して、音響を音像定位させる音響変換手段と、を備えることを特徴とする立体映像・立体音響再生システムが提供される。

前記入力手段は、立体音響の定位位置を、本来の位置よりずらすことにより、立体感を強調する立体感強調音響調整モードを有効にするか否かを切り替えるための情報である立体感強調音響調整モード情報の入力を受付け、前記音像定位決定手段は、立体感強調音響調整モード情報の入力を受付け、立体感強調音響調整モードが有効、かつ、音像定位位置がディスプレイ面より前にある場合は、前記音像定位位置より前に音響を音像定位させるように音像定位位置を変更し、立体感強調音響調整モードが有効、かつ、音像定位位置がディスプレイ面より奥にある場合は、前記音像定位位置より後ろに音響を音像定位させるように音像定位位置を変更することが好ましい。

本発明の他の観点によれば、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を、前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生方法において、立体映像ディスプレイ上で、前記立体映像・立体音響データがどのサイズで表示されるかを想定した値である想定表示サイズ情報を、前記立体映像・立体音響データ内に多重化し、出力するための立体映像・立体音響多重化ステップを有することを特徴とする立体映像・立体音響記録方法が提供される。想定表示サイズ情報を参照し、実際の表示サイズに合わせて立体像の表示位置を再計算想定表示サイズ情報と、想定視聴距離情報、立体位置情報を立体映像・音響データと共に記録する。して音像定位を行うことができる。

前記立体映像・立体音響多重化手段は、観察者から立体ディススプレイまでの距離である想定視聴距離情報を、前記立体映像・立体音響データ内に多重化することが好ましい。本発明は、上記に記載の方法を、コンピュータに実行させるためのプログラムであっても良く、該プログラムを記録するコンピュータ読みとり可能な記憶媒体であっても良い。プログラムは、インターネットなどの伝送媒体によって取得されるものでも良い。

本発明によれば、立体表示を行う際の立体映像の表示サイズが異なる場合であっても、音源となる立体映像オブジェクトが表示される位置に、精度良く音響を音像定位させることができるという利点がある。

本発明の一実施の形態による立体映像・立体音響記録システムの概略構成を示すブロック図である。 本発明の一実施の形態による立体映像・立体音響記録システム１の動作を示すフローチャート図である。 本発明の一実施の形態による立体映像・立体音響データの一例を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムの概略構成を示すブロック図である。 本発明の一実施の形態による立体映像・立体音響再生システムの動作を示すフローチャート図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける立体位置情報更新手段の動作を示すフローチャート図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける想定表示サイズ情報の示す表示サイズで立体映像を表示した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける表示サイズ情報の示す表示サイズで立体映像を表示した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける表示サイズ情報の示す表示サイズで立体映像を、視聴距離を変えて観察した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける想定表示サイズ情報の示す表示サイズで立体映像を表示した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける表示サイズ情報の示す表示サイズで立体映像を表示した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムにおける表示サイズ情報の示す表示サイズで立体映像を、視聴距離を変えて観察した場合の飛び出し位置を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムの一例を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムの一例を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムの一例を示す図である。 本発明の一実施の形態による立体映像・立体音響再生システムの一例を示す図である。 本発明の一実施の形態による立体音響再生手段を構成するスピーカアレイの配置と、音響の音像定位が可能な範囲の関係について説明するための図である。 本発明の一実施の形態による立体音響再生手段を構成するスピーカアレイの配置と、音響の音像定位が可能な範囲の関係について説明するための図である。 特許文献に記載のシステム構成図である。 表示サイズにより、立体映像の表示位置が変化する様子を示した図である。 ２眼式の立体ディスプレイにおいて、視聴位置の違いにより、立体映像の表示位置が変化する様子を示した図である。

以下に添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態について詳細に説明する。また、以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。本発明の実施の形態にかかる立体映像・立体音響記録再生システムは、立体映像・立体音響記録システムと立体映像・立体音響再生システムとから構成される。

まず、はじめに、立体映像・立体音響記録システムの機能的構成例について説明する。図１は、本発明の一実施の形態にかかる立体映像・立体音響記録システムの概略構成例を示す機能ブロック図である。本実施の形態による立体映像・立体音響記録システム１は、立体ディスプレイ上で、立体映像データがどのサイズで表示されるかを想定した値である想定表示サイズ情報と、観察者から立体ディススプレイまでの視聴距離である想定視聴距離情報と、再生時に自身を音源とする音響の立体定位制御を行おうとする各オブジェクトの識別を行うためのオブジェクト識別情報と、各オブジェクトに対応する立体位置情報と、を入力とし、上記オブジェクト識別情報と、立体位置情報と、想定表示サイズ情報と、想定視聴距離情報と、を出力する入力手段２と、立体音響データを入力とし、上記立体音響データをオーディオ符号化し、立体音響符号化データとして出力するオーディオ符号化手段３と、少なくとも２つ以上の視点の異なる視点映像データを入力とし、視点映像データを合成し、立体映像データとして出力する立体映像データ立体映像合成手段４と、上記立体映像データを入力とし、上記立体映像データを映像符号化し、立体映像符号化データとして出力する映像符号化手段５と、上記オブジェクト識別情報と、上記立体位置情報と、上記想定表示サイズ情報、上記想定視聴距離情報、上記立体音響符号化データと、上記立体映像符号化データを入力とし、上記立体位置情報と、上記想定表示サイズ情報、上記想定視聴距離情報、上記立体音響符号化データと、上記立体映像符号化データと、を多重化して作成した立体映像・立体音響データを出力する立体映像・立体音響多重化手段６と、を有している。

ここで、立体位置情報とは、立体ディスプレイで表示される立体映像の位置を示す情報であり、立体ディスプレイのディスプレイ面に平行な２次元平面の成分（水平成分と垂直成分とする）と、その２次元平面と直交する成分（奥行き成分とする）からなる３次元の位置情報である。ここでは、例えば、その中心を立体ディスプレイのディスプレイ面の中心とする。

次に、立体映像・立体音響記録システム１の動作について、フローチャート図に沿って説明する。図２は、立体映像・立体音響記録システム１の動作についてのフローチャート図である。まず、ステップＳ１において、立体映像・立体音響記録システム１の電源が入ることで処理が開始され、ステップＳ２に進む。ステップＳ２において、外部から、オブジェクト識別情報と、そのオブジェクトに対応する立体位置情報とが、入力手段２を通じて立体映像・立体音響多重化手段６に入力され、ステップＳ３に進む。ステップＳ３において、外部から、上記想定表示サイズ情報が、入力手段２を通じて、立体映像・立体音響多重化手段６に入力され、ステップＳ４に進む。

ステップＳ４において、外部から、上記想定視聴距離情報が、入力手段２を通じて、立体映像・立体音響多重化手段６に入力され、ステップＳ５に進む。ステップＳ５において、外部から、立体音響データがオーディオ符号化手段３に入力され、ステップＳ６に進む。

ここで、立体音響データとは、再生時に自身を音源とする音響の立体定位制御を行おうとする各オブジェクトに対応する音響データである。また、立体音響データは、上記オブジェクトの数だけ音源を入力しても良いし、全ての音源をミックスしたものを立体音響データとしても良い。

ステップＳ６において、オーディオ符号化手段３は、入力された立体音響データを符号化し、立体音響符号化データとして出力し、ステップＳ７に進む。ここで、オーディオ符号化手段３で用いられる符号化の方式は、一般的に広く知られている汎用的なオーディオ符号化方式であり、その例として、ＭＰ３などで知られるＭＰＥＧオーディオ規格による方式や、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）やＡＤＰＣＭ（Ａｄａｐｔｉｖｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ＣＥＬＰ（Ｃｏｄｅ ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）などの音声符号化方式があげられるが、これら以外のオーディオ符号化方式であっても良い。

ステップＳ７において、外部から少なくとも２つ以上の視点の異なる視点映像データが立体映像合成手段４に入力され、ステップＳ８に進む。ステップＳ８において、立体映像合成手段４は、上記視点映像データを一つの映像データとなるように合成し、合成した映像データを立体映像データとして出力し、ステップＳ９に進む。ここで、立体映像データの例としては、各視点に対応する複数の視点映像データのうち、同じ時刻のフレームのデータを、左右方向や上下方向に並べて一枚の画像として作成した立体映像データがある。特に、２つの視点映像を左右に並べる方式は、サイドバイサイド方式として一般的に知られている。また、複数の視点映像データをフレーム毎に時系列に順番に並べて作成した立体映像データでも良く、この方式はフレームバイフレーム方式として一般的に知られている。

ステップＳ９において、立体映像データが映像符号化手段５に入力され、映像符号化手段５は、入力された立体映像データを映像符号化し、立体映像符号化データとして出力し、ステップＳ１０に進む。

ここで、映像符号化手段５で用いられる映像符号化の方式は、一般的に広く知られている汎用的な映像符号化方式であり、例えば、ＩＴＵ規格や、ＭＰＥＧ規格による方式や、ＡＤＯＢＥ社によるフラッシュビデオなどの方式などがあるが、これら以外の映像符号化方式であっても良い。

ステップＳ１０において、立体映像・立体音響多重化手段６は、入力された上記オブジェクト識別情報と、上記立体位置情報、上記想定表示サイズ情報、上記想定視聴距離情報、上記立体音響符号化データ、上記立体映像符号化データを多重化して立体映像・立体音響データを作成、出力し、ステップＳ１１に進む。

ここで、上記立体映像・立体音響多重化手段６が作成する立体映像・立体音響データについて図面を用いて説明する。図３は、立体映像・立体音響データの一例を示す図である。

図３において、立体映像・立体音響データ７は、ヘッダ情報８と、付加情報９と、所定時間ごとに格納された立体音響符号化データ１０と、立体映像符号化データ１１、立体音響符号化データ１２、立体映像符号化データ１３と、を有している。

ここで、ヘッダ情報８は、立体映像・立体音響データの一般的なヘッダ情報であり、付加情報９は、上記想定表示サイズ情報９−１と上記想定視聴距離情報９―２とを含む情報である。

また、立体音響符号化データ１０と立体音響符号化データ１２は、異なる所定時間ごとに格納された立体音響符号化データであり、各立体音響符号化データは、上記オブジェクト識別情報１０−１、１０―４、…と、各オブジェクトに対応する立体位置情報１０―２、１０―５、…、及び、立体音響符号化データ１０―３、１０―６、…と、から構成されているデータである。

また、立体符号化データ１１と立体符号化データ１３とは、異なる所定時間ごとに格納された立体符号化データである。

ここで、上記の例では、上記立体音響符号化データと、上記立体映像符号化データを所定時間毎に格納するようにしたが、一括で格納しても良い。その際は、上記立体位置情報も一括で格納するが、タイムコードなどの再生時刻の情報を付加して管理することにより、同時刻の立体音響符号化データと立体位置情報を同期して用いればよい。

また、上記で述べた、上記想定表示サイズ情報と、上記想定視聴距離情報、上記オブジェクト識別情報、各オブジェクトに対応する立体位置情報の格納方法は、一例であり、これ以外の格納方法であっても良い。

ステップＳ１１において、立体映像・立体音響記録システム１は、処理を終了する。
ここで、立体映像・立体音響記録システム１は、図示しない記録手段を備えてもよく、上記記録手段を、立体映像・立体音響多重化手段６の後段に接続し、メモリなどの磁気記録メディアや、ブルーレイディスクやデジタルビデオディスクなどの光記録メディアに、立体映像・立体音響データを記録してもよい。

次に、立体映像・立体音響再生システムの機能的な構成について説明する。図４は、本実施の形態による立体映像・立体音響再生システムの概略構成を示すブロック図である。
本実施の形態による立体映像・立体音響再生システム１００は、立体ディスプレイ上で、立体映像データが実際に表示されるサイズである表示サイズ情報と、観察者から立体ディススプレイまでの実際の視聴距離である視聴距離情報と、立体映像を表示する立体ディスプレイの方式が、両眼視差方式か、そうでないかを示す立体表示方式情報と、立体音響の定位位置を本来の位置よりずらすことにより、立体感を強調する立体感強調音響調整モードを有効にするか否かを切り替えるための情報である立体感強調音響調整モード情報を入力とし、上記表示サイズ情報と、上記立体表示方式情報、上記視聴距離情報、上記立体感強調音響調整モード情報を出力する入力手段１０１と、上記立体映像・立体音響データを入力とし、上記立体映像・立体音響データから、想定表示サイズ情報と、想定視聴距離情報、オブジェクト識別情報、立体位置情報、立体音響符号化データ、立体映像符号化データのそれぞれを分離し、出力する立体映像・立体音響分離手段１０２と、表示サイズ情報と、視聴距離情報、立体表示方式情報、想定表示サイズ情報、想定視聴距離情報、オブジェクト識別情報、立体位置情報、視差調整データを入力とし、立体ディスプレイ上での実際の表示サイズや、実際の視聴距離、観察者による視差の調整などによって、立体映像の表示位置である立体位置情報が変化するのに合わせて、オブジェクトごとに変化後の立体位置情報を算出し、更新立体位置情報として出力する立体位置情報更新手段１０３と、更新立体位置情報と、立体感強調音響調整モード情報を入力とし、立体感強調音響調整モード情報が、立体感強調音響調整モードが有効であることを示す場合、更新立体位置情報を調整した後、音像定位位置情報として出力し、立体感強調音響調整モード情報が、立体感強調音響調整モードが無効であることを示す場合、更新立体位置情報をそのまま音像定位位置情報として出力する音像定位位置決定手段１０４と、上記立体音響符号化データを入力とし、上記立体音響符号化データを復号して、立体音響復号データを復号し、出力するオーディオ復号手段１０５と、上記音像定位位置情報と、上記立体音響復号データを入力とし、入力された上記立体音響復号データが、上記音像定位位置情報の示す位置に音像定位するように、立体音響復号データを変換し、再生用立体音響データとして出力するオーディオ変換手段１０６と、上記再生用立体音響データを入力とし、上記音像定位位置情報の示す位置に音像定位させて、立体音響を再生する立体音響再生手段１０７と、立体映像符号化データを入力とし、上記立体映像符号化データを復号して、立体映像復号データを復号し、出力する映像復号手段１０８と、上記立体表示方式情報と、上記立体映像復号データ、上記視差調整データを入力とし、上記立体表示方式情報に基づいて、表示に用いる立体ディスプレイのフォーマットとなるように画素配列を並び替えた後、上記立体表示方式情報が両眼視差方式である場合、上記視差調整データにあわせて視差の調整を行い、前記立体映像復号データを変換し、表示用立体映像データとして出力する立体映像変換手段１０９と、上記表示用立体映像データを入力とし、立体映像を表示する立体映像表示手段１１０と、を有している。

まず、立体映像・立体音響再生システム１００の動作について、フローチャート図に沿って説明する。図５は、立体映像・立体音響再生システム１００の動作についてのフローチャート図を示す。ステップＳ１００において、立体映像・立体音響再生システム１００の電源が入り、判定ステップＳ１０１に進む。

判定ステップＳ１０１において、立体映像・立体音響再生システム１００に立体映像・立体音響データが入力されたか否かを判定し、立体映像・立体音響データが入力された場合、ステップＳ１０２に進み、そうでない場合は判定ステップＳ１０１に戻る。ステップＳ１０２において、外部から、表示サイズ情報と、視聴距離情報、立体表示方式情報、立体感強調音響調整モード情報が、入力手段１０１に入力され、ステップＳ１０３に進む。
ステップＳ１０３において、外部から、立体映像・立体音響データが立体映像・立体音響データ分離１０２に入力され、立体映像・立体音響データ分離１０２は、入力された上記立体映像・立体音響データを、想定表示サイズ情報と、想定視聴距離情報、各オブジェクトの識別に必要なオブジェクト識別情報、各オブジェクトに対応する立体位置情報、立体映像符号化データ、立体音響符号化データに分離した後、それぞれ出力し、ステップＳ１０４に進む。ステップＳ１０４において、想定表示サイズ情報、想定視聴距離情報、オブジェクト識別情報、立体位置情報、表示サイズ情報、視聴距離情報、立体表示方式情報、視差調整データが、立体位置情報更新手段１０３に入力され、立体位置情報更新手段１０３は、想定表示サイズ情報と表示サイズ情報とが異なる場合は、立体位置情報を更新し、さらに、立体表示方式情報が両眼視差方式、かつ、想定視聴距離情報と視聴距離情報が異なる場合、立体位置情報を更新し、さらに、また、立体表示方式情報が両眼視差方式、かつ、視差調整情報が入力された場合、立体位置情報をさらに更新したものを、更新立体位置情報として出力し、判定ステップＳ１０５に進む。

ここで、ステップＳ１０４で述べた立体位置情報更新手段１０３の動作をさらに詳細に説明する。図６は、立体位置情報更新手段１０３の動作についてのフローチャート図であり、これはステップＳ１０４で説明した立体位置情報を更新する際のアルゴリズムについてさらに詳細に説明した図である。

ステップＳ１０３からステップＳ１０４に進むと、判定ステップＳ２００において、立体位置情報更新手段１０３は、入力された想定表示サイズ情報と表示サイズ情報を比較し、異なる場合は、ステップＳ２０１に進み、同じ場合は、判定ステップＳ２０２に進む。ステップＳ２０１において、想定表示サイズ情報と表示サイズ情報を用いて、立体位置情報を更新し、判定ステップＳ２０２に進む。

ここで、ステップＳ２０１における立体位置情報を更新方法について説明する。以下では説明をわかりやすくするため、一つの点を立体表示するものとして説明を行う。図７は、想定表示サイズ情報の示す表示サイズで立体映像を表示した場合の飛び出し位置を示す図である。図７において、ディスプレイ面２００上に、右目用の点２０１と、その対応点である左目用の点２０２と、が表示される。このディスプレイ面２００を想定視聴位置２０３で観察する場合の立体映像の表示位置は、左目２０４と点２０２を結ぶ線と、右目２０５と点２０１を結ぶ線とが交わる交点２０６の位置となる。

ここで、それぞれ、左目２０４から右目２０５までの距離をＴとし、点２０１から点２０２までの距離をＡｏ、ディスプレイ面２００から点２０６までの距離をＤｏ、ディスプレイ面２００から想定視聴位置２０３までの距離をＬｏとすると、三角形の相似の関係から、式（１）が求まる。
（Ｌｏ−Ｄｏ）：Ｄｏ＝Ｔ：Ａｏ…式（１）

ディスプレイ面２００上の点２０１から点２０２までの距離Ａｏは視差に相当し、式（１）から、Ａｏは、下記式（２）のように表される。
Ａｏ＝（Ｔ×Ｄｏ）／（Ｌｏ−Ｄｏ）…式（２）

ここで、Ｔは人の眼の間隔を示し、Ｔの値は、通常、成人の両眼間隔であるといわれている６５ｍｍから７０ｍｍの定数となる。また、距離Ｌｏは想定視聴距離情報の示す視聴距離であり、距離Ｄｏは立体位置情報の奥行き成分により求めることができる。

次に、点２０１と点２０２とを、表示サイズ情報の示す表示サイズで表示した場合、点２０１から点２０２までの距離Ａｏが変化する様子について説明する。
図８は、表示サイズ情報の示す表示サイズで、図７で表示した立体映像を表示した場合の飛び出し位置を示す図である。この場合、視聴者の位置は変わらないものとする。図８において、図７の点２０１は点２０７の位置に表示され、点２０２は点２０８の位置に表示される。このディスプレイ面２００を、図７と同じ想定視聴位置２０３で観察する場合の立体映像の表示位置は、左目２０４と点２０８とを結ぶ線と、右目２０５と点２０７とを結ぶ線が交わる交点２０９の位置となる。

ここで、左目２０４から右目２０５までの距離をＴとし、点２０７から点２０８までの距離をＡ１とし、ディスプレイ面２００から点２０９までの距離をＤ１とし、ディスプレイ面２００から想定視聴位置２０３までの距離をＬｏとすると、三角形の相似の関係から、式（３）が成り立つ。
（Ｌｏ−Ｄ１）：Ｄ１＝Ｔ：Ａ１…式（３）

式（３）から、距離Ｄ１は式（４）のように表される。
Ｄ１＝（Ｌｏ×Ａ１）／（Ａ１＋Ｔ） …式（４）

ここで、表示サイズ情報の示す表示サイズをＳ１とし、想定表示サイズ情報の示す表示サイズをＳｏとすると、式（５）の関係が導かれる。
Ｓ１：Ｓｏ＝Ａ１：Ａｏ…式（５）
ここで、点２０７から点２０８までの距離Ａ１は、表示サイズＳ１で表示した際の視差にあたる。
Ｓ１／Ｓｏ＝αとすると、距離Ａ１は式（６）となる。
Ａ１＝α×Ａｏ …式（６）

式（４）と式（６）とから、距離Ｄ１は式（７）のように表すことができる。
Ｄ１＝（Ｌｏ×α×Ａｏ）／（α×Ａｏ＋Ｔ） …式（７）

このようにして、ステップＳ２０１においては、上記で求めた距離Ｄ１を、立体位置情報の奥行き成分として置き換え、作成した立体位置情報を、更新立体位置情報として算出する。

尚、立体表示方式情報から、両眼示唆方式であるか否かを判定する基準としては、既に存在している情報を元に判定することが出来る。又、外部からユーザが入力するようにしても良い。判定ステップＳ２０２において、立体位置情報更新手段１０３に外部から入力された両眼視差方式か、そうでないかを示す情報である立体表示方式情報から、両眼視差方式であるか否かを判定し、両眼視差方式である場合は判定ステップＳ２０３に進み、そうでない場合は、ステップＳ２０７に進む。

判定ステップＳ２０３において、想定視聴距離情報の示す値と視聴距離情報の示す値が異なるか否かを判定し、異なる場合は（Ｙｅｓ）ステップＳ２０４に進み、同じである場合は（Ｎｏ）判定ステップＳ２０５に進む。

ステップＳ２０４において、想定視聴距離情報と視聴距離情報とを用いて、立体位置情報を更新し、判定ステップＳ２０５に進む。

ここで、ステップＳ２０４における立体位置情報を更新する方法について説明する。以下では説明をわかりやすくするため、一つの点を立体表示するものとして説明を行う。図９は、図８の表示サイズ情報の示す表示サイズで立体映像を、視聴距離を変えて観察した場合の飛び出し位置を示す図である。

図９において、図８のディスプレイ面２００に表示された点２０７と点２０８とを観察する際に、視聴距離情報の示す視聴位置２１０から観察した場合の立体映像の表示位置は、左目２１１と点２０８とを結ぶ線と、右目２１２と点２０７とを結ぶ線が交わる点２１３の位置となる。

ここで、点２０７から点２０８までの距離をＡ１とし、ディスプレイ面２００から点２１３までの距離をＤ３とし、ディスプレイ面２００から視聴位置２１０までの距離をＬ３とすると、三角形の相似の関係から、式（８）が求まる。
（Ｌ３−Ｄ３）：Ｄ３＝Ｔ：Ａ１ …式（８）

式（８）から、距離Ｄ３は式（９）のように求まる。
Ｄ３＝（Ｌ３×Ａ１）／（Ａ１＋Ｔ） …式（９）
ここで、Ｔは人の眼の間隔を示し、その値は、通常、成人の両眼間隔であるといわれている６５ｍｍから７０ｍｍの定数となる。また、距離Ｌ３は視聴距離情報の示す視聴距離であり、さらにまた、距離Ａ１は、式（２）と式（６）とから求めることができる。

このようにして、ステップＳ２０４では、上記で求めた距離Ｄ３を、新たに立体位置情報の奥行き成分として置き換えて、立体位置情報を作成し、更新立体位置情報として算出する。判定ステップＳ２０５において、視差調整情報が入力されたか否かを判定し、視差調整情報が入力された場合は（Ｙｅｓ）ステップＳ２０６に進み、そうでない場合は（Ｎｏ）ステップＳ２０７に進む。

ステップＳ２０６において、視差調整情報が入力された場合、このときのディスプレイ面から視聴位置までの距離をＬ４とし、視差調整後の視差をＡ４とすると、ディスプレイ面２００から、立体表示される点までの距離Ｄ４は、式（９）の場合と同様に三角形の相似から式（１０）が求まる。
（Ｌ４−Ｄ４）：Ｄ４＝Ｔ：Ａ４…式（１０）

式（１０）から、距離Ｄ４は式（１１）のように求まる。
Ｄ４＝（Ｌ４×Ａ４）／（Ａ４＋Ｔ）…式（１１）

ここで、視差調整情報から求めた視差の値をβとすると、視差Ａ４は式（１２）で表される。
Ａ４＝（Ａ１＋β）…式（１２）
式（１１）と式（１２）より、
Ａ４＝（Ｌ４×（Ａ１＋β））／（（Ａ１＋β）＋Ｔ）…式（１３）

式（６）、式（１２）、式（１３）より、Ｄ４は式（１４）のように表される。
Ｄ４＝（Ｌ４×（α×Ａｏ＋β））／（α×Ａｏ＋β＋Ｔ）…式（１４）

このようにして、ステップＳ２０６では、上記で求めた距離Ｄ４を、新たに立体位置情報の奥行き成分として置き換えて、立体位置情報を作成し、更新立体位置情報として算出する。

ステップＳ２０７において、立体位置情報更新手段１０３は、現在の更新立体位置情報を出力し、その動作を終了する。

上記では、立体映像がディスプレイ面より手前に飛び出した場合について説明を行ったが、奥行き方向に立体映像が表示される場合であっても、立体位置情報更新手段１０３は同じ方法で更新立体位置情報を作成することができる。

以下では、奥行き方向に立体映像が表示される場合についての立体位置情報更新手段１０３の動作について説明する。
図１０は、想定表示サイズ情報の示す表示サイズで立体映像を表示した場合の引っ込み位置を示す図である。図１０において、ディスプレイ面２００上に、右目用の点２１４と、その対応点である左目用の点２１５が表示される。このディスプレイ面２００を想定視聴位置２０３で観察する場合の立体映像の表示位置は、左目２０４と点２１４を結ぶ線と、右目２０５と点２１５を結ぶ線が交わる点２１６の位置となる。

ここで、左目２０４から右目２０５までの距離をＴとし、点２１４から点２１５までの距離をＢｏとし、ディスプレイ面２００から点２１６までの距離をＥｏとし、ディスプレイ面２００から想定視聴位置２０３までの距離をＬｏとすると、三角形の相似の関係から、式（１５）が求まる。
Ｅｏ：（Ｅｏ＋Ｌｏ）＝Ｂｏ：Ｔ…式（１５）

ディスプレイ面２００上の点２１４から点２１５までの距離Ｂｏは視差にあたり、式（１５）からＢｏは、式（１６）のように表される。
Ｂｏ＝（Ｔ×Ｅｏ）／（Ｅｏ＋Ｌｏ）…式（１６）
ここで、Ｔは人の眼の間隔を示し、その値は、通常、成人の両眼間隔であるといわれている６５ｍｍから７０ｍｍの定数となる。また、距離Ｌｏは想定視聴距離情報の示す視聴距離であり、距離Ｅｏは立体位置情報の奥行き成分により求めることができる。

次に、点２１４と点２１５とを、表示サイズ情報の示す表示サイズで表示した場合、点２１４から点２１５までの距離が変化する様子について説明する。

図１１は、表示サイズ情報の示す表示サイズで、図１０で表示した立体映像を表示した場合の引っ込み位置を示す図である。この場合、視聴者の位置は変わらないものとする。

図１１において、図１０の点２１４は点２１７の位置に表示され、点２１５は点２１８の位置に表示される。このディスプレイ面２００を、図１０と同じ想定視聴位置２０３で観察する場合の立体映像の表示位置は、左目２０４と点２１７とを結ぶ線と、右目２０５と点２１８とを結ぶ線が交わる交点２１９の位置となる。

ここで、左目２０４から右目２０５までの距離をＴとし、点２１７から点２１８までの距離をＢ１とし、ディスプレイ面２００から点２１９までの距離をＥ１とし、ディスプレイ面２００から想定視聴位置２０３までの距離をＬｏとすると、三角形の相似の関係から、式（１７）が求まる。
（Ｅ１＋Ｌｏ）：Ｅ１＝Ｔ：Ｂ１…式（１７）

式（１７）から、距離Ｅ１は式（１８）のように表される。
Ｅ１＝（Ｌｏ×Ｂ１）／（Ｂ１＋Ｔ）…式（１８）

ここで、表示サイズ情報の示す表示サイズをＳ２とし、想定表示サイズ情報の示す表示サイズをＳｏとすると、式（１９）の関係が導かれる。
Ｓ２：Ｓｏ＝Ｂ１：Ｂｏ…式（１９）
ここで、点２１７から点２１８までの距離Ｂ１は、表示サイズＳ２で表示した際の視差にあたる。

Ｓ２／Ｓｏ＝γとすると、距離Ｂ１は式（２０）となる。
Ｂ１＝γ×Ｂｏ…式（２０）

式（１８）と式（２０）とから、距離Ｅ１は式（２１）のように表すことができる。
Ｅ１＝（Ｌｏ×γ×Ｂｏ）／（γ×Ｂｏ＋Ｔ）…式（２１）

このようにして、ステップＳ２０１では、上記で求めた距離Ｅ１を、立体位置情報の奥行き成分として置き換え、作成した立体位置情報を、更新立体位置情報として算出する。判定ステップＳ２０２において、立体表示方式情報から、両眼視差方式であるか否かを判定し、両眼視差方式である場合は（ｙｅｓ）判定ステップＳ２０３に進み、そうでない場合は（Ｎｏ）、ステップＳ２０７に進む。

判定ステップＳ２０３において、想定視聴距離情報の示す値と視聴距離情報の示す値とが異なるか否かを判定し、異なる場合は（Ｙｅｓ）ステップＳ２０４に進み、同じである場合は（Ｎｏ）判定ステップＳ２０５に進む。ステップＳ２０４において、想定視聴距離情報と視聴距離情報を用いて、立体位置情報を更新し、判定ステップＳ２０５に進む。

ここで、ステップＳ２０４における立体位置情報を更新の方法について説明する。以下では説明をわかりやすくするため、一つの点を立体表示するものとして説明を行う。図１２は、図１１の表示サイズ情報の示す表示サイズで立体映像を、視聴距離を変えて観察した場合の引っ込み位置を示す図である。

図１２において、図１１のディスプレイ面２００に表示された点２１４と点２１５とを観察する際に、視聴距離情報の示す視聴位置２２０から観察した場合の立体映像の表示位置は、左目２２１と点２１４を結ぶ線と、右目２２２と点２１５を結ぶ線が交わる交点２２３の位置となる。

ここで、点２１４から点２１５までの距離をＢ１とし、ディスプレイ面２００から点２２３までの距離をＥ３とし、ディスプレイ面２００から視聴位置２２０までの距離をＬ３とすると、三角形の相似の関係から、式（２２）が求まる。
（Ｌ３＋Ｅ３）：Ｅ３＝Ｔ：Ｂ１ …式（２２）

式（２２）から、距離Ｅ３は式（２３）のように求まる。
Ｅ３＝（Ｌ３×Ｂ１）／（Ｂ１＋Ｔ）…式（２３）
ここで、Ｔは人の眼の間隔を示し、その値は、通常、成人の両眼間隔であるといわれている６５ｍｍから７０ｍｍの定数となる。また、距離Ｌ３は視聴距離情報の示す視聴距離であり、さらにまた、距離Ｂ１は、式（１６）と式（２０）から求めることができる。

このようにして、ステップＳ２０４では、上記で求めた距離Ｅ３を、新たに立体位置情報の奥行き成分として置き換えて、立体位置情報を作成し、更新立体位置情報として算出する。

判定ステップＳ２０５において、視差調整情報が入力されたか否かを判定し、視差調整情報が入力された場合は、ステップＳ２０６に、そうでない場合はステップＳ２０７に進む。

ステップＳ２０６において、視差調整情報が入力された場合、このときのディスプレイ面から視聴位置までの距離をＬ４、視差調整後の視差をＢ４とすると、ディスプレイ面２００から、立体表示される点までの距離Ｂ４は、式（２３）の場合と同様に三角形の相似から式（２４）が求まる。
（Ｌ４＋Ｅ４）：Ｅ４＝Ｔ：Ｂ４…式（２４）

式（２４）から、距離Ｅ４は式（２５）のように求まる。
Ｅ４＝（Ｌ４×Ｂ４）／（Ｂ４＋Ｔ）…式（２５）

ここで、視差調整情報から求めた視差の値をΔとすると、視差Ｂ４は式（２６）で表される。
Ｂ４＝（Ｂ１＋Δ）…式（２６）

式（２５）と式（２６）より、
Ｂ４＝（Ｌ４×（Ｂ１＋Δ））／（（Ｂ１＋Δ）＋Ｔ）…式（２７）

式（２０）、式（２６）、式（２７）より、Ｅ４は式（２８）のように表される。
Ｅ４＝（Ｌ４×（γ×Ａｏ＋Δ））／（γ×Ａｏ＋Δ＋Ｔ）…式（２８）

このようにして、ステップＳ２０６では、上記で求めた距離Ｅ４を、新たに立体位置情報の奥行き成分として置き換えて、立体位置情報を作成し、更新立体位置情報として算出する。

ステップＳ２０７において、立体位置情報更新手段１０３は、現在の更新立体位置情報を出力し、その動作を終了する。

このようにして、立体映像がディスプレイ面より奥に引っ込んだ場合についてあっても、同様に、立体位置情報更新手段１０３は更新立体位置情報を作成することができる。
以上のようにして、ステップＳ１０４において、立体位置情報更新手段１０３は、更新立体位置情報を出力し、判定ステップＳ１０５に進む。

判定ステップＳ１０５において、音像定位位置決定手段１０４に更新立体位置情報と、立体感強調音響調整モード情報が入力され、音像定位位置決定手段１０４は、立体感強調音響調整モード情報を解析し、立体感強調音響調整モードが有効か否かを判定し、有効であれば、ステップＳ１０６に進み、そうでなければステップＳ１０７に進む。

ステップＳ１０６において、音像定位位置決定手段１０４は、更新立体位置情報の奥行き成分がディスプレイより手前にある場合はより手前になるように、奥にある場合はより奥になるように、それぞれ修正しステップＳ１０７に進む。

また、ステップＳ１０６において、立体ディスプレイのディスプレイ面に平行な２次元平面の成分を、現在の値よりも、ディスプレイ面の中心に近づくように修正してもよい。

このようにして、立体感強調音響調整モードを有効にした場合、ディスプレイ面よりも手前に飛び出す立体映像に対して、その表示位置よりも手前に音響を音像定位させることにより、立体映像の表示位置が音響の定位位置に影響されるため、実際の表示位置よりもより手前に飛び出しているかのように立体感を強調して、観察者に見せることができる。

また、立体感強調音響調整モードを有効にした場合、ディスプレイ面よりも奥に引っ込む立体映像に対して、その表示位置よりも奥に音響を音像定位させることにより、立体映像の表示位置が音響の定位位置に影響されるため、実際の表示位置よりもより奥に引っ込んでいるかのように立体感を強調して、観察者に見せることができる。

ステップＳ１０７において、音像定位位置決定手段１０４は、更新立体位置情報の示す位置を音像定位位置情報として、出力し、ステップＳ１０８に進む。

ステップＳ１０８において、オーディオ復号手段１０５に立体音響符号化データが入力され、オーディオ復号手段１０５は、立体音響符号化データを復号し、立体音響復号データを出力し、ステップＳ１０９に進む。ここで、オーディオ復号手段１０５は、汎用的なオーディオ復号手段であるが、一般的な構成であるため、その説明については省略する。

ステップＳ１０９において、オーディオ変換手段１０６に、音像定位位置情報と、立体音響復号データとが入力され、オーディオ変換手段１０６は、立体音響復号データの音像の位置が、音像定位位置情報の示す位置となるように立体音響復号データを変換し、変換立体音響復号データとして出力し、ステップＳ１１０に進む。

ステップＳ１１０において、立体音響再生手段１０７に変換立体音響復号データが入力され、立体音響再生手段１０７は変換立体音響復号データを再生し、ステップＳ１１１に進む。

ここで、ステップＳ１１０で述べた立体音響再生手段１０７は、汎用的な立体音響再生手段を用いることとし、その構成と音像定位の方法について、例を挙げて簡単に説明する。

音の到来方向の知覚に用いられる手がかりには、主に音が両耳に達する時間差と音圧差があるが、スピーカアレイを構成する複数のスピーカを用いて、この時間差や、音圧差を変化させることにより、音像定位位置情報の示す位置に音像を定位させて立体音響を再生する方法が、一般的に知られており、汎用的な立体音響再生手段の例として、スピーカアレイで構成された立体音響再生手段などがあるが、それらは一般的なものであり、また本特許の内容とは直接的に関係が無いため、その構成及び動作の説明については省略する。

例えば、汎用的な立体音響再生手段として、特開平９−１２１４００号公報や、特開平２００６−１４０７０号公報に開示されているような立体音響再生手段がある。

これらは、すべてスピーカアレイを用いて、オーディオの音像定位を行うためのものである。
例えば、特開平２００６−１４０７０号公報は、音圧を調節する方法に関するものであるが、特開平２００６−１４０７０号公報に開示されているように、複数のスピーカを直線に沿って配置した第１のスピーカアレイと、別の複数のスピーカを直線に沿って配置した第２のスピーカアレイを用い、各スピーカアレイが同一水平面で交差するように配置して、立体音響再生手段１０７を構成してもよい。

この場合、音圧を大きくしたい目標位置から、第１のスピーカアレイの各スピーカまでの距離に合わせて、遅延時間を補正した音声信号を第１のスピーカアレイのスピーカに供給することにより、各スピーカから出力される音声の位相が、音像定位位置情報の示す位置において一致するため、音圧が大きくなる。一方、目標位置以外の位置では、各スピーカから出力される音声の位相が一致せず、音波が打ち消し合うため、音圧が小さくなる。同時に、各スピーカから出力される音声の音量の調整も行うことにより、両耳に達する音の音圧差を変化させ、音像定位位置情報の示す位置に音像を定位させることができる。

また、上記の方法とは違い、音量を同じものとして、遅延時間を補正した音声信号をスピーカに送り、音が両耳に達する時間差を調整することにより、音像定位位置情報の示す位置に音像定位を行ってもよい。

図１３から図１６までは、本実施の形態による立体映像・立体音響再生システムの一例を示す図である。
例えば、図１３に示すように、立体ディスプレイの筐体３００の４隅（角）にそれぞれ配置したスピーカ３０１と、スピーカ３０２、スピーカ３０３、スピーカ３０４と、筐体３００の左右の側部に配置した複数のスピーカからなるスピーカアレイ３０５、スピーカアレイ３０６とを用い、遅延時間を補正した音声信号を各スピーカから出して、それぞれのスピーカの発する音の時間差と音圧差を適度に調節することにより、音像定位位置情報の示す位置に音像を定位させることができる。

立体映像３０７の位置に音像定位させる。観察者３０８は、立体映像３０７と、立体映像３０７が表示される位置から聞こえる音を視聴することができる。

また、図１４は、図１３のスピーカ３０１と、スピーカ３０２、スピーカ３０３、スピーカ３０４の代わりに、筐体３００の上辺に沿って配置されたスピーカアレイ３０９と筐体３００の下辺に沿って配置されたスピーカアレイ３１０を筐体３００の上下に配置した構成例を示す図である。また、図１５は、筐体３１１と筐体３１４との２つの筐体にそれぞれ形成された２画面の立体表示が可能な２つのディスプレイ面をもつ立体表示ディスプレイに適用した例であり、接地面から垂直に起立した筐体３１１の上部の左右２角に、スピーカ３１２と、スピーカ３１３とを、接地面に沿って配置される筐体３１４の下部の左右２角に、スピーカ３１５と、スピーカ３１６を、それぞれ配置する。

また、図１６は、図１５の構成において、スピーカ３１２及びスピーカ３１３の代わりとして、筐体３１１の上辺に沿って配置されたスピーカアレイ３１７を、スピーカ３１５、スピーカ３１６の代わりとして、筐体３１４の下辺（視聴者３０８側に近い辺）に沿って配置されたスピーカアレイ３１８を下に配置した例である。

上記の図１４から図１６のいずれの場合においても、図１３と同様に、遅延時間を補正した音声信号を各スピーカから出して、それぞれのスピーカの発する音の時間差と音圧差を適度に調節することにより、音像定位位置情報の示す位置に音像を定位させることができる。

次に、立体音響再生手段を構成するスピーカアレイの配置と、音響の音像定位が可能な範囲との関係について説明する。
図１７と図１８とは、立体音響再生手段を構成するスピーカアレイの配置と、音響の音像定位が可能な範囲との関係について説明するための図である。

例えば、図１７のように視聴者３０８が視聴する方向に垂直に配置されたスピーカアレイ３１９と、このスピーカアレイ３１９のそれぞれの端部から延びてスピーカアレイ３１９の延在する方向と交差する方向であって視聴者３０８側に近づく方向に延びるように左右にそれぞれ配置されたスピーカアレイ３２０、スピーカアレイ３２１が配置される場合、音像定位可能な範囲は、スピーカアレイ３１９の後方の領域（１）３２２と、スピーカアレイ３１９と、スピーカアレイ３２０、スピーカアレイ３２１で囲まれた台形の領域（２）３２３となる。

また、図１７の構成の一例として、図１８に示すように、スピーカアレイ３２０とスピーカアレイ３２１とを、スピーカアレイ３１９に垂直となるように配置すると、音像定位可能な範囲は、スピーカアレイ３１９の後方の領域（１）３２２と、スピーカアレイ３１９と、スピーカアレイ３２０、スピーカアレイ３２１で囲まれた長方形の領域（２）３２４となる。

この際、立体音響再生手段の能力によっては、立体ディスプレイが提示する立体映像の位置に音像定位することができない場合がある。例えば、図１７において、立体映像３０７が表示される位置が、上記の音像定位可能な範囲である領域（１）３２２や、領域（２）３２３の範囲外となる場合もありうる。

このような場合、上記の音像定位可能な範囲である領域（１）３２２や、領域（２）３２３のうち、立体映像３０７の表示位置に最も近い位置又はその近傍に音像定位させることにより、違和感の少ない、立体映像と立体音響を提示することができる。

また、特開平９−１２１４００号公報に開示されているように、立体音響再生手段１０７を複数のスピーカから成るスピーカアレイから構成し、音像定位位置情報の示す位置における直接音が主として増強される直接音増強系統と、主として間接音が増強される間接音増強系統とをそれらの出力信号の加算信号で各スピーカを駆動するように配し、それぞれの系統の入力端子を独立な２信号で駆動し、これらの２信号のレベル比を変化させることによって音像定位位置情報の示す位置における直接音と間接音との比率を変化させ、音像の距離感を制御するようにしてもよい。以上では、ステップＳ１１０における立体音響再生手段１０７を、汎用的な立体音響再生手段を用いて構成した例について説明した。

次に、図５のステップＳ１１１において、映像復号手段１０８に立体映像符号化データが入力され、映像復号手段１０８は、立体映像符号化データを復号し、立体映像復号データを出力し、ステップＳ１１２に進む。

ステップＳ１１２において、立体映像変換手段１０９に、視差調整データと、立体表示方式情報、立体映像復号データが入力され、立体映像変換手段１０９は入力された立体映像復号データに対し、立体表示方式情報が両眼視差方式である場合、視差調整データを用いて、視差の調整を行い、立体映像表示手段１１０の表示フォーマットに合わせて、変換立体映像復号データを作成し、出力し、ステップＳ１１３に進む。

ステップＳ１１３において、変換立体映像復号データが立体映像表示手段１１０に入力され、立体映像表示手段１１０は、入力された変換立体映像復号データを立体表示し、ステップＳ１１４に進む。ステップＳ１１４において、立体映像・立体音響再生システム１００は、立体映像・立体音響データの再生を終えたか否かを判定し、終えた場合（Ｙｅｓ）、ステップＳ１１５に進み、そうでない場合（Ｎｏ）、ステップＳ１０２に戻る。ステップＳ１１５において、立体映像・立体音響再生システム１００は、処理を終了する（終了）。

以上のようにすることにより、本実施の形態による立体映像・立体音響記録・再生システムは、立体表示を行う際の立体映像の表示サイズが異なる場合であっても、音源となる立体映像オブジェクトが表示される位置に、音響をより正確に音像定位させることができる。

また、本実施の形態による立体映像・立体音響記録・再生システムによれば、両眼視差方式の立体表示を行う際、異なる視聴距離で観察する場合や、観察者による視差調整が行われた場合であっても、音源となる立体映像オブジェクトが表示される位置に、正確に音響を音像定位させることができる。

本実施の形態によれば、立体表示を行う際の立体映像の表示サイズが異なる場合であっても、音源となる立体映像オブジェクトが表示される位置に、正確に音響を音像定位させることができる。

また、両眼視差方式の立体表示を行う際、異なる視聴距離で観察する場合や、観察者による視差調整が行われた場合であっても、音源となる立体映像オブジェクトが表示される位置に、正確に音響を音像定位させることができる。

また、立体感強調音響調整モードを有効にした場合、ディスプレイ面よりも手前に飛び出す立体映像に対して、その表示位置よりも手前に音響を音像定位させることにより、立体映像の表示位置が音響の定位位置に影響されるため、実際の表示位置よりもより手前に飛び出しているかのように立体感を強調して、観察者に見せることができる。

また、立体感強調音響調整モードを有効にした場合、ディスプレイ面よりも奥に引っ込む立体映像に対して、その表示位置よりも奥に音響を音像定位させることにより、立体映像の表示位置が音響の定位位置に影響されるため、実際の表示位置よりもより奥に引っ込んでいるかのように立体感を強調して、観察者に見せることができる。

また、上記では、音響を再生する装置の一例として、スピーカについて説明を行ったが、ヘッドフォンを用いて、音像定位を行っても良い。

以上、本発明の実施の形態について説明してきたが、本発明はこのような実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明による立体映像・立体音響記録・再生システムで動作するプログラムは、本発明に関わる上記実施形態の機能を実現するように、ＣＰＵ（Central Processing Unit）等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Random Access Memory）に蓄積され、その後、Ｆｌａｓｈ ＲＯＭ（Read Only Memory)などの各種ＲＯＭやＨＤＤ（Hard Disk Drive）に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

また、図１等の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明は、ＣＧゲームのプレイ、３Ｄフォト・ムービーの鑑賞装置、シミュレーション結果の３Ｄビジュアライゼーション、３Ｄプレゼンテーション、あるいは、立体テレビ放送の視聴装置として利用可能である。

１ 立体映像・立体音響記録システム、
２，１０１ 入力手段
３ オーディオ符号化手段
４ 立体映像合成手段
５ 映像符号化手段
６ 立体映像・立体音響多重化手段
７ 立体映像・立体音響データ
８ ヘッダ情報
９ 付加情報
１０ 立体音響符号化データ
１１ 立体映像符号化データ
１００ 立体映像・立体音響再生システム
１０２ 立体映像・立体音響分離手段
１０３ 立体位置情報更新手段
１０４ 音像定位位置決定手段
１０５ オーディオ復号手段
１０６ オーディオ変換手段
１０７ 立体音響再生手段
１０８ 映像復号手段
１０９ 立体映像変換手段
１１０ 立体映像表示手段
２００，４０７ ディスプレイ面
２０１，２０２，２０６，２０７，２０８，２０９，２１３，２１４，２１５，２１６，２１７，２１８，２１９，２２３，４０８，４０９，４１３，４１７ 点
２０３ 想定視聴位置
２０４，２１１，２２１，４１１，４１５ 左目
２０５，２１２，２２２，４１２，４１６ 右目
２１０，２２０，４１０，４１４ 視聴位置
３００，３１１，３１４ 筐体
３０１，３０２，３０３，３０４，３１２，３１３，３１５，３１６ スピーカ
３０５，３０６，３０９，３１０，３１７，３１８，３１９，３２０，３２１，４０２ スピーカアレイ
３０７ 立体映像
３０８ 観察者
３２２，３２３，３２４ 領域
４００ ＬＣＤ
４０１ レンズアレイ
４０３，４０４ 立体ディスプレイ
４０５，４０６ 立体映像

Claims (10)

1. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を、前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、
   立体映像ディスプレイ上で、前記立体映像・立体音響データがどのサイズで表示されるかを想定した値である想定表示サイズ情報を、前記立体映像・立体音響データ内に多重化し、出力するための立体映像・立体音響多重化手段を備えることを特徴とする立体映像・立体音響記録システム。
2. 前記立体映像・立体音響多重化手段は、
   観察者から立体ディススプレイまでの距離である想定視聴距離情報を、前記立体映像・立体音響データ内に多重化することを特徴とする請求項１記載の立体映像・立体音響記録システム。
3. 飛び出す立体映像の場合は、表示位置からより手前に音像を定位させる映像立体感強調モードを備えることを特徴とする請求項１又は２に記載の立体映像・立体音響記録システム。
4. 引っ込む立体映像の場合、表示位置からより後ろに音像を定位させる映像立体感強調モードを備えることを特徴とする請求項１から３までのいずれか１項に記載の立体映像・立体音響記録システム。
5. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、
   前記立体映像・立体音響データから、立体映像データと立体音響データ、想定表示サイズ情報、オブジェクトごとの立体位置情報をそれぞれ分離する立体映像・立体音響分離手段と、
   外部から表示サイズ情報の入力を受け付ける入力手段と、
   各オブジェクトの前記立体位置情報と、前記想定表示サイズ情報、前記表示サイズ情報を入力とし、前記想定表示サイズ情報、前記表示サイズ情報を用いて、前記表示サイズ情報の示すサイズで表示した場合の立体映像の表示位置である更新立体位置情報をオブジェクト毎に出力する立体位置情報更新手段と、
   オブジェクト毎に更新立体位置情報の示す位置を参照して音像定位させる位置を決定し、音像定位位置として出力する音像定位位置決定手段と、
   前記音像定位位置に、音響を音像定位させる音響変換手段と、
   を備えることを特徴とする立体映像・立体音響再生システム。
6. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生システムにおいて、
   前記立体映像・立体音響データから、立体映像データと立体音響データ、想定表示サイズ情報、想定視聴距離情報、オブジェクトごとの立体位置情報をそれぞれ分離する立体映像・立体音響分離手段と、
   外部から表示サイズ情報と、視聴距離情報、立体表示方式情報の入力を受け付ける入力手段と、
   各オブジェクトの前記立体位置情報と、前記想定表示サイズ情報、前記表示サイズ情報、前記想定視聴距離情報、前記視聴距離情報、前記立体表示方式情報を入力とし、
   前記立体表示方式が、観察者の左右の目に異なる２つの視点の画像を同時に提示する両眼視差方式の立体表示方式である場合は、前記想定表示サイズ情報、前記表示サイズ情報、前記想定視聴距離情報、前記視聴距離情報、前記立体表示方式情報を用いて、前記表示サイズ情報の示すサイズで表示し、かつ、前記視聴距離情報の位置で観察する場合の、立体映像の表示位置である更新立体位置情報を、
   前記立体表示方式が前記両眼視差方式の立体表示方式でない場合は、前記想定表示サイズ情報、前記表示サイズ情報を用いて、前記表示サイズ情報の示すサイズで表示した場合の立体映像の表示位置である更新立体位置情報を、
   それぞれオブジェクト毎に出力する立体位置情報更新手段と、
   オブジェクト毎に更新立体位置情報の示す位置を音像定位させる位置として決定し、音像定位位置として出力する音像定位位置決定手段と、
   前記音像定位位置を参照して、音響を音像定位させる音響変換手段と、
   を備えることを特徴とする立体映像・立体音響再生システム。
7. 前記入力手段は、立体音響の定位位置を、本来の位置よりずらすことにより、立体感を強調する立体感強調音響調整モードを有効にするか否かを切り替えるための情報である立体感強調音響調整モード情報の入力を受付け、
   前記音像定位決定手段は、立体感強調音響調整モード情報の入力を受付け、立体感強調音響調整モードが有効、かつ、音像定位位置がディスプレイ面より前にある場合は、前記音像定位位置より前に音響を音像定位させるように音像定位位置を変更し、
   立体感強調音響調整モードが有効、かつ、音像定位位置がディスプレイ面より奥にある場合は、前記音像定位位置より後ろに音響を音像定位させるように音像定位位置を変更することを特徴とする請求項５又は６に記載の立体映像・立体音響再生システム。
8. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を、前記オブジェクトの識別情報と共に立体映像・立体音響データとして記録し、前記立体映像・立体音響データを再生する立体映像・立体音響記録再生方法において、
   立体映像ディスプレイ上で、前記立体映像・立体音響データがどのサイズで表示されるかを想定した値である想定表示サイズ情報を、前記立体映像・立体音響データ内に多重化し、出力するための立体映像・立体音響多重化ステップを有することを特徴とする立体映像・立体音響記録方法。
9. 前記立体映像・立体音響多重化手段は、
   観察者から立体ディススプレイまでの距離である想定視聴距離情報を、前記立体映像・立体音響データ内に多重化することを特徴とする請求項８記載の立体映像・立体音響記録方法。
10. 請求項８又は９に記載の方法を、コンピュータに実行させるためのプログラム。
    

Images