JP2001197598A - 映像音声再生装置 - Google Patents
映像音声再生装置Info
- Publication number
- JP2001197598A JP2001197598A JP2000000429A JP2000000429A JP2001197598A JP 2001197598 A JP2001197598 A JP 2001197598A JP 2000000429 A JP2000000429 A JP 2000000429A JP 2000000429 A JP2000000429 A JP 2000000429A JP 2001197598 A JP2001197598 A JP 2001197598A
- Authority
- JP
- Japan
- Prior art keywords
- video
- viewer
- image
- display device
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Stereophonic System (AREA)
Abstract
(57)【要約】
【課題】 映像表示装置の表示範囲に限らず、ユーザー
の周りの３次元空間において、映像と音像が、登場人
物、建物等の自然界に存在するオブジェクト単位で位置
あわせできる映像音声再生装置を得る。 【解決手段】 登場人物、建物の如く自然界に存在する
オブジェクト的な記録単位で３次元座標ベクトル及び時
間軸に沿った変化と共に、夫々データ化した映像と音像
を夫々記録する映像記録装置及び音像記録装置と、映像
表示用及び音像再生用の映像表示装置及び音場再生装置
と、映像表示装置と音場再生装置と視聴者の位置関係を
検出する位置関係検出手段と、位置関係検出手段のデー
タから、視聴者の位置・方向と所定関連を有し映像と音
像が位置合せされ定位できるように映像表示装置上に表
示する映像のオブジェクトと、音場再生装置で再生する
音像の夫々の座標ベクトルを変換する座標ベクトル変換
装置とを備える。
の周りの３次元空間において、映像と音像が、登場人
物、建物等の自然界に存在するオブジェクト単位で位置
あわせできる映像音声再生装置を得る。 【解決手段】 登場人物、建物の如く自然界に存在する
オブジェクト的な記録単位で３次元座標ベクトル及び時
間軸に沿った変化と共に、夫々データ化した映像と音像
を夫々記録する映像記録装置及び音像記録装置と、映像
表示用及び音像再生用の映像表示装置及び音場再生装置
と、映像表示装置と音場再生装置と視聴者の位置関係を
検出する位置関係検出手段と、位置関係検出手段のデー
タから、視聴者の位置・方向と所定関連を有し映像と音
像が位置合せされ定位できるように映像表示装置上に表
示する映像のオブジェクトと、音場再生装置で再生する
音像の夫々の座標ベクトルを変換する座標ベクトル変換
装置とを備える。
Description
【０００１】
【産業上の利用分野】この発明は映像と音声を同時に再
生する、映像音声再生装置に関するものである。
生する、映像音声再生装置に関するものである。
【０００２】
【従来の技術】例えば再公表特許公報 ＷＯ９５／２２
２３５に記載された従来の映像音声再生装置を図１１に
示す。図１１において、６は映像を表示する２次元のＴ
Ｖモニタ、８は視聴者、９はヘッドホン、１０は前記ヘ
ッドホン９に取り付けられた位置情報変更器である。
２３５に記載された従来の映像音声再生装置を図１１に
示す。図１１において、６は映像を表示する２次元のＴ
Ｖモニタ、８は視聴者、９はヘッドホン、１０は前記ヘ
ッドホン９に取り付けられた位置情報変更器である。
【０００３】上記従来の映像音声再生装置は、視聴者８
がヘッドホン９を装着して２次元のＴＶモニタ６を視聴
する。ヘッドホン９に取り付けられた位置情報変更器１
０は、ＴＶモニタ６に対して視聴者８がどこにいても、
視聴者８に対するＴＶモニタ６の設置方向を測定し、常
にＴＶモニタ６の方向に音像を定位することで、映像と
音像の位置合わせを行い、あたかもＴＶモニタ６の両脇
に備えられたスピーカーから音を再生しているように聞
こえる方式を取る。
がヘッドホン９を装着して２次元のＴＶモニタ６を視聴
する。ヘッドホン９に取り付けられた位置情報変更器１
０は、ＴＶモニタ６に対して視聴者８がどこにいても、
視聴者８に対するＴＶモニタ６の設置方向を測定し、常
にＴＶモニタ６の方向に音像を定位することで、映像と
音像の位置合わせを行い、あたかもＴＶモニタ６の両脇
に備えられたスピーカーから音を再生しているように聞
こえる方式を取る。
【０００４】さらに動作を説明する。映像の中の被写
体、例えば登場人物１、登場人物２，登場人物３はすべ
て２次元ＴＶモニタ６のスクリーンに表示され、視聴者
８はヘッドホン９を装着してＴＶモニタ６を見る。この
とき、登場人物１、登場人物２，登場人物３の音も前記
ＴＶモニタ６のスクリーン内の登場人物１、登場人物
２，登場人物３位置に定位されるべきであるが、通常ヘ
ッドホンで音を聴く場合には音像は視聴者８の顔の向き
に付いて移動してしまう。ところが、図１１による映像
音声再生装置では前記ヘッドホン９には位置情報変更器
１０が取り付けられており、例えば視聴者８が左を向い
てしまっても、前記位置情報変更器１０が視聴者に対し
てＴＶモニタ６がどちらの方向にあるのかを測定し、Ｔ
Ｖモニタ６のある右方向に音像を定位する。
体、例えば登場人物１、登場人物２，登場人物３はすべ
て２次元ＴＶモニタ６のスクリーンに表示され、視聴者
８はヘッドホン９を装着してＴＶモニタ６を見る。この
とき、登場人物１、登場人物２，登場人物３の音も前記
ＴＶモニタ６のスクリーン内の登場人物１、登場人物
２，登場人物３位置に定位されるべきであるが、通常ヘ
ッドホンで音を聴く場合には音像は視聴者８の顔の向き
に付いて移動してしまう。ところが、図１１による映像
音声再生装置では前記ヘッドホン９には位置情報変更器
１０が取り付けられており、例えば視聴者８が左を向い
てしまっても、前記位置情報変更器１０が視聴者に対し
てＴＶモニタ６がどちらの方向にあるのかを測定し、Ｔ
Ｖモニタ６のある右方向に音像を定位する。
【０００５】
【発明が解決しようとする課題】従来の映像音声再生装
置は以上のように構成されているため、２次元ＴＶモニ
タの表示内部にのみ音像が定位され、近年盛んな映画用
３次元音場再生において、ＴＶモニタの表示の外側の音
像には処理が行えず、視聴者の後方から回り込んでくる
移動音源等の動きが均一でなくなるなど、違和感を生じ
る。また、ＴＶモニタの内部の表示についても、２次元
のＴＶモニタの画角が大きくなるにつれ映像と音像の位
置がずれてくることが多い。画面全体に対して、画面中
心の音場が聞こえるため、被写体１つ１つに対してきめ
細かく音像定位することができないなどの問題点があっ
た。
置は以上のように構成されているため、２次元ＴＶモニ
タの表示内部にのみ音像が定位され、近年盛んな映画用
３次元音場再生において、ＴＶモニタの表示の外側の音
像には処理が行えず、視聴者の後方から回り込んでくる
移動音源等の動きが均一でなくなるなど、違和感を生じ
る。また、ＴＶモニタの内部の表示についても、２次元
のＴＶモニタの画角が大きくなるにつれ映像と音像の位
置がずれてくることが多い。画面全体に対して、画面中
心の音場が聞こえるため、被写体１つ１つに対してきめ
細かく音像定位することができないなどの問題点があっ
た。
【０００６】この発明は上記のような問題点を解消する
ためになされたもので、映像表示装置に表示される範囲
に限らず、記録装置に記録された音と映像をデータ化し
たデータにより視聴者の周りの３次元空間において、映
像と音像が、登場人物、建物といった自然界に存在する
オブジェクト単位で位置あわせして再生できる映像音声
再生装置を得ることを目的とする。
ためになされたもので、映像表示装置に表示される範囲
に限らず、記録装置に記録された音と映像をデータ化し
たデータにより視聴者の周りの３次元空間において、映
像と音像が、登場人物、建物といった自然界に存在する
オブジェクト単位で位置あわせして再生できる映像音声
再生装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】この発明に係る映像音声
再生装置は、登場人物、建物といった自然界に存在する
オブジェクト的な記録単位で３次元座標ベクトル及び時
間軸に沿った変化と共に、それぞれデータ化した映像を
記録する映像記録装置と、同様にオブジェクトに記録さ
れた記録単位で３次元座標ベクトル及び時間軸に沿った
変化と共に、それぞれデータ化した音像を記録する音像
記録装置と、映像を２次元または３次元表示する映像表
示装置と、音像を２次元または３次元に再生する音場再
生装置と、前記映像表示装置と前記音場再生装置と視聴
者の位置関係を検出する位置関係検出手段と、前記映像
記録装置と音像記録装置と位置関係検出手段のデータを
入力し、視聴者の位置・方向に対して所定の関連を持っ
て映像と音像が位置合わせされて定位できるように前記
映像表示装置上に表示する映像のオブジェクトと、前記
音場再生装置で再生する音像の夫々の座標ベクトルを変
換する座標ベクトル変換装置とを備えたを備えたもので
ある。
再生装置は、登場人物、建物といった自然界に存在する
オブジェクト的な記録単位で３次元座標ベクトル及び時
間軸に沿った変化と共に、それぞれデータ化した映像を
記録する映像記録装置と、同様にオブジェクトに記録さ
れた記録単位で３次元座標ベクトル及び時間軸に沿った
変化と共に、それぞれデータ化した音像を記録する音像
記録装置と、映像を２次元または３次元表示する映像表
示装置と、音像を２次元または３次元に再生する音場再
生装置と、前記映像表示装置と前記音場再生装置と視聴
者の位置関係を検出する位置関係検出手段と、前記映像
記録装置と音像記録装置と位置関係検出手段のデータを
入力し、視聴者の位置・方向に対して所定の関連を持っ
て映像と音像が位置合わせされて定位できるように前記
映像表示装置上に表示する映像のオブジェクトと、前記
音場再生装置で再生する音像の夫々の座標ベクトルを変
換する座標ベクトル変換装置とを備えたを備えたもので
ある。
【０００８】また、この発明に係る映像音声再生装置
は、座標ベクトル変換装置が、視聴者の座標軸に映像と
音声のデータをマッピングして映像と音像の位置合わせ
を行ない、視聴者の顔の向きや位置移動に合わせて映像
と音声の座標を移動して、定位再生するように構成され
たものである。
は、座標ベクトル変換装置が、視聴者の座標軸に映像と
音声のデータをマッピングして映像と音像の位置合わせ
を行ない、視聴者の顔の向きや位置移動に合わせて映像
と音声の座標を移動して、定位再生するように構成され
たものである。
【０００９】また、この発明に係る映像音声再生装置
は、座標ベクトル変換装置が、映像と音声のデータの座
標軸に視聴者の位置をマッピングして映像と音像の位置
合わせをし、映像と音像の定位位置を固定して、見る位
置によって映像表示装置に見える画像が異なるように構
成されたものである。
は、座標ベクトル変換装置が、映像と音声のデータの座
標軸に視聴者の位置をマッピングして映像と音像の位置
合わせをし、映像と音像の定位位置を固定して、見る位
置によって映像表示装置に見える画像が異なるように構
成されたものである。
【００１０】また、この発明に係る映像音声再生装置
は、座標ベクトル変換装置が、映像表示装置の性能を最
も重視する再生が可能な映像表示装置の座標軸に音像と
視聴者の位置をマッピングして映像と音像の位置合わせ
を行う構成にされたものである。
は、座標ベクトル変換装置が、映像表示装置の性能を最
も重視する再生が可能な映像表示装置の座標軸に音像と
視聴者の位置をマッピングして映像と音像の位置合わせ
を行う構成にされたものである。
【００１１】また、この発明に係る映像音声再生装置
は、座標ベクトル変換装置が、映像表示装置の表示範囲
に映像データの表示範囲の座標を拡大／縮小してマッピ
ングして再生し、この拡大／縮小された映像データに音
声のデータの座標軸を合わせて再生するように構成され
たものである。
は、座標ベクトル変換装置が、映像表示装置の表示範囲
に映像データの表示範囲の座標を拡大／縮小してマッピ
ングして再生し、この拡大／縮小された映像データに音
声のデータの座標軸を合わせて再生するように構成され
たものである。
【００１２】また、この発明に係る映像音声再生装置
は、座標ベクトル変換装置が、画像・音声データを時間
軸で整理し、時間軸を空間座標にマッピングして再生す
るように構成されたものである。
は、座標ベクトル変換装置が、画像・音声データを時間
軸で整理し、時間軸を空間座標にマッピングして再生す
るように構成されたものである。
【００１３】また、この発明に係る映像音声再生装置
は、位置関係検出手段が、視聴者の位置に関わらず、任
意の位置からの画像・音声を再生できるよう視聴者の位
置データを任意のデータにする事が可能な入力手段を備
えたものである。
は、位置関係検出手段が、視聴者の位置に関わらず、任
意の位置からの画像・音声を再生できるよう視聴者の位
置データを任意のデータにする事が可能な入力手段を備
えたものである。
【００１４】また、この発明に係る映像音声再生装置
は、映像表示装置を異なる位置に複数備え、各映像表示
装置は異なる映像が同一の座標系で表示される構成にさ
れたものである。
は、映像表示装置を異なる位置に複数備え、各映像表示
装置は異なる映像が同一の座標系で表示される構成にさ
れたものである。
【００１５】
【発明の実施の形態】実施の形態１ 以下、この発明に関わる映像音声再生装置の実施の形態
１を図に従い説明する。この発明に関わる映像音声再生
装置は、視聴者の前方に置かれ、２次元ＴＶモニタに表
示される映像にのみ音像が定位される従来の映像音声再
生装置と異なり、視聴者の回りの３次元空間に映像、音
声が定位され、例えば視聴者の両側面や見えない後方に
も映像、音声が定位されるものである。
１を図に従い説明する。この発明に関わる映像音声再生
装置は、視聴者の前方に置かれ、２次元ＴＶモニタに表
示される映像にのみ音像が定位される従来の映像音声再
生装置と異なり、視聴者の回りの３次元空間に映像、音
声が定位され、例えば視聴者の両側面や見えない後方に
も映像、音声が定位されるものである。
【００１６】図１はこの発明に関わる映像音声再生装置
の実施の形態１を表す図である。図において、１は映像
オブジェクトデータ記録装置、２は音像オブジェクトデ
ータ記録装置、３は視聴者位置・方向情報解析手段、４
は表示装置位置・方向情報解析手段、５は座標ベクトル
変換装置、６は映像表示装置、７は立体音像再生装置、
８は視聴者である。
の実施の形態１を表す図である。図において、１は映像
オブジェクトデータ記録装置、２は音像オブジェクトデ
ータ記録装置、３は視聴者位置・方向情報解析手段、４
は表示装置位置・方向情報解析手段、５は座標ベクトル
変換装置、６は映像表示装置、７は立体音像再生装置、
８は視聴者である。
【００１７】なお、この実施の形態１では立体音像再生
装置７は視聴者８の頭部に装着するヘッドホーンで構成
される。また、映像オブジェクトデータ記録装置１、音
像オブジェクトデータ記録装置２、視聴者位置・方向情
報解析手段３、表示装置位置・方向情報情報解析手段
４、座標ベクトル変換装置５は組み合わされ一体化され
ている。
装置７は視聴者８の頭部に装着するヘッドホーンで構成
される。また、映像オブジェクトデータ記録装置１、音
像オブジェクトデータ記録装置２、視聴者位置・方向情
報解析手段３、表示装置位置・方向情報情報解析手段
４、座標ベクトル変換装置５は組み合わされ一体化され
ている。
【００１８】映像オブジェクトデータ記録装置１には例
えば１つの映画、ドラマ、ストーリー等の単位毎に映像
データが登場人物１や登場人物２、車１、犬１、といっ
た自然界に存在するオブジェクト単位で夫々が時間軸に
沿った動画として記録されている。このとき、同時に登
場人物１や登場人物２、車１、犬１、といったオブジェ
クト単位で夫々の映像の３次元空間上の定位位置のベク
トルデータ（イ）も記録されている。
えば１つの映画、ドラマ、ストーリー等の単位毎に映像
データが登場人物１や登場人物２、車１、犬１、といっ
た自然界に存在するオブジェクト単位で夫々が時間軸に
沿った動画として記録されている。このとき、同時に登
場人物１や登場人物２、車１、犬１、といったオブジェ
クト単位で夫々の映像の３次元空間上の定位位置のベク
トルデータ（イ）も記録されている。
【００１９】音像オブジェクトデータ記録装置２には例
えば１つの映画、ドラマ、ストーリー等の単位毎に登場
する登場人物１の音像が時間軸に沿った音として記録さ
れている。このとき、同時に登場人物１の音像の３次元
空間上の定位位置のベクトルデータ（ロ）も記録されて
いる。同様に音像オブジェクトデータ記録装置２には例
えば登場人物２、車１、犬１、といったオブジェクト単
位で音像の時間軸に沿ったデータ及び３次元空間上の定
位位置のベクトルデータが記録されている。
えば１つの映画、ドラマ、ストーリー等の単位毎に登場
する登場人物１の音像が時間軸に沿った音として記録さ
れている。このとき、同時に登場人物１の音像の３次元
空間上の定位位置のベクトルデータ（ロ）も記録されて
いる。同様に音像オブジェクトデータ記録装置２には例
えば登場人物２、車１、犬１、といったオブジェクト単
位で音像の時間軸に沿ったデータ及び３次元空間上の定
位位置のベクトルデータが記録されている。
【００２０】前記映像オブジェクトデータ記録装置１と
前記音像オブジェクトデータ記録装置２のデータで作成
されている１つの映画、ドラマ、ストーリーの単位をコ
ンテンツと呼ぶ
前記音像オブジェクトデータ記録装置２のデータで作成
されている１つの映画、ドラマ、ストーリーの単位をコ
ンテンツと呼ぶ
【００２１】視聴者位置・方向情報解析手段３は内部に
備えられた例えば赤外線を使用した位置・方向検出器11
によって、検出器11に対する視聴者８の位置・方向を知
る。また、表示装置位置・方向情報情報解析手段４は内
部に備えられた例えば赤外線を使用した位置・方向検出
器12によって、検出器12に対する映像表示装置６の位置
・方向を知る。
備えられた例えば赤外線を使用した位置・方向検出器11
によって、検出器11に対する視聴者８の位置・方向を知
る。また、表示装置位置・方向情報情報解析手段４は内
部に備えられた例えば赤外線を使用した位置・方向検出
器12によって、検出器12に対する映像表示装置６の位置
・方向を知る。
【００２２】これら映像オブジェクトデータ記録装置
１、音像オブジェクトデータ記録装置２、視聴者位置・
方向情報解析手段３、表示装置位置・方向情報情報解析
手段４の情報は座標ベクトル変換装置５に送られる。
１、音像オブジェクトデータ記録装置２、視聴者位置・
方向情報解析手段３、表示装置位置・方向情報情報解析
手段４の情報は座標ベクトル変換装置５に送られる。
【００２３】座標ベクトル変換装置５は視聴者位置・方
向情報解析手段３と表示装置位置・方向情報情報解析手
段４の情報から視聴者８と映像表示装置６の位置関係を
解析し、この解析結果による視聴者８と映像表示装置６
の位置関係に対し、映像と音像の定位位置を後述する最
も効果的に再生できるように映像オブジェクトデータ記
録装置１からのオブジェクト単位での映像のデータの定
位位置のベクトルデータ（イ）及び音像オブジェクトデ
ータ記録装置２からのオブジェクト単位での音像のデー
タ（ロ）を実スクリーン上の映像定位位置(A)及び実ス
クリーン上の映像に合わせた音像定位位置(B)に変換す
る。
向情報解析手段３と表示装置位置・方向情報情報解析手
段４の情報から視聴者８と映像表示装置６の位置関係を
解析し、この解析結果による視聴者８と映像表示装置６
の位置関係に対し、映像と音像の定位位置を後述する最
も効果的に再生できるように映像オブジェクトデータ記
録装置１からのオブジェクト単位での映像のデータの定
位位置のベクトルデータ（イ）及び音像オブジェクトデ
ータ記録装置２からのオブジェクト単位での音像のデー
タ（ロ）を実スクリーン上の映像定位位置(A)及び実ス
クリーン上の映像に合わせた音像定位位置(B)に変換す
る。
【００２４】効果的な再生方法にはいくつかの方法があ
るが、第１の例としてここでは最も普遍的に使用可能な
例を説明する。例えば、視聴者８は必ずしも映像表示装
置６に対して正面の位置にいない。また、映像表示装置
６の画角は装置自体の大きさや置かれる距離によって影
響を受ける。このような状況でもなるべく多くの画像オ
ブジェクトを表示させるために、映像表示装置６のスク
リーン（ハ）の表示範囲に対して、コンテンツが想定す
る表示範囲｛図１（ニ）｝を投影して映像を再生する。
るが、第１の例としてここでは最も普遍的に使用可能な
例を説明する。例えば、視聴者８は必ずしも映像表示装
置６に対して正面の位置にいない。また、映像表示装置
６の画角は装置自体の大きさや置かれる距離によって影
響を受ける。このような状況でもなるべく多くの画像オ
ブジェクトを表示させるために、映像表示装置６のスク
リーン（ハ）の表示範囲に対して、コンテンツが想定す
る表示範囲｛図１（ニ）｝を投影して映像を再生する。
【００２５】この時、映像表示装置６のスクリーンサイ
ズに合わせて、画像オブジェクトの座標値の拡大縮小が
同時に行われる。ここでコンテンツが想定する表示範囲
に存在する音像も同様に映像表示装置６のスクリーン
（ハ）の表示範囲に投影変換して再生する。このように
コンテンツが想定する表示範囲（ニ）と実スクリーン
（ハ）の表示範囲を合わせるために座標ベクトル変換装
置５が映像と音像のベクトル変換を行う結果、例えば映
像表示装置６の存在する視聴者８の前方の空間が凝縮さ
れてゆがんだ空間になるが、違和感のない視聴が可能に
なる。
ズに合わせて、画像オブジェクトの座標値の拡大縮小が
同時に行われる。ここでコンテンツが想定する表示範囲
に存在する音像も同様に映像表示装置６のスクリーン
（ハ）の表示範囲に投影変換して再生する。このように
コンテンツが想定する表示範囲（ニ）と実スクリーン
（ハ）の表示範囲を合わせるために座標ベクトル変換装
置５が映像と音像のベクトル変換を行う結果、例えば映
像表示装置６の存在する視聴者８の前方の空間が凝縮さ
れてゆがんだ空間になるが、違和感のない視聴が可能に
なる。
【００２６】また定位位置のベクトルデータ（ロ）で視
聴者８の後方に定位する事が意図されている音像は、実
際の位置関係に関わらず座標ベクトル変換装置５により
視聴者８よりも後方にベクトル変換して定位すること
で、視聴者の後方から回り込んでくる移動音源等の動き
に違和感のない視聴が可能になる。このようにベクトル
変換された映像のデータは前記視聴者８に対して、前記
映像表示装置６で表示され、音像のデータは立体音像再
生装置７で再生される。なお、前記音場再生装置７は視
聴者８の頭部に装着するヘッドホーンでなくスピーカで
あっても良い。
聴者８の後方に定位する事が意図されている音像は、実
際の位置関係に関わらず座標ベクトル変換装置５により
視聴者８よりも後方にベクトル変換して定位すること
で、視聴者の後方から回り込んでくる移動音源等の動き
に違和感のない視聴が可能になる。このようにベクトル
変換された映像のデータは前記視聴者８に対して、前記
映像表示装置６で表示され、音像のデータは立体音像再
生装置７で再生される。なお、前記音場再生装置７は視
聴者８の頭部に装着するヘッドホーンでなくスピーカで
あっても良い。
【００２７】実施の形態２ 次にこの発明に係る座標ベクトル変換装置５の動作につ
いて、実施の形態２を図２、及び図３を使用して説明す
る。図２は視聴者の座標軸（ホ）に映像と音声のデータ
をマッピングして再生する方式において視聴者８が映像
表示装置６に対して正面を向いている図である。図３は
視聴者の座標軸（ホ）に映像と音声のデータをマッピン
グして再生する方式で視聴者８が映像表示装置６に対し
て斜め方向を向いている図である。ここで、視聴者の座
標軸（ホ）は視聴者８の頭部の中心と両眼の中点とを結
ぶ直線の両端を延長した直線とこの直線に直交する直線
である。
いて、実施の形態２を図２、及び図３を使用して説明す
る。図２は視聴者の座標軸（ホ）に映像と音声のデータ
をマッピングして再生する方式において視聴者８が映像
表示装置６に対して正面を向いている図である。図３は
視聴者の座標軸（ホ）に映像と音声のデータをマッピン
グして再生する方式で視聴者８が映像表示装置６に対し
て斜め方向を向いている図である。ここで、視聴者の座
標軸（ホ）は視聴者８の頭部の中心と両眼の中点とを結
ぶ直線の両端を延長した直線とこの直線に直交する直線
である。
【００２８】図２において、上から見た視聴者８の頭が
映像表示装置６に対して向いている正面に合わせて視聴
者の座標軸（ホ）が設定される。座標ベクトル変換装置
５はこの視聴者の座標上に映像と音声のデータをマッピ
ングする。ここでは正面に登場人物１がマッピングさ
れ、正面左に登場人物２がマッピングされている。ここ
で視聴者８の正面に置かれた映像表示装置６のスクリー
ンには正面にマッピングされた登場人物１が投影され、
正面左にマッピングされている登場人物２は投影されな
い。登場人物１の音声は視聴者８から見て映像表示装置
６の奥に定位され、登場人物２の音声は視聴者８から見
て正面左に定位される。
映像表示装置６に対して向いている正面に合わせて視聴
者の座標軸（ホ）が設定される。座標ベクトル変換装置
５はこの視聴者の座標上に映像と音声のデータをマッピ
ングする。ここでは正面に登場人物１がマッピングさ
れ、正面左に登場人物２がマッピングされている。ここ
で視聴者８の正面に置かれた映像表示装置６のスクリー
ンには正面にマッピングされた登場人物１が投影され、
正面左にマッピングされている登場人物２は投影されな
い。登場人物１の音声は視聴者８から見て映像表示装置
６の奥に定位され、登場人物２の音声は視聴者８から見
て正面左に定位される。
【００２９】従って、登場人物１の音声は、立体音像再
生装置７により視聴者８には映像表示装置６の奥から聞
こえ、登場人物２は、映像表示装置６には表示されない
が、登場人物２が発する音声は立体音像再生装置７によ
り視聴者８に正面左、即ち登場人物２の映像が定位され
た位置から聞こえてくる。
生装置７により視聴者８には映像表示装置６の奥から聞
こえ、登場人物２は、映像表示装置６には表示されない
が、登場人物２が発する音声は立体音像再生装置７によ
り視聴者８に正面左、即ち登場人物２の映像が定位され
た位置から聞こえてくる。
【００３０】次に図３において、視聴者８が映像表示装
置６に対して斜め方向を向いた場合の動作について説明
する。ここでこの発明に係る座標ベクトル変換装置５は
視聴者８の顔の向きや位置に合わせて映像と音声の座標
を移動する動作を行う。視聴者８が映像表示装置６に対
し斜め方向に向いている場合、視聴者の座標軸（ホ）は
図３に示すように映像表示装置６に対して斜め方向にな
る。座標ベクトル変換装置５はこの視聴者の座標上に映
像と音声のデータをマッピングする。
置６に対して斜め方向を向いた場合の動作について説明
する。ここでこの発明に係る座標ベクトル変換装置５は
視聴者８の顔の向きや位置に合わせて映像と音声の座標
を移動する動作を行う。視聴者８が映像表示装置６に対
し斜め方向に向いている場合、視聴者の座標軸（ホ）は
図３に示すように映像表示装置６に対して斜め方向にな
る。座標ベクトル変換装置５はこの視聴者の座標上に映
像と音声のデータをマッピングする。
【００３１】ここでは視聴者８の正面に登場人物１がマ
ッピングされ、視聴者の正面左に登場人物２がマッピン
グされている。ここで視聴者８の正面左に残された映像
表示装置６には視聴者８の正面左にマッピングされた登
場人物２が投影され、正面にマッピングされている登場
人物１は投影されない。登場人物１の音声は視聴者８か
ら見て正面に定位され、登場人物２の音声は視聴者８か
ら見て正面左、映像表示装置６の奥に定位される。この
ように、視聴者の座標上に映像と音声のデータをマッピ
ングすると、当然ながら視聴者の座標軸（ホ）の移動に
より映像と音声も移動するので、映像表示装置６は視聴
者８からみて自分の頭（視聴者の座標軸（ホ）の原点）
を中心とした、仮想現実空間に置いた枠、窓のように感
じられる。
ッピングされ、視聴者の正面左に登場人物２がマッピン
グされている。ここで視聴者８の正面左に残された映像
表示装置６には視聴者８の正面左にマッピングされた登
場人物２が投影され、正面にマッピングされている登場
人物１は投影されない。登場人物１の音声は視聴者８か
ら見て正面に定位され、登場人物２の音声は視聴者８か
ら見て正面左、映像表示装置６の奥に定位される。この
ように、視聴者の座標上に映像と音声のデータをマッピ
ングすると、当然ながら視聴者の座標軸（ホ）の移動に
より映像と音声も移動するので、映像表示装置６は視聴
者８からみて自分の頭（視聴者の座標軸（ホ）の原点）
を中心とした、仮想現実空間に置いた枠、窓のように感
じられる。
【００３２】実施の形態３ 次にこの発明に係る座標ベクトル変換装置５の動作につ
いて、実施の形態３を図４、及び図５を使用して説明す
る。図４は映像と音声のデータの座標軸（ヘ）に視聴者
８の位置をマッピングして再生する方式で視聴者８が正
面を向いている図である。図５は映像と音声のデータの
座標軸（ヘ）に視聴者８の位置をマッピングして再生す
る方式で視聴者８が斜め方向を向いている図である。こ
こで、映像と音声のデータの座標軸（ヘ）はコンテンツ
が任意に設定するものである。
いて、実施の形態３を図４、及び図５を使用して説明す
る。図４は映像と音声のデータの座標軸（ヘ）に視聴者
８の位置をマッピングして再生する方式で視聴者８が正
面を向いている図である。図５は映像と音声のデータの
座標軸（ヘ）に視聴者８の位置をマッピングして再生す
る方式で視聴者８が斜め方向を向いている図である。こ
こで、映像と音声のデータの座標軸（ヘ）はコンテンツ
が任意に設定するものである。
【００３３】図４において、まず映像と音声のデータの
座標軸（ヘ）が設定され、この場合は図に垂直方向に座
標軸（ヘ）を設定する。この映像と音声のデータの座標
軸（ヘ）上に映像と音声のデータをマッピングする。こ
こでは正面に登場人物１がマッピングされ、正面左に登
場人物２がマッピングされている。ここで視聴者８は映
像と音声のデータの座標軸（ヘ）の原点の近傍に位置
し、映像表示装置６は視聴者８の正面に位置している。
座標軸（ヘ）が設定され、この場合は図に垂直方向に座
標軸（ヘ）を設定する。この映像と音声のデータの座標
軸（ヘ）上に映像と音声のデータをマッピングする。こ
こでは正面に登場人物１がマッピングされ、正面左に登
場人物２がマッピングされている。ここで視聴者８は映
像と音声のデータの座標軸（ヘ）の原点の近傍に位置
し、映像表示装置６は視聴者８の正面に位置している。
【００３４】この発明に係る座標ベクトル変換装置５は
映像と音声のデータの座標に視聴者８の位置と映像表示
装置６の位置をマッピングして以下のようにベクトル変
換を行う。視聴者８からみて正面にマッピングされた登
場人物１が映像表示装置６に投影され、正面左にマッピ
ングされている登場人物２は投影されない。登場人物１
の音声は視聴者８から見て映像表示装置６の奥に定位さ
れ、登場人物２の音声は視聴者８から見て正面左に定位
される。
映像と音声のデータの座標に視聴者８の位置と映像表示
装置６の位置をマッピングして以下のようにベクトル変
換を行う。視聴者８からみて正面にマッピングされた登
場人物１が映像表示装置６に投影され、正面左にマッピ
ングされている登場人物２は投影されない。登場人物１
の音声は視聴者８から見て映像表示装置６の奥に定位さ
れ、登場人物２の音声は視聴者８から見て正面左に定位
される。
【００３５】次に図５において、視聴者８が映像表示装
置６に対し斜め方向に位置する場合の動作について説明
する。ここでこの発明に係る座標ベクトル変換装置５は
映像と音声のデータの座標に視聴者８の位置と映像表示
装置６の位置をマッピングして以下のようにベクトル変
換を行う。視聴者８からみて正面にマッピングされた登
場人物２が映像表示装置６に投影され、正面右にマッピ
ングされている登場人物１は投影されない。登場人物１
の音声は視聴者８から見て映像表示装置６の右に定位さ
れ、登場人物２の音声は視聴者８から見て正面、映像表
示装置６の奥に定位される。以上のように実施の形態３
は、映像と音声のデータの座標軸に映像表示装置６と視
聴者８の位置をマッピングして映像と音像の位置合わせ
を行い、顔の向きや位置を変更しても映像と音像の定位
位置が動かず、見る位置によって映像表示装置の枠内に
見える画像が異なり、映像表示装置６が自分の周りの仮
想現実空間に置いた枠、窓のように感じられる。
置６に対し斜め方向に位置する場合の動作について説明
する。ここでこの発明に係る座標ベクトル変換装置５は
映像と音声のデータの座標に視聴者８の位置と映像表示
装置６の位置をマッピングして以下のようにベクトル変
換を行う。視聴者８からみて正面にマッピングされた登
場人物２が映像表示装置６に投影され、正面右にマッピ
ングされている登場人物１は投影されない。登場人物１
の音声は視聴者８から見て映像表示装置６の右に定位さ
れ、登場人物２の音声は視聴者８から見て正面、映像表
示装置６の奥に定位される。以上のように実施の形態３
は、映像と音声のデータの座標軸に映像表示装置６と視
聴者８の位置をマッピングして映像と音像の位置合わせ
を行い、顔の向きや位置を変更しても映像と音像の定位
位置が動かず、見る位置によって映像表示装置の枠内に
見える画像が異なり、映像表示装置６が自分の周りの仮
想現実空間に置いた枠、窓のように感じられる。
【００３６】実施の形態４ 次にこの発明に係る座標ベクトル変換装置の動作につい
て、実施の形態４を図６、及び図７を使用して説明す
る。図６は映像表示装置６の座標軸（ト）に映像と音像
と視聴者８の位置をマッピングして再生する方式で視聴
者８が正面を向いている図である。図７は映像表示装置
６の座標軸（ト）に映像と音像と視聴者の位置をマッピ
ングして再生する方式で視聴者が斜め方向を向いている
図である。ここで、映像表示装置６の座標軸（ト）は映
像表示装置６の左上隅を原点とする水平方向と垂直方向
に延びる直線である。
て、実施の形態４を図６、及び図７を使用して説明す
る。図６は映像表示装置６の座標軸（ト）に映像と音像
と視聴者８の位置をマッピングして再生する方式で視聴
者８が正面を向いている図である。図７は映像表示装置
６の座標軸（ト）に映像と音像と視聴者の位置をマッピ
ングして再生する方式で視聴者が斜め方向を向いている
図である。ここで、映像表示装置６の座標軸（ト）は映
像表示装置６の左上隅を原点とする水平方向と垂直方向
に延びる直線である。
【００３７】図６において、まず映像表示装置６の正面
方向に座標軸が設定され、この場合は図に垂直方向に座
標軸を設定する。この映像表示装置の座標軸（ト）上に
映像と音声のデータ、及び視聴者８の位置をマッピング
する。この発明に係る座標ベクトル変換装置５は以下の
ようにベクトル変換を行う。視聴者８からみて正面にマ
ッピングされた登場人物１が映像表示装置６に投影さ
れ、正面左にマッピングされている登場人物２は投影さ
れない。登場人物１の音声は視聴者８から見て映像表示
装置６の奥に定位され、登場人物２の音声は視聴者８か
ら見て正面左に定位される。
方向に座標軸が設定され、この場合は図に垂直方向に座
標軸を設定する。この映像表示装置の座標軸（ト）上に
映像と音声のデータ、及び視聴者８の位置をマッピング
する。この発明に係る座標ベクトル変換装置５は以下の
ようにベクトル変換を行う。視聴者８からみて正面にマ
ッピングされた登場人物１が映像表示装置６に投影さ
れ、正面左にマッピングされている登場人物２は投影さ
れない。登場人物１の音声は視聴者８から見て映像表示
装置６の奥に定位され、登場人物２の音声は視聴者８か
ら見て正面左に定位される。
【００３８】図７において、まず映像表示装置６の正面
方向に座標軸が設定され、この場合は図に垂直方向に座
標軸を設定する。この映像表示装置６の座標軸（ト）上
に映像と音声のデータ、及び視聴者８の位置をマッピン
グする。ここでは視聴者が斜め方向を向いて、映像表示
装置６からみて斜め方向に位置する。
方向に座標軸が設定され、この場合は図に垂直方向に座
標軸を設定する。この映像表示装置６の座標軸（ト）上
に映像と音声のデータ、及び視聴者８の位置をマッピン
グする。ここでは視聴者が斜め方向を向いて、映像表示
装置６からみて斜め方向に位置する。
【００３９】この発明に係る座標ベクトル変換装置は以
下のようにベクトル変換を行う。登場人物２は視聴者８
からみて正面にマッピングされるが、映像表示装置６に
は映像表示装置の座標軸方向で投影される登場人物１が
表示される。正面奥にマッピングされている登場人物２
は投影されない。登場人物１の音声は視聴者８から見て
映像表示装置６の右奥に定位され、登場人物２の音声は
視聴者８から見て正面、映像表示装置６の奥に定位され
る。
下のようにベクトル変換を行う。登場人物２は視聴者８
からみて正面にマッピングされるが、映像表示装置６に
は映像表示装置の座標軸方向で投影される登場人物１が
表示される。正面奥にマッピングされている登場人物２
は投影されない。登場人物１の音声は視聴者８から見て
映像表示装置６の右奥に定位され、登場人物２の音声は
視聴者８から見て正面、映像表示装置６の奥に定位され
る。
【００４０】このようにすると、視聴者８の周りの仮想
現実空間のうち、音に関しては３次元的な距離、方向を
保つが、映像表示装置６の映像に関しては表示の効率を
優先し、映像表示装置６の座標軸方向で投影される映像
を表示する。以上のように実施の形態４は、映像表示装
置の性能を最も重視する再生が可能な映像表示装置の座
標軸に音像と視聴者の位置をマッピングして映像と音像
の位置合わせを行う。
現実空間のうち、音に関しては３次元的な距離、方向を
保つが、映像表示装置６の映像に関しては表示の効率を
優先し、映像表示装置６の座標軸方向で投影される映像
を表示する。以上のように実施の形態４は、映像表示装
置の性能を最も重視する再生が可能な映像表示装置の座
標軸に音像と視聴者の位置をマッピングして映像と音像
の位置合わせを行う。
【００４１】実施の形態５ 次にこの発明に係る実施の形態５について説明する。実
施の形態５は映像表示装置６の表示範囲に映像データを
拡大／縮小して表示するものであり、図８は映像表示装
置６の表示範囲に映像データの座標を拡大／縮小してマ
ッピングし再生する方式の説明図である。
施の形態５は映像表示装置６の表示範囲に映像データを
拡大／縮小して表示するものであり、図８は映像表示装
置６の表示範囲に映像データの座標を拡大／縮小してマ
ッピングし再生する方式の説明図である。
【００４２】実施の形態５における座標ベクトル変換装
置５の動作について、図８を使用して説明する。映像・
音像空間の一部を拡大して視聴したい場合（映像表示装
置６に表示範囲を拡張して表示したい場合）は、注目す
る表示範囲を映像表示装置６の表示範囲に投影する。こ
の実施の形態５において映像・音像データの座標軸原点
を表示装置位置・方向情報解析手段４で映像表示装置６
の位置を知り、図８のように決めたときには、登場人物
１の定位位置は、例えば原点から見る映像表示装置６の
表示範囲に入らず、右下に食み出してしまっている。こ
こで、コンテンツ作成において意図された表示範囲全体
を、実際の映像表示装置６に投影して表示するするよう
に座標ベクトル変換装置５が映像・音像データ定位位置
のベクトル変換を行うことで、表示情報の欠落を最低限
にすることができる。即ちこの実施の形態５は座標ベク
トル変換装置５が表示範囲全体を、実際の映像表示装置
６に投影して表示するように映像・音像データのベクト
ル変換を行う。
置５の動作について、図８を使用して説明する。映像・
音像空間の一部を拡大して視聴したい場合（映像表示装
置６に表示範囲を拡張して表示したい場合）は、注目す
る表示範囲を映像表示装置６の表示範囲に投影する。こ
の実施の形態５において映像・音像データの座標軸原点
を表示装置位置・方向情報解析手段４で映像表示装置６
の位置を知り、図８のように決めたときには、登場人物
１の定位位置は、例えば原点から見る映像表示装置６の
表示範囲に入らず、右下に食み出してしまっている。こ
こで、コンテンツ作成において意図された表示範囲全体
を、実際の映像表示装置６に投影して表示するするよう
に座標ベクトル変換装置５が映像・音像データ定位位置
のベクトル変換を行うことで、表示情報の欠落を最低限
にすることができる。即ちこの実施の形態５は座標ベク
トル変換装置５が表示範囲全体を、実際の映像表示装置
６に投影して表示するように映像・音像データのベクト
ル変換を行う。
【００４３】この実施の形態５における座標ベクトル変
換装置５の動作をさらに説明する。座標ベクトル変換装
置５は注目する映像の表示範囲を拡大・縮小する場合
に、空間全体を拡大・縮小し、さらに視聴者位置・方向
情報解析手段３で検出した視聴者の位置から求まる視聴
者の座標軸の原点を映像・音像データの座標軸の原点
（チ）に対して移動する方法をとる。即ち、座標ベクト
ル変換装置５は空間座標の拡大に合わせて視聴者の座標
軸の原点を映像・音像データの座標軸の原点（チ）より
も映像表示装置６側に移動し、空間座標の縮小に合わせ
て視聴者の座標軸の原点を映像・音像データの座標軸の
原点（チ）よりも映像表示装置６の反対側に移動する。
換装置５の動作をさらに説明する。座標ベクトル変換装
置５は注目する映像の表示範囲を拡大・縮小する場合
に、空間全体を拡大・縮小し、さらに視聴者位置・方向
情報解析手段３で検出した視聴者の位置から求まる視聴
者の座標軸の原点を映像・音像データの座標軸の原点
（チ）に対して移動する方法をとる。即ち、座標ベクト
ル変換装置５は空間座標の拡大に合わせて視聴者の座標
軸の原点を映像・音像データの座標軸の原点（チ）より
も映像表示装置６側に移動し、空間座標の縮小に合わせ
て視聴者の座標軸の原点を映像・音像データの座標軸の
原点（チ）よりも映像表示装置６の反対側に移動する。
【００４４】図８において座標ベクトル変換装置５は、
まずコンテンツ作成において意図された表示範囲の原点
（リ）と実際の映像表示装置６の表示範囲の原点（ヌ）
の移動ベクトルと奥域方向を除いた夫々の表示範囲の比
率を求め、この比率から、「コンテンツが想定する表示
範囲」から「表示装置の表示範囲」への変換マトリクス
を求める。次に表示範囲の変換比率に合わせて視聴者の
座標軸の原点と映像・音像データの距離、奥域方向の変
換処理を行う。即ち、表示の大きさが５０％になった場
合は距離を２倍とする。
まずコンテンツ作成において意図された表示範囲の原点
（リ）と実際の映像表示装置６の表示範囲の原点（ヌ）
の移動ベクトルと奥域方向を除いた夫々の表示範囲の比
率を求め、この比率から、「コンテンツが想定する表示
範囲」から「表示装置の表示範囲」への変換マトリクス
を求める。次に表示範囲の変換比率に合わせて視聴者の
座標軸の原点と映像・音像データの距離、奥域方向の変
換処理を行う。即ち、表示の大きさが５０％になった場
合は距離を２倍とする。
【００４５】次に変換された視聴者の座標軸の原点に対
する映像データのベクトルデータを表示装置の表示範囲
に投影し、変換された視聴者の座標軸の原点に対する音
像データをベクトルデータの通りに音像定位する。
する映像データのベクトルデータを表示装置の表示範囲
に投影し、変換された視聴者の座標軸の原点に対する音
像データをベクトルデータの通りに音像定位する。
【００４６】なお、注目する範囲を拡大・縮小する方法
には、この実施の形態５のように、例えば空間全体を拡
大・縮小して、さらに視聴者の原点を映像・音像データ
の原点に対して移動する方法と、図１で説明した実施の
形態１のように視聴者の位置を動かさずに空間を歪めて
ベクトル変換を行う方法とがある。
には、この実施の形態５のように、例えば空間全体を拡
大・縮小して、さらに視聴者の原点を映像・音像データ
の原点に対して移動する方法と、図１で説明した実施の
形態１のように視聴者の位置を動かさずに空間を歪めて
ベクトル変換を行う方法とがある。
【００４７】実施の形態６ 次にこの発明に係る実施の形態６を説明する。この実施
の形態６は図１の視聴者位置・方向情報解析手段３に対
して、視聴者位置・方向のデータを視聴者の所望する位
置からの画像・音声を再生するため、視聴者の所望する
視聴者位置・方向のデータを与えることのできる視聴者
位置・方向データ入力手段を備える。座標ベクトル変換
装置５は、視聴者が視聴者位置・方向データ入力手段で
入力した視聴者位置・方向のデータを視聴者位置・方向
情報解析手段３から受け取り、視聴者位置・方向のデー
タに基いて視聴者の座標軸を設定し、この視聴者の座標
上に映像と音声のデータをマッピングする。このように
することで、視聴者の実際の位置に関わらず、視聴者が
所望する任意の位置からの画像・音声を再生できる。
の形態６は図１の視聴者位置・方向情報解析手段３に対
して、視聴者位置・方向のデータを視聴者の所望する位
置からの画像・音声を再生するため、視聴者の所望する
視聴者位置・方向のデータを与えることのできる視聴者
位置・方向データ入力手段を備える。座標ベクトル変換
装置５は、視聴者が視聴者位置・方向データ入力手段で
入力した視聴者位置・方向のデータを視聴者位置・方向
情報解析手段３から受け取り、視聴者位置・方向のデー
タに基いて視聴者の座標軸を設定し、この視聴者の座標
上に映像と音声のデータをマッピングする。このように
することで、視聴者の実際の位置に関わらず、視聴者が
所望する任意の位置からの画像・音声を再生できる。
【００４８】実施の形態７ 次にこの発明に係る座標ベクトル変換装置５の動作につ
いて、実施の形態７を図９を使用して説明する。図９は
実施の形態７を説明するための図で、画像・音声データ
を時間軸で整理し、時間軸を空間座標にマッピングした
ものである。
いて、実施の形態７を図９を使用して説明する。図９は
実施の形態７を説明するための図で、画像・音声データ
を時間軸で整理し、時間軸を空間座標にマッピングした
ものである。
【００４９】座標ベクトル変換装置５は映像・音声デー
タの座標軸の原点（ル）を図９のように左隅手前に設定
し、登場人物１の映像・音声データをこの座標上に、時
間軸で整理し、時間軸を空間座標、例えば図９のように
奥行き方向にマッピングする。この場合のベクトルデー
タは縦、横軸のみを再生する。映像表示装置６の一番奥
に登場人物１の時刻初めの頃の映像と音像が定位され、
次にこれより手前に登場人物１の時刻中盤の頃の映像と
音像が定位され、次に一番手前に登場人物１の時刻終盤
の頃の映像と音像が定位される。これら時刻の異なる映
像が重なって同時に表示される。手前に大きな映像があ
り、奥が見えない場合は透過画像にする。この実施例に
より、コンテンツ単位で画像・音声データの全体に渡る
内容を簡便に認識できる。
タの座標軸の原点（ル）を図９のように左隅手前に設定
し、登場人物１の映像・音声データをこの座標上に、時
間軸で整理し、時間軸を空間座標、例えば図９のように
奥行き方向にマッピングする。この場合のベクトルデー
タは縦、横軸のみを再生する。映像表示装置６の一番奥
に登場人物１の時刻初めの頃の映像と音像が定位され、
次にこれより手前に登場人物１の時刻中盤の頃の映像と
音像が定位され、次に一番手前に登場人物１の時刻終盤
の頃の映像と音像が定位される。これら時刻の異なる映
像が重なって同時に表示される。手前に大きな映像があ
り、奥が見えない場合は透過画像にする。この実施例に
より、コンテンツ単位で画像・音声データの全体に渡る
内容を簡便に認識できる。
【００５０】実施の形態８ 次にこの発明に係る映像音声再生装置の実施の形態８を
図１０を使用して説明する。図１０はこの発明において
映像表示装置６を３個備えた場合の図である。
図１０を使用して説明する。図１０はこの発明において
映像表示装置６を３個備えた場合の図である。
【００５１】実施の形態８では映像表示装置６を３個備
え、各映像表示装置６が同一の座標系で表示される。座
標ベクトル変換装置５により映像・音声データの原点が
図１０のように設定され、この映像・音声データの座標
に音像が音声のオブジェクトデータに従って定位され、
映像が映像のオブジェクトデータに従って定位され、映
像表示装置６に投影される。
え、各映像表示装置６が同一の座標系で表示される。座
標ベクトル変換装置５により映像・音声データの原点が
図１０のように設定され、この映像・音声データの座標
に音像が音声のオブジェクトデータに従って定位され、
映像が映像のオブジェクトデータに従って定位され、映
像表示装置６に投影される。
【００５２】以上のように、実施の形態８によれば、映
像表示装置６を異なる位置に設置し、映像表示装置６に
同一の座標系でマッピングされた映像・音声データが表
示されるので、各映像表示装置６には、それぞれ設置位
置に定位された同時刻の異なる映像・音声表示される。
像表示装置６を異なる位置に設置し、映像表示装置６に
同一の座標系でマッピングされた映像・音声データが表
示されるので、各映像表示装置６には、それぞれ設置位
置に定位された同時刻の異なる映像・音声表示される。
【００５３】なお、上記実施の形態８では映像表示装置
６が３個の場合を説明したが、３個に限らず複数設置
し、映像の投影が複数の映像表示装置６に対して行われ
るものでよい。
６が３個の場合を説明したが、３個に限らず複数設置
し、映像の投影が複数の映像表示装置６に対して行われ
るものでよい。
【００５４】実施の形態９ 次に同じ図１０を使用して実施の形態９を説明する。例
えば映像の一部を詳しく見るため、またはなるべく多く
の映像を表示するために各映像表示装置６に表示範囲の
座標を拡大／縮小してマッピングして再生する。拡大／
縮小してマッピングして再生する方法は実施の形態５と
同様な方法で、映像表示装置６毎に行う。あるいは全て
の各映像表示装置６を同一の比率で拡大／縮小してマッ
ピングして再生する方法でもよい。映像表示装置６が設
置されている空間と、映像表示装置６が設置されていな
い空間の空間密度が異なるようになる。これに音声のデ
ータの座標軸を合わせて再生することで、空間をゆがめ
た形で映像・音像を再生する。
えば映像の一部を詳しく見るため、またはなるべく多く
の映像を表示するために各映像表示装置６に表示範囲の
座標を拡大／縮小してマッピングして再生する。拡大／
縮小してマッピングして再生する方法は実施の形態５と
同様な方法で、映像表示装置６毎に行う。あるいは全て
の各映像表示装置６を同一の比率で拡大／縮小してマッ
ピングして再生する方法でもよい。映像表示装置６が設
置されている空間と、映像表示装置６が設置されていな
い空間の空間密度が異なるようになる。これに音声のデ
ータの座標軸を合わせて再生することで、空間をゆがめ
た形で映像・音像を再生する。
【００５５】
【発明の効果】以上のようにこの発明によれば、位置関
係検出手段により、映像表示装置と音場再生装置と視聴
者の位置関係を検出して視聴者の位置・方向に対して所
定の関連を持って映像と音像が位置合わせされて定位さ
れるので、視聴者に対して違和感のない（自然に感じら
れる）再生がされる効果を有する。
係検出手段により、映像表示装置と音場再生装置と視聴
者の位置関係を検出して視聴者の位置・方向に対して所
定の関連を持って映像と音像が位置合わせされて定位さ
れるので、視聴者に対して違和感のない（自然に感じら
れる）再生がされる効果を有する。
【００５６】またこの発明によれば、映像と音声のデー
タの座標軸に視聴者の位置をマッピングして映像と音像
の位置合わせを行い再生するので、視聴者の顔の向きや
位置を変更しても映像と音像の定位位置が動かず、視聴
者の見る位置によって映像表示装置の枠内に見える画像
が異なり、視聴者８からは、映像表示装置６が自分の周
りの仮想現実空間に置いた枠、窓のように感じる効果を
有する。
タの座標軸に視聴者の位置をマッピングして映像と音像
の位置合わせを行い再生するので、視聴者の顔の向きや
位置を変更しても映像と音像の定位位置が動かず、視聴
者の見る位置によって映像表示装置の枠内に見える画像
が異なり、視聴者８からは、映像表示装置６が自分の周
りの仮想現実空間に置いた枠、窓のように感じる効果を
有する。
【００５７】またこの発明によれば、画像・音声データ
を時間軸で整理し、２次元または３次元の音場再生装置
で再生する音像と、映像の３次元空間内の位置を合わせ
た再生を行い、時刻の異なる映像が重なって同時に表示
されるので、コンテンツ単位で画像・音声データの全体
に渡る内容を簡便に認識できる。
を時間軸で整理し、２次元または３次元の音場再生装置
で再生する音像と、映像の３次元空間内の位置を合わせ
た再生を行い、時刻の異なる映像が重なって同時に表示
されるので、コンテンツ単位で画像・音声データの全体
に渡る内容を簡便に認識できる。
【００５８】またこの発明によれば、位置関係検出手段
に、視聴者位置・方向情報解析手段視聴者の位置関係を
検出する手段に対して任意のデータを与えることで、視
聴者の位置に関わらず、任意の位置からの画像・音声を
再生でき、視聴者の実際の位置に関わらず、視聴者が所
望する任意の位置からの画像・音声を再生できる。
に、視聴者位置・方向情報解析手段視聴者の位置関係を
検出する手段に対して任意のデータを与えることで、視
聴者の位置に関わらず、任意の位置からの画像・音声を
再生でき、視聴者の実際の位置に関わらず、視聴者が所
望する任意の位置からの画像・音声を再生できる。
【図１】 この発明の実施の形態１による、映像音声再
生装置の構成説明図である。
生装置の構成説明図である。
【図２】 この発明の実施の形態２の視聴者が正面を向
いている説明図である。
いている説明図である。
【図３】 この発明の実施の形態２の視聴者が斜め方向
を向いている説明図である。
を向いている説明図である。
【図４】 この発明の実施の形態３の視聴者が正面を向
いている説明図である。
いている説明図である。
【図５】 この発明の実施の形態３の視聴者が斜め方向
を向いている説明図である。
を向いている説明図である。
【図６】 この発明の実施の形態４の視聴者が正面を向
いている説明図である。
いている説明図である。
【図７】 この発明の実施の形態４の視聴者が斜め方向
を向いている説明図である。
を向いている説明図である。
【図８】 この発明の実施の形態５の説明図である。
【図９】 この発明の実施の形態７の説明図である。
【図１０】 この発明の実施の形態８の説明図である。
【図１１】 従来の再生装置を説明するための図であ
る。
る。
１ 映像オブジェクトデータ記録装置 ２ 音像オブジェクトデータ記録装置 ３ 視聴者位置・方向情報解析手段 ４ 表示装置位置・方向情報情報解析手段 ５ 座標ベクトル変換装置 ６ 映像表示装置 ７ 立体音像再生装置 ８ 視聴者。 なお図中、同一符号は同一または相当部分を示す。
Claims (8)
- 【請求項１】 登場人物、建物といった自然界に存在す
るオブジェクト的な記録単位で３次元座標ベクトル及び
時間軸に沿った変化と共に、それぞれデータ化した映像
を記録する映像記録装置と、同様にオブジェクト的な記
録単位で３次元座標ベクトル及び時間軸に沿った変化と
共に、それぞれデータ化した音像を記録する音像記録装
置と、映像を２次元または３次元表示する映像表示装置
と、音像を２次元または３次元に再生する音場再生装置
と、前記映像表示装置と前記音場再生装置と視聴者の位
置関係を検出する位置関係検出手段と、前記映像記録装
置と音像記録装置と位置関係検出手段のデータを入力
し、視聴者の位置・方向に対して所定の関連を持って映
像と音像が位置合わせされて定位できるように前記映像
表示装置上に表示する映像のオブジェクトと、前記音場
再生装置で再生する音像の夫々の座標ベクトルを変換す
る座標ベクトル変換装置とを備えたことを特徴とする映
像音声再生装置。 - 【請求項２】 座標ベクトル変換装置は、視聴者の座標
軸に映像と音声のデータをマッピングして映像と音像の
位置合わせを行ない、視聴者の顔の向きや位置移動に合
わせて映像と音声の座標を移動して、定位再生するよう
に構成されたことを特徴とする請求項１に記載の映像音
声再生装置。 - 【請求項３】 座標ベクトル変換装置は、映像と音声の
データの座標軸に視聴者の位置をマッピングして映像と
音像の位置合わせをし、映像と音像の定位位置を固定し
て、見る位置によって映像表示装置に見える画像が異な
るように構成されたことを特徴とする請求項１に記載の
映像音声再生装置。 - 【請求項４】 座標ベクトル変換装置は、映像表示装置
の性能を最も重視する再生が可能な映像表示装置の座標
軸に音像と視聴者の位置をマッピングして映像と音像の
位置合わせを行う構成にされたことを特徴とする請求項
１に記載の映像音声再生装置。 - 【請求項５】 座標ベクトル変換装置は、映像表示装置
の表示範囲に映像データの表示範囲の座標を拡大／縮小
してマッピングして再生し、この拡大／縮小された映像
データの座標軸に音声のデータの座標軸を合わせて再生
するように構成されたことを特徴とする請求項１に記載
の映像音声再生装置。 - 【請求項６】 座標ベクトル変換装置は、画像・音声デ
ータを時間軸で整理し、時間軸を空間座標にマッピング
して再生するように構成されたことを特徴とする請求項
１に記載の映像音声再生装置。 - 【請求項７】 位置関係検出手段は、視聴者の位置に関
わらず、任意の位置からの画像・音声を再生できるよう
視聴者の位置データを任意のデータにする事が可能な入
力手段を備えたことを特徴とする映像音声再生装置。 - 【請求項８】 映像表示装置を異なる位置に複数備え、
各映像表示装置は異なる映像が同一の座標系で表示され
る構成にされたことを特徴とする請求項１に記載の映像
音声再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000429A JP2001197598A (ja) | 2000-01-05 | 2000-01-05 | 映像音声再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000429A JP2001197598A (ja) | 2000-01-05 | 2000-01-05 | 映像音声再生装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001197598A true JP2001197598A (ja) | 2001-07-19 |
Family
ID=18529780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000000429A Abandoned JP2001197598A (ja) | 2000-01-05 | 2000-01-05 | 映像音声再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001197598A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014199536A1 (ja) * | 2013-06-10 | 2014-12-18 | パナソニック株式会社 | オーディオ再生装置及びその方法 |
| WO2015008613A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| JP2017028465A (ja) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム |
| US9983411B2 (en) | 2015-07-31 | 2018-05-29 | Canon Kabushiki Kaisha | Control apparatus and correction method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0647170A (ja) * | 1992-07-21 | 1994-02-22 | Sega Enterp Ltd | 仮想現実感生成装置 |
| JPH09138637A (ja) * | 1995-11-13 | 1997-05-27 | Mitsubishi Heavy Ind Ltd | 模擬視界装置 |
| JPH1055165A (ja) * | 1996-08-12 | 1998-02-24 | Fujitsu Ltd | 画像表示装置，画像表示制御装置および画像表示システム |
| JPH11219101A (ja) * | 1998-02-04 | 1999-08-10 | Nec Corp | 訓練シミュレータ装置 |
| JPH11262096A (ja) * | 1998-03-09 | 1999-09-24 | Fuji Xerox Co Ltd | 記録再生装置 |
-
2000
- 2000-01-05 JP JP2000000429A patent/JP2001197598A/ja not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0647170A (ja) * | 1992-07-21 | 1994-02-22 | Sega Enterp Ltd | 仮想現実感生成装置 |
| JPH09138637A (ja) * | 1995-11-13 | 1997-05-27 | Mitsubishi Heavy Ind Ltd | 模擬視界装置 |
| JPH1055165A (ja) * | 1996-08-12 | 1998-02-24 | Fujitsu Ltd | 画像表示装置，画像表示制御装置および画像表示システム |
| JPH11219101A (ja) * | 1998-02-04 | 1999-08-10 | Nec Corp | 訓練シミュレータ装置 |
| JPH11262096A (ja) * | 1998-03-09 | 1999-09-24 | Fuji Xerox Co Ltd | 記録再生装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6022685B2 (ja) * | 2013-06-10 | 2016-11-09 | 株式会社ソシオネクスト | オーディオ再生装置及びその方法 |
| US9788120B2 (en) | 2013-06-10 | 2017-10-10 | Socionext Inc. | Audio playback device and audio playback method |
| WO2014199536A1 (ja) * | 2013-06-10 | 2014-12-18 | パナソニック株式会社 | オーディオ再生装置及びその方法 |
| JPWO2014199536A1 (ja) * | 2013-06-10 | 2017-02-23 | 株式会社ソシオネクスト | オーディオ再生装置及びその方法 |
| JPWO2015008613A1 (ja) * | 2013-07-19 | 2017-03-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| CN105379302A (zh) * | 2013-07-19 | 2016-03-02 | 索尼公司 | 信息处理设备和信息处理方法 |
| WO2015008576A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| EP3024249A4 (en) * | 2013-07-19 | 2017-03-01 | Sony Corporation | Information processing device and information processing method |
| WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| WO2015008613A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US10523975B2 (en) | 2013-07-19 | 2019-12-31 | Sony Corporation | Information processing device and information processing method |
| JP2017028465A (ja) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム |
| US9983411B2 (en) | 2015-07-31 | 2018-05-29 | Canon Kabushiki Kaisha | Control apparatus and correction method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5992210B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
| RU2586842C2 (ru) | Устройство и способ преобразования первого параметрического пространственного аудиосигнала во второй параметрический пространственный аудиосигнал | |
| CN109564760A (zh) | 通过3d音频定位来生成虚拟或增强现实呈现的方法和装置 | |
| US8571192B2 (en) | Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays | |
| KR101901908B1 (ko) | 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 | |
| US6829017B2 (en) | Specifying a point of origin of a sound for audio effects using displayed visual information from a motion picture | |
| US20020075295A1 (en) | Telepresence using panoramic imaging and directional sound | |
| JP2008506140A (ja) | 水平透視ディスプレイ | |
| KR20060050680A (ko) | 음향 생성 방법, 음향 생성 장치, 음향 재생 방법 및 음향재생 장치 | |
| de Bruijn | Application of wave field synthesis in videoconferencing | |
| KR102332739B1 (ko) | 음향 처리 장치 및 방법, 그리고 프로그램 | |
| TWI648994B (zh) | 一種獲得空間音訊定向向量的方法、裝置及設備 | |
| JP2018110366A (ja) | ３ｄサウンド映像音響機器 | |
| JP2006515490A (ja) | 再生位置を決定するための装置及び方法 | |
| Hollerweger | Periphonic sound spatialization in multi-user virtual environments | |
| WO2020189263A1 (ja) | 音響処理装置、音響処理方法、および音響処理プログラム | |
| JP2001197598A (ja) | 映像音声再生装置 | |
| EP3503579B1 (en) | Multi-camera device | |
| Günel et al. | Spatial synchronization of audiovisual objects by 3D audio object coding | |
| US20220129062A1 (en) | Projection Method, Medium and System for Immersive Contents | |
| KR102284914B1 (ko) | 프리셋 영상이 구현되는 사운드 트랙킹 시스템 | |
| Hamanaka | Sound scope phone: focusing parts by natural movement | |
| JP3363921B2 (ja) | 音像定位装置 | |
| Groehn et al. | Some aspects of role of audio in immersive visualization | |
| Hamanaka | Sound Scope Pad: Controlling a VR Concert with Natural Movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20060510 |