JP2009212582A - バーチャルスタジオ用フィードバックシステム - Google Patents

Abstract

【課題】演技者に対する演技支援を行うバーチャルスタジオ用フィードバックシステムを提供する。
【解決手段】本発明のバーチャルスタジオ用フィードバックシステムは、演技者１１の目線の位置１１ａとＣＧオブジェクト１５の３次元位置を結ぶ投射空間との交差面となる所定の実セット１２の位置上に、ＣＧオブジェクト１５の位置を表すＣＧ描画映像を間欠的に投影するプロジェクタ７と、ＣＧ描画映像の投影期間以外の期間に、演技者１１を含む実セットを間欠的に撮影する撮影カメラ１と、ＣＧオブジェクト１に対応するレンダリング画像を撮影カメラ１が撮影した画像に合成する合成装置３と、被写体の３次元位置を特定する３次元位置センサ４と、演技者１１の位置情報に基づいて、演技者１１とＣＧオブジェクト１５との位置関係を逐次算出し、プロジェクタ７が投影するＣＧ描画映像の描画を制御するプロジェクタ用描画制御装置５とを備える。また、その位置関係を振動素子８に情報として与えて制御する振動制御装置６を備える。
【選択図】図１

Description

本発明は、映像制作におけるバーチャルスタジオにおいて映像合成に係る演技者への演技支援を行うシステムに関する。

従来、テレビスタジオ等の撮影現場において、特定の映像を演技者には視認され、撮影カメラで撮影する映像には写らないようにする技術として、撮影カメラの撮影期間と映像表示装置（例えば、プロジェクタ）の投影期間との切り替えを行う技術（以下、撮影・投影時分割切り替え方式と称する）が知られている（例えば、特許文献１参照）。

この技術に用いられるプロジェクタは、スクリーンに投影する映像を、例えば撮影カメラが有する内部の撮像デバイス（ＣＣＤ）の電子シャッタが開いている期間（撮影期間）には投影せず、電子シャッタが閉じている期間（非撮影期間）に投影するように制御する。これにより、プロジェクタからの投影映像を撮影カメラの撮影に影響を及ぼさないようにすることができる。

一方、最近のテレビ番組では、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）と実写のリアルタイム映像合成が多く利用されている。映像合成によって、新しい映像効果を期待できることや、実セットをＣＧに置き換え、効率的にテレビ番組を製作することができる。

バーチャルスタジオとは、例えばブルーバック（例えば、クロマキーバックとなる青色）で撮影された人物などの被写体映像から人物などの被写体領域のみキー信号として抽出し、別に作成したＣＧ又は予め撮影した映像とキー信号を基に合成するクロマキー合成する手法、或いは、実際の映像にＣＧなどの映像をＣＧ領域のキー信号を基に合成する手法、又はそれらを多重に組み合わせて映像合成する手法などにより、特に、撮影カメラの撮影動作に連動したＣＧを生成してカメラ映像と合成したものを云い、仮想スタジオとも称される。

ＣＧとカメラ映像を合成した出力映像は、スタジオに備え付けのモニタや撮影カメラに付属のモニタなどで映し出すことが可能である。また、スタジオ内では、カメラマンやディレクターなどの番組制作者は、合成結果をチェックしながら番組制作を進めることができる。

特開２００５−２６８８３８号公報

しかしながら、バーチャルスタジオでは、ターゲットとなるＣＧの被写体（以下、ＣＧオブジェクトと称する）が実在するものではないため、演技者にとって演技が困難となり、演技者は何度も練習する必要があった。また、ＣＧオブジェクトとの合成映像は、フレーム単位で遅延を生じるため、これについても演技に影響を及ぼすことになる。その他、スタジオセットにシールなどでマークし、その部分にＣＧオブジェクトがあるということを想像しながら演技を行うことも多い。また、クロマキー合成の場合には、ＣＧオブジェクトと同じ形状のものを青い物体として作成することで、演技を行うことも可能であるが、ＣＧオブジェクトが例えば動物などの動くものである場合には困難である。

このように、実際には、演技者は、ＣＧオブジェクトを見ることができないまま演技を行うか、又はスタジオに備え付けのモニタで合成された映像を見ながら演技をする必要がある。

一方、オーグメントリアリティの世界では、利用者がヘッドマウントディスプレイを装着して、周囲のＣＧなどの仮想空間を提示する視覚システムが知られている。また、触覚についてもＰＨＡＮＴｏＭなど、ペンタブレット型の力覚インタフェースで物体にあたかも触っているかのような感触を得るシステムが知られている。このような従来の視覚提示や触覚提示の方法は、大掛かりなシステムが必要であり、番組制作においては撮影を行う際の妨げにもなることから利用するのが困難である。

このように、従来方法では、セットに付けたマークを頼りに演技を行うか、又はＣＧオブジェクトと合成された映像を見ながら行っていた。しかしながら、映像合成のモニタでＣＧオブジェクトを確認しながら演技を行うと演技者がモニタばかりを見てしまい、見るべき方向を向くことができず、違和感のある合成映像となる。

そこで、本発明の目的は、好適には演技者に対する視覚提示及び触覚提示とを併用しながら、演技者が、ＣＧの位置やアニメーションを確認しながら確実に演技をすることができるように、撮影を行う際の妨げを生じることなく、演技者に対する演技支援を行うバーチャルスタジオ用フィードバックシステムを提供することにある。

上記目的を達成するために、本発明のバーチャルスタジオ用フィードバックシステムは、演技者がスタジオ内で見えないＣＧについて把握し、演技を自然に行うことができるように、演技者にＣＧの位置を視覚及び／又は触覚で確認可能な手段を提供し、演技者の演技を支援する。

第１に、本発明のバーチャルスタジオ用フィードバックシステムは、演技者の目線に合ったＣＧオブジェクトを含むＣＧ描画映像を演技者に視覚提示する。即ち、ＣＧオブジェクトを含むＣＧ描画映像を演技者に視覚提示する際は、演技者の目線とスタジオセットに合わせたＣＧを生成し、プロジェクタで投影する。また、実際のスタジオセット（実セットとも称する）の形状に適合させた投影面にプロジェクタで投影する際に、前述した撮影・投影時分割切り替え方式などの間欠的な投影及び撮影を交互に繰り返すため、カメラ撮影に悪影響を及ぼすことはない。

第２に、本発明のバーチャルスタジオ用フィードバックシステムは、３次元の情報の奥行き情報を正確に伝えるようにするために、小型振動モータなどの振動素子を演技者に具備させ、振動素子の振幅及び／又は周波数を変更することにより、ＣＧオブジェクトまでの距離感、即ち位置関係を伝えるようにする。振動素子を演技者の衣服内か、又は背面に具備させるため、カメラ撮影に悪影響を及ぼすことはない。このように、本発明のバーチャルスタジオ用フィードバックシステムは、人の目線に合ったＣＧの描画による視覚情報、及び／又は、奥行きやＣＧまでの距離感を振動で伝えることによる触覚情報を演技者に提供し、演技者がＣＧオブジェクトとのインタラクションを簡易に行えるように支援する。

即ち、本発明のバーチャルスタジオ用フィードバックシステムは、バーチャルスタジオにおける演技者の演技を支援するバーチャルスタジオ用フィードバックシステムであって、所定のＣＧオブジェクトと当該演技者との位置関係を当該演技者に視覚確認させるために、当該演技者の目線の位置と該ＣＧオブジェクトの３次元位置を結ぶ投射空間との交差面となる所定の実セットの位置上に、前記ＣＧオブジェクトの位置を表すＣＧ描画映像を間欠的に投影するプロジェクタと、前記ＣＧ描画映像の投影期間以外の期間に、前記ＣＧオブジェクトから所定の距離に位置する当該演技者を含む実セットを間欠的に撮影する撮影カメラと、前記ＣＧオブジェクトに対応するレンダリング画像を前記撮影カメラが撮影した画像に合成し、合成映像を生成する合成映像生成手段と、当該演技者を被写体として、当該演技者の目線の位置を含む該被写体の３次元位置を特定する３次元位置センサと、前記３次元位置センサによる当該演技者の位置情報に基づいて、当該演技者とＣＧオブジェクトとの位置関係を算出する位置関係算出手段と、算出した該位置関係に応じて前記プロジェクタが投影するＣＧ描画映像の描画を制御するプロジェクタ用描画制御手段とを備え、当該演技者と前記ＣＧオブジェクトとの位置関係を、視覚情報で当該演技者の演技を支援することを特徴とする。

また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記ＣＧオブジェクトと当該演技者との位置関係を当該演技者に触覚確認させるために、当該演技者に具備させる振動素子と、当該演技者と前記ＣＧオブジェクトとの位置関係に応じて前記振動素子の振動を制御する振動素子用制御手段とを更に備え、当該演技者と前記ＣＧオブジェクトとの位置関係を、触覚情報で当該演技者の演技を支援することを特徴とする。

また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記振動素子は、前記ＣＧオブジェクトとの距離を識別するための振動素子を含むことを特徴とする。

また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記振動素子は、各々が前記ＣＧオブジェクトに対する上下左右の位置関係を識別可能な複数の振動素子を含むことを特徴とする。

また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記ＣＧオブジェクトと当該演技者の位置関係は、当該演技者の視点の位置及びＣＧとインタラクションを行う身体部位に基づいて、規定されていることを特徴とする。

本発明によれば、演技者の目線に合ったＣＧオブジェクトを含むＣＧ描画映像を提供することができる。さらに、本発明によれば、振動素子による振動でＣＧオブジェクトに対する位置関係（距離を含む）を知らせることにより、演技者にＣＧオブジェクトとの距離感を的確に理解させることが可能で、バーチャルスタジオ内でＣＧとのインタラクションをスムーズに行うことができるようになる。

本発明によれば、バーチャルスタジオにおいて、撮影に影響を及ぼさずに、プロジェクタから演技者の視点が見えるＣＧ表示と、振動情報とを与えるため、演技者がモニタの確認をすることなく演技が可能になる。また、プロジェクタによる視覚提示のみや振動による触覚提示のみの状態でも状態把握に有効であるが、２つを合わせることで、演技者は、より正確なＣＧの３次元位置を把握して、ＣＧとのインタラクションを容易に行うことができるようになる。

以下に、図面を参照して、本発明による実施例のバーチャルスタジオ用フィードバックシステムを説明する。尚、同様な構成要素には、同一の参照番号を付して説明する。

[システム構成]
図１に本発明による実施例のバーチャルスタジオ用フィードバックシステムの概略系統図を示す。本実施例のバーチャルスタジオ用フィードバックシステムは、バーチャルスタジオにおける演技者１１の演技を支援するためのシステムであり、撮影カメラ１、バーチャルスタジオ用ＣＧ描画装置２、合成装置３、３次元位置センサ４、プロジェクタ用描画制御装置５、振動素子制御装置６、プロジェクタ７、振動素子８、３次元位置センサ制御装置９、モニタ１０、及び実セット１２を備える。

撮影カメラ１は、前述した撮影・投影時分割切り替え方式を用いて、ＣＧ描画映像の投影期間以外の期間に、ＣＧオブジェクトから所定の距離に位置する演技者を含む実セットを間欠的に撮影するカメラであり、バーチャルスタジオ用のカメラとして知られるバーチャルスタジオカメラを用いる。バーチャルスタジオでは、撮影カメラ１に連動したＣＧ描画を行うため、撮影カメラ１は、撮影したカメラ映像信号と、撮影映像の画角を特定するためのカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）とを出力する。

バーチャルスタジオ用ＣＧ描画装置２は、撮影カメラ１からカメラパラメータを取得して、カメラ映像に対応するカメラパラメータに連動させたＣＧオブジェクト１５ａを描画する。描画するＣＧオブジェクト１５ａは、バーチャルスタジオにおけるＣＧオブジェクト１５に対応するレンダリング画像である。

合成装置３は、撮影カメラ１から供給されるカメラ映像信号からカメラ出力映像を生成し、該カメラ出力映像とバーチャルスタジオ用ＣＧ描画装置２から供給されるＣＧオブジェクト１５ａの描画映像とを合成して合成映像を生成し、モニタ１０に出力する。この合成映像１０ａが、バーチャルスタジオの出力となり、撮影カメラ１が具備するモニタに表示させることもできる。合成映像１０ａにおける実セット映像１２ａ、描画したＣＧオブジェクト１５ａ及び演技者映像１１ｂは、それぞれ実セット１２、ＣＧオブジェクト１５及び演技者１１に対応する。

３次元位置センサ４は、演技者１１を被写体として、演技者１１の目線の位置１１ａを含む該被写体の３次元位置を特定する。より具体的には、３次元位置センサ４は、所定の距離間隔で配置した少なくとも２台以上の環境カメラを用いて構成することができる。３次元位置センサ制御装置９は、３次元位置センサ４を構成する各環境カメラを同期撮影するように制御し、同期撮影した出力画像から特徴点を抽出し、各環境カメラの出力画像における特徴点の対応点探索を行って、ステレオ法を用いて特徴点の３次元座標を推定する。特に、演技者の移動を検出するには、３次元座標における特徴点の移動を検出することで、演技者１１の視点の位置１１ａや手指などの動きも検出することができる。また、ステレオカメラで３次元座標を推定する方式以外に、磁気式やその他の三次元センサを用いても撮影に影響を及ぼさない方式であればどのような手法でも構わない。

プロジェクタ用描画制御装置５は、３次元位置センサ４による当該演技者の位置情報、及び、ＣＧオブジェクト１５に対応するレンダリング画像のＣＧオブジェクト１５ａに応じて、演技者１１とＣＧオブジェクト１５との位置関係を算出し、算出した該位置関係に基づいてプロジェクタ７が投影するＣＧ描画映像の描画を制御する。

振動素子制御装置６は、３次元位置センサ４による当該演技者の位置情報、及び、ＣＧオブジェクト１５に対応するレンダリング画像のＣＧオブジェクト１５ａに応じて、演技者１１とＣＧオブジェクト１５との位置関係を算出し、振動素子８の振動を制御する。ＣＧオブジェクト１５と演技者１１との位置関係を、演技者１１に触覚確認させるために、演技者１１には振動素子８が具備されている。

プロジェクタ７は、ＣＧオブジェクト１５と演技者１１との位置関係を、演技者１１に視覚確認させるために、演技者１１の目線の位置１１ａとＣＧオブジェクト１５の３次元位置を結ぶ投射空間との交差面となる実セット１２上に、ＣＧオブジェクト１５の位置を表すＣＧ描画映像を間欠的に投影する。具体的には、プロジェクタ７の投影は、前述した撮影・投影時分割切り替え方式を行うか、又はカメラの電子シャッタのタイミングに合ったメカニカルシャッタのＯＮ／ＯＦＦを行う。このＣＧ描画映像は、演技者１１の視点１１ａから見たＣＧとして対応するようにマッピングした映像である。このＣＧ描画映像は、図２を参照して詳しく説明するが、予め定めた位置に配置したプロジェクタ７の位置と、３次元位置センサ４により検出した視点１１ａの情報と、実際に投影する実セット１２の面の位置と、合成画像１０ａ（又はカメラパラメータの値）の情報とから特定することができる。

本実施例のバーチャルスタジオ用フィードバックシステムであれば、スタジオセットにおける演技者１１が、ＣＧオブジェクト１５をモニタで確認することがなくとも、以下の方法でＣＧオブジェクト１５の位置を適切に演技者１１に伝えることができる。

まず、演技者１１とＣＧオブジェクト１５とのインタラクション動作するべき位置について、３次元位置センサ４及び３次元位置センサ制御装置９で、被写体（演技者１１）の３次元位置検出を行い、プロジェクタ用ＣＧ描画装置５で、演技者１１の視点から見たＣＧオブジェクト１５の３次元位置と視点を結ぶ投射空間とプロジェクタの投射面にＣＧオブジェクト１５に対応するマッピング画像１４が映るようにＣＧ描画を行い、プロジェクタ７で投影する（図を参照して、後述する）。これにより、演技者１１は、ＣＧオブジェクト１５の視覚情報を得ることができる。

また、３次元位置センサ４及び３次元位置センサ制御装置９で検出した被写体（演技者１１）の３次元位置を振動素子制御装置６に送出し、振動素子制御装置６は、ＣＧオブジェクト１５の３次元位置との位置関係を計算し、その位置関係に応じて演技者に取り付けた振動素子８の制御を行う（図３を参照して、後述する）。これにより、演技者１１は、ＣＧオブジェクト１５の触覚情報を得ることができる。

以上のように、本実施例のバーチャルスタジオ用フィードバックシステムであれば、バーチャルスタジオの映像を出力時に、スタジオセット内では演技者１１がＣＧオブジェクト１５を把握しながら演技することが可能となる。

次に、図２を参照して、プロジェクタ用ＣＧ描画装置５におけるＣＧ描画の手法を説明する。まず、得られた被写体１１の３次元位置情報により視点の位置１１ａを求め、その視点の位置１１ａから見たＣＧをレンダリング画像１７とする。

ここで、例えばプロジェクタ投影面として用いる実セット１２は机や壁などを含み、この実セット１２とは別に、演技者が、スタジオセットとして机などの別の実セット２２とＣＧオブジェクト１５とを利用する場合を想定する。この場合、実セット２２にＣＧオブジェクト１５が部分的に隠れることを考慮して、バーチャルスタジオ用ＣＧ描画装置２は、実セット２２の３次元位置データとＣＧオブジェクト１５の３次元位置データとをプロジェクタ用ＣＧ描画装置５に供給する。プロジェクタ用ＣＧ描画装置５は、実セット２２の３次元位置を透過表示として、ＣＧオブジェクト１５の３次元位置を表示するレンダリング画像１７を一旦生成する。

次に、プロジェクタ用ＣＧ描画装置５は、レンダリング映像１７を予め定められたプロジェクタ投影面１６にマッピングするＣＧ描画映像１７ａを生成する。つまり、プロジェクタ用ＣＧ描画装置５の制御により、プロジェクタ７は、マッピングしたＣＧ描画映像１７ａをプロジェクタ投影面１６ａで図１における実セット１２の面に投影するように動作する。これにより、視点の位置１１ａから見たＣＧを表現することができる。従って、ＣＧを視点から奥行き方向に結んだ投影面に合成映像と対応が取れたＣＧが映るため、演技者は、ＣＧオブジェクト１５の方向を視覚的に理解でき、演技がしやすくなる。

また、プロジェクタ７は、撮影・投影時分割切り替え方式を行うか、又はカメラの電子シャッタのタイミングに合ったメカニカルシャッタのＯＮ／ＯＦＦを行うことで、撮影に悪影響を及ぼすことはない。

次に、図３を参照して、振動素子制御装置６及び振動素子８における振動情報の提示方法を説明する。ＣＧオブジェクト１５と被写体（演技者１１）の位置関係を振動素子制御装置６で計算し、図３のベクトルＬと角度θで表すことができる。例えば、振動素子８を、中央の振動素子８ａと周囲（上下左右）の振動素子８ｂ，８ｃ，８ｄ，８ｅに分け、被写体（演技者１１）の身体における背面に配置する。振動素子制御装置６は、距離に関する情報伝達を中央の振動素子８ａに割り当てて制御する。

中央の振動素子８ａにおける振動開始距離をＭ以下と設定し、ＣＧオブジェクト１５が被写体（演技者１１）に近づくほど、中央の振動素子８ａの振動具合（例えば、振幅）が強くなり、周囲（上下左右）の振動素子８ｂ，８ｃ，８ｄ，８ｅは、Ｍ／２で振動具合（例えば、振幅）が最強になるようにして、被写体である演技者１１がＣＧオブジェクト１５と被写体（演技者１１）の位置関係を身体で感じることができるようにする。本例では、Ｍ＝Ｌであれば、振動素子８で振動を停止するように設定する。このような振動素子８の具体例として、それぞれ５個の小型振動モータをゴムシートに挟み込み、演技者１１の背中に取り付けるようにする。尚、各振動素子間の距離は、経験的に定めた背中の触覚識別の２点間距離の閾（４０ｍｍ程度）を超えるように、約９０ｍｍに設定することで実現することができる。

各振動素子の振動時間は、被写体（演技者１１）の３次元位置（例えば、高さｈの位置を基準する）とＣＧオブジェクトの位置関係から、例えば距離Ｌにより、中央の振動素子８ａと周囲（上下左右）の振動素子８ｂ，８ｃ，８ｄ，８ｅが交互に振動するように制御する。更に、周囲の振動素子は、方向θにより、上（又は下）と左（又は右）の振動素子が、それぞれｓｉｎθ、ｃｏｓθの割合で振動するように制御する。

このようなシステムにおいて、映像製作の際のＣＧと演技者のインタラクションとして、ＣＧセットに向かう演技や、３次元空間上のＣＧオブジェクトに手を差し伸べる演技をも可能になる。例えば、３次元位置センサ４及び３次元位置センサ制御装置９により、演技者１１の手指の位置を検出し、ＣＧオブジェクト１５と手指の位置関係に従って振動させ、振動素子制御装置６及び振動素子８により、ＣＧオブジェクト１５への手指の接近状況を演技者１１に伝えるようにする。

さらに、３次元位置センサ４で、より正確な手指の位置検出を所望する場合には、手指にＬＥＤを装着してステレオ法による画像処理を行い、手指の３次元位置を求めるようにしてもよい。尚、ＬＥＤを装着させる場合、撮影カメラ１にて撮像上の問題が無いような位置に装着させるか、又は赤外ＬＥＤを用いるようにして、撮影カメラ１にて赤外カットフィルタを装備するようにしてもよい。

これにより、ＣＧと被写体間の距離や方向を振動で理解可能である。背中に振動素子を装着する例を挙げたが、任意の触角用デバイスで、且つ、任意の個数で、撮影に影響を及ぼさないように隠れる身体部位とすれば他の部位でも構わない。

次に、本発明による実施例のバーチャルスタジオ用フィードバックシステムの動作シーケンスとして説明する。

［システム動作］
図４を参照して、ステップＳ１で、バーチャルスタジオ用ＣＧ描画装置２は、撮影カメラ１からカメラ映像信号に関連付けられたカメラパラメータを取得して、カメラワークを把握する。

ステップＳ２で、バーチャルスタジオ用ＣＧ描画装置２は、バーチャルスタジオ用のＣＧオブジェクト１５ａを描画計算する。

ステップＳ３で、合成装置３は、ＣＧオブジェクトとカメラ映像を合成し、バーチャルスタジオの合成映像を出力する。

一方、ステップＳ４で、プロジェクタ用ＣＧ描画装置５及び振動素子制御装置６は、バーチャルスタジオ用ＣＧ描画装置２から、カメラパラメータとＣＧオブジェクト１５ａの描画のタイミングの情報を取得する。

ステップＳ４と並行して、ステップＳ５で、３次元位置センサ４及び３次元位置センサ制御装置９によって被写体（演技者１１）の３次元位置を検出し、被写体（演技者１１）の３次元位置の位置情報をプロジェクタ用ＣＧ描画装置５と振動素子制御装置６に送出する。

ステップＳ６で、プロジェクタ用ＣＧ描画装置５と振動素子制御装置６は、それぞれ、カメラパラメータとＣＧオブジェクト１５ａの描画のタイミングの情報と、被写体（演技者１１）の３次元位置の位置情報とから、ＣＧオブジェクト１５と被写体１１の位置関係を計算する。尚、プロジェクタ用ＣＧ描画装置５と振動素子制御装置６は、プロジェクタ用ＣＧ描画装置５から、カメラパラメータとＣＧオブジェクト１５ａの描画のタイミングの代わりにＣＧオブジェクト１５ａを取得してフレーム単位で比較演算を行うことや、或いは又、フレーム間のＣＧオブジェクト１５ａの変化分の座標位置情報を取得するようにしてもよい。いずれにしろ、プロジェクタ用ＣＧ描画装置５と振動素子制御装置６は、被写体（演技者１１）の３次元位置の位置情報、及び、プロジェクタ用ＣＧ描画装置５から取得したＣＧオブジェクト１５ａの情報に応じて、ＣＧオブジェクト１５と被写体１１の位置関係を計算する。

ステップＳ７で、振動素子制御装置６は、ＣＧオブジェクト１５と被写体１１の位置関係に基づいて、予め定めた制御方法で振動素子８のタイミングを制御し、被写体１１に対する触覚確認のために振動素子８を振動させる（ステップＳ８）。

一方、ステップＳ９で、プロジェクタ用ＣＧ描画装置５は、ＣＧオブジェクト１５と被写体１１の位置関係に基づいて、プロジェクタ７のＣＧの描画を計算し、被写体１１に対する触覚確認のために新たに描画したＣＧをプロジェクタ７に投影させる（ステップＳ１０）。

これにより、本実施例のバーチャルスタジオ用フィードバックシステムによれば、演技者の目線に合ったＣＧオブジェクトを含むＣＧ描画映像を提供することができる。さらに、本実施例のバーチャルスタジオ用フィードバックシステムによれば、振動素子８による振動でＣＧオブジェクトに対する位置関係及び距離を知らせることにより、ＣＧオブジェクト１５との距離感を演技者に的確に理解させることができる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、本発明の理解のためにプロジェクタ用ＣＧ描画装置５と振動素子制御装置６を別々の装置として説明し、或いは又、バーチャルスタジオ用ＣＧ描画装置２及び合成装置３を別々の装置として説明したが、それぞれ１つの装置として構成することも可能である。また、振動素子に用いるデバイスや個数、並びに演技者に具備させる位置についても単なる実施例として示したにすぎないものである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明のバーチャルスタジオ用フィードバックシステムによれば、演技者は視覚情報及び／又は触覚情報に基づいてバーチャルスタジオ内にて的確に演技を行うことができるようになり、バーチャルスタジオを扱うあらゆる用途に有用である。

本発明による一実施例のバーチャルスタジオ用フィードバックシステムの系統図を示す図である。 本発明による一実施例のバーチャルスタジオ用フィードバックシステムにおけるプロジェクタの視線に合ったＣＧ描画手法の説明図である。 本発明による一実施例のバーチャルスタジオ用フィードバックシステムにおける振動情報の提示手法の説明図である。 本発明による一実施例のバーチャルスタジオ用フィードバックシステムにおける動作フローの説明図である。

符号の説明

１ 撮影カメラ
２ バーチャルスタジオ用ＣＧ描画装置
３ 合成装置
４ ３次元位置センサ
５ プロジェクタ用描画制御装置
６ 振動素子制御装置
７ プロジェクタ
８ 振動素子
８ａ 中央の振動素子
８ｂ，８ｃ 上下の振動素子
８ｄ，８ｅ 左右の振動素子
９ ３次元位置センサ制御装置
１０ モニタ
１１ 演技者
１１ａ 演技者の視点位置
１１ｂ 演技者映像
１２ プロジェクタ投影面に用いる実セット
１４ ＣＧオブジェクトのマッピング画像
１５ ＣＧオブジェクト
１６ プロジェクタ投影面
１６ａ プロジェクタ投影面
１７ レンダリング映像
１７ａ ＣＧ描画映像
２２ 別の実セット

Claims (5)

1. バーチャルスタジオにおける演技者の演技を支援するバーチャルスタジオ用フィードバックシステムであって、
   所定のＣＧオブジェクトと当該演技者との位置関係を当該演技者に視覚確認させるために、当該演技者の目線の位置と該ＣＧオブジェクトの３次元位置を結ぶ投射空間との交差面となる所定の実セットの位置上に、前記ＣＧオブジェクトの位置を表すＣＧ描画映像を間欠的に投影するプロジェクタと、
   前記ＣＧ描画映像の投影期間以外の期間に、前記ＣＧオブジェクトから所定の距離に位置する当該演技者を含む実セットを間欠的に撮影する撮影カメラと、
   前記ＣＧオブジェクトに対応するレンダリング画像を前記撮影カメラが撮影した画像に合成し、合成映像を生成する合成映像生成手段と、
   当該演技者を被写体として、当該演技者の目線の位置を含む該被写体の３次元位置を特定する３次元位置センサと、
   前記３次元位置センサによる当該演技者の位置情報に基づいて、当該演技者とＣＧオブジェクトとの位置関係を算出する位置関係算出手段と、
   算出した該位置関係に応じて前記プロジェクタが投影するＣＧ描画映像の描画を制御するプロジェクタ用描画制御手段とを備え、
   当該演技者と前記ＣＧオブジェクトとの位置関係を、視覚情報で当該演技者の演技を支援することを特徴とする、バーチャルスタジオ用フィードバックシステム。
2. 前記ＣＧオブジェクトと当該演技者との位置関係を当該演技者に触覚確認させるために、当該演技者に具備させる振動素子と、
   当該演技者と前記ＣＧオブジェクトとの位置関係に応じて前記振動素子の振動を制御する振動素子用制御手段とを更に備え、
   当該演技者と前記ＣＧオブジェクトとの位置関係を、触覚情報で当該演技者の演技を支援することを特徴とする、請求項１に記載のバーチャルスタジオ用フィードバックシステム。
3. 前記振動素子は、前記ＣＧオブジェクトとの距離を識別するための振動素子を含むことを特徴とする、請求項１又は２に記載のバーチャルスタジオ用フィードバックシステム。
4. 前記振動素子は、各々が前記ＣＧオブジェクトに対する上下左右の位置関係を識別可能な複数の振動素子を含むことを特徴とする、請求項１〜３のいずれか一項に記載のバーチャルスタジオ用フィードバックシステム。
5. 前記ＣＧオブジェクトと当該演技者の位置関係は、当該演技者の視点の位置及びＣＧとインタラクションを行う身体部位に基づいて、規定されていることを特徴とする、請求項１〜４のいずれか一項に記載のバーチャルスタジオ用フィードバックシステム。

Images