JP2022102923A - バーチャルスタジオシステム - Google Patents

Abstract

【課題】実在の被写体と３次元仮想空間の背景を合成した新規な映像コンテンツを作成する際、映像作成者のイメージする映像をより作成しやすくするバーチャルスタジオシステムを提供する。【解決手段】バーチャルスタジオシステム１は、実在の被写体Ｐを撮影するカメラ１００と、カメラに固定されたカメラトラッカー１１０と、３次元仮想空間の画像を描写するレンダリング部、３次元仮想空間内に配置され、位置、姿勢及び画角のパラメータを有し、カメラトラッカーにより出力されたカメラ移動信号に基づいて、カメラの位置及び姿勢に応じて自らの位置及び姿勢のパラメータが操作され、自らの位置、姿勢及び画角のパラメータに基づいて映写範囲を特定するための仮想カメラ３００及びカメラによって撮影された被写体の画像及び３次元仮想空間内における映写範囲の画像を合成した合成映像を生成する合成部と、有する処理装置２００と、を備える。【選択図】図１

Description

新規性喪失の例外適用申請有り

本発明は、実在の被写体と３次元仮想空間の背景を合成した映像を作成するバーチャルスタジオシステムに関する。

近年、コンピュータおよび映像技術の発展によって、映画やテレビ番組、またはコマーシャルなどの映像コンテンツを作成する際に、コンピュータグラフィックス（以下、ＣＧという）により作成した映像を用いることが広く行われるようになっている。

しかしながら、映像コンテンツをＣＧにより作成する場合にはそのクオリティに応じたコストが必要となり、特に人物などを作成する場合はモデル作成やモーション作成に多大な経済的コストや時間的コストを要するため、誰しもが扱えるような容易なものとは言い難かった。

そこで、実在の被写体とＣＧの背景を組み合わせて撮影することが知られており、カメラによって実在の被写体をグリーンなどの単一色の背景下で撮影し、この撮影した実写画像を前記背景の色を指定して透過処理し、得られた処理後の実写画像とＣＧ背景画像とを組み合わせて合成映像を得る、いわゆるクロマキー合成の手法は比較的安価に合成映像を作成することができるため、テレビ番組を作成する際などによく利用されている。

しかしながら、クロマキー合成の手法では、カメラを動かした場合、ＣＧ背景画像もカメラの移動に伴って移動させなければ違和感のある合成画像となってしまい、後処理によってＣＧ背景画像を動かす（視点を移動させる）ような処理をするには非常に手間を要してしまう。従って、このようなクロマキー合成による撮影を行う場合、カメラは定位置に設置することが通常であった。

そこで、実在の被写体を撮影した画像と、３次元仮想空間内の画像とを合成することで合成画像を生成する撮影システムが知られている。

前記撮影システムはバーチャルスタジオとも呼ばれ、実在の被写体を撮影するカメラの動作に連動させた３次元仮想空間内の画像を生成し、カメラで撮影した実写画像と３次元仮想空間の画像を合成して合成映像を得ることで、前述したクロマキー合成のように後処理により実写画像とＣＧ背景画像を合成する手間を不要として、且つカメラの移動に伴って３次元仮想空間の画像を変化させることで違和感の少ない合成画像を得ることが可能であることから近年特に利用が進んでいる。

しかしながら、従来の前記撮影システム（バーチャルスタジオ）は、カメラの移動に伴って３次元仮想空間の画像を変化させる際、カメラの動きを数値化する必要があり、カメラの動きを検出するための特別な機能を備えたカメラまたはクレーン・ドリーが必要とされていたため、高価な機材を用いてシステムを組み上げる必要があった。

これに対し、例えば再表２０１５／０９８８０７号公報（特許文献１）に示すように、前記撮影システム（バーチャルスタジオ）においてカメラの位置特定用のトラッカー（追跡装置）およびマーカー（追跡標識）を使用することで比較的安価にカメラの位置特定が可能であることも知られている。

ところが、特許文献１に記載の発明は、リアリティと没入感の高い合成画像を生成することを目的としており、被写体を撮影した画像と、既に空間画像記憶部内に記憶されている３次元仮想空間の画像とを合成し、更には被写体（被撮影者）の動作をモーションセンサにより検出し、検出された特定の動作に基づいてコンテンツ記憶部内に記憶したコンテンツを加えて合成も可能とし、得られた合成画像を撮影される被写体（被撮影者）が視認可能なモニタに表示することで、自らがあたかも３次元仮想空間内に入り込んだかのような感覚を与えるほど没入感の高い合成画像を得ることができるものとされている。

すなわち、特許文献１に記載の発明は、被写体（被撮影者）自身が楽しむための比較的小規模なアミューズメント的利用を主眼とし、予め空間画像記憶部内に記憶されている３次元仮想空間の画像やコンテンツ記憶部内に記憶したコンテンツを多数名の被写体（被撮影者）に対して繰り返し用いるものであって、映画・テレビ番組・コマーシャルなどの録画型コンテンツ、あるいはストリーミング配信やライブ配信などの生放送型コンテンツといった新規な映像コンテンツを作成する際に適するとは言い難かった。

再表２０１５／０９８８０７号公報

そこで本発明は、実在の被写体と３次元仮想空間の背景を合成した映像によって、映画・テレビ番組・コマーシャルなどの録画型コンテンツ、あるいはストリーミング配信やライブ配信などの生放送型コンテンツを含む新規な映像コンテンツを作成する際、映像作成者のイメージする映像をより作成しやすくするためのバーチャルスタジオシステムを提供することを課題とする。

前記課題を解決するためになされた本発明は、実在の被写体と３次元仮想空間の背景を合成した映像を作成するバーチャルスタジオシステムであって、
実在の被写体を撮影するカメラと、
前記カメラに固定され、前記カメラの位置および姿勢を検出してカメラ移動信号を出力するカメラトラッカーと、
３次元仮想空間の画像を描写するレンダリング部と、
前記３次元仮想空間内に配置され、位置，姿勢および画角のパラメータを有し、前記カメラトラッカーにより出力されたカメラ移動信号に基づいて前記カメラの位置および姿勢に応じて自らの位置および姿勢のパラメータが操作され、自らの位置，姿勢および画角のパラメータに基づいて映写範囲を特定するための仮想カメラと、
前記カメラによって撮影された被写体の画像および前記３次元仮想空間内における映写範囲の画像を合成した合成映像を生成する合成部と、を備える、
ことを特徴とする。

前記課題を解決するためになされたもう一つの本発明は、実在の被写体と３次元仮想空間の背景を合成した映像を作成するバーチャルプロダクションシステムであって、
実在の被写体を撮影するカメラと、
前記カメラに固定され、前記カメラの位置および姿勢を検出してカメラ移動信号を出力するカメラトラッカーと、
３次元仮想空間の画像を描写するレンダリング部と、
前記３次元仮想空間内に配置され、位置，姿勢および画角のパラメータを有し、前記カメラトラッカーにより出力されたカメラ移動信号に基づいて前記カメラの位置および姿勢に応じて自らの位置および姿勢のパラメータが操作され、自らの位置，姿勢および画角のパラメータに基づいて映写範囲を特定するための仮想カメラと、
前記被写体の周囲に設置され、前記仮想カメラによって特定された前記３次元仮想空間内における映写範囲の画像を出力するパネルと、を備え、
前記パネルに前記３次元仮想空間内における映写範囲の画像が出力された状態で前記カメラによって被写体を撮影することで、前記被写体の画像および前記３次元仮想空間内における映写範囲の画像を合成した合成映像を撮影する、
ことを特徴とする。

また、前記カメラがフォーカス機能を有しているとともに前記仮想カメラがフォーカスのパラメータを有しており、
前記カメラに装着されたフォーカス検出手段により検出されたフォーカス操作量に応じて前記仮想カメラのフォーカスのパラメータを操作することでフォーカス操作を行う場合、仮想カメラのフォーカス操作によって３次元仮想空間内における映写範囲の画像も変化し、映像作成者のイメージする映像を作成することができるとともに、カメラのフォーカス操作を行うだけで連動して仮想カメラのフォーカス操作が行われるため非常に利便性が高い。

加えて、前記カメラのフォーカス機能がフォーカスリングの回転操作によってフォーカスを行うものであって、
前記フォーカス検出手段は、前記フォーカスリングに装着された回転検出部と、前記回転検出部によって検出されたフォーカス回転量に応じてフォーカス操作信号を出力する信号出力部と、からなり、
前記フォーカス操作信号に応じて前記仮想カメラのフォーカス操作を行う場合、カメラのフォーカスリングの回転操作の回転量をフォーカス操作信号に変換することが容易となる。

更に加えて、前記回転検出部が、前記フォーカスリングに固定されたギア部材と、前記ギア部材に噛み合わせてフォーカス回転量を数値化するエンコーダーと、からなり、
前記信号出力部が、前記エンコーダーにより数値化されたフォーカス回転量に応じ連動して回転するモーター部材と、前記モーター部材の回転軸に取り付けられ、自らの位置および姿勢のうち少なくとも一方をフォーカス操作信号として出力するフォーカストラッカーと、からなり、
前記フォーカスリングの回転操作を行うことで、前記フォーカストラッカーが連動して回転することによって出力されたフォーカス操作信号に応じて前記仮想カメラのパラメータを操作することでフォーカス操作を行う場合、フォーカストラッカーの回転をフォーカス操作信号として出力するようにしたことで、カメラトラッカーのカメラ操作信号と出力形式を揃えることが可能となり、仮想カメラのパラメータに入力して仮想カメラを操作することが容易となる。

また、前記カメラがズーム機能を有しているとともに前記仮想カメラがズームのパラメータを有しており、
前記カメラに装着されたズーム検出手段により検出されたズーム操作量に応じて前記仮想カメラのズームのパラメータを操作することでズーム操作を行う場合、仮想カメラのズーム操作によって３次元仮想空間内における映写範囲の画像も変化し、映像作成者のイメージする映像を作成することができるとともに、カメラのズーム操作を行うだけで連動して仮想カメラのフォーカス操作が行われるため非常に利便性が高い。

加えて、前記カメラのズーム機能がズームリングの回転操作によってズームを行うものであって、
前記ズーム検出手段は、前記ズームリングに装着された回転検出部と、前記回転検出部によって検出されたズーム回転操作量に応じてズーム操作信号を出力する信号出力部と、からなり、前記ズーム操作信号に応じて前記仮想カメラのズーム操作を行う場合、カメラのズームリングの回転操作の回転量をズーム操作信号に変換することが容易となる。

更に加えて、前記回転検出部が、前記ズームリングに固定されたギア部材と、前記ギア部材に噛み合わせてズーム回転操作量を数値化するエンコーダーと、からなり、
前記信号出力部が、前記エンコーダーにより数値化されたズーム回転操作量に応じ連動して回転するモーター部材と、前記モーター部材の回転軸に取り付けられ、自らの位置および姿勢のうち少なくとも一方をズーム操作信号として出力するズームトラッカーと、からなり、
前記ズームリングの回転操作を行うことで、前記ズームトラッカーが連動して回転することによって出力された前記ズーム操作信号に基づいて前記仮想カメラのズーム操作を行う場合、ズームトラッカーの回転をズーム操作信号として出力するようにしたことで、カメラトラッカーのカメラ操作信号と出力形式を揃えることが可能となり、仮想カメラのパラメータに入力して仮想カメラを操作することが容易となる。

また、前記回転検出部のエンコーダーと、前記信号出力部のモーター部材とが有線または無線により接続されて離間して配置されている場合、モーター部材を含む信号出力部をカメラと別体の装置として構成することでカメラに取り付ける部品が削減されるため、カメラの取り回しへの影響が少ないことに加え、フォーカストラッカーやズームトラッカーが安定した状態でフォーカス操作信号やズーム操作信号を出力することができる。

更に、赤外線を投射する赤外線投射装置を備え、
前記赤外線投射装置は所定の区画の外縁に対向して設置される１組２基、または所定の区画の外縁に１組ずつ対向して設置される２組４基からなり、
前記トラッカーは、前記赤外線投射装置より投射される赤外線を受けることによって、前記区画内における自らの位置および姿勢のうち少なくとも一方を信号として出力する赤外線式トラッカーである場合、赤外線方式による安価で性能の良いトラッキングが可能となるため特に望ましい。

本発明のバーチャルスタジオシステムによれば、従来周知の映像撮影用のカメラを使用して、グリーンバック等のスクリーンを使って被写体を撮影した画像と３次元仮想空間の背景とを後処理で合成した合成映像を作成することが可能であって、カメラマンが扱い慣れたカメラをそのまま使用することができ、新規の撮影機材を導入する必要がないため、費用面で大きな利点を有するほか、操作の習熟に必要な時間も省略することができる。また、実在の被写体を撮影するカメラの位置・姿勢に応じて３次元仮想空間内の仮想カメラを操作し、前記仮想カメラによって特定された映写範囲の画像を合成して合成映像を生成することによって、現実空間よりも３次元仮想空間のスケールを広くして、カメラの移動量よりも仮想カメラの移動量を増加させることや、カメラのレンズ種類に合わせて仮想カメラの画角を望遠または広角に設定することができ、フォーカス・ズームの操作と合わせて映像作成者のイメージする映像をより作成しやすくなる。

また、もう一つの本発明であるバーチャルスタジオシステムによれば、被写体の周囲に配置したパネルにリアルタイムに投影される背景としての３次元仮想空間の画像がカメラの動きと連動して変わっていく状態でカメラによって撮影することで合成映像を撮影するものであることで、被写体である被撮影者がパネルを視認することができ、演技を行う際に臨場感を格段に向上させることができるほか、クロマキー処理用のスクリーン（グリーンバック等）を必要としないため、服装や頭髪の色を背景色に依存せず自由に選択可能であり、毛先などの細かな部分の抜きミスなどの不具合も回避することができる利点を有する。

本発明であるバーチャルスタジオシステムの使用状態を示す説明図。 図１に示したバーチャルスタジオシステムの全体の構成を示すブロック図。 図１に示したバーチャルスタジオシステムを構成する機器の詳細な構成を示す構成図。 図１に示したバーチャルスタジオシステムにおける回転検出部周辺を示す概略図。 図１に示したバーチャルスタジオシステムにおける信号出力部を示すブロック図。 本発明であるバーチャルスタジオシステムの異なる実施の形態における全体の構成を示すブロック図。

以下、図面に基づいて本発明の実施の形態について説明する。なお、本明細書における「画像」とは、静止画および静止画が連続した動画の双方を指すものとする。

図１は、本発明であるバーチャルスタジオシステム１の使用状態を示す説明図である。
この図に示すように、バーチャルスタジオシステム１は、室内などの所定の区画１０を撮影用領域とし、カメラ１００により撮影した実在の被写体Ｐの画像と３次元仮想空間の画像とを合成した映像を作成するための撮影システムである。

前記被写体Ｐは人物、動物、物体その他実体を有するものであればその種類を問わない。

前記区画１０において前記被写体Ｐの背後に位置するスクリーン２０は、例えばグリーンなど単一色に統一されており、当該色を指定して透過する処理（クロマキー）が可能となっている。なお、壁面の一面または全面を壁紙の貼付または塗装によって例えばグリーンなど単一色に統一するものとしてもよい。

また、前記区画１０における外縁１１には、１組ずつ対向する２組４基の赤外線投射装置３０が壁面上方に設置されている。本実施の形態においては、前記区画１０の外縁１１の四隅に前記区画１０の中心を向くように設置することで前記区画１０の２本の対角線に沿って２組４基の赤外線投射装置３０を設置しているが、例えば前記区画１０の外縁１１の四辺の各中点に前記区画１０の中心を向くように設置することで２組４基の赤外線投射装置３０を設置してもよい。

図２は、本発明であるバーチャルスタジオシステム１の全体の構成を示すブロック図であり、図３は、本発明であるバーチャルスタジオシステム１を構成する機器の詳細な構成を示す構成図である。
これらの図に示すように、バーチャルスタジオシステム１は、大きく分けて、実在の被写体Ｐを撮影するためのカメラ１００と、３次元仮想空間の描写および前記カメラ１００で撮影した画像との合成を行う処理装置２００と、からなる。

カメラ１００は、映像撮影用のカメラ（デジタルシネマカメラ）が使用可能であって、例えば位置座標等の数値を出力するような特別な機能を必要としない。本実施の形態においては、前記カメラ１００はフォーカス機能およびズーム機能を有するレンズを装着した従来周知の映像撮影用のカメラを用いており、周辺機器取付用のカメラリグ１０１に固定されている。

このように、従来周知の映像撮影用のカメラをそのまま用いるものとしたことで、カメラマンが扱い慣れたカメラをそのまま使用することができ、新規の機材を導入する必要がないため、費用面で大きな利点を有するほか、操作の習熟に必要な時間も省略することができる。

なお、フォーカス機能およびズーム機能のいずれか一方のみを備えるカメラであっても本発明は使用可能である。

前記カメラ１００には、前記カメラ１００の位置および姿勢の検出を行うためのカメラトラッカー１１０が固定されており、本実施の形態においては前記カメラリグ１０１に取り付けることで固定されている。

前記カメラトラッカー１１０は、自らの位置および姿勢を検出してカメラ移動信号Ｓ１０を出力する機能を備える装置であって、前記赤外線投射装置３０から投射される赤外線を受光して前記区画１０内における自らの位置および姿勢を検出するセンサー部１１１と、前記センサー部１１１が検出した自らの位置および姿勢を数値化したカメラ移動信号Ｓ１０を無線通信により発信する発信部１１２と、からなる。

前記カメラ１００のフォーカス機能は、手動で回転操作可能なフォーカスリング１０２の操作に応じてフォーカス調整を行う。

前記フォーカスリング１０２には、フォーカス操作量を検出可能なフォーカス検出手段１２０が取り付けられている。前記フォーカス検出手段１２０は、ギア部材１３１およびエンコーダー１３２からなる回転検出部１３０と、モーター部材１４１およびフォーカストラッカー１５０からなる信号出力部１４０と、からなる。

前記ギア部材１３１は、内径が調整可能であるとともに外周に歯車状の突起が形成されたギアリングであって、内径を前記フォーカスリング１０２の外径と略一致させて一体に回転するように取り付けられている。

前記エンコーダー１３２は、回転量を物理的な変化量としてセンサー素子で検知し、フォーカス回転量信号Ｓ２１を発信するためのロータリーエンコーダーであって、検出対象の動作を回転量として受け取るための回転部１３３と、前記回転部１３３の回転量を数値化されたフォーカス回転量信号Ｓ２１に変換する変換部１３４とからなり、前記ギア部材１３１の外周に設けられた歯車状の突起に前記回転部１３３が噛み合うように、前記カメラリグ１０１に取り付けられて固定されている。なお、変換部１３４の構成は、光学式、機械式、その他従来周知のロータリーエンコーダーの構成とすることができる。

前記回転部１３３には、前記カメラリグ１０１に軸支され、前記回転部１３３と連動して回転する操作ノブ１３５が取り付けられている（図４参照）。この操作ノブ１３５は、従来周知のフォローフォーカス用の操作ノブが使用可能である。あるいは、操作バーが前記ギア部材１３１に固定されて取り付けられていてもよい（図示せず）。このように、前記ギア部材１３１と連動して動作する操作ノブ１３５または操作バーが取り付けられていることによって、カメラマンが間接的にフォーカスリング１０２を操作することが容易に可能となる。

前記モーター部材１４１は、数値化された前記フォーカス回転量信号Ｓ２１に基づいて回転するためのステッピングモーターであり、そのほかにサーボモーターなどの正確な回転位置および回転速度の制御が可能なモーターが使用可能である。なお、前記モーター部材１４１を駆動・制御するためのコントローラ１４２および電源１４３が別途備えられている。

前記フォーカストラッカー１５０は、自らの位置および姿勢を検出してフォーカス操作信号Ｓ２０を出力する機能を備える装置であって、前記赤外線投射装置３０から投射される赤外線を受光して前記区画１０内における自らの位置および姿勢を検出するセンサー部１５１と、前記センサー部１５１が検出した自らの位置および姿勢を数値化したフォーカス操作信号Ｓ２０を無線通信により発信する発信部１５２と、からなる。

すなわち、前記フォーカストラッカー１５０が前記モーター部材１４１によって回転することによって、前記フォーカストラッカー１５０の回転方向および回転量がフォーカス操作信号Ｓ２０として出力され、前記フォーカス操作信号Ｓ２０が前記仮想カメラ３００のフォーカスのパラメータに反映されて前記仮想カメラ３００のフォーカス操作を行うことができる。

なお、本実施の形態において、前記フォーカストラッカー１５０は回転動作するものとしているが、例えば前記フォーカストラッカー１５０をスライド動作させる構成として、前記フォーカストラッカー１５０の移動方向および移動量をフォーカス操作信号Ｓ２０として出力するものとしてもよい（図示せず）。

図５は、本実施の形態における前記信号出力部１４０を示す構成図である。
この図に示すように、前記信号出力部１４０は前記モーター部材１４１、前記コントローラ１４２、前記電源１４３をケース体１４４内に備え、前記フォーカストラッカー１５０を前記ケース体１４４の上面から露出させてなる独立した装置であって、前記回転検出部１３０から信号伝達用のケーブルを介して接続されている。なお、接続はケーブルを用いた有線接続に限らず、無線通信手段を用いて無線接続するものとしてもよい（図示せず）。

前記コントローラ１４２は、前記回転検出部１３０の前記エンコーダー１３２から送信されるフォーカス回転量信号Ｓ２１に応じて前記モーター１４１を駆動させるものであって、例えば従来周知のステッピングモーターコントローラが使用可能である。前記コントローラ１４２には、例えばＵＳＢ端子などの入出力端子が備えられており、パソコンと接続することでモーター部材１４１の回転率などの設定や入力値のモニタリングなどが可能となっている。

更に、前記信号出力部１４０のケース体１４４内には前記モーター部材１４１を冷却するためのファン１４５および電源１４６が備えられており、前記電源１４３，１４６はリチウムイオンポリマー二次電池などの充電可能なバッテリーに限らず、家庭用コンセントなどの商用電源を用いてもよい。

本実施の形態では、リチウムイオンポリマー二次電池であるバッテリーと家庭用コンセントである商用電源を併用しており、商用電源に接続している場合は商用電源から供給される電流がＡＣアダプターを介してバッテリー、前記コントローラおよび前記ファンに供給され、商用電源に接続していない場合はバッテリーから供給される電流が前記コントローラおよび前記ファンに供給されることで独立動作も可能となっている。

なお、前記信号出力部１４０は床面に直接置いてもよいが、例えばスタンドなどを用いて床面から所定の高さに持ち上げて固定することでより扱いやすくなるため特に望ましい。

前記カメラ１００のズーム機能は、手動で回転操作可能なズームリング１０３の操作に応じて内部のレンズ位置を操作することによってズームを行う光学ズーム式である。

前記ズームリング１０３には、ズーム操作量を検出可能なズーム検出手段１６０が取り付けられている。前記ズーム検出手段１６０は、ギア部材１７１およびエンコーダー１７２からなる回転検出部１７０と、モーター部材１８１およびズームトラッカー１９０からなる信号出力部１８０と、からなる。

前記ギア部材１７１は、内径が調整可能であるとともに外周に歯車状の突起が形成されたギアリングであって、内径を前記ズームリング１０３の外径と略一致させて一体に回転するように取り付けられている。

前記エンコーダー１７２は、回転量を物理的な変化量としてセンサー素子で検知し、ズーム回転量信号Ｓ３１を発信するためのロータリーエンコーダーであって、検出対象の動作を回転量として受け取るための回転部１７３と、前記回転部１７３の回転量を数値化されたズーム回転量信号Ｓ３１に変換する変換部１７４とからなり、前記ギア部材１７１の外周に設けられた歯車状の突起に前記回転部１７３が噛み合うように、前記カメラリグ１０１に取り付けられて固定されている。なお、変換部の構成は、光学式、機械式、その他従来周知のロータリーエンコーダーの構成とすることができる。

前記回転部１７３には、前記カメラリグ１０１に軸支され、前記回転部１７３と連動して回転する操作ノブが取り付けられており、前記図４に示したフォーカス検出手段１２０の前記回転部１３３および前記操作ノブ１３５と同様の構成を有するため詳しい説明は省略する。

前記モーター部材１８１は、数値化された前記ズーム回転量信号Ｓ３１に基づいて回転するためのステッピングモーターであり、そのほかにサーボモーターなどのその他の正確な回転位置および回転速度の制御が可能なモーターが使用可能である。なお、前記モーター部材を駆動・制御するためのコントローラおよび電源が別途備えられている。

前記ズームトラッカー１９０は、自らの位置および姿勢を検出してズーム操作信号Ｓ３０を出力する機能を備える装置であって、前記赤外線投射装置３０から投射される赤外線を受光して前記区画１０内における自らの位置および姿勢を検出するセンサー部１９１と、前記センサー部１９１が検出した自らの位置および姿勢を数値化したズーム操作信号Ｓ３０を無線通信により発信する発信部１９２と、からなる。

すなわち、前記ズームトラッカー１９０が前記モーター部材１８１によって回転することによって、前記ズームトラッカー１９０の回転方向および回転量がズーム操作信号Ｓ３０として出力され、前記ズーム操作信号Ｓ３０が前記仮想カメラ３００のズームのパラメータに反映されて前記仮想カメラ３００のズーム操作を行うことができる。

なお、本実施の形態において、前記ズームトラッカー１９０は回転動作するものとしているが、例えば前記ズームトラッカー１９０をスライド動作させる構成として、前記ズームトラッカー１９０の移動方向および移動量をズーム操作信号Ｓ３０として出力するものとしてもよい（図示せず）。

前記信号出力部１８０は、前記信号出力部１４０（前記図４参照）と同様の構成を有するため詳しい説明は省略する。前記信号出力部１８０は、独立した装置になっており、前記回転検出部１７０から信号伝達用のケーブルを介して接続されている。なお、接続はケーブルを用いた有線接続に限らず、無線通信手段を用いて無線接続するものとしてもよい（図示せず）。

本実施の形態における前記各発信部１５２，１９２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行うものであって、処理装置２００とペアリングすることによって無線通信が可能である。

前記処理装置２００は、３次元仮想空間の描写および前記カメラ１００で撮影した画像との合成を行うためのものであって、レンダリング部２１０と、合成部２２０と、演算部２３０と、記憶部２４０と、を有する。

前記レンダリング部２１０は、３次元仮想空間を描写し、前記３次元仮想空間内に配置した仮想カメラ３００を操作することが可能なソフトウェアであって、例えばゲームエンジンなどのソフトウェアが使用可能である。

前記仮想カメラ３００は、前記３次元仮想空間内に配置されて映写範囲を特定するためのものであって、位置，姿勢および画角のパラメータを有し、前記各パラメータの数値を操作することで、前記仮想カメラ３００が特定する映写範囲を変更することが可能となっている。

また、前記仮想カメラ３００はフォーカスおよびズームのパラメータを更に有しており、フォーカスおよびズームのパラメータを操作することでフォーカス機能およびズーム機能を有する現実のカメラ１００のようにフォーカス操作やズーム操作を行い、３次元仮想空間内の画像を注目させたい部分のみにピント合わせすることや、ズームインまたはズームアウトして、撮影者のイメージする画像を得ることが可能となっている。

本実施の形態においては、実在の被写体Ｐを撮影する前記カメラ１００の位置および姿勢に同期して前記仮想カメラ３００の位置および姿勢を移動させるように構成されているが、例えば前記カメラ１００の移動および姿勢の移動量よりも前記仮想カメラ３００の位置および姿勢の移動量を大きくして、現実空間よりもスケールの広い３次元仮想空間内の撮影を行うことができるものとしてもよい。

前記合成部２２０は、前記カメラ１００により撮影した被写体Ｐの実写画像と、前記３次元仮想空間内において前記仮想カメラ３００が特定した映写範囲のＣＧ画像とを合成して合成映像を生成するためのソフトウェアであって、例えば映像編集ソフトなどのソフトウェアが使用可能である。

前記演算部２３０は、前記レンダリング部２１０および前記合成部２２０その他前記処理装置２００において求められる演算処理能力を提供するものであって、ＣＰＵおよびメモリを用いる。

前記記憶部２４０は、データを保存するための補助記憶装置であって、ＨＤＤやＳＳＤなどの記憶媒体を用いる。また、前記レンダリング部２１０および前記合成部２２０を構成するソフトウェアは前記記憶部２４０に格納されている。

前記実写用モニタ４０は、前記カメラ１００により撮影した実在の被写体Ｐの画像を表示するためのモニタである。

前記仮想空間用モニタ５０は、前記レンダリング部２１０により描写した仮想空間の画像を表示するためのモニタである。なお、前記仮想カメラ３００が映す映写範囲を表示するものとしてもよい。

前記合成映像用モニタ６０は、前記合成部２２０により合成した合成映像を表示するためのモニタである。

前記赤外線投射装置３０は、赤外線を投射するための装置であって、前記区画１０における外縁１１の四隅の壁面上方に１組ずつ対向させた２組４基が設置されている。前記赤外線投射装置３０から投射された赤外線は、前記各トラッカー（カメラトラッカー１１０，フォーカストラッカー１５０，ズームトラッカー１９０）における各自のセンサー部で受光して前記区画１０内における各トラッカーの自らの位置および姿勢を検出するために使用される。

なお、前記赤外線投射装置３０はケーブルによる有線通信やＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行うものであってもよい。前記処理装置２００と接続（ペアリング）することによって、赤外線投射のタイミング合わせなどを行うことができる。

以下、実施例に基づいて本発明であるバーチャルスタジオシステム１の使用法について説明する。

＜機器設置＞
まず、撮影を行う室内において、撮影用の区画１０における外縁１１の壁面上方に、１組ずつ対向する２組４基の赤外線投射装置３０を設置するとともに、カメラ１００、処理装置２００、信号出力部１４０，１８０、各モニタ（実写用モニタ４０・仮想空間用モニタ５０・合成映像用モニタ６０）をそれぞれ設置して接続する。また、各トラッカー（カメラトラッカー１１０・フォーカストラッカー１５０・ズームトラッカー１９０）と前記処理装置２００をペアリングする。更に、被写体Ｐの背後となる位置にグリーンなど単一色に統一された透過処理用のスクリーン２０を設置する。このとき、スクリーン２０は複数設置してもよく、例えばスクリーン２０を２つ用いてＬ字型に配置したり、スクリーン２０を３つ用いてコ字型に配置したりすることで区画１０の角や端部を広く撮影用に用いることができ、被写体Ｐやカメラ１００の動きの自由度を増すことができる。

＜仮想カメラ設定＞
機器設置が完了したら、前記処理装置２００のレンダリング部２１０によって３次元仮想空間の描写を行い、３次元仮想空間内の仮想カメラ３００を稼働させる。その後、必要に応じて前記仮想カメラ３００のパラメータを操作して３次元仮想空間における前記仮想カメラ３００の初期位置調整を行うとともに、前記カメラ１００の移動・フォーカス操作・ズーム操作を行い、前記カメラトラッカー１１０が発信するカメラ移動信号Ｓ１０が前記仮想カメラ３００の位置・姿勢のパラメータに、前記フォーカストラッカー１５０が発信するフォーカス操作信号Ｓ２０が前記仮想カメラ３００のフォーカスのパラメータに、前記ズームトラッカー１９０が発信するズーム操作信号Ｓ３０が前記仮想カメラ３００のズームのパラメータに反映されることを確認する。

＜現実空間の撮影＞
機器設置および仮想カメラ設定が完了したら、撮影の準備が整う。
前記スクリーン２０前の所定の位置に被写体Ｐをおき、前記カメラ１００によって被写体Ｐを撮影する。この時、前記カメラ１００の移動やフォーカス操作、ズーム操作を行うことができる。前記カメラ１００により撮影した画像は、前記実写用モニタ４０に表示され、編集者がリアルタイムに確認可能となっている。なお、実写用モニタは複数名が同時に確認できるように複数台用意されていてもよい。

＜３次元仮想空間の撮影＞
前記カメラ１００によって現実空間の被写体Ｐを撮影すると同時に、３次元仮想空間内における仮想カメラ３００が映す映写範囲の画像を撮影する。前記仮想カメラ３００により撮影した画像は、前記仮想空間用モニタ５０に表示され、編集者がリアルタイムに確認可能となっている。

前記カメラ１００を移動させた際、カメラリグ１０１に取り付けられた前記カメラトラッカー１１０が自らの位置および姿勢を検出してカメラ移動信号Ｓ１０を出力し、前記カメラ移動信号Ｓ１０が前記仮想カメラ３００の位置および姿勢のパラメータに反映されて前記仮想カメラ３００の移動を行うことができる。

そして、前記カメラ１００のフォーカス操作を行った際、フォーカスリング１０２に取り付けられた回転検出部１３０によってフォーカス回転量信号Ｓ２１が出力され、前記フォーカス回転量信号Ｓ２１を受信した信号出力部１４０のフォーカストラッカー１５０が回転を行う。

前記フォーカストラッカー１５０が回転することによって、前記フォーカストラッカー１５０の回転方向および回転量がフォーカス操作信号Ｓ２０として出力され、前記フォーカス操作信号Ｓ２０が前記仮想カメラ３００のフォーカスのパラメータに反映されて前記仮想カメラ３００のフォーカス操作を行うことができる。

更に、前記カメラ１００のズーム操作を行った際、ズームリング１０３に取り付けられた回転検出部１７０によってズーム回転量信号Ｓ３１が出力され、前記ズーム回転量信号Ｓ３１を受信した信号出力部１８０のズームトラッカー１９０が回転を行う。

前記ズームトラッカー１９０が回転することによって、前記ズームトラッカー１９０の回転方向および回転量がズーム操作信号Ｓ３０として出力され、前記ズーム操作信号Ｓ３０が前記仮想カメラ３００のズームのパラメータに反映されて前記仮想カメラ３００のズーム操作を行うことができる。

このように、自らの位置や姿勢を信号として出力可能な各トラッカー（カメラトラッカー１１０・フォーカストラッカー１５０・ズームトラッカー１９０）を統一して用いることによって、カメラ１００自体に特別な機能を備える必要がなく、且つ各トラッカーと処理装置２００との間に余計なコントローラ等のハードウェアまたはソフトウェアを介することなしに統一された形式の信号によって同時に仮想カメラ３００のパラメータ操作が可能となるため、簡易で確実かつ安価に現実のカメラ１００と仮想カメラ３００との連動を行うことができる。

＜透過処理＞
前記カメラ１００によって撮影された被写体Ｐの画像は、まず前記処理装置２００内の合成部２２０により、背景とした前記スクリーン２０の色を指定色として透過する透過処理が行われる。

＜合成処理＞
前記透過処理が完了したら、前記処理装置２００内の合成部２２０により、透過処理後の被写体Ｐの画像と前記３次元仮想空間内における仮想カメラ３００が撮影した映写範囲の画像とを合成処理して、合成映像が生成される。前記合成映像は、前記合成映像用モニタ６０に表示され、編集者がリアルタイムに確認可能となっているほか、前記処理装置２００内の記憶部２４０内に格納するか、あるいは外部出力することが可能である。

図４は、本発明であるバーチャルスタジオシステム２の異なる実施の形態における全体の構成を示すブロック図である。
この図に示すように、バーチャルスタジオシステム２は、前記バーチャルスタジオシステム１に対し、被写体Ｐの周囲に設置された背景が単一色のスクリーン２０ではなくパネル７０を用いている点、および処理装置２００が合成部２２０を有しない点において異なる。

前記パネル７０は、例えば液晶パネル（ＬＣＤ）や有機ＥＬパネル（ＯＬＥＤ）などの画像を表示可能な装置であって、被写体Ｐよりも高さおよび幅のあることが求められ、なるべく高精細な画像を表示できる高解像度の装置であることが好ましい。なお、複数枚のパネル７０を角度を変えて設置したり、奥行きを変えて設置したりするものとしてもよい。

前記パネル７０には、前記仮想カメラ３００によって特定された前記３次元仮想空間内における映写範囲の画像が表示される。

本実施の形態のバーチャルスタジオシステム２は、前記パネル７０に前記３次元仮想空間内における映写範囲の画像が表示された状態で前記カメラ１００によって被写体Ｐを撮影することで、前記被写体Ｐの画像および前記３次元仮想空間内における映写範囲の画像を合成した合成映像を撮影するものである。すなわち、前記カメラ１００で撮影した画像がそのまま合成映像となるため、合成映像用モニタ６０も必要としない。

本実施の形態のバーチャルスタジオシステム２によれば、被写体Ｐである被撮影者がパネル７０を視認することができ、演技を行う際に臨場感を格段に向上させることができるほか、クロマキー処理用のスクリーン（グリーンバック等）を必要としないため、服装や頭髪の色を背景色に依存せず自由に選択可能であり、毛先などの細かな部分の抜きミスなどの不具合も回避することができる利点を有する。

なお、本発明における各実施の形態において各トラッカー（カメラトラッカー１１０，ズームトラッカー１５０，フォーカストラッカー１９０）は各自のセンサー部１１１，１５１，１９１が前記赤外線投射装置３０から投射される赤外線を受光して前記区画１０内における自らの位置および姿勢を検出する、赤外線方式の検出手段を用いるものとしているが、その他、光学方式、磁気方式など従来周知の自らの位置および姿勢を検出する検出手段を用いるものとしてもよい。

以上のように、本発明のバーチャルスタジオシステムによれば、従来周知の映像撮影用のカメラを使用して、グリーンバック等のスクリーンを使って被写体を撮影した画像と３次元仮想空間の背景とを後処理で合成した合成映像を作成することが可能であって、カメラマンが扱い慣れたカメラをそのまま使用することができ、新規の撮影機材を導入する必要がないため、費用面で大きな利点を有するほか、操作の習熟に必要な時間も省略することができる。また、実在の被写体を撮影するカメラの位置・姿勢に応じて３次元仮想空間内の仮想カメラを操作し、前記仮想カメラによって特定された映写範囲の画像を合成して合成映像を生成することによって、現実空間よりも３次元仮想空間のスケールを広くして、カメラの移動量よりも仮想カメラの移動量を増加させることや、カメラのレンズ種類に合わせて仮想カメラの画角を望遠または広角に設定することができ、フォーカス・ズームの操作と合わせて映像作成者のイメージする映像をより作成しやすくなる。

また、もう一つの本発明であるバーチャルスタジオシステムによれば、被写体の周囲に配置したパネルにリアルタイムに投影される背景としての３次元仮想空間の画像がカメラの動きと連動して変わっていく状態でカメラによって撮影することで合成映像を撮影するものであることで、被写体である被撮影者がパネルを視認することができ、演技を行う際に臨場感を格段に向上させることができるほか、クロマキー処理用のスクリーン（グリーンバック等）を必要としないため、服装や頭髪の色を背景色に依存せず自由に選択可能であり、毛先などの細かな部分の抜きミスなどの不具合も回避することができる利点を有する。

１，２ バーチャルスタジオシステム、１０ 区画、１１ 外縁、２０ スクリーン、３０ 赤外線投射装置、４０ 実写用モニタ、５０ 仮想空間用モニタ、６０ 合成映像用モニタ、７０ パネル、１００ カメラ、１０１ カメラリグ、１０２ フォーカスリング、１０３ ズームリング、１１０ カメラトラッカー、１１１ センサー部、１１２ 発信部、１２０ フォーカス検出手段、１３０ 回転検出部、１３１ ギア部材、１３２ エンコーダー、１３３ 回転部、１３４ 変換部、１３５ 操作ノブ、１４０ 信号出力部、１４１ モーター部材、１４２ コントローラ、１４３ 電源、１４４ ケース体、１４５ ファン、１４６ 電源、１５０ フォーカストラッカー、１５１ センサー部、１５２ 発信部、１６０ ズーム検出手段、１７０ 回転検出部、１７１ ギア部材、１７２ エンコーダー、１７３ 回転部、１７４ 変換部、１８０ 信号出力部、１８１ モーター部材、１９０ ズームトラッカー、１９１ センサー部、１９２ 発信部、２００ 処理装置、２１０ レンダリング部、２２０ 合成部、２３０ 演算部、２４０ 記憶部、Ｐ 被写体、Ｓ１０ カメラ移動信号、Ｓ２０ フォーカス操作信号、Ｓ２１ フォーカス回転量信号、Ｓ３０ ズーム操作信号、Ｓ３１ ズーム回転量信号

Claims (10)

1. 実在の被写体と３次元仮想空間の背景を合成した映像を作成するバーチャルスタジオシステムであって、
   実在の被写体を撮影するカメラと、
   前記カメラに固定され、前記カメラの位置および姿勢を検出してカメラ移動信号を出力するカメラトラッカーと、
   ３次元仮想空間の画像を描写するレンダリング部と、
   前記３次元仮想空間内に配置され、位置，姿勢および画角のパラメータを有し、前記カメラトラッカーにより出力されたカメラ移動信号に基づいて前記カメラの位置および姿勢に応じて自らの位置および姿勢のパラメータが操作され、自らの位置，姿勢および画角のパラメータに基づいて映写範囲を特定するための仮想カメラと、
   前記カメラによって撮影された被写体の画像および前記３次元仮想空間内における映写範囲の画像を合成した合成映像を生成する合成部と、を備える、
   ことを特徴とするバーチャルプロダクションシステム。
2. 実在の被写体と３次元仮想空間の背景を合成した映像を作成するバーチャルプロダクションシステムであって、
   実在の被写体を撮影するカメラと、
   前記カメラに固定され、前記カメラの位置および姿勢を検出してカメラ移動信号を出力するカメラトラッカーと、
   ３次元仮想空間の画像を描写するレンダリング部と、
   前記３次元仮想空間内に配置され、位置，姿勢および画角のパラメータを有し、前記カメラトラッカーにより出力されたカメラ移動信号に基づいて前記カメラの位置および姿勢に応じて自らの位置および姿勢のパラメータが操作され、自らの位置，姿勢および画角のパラメータに基づいて映写範囲を特定するための仮想カメラと、
   前記被写体の周囲に設置され、前記仮想カメラによって特定された前記３次元仮想空間内における映写範囲の画像を出力するパネルと、を備え、
   前記パネルに前記３次元仮想空間内における映写範囲の画像が出力された状態で前記カメラによって被写体を撮影することで、前記被写体の画像および前記３次元仮想空間内における映写範囲の画像を合成した合成映像を撮影する、
   ことを特徴とするバーチャルスタジオシステム。
3. 前記カメラがフォーカス機能を有しているとともに前記仮想カメラがフォーカスのパラメータを有しており、
   前記カメラに装着されたフォーカス検出手段により検出されたフォーカス操作量に応じて前記仮想カメラのフォーカスのパラメータを操作することでフォーカス操作を行う、
   ことを特徴とする請求項１または２記載のバーチャルスタジオシステム。
4. 前記カメラのフォーカス機能がフォーカスリングの回転操作によってフォーカスを行うものであって、
   前記フォーカス検出手段は、前記フォーカスリングに装着された回転検出部と、前記回転検出部によって検出されたフォーカス回転量に応じてフォーカス操作信号を出力する信号出力部と、からなり、前記フォーカス操作信号に応じて前記仮想カメラのフォーカス操作を行う、
   ことを特徴とする請求項３記載のバーチャルスタジオシステム。
5. 前記回転検出部が、前記フォーカスリングに固定されたギア部材と、前記ギア部材に噛み合わせてフォーカス回転量を数値化するエンコーダーと、からなり、
   前記信号出力部が、前記エンコーダーにより数値化されたフォーカス回転量に応じ連動して回転するモーター部材と、前記モーター部材の回転軸に取り付けられ、自らの位置および姿勢のうち少なくとも一方をフォーカス操作信号として出力するフォーカストラッカーと、からなり、
   前記フォーカスリングの回転操作を行うことで、前記フォーカストラッカーが連動して回転することによって出力されたフォーカス操作信号に応じて前記仮想カメラのパラメータを操作することでフォーカス操作を行う、
   ことを特徴とする請求項４記載のバーチャルスタジオシステム。
6. 前記カメラがズーム機能を有しているとともに前記仮想カメラがズームのパラメータを有しており、
   前記カメラに装着されたズーム検出手段により検出されたズーム操作量に応じて前記仮想カメラのズームのパラメータを操作することでズーム操作を行う、
   ことを特徴とする請求項１，２，３，４または５記載のバーチャルスタジオシステム。
7. 前記カメラのズーム機能がズームリングの回転操作によってズームを行うものであって、
   前記ズーム検出手段は、前記ズームリングに装着された回転検出部と、前記回転検出部によって検出されたズーム回転操作量に応じてズーム操作信号を出力する信号出力部と、からなり、前記ズーム操作信号に応じて前記仮想カメラのズーム操作を行う、
   ことを特徴とする請求項６記載のバーチャルスタジオシステム。
8. 前記回転検出部が、前記ズームリングに固定されたギア部材と、前記ギア部材に噛み合わせてズーム回転操作量を数値化するエンコーダーと、からなり、
   前記信号出力部が、前記エンコーダーにより数値化されたズーム回転操作量に応じ連動して回転するモーター部材と、前記モーター部材の回転軸に取り付けられ、自らの位置および姿勢のうち少なくとも一方をズーム操作信号として出力するズームトラッカーと、からなり、
   前記ズームリングの回転操作を行うことで、前記ズームトラッカーが連動して回転することによって出力された前記ズーム操作信号に基づいて前記仮想カメラのズーム操作を行う、
   ことを特徴とする請求項７記載のバーチャルスタジオシステム。
9. 前記回転検出部のエンコーダーと、前記信号出力部のモーター部材とが有線または無線により接続されて離間して配置されている、
   ことを特徴とする請求項５または８記載のバーチャルスタジオシステム。
10. 赤外線を投射する赤外線投射装置を備え、
    前記赤外線投射装置は所定の区画の外縁に対向して設置される１組２基、または所定の区画の外縁に１組ずつ対向して設置される２組４基からなり、
    前記トラッカーは、前記赤外線投射装置より投射される赤外線を受けることによって、前記区画内における自らの位置および姿勢のうち少なくとも一方を信号として出力する赤外線式トラッカーである、
    ことを特徴とする請求項１，２，３，４，５，６，７，８または９記載のバーチャルスタジオシステム。

Images