JP2009141727A - 合成映像用スタジオシステム - Google Patents

Abstract

【課題】従来の合成映像用スタジオシステムでは、撮影の際、出演者は撮影とほぼリアルタイムに作成される合成映像のモニタ画面を見ながら、あたかもブルースクリーンに向かって背景映像があるかのように演技しなければならず、特に背景映像が動画である場合には出演者の背景映像に対する目線や手などの動作と、実際の背景映像との間にズレが生じてぎこちなかったり、背景画像との間でタイミングが合わないために背景映像のコンテンツに動画速度などの制限が生じるなどの不都合があった。
【解決手段】本件発明では、ブルースクリーン上にクロマキー置換可能なモノクロの背景映像を投影することにより、ブルースクリーン上のモノクロ背景映像に向かってリアルな動作を行え、かつ、背景映像のコンテンツを広げられるシステムを提供する。
【選択図】図２

Description

本発明は、クロマキー処理をもちいた合成映像を出力するための、スタジオ撮影システムに関する。

従来、クロマキー処理をもちいて合成画像を作成するための、バーチャルスタジオ撮影システムとして、ブルースクリーン（またはグリーンスクリーン）を貼ったスタジオにて出演者（アナウンサーなど）があたかもブルースクリーン（またはグリーンスクリーン）に背景映像があるかのように演技することで撮影対象（以降フォアグランド映像と呼ぶ）を撮影していた。フォアグランド映像の撮影後または撮影とほぼリアルタイムにブルー（又はグリーン）の背景が抜き出され、背景映像がクロマキー置換されて合成映像が出力される。
特開２００５−２２２１９１

従来方法では、出演者は撮影とほぼリアルタイムに作成される合成映像のモニタ画面を見ながら、あたかもブルースクリーン（またはグリーンスクリーン）に向かって背景映像があるかのように演技しなければならず、特に背景映像が動画である場合には出演者の背景映像に対する目線や手などの動作と、実際の背景映像との間にズレが生じてぎこちなかったり、出演者の背景映像に対する動作と実際の背景映像との間でタイミングが合わないために背景映像のコンテンツに動画速度などの制限が生じるなどの不都合があった。

そこで、本件発明では、ブルースクリーン（またはグリーンスクリーン）上にクロマキー置換可能なモノクロの背景映像を投影し、フォアグランド映像の撮影後または撮影とほぼリアルタイムにブルー（またはグリーン）部分とモノクロの背景映像を抜き出し、カラーの背景映像がクロマキー置換されて合成映像を出力するシステムを提供する。

出演者はブルースクリーン（またはグリーンスクリーン）上のモノクロ背景映像に向かって目線配りや手の動作、更には足を動かしたリアルな動作を行うことができるため、従来技術の動きのぎこちなさがなくなり、自然な演技を行う合成映像を提供できるという効果を奏する。更には、背景映像のコンテンツに動画速度などの制限がなくなるためバーチャルスタジオの応用範囲が広がるなどの効果を奏する。

以下、本件発明の実施の形態について、添付図面を用いて説明する。なお、本件発明は、これら実施形態に何ら限定されるべきものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１と２について説明する。実施形態２は、主に請求項１の別の実施形態について説明する。
<実施形態１>
<実施形態１の概要>

本実施形態の概要は、バーチャルスタジオで撮影する際に、（ブルーやグリーンなどの）スクリーンに背景映像（クロマキー置換可能なモノクロ映像）を投影することにより、出演者が背景画像を実際に見て解説などを行える合成映像用スタジオシステムであることを特徴とする。

図１は本実施形態を説明するための概要図である。すなわち概要的には、背景映像を「モノクロ背景映像投射部」（０１０２）からブルー色などの「スクリーン」（０１０３）へ投影する。「出演者」（０１１０）はスクリーンに投影された背景映像を見ながら解説できる。そのシーンを「撮影部」（０１０４）すなわちスタジオ撮影用カメラで撮影したフォアグランド映像のモノクロ背景映像をカラー背景映像にクロマキー置換して「合成映像」（０１０９）を生成する、というシステムである。

図１ではモノクロ背景映像投射部からスクリーンへの投影は、背景画像をブルー色などのスクリーンの部分的なエリアへ投射する例を示しているが、本実施形態はそのような形態に限定するものではなく、背景画像をスクリーン全体へ投射する方法であっても良い。また、背景画像にブルーなどの枠を加えた映像を、無彩色（例えば白色）のスクリーンに投射する方法であっても良い。
<実施形態１の構成>

図２に本実施形態の機能ブロック図の一例を示す。また、図３（ａ）、（ｂ）に「モノクロ背景映像投射部」（０２０２）の具体例を示す。更に図4に、図１に示すような構成で本合成映像用スタジオシステムにより撮影され合成映像が作成される場合の機能ブロック図と映像との関係を示す。

図２に示す本実施形態の「合成映像用スタジオシステム」（０２００）は、背景映像をクロマキー置換可能なモノクロとカラーとで出力可能な「背景映像出力部」（０２０１）と、「スクリーン」（０２０３）と、モノクロ背景映像をスクリーンに投射する「モノクロ背景映像投射部」（０２０２）と、スクリーンを背景として撮影対象を撮影するための「撮影部」（０２０４）と、撮像部にて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成する「クロマキー部」（０２０５）と、を備えた合成映像用スタジオシステムである。

本合成映像用スタジオシステムは、背景映像をクロマキー置換可能なモノクロとカラーとで出力可能な「背景映像出力部」（０２０１）を備える。ここで「クロマキー置換」とは、特定色（クロマ）の領域を背景映像と置き換える手法のことを示す。「クロマキー置換」の手法の詳細は既存技術であるため、本実施形態では詳細説明を省略する。また「モノクロ」とは、単色で輝度を表した映像である。具体的には例えば、特定色の「スクリーン」に対してスクリーン色と同じ特定色で輝度を表した映像などがあげられる。また、モノクロ映像を「スクリーン」全体に表示させる構成の場合には、無彩色（例えば白色）のスクリーンに対してスクリーンの色（例えば白色）とは無関係な特定色で輝度を表した映像であっても良い。「クロマキー置換可能なモノクロ」とは、特定色の領域を背景映像と置き換えることが可能なモノクロ映像のことを示す。

上記「モノクロ」映像（例えば図４に示す「モノクロ映像」（０４０６））は、「モノクロ背景映像投射部」（０２０２）へ出力される。また「カラー」映像（例えば図４の「カラー映像」（０４０７））は、「クロマキー部」（０２０５）へ出力される。また、この「背景映像出力部」からモノクロ背景映像投射部への第一の背景映像出力と、クロマキー部への第二の背景映像出力とは、その出力タイミングが同期するよう構成されても良い。このように構成することで、より自然な形でフォアグランド映像と背景映像とが同期したクロマキー合成を行うことができる。

本合成映像用スタジオシステムは、「スクリーン」（０２０３）を備える。ここで「スクリーン」とは、クロマキー置換を可能とする特定色のスクリーンの場合と、無彩色（例えば白色）のスクリーン（モノクロ映像をスクリーン全体に表示させる構成に限定）の場合とがあり得る。また、このスクリーンは、全反射スクリーンであっても良い。

本合成映像用スタジオシステムは、モノクロ背景映像をスクリーンに投射する「モノクロ背景映像投射部」（０２０２）を備える。ここで「モノクロ背景映像投射部」とは、「背景映像出力部」から得た「モノクロ」映像を「スクリーン」へ投射するものである。例えば図３（ａ）に示すような、スクリーンに対して直接投射するプロジェクター（直接投射型）などが上げられる。図１の「モノクロ背景映像投射部」（０１０２）は直接投射型の例を示している。また、図３（b）に示すような、ミラーを介してスクリーンの裏へ投射するプロジェクター（間接投射型）であっても良い。

本合成映像用スタジオシステムは、スクリーンを背景として撮影対象を撮影するための「撮影部」（０２０４）を備える。ここで「撮影部」とは、例えばスタジオ撮影用のカメラなどである。

「撮影部」で撮影された映像（例えば図４に示す「撮影映像」（０４０８））は、「クロマキー部」（０４０５）へ出力される。

本合成映像用スタジオシステムは、撮像部にて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成する「クロマキー部」（０２０５）を備える。ここで「クロマキー部」とは、「撮影部」にて撮影された映像のモノクロ背景映像（例えば図４に示す「撮影映像」（０４０８）の出演者（フォアグランド映像）以外の領域）を、カラー背景映像（例えば図４の「カラー背景映像」（０４０７））にクロマキー置換して合成映像（例えば図４の「合成映像」（０４０９））を生成する機能をもったものである。
<実施形態１の処理の流れ>

図５に本実施形態における映像合成方法の処理の流れの一例を示す。

本実施形態における「映像合成方法」（Ｓ０５００）は、モノクロ背景映像をスクリーンに投射する「モノクロ背景映像投射ステップ」（Ｓ０５０１）と、スクリーンを背景として撮影対象を撮影するための「撮影ステップ」（Ｓ０５０２）と、撮像ステップにて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成する「クロマキーステップ」（Ｓ０５０３）と、を備えた映像合成方法である。

本実施形態の処理の流れを、図４と図５をもとにして説明する。

本実施形態における処理の流れは、以下に示すステップよりなる。

本映像合成方法は、モノクロ背景映像をスクリーンに投射する「モノクロ背景映像投射ステップ」（Ｓ０５０１）を備える。ここで「モノクロ背景映像投射ステップ」（Ｓ０５０１）とは、図４における「背景映像出力部」から出力された「モノクロ背景映像」を「スクリーン」へ投影するステップである。

本映像合成方法は、スクリーンを背景として撮影対象を撮影するための「撮影ステップ」（Ｓ０５０２）を備える。ここで、「撮影ステップ」（Ｓ０５０２）とは、図４の「スクリーン」を背景として撮影対象を撮影し、図４の「撮影映像」を図５の「クロマキーステップ」（Ｓ０５０３）へ引き渡すステップである。

撮像ステップにて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成する「クロマキーステップ」（Ｓ０５０３）を備える。ここで「クロマキーステップ」（Ｓ０５０３）とは、「撮影ステップ」（Ｓ０５２）にて撮影された図４の「撮影映像」（０４０８）の出演者（フォアグランド映像）以外の領域を、「カラー背景映像」にクロマキー置換して「合成映像」を生成するステップである。
<実施形態１の効果>

出演者はブルースクリーン（またはグリーンスクリーン）上のモノクロ背景映像に向かって目線配りや手を動かしたリアルな動作を行うことができるため、従来技術の動きのぎこちなさがなくなり、自然な演技を行う合成映像を提供できるという効果を奏する。更には、背景映像のコンテンツに動画速度などの制限がなくなるためバーチャルスタジオの応用範囲が広がるなどの効果を奏する。
<実施形態２>
<実施形態２の概要>

本実施形態の概要は、前記実施形態のスクリーンに替えドーム型スクリーンに背景映像（クロマキー置換可能なモノクロ映像）を投影し、出演者が全天周の背景画像を実際に見て解説などを行える全天周型の合成映像用スタジオシステムであることを特徴とする。

ここで「全天周の背景画像」とは、図６の概念図に示すような「ドーム型スクリーン」（０６０３）に、予め複数台の撮影装置により「中心位置」（０６１１）から広角度（最大で３６０度）の背景映像を撮影しておいた広角度の背景映像を、複数台の投影装置により投影し、「中心位置」（０６１１）付近にいる者が、「広角度の背景映像」（０６０６）を臨場感をもって見られるようにした映像を示す。

なお、本実施形態は、図６に示される形状に限定されるものでなく、全天周の背景画像投影が実現されるものであれば、どの様な形状であっても良い。
<実施形態２の構成>

図７に本実施形態の機能ブロック図の一例を示す。図３（ｃ）に「モノクロ背景映像投射部」（０７０２）の具体例を示す。

本実施形態の「合成映像用スタジオシステム」（０７００）は、本実施形態は、スクリーンは「ドーム型スクリーン」（０７０３）であり、前記ドーム型とは多面体の一部により構成され、「モノクロ背景映像投射部」（０７０２）は、多面体の各面に向けて投射を行うように配置されている実施形態１に記載の合成映像用スタジオシステムである。「合成映像用スタジオシステム」、「ドーム型スクリーン」、「モノクロ背景映像投射部」以外の構成要素、すなわち「背景映像出力部」（０７０１）と、「撮影部」（０７０４）と、「クロマキー部」（０７０５）と、は実施形態１と同様であるため、ここでの説明は省略する。

本合成映像用スタジオシステムは、多面体の一部により構成される「ドーム型スクリーン」（０７０３）を備える。ここで「多面体」とは、複数（4つ以上）の平面または曲面（球面を含む）に囲まれた立体のことを示す。また「ドーム型スクリーン」（０７０３）とは、例えば図６の「ドーム型スクリーン」（０６０３）に示すように、「出演者」（０６１０）からは半球（ドーム型）のスクリーンに見えるが、実際には多面体の一部により構成されるスクリーンである。「多面体の一部により構成される」のは、多面体の一つの面に対して一つの背景画像を「モノクロ背景映像投射部」（０７０２）から投影するためである。

本合成映像用スタジオシステムは、多面体の各面に向けて投射を行うように配置されている「モノクロ背景映像投射部」（０７０２）を備える。「モノクロ背景映像投射部」（０７０２）は、多面体の一つの面に対して一つの背景画像を投影する複数の投射装置から構成され、予め複数台の撮影装置により多面体の各面法線方向に向けて撮影された広角度の背景映像を再生する機能を有するものである。例えば図３（ｃ）に示すような、ドーム型スクリーンの天井から多面体の各面を構成するスクリーンへミラーを介して投射するプロジェクターなどが考えられる。但し、本実施形態は上記方法に限定されるものでは無く、ミラーを介さず直接投射される方式や、スクリーンの裏面から投影される方式（（直接投射型）であっても良い。

多面体の各面（または一部の面）が曲面から構成される場合は、投射映像に歪が生じ「出演者」から見て不自然な映像となる可能性がある。この問題を回避するため、適正な曲面（または球面）歪みの補正を施し、投射映像が自然な映像となるような処理を行っても良い。例えばプロジェクターからスクリーンへの投射がスクリーン曲面（又は球面）の凸方向からの投射である場合には、映像の中心から分散した歪が生じるため、曲面（または球面）歪みの補正はその逆、すなわち、中心へ集中させる補正を行う。プロジェクターからスクリーンへの投射がスクリーン曲面（又は球面）の凹方向からの投射（裏面からの投射など）である場合には、映像の中心へ集中した歪が生じるため、曲面（または球面）歪みの補正はその逆、すなわち、中心から分散させる補正を行う。

具体的には、予め、映像をスクリーンへ投射してテクスチャとして取り込み曲面（または球面）に貼り付け、作成された曲面（または球面）の映像をプロジェクタ側を視点に再描画する方法などがあげられる。また、スクリーンとプロジェクターの位置関係が固定の場合には、歪度を算出して補正する方法も考えられる。上記２つの補正方法は従来技術であるため、詳細の説明はここでは省略する。

また、このドーム型スクリーンを構成する多面体は一部が省略されるなどしても良い。具体的には、例えば撮影用の照明を配置するために、その天井部にはスクリーンを設けない上面開放タイプのドーム型スクリーンなども挙げられる。あるいはドーム型スクリーンの天井部を操作入力などに応じて適宜開閉可能に構成したドーム型スクリーンなども挙げられる。また本発明におけるスクリーンは、このような半球状などのドーム型を基本とする形状の他にも、例えば後述するような（部分）円筒状のスクリーンなど様々であって良い。
<実施形態２の効果>

本実施形態は、上記実施形態の効果に加え、更に、出演者はモノクロ背景映像の映像に基づき、背景映像の中を歩き回ったりするようなリアルな動作を行うことができるため、従来技術の動きのぎこちなさがなくなり、自然な演技を行う全天周の合成映像を提供できるという効果を奏する。

実施形態１の合成映像用スタジオシステムの一例を表す概念図 実施形態１の合成映像用スタジオシステムにおける機能ブロックの一例を表す図 実施形態１を説明するための図 実施形態１を説明するための図 実施形態１の合成映像用スタジオシステムにおける処理の流れの一例を表すフローチャート 実施形態２の合成映像用スタジオシステムの一例を表す概念図 実施形態２の合成映像用スタジオシステムにおける機能ブロックの一例を表す図

符号の説明

０２００ 合成映像用スタジオシステム
０２０１ 背景映像出力部
０２０２ モノクロ背景映像投射部
０２０３ スクリーン
０２０４ 撮影部
０２０５ クロマキー部

Claims (2)

1. 背景映像をクロマキー置換可能なモノクロとカラーとで出力可能な背景映像出力部と、
   スクリーンと、
   モノクロ背景映像をスクリーンに投射するモノクロ背景映像投射部と、
   スクリーンを背景として撮影対象を撮影するための撮影部と、
   撮像部にて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成するクロマキー部と、
   を備えた合成映像用スタジオシステム。
2. モノクロ背景映像をスクリーンに投射するモノクロ背景映像投射ステップと、
   スクリーンを背景として撮影対象を撮影するための撮影ステップと、
   撮像ステップにて撮影された映像のモノクロ背景映像をカラー背景映像にクロマキー置換して合成映像を生成するクロマキーステップと、
   を備えた映像合成方法。