JP2008017386A - キー画像生成装置 - Google Patents

Abstract

【課題】バーチャルスタジオでの撮影に用いられる可視光撮影カメラや撮影設備に変更を加えることなくキー画像が生成されるキー画像生成装置を提供する。
【解決手段】本発明によるキー画像生成装置は、赤外線カメラ（３−１〜３−ｎ）により撮像された被写体の赤外線画像から、被写体のシルエット画像を生成するシルエット画像生成手段（１０）と、シルエット画像から赤外線カメラのカメラデータを用いて視体積交差法により被写体の三次元モデル情報を生成する三次元モデル生成手段（１２）と、被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを取得するカメラデータ収集手段（１１）と、被写体の三次元モデル情報から、カメラデータ収集手段から出力されるカメラデータを用いて被写体のキー画像を生成するキー画像生成手段（１３）とを有する。
【選択図】 図１

Description

本発明は、バーチャルスタジオに位置する被写体のキー画像（マスク画像）を生成するキー画像生成装置に関するものである。

従来、バーチャルスタジオでは、ブルーバック等の特定の色を背景とするスタジオで被写体を撮像し、得られた画像について背景パネルの色の領域を背景とし背景パネルの色以外の領域を被写体像として抽出するクロマキー法により画像合成を行う方法が広く用いられている。しかし、このクロマキー方法は、被写体が背景パネルと同一色の部分を含む場合、被写体抽出に失敗するため、被写体に背景色を使用できない制限があった。また、被写体が無彩色又はそれに近い色の場合、背景色が被写体内に映り込んでしまい、被写体の本来の色が再現されない欠点があり、さらに、映り込みが多い場合には被写体抽出に失敗する場合もある。

上述した欠点を解消するバーチャルスタジオとして、赤外線等の可視域以外の波長光を放出する背景パネルを用い、撮影装置として赤外線カメラと可視光撮影カメラとを一体化した撮影装置を用いて被写体のマスク画像すなわちキー画像（キー信号画像）を発生させるバーチャルスタジオシステムが提案されている（例えば、特許文献１参照）。このシステムでは、赤外線カメラと可視光撮影カメラの主点、主軸、及び焦点距離を一致させると共に焦点距離の制御を互いに同期させることにより、可視光撮影カメラによる撮影と同時に赤外線カメラにより撮像し、得られた赤外線画像に対してルミナンスキー処理を行うことによりキー画像が生成されている。

特開２００３−２７１９２８号公報

上述したバーチャルスタジオシステムでは、確実にキー画像が生成される利点がある反面、通常の可視光撮影カメラの光学系に新たに赤外線カメラの光学系を付加しなければならず、撮像装置や撮影設備の大幅な変更が余儀なくされていた。また、通常のマルチカメラで収録する場合、全てのカメラを一体化カメラに置き換える必要があり、システムの大規模な変更が必要となる問題があった。

本発明の目的は、バーチャルスタジオでの撮影に用いられる可視光撮影カメラや撮影設備に変更を加えることなくキー画像が生成されるキー画像生成装置を実現することにある。
本発明の別の目的は、被写体のキー画像を生成するためのプログラムが記録された記録媒体を提供することにある。

本発明によるキー画像生成装置は、赤外線カメラにより種々の方向から撮像された複数の赤外線画像から、被写体のキー画像を生成するキー画像生成装置であって、
赤外線カメラにより撮像された被写体の赤外線画像から、被写体のシルエット画像を生成するシルエット画像生成手段と、
前記シルエット画像生成手段により生成されたシルエット画像を三次元空間に逆投影することにより得られる錐体の形状を各シルエット画像毎に演算する手段と、得られた複数の錐体が互いに重複する共通領域を求める手段とを有し、得られた共通領域を被写体の三次元モデルとして出力する三次元モデル生成手段と、
被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを収集するカメラデータ収集手段と、
前記赤外線カメラ画像から得られた被写体の三次元モデルデータと、カメラデータ収集手段から得られた可視光撮影カメラのカメラデータとに基づいて、被写体のキー画像を生成するキー画像生成手段とを有することを特徴とする。

本発明では、赤外線カメラを用いて撮像した被写体の赤外線画像から、被写体の可視光画像を撮像する可視光撮影カメラにより撮像される被写体のキー画像とほぼ同等なキー画像を作成する。すなわち、赤外線を放出する背景パネルの前面に位置する被写体を取り囲むように複数の赤外線カメラを固定配置し、被写体を種々の方向から撮像して赤外線画像を出力する。出力された複数の赤外線画像から、各赤外線カメラのカメラデータを用いて例えば視体積交差法により被写体の三次元モデルを生成する。生成された被写体の三次元モデルを仮想空間内に投影し、被写体の可視光像を撮像する可視光撮影カメラのカメラデータを用いて被写体の三次元モデルを撮像したと等価な演算処理を行ない、撮影に使用する可視光撮影カメラから見た被写体のシルエット画像すなわちキー画像を出力する。このようにして得られた被写体のキー画像は、実際の撮影に使用する可視光撮影カメラにより直接撮像されたキー画像とほぼ同等のキー画像である。この結果、赤外線カメラと可視光撮影カメラとが一体化された複雑な撮影カメラを用いることなく被写体のキー画像を出力することが可能になる。また、バーチャルスタジオでの撮影に使用する可視光撮影カメラに変更を加えることなく、しかも、撮影に使用する可視光撮影カメラの配置関係に制約を受けることなく、被写体のキー画像信号が出力される。

本発明によるキー画像生成装置を用いれば、既存のバーチャルスタジオに僅かな変更を加えるだけで最終的な合成画像を出力することが可能である。すなわち、撮影に使用する可視光撮影カメラの主点位置、姿勢及び焦点距離を含むカメラデータを収集するカメラデータ収集手段を各可視光撮影カメラに接続し、当該カメラデータ収集手段から出力されるカメラデータを基にキー画像を出力する。そして、仮想空間に配置された三次元ＣＧモデルから背景セット画像を生成し、可視光撮影カメラで撮影された実際の画像とクロマキー合成することにより、最終の合成出力画像が生成される。

三次元モデル生成手段においては、視体積交差法によりシルエット画像から三次元モデルを生成する。複数のシルエット画像を赤外線カメラの主点から三次元空間に逆投影して得られた複数の錐体が重複する共通領域が被写体が存在する可能性のある空間領域である。そこで、赤外線カメラの主点位置、姿勢及び焦点距離を含むカメラデータを予め取得しておき、各赤外線カメラから生成したシルエット画像による複数の錐体の三次元空間上の各座標を求め、被写体の存在可能性の有無から三次元モデルの推定を行い、被写体の三次元モデルデータとして出力する。

キー画像発生手段においては、得られた三次元モデルを仮想空間に配置し、可視光撮影カメラの主点位置、姿勢及び焦点距離を含むカメラデータをもとに仮想カメラを想定し、三次元モデルを仮想カメラから撮像した場合に得られる画像を算出する。そして、得られたシルエット画像をキー画像として出力する。

本発明による別のキー画像生成装置は、赤外線を放出する背景パネルの前面に位置する被写体を、赤外線カメラにより種々の方向から撮像し、得られた赤外線画像から被写体のキー画像を生成するキー画像生成装置であって、
赤外線カメラにより撮像された被写体の赤外線画像からシルエット画像を生成するシルエット画像生成手段と、
被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを収集するカメラデータ収集手段と、
前記シルエット画像生成手段により生成された複数のシルエット画像から、前記赤外線カメラのカメラデータ及び取得された可視光撮影カメラのカメラデータを用いて、被写体のキー画像を生成するキー画像生成手段とを有することを特徴とする。

本発明では、シルエット画像から三次元モデルを生成せず、シルエット画像からキー画像を直接生成する。キー画像生成手段においては、赤外線画像から得られた複数のシルエット画像を赤外線カメラの主点から三次元空間に投影して得られた錐体と、可視光撮影カメラのカメラデータとから当該可視光撮影カメラの各画素ごとの視線ベクトルを演算し、各錐体と視線ベクトルとの交点を求め、その存在範囲を求める。この存在範囲を全錐体について演算し、その論理積を求めることにより、各画素ごとの被写体の存在する可能性のある範囲が求められる。この存在可能範囲の有無によってキー画像が生成され、存在可能範囲を有する画素は被写体を映し、存在可能範囲を有しない画素は背景を構成する。

本発明によるキー画像生成装置は、以下に示す作用効果を奏する。
バーチャルスタジオで被写体を撮影する際、背景色と同一の色の被写体を使用できない制約が解消される。また、被写体への背景色の映り込みがなくなり、本来の被写体の色の再現が可能になり、映り込みによる被写体抽出誤差が低減される。
さらに、従来の可視光撮影カメラに赤外線撮像光学系を組み込んだ一体化カメラに置き換える必要がなく、撮像に使用する可視光撮影カメラをそのまま利用できると共に設備の変更を最小限に抑えることが可能になる。

図１は本発明によるキー画像生成装置が利用されるバーチャルスタジオシステムの一例を示す線図である。バーチャルスタジオは赤外線を放出する背景パネル１を有する。この背景パネル１は、８００〜９００ｎｍの波長域の赤外光を発生する発光ダイオードを有し、当該背景パネルから赤外線をほぼ均一に放出する。背景パネル１の前面に被写体２が位置し、当該被写体の三次元形状モデルを生成すると共にキー画像を生成する。

本例では、被写体２を取り囲むように例えば５台の赤外線カメラ３−1〜３−5を固定配置し、種々の方向から見た被写体２の赤外線画像を撮像する。背景パネル１から放出される赤外線は被写体により遮られるため、各赤外線カメラにより撮像される赤外線画像は、背景は輝度が高く被写体は輝度が低く撮像される。よって、撮像される赤外線画像は、各赤外線カメラの位置から見た被写体のシルエット画像が輝度画像として撮像される。

被写体２の可視光像を撮像するため、例えば２台の可視光撮影カメラ４−1及び４−2を配置する。可視光撮影カメラの台数及び配置位置は制約を受けず、可視光撮影カメラがスタジオ内の所望の位置に自在に移動しても、各移動位置において可視光撮影カメラにより撮影したキー画像とほぼ等価なキー画像が出力される。尚、可視光撮影カメラの台数は２台に限られるものではなく、複数台とすることができる。

図２は本発明によるキー画像生成装置の一例を示す線図である。赤外線カメラ３−１〜３−ｎから出力される赤外線画像データはシルエット画像生成部１０に供給する。シルエット画像生成部１０は、各赤外線カメラから送出されてくる輝度画像である赤外線画像について、適当な閾値を設定して２値化処理を行ない、被写体が抽出されたシルエット画像を生成する。

可視光撮影カメラ４−１〜４−ｍはカメラデータ収集部１１に接続され、各可視光撮影カメラのカメラデータが収集される。カメラデータの取得方法としては、例えば既知のパターンを撮影して計算により求めることができ、例えば文献「Roger Y. Tsai,”Multiframe Image Point Matching and 3-D Surface Reconstruction, “IEEE Trans. PAMI, Vol. PAMI-5, No.2,pp.159-173, March 1983.」に記載の方法により求めることができる。また、各赤外線カメラ３−1〜３−nについても、カメラ校正手法により主点位置、姿勢及び焦点距離を含むカメラデータが予め取得され、当該カメラデータは三次元モデル生成部１２に予め記憶する。

シルエット画像生成部１０により生成されたシルエット画像は、三次元モデル生成部１２に供給する。三次元モデル生成部１２は、受け取ったシルエット画像と予め記憶した赤外線カメラ３−1〜３−nのカメラデータを用い、視体積交差法により被写体の３次元モデルを生成する。

三次元モデル生成部における被写体の三次元モデルの生成方法について説明する。図３は、視体積交差法の原理を示す線図であり、説明を簡略化するため、２台のカメラＣ１及びＣ２を用いて被写体Ｍの推定形状ＡＭを推定するものとする。カメラＣ１で撮像したシルエット画像Ｇの被写体シルエットをＳ１とする。カメラＣ１の光学主点位置Ｖから仮想的に被写体Ｍ方向に逆投影すると、光学主点位置Ｖを頂点として断面が被写体シルエットＳ１となる錐体Ｔ１が形成される。この錐体の形状（錐体領域）を算出する。同様に、カメラＣ２のシルエット画像についても被写体シルエットＳ２の錐体Ｔ２の形状を算出する。そして、２つの錐体の形状が重なる重複領域（論理積）を求め、被写体の推定形状ＡＭとする。尚、この推定形状ＡＭは、被写体Ｍに外接し、被写体Ｍの概略形状を表し、この推定形状ＡＭを推定された被写体の三次元モデルとして出力する。

生成された被写体の三次元モデルを表すデータは、キー画像生成部１３に送出する。キー画像生成部１３は、送られてくる三次元モデルデータ及びカメラデータ収集部１１から送られてくる可視光撮影カメラのカメラデータを用い、可視光撮影カメラ４から見た被写体のシルエット画像すなわちキー画像を生成する。キー画像生成部１３においては、入力した被写体の三次元モデルを仮想空間に配置し、カメラデータ収集部において検出された可視光撮影カメラの主点、姿勢及び焦点距離情報を含むカメラデータを有する仮想カメラを設定し、可視光撮影カメラ４と同一のパラメータを有する仮想カメラから見た被写体の三次元モデルを計算により求めて被写体のシルエット画像（キー画像）を生成する。

次に、被写体の三次元モデルを作成せず、赤外線画像により得られたシルエット画像から可視光撮影カメラから見たシルエット画像（キー画像）を直接作成する方法について説明する。図４は当該キー画像作成方法を説明するための線図である。本例では、赤外線画像から得られたシルエット画像から、可視光撮影カメラの各画素ごとの存在可能範囲を求め、キー画像として出力する。赤外線カメラであるカメラＣ３で撮影された赤外線画像から得られたシルエット画像Ｇを視体積交差法と同様に、カメラＣ３の光学主点位置Ｖから三次元空間に逆投影することにより形成される錐体Ｔを算出する。次に、可視光撮影カメラであるカメラＣ４のカメラデータを用いてカメラＣ４の画素Ｐの視線ベクトルＲを計算し、錐体Ｔと視線ベクトルＲとの交点Ｘ１及びＸ２を計算により求める。ここでは、２つの交点を図示するが、２つ以上の交点が形成される場合もある。シルエット画像の錐体と視線ベルトとの交点について、光学主点位置ＶＲからの距離を求め、その存在範囲を求める。この存在範囲を全ての錐体について計算し、その論理積を求めることにより全錐体の内部の範囲が算出される。この演算処理により、各画像ごとの被写体の存在する可能性のある範囲が求まる。そして、存在可能範囲がある画素は被写体を映し、存在可能性の無い画素は背景となり、この存在可能範囲の有無に基づいてキー画像が生成される。

本発明によるキー画像生成装置及び三次元形状モデリング装置は、コンピュータプログラムを用いてソフトウェアにより処理することが可能である。図５は、キー画像生成装置及び三次元形状モデリング装置をソフトウェアにより処理する場合のプログラムの一連のステップを記載した工程図である。
ステップ１において、複数の赤外線カメラを用い、種々の方向から被写体の赤外線画像を撮像する。
ステップ２において、撮像された赤外線画像から、背景と被写体とを分離する適当な閾値を設定し、２値化処理を行ってシルエット画像を生成する。
ステップ３において、シルエット画像から、赤外線カメラのカメラデータを用いて各錐体の形状を算出し、複数の錐体が重複する領域を求め、重複領域を被写体の三次元形状モデルと推定し、三次元モデル情報を出力する。
ステップ４において、可視光撮影カメラのカメラデータを取得する。
ステップ５において、被写体の三次元モデル情報から、可視光撮影カメラのカメラデータを用いて可視光撮影カメラから見たシルエット画像を生成し、キー画像として出力する。

図６は、三次元モデルを形成することなく、シルエット画像から直接キー画像を生成するプログラムを示す。
初めに、ステップ１０において、複数の赤外線カメラを用いて種々の方向から被写体の赤外線画像を撮像する。
ステップ１１において、赤外線画像からシルエット画像を生成する。
ステップ１２において、可視光撮影カメラのカメラデータを取得する。
ステップ１３において、シルエット画像から赤外線カメラのカメラデータ及び可視光撮影カメラのカメラデータを用いてキー画像を生成する。

具体的には以下のステップによりキー画像を生成する。
シルエット画像を三次元空間に逆投影し、形成される錐体を算出する。
次に、取得した可視光撮影カメラのカメラデータから各画素の視線ベクトルを計算し、錐体と視線ベクトルとの交点を求める。
次に、各交点について光学主点からの距離を求め、その存在範囲を求める。
上記存在範囲を全ての錐体について計算し、その論理積を求めることに被写体の可視光撮影カメラから見たシルエット画像が生成され、キー画像として出力する。

本発明は上述した実施例だけに限定されず種々の変更や変形が可能である。例えば、上述した実施例では、複数の赤外線カメラを用いて被写体の赤外線画像を撮像したが、被写体の像が静止画の場合、１台の赤外線カメラを用いて複数の方向から撮像した赤外線画像を用いることも可能である。

本発明によるバーチャルスタジオシステムの一例を示す線図である。 赤外線カメラ及び可視光撮影カメラの配置例を示す線図である。 視体積交差法により被写体の三次元モデルを復元する原理を説明するための模式図である。 赤外線のシルエット画像から直接キー画像を求める原理を説明するための模式図である。 赤外線画像に基づくシルエット画像から三次元モデルデータを作成し、得られた三次元モデルデータからキー画像を作成するプロセスを説明するためのフローチャートである。 赤外線画像に基づくシルエット画像からキー画像を直接作成するプロセスを説明するためのフローチャートである。

符号の説明

１ 背景パネル
２ 被写体
３−1〜３−ｎ 赤外線カメラ
４ 可視光撮影カメラ
５−1〜５−ｎ シルエット画像生成部
６ カメラデータ収集部
７ 三次元形状モデリング部
８ キー画像生成部

Claims (5)

1. 赤外線を放出する背景パネルの前面に位置する被写体を、赤外線カメラにより種々の方向から撮像し、得られた複数の赤外線画像から被写体のキー画像を生成するキー画像生成装置であって、
   各赤外線画像から被写体のシルエット画像を生成するシルエット画像生成手段と、
   生成された複数のシルエット画像から、赤外線カメラのカメラデータを用いて視体積交差法により被写体の三次元モデルを生成する三次元モデル生成手段と、
   被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを取得するカメラデータ収集手段と、
   前記赤外線カメラ画像から得られた被写体の三次元モデルと、カメラデータ収集手段から出力される可視光撮影カメラのカメラデータとに基づいて、被写体のキー画像を生成するキー画像生成手段とを有することを特徴とするキー画像生成装置。
2. 請求項１に記載のキー画像生成装置において、前記三次元モデル生成手段は、前記シルエット画像を三次元空間に逆投影することにより得られる錐体の形状を各シルエット画像毎に演算する手段と、得られた複数の錐体が互いに重複する共通領域を求める手段とを有し、得られた共通領域を被写体の三次元モデルとして出力することを特徴とするキー画像生成装置。
3. 赤外線を放出する背景パネルの前面に位置する被写体を、赤外線カメラにより種々の方向から撮像し、得られた複数の赤外線画像から被写体のキー画像を生成するキー画像生成装置であって、
   各赤外線画像からシルエット画像を生成するシルエット画像生成手段と、
   被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを収集するカメラデータ収集手段と、
   前記シルエット画像生成手段により生成された複数のシルエット画像から、前記赤外線カメラのカメラデータ及び前記可視光撮影カメラのカメラデータを用いて、被写体のキー画像を生成するキー画像生成手段とを有することを特徴とするキー画像生成装置。
4. 請求項３に記載のキー画像生成装置において、前記キー画像生成手段は、赤外線カメラのカメラデータを用いて、前記シルエット画像を三次元空間に逆投影して形成される錐体を算出する手段と、前記可視光撮影カメラのカメラデータを用いて各画素の視線ベクトルを計算し、視線ベクトルと錐体との交点を算出する手段と、算出された交点について光学主点位置からの距離を求め、その存在範囲を算出する手段とを有することを特徴とするキー画像生成装置。
5. 赤外線を放出する背景パネルの前面に位置する被写体を、赤外線カメラにより種々の方向から撮像し、得られた複数の赤外線画像から被写体のキー画像を生成するプログラムであって、
   各赤外線画像から被写体のシルエット画像を生成するステップと、
   生成された複数のシルエット画像から、赤外線カメラのカメラデータを用いて視体積交差法により被写体の三次元モデルを生成するステップと、
   被写体の可視光画像を撮像する可視光撮影カメラのカメラデータを取得するステップと、
   前記赤外線カメラ画像から得られた被写体の三次元モデルと、カメラデータ収集手段から出力される可視光撮影カメラのカメラデータとに基づいて、被写体のキー画像を生成するステップとを含むキー画像生成プログラム。