JP2016063394A - 投影画像生成装置、投影画像生成方法および投影画像生成プログラム - Google Patents

Abstract

【課題】可動する複数の投影面に動画あるいは静止画をリアルタイムに投影できる投影画像を生成する。【解決手段】実空間オブジェクトに付与された位置検出素子の位置情報から実空間座標の直交単位ベクトルを算出して、前記位置検出素子の前記位置情報と前記直交単位ベクトルと前記実空間座標との関係性を示すモデル行列を生成するモデル行列生成部２１と、モデル行列に、仮想空間に配置される仮想空間オブジェクトの各頂点位置情報を乗じることで、実空間座標における仮想空間オブジェクトの各頂点位置情報を算出する頂点位置情報算出部と、空間における投影ボリュームと仮想空間における仮想空間ビューボリュームとを空間的に一致させるための仮想空間視点情報と前記各頂点位置情報とを用いて、仮想空間オブジェクトを実空間オブジェクトに投影する仮想空間像を生成する仮想空間像生成部とを具備する。【選択図】図１

Description

本発明は、空間に配置された物体上に画像投影（プロジェクションマッピング）を行う投影画像生成装置、投影画像生成方法および投影画像生成プログラムに関する。

従来、固定の立体物に対しその形状に対応した画像の生成及び投影を行うことで、表面色の動的変化や空間的な演出を行うプロジェクションマッピングの技術がある（例えば非特許文献１）。

天野敏之、「質感プロジェクションマッピング」、２０１４年６月、日本バーチャルリアリティ学会誌第１９巻２号、pp.14-17

従来のプロジェクションマッピングは、固定の立体物を投影対象としており、位置姿勢の変化する動的な立体物に対してリアルタイムに追従して画像投影を行うことができない。

本発明は、この課題に鑑みてなされたものであり、可動する立体物に対応した動画あるいは静止画をリアルタイムに投影する投影画像生成装置、投影画像生成方法および投影画像生成プログラムを提供することを目的とする。

本発明の投影画像生成装置は、空間に配置される実空間オブジェクトに投影する投影用画像を生成する投影画像生成装置において、前記実空間オブジェクトに付与された位置検出素子の位置情報から前記空間の座標系である実空間座標の直交単位ベクトルを算出して、前記位置検出素子の前記位置情報と前記直交単位ベクトルと前記実空間座標との関係性を示すモデル行列を生成するモデル行列生成部と、前記モデル行列に、位置姿勢の変化に依存しない座標系を持つ仮想空間に配置される仮想空間オブジェクトの各頂点位置情報を乗じることで、前記実空間座標における前記仮想空間オブジェクトの各頂点位置情報を算出する頂点位置情報算出部と、前記空間における投影ボリュームと前記仮想空間における仮想空間ビューボリュームとを空間的に一致させるための仮想空間視点情報と前記各頂点位置情報とを用いて、前記仮想空間オブジェクトを前記実空間オブジェクトに投影する仮想空間像を生成する仮想空間像生成部とを具備する。

また、本発明の投影画像生成方法は、投影画像生成装置が行う空間に配置される実空間オブジェクトに投影する投影用画像を生成する投影画像生成方法であって、前記実空間オブジェクトに付与された位置検出素子の位置情報から前記空間の座標系である実空間座標の直交単位ベクトルを算出して、前記位置検出素子の前記位置情報と前記直交単位ベクトルと前記実空間座標との関係性を示すモデル行列を生成するモデル行列生成ステップと、前記モデル行列に、位置姿勢の変化に依存しない座標系を持つ仮想空間に配置される仮想空間オブジェクトの各頂点位置情報を乗じることで、前記実空間座標における前記仮想空間オブジェクトの各頂点位置情報を算出する頂点位置情報算出ステップと、前記空間における投影ボリュームと前記仮想空間における仮想空間ビューボリュームとを空間的に一致させるための仮想空間視点情報と前記各頂点位置情報とを用いて、前記仮想空間オブジェクトを前記実空間オブジェクトに投影する仮想空間像を生成する仮想空間像生成ステップとを行う。

また、本発明の投影画像生成プログラムは、上記の投影画像生成装置としてコンピュータを機能させるようにしたものである。

本発明によれば、可動する立体物（実空間オブジェクト）に対応した動画あるいは静止画をリアルタイムに投影する画像情報を生成することができる。

本実施の形態における投影画像生成装置５０を含む投影画像演出方法の一例を示す全体構成図である。 オブジェクト座標上における実空間オブジェクトの頂点位置データの例を示す図である。 実空間における投影ボリュームと仮想空間における仮想空間ビューボリュームとの一致を模式的に示す図である。 仮想空間視点構築で用いる投影画像の一例と、２直線を求める様子を模式的に示す図である。 投影画像生成装置５０の動作フローを含む投影画像演出方法の手順を示す図である。 実空間オブジェクトの一頂点にＬ字型に付与された３点の位置検出素子と直交単位ベクトルとモデル行列の一例を示す図である。 実空間配置状況再現部２０が行う幾何学的な変換を模式的に示す図である。 仮想空間像生成部３０が行う画像描写を模式的に示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

〔投影画像生成装置の構成〕
まず、図１を参照して、本実施の形態の投影画像生成装置５０の構成を説明する。投影画像生成装置５０は、実空間配置状況再現部２０と、仮想空間像生成部３０とを具備する。実空間配置状況再現部２０は、モデル行列生成部２１と頂点位置情報算出部２２とを備える。

実空間配置状況再現部２０は、仮想空間オブジェクトの形状情報１４と、モーションキャプチャ装置１５から取得される実空間オブジェクト１３に付与された３点の位置検出素子の位置情報とを入力として、実空間座標系における仮想空間オブジェクトの頂点位置データを出力する。

仮想空間像生成部３０は、実空間配置状況再現部２０が出力する仮想空間オブジェクトの頂点位置データと、前記空間における投影ボリュームと仮想空間における仮想空間ビューボリュームを空間的に一致させるための仮想空間視点情報１７とを入力として、仮想空間オブジェクトを実空間オブジェクト１３に投影するための仮想空間像を出力する。ここで仮想空間オブジェクトとは、実空間オブジェクト１３の形状と符合する立体物のことである。なお、仮想空間オブジェクトの形状は、実空間オブジェクト１３の相似形であってもよい。

仮想空間オブジェクトは、当該仮想空間オブジェクトの位置姿勢の変化に依存しないオブジェクト座標の上に配置される。よって、図１では仮想空間オブジェクトの表記を省略している。

〔投影画像を表示して演出するための構成〕
また、投影画像生成装置５０を用いて投影画像を表示して演出するためには、実空間オブジェクト１３と、モーションキャプチャ装置１５と、プロジェクター１６とが必要である。モーションキャプチャ装置１５は、現実の人や物体の動きをディジタル的に記録する装置である。

実空間オブジェクト１３は、空間に配置されるオブジェクトの実体である。実空間オブジェクト１３は、操作者１１が手動で動かしてもよいし例えば自動的に回転等がなされてもよい。実空間オブジェクト１３の位置姿勢は、リアルタイムに変化する。閲覧者１２は、プロジェクター１６によって実空間オブジェクト１３の表面に投影される投影画像を、閲覧する者である。

〔投影画像生成装置に入力する情報〕
次に、投影画像生成装置５０に外部から入力する情報である仮想空間オブジェクトの形状情報１４と仮想空間視点情報１７とについて説明する。

〔仮想空間オブジェクトの形状情報〕
仮想空間オブジェクトの形状情報１４は、実空間オブジェクト１３の形状と符合する仮想空間オブジェクトの形状情報である。実空間オブジェクト１３の形状をメジャーなどを用いて人が計測してもよいし、既存の３Ｄスキャナ装置などを用いて自動的に計測してもよい。

図２に示すように、立体物の位置姿勢の変化に依存しないオブジェクト座標系におけるＸ,Ｙ,Ｚの位置データを、仮想空間オブジェクトの形状情報とする。図２に示す例は、実空間オブジェクト１３の形状を例えば立方体として、その一辺を１００ｍｍとした場合の形状情報である。以下においてオブジェクト座標を大文字Ｘ，Ｙ，Ｚで表記する。

仮想空間オブジェクトの形状情報は、立体物の頂点位置である。立方体の場合は、頂点１〜頂点８の８個の座標情報である。頂点１の座標情報は、Ｘ＝１００,Ｙ＝１００,Ｚ＝１００である。Ｚ軸上に位置する頂点８の座標情報は、Ｘ＝０,Ｙ＝０,Ｚ＝１００である。また、球体の場合は、球面を任意の数で分割した面を用意し、各面の頂点位置の座標情報が球体の形状情報となる。

このように仮想空間オブジェクトの形状情報１４は、実空間オブジェクト１３の形状と符合する仮想空間オブジェクトのオブジェクト座標系における立体物の頂点位置の座標情報であり、仮想空間オブジェクトに対応させて一度計測しておけばよいものである。

〔仮想空間視点情報〕
仮想空間視点情報１７は、投影する空間（実空間）における投影ボリュームと仮想空間における仮想空間ビューボリュームを空間的に一致させるための情報である。図３を参照して投影ボリュームと仮想空間ビューボリュームについて説明する。

図３（ａ）は、プロジェクター１６が画像を投影する空間の三次元的な「投影領域」を、プロジェクター１６を頂点とする四角錐で模式的に示す。この三次元的な「投影領域」を投影ボリュームと称する。

図３（ｂ）は、仮想空間内での人の目（視点）からの「視野の領域」を、視点を頂点とする四角錐で模式的に示す。この三次元的な「視野の範囲」を仮想空間ビューボリュームと称する。

投影する空間に、仮想空間の画像を投影するには、投影ボリュームと仮想空間ビューボリュームを空間的に一致させる必要がある。空間的に一致させるためには、プロジェクター１６の「位置」、「投影方向」、「姿勢（頭上方向）」、及び「投影の画角」の情報を、仮想空間の視点の「位置」、「視線方向」、「姿勢（頭上方向）」、及び「視野の画角」へと適用する。

投影ボリュームの各パラメータの導出方法を、図４を参照して説明する。各パラメータの導出は、モーションキャプチャ装置１５との連携によって行う。まず、予め中心位置及び中央右端に点が描画された画像をプロジェクター１６から投影し、位置検出素子（以下マーカ）を投影点に重なるように移動させて中心軸上の２点Ａ１,Ａ２、及び中央右側の軸上の２点Ｂ１,Ｂ２の座標ｘ，ｙ，ｚを取得する。以下において実空間座標を小文字ｘ，ｙ，ｚで表記する。

具体的には、人がマーカを把持し、プロジェクターの投影画面の中央位置に投影された点画像に重なるようにマーカを人が適当に２回停止させて２か所（Ａ１，Ａ２）の３次元位置をモーションキャプチャ装置１５で測定する。そして更に、プロジェクター１６の投影画面の右位置に投影された点画像に重なるようにマーカを適当に２回停止させて２か所（Ｂ１，Ｂ２）の３次元位置をモーションキャプチャ装置１５で測定する。

そして、中心軸上の２点（Ａ１，Ａ２）から生成される直線Ａと、中心右端の軸上の２点から生成される直線Ｂの交点が「位置」パラメータ（視点位置情報）として算出される。「投影方向」パラメータ（視線方向情報）には直線Ａを適用する。「姿勢（頭上方向）」パラメータ（頭上方向情報）は直線Ａと直線Ｂの外積によって算出する。縦横の「画角」パラメータ（縦横画角情報）は用いるプロジェクター１６の既知情報を用いる。

この仮想空間視点情報１７は、投影する空間とプロジェクター１６とが決まれば一度計測しておけばよいものである。なお、点画像を中心位置と中央右側に投影した例で説明を行ったが、点画像は他の部分に投影するようにしてもよい。

例えば、点画像を中央左端位置と中央右端の位置に投影し、これらの２つの点画像から直線Ａ′と直線Ｂを各々求め、これら両直線中間線を直線Ａ（つまり中心線）とすれば、上記の同じ処理が可能である。また、３つ以上の点画像を描画して平均化等することで精度を高めることも可能である。

〔投影画像生成装置の動作〕
図５に、投影画像生成装置５０の動作フローを示す。図１と図５を参照して投影画像生成装置５０の動作を説明する。

ステップＳ１の仮想空間オブジェクトの形状構築では、仮想空間オブジェクトの形状情報１４が生成される。その生成方法は上記の通りである。仮想空間オブジェクトの形状情報１４は、投影画像生成装置５０が動作を開始するまでに用意する。

ステップＳ２の仮想空間視点構築では、仮想空間視点情報１７が生成される。その生成方法は上記の通りである。仮想空間視点情報１７は、投影画像生成装置５０が動作を開始するまでに用意する。

投影画像生成装置５０が動作を開始すると、モーションキャプチャ装置１５は実空間オブジェクト１３の３点基準位置情報を取得する（ステップＳ３）。３点基準位置情報は、実空間オブジェクト１３にＬ字状に３点のマーカを付与して、モーションキャプチャ装置１５によってそのマーカの位置から取得する。

図６（ａ）に、実空間オブジェクト１３とマーカを示す。例えば立方体である実空間オブジェクト１３の頂点１にマーカＰ２と、マーカＰ２と同一平面上の頂点４の方向にマーカＰ１と、頂点２の方向にマーカＰ３とを配置する。

実空間配置状況再現部２０のモデル行列生成部２１は、モーションキャプチャ装置１５で取得したマーカＰ１，Ｐ２，Ｐ３の位置情報から直交する３つの直交単位ベクトルｖ１，ｖ２，ｖ３を算出する（図６（ｂ））。直交単位ベクトルｖ１はｖ１＝Ｐ１−Ｐ２、直交単位ベクトルｖ２はｖ２＝Ｐ３−Ｐ２、直交単位ベクトルｖ３はｖ１とｖ２の外積ｖ１×ｖ２で求めることができる。

そして、モデル行列生成部２１は、一つの頂点に配置したマーカＰ２の座標値と直交単位ベクトルｖ１，ｖ２，ｖ３とからモデル行列Ｍ（図６（ｃ））を生成する（ステップＳ４０）。モデル行列Ｍは、実空間オブジェクト１３の一つの頂点Ｐ２と直交単位ベクトルｖ１，ｖ２，ｖ３と実空間座標値との関係性を示したものである。なお、この例では頂点Ｐ２を基準位置情報としたが、他の頂点を基準位置情報としてもよい。

このモデル行列Ｍを、仮想空間オブジェクトの形状情報１４の各頂点（頂点１〜頂点８）の座標情報から求めた各頂点位置ベクトル{Ｘ，Ｙ，Ｚ，１}と掛け合わせることで、実空間座標系における仮想空間オブジェクトの各頂点位置{ｘ′，ｙ′，ｚ′，１}を算出する（式（１））。

式（１）から明らかなように、モデル行列Ｍはオブジェクト座標系を実空間座標系に座標変換する行列である。実空間配置状況再現部２０の頂点位置情報算出部２２は、この幾何学変換により、実空間座標系におけるマーカＰ２を原点としたｖ１，ｖ２，ｖ３の軸上に、オブジェクト座標系のＸ，Ｙ，Ｚ座標軸が移動し、結果的に実空間オブジェクト１３と同形状、同位置姿勢の仮想空間オブジェクトの立体形状を実空間内に配置することができる（ステップＳ４１）。ステップＳ４０とＳ４１は、実空間配置状況再現部２０が行う処理である（ステップＳ４）。

図７に、頂点位置情報算出部２２（ステップＳ４１）で行う処理を模式的に示す。図７（ａ）は上記の図２と同じ図である。図７（ａ）において、仮想空間オブジェクトの形状情報１４の各頂点（頂点１〜頂点８）の座標情報を求める。上記のように、仮想空間オブジェクトの形状情報１４は予め求めておくものである（ステップＳ１）。

仮想空間オブジェクトの形状情報１４の各頂点の座標情報から求めた各頂点位置ベクトル{Ｘ，Ｙ，Ｚ，１}と、モデル行列Ｍを掛け合わせることで実空間オブジェクト１３と同位置姿勢の仮想空間オブジェクトの立体形状を、実空間内に配置することができる(図７（ｂ）。

仮想空間像生成部３０は、実空間配置状況再現部２０が出力する仮想空間オブジェクトの頂点位置データを、仮想空間視点情報１７を用いてレンダリングすることで投影用の仮想空間像を生成する（ステップＳ５）。仮想空間像をレンダリングする技術は、例えば参考文献１（コンピュータグラフィックス、監修：コンピュータグラフィックス編集委員会、発行所：CG-ARTS協会、pp32-40）に記載されている。

仮想空間像生成部３０が生成した仮想空間像をプロジェクター１６から実空間オブジェクト１３に投影する（ステップＳ６）。その結果、実空間オブジェクト１３に仮想空間オブジェクトの立体形状の像がリアルタイムに重畳する空間演出が可能となる（ステップＳ７）。つまり、例えば立方体の実空間オブジェクト１３がｙ軸（図７（ｂ）参照）を中心に回転していると仮定すると、次々に現れる複数の投影面（立方体の表面）に仮想空間像を投影することができる。仮想空間像としては、例えば投影面ごとに対応する異なる色などが考えられる。

なお、仮想空間像生成部３０が生成した仮想空間像は、メモリに記録するようにしてもよい。実空間オブジェクト１３の位置姿勢の変化が周期的であれば、その周期に同期させて記録した仮想空間像を読み出すことで、上記と同じ空間演出が可能である。

ステップ３の実空間オブジェクト１３の３点基準位置情報を取得するステップから、ステップＳ７のプロジェクター１６から投影された仮想空間オブジェクトを閲覧するステップの各ステップは繰り返される。その繰り返しの速度は例えば６０f/s（frame/second）程度の速度である。

以上説明したように本実施の形態によれば、可動する立体物（実空間オブジェクト１３）に対応した動画あるいは静止画をリアルタイムに投影する画像情報（仮想空間像）を生成することができる。なお、プロジェクター１６の照射範囲に存在する実空間オブジェクトの数は複数個あっても構わない。また、実空間オブジェクト１３の形状を立方体を例に説明したが、この形状に限られない。例えば、実空間オブジェクト１３の形状は直方体であってもよい。また、球体であってもよいのは上記の通りである。このように本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

上記装置における処理部をコンピュータによって実現する場合、各処理部が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記装置における処理部がコンピュータ上で実現される。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としても良い。

１１：操作者
１２：閲覧者
１３：実空間オブジェクト
１４：仮想空間オブジェクトの形状情報
１５：モーションキャプチャ装置
１６：プロジェクター
１７：仮想空間視点情報
２０：実空間配置状況再現部
２１：モデル行列生成部
２２：頂点位置情報算出部
３０：仮想空間像生成部
５０：投影画像生成装置

Claims (7)

1. 空間に配置される実空間オブジェクトに投影する投影用画像を生成する投影画像生成装置において、
   前記実空間オブジェクトに付与された位置検出素子の位置情報から前記空間の座標系である実空間座標の直交単位ベクトルを算出して、前記位置検出素子の前記位置情報と前記直交単位ベクトルと前記実空間座標との関係性を示すモデル行列を生成するモデル行列生成部と、
   前記モデル行列に、位置姿勢の変化に依存しない座標系を持つ仮想空間に配置される仮想空間オブジェクトの各頂点位置情報を乗じることで、前記実空間座標における前記仮想空間オブジェクトの各頂点位置情報を算出する頂点位置情報算出部と、
   前記空間における投影ボリュームと前記仮想空間における仮想空間ビューボリュームとを空間的に一致させるための仮想空間視点情報と前記各頂点位置情報とを用いて、前記仮想空間オブジェクトを前記実空間オブジェクトに投影する仮想空間像を生成する仮想空間像生成部と
   を具備することを特徴とする投影画像生成装置。
2. 請求項１に記載した投影画像生成装置において、
   前記直交単位ベクトルは、前記実空間オブジェクトのある一つの頂点にＬ字型に付与した位置検出素子の３点の座標情報から算出されるベクトルであり、
   前記モデル行列は、前記直交単位ベクトルを要素に含み、前記仮想空間オブジェクトのオブジェクト座標における各頂点位置情報を前記実空間座標の各頂点位置情報に座標変換する行列であることを特徴とする投影画像生成装置。
3. 請求項１に記載した投影画像生成装置において、
   前記投影ボリュームは、
   前記空間にプロジェクターで投影したプロジェクター投影画面に、２つ以上の点画像を投影した前記プロジェクターの位置と前記点画像とを結ぶ直線上の２つの実空間座標から得られる２本以上の直線から求めたパラメータである視点位置情報と、視線方向情報と、頭上方向情報と、縦横画角情報と、で表されるものであることを特徴とする投影画像生成装置。
4. 投影画像生成装置が行う空間に配置される実空間オブジェクトに投影する投影用画像を生成する投影画像生成方法であって、
   前記実空間オブジェクトに付与された位置検出素子の位置情報から前記空間の座標系である実空間座標の直交単位ベクトルを算出して、前記位置検出素子の前記位置情報と前記直交単位ベクトルと前記実空間座標との関係性を示すモデル行列を生成するモデル行列生成ステップと、
   前記モデル行列に、位置姿勢の変化に依存しない座標系を持つ仮想空間に配置される仮想空間オブジェクトの各頂点位置情報を乗じることで、前記実空間座標における前記仮想空間オブジェクトの各頂点位置情報を算出する頂点位置情報算出ステップと、
   前記空間における投影ボリュームと前記仮想空間における仮想空間ビューボリュームとを空間的に一致させるための仮想空間視点情報と前記各頂点位置情報とを用いて、前記仮想空間オブジェクトを前記実空間オブジェクトに投影する仮想空間像を生成する仮想空間像生成ステップと
   を行うことを特徴とする投影画像生成方法。
5. 請求項４に記載した投影画像生成方法において、
   前記直交単位ベクトルは、前記実空間オブジェクトのある一つの頂点にＬ字型に付与した位置検出素子の３点の座標情報から算出されたベクトルであり、
   前記モデル行列は、前記直交単位ベクトルを要素に含み、前記仮想空間オブジェクトのオブジェクト座標における各頂点位置情報を前記実空間座標の各頂点位置情報に座標変換する行列であることを特徴とする投影画像生成方法。
6. 請求項４に記載した投影画像生成方法において、
   前記投影ボリュームは、
   前記空間にプロジェクターで投影したプロジェクター投影画面に、２つ以上の点画像を投影した前記プロジェクターの位置と前記点画像とを結ぶ直線上の２つの実空間座標から得られる２本以上の直線から求めたパラメータである視点位置情報と、視線方向情報と、頭上方向情報と、縦横画角情報と、で表されるものであることを特徴とする投影画像生成方法。
7. 請求項１乃至３の何れかに記載した投影画像生成装置としてコンピュータを機能させるための投影画像生成プログラム。

Images