JP2016151612A - プロジェクションマッピング装置、遅延補償装置、遅延補償方法および遅延補償プログラム - Google Patents

Abstract

【課題】プロジェクションマッピングにおいて、動いている物体に映像をズレなく投影する。【解決手段】対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得部と、前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測部と、前記動きに基づき、前記投影映像に変形を加える補償映像生成部とを備える。【選択図】図４

Description

本発明は、プロジェクションマッピング装置、遅延補償装置、遅延補償方法および遅延補償プログラムに関する。

建物等に映像の投影が行われるプロジェクションマッピングが日本でも注目を集め、数多くのイベントが行われるようになってきた。プロジェクションマッピングは、実空間に存在する物体と映像提示とを組み合わせた空間型拡張現実感（ＳＡＲ：Spatial Augmented Reality）の一態様であり、近年盛んに研究が行われている。

プロジェクションマッピングは、非常にインパクトのある表現手法である一方で、現状では、建物等の静止物体に対してしか基本的には投影を行うことができない。動いている物体に映像を投影することが可能になれば、いっそうインパクトを高めることができる。

動いている物体に映像を投影するのが困難な理由の一つとして、処理の遅延時間に基づく映像のズレがある。

図１は動く対象物体Ｏへの投影を想定した従来のプロジェクションマッピング装置１の構成例を示す図である。

図１において、プロジェクションマッピング装置１は、映像投影制御装置（コンピュータ装置）２とセンサ３と投影装置（プロジェクタ）４とを備えている。センサ３は、人間等の動く対象物体Ｏの外観や深度（距離）を検出する。映像投影制御装置２は、センサ３の検出信号に基づいて対象物体Ｏの位置・形状・姿勢等を認識し、対象物体Ｏの所定の部分に投影する映像を生成する。投影装置４は、映像投影制御装置２の生成した映像を対象物体Ｏを含む空間に投影する。

図２は遅延の発生の例を示す図であり、一例として、対象物体Ｏとして人の手の位置・形状を認識し、何らかのコンテンツの映像を投影するものとしている。センサ３により検出された手の状態から映像投影制御装置２において位置・形状を認識して映像を生成し、投影装置４に映像を出力するまでには処理のための時間を要する。また、投影装置４から実際に投影が行われるまでにも時間を要する。その結果、例えば、時刻ｔでセンサ３により検出された手の状態に合わせて生成された映像は時刻ｔ＋１で実際に投影されることになり、その時点の手の位置とズレが生ずることになる。プロジェクションマッピングは、対象物体と映像とがぴったりと合うことが肝要であり、ズレのあるままでは実用に供することはできない。

一方、小さなミラーを高速駆動させて実物体を追跡することで、投影遅延そのものをなくす機構が提案されている（非特許文献１）。しかし、専用の装置が必要となるとともに、対象物体の追跡手法が限定的であり、対象が剛体のみであり、一般的なプロジェクションマッピングに応用することはまだ困難である。

また、対象物体に取り付けた磁気センサから得られた情報を使って投影遅延を補償する手法が提案されている（非特許文献２）。しかし、磁気センサの取り付けが必要となるとともに、剛体のみが対象となり、一般的なプロジェクションマッピングに応用することは困難である。

奥村光平、奥寛雅、石川正俊、"高速光軸制御を用いた動的物体への投影型拡張現実感"、映像情報メディア学会誌、Ｖｏｌ．６７、Ｎｏ．７、ｐ．Ｊ２０４−Ｊ２１１、（２０１３）． 近藤大祐、後藤敏之、河野誠、木島竜吾、高橋優三、"自由曲面への投影を用いたバーチャル解剖模型"、日本バーチャルリアリティ学会論文誌 １０（２），２０１−２０８，２００５−０６−３０．

上述したように、動いている物体に映像を投影することが要望されているが、処理の遅延時間に基づく映像のズレにより実現が困難であった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、プロジェクションマッピングにおいて、動いている物体に映像をズレなく投影することにある。

上記の課題を解決するため、本発明にあっては、対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得部と、前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測部と、前記動きに基づき、前記投影映像に変形を加える補償映像生成部とを備える。

本発明にあっては、プロジェクションマッピングにおいて、動いている物体に映像をズレなく投影することができる。

動く対象物体への投影を想定した従来のプロジェクションマッピング装置の構成例を示す図である。 遅延の発生の例を示す図である。 本発明の一実施形態にかかるプロジェクションマッピング装置の構成例を示す図である。 遅延補償装置の構成例を示す図である。 実施形態の処理例を示すフローチャートである。 オプティカルフロー取得の説明図である。 遅延補償の例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図３は本発明の一実施形態にかかるプロジェクションマッピング装置１０の構成例を示す図である。

図３において、プロジェクションマッピング装置１０は、図１に示した、遅延時間によりズレの生ずるプロジェクションマッピング装置１に対し、遅延補償装置（コンピュータ装置）５と高速度赤外線カメラ６とが追加されたものとなっている。すなわち、映像投影制御装置２から投影装置４へ映像信号が伝達される経路に遅延補償装置５が配置されている。なお、映像投影制御装置２と遅延補償装置５とを同一のコンピュータ装置により構成してもよい。

高速度赤外線カメラ６は、投影装置４による投影映像に撮影が影響されないようにするとともに、光源が観客に見えないようにするため、赤外線を用いている。なお、必要に応じて赤外線光源を設置することができる。また、高速度赤外線カメラ６は、対象物体Ｏの動きの推定を高精度で行えるようにするため、投影装置４のフレームレートよりも高いフレームレートで撮影を行えるようにしている。なお、対象物体Ｏとしては、剛体（並進により位置が変わり、回転により姿勢が変化するのみ）に限らず、形状が変化する任意のもの（非剛体）とすることができる。

図４は遅延補償装置５の構成例を示す図である。図４において、遅延補償装置５は、オプティカルフロー取得部５１と動き予測部５２と補償映像生成部５３とを備えている。

オプティカルフロー取得部５１は、高速度赤外線カメラ６の撮影映像から対象物体Ｏ（図３）の撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求める機能を有している。

動き予測部５２は、予め見積もられてデータとして保持されている遅延時間に基づき、オプティカルフロー取得部５１により求められた動きベクトルから撮影映像上のピクセル単位の遅延時間分の動きを求める機能を有している。

補償映像生成部５３は、動き予測部５２により求められた遅延時間分の動きに基づき、映像投影制御装置２からの投影映像に変形を加える機能を有している。

＜動作＞
図５は上記の実施形態の処理例を示すフローチャートである。

図５において、遅延補償装置５のオプティカルフロー取得部５１は、高速度赤外線カメラ６の撮影映像を取得すると（ステップＳ１０１）、撮影映像を複数のブロックに分割し、時系列画像の位相限定相関によりブロック毎の単位時間あたりの動きベクトルを取得する（ステップＳ１０２）。ブロック毎に動きベクトルを取得するのは、対象物体Ｏの形状や動き等は特定せずに未知のものとして対応するためである。

位相限定相関は、フーリエ変換された信号情報のうち位相情報のみを用いて画像間の位相差をサブピクセル精度で求めるものである。図６（ａ）は、格子状に分割された各ブロックについて取得された動きベクトルを矢印で示している。なお、動きベクトルの取得のための処理は、動きのあるブロック（時系列画像に差があるブロック）についてのみ行えばよい。

なお、非剛体の動きに対応するため、原則としてブロックは小さな方が有利であるが、細かく分割しすぎると、ブロック内の画像に特徴がなくなり、動きを推定するのに十分な情報が得られない場合が生じてくる。そのため、ブロック分割時のブロックサイズは可変とし、オプティカルフローの精度に応じてブロックサイズの拡大・縮小を行う。

次いで、図５に戻り、オプティカルフロー取得部５１は、ブロック単位に空間的平滑化を行う（ステップＳ１０３）。すなわち、動きベクトルの算出されないブロックについては周囲から補間を行うとともに、異常な値を示す動きベクトルについて周囲のブロックの動きベクトルの値によって平滑化を行う。これにより、安定したフローを求める。

次いで、オプティカルフロー取得部５１は、ブロック単位に時系列的平滑化を行う（ステップＳ１０４）。すなわち、時間的に連続するフレームについて求めた動きベクトルの値に基づいて平滑化を行う。図６（ｂ）は、時刻ｔ、ｔ＋１、ｔ＋２と連続するフレームについて、動きベクトルが異常な変化をしないように、滑らかに変化するようにした例を示している。

次いで、図５に戻り、オプティカルフロー取得部５１は、ブロックからピクセル単位へ動きベクトルを変換する（ステップＳ１０５）。すなわち、あるブロック内のピクセルについてはそのブロックと同じ動きベクトルを設定する。図６（ｃ）は、あるブロックについてピクセル単位に動きベクトルを設定した様子を示している。

次いで、図５に戻り、オプティカルフロー取得部５１は、ピクセル単位に動きベクトルの平滑化を行う（ステップＳ１０６）。すなわち、周囲のピクセルの動きベクトルの値によって平滑化を行う。

次いで、動き予測部５２は、見積もられた遅延時間に応じたピクセル単位の動きを予測する（ステップＳ１０７）。予測式は単純な等速度モデルによる線形予測を基本とするが、フロー推定が十分に高速（例えば、プロジェクタのフレームレートが６０ｆｐｓに対してフロー推定が１２０ｆｐｓ以上）かつ安定して行える場合には、等加速度モデルを用いた予測を行う。

次いで、補償映像生成部５３は、映像投影制御装置２から入力される投影映像に対し、ピクセル単位に投影映像を変形する（ステップＳ１０８）。すなわち、ピクセル毎に求められた動きに従い、ピクセル情報を移動させることで遅延補償後の投影映像を生成する。その際、ピクセル単位での移動では投影映像の全ピクセル情報を埋めることができないため、各ピクセルの近傍ピクセルも含めて移動を行う。補償映像生成部５３によりピクセル単位に変形された投影映像は、遅延補償後の投影映像として投影装置４に供給され、投影装置４から対象物体Ｏを含む空間に対して投影される。

その後、撮影映像の取得（ステップＳ１０１）から処理を繰り返す。

図７は上述した実施形態による遅延補償の例を示す図であり、一例として、対象物体Ｏとして人の手の位置・形状を認識し、何らかのコンテンツの映像を投影するものとしている。例えば、時刻ｔでセンサ３により検出された手の位置・形状に基づいて時刻ｔ＋１付近で映像投影制御装置２から投影映像が出力されたとする。

一方、遅延補償装置５は、高速度赤外線カメラ６により時刻ｔ、ｔ＋１等の撮影映像から時刻ｔ＋２における手の位置・形状への動きを推定し、映像投影制御装置２の投影映像に対して遅延補償を行い、投影装置４に出力する。その結果、時刻ｔ＋２における実際の手の位置・形状に投影映像がぴったりと合うことになり、ズレはなくなる。

なお、図７では遅延補償前の投影映像と遅延補償後の投影映像とを対比するために、遅延補償前の投影映像に遅延補償後の投影映像とを対応付けて示したが、遅延補償後の投影映像は最大で高速度赤外線カメラ６の撮影レートで生成（アップサンプリング）することができるため、投影装置４の更新速度が許す限り、映像出力レートを向上することができる。その結果、対象物体Ｏと投影映像とのズレをよりいっそう軽減することができる。

＜総括＞
以上説明したように、本実施形態によれば、プロジェクションマッピングにおいて、動いている物体に映像をズレなく投影することができる。

そのため、動いているものへの映像投影の精度を向上させることが可能となり、現状のプロジェクションマッピングでは静止しているものに投影が限られていた対象を大幅に広げることができる。

例えば、
・触って体験できる博物館の展示や商品ディスプレイ、娯楽
・舞台上の役者／アーティストへの映像投影による演出
・人体の内部を透過表現するＡＲによる手術補助
・模型を使った対話的なデザイン検討
・手軽に身近な環境（室内やポータブルプロジェクタ）を使って実現できる簡易ＡＲ
等に適用することが可能である。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１、１０ プロジェクションマッピング装置
２ 映像投影制御装置
３ センサ
４ 投影装置
５ 遅延補償装置
５１ オプティカルフロー取得部
５２ 動き予測部
５３ 補償映像生成部
６ 高速度赤外線カメラ

Claims (7)

1. 対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、
   前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得部と、
   前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測部と、
   前記動きに基づき、前記投影映像に変形を加える補償映像生成部と
   を備えたことを特徴とするプロジェクションマッピング装置。
2. 請求項１に記載のプロジェクションマッピング装置において、
   前記撮影は、赤外線カメラにより行う
   ことを特徴とするプロジェクションマッピング装置。
3. 請求項１または２のいずれか一項に記載のプロジェクションマッピング装置において、
   前記撮影は、前記投影映像のフレームレートよりも高いフレームレートで行う
   ことを特徴とするプロジェクションマッピング装置。
4. 請求項１乃至３のいずれか一項に記載のプロジェクションマッピング装置において、
   前記オプティカルフロー取得部は、
   前記撮影映像を複数のブロックに分割し、時系列画像の位相限定相関によりブロック毎の動きベクトルを取得し、
   ブロック単位に動きベクトルの空間的平滑化を行い、
   ブロック単位に動きベクトルの時系列的平滑化を行い、
   ブロックからピクセル単位の動きベクトルに変換し、
   ピクセル単位に動きベクトルの平滑化を行う
   ことを特徴とするプロジェクションマッピング装置。
5. 対象物体を検出し当該対象物体に投影映像を投影するプロジェクションマッピング装置に適用される遅延補償装置であって、
   前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得部と、
   前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測部と、
   前記動きに基づき、前記投影映像に変形を加える補償映像生成部と
   を備えたことを特徴とする遅延補償装置。
6. 対象物体を検出し当該対象物体に投影映像を投影するプロジェクションマッピング装置に適用される遅延補償装置が実行する方法であって、
   前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得工程と、
   前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測工程と、
   前記動きに基づき、前記投影映像に変形を加える補償映像生成工程と
   を備えたことを特徴とする遅延補償方法。
7. 対象物体を検出し当該対象物体に投影映像を投影するプロジェクションマッピング装置に適用される遅延補償装置を構成するコンピュータを、
   前記対象物体を撮影した撮影映像から、前記対象物体の前記撮影映像上のピクセル単位の単位時間あたりの動きベクトルを求めるオプティカルフロー取得手段、
   前記検出から前記投影までの遅延時間に基づき、前記動きベクトルから前記撮影映像上のピクセル単位の前記遅延時間分の動きを求める動き予測手段、
   前記動きに基づき、前記投影映像に変形を加える補償映像生成手段
   として機能させる遅延補償プログラム。