JP2016149618A - 画像投影システム、プロジェクタ、およびプログラム - Google Patents

Abstract

【課題】投影先オブジェクトに対してコンテンツ画像の位置合わせを容易に行うことができるようにする。【解決手段】画像投影システムは、所定のコンテンツ画像をオブジェクト上に投影する投影部と、撮像光学系の光軸が投影部の投影光学系の光軸と同軸となるように配置され、投影部により投影されたコンテンツ画像を撮像する撮像部とを備える。本技術は、例えば、プロジェクタ等に適用できる。【選択図】図１

Description

本技術は、画像投影システム、プロジェクタ、およびプログラムに関し、特に、投影先オブジェクトに対してコンテンツ画像の位置合わせを容易に行うことができるようにする画像投影システム、プロジェクタ、およびプログラムに関する。

近年、建築物等の３次元オブジェクトに画像を投影するプロジェクションマッピングが盛んになってきている。プロジェクションマッピングでは、投影先である３次元オブジェクトに対して投影画像を合わせる作業が難しく、例えば、投影画像の歪みや位置ずれを容易に補正できることを目的としたアプリケーションなどが提案されている（例えば、特許文献１参照）。

特開２０１３−１１８５９６号公報

本技術は、このような状況に鑑みてなされたものであり、投影先オブジェクトに対してコンテンツ画像の位置合わせを容易に行うことができるようにするものである。

本技術の第１の側面の画像投影システムは、所定のコンテンツ画像をオブジェクト上に投影する投影部と、撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部とを備える。

本技術の第２の側面のプロジェクタは、所定のコンテンツ画像をオブジェクト上に投影する投影部と、撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部とを備える。

本技術の第１及び第２の側面においては、所定のコンテンツ画像が、投影部からオブジェクト上に投影され、撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像が撮像部によって撮像される。

本技術の第３の側面のプログラムは、コンピュータに、所定のコンテンツ画像をオブジェクト上に投影する投影部を制御し、撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部を制御するステップを含む処理を実行させる。

本技術の第３の側面においては、所定のコンテンツ画像をオブジェクト上に投影する投影部が制御され、撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部が制御される。

本技術の第１乃至第３の側面によれば、投影先オブジェクトに対してコンテンツ画像の位置合わせを容易に行うことができる。

本技術を適用した画像投影システムの第１の実施の形態の構成例を示す図である。 図１の画像投影システムの制御に関するブロック図である。 図２の画像処理装置としてのコンピュータのハードウエア構成例を示すブロック図 キャリブレーション処理について説明する図である。 キャリブレーション処理について説明する図である。 キャリブレーション処理を説明するフローチャートである。 コンテンツ画像生成処理を説明するフローチャートである。 ステップＳ２３におけるコンテンツ画像の生成を説明する図である。 コンテンツ画像投影処理を説明するフローチャートである。 コンテンツ画像の投影例を示す図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 画像投影システムのメリットについて説明する図である。 オブジェクトの距離情報の算出について説明する図である。 オブジェクトの距離情報の算出について説明する図である。 オブジェクトの距離情報の算出について説明する図である。 オブジェクトの距離情報の利用例について説明する図である。 本技術を適用した画像投影システムの第２の実施の形態の構成例を示す図である。 本技術を適用した画像投影システムの第３の実施の形態の構成例を示す図である。 本技術を適用した画像投影システムの第３の実施の形態の構成例を示す図である。 画像投影と撮像を時分割制御する場合のその他の構成例を説明する図である。 画像投影と撮像を時分割制御する場合のその他の構成例を説明する図である。 画像投影と撮像を時分割制御する場合のその他の構成例を説明する図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置と投影装置が一体化された構成例）
２．第２の実施の形態（撮像装置と投影装置が分離された構成例）
３．第３の実施の形態（投影と撮像を時分割制御する構成例）

＜１．第１の実施の形態＞
＜画像投影システムの構成例＞
図１は、本技術を適用した画像投影システムの第１の実施の形態の構成例を示している。

図１の画像投影システム１は、プロジェクションマッピングなどに好適なシステムであり、画像処理装置１１とプロジェクタ（画像投影装置）１２とを含んで構成される。プロジェクタ１２は、投影対象となるオブジェクト１３上に、画像処理装置１１から供給されるコンテンツ画像を投影する。オブジェクト１３は、スクリーンなどの２次元オブジェクトや、建築物等の３次元オブジェクトである。

画像処理装置１１は、ユーザの操作に基づいて、投影するコンテンツ画像を生成、編集、保存する。また、画像処理装置１１は、コンテンツ画像をプロジェクタ１２に供給する。

プロジェクタ１２は、投影部２１、投影光学部２２、ハーフミラー２３、撮像部２４、撮像光学部２５、及び、３軸ステージ２６を少なくとも有する。

投影部２１は、例えば、液晶パネル、光源等により構成され、画像処理装置１１から供給される画像信号に基づいて所定のコンテンツ画像を投影する。投影光学部２２は、１枚以上の光学レンズを含んで構成され、投影部２１から出射された画像光のフォーカスやズーム（倍率）を調整する。

ハーフミラー２３は、投影部２１から出射された画像光を透過させるとともに、プロジェクタ１２の外部から入射される光については反射させることによりオブジェクト１３上に投影されたコンテンツ画像を撮像部２４に入射させる。

撮像部２４は、例えば、CCD(Charge CoupLED Device)やCMOS（Complementary Metal Oxide Semiconductor）センサ等の撮像素子で構成され、撮像光学部２５により集光されたオブジェクト１３上の投影画像を撮像する。撮像光学部２５は、１枚以上の光学レンズを含んで構成され、被写体からの入射光を、撮像部２４の撮像面上に結像する。

３軸ステージ２６は、X軸、Y軸、及びZ軸の３軸方向の移動が可能なステージであり、撮像部２４の位置を調整可能である。なお、３軸ステージ２６に代えて、２軸の移動機構や、回転機構（θ軸）をさらに備える移動機構を用いてもよい。

本実施の形態においては、後述するように、画像処理装置１１からの制御により、３軸ステージ２６を駆動（移動）させることが可能であるとするが、ユーザが３軸ステージ２６を手動で調整する構成としてもよい。

プロジェクタ１２においては、投影部２１から投影されるコンテンツ画像の中心（投影画像の光軸）と、撮像部２４の撮像範囲の中心（撮像光の光軸）が一致するように、３軸ステージ２６が調整される。

＜画像投影システムの制御ブロック図＞
図２は、画像投影システム１の制御に関するブロック図である。

画像処理装置１１は、制御部５１、記憶部５２、通信部５３、表示部５４、及び、操作部５５を有する。

画像処理装置１１の制御部５１は、CPU（Central Processing Unit）、RAM（Random Access Memory）、DSP (Digital Signal Processor)、ROM（Read Only Memory）等により構成され、画像処理装置１１全体の処理を制御する。制御部５１においては、操作部５５から供給されるユーザが行った所定の操作を表す操作信号や、通信部５３から供給される制御信号や画像信号などが、必要に応じて制御のトリガーとされる。

制御部５１は、例えば、駆動制御部６１、投影画像処理部６２、表示部画像処理部６３、キャリブレーション処理部６４などを有する。

駆動制御部６１は、プロジェクタ１２の投影光学部２２、撮像光学部２５、及び、３軸ステージ２６を駆動するための駆動制御信号や、撮像部２４の撮像タイミング等を決定する撮像制御信号を生成し、通信部５３を介してプロジェクタ１２に供給する。

投影画像処理部６２は、投影部２１から出射されるコンテンツ画像（投影画像）の処理を行う。例えば、投影画像処理部６２は、投影部２１から出射されるコンテンツ画像の記憶部５２への保存や読み出し、コンテンツ画像の編集処理、輝度変換処理や色調変換処理などを行う。

表示部画像処理部６３は、表示部５４に表示させる表示画像の処理を行い、その画像信号を表示部５４に供給する。

キャリブレーション処理部６４は、投影部２１から投影されるコンテンツ画像の中心（投影光学系の光軸）と、撮像部２４の撮像範囲の中心（撮像光学系の光軸）を一致させるキャリブレーション処理を制御する。

なお、これらの機能ブロックの分類はあくまで便宜的なものであって、必ずしも例示したように機能が分かれている必要はなく、本明細書で説明する機能（処理）が実行可能に構成されていればよい。また、各機能ブロックは、必要に応じて相互にデータを授受することが可能とされている。

記憶部５２は、例えば、ハードディスクや半導体メモリ等で構成され、制御部５１によって実行される画像処理装置１１の動作を制御するプログラムや、投影用のコンテンツ画像データ、キャリブレーション用の画像データなどを記憶する。

通信部５３は、例えば、USB（Universal Serial Bus）ケーブルなどでプロジェクタ１２と接続されており、制御部５１から供給される制御信号や画像信号をプロジェクタ１２に供給するとともに、プロジェクタ１２から供給される制御信号や撮像信号を制御部５１に供給する。通信部５３は、有線通信ではなく、無線通信により各種の信号を授受する構成としてもよい。また、通信部５３は、LAN（Local Area Network）やインターネットなどのネットワークに接続するネットワークインタフェースを有していても良い。

表示部５４は、例えば、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等で構成され、表示部画像処理部６３から供給される画像信号に基づいて、所定の画像を表示する。なお、表示部５４は、画像処理装置１１とは別に設けられていてもよい。

操作部５５は、例えば、スイッチ、ボタン、キーボード、ポインティングデバイスなどで構成され、ユーザが行う所定の操作を受け付け、その操作に対応する操作信号を制御部５１に供給する。

プロジェクタ１２は、投影部２１、投影光学部２２、ハーフミラー２３（図１）、撮像部２４、撮像光学部２５、及び、３軸ステージ２６に加えて、画像信号取得部７１、レンズ駆動部７２、撮像制御部７３、及びステージ駆動部７４を備える。

画像信号取得部７１は、通信部５３を介して画像処理装置１１の制御部５１から供給される、投影用の画像信号を取得し、投影部２１に供給する。投影部２１は、画像信号取得部７１から供給される画像信号に基づいて所定のコンテンツ画像を投影する。

レンズ駆動部７２は、通信部５３を介して制御部５１から供給される駆動信号に基づいて、投影光学部２２のフォーカスレンズまたはズームレンズを駆動する。同様に、レンズ駆動部７２は、通信部５３を介して制御部５１から供給される駆動信号に基づいて、撮像光学部２５のフォーカスレンズまたはズームレンズを駆動する。

また、レンズ駆動部７２は、投影光学部２２及び撮像光学部２５のフォーカスリングとズームリングの位置を示すリング位置情報（リング位置を検出するエンコーダの位置情報）を取得し、通信部５３を介して制御部５１に供給する。このリング位置情報が分かれば、リング位置情報に対応する焦点距離を求めることが可能であるので、画像処理装置１１の制御部５１は、供給されたリング位置情報に基づいて、ピント位置までの距離を算出することができる。

撮像制御部７３は、通信部５３を介して制御部５１から供給される撮像制御信号に基づいて、撮像部２４が撮像するタイミング、フレームレートや解像度などを決定し、撮像部２４を制御する。

また、撮像制御部７３は、撮像部２４から供給される撮像信号に対して、必要に応じて所定の信号処理を行った後、画像処理装置１１の通信部５３に供給する。通信部５３に供給された撮像信号は、制御部５１に供給される。撮像制御部７３が行う信号処理としては、例えば、通信部５３が受け入れ可能な所定のフォーマットに変換する処理などが挙げられるが、これに限られない。

ステージ駆動部７４は、通信部５３を介して制御部５１から供給される駆動制御信号に基づいて、３軸ステージ２６を駆動する。

画像処理装置１１とプロジェクタ１２は、以上のような構成とされている。

なお、画像処理装置１１は、専用のハードウエアとして構築することもできるし、例えば、汎用のパーソナルコンピュータなどで構成することもできる。

図３は、画像処理装置１１が行う処理をコンピュータ（パーソナルコンピュータ）により実行させる場合の、画像処理装置１１としてのコンピュータのハードウエア構成例を示すブロック図である。

コンピュータにおいて、CPU１０１，ROM１０２，RAM１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、USB（Universal Serial Bus）の規格に基づくUSB I/F(Inter Face)、IEEE（Institute of Electrical and Electronic Engineers）1394の規格に基づくIEEE1394 I/F、およびLAN（Local Area Network）接続用のNIC(Network Interface Card)などで構成される。通信部１０９は、上述した有線の通信の他、無線による通信を行うものでもよく、例えば、IEEE802.11a，802.11b、および802.11gなどの無線LAN（Local Area Network）、またはBluetooth（登録商標）等、様々なその他の通信方式でもよい。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、以下で詳述する一連の処理が行われる。

コンピュータで実行されるプログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜キャリブレーション処理＞
次に、図４乃至図６を参照して、投影光学系の光軸と、撮像光学系の光軸が一致するように調整するキャリブレーション処理について説明する。

キャリブレーション処理では、画像処理装置１１は、図４Aに示される光軸調整用のパターン画像１５１をプロジェクタ１２の投影部２１から投影させる。図４Aに示される光軸調整用のパターン画像１５１には、画像の上下左右方向の中心を通る十字ライン１５２が形成されている。

そして、スクリーンなどのオブジェクト１３上に投影されたパターン画像１５１が、撮像部２４により撮像される。パターン画像１５１を撮像した撮像信号は、画像処理装置１１に供給され、表示部５４に表示される。

図４Bは、光軸調整前の所定の状態において、投影されたパターン画像１５１を撮像した撮像画像１６１を示している。撮像画像１６１には、撮像範囲の上下左右方向それぞれの撮像中心を示す撮像中心線１６２が、破線で重畳表示されている。

図４Bの撮像画像１６１に含まれるパターン画像１５１の十字ライン１５２の交点と、撮像中心線１６２の交点とのずれが、投影光学系と撮像光学系の光軸のずれを表す。制御部５１は、この光軸のずれがなくなるように、即ち、パターン画像１５１の十字ライン１５２の交点と、撮像中心線１６２の交点が一致するように、プロジェクタ１２の３軸ステージ２６を移動させる。

図４を参照して説明した交点調整処理は、例えば、図５に示されるように、プロジェクタ１２からオブジェクト１３までの距離が、距離Aだけ離れたオブジェクト１３Aの位置、距離Bだけ離れたオブジェクト１３Bの位置、距離Cだけ離れたオブジェクト１３Cの位置それぞれで行われる。

なお、図５の例は、プロジェクタ１２からオブジェクト１３までの距離が異なる３か所で、パターン画像１５１の十字ライン１５２の交点（投影光学系の光軸）と、撮像中心線１６２の交点（撮像光学系の光軸）を合わせる交点調整処理を行う例であるが、交点調整処理は少なくとも２か所の位置で行えばよい。また、キャリブレーション処理を行う場合のオブジェクト１３としては、２次元となるスクリーンなどが好適である。

図６は、画像投影システム１により実行されるキャリブレーション処理のフローチャートを示している。

この処理では、初めに、ステップＳ１において、画像処理装置１１の制御部５１は、記憶部５２に格納されている、光軸調整用のパターン画像１５１を読み出し、プロジェクタ１２に供給する。

ステップＳ２において、プロジェクタ１２の投影部２１は、画像処理装置１１から供給された光軸調整用のパターン画像１５１をスクリーンなどのオブジェクト１３上に投影する。

ステップＳ３において、撮像部２４は、オブジェクト１３上に投影されたパターン画像１５１を撮像する。撮像の結果得られた撮像信号は、画像処理装置１１の制御部５１に供給される。

ステップＳ４において、画像処理装置１１の制御部５１は、プロジェクタ１２から供給されたパターン画像１５１の撮像画像に基づいて、レンズ駆動部７２に駆動信号を供給し、撮像光学部２５のフォーカスレンズを駆動する。そして、制御部５１は、例えば、コントラスト法によりピント位置を探索し、パターン画像１５１に対して、フォーカスを合わせる。

なお、ステップＳ４の処理では、パターン画像１５１のフォーカス調整の他、必要に応じて、投影光学部２２のフォーカスレンズも駆動して、投影画像のフォーカスも調整してもよい。

ステップＳ５において、制御部５１は、図４を参照して説明したように、撮像画像１６１に含まれるパターン画像１５１の十字ライン１５２の交点と、撮像中心線１６２の交点とのずれで表される、投影光学系と撮像光学系の光軸のずれ量を算出する。

ステップＳ６において、制御部５１は、算出された光軸のずれ量が、予め設定した所定の範囲内であるかを判定する。

ステップＳ６で、算出された光軸のずれ量が、予め設定した所定の範囲内ではないと判定された場合、処理はステップＳ７に進み、制御部５１は、算出された光軸のずれ量に応じて、プロジェクタ１２の３軸ステージ２６を移動させる。

ステップＳ６の実行後、処理はステップＳ３に戻り、上述したステップＳ３乃至Ｓ６が繰り返される。従って、ステップＳ６で、算出された光軸のずれ量が予め設定した所定の範囲内であると判定されるまで、プロジェクタ１２の３軸ステージ２６の位置が調整される。

そして、ステップＳ６で、算出された光軸のずれ量が予め設定した所定の範囲内であると判定された場合、処理はステップＳ８に進み、制御部５１は、プロジェクタ１２からオブジェクト１３までの距離を変えて、予め設定した所定の回数だけ、上述したステップＳ３乃至Ｓ６の交点調整処理を実行したかを判定する。

ステップＳ８で、ステップＳ３乃至Ｓ６の交点調整処理を、予め設定した所定の回数だけ実行していないと判定された場合、処理はステップＳ３に戻される。そして、プロジェクタ１２からオブジェクト１３までの距離が変更された上で、上述したステップＳ３乃至Ｓ８の交点調整処理が再度実行される。

一方、ステップＳ８で、交点調整処理を、予め設定した所定の回数だけ実行したと判定された場合、キャリブレーション処理は終了される。

以上のキャリブレーション処理が実行されることにより、投影光学系と撮像光学系の光軸が同軸に調整される。

なお、撮像部２４の撮像範囲（画角サイズ）は、プロジェクタ１２の投影範囲が少なくとも含まれる範囲であればよく、撮像部２４の撮像範囲とプロジェクタ１２の投影範囲が一致していてもよい。

＜コンテンツ画像生成処理＞
次に、図７のフローチャートを参照して、プロジェクタ１２が投影するコンテンツ画像を生成するコンテンツ画像生成処理について説明する。

初めに、ステップＳ２１において、画像処理装置１１の制御部５１は、ユーザの操作に基づいて、コンテンツ画像生成アプリケーションを起動させる。コンテンツ画像生成アプリケーションは、投影画像を生成するためのCG画像（CG:computer graphics）を生成するソフトウエアであり、その操作方法は、例えば、一般にドローソフトウエア（drawing software）やペイントソフトウエアなどと呼ばれる画像描画アプリケーションと同様である。

ステップＳ２２において、プロジェクタ１２の撮像部２４は、制御部５１からの制御信号に基づいて、投影部２１が画像を投影する場所、即ち、投影対象のオブジェクト１３にフォーカスを合わせ、撮像する。

ステップＳ２３において、画像処理装置１１の制御部５１は、通信部５３を介してプロジェクタ１２から送信されてくる撮像画像を取得し、表示部５４に表示させる。

ステップＳ２２の処理が行われるのは、上述したキャリブレーション処理が実行された後である。したがって、プロジェクタ１２において投影光学系と撮像光学系の光軸は一致しており、撮像部２４の撮像範囲に、プロジェクタ１２の投影範囲が少なくとも含まれる状態となっている。

撮像部２４の撮像範囲とプロジェクタ１２の投影範囲が一致している場合には、表示部５４に表示された撮像画像全体が、プロジェクタ１２の投影範囲となる。撮像部２４の撮像範囲がプロジェクタ１２の投影範囲よりも大きい場合、制御部５１は、破線の矩形領域を撮像画像に重畳させることによりプロジェクタ１２の投影範囲を表示部５４に表示させることができる。あるいは、制御部５１は、画像処理により撮像画像のなかから投影範囲の領域だけを抽出して、表示部５４に表示させても良い。撮像画像におけるプロジェクタ１２の投影範囲は、投影対象のオブジェクト１３までの距離が分かれば求めることができ、投影対象のオブジェクト１３までの距離は、投影光学部２２または撮像光学部２５のリング位置情報に基づいて焦点距離を算出することで求めることができる。

ステップＳ２４において、制御部５１は、ユーザの入力に基づいて、投影画像となるコンテンツ画像を生成する。即ち、操作部５５は、ユーザによって入力された、投影画像となるコンテンツ画像の指示を受け付け、制御部５１に供給する。制御部５１は、操作部５５からのコンテンツ画像の指示に基づいて、コンテンツ画像を生成し、表示部５４に表示させる。

ステップＳ２５において、制御部５１は、作成したコンテンツ画像を保存する操作がユーザによって行われると、その操作に基づいて、作成されたコンテンツ画像を記憶部５２に保存する。

図８を参照して、ステップＳ２４におけるコンテンツ画像の生成について説明する。

図８Aの画像１８０は、コンテンツ画像生成アプリケーションによって、表示部５４に表示された画像を示している。

表示部５４に表示された画像１８０には、撮像部２４により撮像された撮像画像１８１と、プロジェクタ１２の投影範囲を表す投影範囲指示線１８２が表示されている。撮像画像１８１には、３本の木が映っている。

例えば、撮像画像１８１に含まれる３本の木のうち、右側の木には赤色の光を投影し、真ん中の木には黄色の光を投影し、左側の木には青色の光を投影する場合、図８Bに示されるように、赤色を指定した領域１９１R、黄色を指定した領域１９１Y、及び、青色を指定した領域１９１Bが、ユーザの入力に基づいて形成される。

そして、ユーザによって、作成したコンテンツ画像を保存する操作が行われると、図８Cに示されるようなコンテンツ画像１９２が記憶部５２に記憶される。

以上のように、コンテンツ画像生成アプリケーションでは、撮像部２４で撮像された撮像画像を背景画像として表示させ、表示された背景画像に重畳させるようにしてコンテンツ画像を生成することができる。

なお、図８で説明した例では、最も単純な例として、コンテンツ画像１９２が１枚の静止画像であるように説明したが、コンテンツ画像生成アプリケーションでは、勿論、動画像も生成することができる。

＜コンテンツ画像投影処理＞
次に、図９のフローチャートを参照して、生成されたコンテンツ画像を投影するコンテンツ画像投影処理について説明する。

このコンテンツ画像投影処理が開始される状態では、プロジェクタ１２は、投影対象のオブジェクト１３に対して正しく設置されているものとする。プロジェクタ１２を設置する際にも、投影光学系と撮像光学系の光軸が合致しているので、撮像部２４で撮像された画像を見ながら投影対象を確認することができる。そのため、プロジェクタ１２の設置を正確かつ迅速に行うことが可能となる。また例えば、以前に設置したときの撮影画像と比較したり、撮像中心等の位置を目標点に合わせるなどすることで、目標の位置に正確かつ迅速に行うことが可能となる。したがって、投影先オブジェクトに対するコンテンツ画像の位置合わせを容易に行うことができる。

なお、プロジェクタ１２には、装置全体の位置を調整するステージ機構が備えられていても良い。

初めに、ステップＳ４１において、画像処理装置１１の制御部５１は、記憶部５２に格納されているコンテンツ画像を取得し、通信部５３を介して、プロジェクタ１２に供給する。

ステップＳ４２において、プロジェクタ１２の投影部２１は、画像信号取得部７１を介して画像処理装置１１から供給されたコンテンツ画像を投影する。

ステップＳ４３において、プロジェクタ１２の撮像部２４は、投影部２１がコンテンツ画像を投影している投影範囲を少なくとも含む所定の被写体を撮像する。撮像部２４により得られた撮像信号は、撮像制御部７３等を介して、画像処理装置１１の制御部５１に供給される。

ステップＳ４４において、制御部５１は、撮像部２４により得られた撮像画像に基づいて、次に投影するコンテンツ画像を調整（編集）する。調整後のコンテンツ画像が、通信部５３を介してプロジェクタ１２に供給される。

ステップＳ４４の実行後、処理はステップＳ４２に戻り、コンテンツ画像の投影処理が終了指示されるまで、上述したステップＳ４２乃至Ｓ４４の処理が繰り返される。

以上のように、画像投影システム１によれば、投影したコンテンツ画像を撮像し、撮像画像に基づいて、次に投影するコンテンツ画像をリアルタイムに調整し、投影させることができる。

これにより、例えば、図１０に示されるようなコンテンツ画像の投影が可能となる。

図１０の撮像画像２０１では、投影部２１の投影範囲に含まれる猫２１１に所定の画像２２１が投影されている状態が撮像されている。

そして、撮像画像２０２のように、猫２１１が移動した場合には、例えば、ユーザが、操作部５５の一種であるマウスで表示部５４に表示された所定の画像２２１をドラッグ操作するなどして、移動後の猫２１１の位置に、画像２２１を移動させる。制御部５１は、移動後の猫２１１の位置に所定の画像２２１を移動させたコンテンツ画像となるように、次に投影するコンテンツ画像を調整し、通信部５３を介してプロジェクタ１２に供給する。これにより、撮像画像２０３で示されるように、移動後の猫２１１の位置に所定の画像２２１が投影される。

上述した例は、マウスを使って手動で（ユーザの指示に基づいて）コンテンツ画像をリアルタイムに調整する例であるが、制御部５１がオブジェクト動き検出処理などを行うことにより、自動で（ユーザの指示がなくても）同様の処理を行わせることも可能である。

また、仮に、撮像画像内に動きがない場合であって、例えば、舞台上のスポットライトのように、投影された画像が変化するように、コンテンツ画像を調整することもできる。

画像投影システム１のプロジェクタ１２によれば、投影光学系と撮像光学系の光軸が合致しているので、撮像画像に基づいて投影するコンテンツ画像を調整する場合に、撮像方向と投影方向の違いや、投影装置と撮影装置の設置場所の違いなどにより通常発生する、画像の歪み補正や座標変換などの演算を行う必要がないので、より正確及び高速に、コンテンツ画像を調整することができる。

なお、上述したコンテンツ画像投影処理では、投影されたコンテンツ画像を撮像した撮像画像に基づいて、次に投影するコンテンツ画像に、必要に応じて所定の画像処理を行う例について説明したが、プロジェクタ１２は、一般的なプロジェクタのように、予め記憶されたコンテンツ画像を、単純に（撮像画像のフィードバックなしに）投影することも勿論可能である。

＜画像投影システム１のメリット＞
図１１乃至図１７を参照して、画像投影システム１のメリットについてさらに説明する。

例えば、図８で説明したような、３本の木を投影対象として、コンテンツ画像を投影する場合を例に説明する。

図１１は、投影対象を上から見たときの、投影対象としての３本の木と、プロジェクタの位置関係を示している。

一般に、プロジェクタによりコンテンツ画像を投影する場合、コンテンツ画像の投影方向と、投影されたコンテンツ画像をユーザが見る方向（視認方向）は異なる。

例えば、図１１に示されるように、視認方向は投影対象としての３本の木を正面から見る方向であるのに対して、プロジェクタの投影方向は、３本の木より右側手前の位置から左側に所定角度向けた方向である。

コンテンツ画像の投影方向と視認方向との角度の違いにより、図１２に示されるように、投影するコンテンツ画像は歪みが発生していないにも拘らず、図１３に示されるように、ユーザがコンテンツ画像を見た場合には、投影画像は歪んで見えてしまう。

従って、仮に、図８Cに示したようなコンテンツ画像１９２を生成し、投影した場合、図１４に示されるように投影される。

図１４は、視認方向から投影対象を見た概念図である。

プロジェクタから投影対象のオブジェクトまでの距離が遠いと、投影範囲が拡大するので、図１４に示されるように、プロジェクタから遠い木ほど、投影された画像が拡がるような画像となる。

従来は、図１４に見られるようなコンテンツ画像の投影方向と視認方向との角度の違いにより発生する投影画像のずれを試行錯誤的に調整する必要があり、調整作業に多くの時間と労力を要していた。また、プロジェクタの設置場所が変更されると、その位置に応じて同様の調整作業が再度必要となる。

図１５乃至図１７は、本技術を適用した画像投影システム１を用いた場合の処理を説明する図である。

画像投影システム１のプロジェクタ１２では、投影部２１の投影光学系と、撮像部２４の撮像光学系の光軸が一致しているので、撮像部２４によって、図１５に示されるような撮像画像２４１が得られる。

そして、画像処理装置１１で実行されるコンテンツ画像生成アプリケーションでは、図８を参照して説明したように、撮像部２４で撮像された撮像画像２４１を背景画像として表示させ、表示された背景画像に重畳させるようにしてコンテンツ画像を生成することができるので、図１６に示されるように、３本の木それぞれの大きさに応じた投影領域２６１乃至２６３を簡単に指定することができる。

このようにして作成されたコンテンツ画像を投影部２１から投影した場合、図１７に示されるように、視認方向から見て、投影対象の３本の木と投影領域２６１乃至２６３とのずれがないコンテンツ画像の投影が可能となる。

従って、本技術によれば、投影先オブジェクトに対してコンテンツ画像の位置合わせを容易に行うことができる。

また、投影光学系と撮像光学系の光軸が一致していない場合には、次のような問題も起こり得る。

図１８は、投影対象の３つのオブジェクト３０１乃至３０３と、従来のプロジェクタとカメラを用いて投影と撮像を行う場合の例を示しており、オブジェクト３０１乃至３０３とプロジェクタ及びカメラを上から見た図である。

投影対象の３つのオブジェクト３０１乃至３０３とプロジェクタ及びカメラの配置が、図１８に示すような位置関係にある場合、プロジェクタから３つのオブジェクト３０１乃至３０３を捉えた画像は、図１９に示すようになる。

一方、カメラから３つのオブジェクト３０１乃至３０３を捉えた画像は、図２０に示すようになる。カメラから３つのオブジェクト３０１乃至３０３を捉えた画像では、図２０に示されるように、オブジェクト３０３が、オブジェクト３０２の背後に隠れて見えなくなっている。

カメラをプロジェクタの光軸上に置かない場合には、プロジェクタとカメラとの位置関係や、投影対象物の形状や位置関係が分からない限り、コンテンツ画像の歪みの補正はできない。また、図２０に示されるように、投影対象物が隠れて見えなくなってしまう場合もある。

＜オブジェクトの距離情報の算出＞
次に、図２１乃至図２３を参照して、オブジェクトの距離情報の算出について説明する。

プロジェクタ１２の撮像部２４が所定のオブジェクトを撮像し、そのオブジェクトにフォーカスが合っている場合、撮像光学部２５のリング位置情報を取得することで、プロジェクタ１２からオブジェクトまでの奥行き方向の距離を求めることができる。

図２１は、プロジェクタ１２からオブジェクトまでの距離測定専用のパターン画像３３１を示している。

なお、距離測定専用のパターン画像は、図２１のパターン画像３３１に限定されるものではなく、投影範囲内の任意の複数点で、フォーカス制御可能なパターンが形成されているものであればよい。

図２２は、プロジェクタ１２と、距離を測定する投影対象のオブジェクト３５１及び３５２の位置関係を示す上面図である。

プロジェクタ１２から図２１に示した距離測定専用のパターン画像３３１を投影し、オブジェクト３５１にフォーカスが合っている場合（フォーカス位置が位置Aである場合）、プロジェクタ１２の撮像部２４により撮像される画像は、図２３Aに示されるようになる。

プロジェクタ１２から図２１に示した距離測定専用のパターン画像３３１を投影し、オブジェクト３５１と３５２の中間にフォーカスが合っている場合（フォーカス位置が位置Bである場合）、プロジェクタ１２の撮像部２４により撮像される画像は、図２３Bに示されるようになる。

プロジェクタ１２から図２１に示した距離測定専用のパターン画像３３１を投影し、オブジェクト３５２にフォーカスが合っている場合（フォーカス位置が位置Cである場合）、プロジェクタ１２の撮像部２４により撮像される画像は、図２３Cに示されるようになる。

制御部５１は、投影対象のオブジェクト３５１または３５２にフォーカスを合わせ、そのときの撮像光学部２５のリング位置情報を取得することで、プロジェクタ１２からオブジェクトまでの奥行き方向の距離を求めることができる。

制御部５１は、投影対象の奥行き方向の距離情報を用いて、例えば、次のような処理を行うことができる。

例えば、図２４に示されるコンテンツ画像３７１が予め作成されているとする。また、図１５に示した撮像画像２４１（図１１と同じ位置関係で投影対象としての３本の木を撮像した画像）と、撮像画像２４１に映っている３本の木それぞれまでの距離が、上述した方法により得られているとする。この場合、制御部５１は、予め作成されたコンテンツ画像３７１を、コンテンツ画像３７１Aのように、投影対象までの距離に応じて歪み補正することができる。このような歪み補正処理は、例えば、上述したコンテンツ画像生成処理における編集機能の一つとして、あるいは、上述したコンテンツ画像投影処理における、次に投影するコンテンツ画像を調整する調整処理の一つとして実行することができる。

また例えば、上述したコンテンツ画像生成処理またはコンテンツ画像投影処理において、表示部５４に表示させる撮像画像を、距離に応じて色分け表示してもよい。

＜２．第２の実施の形態＞
＜画像投影システムの構成例＞
図２５は、本技術を適用した画像投影システムの第２の実施の形態の構成例を示している。

なお、図２５において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図１に示した画像投影システム１では、撮像装置と投影装置を一つの装置（プロジェクタ１２）として構築し、その装置内部において、投影部２１の投影光学系と撮像部２４の撮像光学系の光軸が同軸となるように配置される構成を有していた。

しかしながら、撮像装置と投影装置は、別々の装置で構成することもできる。

図２５は、撮像装置と投影装置を別々の装置で構成した場合の画像投影システム１の構成例を示している。

図２５の画像投影システム１は、画像処理装置１１、プロジェクタ４０１、カメラ（撮像装置）４０２、３軸ステージ４０３、及び、ハーフミラー４０４を含んで構成される。

プロジェクタ４０１は、第１の実施の形態のプロジェクタ１２の撮像機能が省略された構成を有する投影装置である。プロジェクタ４０１は、画像処理装置１１から供給される画像信号に基づいて所定のコンテンツ画像を投影する。プロジェクタ４０１では、撮像機能が省略されていることにより、ハーフミラー２３も省略されている。

カメラ４０２は、第１の実施の形態のプロジェクタ１２の撮像機能に対応する撮像装置であり、被写体からの入射光（画像光）を撮像する。カメラ４０２は、３軸ステージ４０３に固定されており、３軸ステージ４０３は、カメラ４０２の位置を、X軸、Y軸、及びZ軸の３軸方向に調整可能である。３軸ステージ４０３は、２軸の移動機構や、回転機構を備える移動台であっても良い点は上述した実施の形態と同様である。また、３軸ステージ４０３は、カメラ４０２側ではなく、プロジェクタ４０１側に取り付けられていても良い。

ハーフミラー４０４は、第１の実施の形態のハーフミラー２３に対応するものであり、プロジェクタ４０１から出射された画像光を透過させるとともに、ハーフミラー４０４の前方から入射される光については反射させることによりオブジェクト１３上に投影されたコンテンツ画像をカメラ４０２に入射させる。

画像処理装置１１は、プロジェクタ４０１及びカメラ４０２のそれぞれと所定の通信ケーブル（不図示）で接続されている。画像処理装置１１は、第１の実施の形態でプロジェクタ１２に対して行った制御と同様の制御を、プロジェクタ４０１、カメラ４０２、及び、３軸ステージ４０３に対して行う。

例えば、画像処理装置１１は、プロジェクタ４０１に投影するコンテンツ画像の画像信号を供給したり、コンテンツ画像を投影するタイミングを制御する。また、画像処理装置１１は、カメラ４０２に対して、撮像タイミングなど、撮像に関する制御信号を供給したり、撮像された撮像画像の画像信号を受信する。さらに画像処理装置１１は、３軸ステージ４０３を駆動制御する。

以上のように構成される第２の実施の形態に係る画像投影システム１では、上述した第１の実施の形態と同様に、プロジェクタ４０１の投影光学系の光軸と、カメラ４０２の撮像光学系の光軸が同軸となるように、３軸ステージ４０３よって調整される。これにより、第２の実施の形態に係る画像投影システム１は、第１の実施の形態と同様の効果を有する。

第２の実施の形態に係る画像投影システム１では、撮像する装置と投影する装置が別々の装置で構成されているので、例えば、プロジェクタ４０１やカメラ４０２の両方または一方を、一般に販売されている汎用のプロジェクタ（投影装置）やカメラ（撮像装置）を用いて構成することができる。また、単体のプロジェクタ４０１に、カメラ４０２や３軸ステージ等を後付けすることにより、第２の実施の形態に係る画像投影システム１を製造することも可能である。

＜３．第３の実施の形態＞
＜画像投影システムの構成例＞
図２６は、本技術を適用した画像投影システムの第３の実施の形態の構成例を示している。

なお、図２６において、上述した第２の実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

上述した第２の実施の形態のハーフミラー４０４は、プロジェクタ４０１から投影された画像光を１００％透過させ、カメラ４０２に入射される光は１００％反射するのが理想であるが、多少なりとも減光されてしまう。

そこで、プロジェクタ４０１から投影されるコンテンツ画像を、カメラ４０２で撮像して見る必要がなければ、ハーフミラー４０４を、全反射するミラー４３１とすることができる。即ち、第３の実施の形態では、図２５に示した第２の実施の形態のハーフミラー４０４に代えて、被写体光をカメラ４０２側へ全反射するミラー４３１が設けられている。

ただし、このような構成においては、図２６に示されるようにミラー４３１が配置されている状態では、プロジェクタ４０１から投影された画像光がミラー４３１により遮光されることになる。そのため、ミラー４３１の所定の位置には回転機構（回転軸）４３２が設けられており、図２７に示されるように、プロジェクタ４０１がコンテンツ画像を投影する場合には、画像処理装置１１は、一眼レフカメラのように、ミラー４３１を回転させてプロジェクタ４０１の前方を開放することにより、コンテンツ画像をオブジェクト１３上に投影させる。

即ち、画像処理装置１１は、プロジェクタ４０１によるコンテンツ画像のオブジェクト１３への投影と、カメラ４０２によるオブジェクト１３の撮像を時分割制御する。これにより、コンテンツ画像の投影と撮像の両方において、ハーフミラー４０４による減光を防ぐことができる。

なお、回転機構４３２の制御は、画像処理装置１１ではなく、プロジェクタ４０１が行っても良い。

図２８乃至図３０は、プロジェクタ４０１によるコンテンツ画像の投影と、カメラ４０２による撮像を時分割制御する場合のその他の構成例を説明する図である。

図２７で説明したような、回転機構４３２等によりミラー４３１を畳むようにして、投影画像の光路からミラー４３１を退避させる方法以外に、例えば、図２８に示されるように、スライダー４３４等によりカメラ４０２とミラー４３１を上下に移動可能にして、ミラー４３１を投影画像の光路から退避させるようにしてもよい。

あるいはまた、図２９に示されるように、１枚以上のミラー４３１（図２９では２枚の例）を、プロジェクタ４０１によるコンテンツ画像の投影及びカメラ４０２による撮像と同期させてモータ４５１で回転させる方法もある。図３０Aに示される状態は、カメラ４０２で撮像を行う状態を示しており、図３０Bに示される状態は、プロジェクタ４０１でコンテンツ画像の投影を行う状態を示している。

プロジェクタ４０１によるコンテンツ画像の投影と、カメラ４０２による撮像を時分割制御する場合には、撮像画像に投影画像が映らない。そのため、カメラ４０２の撮像範囲とプロジェクタ４０１の投影範囲を合わせている場合には問題がないが、カメラ４０２の撮像範囲がプロジェクタ４０１の投影範囲よりも大きい場合、撮像画像内のどの範囲が投影領域であるかがユーザには分からない。この場合には、図８Aに示したように投影範囲指示線１８２を重畳表示させたり、撮像画像内の投影領域だけを抽出して表示部５４に表示させるようにすればよい。投影対象のオブジェクト１３までの距離は、プロジェクタ４０１のリング位置情報に基づいて被写体までの距離（焦点距離）を算出することで求めることができる。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

１ 画像投影システム
１１ 画像処理装置
１２ プロジェクタ
１３ オブジェクト
２１ 投影部
２２ 投影光学部
２３ ハーフミラー
２４ 撮像部
２５ 撮像光学部
２６ ３軸ステージ
５１ 制御部
５４ 表示部
５５ 操作部
６１ 駆動制御部
６２ 投影画像処理部
６３ 表示部画像処理部
６４ キャリブレーション処理部

Claims (14)

1. 所定のコンテンツ画像をオブジェクト上に投影する投影部と、
   撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部と
   を備える画像投影システム。
2. 前記撮像部は、ハーフミラーにより反射されて入射される前記コンテンツ画像を撮像する
   請求項１に記載の画像投影システム。
3. 前記投影部が行う前記コンテンツ画像の投影と、前記撮像部が行う撮像とを制御する制御部をさらに備える
   請求項１に記載の画像投影システム。
4. 前記制御部は、前記撮像部の撮像により得られた撮像画像を表示部に表示させる制御も行い、前記コンテンツ画像を前記撮像画像に重畳表示させる
   請求項３に記載の画像投影システム。
5. 前記制御部は、前記投影部が次に投影する前記コンテンツ画像を、ユーザの操作に基づいて調整する処理も行う
   請求項３に記載の画像投影システム。
6. 前記制御部は、前記投影部が次に投影する前記コンテンツ画像を、前記撮像部の撮像により得られた撮像画像の画像処理結果に基づいて調整する処理も行う
   請求項３に記載の画像投影システム。
7. 前記撮像部の撮像範囲は、前記投影部の前記コンテンツ画像の投影範囲よりも大きく、
   前記制御部は、前記撮像部の撮像により得られた撮像画像に、前記投影部の投影範囲を示す表示も行う
   請求項３に記載の画像投影システム。
8. 前記撮像部の撮像範囲は、前記投影部の前記コンテンツ画像の投影範囲よりも大きく、
   前記制御部は、前記撮像部の撮像により得られた撮像画像から、前記投影部の投影範囲の画像を抽出して表示部に表示させる
   請求項３に記載の画像投影システム。
9. 前記撮像部の撮像範囲は、前記投影部の前記コンテンツ画像の投影範囲と同じである
   請求項１に記載の画像投影システム。
10. 前記制御部は、前記投影部の光学レンズのリング位置情報か、または、前記撮像部の光学レンズのリング位置情報に基づいて、前記オブジェクトまでの距離を演算する
    請求項３に記載の画像投影システム。
11. 前記制御部は、前記コンテンツ画像の投影と前記撮像部が行う撮像のタイミングを制御し、前記オブジェクトに対して投影と撮像が時分割で行われるように制御する
    請求項３に記載の画像投影システム。
12. 前記撮像光学系の光軸と前記投影部の投影光学系の光軸が同軸となるように調整するためのステージをさらに備え、
    前記制御部は、前記ステージも制御する
    請求項３に記載の画像投影システム。
13. 所定のコンテンツ画像をオブジェクト上に投影する投影部と、
    撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部と
    を備えるプロジェクタ。
14. コンピュータに、
    所定のコンテンツ画像をオブジェクト上に投影する投影部を制御し、
    撮像光学系の光軸が前記投影部の投影光学系の光軸と同軸となるように配置され、前記投影部により投影された前記コンテンツ画像を撮像する撮像部を制御する
    ステップを含む処理を実行させるためのプログラム。

Images