JP2017215374A - 画像投影システムおよび画像投影方法 - Google Patents

Abstract

【課題】画像投影システムにおいて、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行可能とする。【解決手段】画像投影システム１は、投影対象に向けて形状計測用のパターン画像を投影する赤外線投影装置３と、そのパターン画像を撮像する撮像装置５と、撮像されたパターン画像に基づいて投影対象の３次元的形状情報を取得し、その３次元的形状に基づいて、コンテンツ画像を投影対象に対応する投影用コンテンツ画像に変換する演算装置６と、可視光投影装置４とは異なる位置に配置され、投影対象に向けて投影用コンテンツ画像を投影する可視光投影装置４とを備え、演算装置６は、可視光投影装置４によって投影された非可視光画像および可視光投影装置４によって投影された赤外線画像の撮像装置５による撮像画像に基づき、当該非可視光画像及び可視光画像との各画素を対応づける処理を実行する構成とする。【選択図】図１

Description

本発明は、投影対象の変化に応じて当該投影対象に対してリアルタイムにコンテンツ画像を投影する画像投影システムおよび画像投影方法に関する。

建物等の投影対象に対して所望のコンテンツ画像を投影する技術としてプロジェクションマッピングと呼ばれる技術が知られている。一般に投影対象は三次元形状を有するため、コンテンツ画像をそのまま投影した場合には、投影対象の表面の凹凸や、奥行きの大小のために、投影装置とは別個の位置にいる観客には、投影された画像が歪んだ画像として見える場合がある。そこで、投影対象の各点までの撮像装置と投影装置の各画素の対応を予め計測し、コンテンツ画像に対して、対応する座標変換を行って投影することにより、歪みの無いコンテンツ画像を観ることができるようにしている。

従来は、投影対象が建物等の固定物であることが一般的であることから、通常は、事前に投影対象の各点までの撮像装置と投影装置の各画素の対応を予め計測し、固定された撮像装置と投影装置の各画素の対応情報に基づいてプロジェクションマッピングを行うようにしていた。しかしながら、乗り物、ダンサー、運動選手などの変化する投影対象（以下、「動物体」という。）に対してプロジェクションマッピングを行いたいという要望があり、そのような動物体に対して好適にプロジェクションマッピングを行うための技術が望まれるようになってきた。

しかしながら、動物体に投影する場合、たとえば人がゆっくり歩く程度の毎秒１メートル程の低速な動きであっても通常の秒６０コマ程度の映像処理では、計測の為の撮像と投影を行う間に数センチメートルの移動誤差が発生してしまう。

この種の問題を解決する高速且つ低遅延な計測投影が行える技術として、例えば、コンテンツ画像を示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光とを投影する投影装置と、少なくとも１つの撮像装置を含み、投影装置が、レンズ光学系と、可視光ＬＥＤ光源と、赤外ＬＥＤ光源と、両光源による光を投影するための１つのデジタルマイクロミラーデバイス（以下、「ＤＭＤ」という。）とを有する画像投影システムが知られている（特許文献１参照）。この画像投影システムによれば、コンテンツ画像の投影と投影対象の計測とを同じ投影装置によって行うため、構造物にコンテンツ画像を意図通りに位置合わせをして投影を行うことが可能になる。

国際公開第ＷＯ２０１５／１２５４０３号パンフレット

ところで、近年、上記のようなプロジェクションマッピングでは、高速に変化する動物体に対してより高輝度かつより高いフレームレートでコンテンツ画像を投影したいという要求があり、これにより、投影に用いる光源を高輝度化すると共に投影画像をより高速に切り替えるための技術が求められている。

特に、フルカラー画像を投影する場合、上記特許文献１に記載されたような投影装置であっても、赤青緑の各色の光源を高輝度化することは技術的に容易ではなく且つ高いコストを要し、また、赤青緑の３色に赤外線を加えた４種の光を１つのＤＭＤで高速に投影するのには限界があり、更に４種の光をレンズ光学系に導くためのミラー等の光学系も非常に複雑となる。

そこで、本願発明者らは、可視光光源用の可視光投影装置と赤外線（非可視光）光源用の赤外線投影装置（非可視光投影装置）とを個別に設ける（すなわち、個別のＤＭＤおよび光学系を用いる）技術を考案した。この技術によれば、可視光および赤外線の投影位置が異なるため、上記従来技術と同様に赤外線投影装置によって投影された赤外線のパターン画像に基づき投影対象の距離（延いては、投影対象の位置および形状）を計測する計測処理の他に、可視光投影装置から投影される可視光画像と撮像装置による撮像画像（延いては、赤外線投影装置から投影される赤外線画像）における各画素を対応付けるキャリブレーション処理を実施することが新たに必要となる。

しかしながら、動物体へ遅延無く計測結果の投影を行うには、計測と投影が同時に行われなければならないという制約がある。特に映像の高輝度化や高品質化の為には可視光投影装置は、たとえ人間には認知の困難な短時間であって計測の為に投影を中断せずに投影することが望ましい。このことは、投影時の撮像装置は可視光映像に妨害されずに非可視光を撮像したい一方で、キャリブレーション処理時には可視光及び非可視光の両者を撮像しなければならないという課題に繋がる。本課題は、動くものに対して、動きによる誤差量が十分小さく出来る高速且つ低遅延な計測投影システムが誕生したことにより顕在化した新しい課題である。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行可能とする画像投影システムおよび画像投影方法を提供することを主目的とする。

本発明の画像投影システムは、投影対象に向けてコンテンツ画像を投影するための画像投影システムであって、前記投影対象に向けて形状計測用のパターン画像を非可視光によって投影する非可視光投影装置と、前記投影対象に投影された前記パターン画像を撮像する撮像装置と、前記撮像されたパターン画像に基づいて前記投影対象の３次元的形状の情報を取得する計測制御装置と、前記形状情報に基づいて、予め準備されたコンテンツ画像を前記投影対象に対応する投影用コンテンツ画像に変換する投影画像処理装置と、前記非可視光投影装置とは異なる位置に配置され、前記投影対象に向けて前記投影用コンテンツ画像を可視光によって、前記非可視光投影装置と同時に投影する可視光投影装置と、前記非可視光投影装置によって投影された非可視光画像および前記可視光投影装置によって投影された可視光画像を前記撮像装置によってそれぞれ撮像した画像に基づき、前記非可視光画像と前記可視光画像との各画素を対応づける処理を実行するキャリブレーション処理装置とを備えたことを特徴とする。

本発明によれば、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行することが可能となる。

第１実施形態に係る画像投影システムの構成図 赤外線投影装置によって投影される計測処理用のパターン画像の一例を示す説明図 図１に示した演算装置の詳細を示す機能ブロック図 第１実施形態に係る画像投影システムのキャリブレーション処理の流れを示すフロー図 図４に示したキャリブレーション処理の変形例を示す図 図１に示した画像投影システムの変形例を示す図 第１実施形態に係る画像投影システムの第１の応用例を示す説明図 第１実施形態に係る画像投影システムの第２の応用例を示す説明図 第１実施形態に係る画像投影システムの第３の応用例を示す説明図 第１実施形態に係る画像投影システムの第４の応用例を示す説明図 第２実施形態に係る画像投影システムの構成図 第２実施形態に係る画像投影システムの計測処理の流れを示すフロー図 図１２に示した計測処理の変形例を示す図 第３実施形態に係る画像投影システムの構成図 第３実施形態に係る画像投影システムの動作を示す説明図 第３実施形態に係る画像投影システムの動作の変形例を示すフロー図 図１６中のステップＳＴ５０６の処理を示す説明図 第４実施形態に係る画像投影システムの構成図 図１８に示した画像投影システムの変形例を示す図

上記課題を解決するためになされた第１の発明は、投影対象に向けてコンテンツ画像を投影するための画像投影システムであって、前記投影対象に向けて形状計測用のパターン画像を非可視光によって投影する非可視光投影装置と、前記投影対象に投影された前記パターン画像を撮像する撮像装置と、前記撮像されたパターン画像に基づいて前記投影対象の３次元的形状の情報を取得する計測制御装置と、前記形状情報に基づいて、予め準備されたコンテンツ画像を前記投影対象に対応する投影用コンテンツ画像に変換する投影画像処理装置と、前記非可視光投影装置とは異なる位置に配置され、前記投影対象に向けて前記投影用コンテンツ画像を可視光によって、前記非可視光投影装置と同時に投影する可視光投影装置と、前記非可視光投影装置によって投影された非可視光画像および前記可視光投影装置によって投影された可視光画像を前記撮像装置によってそれぞれ撮像した画像に基づき、前記非可視光画像と前記可視光画像との各画素を対応づける処理を実行するキャリブレーション処理装置とを備えたことを特徴とする。

この第１の発明に係る画像処理装置によれば、計測用のパターン画像およびキャリブレーション処理用の可視光画像を同一の撮像装置を用いて撮像することにより、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行することが可能となる。

また、第２の発明では、上記第１の発明において、前記可視光投影装置が、使用する各色にそれぞれ対応する個別の表示素子を有することを特徴とする。

この第２の発明に係る画像処理装置によれば、各色に対して共通の表示素子を用いる場合と比べて、各表示装置に要求される処理速度を実質的に低下させることが可能となり、より高いフレームレートでのコンテンツ画像の表示に対応することが可能となる。

また、第３の発明では、上記第１または第２の発明において、前記可視光投影装置が前記撮像装置に隣接して配置されることを特徴とする。

この第３の発明に係る画像処理装置によれば、可視光投影装置を撮像装置に隣接して配置することにより、キャリブレーション処理をより簡易に実行することが可能となる。

また、第４の発明では、上記第１または第２の発明において、前記可視光投影装置が前記非可視光投影装置に隣接して配置されることを特徴とする。

この第４の発明に係る画像処理装置によれば、可視光投影装置を非可視光投影装置に隣接して配置することにより、キャリブレーション処理をより簡易に実行することが可能となる。

また、第５の発明では、上記第１または第４の発明のいずれかにおいて、前記撮像装置には、可視光カットフィルタが着脱可能に設けられたことを特徴とする。

この第５の発明に係る画像処理装置によれば、可視光カットフィルタを用いた簡易な構成により、計測用のパターン画像およびキャリブレーション処理用の可視光画像を同一の撮像装置を用いて撮像することが可能となる。

また、第６の発明は、投影対象に向けてコンテンツ画像を投影するための画像投影方法であって、前記投影対象に向けて形状計測用のパターン画像を非可視光投影装置により投影するステップと、前記投影対象に投影された前記パターン画像を撮像装置により撮像するステップと、前記撮像されたパターン画像に基づいて前記投影対象の３次元的形状の情報を取得するステップと、前記形状情報に基づいて、予め準備されたコンテンツ画像を前記投影対象に対応する投影用コンテンツ画像に変換するステップと、前記非可視光投影装置とは異なる位置に配置された可視光投影装置により、前記投影対象に向けて前記投影用コンテンツ画像を可視光によって投影するステップと、前記可視光投影装置によって投影された可視光画像と前記撮像装置によって撮像された前記可視光画像の撮像画像との各画素を対応づけるキャリブレーション処理を実行するステップとを有することを特徴とする。

この第６の発明に係る画像投影方法によれば、計測用のパターン画像およびキャリブレーション処理用の可視光画像を同一の撮像装置を用いて撮像することにより、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行することが可能となる。

また、第７の発明は、上記第６の発明において、前記撮像装置に可視光カットフィルタが設けられ、前記パターン画像を受光する際には前記可視光カットフィルタが用いられ、前記投影用コンテンツ画像を受光する際には前記可視光カットフィルタが解除されることを特徴とする。

この第７の発明に係る画像投影方法によれば、可視光カットフィルタを用いた簡易な構成により、計測用のパターン画像およびキャリブレーション処理用の可視光画像を同一の撮像装置を用いて撮像することが可能となる。

また、第８の発明は、上記第６の発明において、前記撮像装置が露光時間を変更可能であって、前記パターン画像を受光する際よりも、前記投影用コンテンツ画像を受光する際には前記露光時間を長くすることを特徴とする。

この第８の発明に係る画像投影方法によれば、非可視光の撮像に適した（すなわち、非可視光に対する感度に比べて可視光に対する感度が低い）撮像装置を用いる場合でも、露光時間を調整する簡易な構成により、計測用のパターン画像およびキャリブレーション処理用の可視光画像を同一の撮像装置を用いて撮像することが可能となる。

また、第９の発明は、上記第６の発明において、前記非可視光投影装置による投影ステップでは、前記パターン画像として、互いに反転した関係を有するパターンを含む画像対が順次投影され、前記撮像装置による撮像ステップでは、前記順次投影された画像対および当該画像対とそれぞれ同一のタイミングで投影された前記投影用コンテンツ画像とが順次撮像され、前記投影対象の形状情報を取得するステップでは、前記撮像装置により順次撮像された前記画像対の撮像画像の差分画像に基づいて、前記投影対象の３次元的な形状情報を取得することを特徴とする。

この第９の発明に係る画像投影方法によれば、互いに反転した関係を有するパターンをそれぞれ含む画像対の一方または他方と投影用コンテンツ画像とがそれぞれ含まれる一対の撮像画像の差分により、投影用コンテンツ画像を互いに相殺することが可能となるため、撮像装置に可視光カットフィルタ等を設ける必要がなくなり、キャリブレーション処理を簡易な構成により実行することが可能となる。

以下、本発明の実施の形態について図面を参照しながら説明する。
（第１実施形態）

図１は、本発明の第１実施形態に係る画像投影システム１の構成図である。画像投影システム１は、投影対象に対して所望の映像コンテンツを構成する画像を投影するプロジェクションマッピングを実施するためのシステムであり、特に、乗り物、ダンサー、運動選手などの変化する投影対象（動物体２）に対する動画像の投影に好適である。なお、図面では、動物体２を簡略化した形態（例えば、図１における円柱形状）で示す。

図１に示すように、画像投影システム１は、動物体２に向けて赤外線画像を投影する赤外線投影装置３と、動物体２に向けて可視光画像を投影する可視光投影装置４と、動物体２に対して投影された赤外線画像および可視光画像を撮像可能な撮像装置５と、それら各装置３〜５と通信可能に接続され、プロジェクションマッピングに必要な各種処理を実行する演算装置６とを主として備える。赤外線投影装置３、可視光投影装置４、及び撮像装置５は、予め定められた位置にそれぞれ配置することができる。

赤外線投影装置３は、投射レンズ等のレンズ系を含む出射部１０と、赤外領域の光を発する赤外線ＬＥＤを備えた赤外線光源１１と、この赤外線光源１１からの光を投射レンズに向けて選択的に反射することにより、動画または静止画からなる所望の赤外線画像を形成するＤＭＤ１２と、赤外線光源１１やＤＭＤ１２の動作を制御するための図示しない制御基板やプロセッサ等を備える。

なお、赤外線光源１１としては、所望の輝度を達成可能な限りにおいて、ＬＥＤに限らずレーザー等の他の公知の光源を採用することができる。また、赤外線投影装置（非可視光投影装置）３は、少なくとも非可視光（人に視認されない不可視光またはそれに準ずる光であってコンテンツ画像の視認に大きな影響を及ぼさない光）であれば、赤外線に限らず紫外線等の他の光を用いて非可視光画像を投影してもよい。

可視光投影装置４は、投射レンズ等のレンズ系を含む出射部１５と、可視領域の光を発する白色レーザーを備えた可視光光源１６と、この可視光光源１６からの各色（赤、緑、青）の光を投射レンズに向けてそれぞれ選択的に反射することにより、動画または静止画からなる所望の可視光画像を形成するＤＭＤ（表示素子）１７ａ、１７ｂ、１７ｃと、可視光光源１６やＤＭＤ１７ａ〜１７ｃの動作を制御するための図示しない制御基板やプロセッサ等を備える。また、図示は省略したが、可視光光源１６からの白色光は、公知の色分解プリズムによって各色に分解されることにより、各色にそれぞれ対応するＤＭＤ１７ａ〜１７ｃに導かれ、さらに、これらＤＭＤ１７ａ〜１７ｃによって反射された光は、その色分解プリズムを介して投射レンズからそれぞれ動物体２に投影される。

可視光投影装置４は、少なくとも赤外線投影装置３とは異なる位置に配置され、ここでは、撮像装置５に隣接して（少なくとも赤外線投影装置３よりも撮像装置５に近づけて、より好ましくは、互いの筐体が接する程度まで近づけて）配置される。これにより、可視光投影装置４による可視光画像および撮像装置５による撮像画像の各画素の対応づけが容易となり、後述するキャリブレーション処理をより簡易に実行することが可能となる。

なお、可視光投影装置４に用いられる表示素子としては、可視光画像としてのコンテンツ画像の投射において所望のフレームレートを達成可能な限りにおいて、ＤＭＤに限らず液晶ディスプレイ等の他の公知の表示素子を採用することができる。また、可視光光源１６としては、所望の輝度を達成可能な限りにおいて、白色レーザーに限らずＬＥＤや水銀灯等の他の公知の光源を採用することができる。

撮像装置５は、赤外線画像に基づき動物体２の位置および形状計測を行うべく、赤外線の撮像に適した公知のデジタルビデオカメラであり、主として赤外線の波長領域に感度を有する（ここでは、近赤外域の感度を向上させた）図示しないイメージセンサを備えている。また、撮像装置５には、赤外線による位置および形状計測が可視光によって阻害されることを防止するための可視光カットフィルタ１９が設けられている。可視光カットフィルタ１９は、図示しない対物レンズの外側（動物体２側）に配置されており、図１に示すように着脱自在である。

なお、可視光カットフィルタ１９の着脱は、画像投影システム１のユーザによる手作業で行うことが可能である。ただし、これに限らず、可視光カットフィルタ１９を対物レンズ（出射部１５）に装着する装着位置と対物レンズから離間する解除位置との間で変位させるフィルタ駆動装置を撮像装置５に付設することにより、可視光カットフィルタ１９を自動で着脱してもよい。

後に詳述するように、この画像投影システム１では、赤外線投影装置３は、所定の複数のパターン（フレーム）から構成されるパターン画像を赤外線画像として動物体２に投射し、この投射されたパターン画像を撮像装置５が撮像する。演算装置６は、撮像されたパターン画像に基づき、動物体２の画素毎の距離（３次元の位置および形状）を計測する計測処理を実行する。さらに、演算装置６は、予め準備された可視光によるコンテンツ画像を動物体２の位置および形状情報に基づいて補正（すなわち、座標変換）し、この補正によって生成された投影用コンテンツ画像を可視光投影装置４が動物体２に投射する。これにより、動物体２の変化（移動や形状変化）に関わらず、可視光投影装置４により投影される可視光画像の歪みやずれが抑制され、観者は、より良好なコンテンツ画像を見ることができる。

さらに、画像投影システム１では、演算装置６が、可視光投影装置４によって投影された可視光画像と、撮像装置５によって撮像された当該可視光画像の撮像画像（延いては、赤外線投影装置３によって投影された赤外線画像）との各画素を対応づけるキャリブレーション処理を実行する。このキャリブレーション処理の結果として得られる各画素間の変換パラメータは、上述の投影用コンテンツ画像を生成するためのコンテンツ画像の補正に用いられる。これにより、可視光投影装置４が赤外線投影装置３と異なる位置に配置された場合でも、可視光投影装置４により投影される可視光画像の歪みやずれが抑制され、観者は、より良好なコンテンツ画像を見ることができる。

図２は、赤外線投影装置３によって投影される計測処理用のパターン画像の一例を示す説明図である。このパターン画像は、所定の画素数（ここでは、１０２４×７６８画素）を有するＤＭＤ１２のＸ座標およびＹ座標をグレイコード化した各ビットをマンチェスタ符号化し、白黒の２値画像として表すことにより得られる。

ここでは、Ｘ座標、Ｙ座標ともに１０ビットが割り当てられることにより座標情報がコード化され、図２において、Ｘ４ａおよびＸ４ｂは、それぞれＸ座標の最上位ビットである９ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。Ｘ３ａおよびＸ３ｂは、それぞれＸ座標の８ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。Ｘ２ａおよびＸ２ｂは、それぞれＸ座標の７ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。

また、Ｙ４ａおよびＹ４ｂは、それぞれＹ座標の最上位ビットである９ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。Ｙ３ａおよびＹ３ｂは、それぞれＹ座標の８ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。Ｙ２ａおよびＹ２ｂは、それぞれＹ座標の７ビット目を示すパターンおよびその補完的な画像として輝度反転させたパターンである。

図示は省略するが、Ｘ座標、Ｙ座標ともに、０ビット目を示すパターンまで合計４０枚のパターンが設定される。各画素の濃度情報は、相互に補完的な画像対の差信号に基づいて、ノイズ除去を図るようにしている。

赤外線投影装置３は、このような２０対の相互に補完的な画像対を含むパターン画像を所定の時間内で順次動物体２に投影し、撮像装置５が、パターン画像を撮像し、その撮像画像を演算装置６が処理することにより、赤外線投影装置３から投射される赤外線画像における各画素と、撮像装置５により撮像される撮像画像における各画素とを対応づけることができる。これにより、三角法に基づいて各画素の距離（３次元の位置および形状）を計測することができる。演算装置６は、また、そのような計測処理において、変化する動物体２を追跡する公知の処理を実行することができる。

なお、本実施形態では、１０２４×７６８画素の場合の例であって、画像パターンの数が４０枚となっているが、その数は、解像度や得たい精度によって変化する。また、撮像装置５と赤外線投影装置３との設置条件によっては、Ｙ座標もしくはＸ座標の片方を常に撮像装置５と赤外線投影装置３とで固定的に対応づけたり、或いは狭い範囲でしかずれないように設定することも可能であり、その場合は片方の座標コードを削減したり、大幅に減らしたりすることも可能である。

図３は、図１に示した演算装置６の詳細を示す機能ブロック図である。

演算装置６において、パターン生成部２１は、図２に例示した計測処理用のパターン画像を記憶しており、パターン画像を構成する各パターンの情報を所定のタイミングで画像出力部２２に向けて順次出力する。画像出力部２２は、それら各パターンに対応する画像信号を赤外線投影装置３に供給する。また、画像出力部２２は画像出力のタイミングを画像入力部２３に伝達し、画像入力部２３は、画像出力部２２とタイミングを同期させた撮影を行なえるように撮像装置５を制御する。また、画像出力部２２は、赤外線投影装置３による赤外線画像の投影タイミングと、可視光投影装置４による可視光画像の投影タイミングとを同期させることができる。

動物体２に投影されたパターン画像は撮像装置５により撮像され、得られた撮像画像は画像入力部２３に送られ、更にパターン復号部２４に送られる。パターン復号部２４は、受信した撮像画像に関し、補完的な画像対の一方と、フレームメモリ部２５に先に記憶された補完的な画像対の他方とのフレーム間の差分を計算する。これにより、環境光等の影響を受けることなく、パターン画像の画素値（ここでは、「０」および「１」の２値）を容易に判別することができる。

コード復号用メモリ部２６には、撮像装置５の画素毎に書き込み領域が設けられており、パターン復号部２４は、上記差分を計算した後、グレイコード化した座標データの各ビット値を、その書き込み領域にビット単位で書き込む。このような処理が、４０フレーム分実行されることにより、撮像装置５の撮像画像の各画素に対応する赤外線投影装置３の赤外線画像の各画素のＸ座標およびＹ座標のそれぞれを示す１０ｂｉｔの値が、コード復号用メモリ部２６に書き込まれる。

このようにして、コード復号用メモリ部２６には、最終的に赤外線投影装置３のパターン画像と撮像装置５による撮像画像との各画素の対応情報が格納され、補完的な画像対を１つ処理する毎に最新の画素の対応情報が座標変換部２７に出力される。この際、各画素の対応情報には、各画素の計測情報として、輝度および色の情報や、距離（３次元の位置および形状）情報などが付随する。座標変換部２７は、各画素の計測情報を、画素対応情報に基づき並び替えながら、赤外線投影装置３による赤外線画像に対応したアドレスが設定された座標変換用メモリ部２８に書き込む。その後、座標変換部２７は、赤外線投影装置３による赤外線画像の座標順で座標変換用メモリ部２８の値を読み出して、座標補間部２９に送る。

座標補間部２９は、座標変換部２７から、受け取った各画素の計測情報を用い、各画素の計測情報の存在しないものがあれば、その欠落情報を必要に応じて補間する。この補間方法としては、例えば、一定の範囲内に有効な計測情報を有する画素が存在する場合に線形補間するなどが考えられる。

また、演算装置６では、後に詳述するキャリブレーション処理において、上述の計測処理と同様の方法で、赤外線投影装置３のパターン画像と撮像装置５による撮像画像との各画素の対応情報取得することが可能であり、さらに、可視光によるパターン画像を同様に用いて可視光投影装置４のパターン画像と撮像装置５による撮像画像との各画素の対応情報取得することが可能である。これにより、赤外線投影装置３のパターン画像（赤外線画像）と可視光投影装置４のパターン画像（可視光画像）との各画素の対応情報をキャリブレーション情報として生成することができる。

コンテンツメモリ部３１には動物体２に投影されるべき画像の素材となる、テクスチャ、動画データ、メッシュ、シェーダープログラムなどが記憶されており、これらは、コンテンツ生成部３０からの要求に応じて読み込まれ、コンテンツ生成部３０によって、座標補間部２９から得た計測情報およびキャリブレーション情報に基づいて、動物体２にマッピングされるべき投影用コンテンツ画像が生成される。投影用コンテンツ画像は、画像出力部２２に向けて順次出力され、画像出力部２２は、対応する画像信号を可視光投影装置４に供給する。

なお、演算装置６は、公知のハードウエアを備えたコンピュータからなり、図示は省略するが、例えば、所定の制御プログラムに基づき情報処理を実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリ、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリ等から構成される。或いは、演算装置６は、ＡＳＩＣやＦＰＧＡからなる集積回路を備えた構成であってもよい。また、本実施形態で示す演算装置６の機能の少なくとも一部と同様の機能を、赤外線投影装置３、可視光投影装置４、及び撮像装置５の少なくとも１つに付加した構成も可能である。

図４は、画像投影システム１のキャリブレーション処理の流れを示すフロー図である。画像投影システム１は、上述の計測処理を実施する前（例えば、可視光投影装置４の設置完了時や、可視光投影装置４におけるズーム設定やフォーカス設定の変更時）にキャリブレーション処理を実行する。

図４に示すように、キャリブレーション処理では、上述の計測処理の場合と同様に、赤外線投影装置３がパターン画像を投射し（ＳＴ１０１）、そのパターン画像を撮像装置５が撮像する（ＳＴ１０２）。このとき、撮像装置５には、可視光カットフィルタ１９が取り付けられており（すなわち、可視光カットが有効な状態にあり）、撮像装置５は、可視光の影響を受けることなく赤外線画像を撮像可能である。続いて、演算装置６は、撮像装置５によって取得された赤外線による撮像画像に基づき、赤外線投影装置３による赤外線画像と撮像装置５による撮像画像との各画素を対応づける（ＳＴ１０３）。

次に、撮像装置５の可視光カットフィルタ１９が解除され（ＳＴ１０４）、これにより、撮像装置５は、可視光による撮像が可能となる。その後、可視光投影装置４は、上述の赤外線投影装置３による計測処理の場合と同様に、可視光によるパターン画像を投射し（ＳＴ１０５）、そのパターン画像を撮像装置５が撮像する（ＳＴ１０６）。続いて、演算装置６は、撮像装置５によって取得された可視光による撮像画像に基づき、可視光投影装置４による可視光画像と撮像装置５による撮像画像との各画素を対応づける（ＳＴ１０７）。これにより、可視光投影装置４による可視光画像と赤外線投影装置３による赤外線画像との各画素を対応づけることが可能となる。

最終的に、撮像装置５の可視光カットフィルタ１９が再びセットされ（ＳＴ１０８）、撮像装置５の可視光カットが有効となることにより、その後は、赤外線画像を利用した計測処理が可能となる。

なお、上記ステップＳＴ１０１〜ＳＴ１０３と、ステップＳＴ１０４〜ＳＴ１０８とは、実行する順序を逆にしてもよい。

図５は、図４に示したキャリブレーション処理の変形例を示す図である。図４では、撮像装置５における可視光カットフィルタ１９の着脱によって、赤外線画像および可視光画像をそれぞれ撮像可能とした例を示したが、図５では、可視光カットフィルタ１９の着脱を不要とする例を示す。

図５に示すように、変形例では、上述の図４におけるステップＳＴ１０１〜ＳＴ１０３とそれぞれ同様のステップＳＴ２０１〜ＳＴ２０３が実行される。そこで、演算装置６は、露光時間を増大させるように撮像装置５を制御し（ＳＴ２０４）、その後は、上述の図４におけるステップＳＴ１０５〜ＳＴ１０７とそれぞれ同様のステップＳＴ２０５〜ＳＴ２０７が実行される。

最終的に、撮像装置５の露光時間が赤外線画像を撮影するための基準値に戻され（ＳＴ２０８）、その後は、赤外線画像を利用した計測処理が可能となる。

なお、上記ステップＳＴ２０１〜ＳＴ２０３と、ステップＳＴ２０４〜ＳＴ２０８とは、実行する順序を逆にしてもよい。

図６は、図１に示した画像投影システム１の変形例を示す図である。図６では、図１に示した画像投影システム１と同様の構成要素に同一の符号が付されている。また、この変形例に係る画像投影システム１では、以下で特に言及する事項を除いて、第１実施形態の場合と同様である。

上述の図１では、可視光投影装置４が撮像装置５に隣接して配置される例を示したが、これに限らず、図６に示すように、画像投影システム１では、可視光投影装置４が赤外線投影装置３に隣接して（少なくとも撮像装置５よりも赤外線投影装置３に近づけて、より好ましくは、互いの筐体が接する程度まで近づけて）配置される構成も可能である。これにより、可視光投影装置４による可視光画像および赤外線投影装置３による赤外線画像の各画素の対応づけが容易となり、キャリブレーション処理をより簡易に実行することが可能となる。

図７、図８、図９、及び図１０は、それぞれ第１実施形態に係る画像投影システム１の第１〜第４の応用例を示す説明図である。ここでは、上述の計測処理に用いた赤外線投影装置３を映像コンテンツの投影に用いる例を示す。

図７に示すように、画像投影システム１において、赤外線投影装置３は、動物体２（ここでは、舞台４０の出演者）の少なくとも一部の領域（ここでは、顔領域）に赤外線画像として妨害画像４１を投影することができる。これにより、撮影禁止の会場において、観客が出演者等を無断で撮影した場合でも、妨害画像４１によって撮影が阻害される。図７では、妨害画像４１として、所定の形状（ここでは、円形）の図形からなる赤外線画像が、動物体２の一部を覆うように重畳された例を示している。

なお、赤外線投影装置３から近赤外領域の比較的強い光によって赤外線画像を投影することにより、可視光を撮影するためのカメラを観客が撮影に用いた場合でも、撮影された可視光画像に対して妨害画像４１による悪影響を及ぼすことが可能である。また、妨害画像４１を投影する対象は、複数の出演者や展示物の一部（例えば、いわゆるパブリシティ権によって保護が必要な出演者や、著作権によって保護が必要なキャラクタ等）に限定することもできる。

また、妨害画像４１としては、上述の図形に限らず、例えば、図８に示すように、所望の文字情報（ここでは、観客に対する警告的なメッセージ）を含む赤外線画像であってもよい。これにより、無断撮影を実施した観客に対して効果的に注意喚起することが可能となる。

また、図９に示すように、画像投影システム１において、赤外線投影装置３は、動物体２の周辺に赤外線画像として装飾画像５１を投影することができる。図９では、動物体２（ここでは、結婚式の新郎・新婦）に対し、赤外線画像として、所望の文字および図形からなる情報（ここでは、新郎・新婦に対するお祝いのメッセージおよび図形）を含む装飾画像５１が投影された例を示している。これにより、撮影した画像を現像（またはディスプレイ表示）した際に、初めて視認可能となる装飾画像５１によって撮影者（結婚式の参加者等）の驚きや喜びを期待できる。

なお、赤外線投影装置３から近赤外領域の比較的強い光によって赤外線画像を投影することにより、可視光を撮影するためのカメラを撮影者が撮影に用いた場合でも、撮影された画像に装飾画像５１を出現させることが可能となる。

また、装飾画像５１としては、上述の結婚式の例に限らず、例えば、図１０に示すように、お化け屋敷等のアトラクションにおいて、動物体２（ここでは、入場者）の周辺に赤外線画像として装飾画像５１を投影することもできる。
（第２実施形態）

図１１は、本発明の第２実施形態に係る画像投影システム１の構成図である。図１１では、図１に示した画像投影システム１と同様の構成要素に同一の符号が付されている。また、第２実施形態に係る画像投影システム１では、以下で特に言及する事項を除いて、第１実施形態の場合と同様である。

上述の第１実施形態では、１台の赤外線投影装置３を用いて赤外線画像を投影する例を示したが、動物体２の移動領域（例えば、図１１に示す舞台４０）が比較的広い場合には、赤外線光源１１の光量が不十分となる場合がある。

そこで、第２実施形態に係る画像投影システム１では、複数（ここでは、２台）の赤外線投影装置３Ｌ、３Ｒが投影領域を分担する。より詳細には、左側に配置された第１赤外線投影装置３Ｌは、舞台４０の左側の領域に赤外線画像を投影し、右側に配置された第２赤外線投影装置３Ｒは、舞台の右側の領域に赤外線画像を投影することが可能である。それら赤外線投影装置３Ｌ、３Ｒの投影領域は、中央において一部重複している。また、赤外線投影装置３Ｌ、３Ｒは、可視光投影装置４よりもより動物体２に近い位置（前方）に配置される。このような構成により、画像投影システム１では、赤外線投影装置３における赤外線光源１１の光量を増大させた場合と同様の効果が得られる。

図１２は、第２実施形態に係る画像投影システム１の計測処理の流れを示すフロー図である。この計測処理では、上述の第１実施形態の場合と同様に、第１赤外線投影装置３Ｌがパターン画像を投射し（ＳＴ２０１）、そのパターン画像を撮像装置５が撮像する（ＳＴ２０２）。続いて、演算装置６は、撮像装置５によって取得された撮像画像に基づき、赤外線投影装置３による赤外線画像と撮像装置５による撮像画像との各画素を対応づけ、また、各画素に関する距離（位置および形状）を計測する（ＳＴ３０３）。

ステップＳＴ３０３における計測処理が成功した場合（ＳＴ３０４：Ｙｅｓ）、演算装置６は、動物体２が第１赤外線投影装置３Ｌの投影領域の右端（ここでは、図１１に示した第２赤外線投影装置３Ｒの投影領域と重複する範囲）に位置するか否かを判定する（ＳＴ３０５）。そこで、動物体２が投影領域の右端に位置しない場合（ＳＴ３０５：Ｎｏ）、再びステップＳＴ３０１に戻り、上述と同様の処理が実行される。

一方、動物体２が投影領域の右端に位置する場合（ＳＴ３０５：Ｙｅｓ）、第１赤外線投影装置３Ｌに代わり第２赤外線投影装置３Ｒがパターン画像を投射し（ＳＴ３０６）、そのパターン画像を撮像装置５が撮像する（ＳＴ３０７）。続いて、演算装置６は、上述のステップＳＴ３０３と同様に、赤外線投影装置３による赤外線画像と撮像装置５による撮像画像との各画素を対応づけ、また、各画素に関する距離（位置および形状）を計測する（ＳＴ３０８）。

ステップＳＴ３０８における計測処理が成功した場合（ＳＴ３０９：Ｙｅｓ）、演算装置６は、動物体２が第２赤外線投影装置３Ｒの投影領域の左端（ここでは、図１１に示した第１赤外線投影装置３Ｌの投影領域と重複する範囲）に位置するか否かを判定する（ＳＴ３１０）。そこで、動物体２が投影領域の左端に位置しない場合（ＳＴ３１０：Ｎｏ）、再びステップＳＴ３０６に戻り、上述と同様の処理が実行される。一方、動物体２が投影領域の左端に位置する場合（ＳＴ３１０：Ｙｅｓ）、再びステップＳＴ３０１に戻り、上述と同様の処理が実行される。

図１３は、図１２に示した計測処理の変形例を示す図である。図１２では、第１及び第２赤外線投影装置３Ｌ、３Ｒのいずれを赤外線画像の投影に用いるかについて、計測処理によって得られる動物体２の位置情報に基づき決定した例を示したが、図１３では、動物体２の位置を位置センサによって検出する例を示す。このような位置センサとしては、例えば、図１１に示した舞台４０の床に設置される重量センサを用いることができる。

図１３に示すように、この変形例では、まず、位置センサによる動物体２の位置の検出が実行される（ＳＴ４０１）。そこで、演算装置６は、動物体２の位置の検出結果を取得し、その位置が対象領域（例えば、図１１に示す舞台４０）の基準位置（ここでは、中央）に対して左側の領域に位置するか否かを判定する（ＳＴ４０２）。

そこで、動物体２が左側の領域に位置する場合には（ＳＴ４０２：Ｙｅｓ）、第１赤外線投影装置３Ｌがパターン画像を投射し（ＳＴ４０３）、そのパターン画像を撮像装置５が撮像する（ＳＴ４０４）。続いて、演算装置６は、図１２におけるステップＳＴ３０３と同様に、第１赤外線投影装置３Ｌによる赤外線画像と撮像装置５による撮像画像との各画素を対応づけ、また、各画素に関する距離（位置および形状）を計測する（ＳＴ４０５）。

一方、動物体２が右側の領域に位置する場合には（ＳＴ４０２：Ｎｏ）、第２赤外線投影装置３Ｒがパターン画像を投射し（ＳＴ４０６）、そのパターン画像を撮像装置５が撮像する（ＳＴ４０７）。続いて、演算装置６は、図１２におけるステップＳＴ３０６と同様に、第２赤外線投影装置３Ｒによる赤外線画像と撮像装置５による撮像画像との各画素を対応づけ、また、各画素に関する距離（位置および形状）を計測する（ＳＴ４０８）。

その後、画像投影システム１では、上述のステップＳＴ４０１からＳＴ４０８が繰り返し実行される。
（第３実施形態）

図１４は、本発明の第３実施形態に係る画像投影システム１の構成図であり、図１５は、第３実施形態に係る画像投影システム１の動作を示す説明図である。図１４では、図１に示した画像投影システム１と同様の構成要素に同一の符号が付されている。また、第３実施形態に係る画像投影システム１では、以下で特に言及する事項を除いて、第１または第２実施形態の場合と同様である。

上述の第１及び第２実施形態に係る画像投影システム１では、撮像装置５に可視光カットフィルタ１９が設けられた例を示したが、ここでは、図１４に示すように、可視光カットフィルタ１９が省略されている。

また、上述の第１及び第２実施形態では、可視光投影装置４による可視光画像（投影用コンテンツ画像）の投影は、常時ＯＮ状態であったが、ここでは、図１５に示すように、可視光投影装置４からの可視光画像の投影が周期的にＯＦＦ状態となる。この可視光画像のＯＦＦ状態において、赤外線投影装置３は、赤外線画像（パターン画像）の投影をＯＮ状態とする。この可視光画像がＯＦＦ状態となる時間は、ＯＦＦ状態による可視光画像の輝度の低下を人（観客等）が認識できない（または認識し難い）程度の短い時間に設定される。

つまり、撮像装置５は、可視光画像の投影がＯＮ状態の場合には、コンテンツ画像を撮像可能な（すなわち、赤外線画像の撮像が阻害され得る）状態にあり、一方、可視光画像の投影がＯＦＦ状態の場合（すなわち、赤外線画像の投影がＯＮ状態）には、コンテンツ画像の影響を受けることなく、赤外線画像を撮像可能な状態となる。これにより、演算装置６は、撮像装置５によって取得された赤外線画像（パターン画像）の撮像画像に基づき、上述と同様の計測処理を実行することができる。

図１６は、第３実施形態に係る画像投影システム１の動作の変形例を示すフロー図であり、図１７は、図１６中のステップＳＴ５０６の処理を示す説明図である。

上述の図１５に示した例では、可視光画像の投影を一時的にＯＦＦ状態とすることにより、可視光カットフィルタを使用することなく赤外線画像を撮像可能としたが、この変形例では、赤外線画像を用いる計測処理において、可視光画像（コンテンツ画像）も常時投影される（すなわち、赤外線および可視光がともに撮像装置５に入射する）例を示す。

図１６に示すように、まず、可視光投影装置４が動物体２に対する投影用コンテンツ画像の投影を開始し（ＳＴ５０１）、続いて、赤外線投影装置３が、動物体２に対して第１パターン（フレーム）を投影する（ＳＴ５０２）。この第１パターンは、上述のパターン画像において相互に補完的な画像対の一方に相当する。その後、撮像装置５が、その第１パターンを撮像し、第１撮像画像を取得する（ＳＴ５０３）。

次に、赤外線投影装置３は、動物体２に対して第２パターン（フレーム）を投影する（ＳＴ５０４）。この第２パターンは、上記第１パターンの反転パターンであり、上述のパターン画像において相互に補完的な画像対の他方に相当する。その後、撮像装置５が、その第２パターンを撮像し、第２撮像画像を取得する（ＳＴ５０５）。そこで、演算装置６は、第１撮像画像および第２撮像画像の差分画像を取得し、この差分画像に基づき、計測処理を実行する（ＳＴ５０６）。

より詳細には、ステップＳＴ５０３で取得される第１撮像画像には、図１７（Ａ）に示すように、赤外線による第１パターンに加え、可視光によるコンテンツ画像が含まれる。また、ステップＳＴ５０５で取得される第２撮像画像には、図１７（Ｂ）に示すように、赤外線による第２パターンに加え、可視光によるコンテンツ画像が含まれる。そこで、演算装置６は、図１７（Ｃ）に示すように、第１および第２撮像画像の差分をとることにより、第１および第２撮像画像における可視光によるコンテンツ画像を相殺し、強調された第１パターンの撮像画像を差分画像として取得することができる。演算装置６は、この差分画像を用いて上述の場合と同様に、計測処理を実行することができる。

その後、演算装置６は、計測処理の結果に基づき、コンテンツ画像を補正することにより、投影用コンテンツ画像を生成し、当該投影用コンテンツ画像を可視光投影装置４によって投影させる（ＳＴ５０７）。このようなステップＳＴ５０２〜ＳＴ５０７の処理は、最終的に全てのコンテンツ画像の投影が完了するまで（ＳＴ５０８：Ｙｅｓ）、繰り返し実行される。
（第４実施形態）

図１８は、本発明の第４実施形態に係る画像投影システム１の構成図であり、図１９は、図１８に示した画像投影システム１変形例を示す図である。図１８および図１９では、図１に示した画像投影システム１と同様の構成要素に同一の符号が付されている。また、第４実施形態に係る画像投影システム１では、以下で特に言及する事項を除いて、第１〜第３実施形態のいずれかの場合と同様である。

上述の第１〜第３実施形態では、可視光投影装置４および撮像装置５は、それぞれ個別の光学系を用いて投影および撮像を実施する例を示したが、図１８に示すように、第４実施形態に係る画像投影システム１では、隣接して配置された可視光投影装置４および撮像装置５の間にホットミラー６１が設けられている。

ホットミラー６１は、撮像装置５に入射する赤外線投影装置３からの赤外線（動物体２に反射された赤外線）を反射して撮像装置５の可視光カットフィルタ１９（対物レンズ系）に導く一方、可視光投影装置４から動物体２に向けて投影された可視光画像を透過する。このような構成により、画像投影システム１では、可視光投影装置４から投影される可視光画像と、撮像装置５によって撮像された撮像画像との各画素を高い精度で対応させることが可能である。その結果、上述のようなキャリブレーション処理を省略することが可能となる。

なお、図１９の変形例に示すように、隣接して配置された赤外線投影装置３および可視光投影装置４の間にホットミラー６１を設けた構成も可能である。この場合、ホットミラー６１は、赤外線投影装置３から投影される赤外線を反射して動物体２方向に導く一方、可視光投影装置４から動物体２に向けて投影された可視光画像を透過する。このような構成により、画像投影システム１では、可視光投影装置４から投影される可視光画像と、赤外線投影装置３から投影される赤外線画像との各画素を高い精度で対応させることが可能である。その結果、上述のようなキャリブレーション処理を省略することが可能となる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記画像投影システムおよび画像投影方法は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る画像投影システムおよび画像投影方法は、非可視光による計測処理および可視光を用いるキャリブレーション処理を簡易な構成により実行可能とし、投影対象の変化に応じて当該投影対象に対してリアルタイムにコンテンツ画像を投影する画像投影システムおよび画像投影方法などとして有用である。

１ 画像投影システム
２ 動物体
３ 赤外線投影装置
４ 可視光投影装置
５ 撮像装置
６ 演算装置
１０ 出射部
１１ 赤外線光源
１２ ＤＭＤ
１６ 可視光光源
１５ 出射部
１７ａ、１７ｂ、１７ｃ ＤＭＤ
１９ 可視光カットフィルタ
２１ パターン生成部
２２ 画像出力部
２３ 画像入力部
２４ パターン復号部
２５ フレームメモリ部
２６ コード復号用メモリ部
２７ 座標変換部
２８ 座標変換用メモリ部
２９ 座標補間部
３０ コンテンツ生成部
３１ コンテンツメモリ部
４０ 舞台
４１ 妨害画像
５１ 装飾画像
６１ ホットミラー

Claims (9)

1. 投影対象に向けてコンテンツ画像を投影するための画像投影システムであって、
   前記投影対象に向けて形状計測用のパターン画像を非可視光によって投影する非可視光投影装置と、
   前記投影対象に投影された前記パターン画像を撮像する撮像装置と、
   前記撮像されたパターン画像に基づいて前記投影対象の３次元的な形状情報を取得する計測制御装置と、
   前記形状情報に基づいて、予め準備されたコンテンツ画像を前記投影対象に対応する投影用コンテンツ画像に変換する投影画像処理装置と、
   前記非可視光投影装置とは異なる位置に配置され、前記投影対象に向けて前記投影用コンテンツ画像を可視光によって、前記非可視光投影装置と同時に投影する可視光投影装置と、
   前記非可視光投影装置によって投影された非可視光画像および前記可視光投影装置によって投影された可視光画像を前記撮像装置によってそれぞれ撮像した画像に基づき、前記非可視光画像と前記可視光画像との各画素を対応づける処理を実行するキャリブレーション処理装置と
   を備えたことを特徴とする画像投影システム。
2. 前記可視光投影装置が、使用する各色にそれぞれ対応する個別の表示素子を有することを特徴とする請求項１に記載の画像投影システム。
3. 前記可視光投影装置が前記撮像装置に隣接して配置されることを特徴とする請求項１または請求項２に記載の画像投影システム。
4. 前記可視光投影装置が前記非可視光投影装置に隣接して配置されることを特徴とする請求項１または請求項２に記載の画像投影システム。
5. 前記撮像装置には、可視光カットフィルタが着脱可能に設けられたことを特徴とする請求項１から請求項４のいずれかに記載の画像投影方法。
6. 投影対象に向けてコンテンツ画像を投影するための画像投影方法であって、
   前記投影対象に向けて形状計測用のパターン画像を非可視光投影装置により投影するステップと、
   前記投影対象に投影された前記パターン画像を撮像装置により撮像するステップと、
   前記撮像されたパターン画像に基づいて前記投影対象の３次元的な形状情報を取得するステップと、
   前記形状情報に基づいて、予め準備されたコンテンツ画像を前記投影対象に対応する投影用コンテンツ画像に変換するステップと、
   前記非可視光投影装置とは異なる位置に配置された可視光投影装置により、前記投影対象に向けて前記投影用コンテンツ画像を可視光によって投影するステップと、
   前記非可視光投影装置によって投影された非可視光画像および前記可視光投影装置によって投影された可視光画像を前記撮像装置によってそれぞれ撮像した画像に基づき、前記非可視光画像と前記可視光画像との各画素を対応づけるキャリブレーション処理を実行するステップと
   を有することを特徴とする画像投影方法。
7. 前記撮像装置に可視光カットフィルタが設けられ、前記パターン画像を受光する際には前記可視光カットフィルタが用いられ、前記投影用コンテンツ画像を受光する際には前記可視光カットフィルタが解除されることを特徴とする請求項６に記載の画像投影方法。
8. 前記撮像装置が露光時間を変更可能であって、前記パターン画像を受光する際よりも、前記投影用コンテンツ画像を受光する際には前記露光時間を長くすることを特徴とする請求項６に記載の画像投影方法。
9. 前記非可視光投影装置による投影ステップでは、前記パターン画像として、互いに反転した関係を有するパターンを含む画像対が順次投影され、
   前記撮像装置による撮像ステップでは、前記順次投影された画像対および当該画像対とそれぞれ同一のタイミングで投影された前記投影用コンテンツ画像とが順次撮像され、
   前記投影対象の形状情報を取得するステップでは、前記撮像装置により順次撮像された前記画像対の撮像画像の差分画像に基づいて、前記投影対象の３次元的な形状情報を取得することを特徴とする請求項６に記載の画像投影方法。

Images