JP2019139069A - 投影システム - Google Patents

Abstract

【課題】物体に応じた映像を投影する投影システムにおいて、物体の三次元計測を行いながら、物体に関する情報を取得し易くする。【解決手段】投影システム（１）は、可視光投影部（２）と、非可視光投影部（３，３０）と、撮像部（４）と、制御部（５）とを備える。可視光投影部は、可視光によって物体に応じた映像（７１）を投影する。非可視光投影部は、非可視光による非可視光映像（８０）を物体に投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。制御部は、撮像された撮像画像（１１）に基づき、物体の三次元計測を行いながら物体において反射した光に基づく情報を取得して、映像を制御する。非可視光映像は、明領域（Ｒ１）と、明領域の光量よりも小さい光量を有する暗領域（Ｒ０）とを含む。非可視光投影部は、非可視光映像において暗領域の光量がオフセット値（ｂ）以上になるように、非可視光を照射する。【選択図】図４

Description

本開示は、物体の三次元計測等に基づき、物体の形状および位置等に応じた映像を投影する投影システムに関する。

特許文献１は、建物のような構造物に映像コンテンツを投影するプロジェクションマッピングのための投影システムを開示している。特許文献１の投影システムにおいては、投影装置が、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを構造物に照射する。また、撮像装置が、構造物に投影されたパターン画像を撮像する。特許文献１の投影システムによると、構造物に映像コンテンツを位置合わせしてプロジェクションマッピングを行うことが可能になる。

特開２０１５−１７３４３１号公報

本開示は、物体に応じた映像を投影する投影システムにおいて、物体の三次元計測を行いながら、物体に関する情報を取得し易くすることができる投影システム提供する。

本開示における投影システムは、物体の計測に基づき、物体に応じた映像を投影する。投影システムは、可視光投影部と、非可視光投影部と、撮像部と、制御部とを備える。可視光投影部は、可視光によって物体に応じた映像を投影する。非可視光投影部は、非可視光による非可視光映像を物体に投影する。撮像部は、非可視光投影部によって投影された非可視光映像を撮像する。制御部は、撮像部によって撮像された撮像画像に基づき、物体の三次元計測を行いながら物体において反射した光に基づく情報を取得して、映像を制御する。非可視光映像は、所定の光量を有する明領域と、明領域の光量よりも小さい光量を有する暗領域とを含む。非可視光投影部は、非可視光映像において暗領域の光量が所定のオフセット値以上になるように、非可視光を照射する。

本開示における投影システムによると、物体に応じた映像を投影する際に、オフセット値以上の光量を有する非可視光映像が撮像される。これにより、投影システムにおいて、物体の三次元計測を行いながら、物体に関する情報を取得し易くすることができる。

実施形態１に係る投影システムの構成を示すブロック図 投影システムにおける三次元計測の原理を説明するための図 空間コード化法に基づく計測パターンを説明するための図 実施形態１に係る投影システムの投影動作を説明するための図 実施形態１の二次元検出における非可視光映像を説明するための図 実施形態２に係る投影システムの構成を示すブロック図 実施形態２に係る投影システムの投影動作を説明するための図 実施形態２の投影システムのスクリーン及び各種フィルタを説明するための図 実施形態３に係る投影システムの構成を示すブロック図 実施形態３の投影システムのスクリーンを説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
１．構成
実施形態１に係る投影システムの構成を、図１を参照して説明する。図１は、本実施形態に係る投影システム１の構成を示すブロック図である。

本実施形態に係る投影システム１は、図１に示すように、可視光プロジェクタ２と、赤外光プロジェクタ３と、赤外光投光器３０と、カメラ４と、コントローラ５と、スクリーン１０とを備える。投影システム１は、例えば演出用に人物等の被写体６に可視光の映像を投影するプロジェクションマッピングを行うシステムである。投影システム１は、可視光プロジェクタ２からの可視光による映像７１が、被写体６の三次元的な形状等に応じて投影されるように、赤外光プロジェクタ３及びカメラ４を用いて被写体６の三次元計測を行う。

さらに、本実施形態の投影システム１は、被写体６に保持させるマーカ６１の二次元的な位置を逐次、取得する二次元検出を行って、映像７１を被写体６の動きに精度良く追従させる。本実施形態では、上記の三次元計測のための赤外光プロジェクタ３等に加えて赤外光投光器３０を投影システム１に用いて、マーカ６１の二次元検出を高速化する。

マーカ６１は、被写体６において映像７１が投影される基準の位置を示す。例えば、マーカ６１は、被写体６となる人物の手足など、高速に動くことが想定される位置に取り付けられる。本実施形態において、マーカ６１は、再帰反射性を有する反射部材で構成される。

可視光プロジェクタ２は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。可視光プロジェクタ２は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、種々の映像コンテンツを含む映像７１を投影するように可視光を射出する。可視光プロジェクタ２は、本実施形態における可視光投影部の一例である。可視光プロジェクタ２は、図１に示すように、可視光光源２１と、空間光変調部２２と、投影光学系２３とを備える。

可視光光源２１は、本実施形態では、赤色光、緑色光及び青色光をそれぞれ射出する複数の光源素子（例えばＬＥＤ）を含む。可視光光源２１は、可視光プロジェクタ２の投影方式に応じて適宜、単色の光源素子のみ、或いは白色の光源素子を有してもよい。光源素子は、レーザダイオード又はハロゲンランプなどであってもよい。

空間光変調部２２は、例えばＲＧＢに対応する３つの空間光変調素子で構成される。空間光変調素子としては、ＤＭＤ又はＬＣＤ等を用いることができる。空間光変調部２２は、特に３つの空間光変調素子に限らず、例えば１つの空間光変調素子で構成されてもよい。

投影光学系２３は、可視光プロジェクタ２の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

赤外光プロジェクタ３は、例えばＤＬＰ方式、ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。赤外光プロジェクタ３は、例えばコントローラ５から入力される映像信号（映像データ）に基づき、後述する所定の赤外光の計測パターン等の映像を投影する。

本実施形態における赤外光プロジェクタ３及び赤外光投光器３０は、非可視光により非可視光映像を投影する非可視光投影部の一例である。本実施形態では、非可視光の一例として赤外光を用いるが、これに限らず、例えば紫外光を用いてもよい。赤外光プロジェクタ３は、図１に示すように、赤外光光源３１と、空間光変調素子３２と、投影光学系３３とを備える。

赤外光光源３１は、例えばピーク波長が８００ｎｍ〜９００ｎｍの赤外光を射出する。赤外光光源３１は、例えばレーザダイオード等の光源素子を含む。赤外光光源３１の光源素子は、ＬＥＤ又はランプなどであってもよい。

空間光変調素子３２は、ＤＭＤ又はＬＣＤ等で構成される。空間光変調素子３２の画像形成面には、コントローラ５等からの映像信号に基づき画像が形成される。赤外光光源３１において発光した赤外光が空間光変調素子３２の画像形成面に入射することで、赤外光が空間変調される。

投影光学系３３は、赤外光プロジェクタ３の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

赤外光投光器３０は、非可視光として赤外光を投光する投光部の一例である。赤外光投光器３０は、例えばＬＥＤおよびランプなどの光源を含む。例えば、赤外光投光器３０は、ピーク波長が８００ｎｍ〜９００ｎｍの赤外光を射出する。

赤外光投光器３０と赤外光プロジェクタ３とは、例えば互いに同一の領域に赤外光を照射可能に配置される。赤外光投光器３０とカメラ４とは、例えば、それぞれの光軸が略一致するように位置及び向きを近接させて配置される。

各プロジェクタ２，３は、例えば互いに同一の領域に映像を投影するように配置される。各プロジェクタ２，３は、それぞれの光軸が一致するように光学的に結合されてもよい。この場合、例えば、可視光を透過して赤外光を反射する、或いは可視光を反射して赤外光を透過するダイクロイックミラーなどを用いてもよい。また、この場合、それぞれの投影光学系２３，３３は一体的に構成されてもよい。また、赤外光プロジェクタ３と可視光プロジェクタ２とが、一つの装置として一体的に構成されてもよい。

カメラ４は、赤外光プロジェクタ３等によって非可視光映像が投影される領域の画像を撮像可能な位置に配置される。カメラ４は、赤外光において被写体６に投影される計測パターンの撮像画像を生成し、撮像画像を示す画像データである撮像データをコントローラ５に出力する。カメラ４は、投影システム１における撮像部の一例である。カメラ４は、図１に示すように、撮像素子４１と、撮像レンズ４２と、可視光遮断フィルタ４３とを備える。

撮像素子４１は、例えばシリコンを主原料として含むＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの固体撮像素子で構成される。撮像素子４１は、光を受光する複数の画素回路が並ぶ撮像面を有する。撮像素子４１の主原料はシリコンに限らず、例えばゲルマニウム或いはガリウムであってもよい。

撮像レンズ４２は、カメラ４の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。

可視光遮断フィルタ４３は、入射する光の内の赤外光成分を透過し、可視光成分を吸収するバンドパスフィルタ或いはロングパスフィルタである。可視光遮断フィルタ４３は、例えば撮像レンズ４２に取り付けられる。可視光遮断フィルタ４３は、カメラ４において選択的に赤外光を透過する波長選択部材の一例である。

可視光遮断フィルタ４３は、撮像レンズ４２におけるコーティング、或いは回折格子の形成等により、撮像レンズ４２と一体的に構成されてもよい。また、可視光遮断フィルタ４３は、撮像素子４１の画像形成面（即ち撮像面）などに組み込まれて構成されてもよい。また、可視光遮断フィルタ４３は、可視光成分の吸収に代えて、又はこれに加えて、可視光成分を反射するように構成されてもよい。

コントローラ５は、投影システム１の各部を制御する制御装置である。コントローラ５は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを備える。コントローラ５は、図１に示すように、映像生成部５０と、記憶部５１とを備える。コントローラ５は、本実施形態における投影システム１の制御部の一例である。

コントローラ５は、記憶部５１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、コントローラ５は、映像生成部５０としての機能を実現する。また、コントローラ５は、カメラ４、赤外光プロジェクタ３及び可視光プロジェクタ２等の各種動作タイミングの制御（例えば各部の同期制御）、ズーム制御、フォーカス制御などを行ってもよい。

コントローラ５は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。コントローラ５は、ＣＰＵ，ＭＰＵ，ＧＰＵ，マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。また、コントローラ５の各種機能は、例えば可視光プロジェクタ２等の投影システム１の各部に組み込まれてもよい。

映像生成部５０は、可視光プロジェクタ２によって投影される映像７１を示す映像データを生成する。この際、映像データは、映像７１を被写体６の動きに追従して投影できるように生成される必要がある。そこで、本実施形態においてコントローラ５は、カメラ４からの撮像データに基づき被写体６の形状の三次元計測を行い、同時に位置の二次元検出を高速に行う。

記憶部５１は、コントローラ５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ）又は半導体記憶装置（ＳＳＤ）を備える。また、記憶部５１は、さらに、ＤＲＡＭやＳＲＡＭ等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにコントローラ５の作業エリアとしても機能する。例えば、記憶部５１は、種々の映像コンテンツを示す映像データ及び後述する計測パターンを示す映像データを格納する。

スクリーン１０は、各プロジェクタ２，３の投影方向において被写体６よりも後方となる位置に配置される。スクリーン１０は、投影システム１において被写体６の背景となるような映像７１を映し出すための背景部材の一例である。スクリーン１０を用いることにより、例えば被写体６の動きに連動するような映像７１が投影でき、プロジェクションマッピングにおける演出効果を高めることができる。なお、本実施形態の投影システム１では、特に背景の演出が必要ない場合等に適宜、スクリーン１０が省略されてもよい。

２．動作
以上のように構成される投影システム１の動作を以下に説明する。

２−１．三次元計測の原理について
本実施形態では、被写体６の三次元計測における計測原理の一例として、空間コード化法によるアクティブステレオ計測を採用する。本計測原理について、図２，３を用いて説明する。図２は、三次元計測の原理を説明するための図である。図３は、空間コード化法に基づく計測パターンを説明するための図である。

図２では、カメラ４と赤外光プロジェクタ３とが、それぞれの光軸が平行になるように並んで配置されている。以下、図２に示すように、各光軸の方向をｚ方向とする。また、ｚ方向に直交し、カメラ４と赤外光プロジェクタ３とが並ぶ方向をｘ方向とし、ｚ方向及びｘ方向に直交する方向をｙ方向とする。

図２では、赤外光プロジェクタ３から射出した赤外光が物体の特定の点（輝点）において反射し、輝点からの反射光がカメラ４に入射する様子を示している。図２に示すように、カメラ４と赤外光プロジェクタ３との間には、視差θが生じる。赤外光プロジェクタ３から投影された映像がカメラ４で撮像されると、投影された映像はカメラ４の撮像画像において視差θだけずれて映る。すなわち、図２に示すように、物体上の輝点までの距離に応じて、カメラ４の撮像画像における輝点のｘ座標がずれる。

投影システム１では、上記のような座標のずれに基づき、コントローラ５がカメラ４と赤外光プロジェクタ３との間隔を基線長とする三角法に基づく計算を行って、ｚ方向の距離を計測する。基線長は、例えば投影システム１の設置時のキャリブレーションなどによって予め取得される。座標のずれは、空間コード化法に基づく計測パターンを用いて計測される。この計測方法について、図３（ａ），（ｂ）を参照して説明する。

図３（ａ）は、赤外光プロジェクタ３から投影される１組の計測パターン８１，８２，８３の映像データを例示している。各計測パターン８１〜８３は、ずれの計測対象のｘ座標の方向に沿って配置された明領域Ｒ１と暗領域Ｒ０を有する。明領域Ｒ１は、暗領域Ｒ０よりも大きい光量を有する。空間コード化法によると、明領域Ｒ１を「１」、暗領域Ｒ０を「０」に対応させることで、映像データ上のｘ座標がコード化される。

図３（ａ）の例では、第１ステップの計測パターン８１と、第２ステップの計測パターン８２と、第３ステップの計測パターン８３とが順次、投影される。時間の経過とともに第１〜第３ステップの順に投影される３つの計測パターン８１〜８３により、映像データ上で８つの領域に対応する３ビットのコードが得られる。

図３（ｂ）は、図３（ａ）の各計測パターン８１，８２，８３が投影された物体がカメラ４によって撮像されたときに生成される撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３を示している。図３（ｂ）に示すように、同じコード「１１０」に対応する輝点であっても、物体上の奥行きに応じて、撮像画像におけるｘ座標がずれる。本実施形態では、コントローラ５が、映像生成部５０において撮像画像Ｉｍ１〜Ｉｍ３を示す撮像データをデコードすることにより、座標のずれを計測する。

具体的に、コントローラ５は、まず、１フレームの撮像画像の画素毎に、画素の輝度と所定の閾値とを比較する閾値判定を行う。所定の閾値は、撮像画像中で計測パターンにおける明領域の輝点を映している画素を判断する基準の閾値であり、例えばノイズの光量を考慮して設定される。コントローラ５は、閾値判定において、輝度が閾値を超えると判断した画素に「１」を割り当て、輝度が閾値を超えないと判断した画素に「０」を割り当てる。

コントローラ５は、以上の処理を全ての撮像画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対して行い、画素毎に割り当てられた二値（「０」又は「１」）を集計することにより、撮像データのデコードを行う。

コントローラ５は、デコード結果が表すｘ座標の値と基準のｘ座標の値とを画素毎に比較することにより、ｘ座標のずれを計測する。ｙ座標のずれについても、例えば図３（ａ）の計測パターン８１〜８３を９０度回転させた計測パターンを用いることで、上記と同様に計測できる。また、赤外光プロジェクタ３と可視光プロジェクタ２との間にも視差がある場合、例えば予め両者の設置位置を示す情報を取得しておき、適宜、赤外光プロジェクタ３において規定される三次元座標を可視光プロジェクタ２において規定される三次元座標に換算する。

２−２．二次元検出について
本実施形態の投影システム１における二次元検出の概要について、以下説明する。

本実施形態では、上記のような三次元計測のための計測パターン８１〜８３（図３）の撮像画像を利用して、マーカ６１の位置等を高速に取得するように二次元検出を実行する。カメラ４の撮像画像中には、赤外光プロジェクタ３から投影される計測パターン８１〜８３における明領域Ｒ１が撮像された部分（以下「明部」という）と、暗領域Ｒ０が撮像された部分（以下「暗部」という）とが含まれる。

投影システム１において、被写体６に保持されたマーカ６１は、ある計測パターンの投影中に暗領域Ｒ０に位置する場合がある。このとき、マーカ６１から反射光が得られないと、マーカ６１がカメラ４により撮像されないこととなる。このことから、各フレームにおける撮像画像中の暗部ではマーカ６１が検出されず、二次元検出を撮像画像のフレーム毎に実行することが困難であるという課題が考えられる。

そこで、本実施形態の投影システム１は、マーカ６１を保持する被写体６に、赤外光プロジェクタ３から計測パターン８１〜８３を投影する際、これと共に赤外光投光器３０から赤外光を一様光として照射する。これにより、赤外光プロジェクタ３から投影される計測パターン８１〜８３に依らず、マーカ６１から反射光が得られ、カメラ４による各フレームの撮像画像においてマーカ６１を検出可能にすることができる。

二次元検出を行う他の方法としては、例えば、複数の計測パターンを撮像した撮像画像をデコードし、デコード結果が示す座標と基準の座標を比較することにより三次元計測し、生成された形状の輪郭の一部を被写体の位置として検出する方法が考えられる。この場合、被写体における特定の位置を検出するために、複数フレームの撮像画像を用いる必要が生じてしまう。

これに対して、本実施形態の二次元検出によると、各フレームの撮像画像においてマーカ６１を検出できる。このため、マーカ６１の位置を取得するために要する時間を著しく短縮できる。よって、投影システム１において、被写体６のマーカ６１の位置に応じて映像７１を投影するために要する時間が短縮され、被写体６の位置に対するずれを低減して投影動作を行うことができる。

２−３．投影動作（プロジェクションマッピング）
本実施形態に係る投影システム１においてプロジェクションマッピングを行うための投影動作を、図１，４を参照して説明する。図４は、本実施形態における投影動作を説明するための図である。

本実施形態において、赤外光プロジェクタ３は、スクリーン１０の投影面全体などの被写体６を含む範囲に、１組の計測パターン８１〜８３（図３参照）の各々を順次、投影する。図４では、赤外光プロジェクタ３から投影される１フレームの計測パターン８を例示している。赤外光プロジェクタ３のフレームレートは、例えば６０ｆｐｓ〜２４０ｆｐｓである。

赤外光投光器３０は、計測パターン８が投影される範囲において一様な分布９を有する赤外光の一様光を照射する。本実施形態では、赤外光プロジェクタ３からの計測パターン８と、赤外光投光器３０からの赤外光の一様分布９とが、同範囲において重畳することによって、非可視光映像が形成される（図５（ｃ）参照）。

この際、カメラ４は、計測パターン８と赤外光の一様分布９とによる非可視光映像を撮像して、撮像画像１１を生成する。カメラ４は、撮像画像１１を示す撮像データをコントローラ５に出力する。カメラ４の撮像動作は、例えばコントローラ５の制御により赤外光プロジェクタ３の動作に同期して、計測パターン８のフレーム毎に行われる。

コントローラ５は、撮像データが示す撮像画像１１に基づいて、三次元計測と二次元検出とのそれぞれの処理を実行する。本実施形態において、三次元計測の計測対象は、例えば被写体６等の物体の輪郭及び凹凸を含む三次元形状である。また、二次元検出の検出対象は、被写体６のマーカ６１の位置を撮像画像１１中で示す二次元座標である。コントローラ５の映像生成部５０（図１）は、三次元計測及び二次元検出の処理結果に応じて、被写体６に投影される映像コンテンツを含む映像データを生成する。

三次元計測の処理は、複数フレームの撮像画像１１に基づいて実行される。具体的に、上述した空間コード化法による１組の計測パターン８１〜８３（図３）に対応した各撮像画像において、コントローラ５は、各々の画素毎に自装置までの距離を計測し、例えば画素毎に計測した距離を深度として示す深度画像１２を生成する。

一方、二次元検出の処理は、例えば撮像画像１１のフレーム毎に実行される。本実施形態では、コントローラ５が、各フレームの撮像画像１１における所定の閾値以上の明るさの画素位置を、被写体６のマーカ６１の位置として検出し、当該撮像画像１１中の二次元の位置座標の値（Ｘ，Ｙ）を取得する。二次元検出の詳細については後述する。

生成した深度画像１２及び取得した二次元座標に基づいて、コントローラ５の映像生成部５０は、映像７１が被写体６に投影された際に適切に映し出されるように、映像データを補正する。映像データは、例えば予め記憶部５１に格納されている。例えば映像生成部５０は、１つの深度画像１２が生成される毎に、映像７１を三次元的に補正する。新たな深度画像が得られるまでの複数フレームの期間中、映像生成部５０は順次、取得される二次元座標に基づいて、映像７１の二次元的な補正をフレーム毎に実行する。

可視光プロジェクタ２は、所定のフレームレートにおいて、コントローラ５の映像生成部５０から映像データを順次、入力して、被写体６及びスクリーン１０に、入力した映像データが示す映像７１を投影する。可視光プロジェクタ２のフレームレートは、例えばカメラ４の撮像動作のフレームレートと同様である。

以上の投影動作によると、非可視光映像の撮像画像１１に基づき、被写体６の三次元計測を行いながら、高速にマーカ６１の二次元検出を行うことにより、可視光プロジェクタ２から投影される映像７１を被写体６の動きに精度良く追従させることができる。

また、本実施形態では、図１に示すように、可視光遮断フィルタ４３をカメラ４に用いて、カメラ４に入射する光の内の可視光成分を遮断して赤外光成分を透過する。これにより、可視光プロジェクタ２が可視光の発光により映像を投影することに干渉せず、カメラ４が赤外光プロジェクタ３による計測パターンを精度良く撮像することができる。

また、以上の投影動作において、映像生成部５０は、スクリーン１０に投影する映像７１も含めるように、可視光プロジェクタ２に出力する映像データを生成してもよい。例えば、投影システム１の設置時などのキャリブレーションによりスクリーン１０の位置及び形状（向き）を示す情報を予め記憶部５１に記録しておき、投影動作時に映像生成部５０が上記の情報を参照して、スクリーン１０に投影する映像７１の補正を行う。

２−４．二次元検出の詳細
本実施形態における非可視光映像を用いた二次元検出の詳細について、図５を用いて説明する。図５は、本実施形態の二次元検出における非可視光映像８０を説明するための図である。以下では、説明の簡単化のため、立体的な歪みがない物体に非可視光映像８０等が投影される例について説明する。

図５（ａ）は、本実施形態の投影システム１における赤外光プロジェクタ３からの計測パターン８の一例を示す。図５（ｂ）は、図５（ａ）の計測パターン８の光量分布を示す。図５（ｂ）では、Ｘ方向に分布する光量を示している（図５（ｄ），（ｅ）も同様）。

本実施形態では、赤外光プロジェクタ３が投影する計測パターン８においては、図５（ａ），（ｂ）に示すように、暗領域Ｒ０に分布する光量の値、即ち光量値が「０」である。また、明領域Ｒ１の光量値は、所定の差分Ｂ（以下「明暗差Ｂ」という）だけ、暗領域Ｒ０の光量値よりも大きい。計測パターン８における明暗差Ｂは、三次元計測における閾値判定の観点から適宜、設定される。

図５（ｃ）は、本実施形態における非可視光映像８０の一例を示す。図５（ｄ）は、図５（ｃ）の非可視光映像８０の光量分布を示す。図５（ｅ）は、図５（ｃ）の非可視光映像８０の撮像画像１１の一例を示す。

図５（ｃ）では、図５（ａ）の計測パターン８に基づく非可視光映像８０を例示している。本実施形態の投影システム１は、赤外光プロジェクタ３からの計測パターン８に、赤外光投光器３０からの一様光を重畳して、非可視光映像８０を投影する。非可視光映像８０は、図５（ｄ）に示すように、パターン成分とオフセット成分とを含む。

非可視光映像８０のパターン成分は、赤外光プロジェクタ３からの計測パターン８に対応して、明領域Ｒ１と暗領域Ｒ０間の明暗差Ｂを有する。また、非可視光映像８０のオフセット成分は、赤外光投光器３０からの一様光の光量に対応するオフセット値ｂを有する。オフセット値ｂは、「０」でない所定の正値であり、二次元検出の閾値判定等の観点から適宜、設定される。

以上のような非可視光映像８０によると、図５（ｄ）に示すように、暗領域Ｒ０の光量値が「０」よりもオフセット値ｂの分、大きくなる。これにより、本実施形態の二次元検出では、非可視光映像８０の暗領域Ｒ０にマーカ６１が位置したとしても（図５（ｃ）参照）、マーカ６１からオフセット値ｂに応じた光量の反射光を得ることができる。このような場合の撮像画像１１の輝度分布を、図５（ｅ）に例示する。

本実施形態の投影システム１では、マーカ６１が赤外光投光器３０からの一様光をカメラ４の方向に再帰反射することにより、撮像画像１１中でマーカ６１の位置が、周囲よりも明るく映ることとなる。図５（ｅ）の例において、撮像画像１１は、非可視光映像８０の暗領域Ｒ０に対応する範囲内に、マーカ６１に対応する輝度のピークＰ１を有する。

投影システム１のコントローラ５は、二次元検出の処理において、撮像画像１１中の輝度を、予め設定された閾値と比較することにより、ピークＰ１のようなマーカ６１の位置を取得する。二次元検出の閾値は、例えば撮像画像１１中の明部およびマーカ６１（ピークＰ１）として想定される輝度を考慮して設定可能である。

また、投影システム１の非可視光映像８０におけるオフセット値ｂは、例えば明領域Ｒ１と暗領域Ｒ０間の明暗差Ｂを基準に設定されてもよい。例えば、オフセット値ｂは、明暗差Ｂの０．１倍等であってもよい。例えばオフセット値ｂの設定により、撮像画像１１の輝度分布（図５（ｅ））において、マーカ６１に対応するピークＰ１の輝度を、明領域Ｒ１に対応する輝度よりも顕著に大きくすることができる。また、オフセット値ｂは、例えば撮像画像１１の輝度分布におけるノイズの輝度等を考慮して設定されてもよい。

３．効果等
以上のように、本実施形態において投影システム１は、被写体６等の物体の三次元計測に基づき、物体に応じた映像７１を投影する。投影システム１は、可視光プロジェクタ２と、赤外光プロジェクタ３及び赤外光投光器３０による非可視光投影部と、カメラ４と、コントローラ５とを備える。可視光プロジェクタ２は、可視光投影部は、可視光によって映像７１を物体に投影する。非可視光投影部は、非可視光による非可視光映像８０を物体に投影する。カメラ４は、非可視光投影部によって投影された非可視光映像８０を撮像する。コントローラ５は、カメラ４によって撮像された撮像画像１１に基づき、物体の三次元計測を行いながら物体において反射した光に基づく情報を取得して、映像７１を制御する。非可視光映像８０は、所定の光量を有する明領域Ｒ１と、明領域Ｒ１の光量よりも小さい光量を有する暗領域Ｒ０とを含む。非可視光投影部は、非可視光映像８０において暗領域Ｒ０の光量が所定のオフセット値ｂ以上になるように、非可視光を照射する。

以上の投影システム１によると、物体に応じた映像７１を投影する際に、撮像される非可視光映像８０において暗領域Ｒ０の光量がオフセット値ｂ以上になるため、例えば撮像画像１１のフレーム毎など高速に、マーカ６１等の二次元検出を行える。このように、投影システム１において、物体の三次元計測を行いながら、マーカ６１の位置等の物体に関する情報を取得し易くすることができる。

また、本実施形態の投影システム１において、投影システム１の被写体６となる物体は、非可視光の一例の赤外光を反射するマーカ６１を含む。二次元検出の対象とする反射した光に基づく情報は、マーカ６１の二次元的な位置を含む。本実施形態のマーカ６１は、例えば赤外光を再帰反射する。また、本実施形態の非可視光投影部は、投光部の一例の赤外光投光器３０を備える。赤外光投光器３０は、オフセット値ｂに応じた赤外光を投光する。

以上の投影システム１によると、被写体６が保持するマーカ６１には、赤外光プロジェクタ３から計測パターン８が投影されると同時に、赤外光投光器３０により一様分布９の赤外光が照射される。このため、計測パターン８の明領域Ｒ１及び暗領域Ｒ０に依らず、撮像画像１１においてマーカ６１の位置が高輝度の領域として撮像される。マーカ６１の位置を示す高輝度の領域を抽出するように所定の閾値を設定することで、マーカ６１の撮像画像１１中の位置を認識できる。

以上のように、本実施形態の投影システム１において、被写体６の形状を計測すると同時に、高速に被写体６の位置を検出できる。コントローラ５の映像生成部５０は、被写体６の形状と位置の計測結果に応じて物体に投影される映像を示す映像データを生成する。可視光プロジェクタ２は、物体に映像データが示す映像を可視光により投影する。

また、本実施形態において、カメラ４は、シリコンを含む撮像素子４１と、赤外光を透過して可視光を吸収または反射する可視光遮断フィルタ４３とを備える。これにより、カメラ４において、撮像素子４１には可視光領域に受光感度があるような場合であっても、可視光の受光を遮断することができる。なお、可視光領域に受光感度がない撮像素子を用いる場合には、可視光遮断フィルタ４３を省略してもよい。

また、本実施形態において、可視光遮断フィルタ４３は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。可視光遮断フィルタ４３は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。

また、本実施形態の投影システム１は、背景部材の一例のスクリーン１０を備えてもよい。スクリーン１０は、非可視光投影部から非可視光が射出する方向において被写体６の後方に配置される。本実施形態のスクリーン１０によると、可視光の映像７１を投影して演出効果等を得ることができる。

また、本実施形態において、非可視光映像８０は、空間コード化法に基づく計測パターン８を含む。本実施形態の非可視光映像８０によると、明領域Ｒ１と暗領域Ｒ０のデコードによって、コントローラ５が物体の三次元計測を行うことができる。

（実施形態２）
以下、図面を用いて、実施形態２を説明する。実施形態１では、投影システム１の二次元検出においてマーカ６１の位置を取得した。実施形態２では、被写体６の輪郭を取得するような二次元検出を行う投影システムについて、図６〜８を参照して説明する。

実施形態１に係る投影システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システムを説明する。

１．構成
実施形態２に係る投影システム１Ａの構成について、図６を参照して説明する。図６は、実施形態２に係る投影システム１Ａの構成を示すブロック図である。

実施形態２に係る投影システム１Ａでは、実施形態１と同様の構成において（図１参照）、スクリーン１０Ａが、被写体６の輪郭を取得可能な背景部材を構成する。さらに、本実施形態の投影システム１Ａは、図６に示すように第１及び第２偏光フィルタ３４，４４を備える。

また、実施形態１の投影システム１は、赤外光投光器３０と赤外光プロジェクタ３とを用いて非可視光映像を投影した。本実施形態では、赤外光投光器３０を投影システム１Ａに用いない例を説明する。つまり、本実施形態の投影システム１Ａにおいては、赤外光プロジェクタ３が、二次元検出を高速化するための非可視光映像を投影する。本実施形態の赤外光プロジェクタ３は、非可視光投影部の一例である。

実施形態２のスクリーン１０Ａは、偏光状態を維持する性質を有する反射面１０ａを備える。スクリーン１０Ａの投影面は、偏光状態を維持する性質であれば、平面であってもよいし、曲面であってもよい。本実施形態のスクリーン１０Ａとしては、金属粉を反射面１０ａの全面に塗布したシルバースクリーンを用いることができる。

第１偏光フィルタ３４は、赤外光プロジェクタ３から投影される非可視光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第１偏光フィルタ３４は、例えば赤外光プロジェクタ３の投影光学系３３に取り付けられる。第１偏光フィルタ３４は、赤外光プロジェクタ３において非可視光に特定の偏光特性を付与する偏光部材の一例である。第１偏光フィルタ３４は、投影光学系３３における赤外光光源３１とスクリーン１０の間に配置されたり、投影光学系３３と一体的に構成されたりしてもよい。

第２偏光フィルタ４４は、カメラ４に入射する光のうち、特定方向の直線偏光成分のみを透過する偏光フィルタである。第２偏光フィルタ４４は、第１偏光フィルタ３４により付与された特定の偏光特性の赤外光を遮断するため、第１偏光フィルタ３４の特性と９０°異なる方向の特性になるように設置される。第２偏光フィルタ４４は、入射する非可視光のうちの所定の偏光成分を遮断する偏光部の一例である。

第２偏光フィルタ４４は、例えば撮像レンズ４２に取り付けられる。また、第２偏光フィルタ４４は撮像レンズ４２における撮像素子４１とスクリーン１０Ａの間に配置されたり、撮像レンズ４２と一体的に構成されたりしてもよい。また、第２偏光フィルタ４４は、撮像素子４１の画像形成面などに組み込まれて構成されてもよい。また、第２偏光フィルタ４４は、可視光遮断フィルタ４３と一体的に構成されてもよい。

２．動作
以上のように構成される投影システム１Ａの動作を以下に説明する。

２−１．投影動作
実施形態２に係る投影システム１Ａの投影動作を、図７を参照して説明する。図７は、本実施形態に係る投影システム１Ａの投影動作を説明するための図である。

本実施形態の投影システム１Ａでは、図７に示すように、赤外光プロジェクタ３が、三次元計測の計測パターンを示すパターン成分と、投影範囲を一様に照射するオフセット成分とを重畳した非可視光映像８０Ａを投影する。非可視光映像８０Ａのオフセット成分を示すオフセット値ｂは、例えばコントローラ５（図６）から赤外光プロジェクタ３に入力する映像データに設定されている。

赤外光プロジェクタ３からの非可視光映像８０Ａは、第１偏光フィルタ３４を介して、被写体６及びスクリーン１０Ａに投影される。カメラ４は、第２偏光フィルタ４４を介して、投影された非可視光映像８０Ａを撮像する。本実施形態のスクリーン１０Ａ並びに第１及び第２偏光フィル３４，４４によると、図７に示すように、カメラ４の撮像画像１１に、非可視光映像８０Ａにおいてスクリーン１０Ａ上の部分が映り込まないようにすることができる。本実施形態のスクリーン１０Ａ及び各種フィルタ３４，４４の機能については後述する。

本実施形態において、コントローラ５は、カメラ４の撮像画像１１に基づいて、被写体６の三次元計測を行いながら、被写体６の輪郭を取得するように二次元検出の処理を実行する。例えば、コントローラ５は、撮像画像１１における所定の閾値以上の高輝度の画素を、被写体６として認識する。コントローラ５は、被写体６を示す画素領域をオブジェクト部として抽出するように２値化したマスク画像１３を生成する。あるいは、コントローラ５は、被写体６を示す画素領域の任意の方向のエッジとなる画素位置を、被写体６の二次元座標として算出してもよい。

以上の投影動作によると、非可視光映像８０Ａに含まれたオフセット成分により、三次元計測の計測パターンに依らず、カメラ４のすべての撮像画像１１に、被写体６の全体像が映ることとなる。また、撮像画像１１中で、被写体６はスクリーン１０Ａと比べて、顕著に輝度の高い領域として映り、所定の閾値以上の領域を被写体６として認識することができる。

本実施形態の非可視光映像８０Ａの代わりに、オフセット成分を重畳しない、計測パターンのみの画像を用いる場合、撮像画像中の被写体６のうち暗領域Ｒ０が撮像された暗部と、スクリーン１０Ａとが、区別できないことが考えられる。この場合、赤外光プロジェクタ３からある計測パターンを投影してカメラ４で撮像した画像と、次のフレームで明暗が反転したパターンを投影して撮像した画像とを合成するなどの追加の処理が必要になる。

これに対して、本実施形態では、すべての撮像画像１１で被写体６の領域と他の領域とを区別できるため、被写体６の輪郭または位置を取得するために要する時間を著しく短縮できる。これにより、二次元検出を高速化して、投影システム１Ａにおいて投影される映像７１を被写体６の動きに精度良く追従させることができる。

２−２．スクリーンと各種フィルタについて
本実施形態の投影システム１Ａにおけるスクリーン１０Ａ並びに第１及び第２偏光フィルタ３４，４４の機能について、図８を用いて説明する。図８は、実施形態２のスクリーン１０Ａ及び各種フィルタ３４，４４を説明するための図である。

本実施形態の投影システム１Ａは、スクリーン１０Ａの投影面で反射された赤外光プロジェクタ３からの赤外光がカメラ４に受光されないようにするため、反射時に偏光状態を維持するスクリーン１０Ａと、第１及び第２偏光フィルタ４４とを用いる。具体的に、赤外光が第１偏光フィルタ３４を透過する際に特定の方向の直線偏光成分のみを透過させ、スクリーン１０Ａで反射する際に上記の直線偏光成分を維持し、第２偏光フィルタ４４を透過する際に上記の直線偏光成分のみを遮断する。

これにより、赤外光プロジェクタ３から投影される画像中のスクリーン１０Ａに投影された部分はカメラ４の撮像画像に映らない。一方、被写体６に投影された部分からの反射光は、偏光が乱れ略無偏光となる。よって、被写体６における略無偏光の反射光の一部が第２偏光フィルタ４４を透過するため、被写体６は撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状を精度良く取得可能になる。

詳述すると、例えば図８に示すように、赤外光プロジェクタ３からの射出時の赤外光１８は、無偏光である（図中に全方向の矢印で示す）。次いで、射出した赤外光１８は、第１偏光フィルタ３４を通過するとき、図中で横方向の偏光成分のみを透過させる（横方向の矢印）。第１偏光フィルタ３４を通過した赤外光１８は、被写体６又はスクリーン１０Ａで反射される。

スクリーン１０Ａで反射した赤外光１８ａは、スクリーン１０Ａの反射面１０ａで偏光状態を維持するので、横方向の偏光成分のみで反射される（横方向の矢印）。すると、第２偏光フィルタ４４で横方向の偏光成分が遮断され、スクリーン１０Ａで反射した赤外光はカメラ４に受光されない。一方、被写体６で反射した赤外光１８ｂは、被写体６の表面で偏光が乱れるので、無偏光となる（全方向の矢印）。この場合、第２偏光フィルタ４４で横方向の偏光成分が遮断される一方で、他の方向の偏光成分が透過する（縦方向の矢印）。よって、被写体６で反射した赤外光はカメラ４に受光される。これにより、カメラ４において、被写体６の輪郭を明瞭に撮像することができる。

また、第１偏光フィルタ３４が赤外光１８を横方向の偏光成分のみにすることが技術的に困難な場合が想定される。この場合、スクリーン１０Ａでの反射と、被写体６での反射とを撮像素子４１で見分けるためには、第２偏光フィルタ４４を透過する赤外光の偏光成分の合計値に差があればよい。この観点から、第１偏光フィルタ３４を透過した赤外光の所定の偏光状態は、非可視光において所定の偏光成分が５０％より多い割合となればよい。より好ましくは、スクリーン１０Ａでの反射と、被写体６での反射との見分けをつけるために、第２偏光フィルタ４４を透過した赤外光に１０％以上の差異をつければよい。つまり、第１偏光フィルタ３４を透過した赤外光の所定の偏光状態は、非可視光において所定の偏光成分が６０％以上の割合とすればよい。

また、本実施形態では、スクリーン１０Ａとしてシルバースクリーンを用いることにより、可視光の拡散反射を行うことができる。これにより、スクリーン１０において可視光プロジェクタ２による映像の視認性を確保することができる。

３．効果等
以上のように、本実施形態において、投影システム１Ａのコントローラ５は、例えば被写体６の輪郭など、スクリーン１０Ａ以外の物体において反射した光に基づく情報を取得する。これにより、被写体６等の物体の形状に応じた映像７１を精度良く投影することができる。

本実施形態の投影システム１Ａにおいて、背景部材の一例であるスクリーン１０Ａは、反射面１０ａにおいて、入射する非可視光を、偏光状態を維持するように反射する。スクリーン１０Ａは、例えば金属粉を塗布したシルバースクリーンで構成される。

また、本実施形態の投影システム１Ａにおいて、非可視光投影部としての赤外光プロジェクタ３は、例えば第１偏光フィルタ３４により、所定の偏光状態において非可視光を射出する。カメラ４には、入射する非可視光のうちの上記の偏光状態の成分を遮断するように、第２偏光フィルタ４４が設けられている。

以上の投影システム１Ａによると、赤外光プロジェクタ３における偏光状態を維持したままスクリーン１０Ａが非可視光を反射することで、第２偏光フィルタ４４によりスクリーン１０Ａで反射された非可視光は遮断される。これにより、物体の形状または位置に応じて映像を投影する投影システム１において、被写体６の形状を精度良く計測するとともに、高速で位置等を検出することができる。

また、本実施形態において、スクリーン１０Ａは、可視光を拡散反射する。これにより、可視光プロジェクタ２からスクリーン１０Ａに映像を映し出すことができ、投影システム１Ａにおける演出効果を高めることができる。

また、本実施形態の投影システム１Ａは、赤外光プロジェクタ３が非可視光である赤外光により、オフセット成分を含む非可視光映像８０Ａを投影する構成に限らず、例えば実施形態１のような赤外光投光器３０（図１参照）を用いてもよい。この場合、赤外光投光器３０は、例えば第１偏光フィルタ３４と同様の構成により、赤外光プロジェクタ３と同じ偏光状態において赤外光を投光する。

また、本実施形態において、第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３に取り付けられるフィルタである。第１偏光フィルタ３４は、赤外光プロジェクタ３における投影光学系３３と一体的に構成されてもよい。なお、赤外光プロジェクタ３における赤外光光源３１が、上記の偏光状態に対応する偏光特性を持った光を発する場合、第１偏光フィルタ３４を省略してもよい。この場合、例えば赤外光光源３１は、例えばレーザ光源などの発光素子を含む。

また、本実施形態において、第２偏光フィルタ４４は、カメラ４における撮像レンズ４２に取り付けられるフィルタである。第２偏光フィルタ４４は、撮像素子４１に組み込まれるフィルタであってもよいし、カメラ４における撮像レンズ４２と一体的に構成されてもよい。

また、以上の説明では、第１偏光フィルタ３４を透過する際に、上記の偏光状態として特定の方向の直線偏光成分のみを透過し、第２偏光フィルタ４４を透過する際に同方向の直線偏光成分のみを遮断する構成を説明した。本実施形態の投影システム１Ａにおいて用いる偏光状態は、特定の直線偏光成分に限定されない。

例えば、本実施形態の投影システム１Ａは、第１偏光フィルタ３４で、非可視光を円偏光又は楕円偏光などの所定の偏光状態の非可視光成分のみに変換し、第２偏光フィルタ４４で当該偏光状態の非可視光成分のみを遮断するように構成されてもよい。これによっても、赤外光プロジェクタ３から投影して第１偏光フィルタ３４を透過する所定の偏光特性を持つ非可視光が、第２偏光フィルタ４４を介してカメラ４で検出されないようにすることができる。所定の偏光状態は、非可視光において所定の偏光成分が５０％よりも多くてもよいし、６０％以上であってもよい。

（実施形態３）
以下、図面を用いて、実施形態３を説明する。実施形態２では、非可視光を拡散反射するスクリーン１０Ａを用いた。実施形態３では、非可視光の拡散反射を遮断するスクリーンを用いた投影システムについて、図９，１０を参照して説明する。

実施形態１、２に係る投影システム１，１Ａと同様の構成、動作の説明は適宜、省略して、本実施形態に係る投影システムを説明する。

図９は、実施形態３に係る投影システム１Ｂの構成を示すブロック図である。本実施形態に係る投影システム１Ｂでは、実施形態１と同様の構成において（図１参照）、スクリーン１０Ｂが、赤外光の拡散反射を遮断する背景部材を構成する。

実施形態３のスクリーン１０Ｂは、可視光を拡散反射する可視光拡散層１０１と、赤外光を遮断する赤外光遮断層１０２との２層構造で構成される（図１０参照）。スクリーン１０Ｂの反射面１０ｂは、可視光拡散層１０１が赤外光遮断層１０２に覆われて構成される。スクリーン１０Ｂの投影面は、赤外光を遮断し、可視光を拡散反射する性質であれば、平面であってもよいし、曲面であってもよい。

スクリーン１０Ｂの可視光拡散層１０１は、可視光を拡散反射する投影面を構成する。可視光拡散層１０１は、各種の幕部材であってもよい。

赤外光遮断層１０２は、入射する光の内の可視光成分を平均５０％以上の透過率で透過し、赤外光成分を平均５０％以上吸収する光学特性を有する。赤外光遮断層１０２は、例えばフィルム部材で構成される。赤外光遮断層１０２により、スクリーン１０Ｂの投影面が、入射する赤外光の拡散反射を遮断する遮光面として形成される。赤外光遮断層１０２は、スクリーン１０Ｂにおける遮光部材の一例である。また、赤外光遮断層１０２は、フィルム部材に限らず、例えばパネル部材で構成されてもよい。また、可視光拡散層に対するコーティングなどにより、赤外光遮断層１０２が形成されてもよい。

本実施形態の投影システム１Ｂにおけるスクリーン１０Ｂの機能について、図１０を用いて説明する。図１０は、実施形態３の投影システム１Ｂにおけるスクリーン１０Ｂを説明するための図である。

本実施形態では、可視光プロジェクタ２は、被写体６と共に、スクリーン１０Ｂに映像７１を投影する（図９参照）。スクリーン１０Ｂにおいて観察者等に視認可能に映像７１を映すためには、図１０に示すように、可視光プロジェクタ２からの可視光１７がスクリーン１０Ｂにおいて拡散反射される必要がある。しかし、赤外光プロジェクタ３からの赤外光１８もスクリーン１０Ｂにおいて拡散反射されると、カメラ４による計測パターンの撮像画像中で、被写体６の領域と被写体６以外の領域との境界が不明瞭になってしまう。

そこで、本実施形態では、スクリーン１０Ｂの投影面において赤外光１８が拡散反射されないように、赤外光遮断層１０２を用いてスクリーン１０Ｂを構成する（図１０）。これにより、赤外光プロジェクタ３から投影される計測パターン中のスクリーン１０Ｂに投影された部分はカメラ４の撮像画像に映らずに、計測パターン中の被写体６に投影された部分のみが、撮像画像に映ることとなる。このため、カメラ４の撮像画像上で被写体６の輪郭が明瞭になり、被写体６の形状及び位置を精度良く計測可能になる。

また、スクリーン１０Ｂは、可視光を拡散反射する可視光拡散層１０１に赤外光遮断層１０２を重ねて構成される。図１０に示すように、赤外光遮断層１０２が可視光１７を透過することにより、スクリーン１０Ｂの投影面において可視光１７の拡散反射は維持される。これにより、スクリーン１０Ｂにおいて可視光プロジェクタ２による映像の視認性を確保することができる。

以上のように、本実施形態の投影システム１Ｂにおいて、背景部材の一例であるスクリーン１０Ｂは、反射面１０ｂにおいて、入射する非可視光の拡散反射を遮断する。これによっても、実施形態２と同様に、二次元検出において、被写体６の輪郭などの情報を取得し易くすることができる。

本実施形態の投影システム１Ｂにおいては、被写体６に、実施形態１と同様のマーカ６１が含まれてもよい。本実施形態の投影システム１Ｂによると、二次元検出において実施形態１と同様にマーカ６１の二次元位置を取得できる。

また、以上の説明では、本実施形態における非可視光投影部の一例として実施形態１と同様の構成を説明したが、本実施形態の非可視光投影部は、実施形態２と同様に赤外光プロジェクタ３で構成されてもよい。これによっても、上記と同様の効果を得ることができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。

上記の実施形態１において、マーカ６１は非可視光を再帰反射した。本実施形態の投影システムでは、再帰反射性でないマーカが投影対象の物体に含まれてもよい。本実施形態の投影システムにおけるマーカは、例えば７５％などの所定値以上の反射率を有してもよい。これによっても、撮像画像にマーカが顕著に高い輝度で映るようにして、実施形態１と同様の効果を得ることができる。

また、上記の各実施形態では、非可視光映像８０，８０Ａが空間コード化法に基づく計測パターンを含む例を説明した。本実施形態の非可視光映像は、空間コード化法に限定されず、例えば、位相差コントラスト法に基づく計測パターン、或いはランダムドットパターン等を含んでもよい。非可視光映像は、投影システムにおいて採用する三次元計測の計測原理に応じて適宜、設定されてもよい。

また、上記の各実施形態では、被写体６等の物体に映像７１を投影する例を説明したが、投影システムの投影対象は、特に当該物体上に限定されない。例えば、本実施形態の投影システムは、物体の計測結果に基づいて、計測した物体に応じた映像として、同物体を避けるような可視光の映像を、可視光プロジェクタ２から投影することができる。

また、上記各実施形態において、投影システム１において被写体６に映像７１を追従させる例について説明した。本開示における投影システムの投影対象となる物体は、特に動体に限らず静止物体でもよく、例えば建造物でもよい。静止物体が投影システムの投影対象である場合には、特に投影動作中に位置を計測しなくてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。

本開示における投影システムは、物体に映像を投影する種々の用途に適用可能である。

１，１Ａ，１Ｂ 投影システム
２ 可視光プロジェクタ
３ 赤外光プロジェクタ
３０ 赤外光投光器
３４ 第１偏光フィルタ
４ カメラ
４３ 可視光遮断フィルタ
４４ 第２偏光フィルタ
５ コントローラ
５０ 映像生成部
６ 被写体
６１ マーカ
１０，１０Ａ，１０Ｂ スクリーン
１０ａ，１０ｂ 反射面

Claims (10)

1. 物体の計測に基づき、前記物体に応じた映像を投影する投影システムであって、
   可視光によって前記物体に応じた映像を投影する可視光投影部と、
   非可視光による非可視光映像を前記物体に投影する非可視光投影部と、
   前記非可視光投影部によって投影された非可視光映像を撮像する撮像部と、
   前記撮像部によって撮像された撮像画像に基づき、前記物体の三次元計測を行いながら前記物体において反射した光に基づく情報を取得して、前記映像を制御する制御部と
   を備え、
   前記非可視光映像は、所定の光量を有する明領域と、前記明領域の光量よりも小さい光量を有する暗領域とを含み、
   前記非可視光投影部は、前記非可視光映像において前記暗領域の光量が所定のオフセット値以上になるように、前記非可視光を照射する
   投影システム。
2. 前記物体は、前記非可視光を反射するマーカを含み、
   前記反射した光に基づく情報は、前記マーカの二次元的な位置を含む
   請求項１に記載の投影システム。
3. 前記マーカは、前記非可視光を再帰反射する
   請求項２に記載の投影システム。
4. 前記非可視光投影部は、前記オフセット値に応じた非可視光を投光する投光部を備える
   請求項１〜３のいずれか１項に記載の投影システム。
5. 前記非可視光投影部から前記非可視光が射出する方向において前記物体の後方に配置される背景部材を備える
   請求項１〜４のいずれか１項に記載の投影システム。
6. 前記制御部は、前記背景部材以外の物体において反射した光に基づく情報を取得する
   請求項５に記載の投影システム。
7. 前記背景部材は、入射する非可視光を、偏光状態を維持するように反射する
   請求項５又は６に記載の投影システム。
8. 前記非可視光投影部は、所定の偏光状態において前記非可視光を射出し、
   前記撮像部に入射する非可視光のうちの前記所定の偏光状態の成分を遮断する偏光部が設けられた
   請求項７に記載の投影システム。
9. 前記背景部材は、入射する非可視光の拡散反射を遮断する
   請求項７又は８に記載の投影システム。
10. 前記非可視光映像は、空間コード化法に基づく計測パターンを含む
    請求項１〜９のいずれか１項に記載の投影システム。