JP2018056799A - プロジェクターシステム及び撮像装置 - Google Patents

Abstract

【課題】インタラクティブなプロジェクターを実現するに際して、書き込みを可能にするための位置合わせ（キャリブレーション）の精度向上を簡易な構成で図ることができるプロジェクターシステム及び撮像装置を提供すること。
【解決手段】撮像部（撮像装置）５０において、光学フィルター装置６０を構成する光学フィルターＦＩ１，ＦＩ２が挿し抜きされ、絞りＳＴが光学フィルターＦＩ１，ＦＩ２の挿抜に応じてＦ値を変化させる。これにより、投射画面上への書き込み動作すなわちインタラクティブなプロジェクターの動作時において検出光ＤＬを必要に足る光量で捉えつつ検出光ＤＬ以外の他の波長帯域の光の進入を抑制し、位置合わせ（キャリブレーション）時において画像光であるパターン画像光ＧＬと検出光ＤＬとの波長帯域の差によって生じる軸上色収差を抑制し、精度の向上を図る。
【選択図】図４

Description

本発明は、投射画面上にあるペン先等を検出してこれを投射画像の内容に反映させることで書き込みができるいわゆるインタラクティブなプロジェクターを実現するためのプロジェクターシステム及び当該プロジェクターシステムに適用可能な撮像装置に関する。

インタラクティブなプロジェクターとして、例えば投射画面上を指し示すポインティングデバイスから射出される赤外光を撮像装置で検出するとともに当該赤外光の投射画面上での発光位置を特定することで上記のようなインタラクティブ機能を達成するものが知られている（例えば特許文献１参照。）。ところで、このようなインタラクティブなプロジェクターを実現するには、投射画面上における利用者が保持するペン先等の位置を示す赤外光の発光位置を特定するための位置合わせ（キャリブレーション）がなされていることが前提となる。しかしながら、位置合わせ（キャリブレーション）のために、例えば可視光で投射されるプロジェクターからのパターン画像の画像位置とポインティングデバイスからの赤外光の発光位置とを、プロジェクターに付随する撮像装置で取得した撮像情報に基づいて対応付けしようとすると、可視光と赤外光との双方についてピンボケ等すること無く捉えられるように、当該撮像装置を広範囲な波長帯域で色収差を抑制できる高性能なものとする、といったことが必要になる。なお、特許文献１のように光学フィルターを光路から退避した時に、代わりにガラス基板等を挿入して撮像素子における焦点ずれを抑制しようとした場合、例えば光軸上の焦点位置については合うように調整されるとしても、光軸上以外の他の位置では焦点位置が合わず、ぼけてしまう可能性がある。

特開２０１３−３８６２６号公報

本発明は、インタラクティブなプロジェクターを実現するに際して、書き込みを可能にするための位置合わせ（キャリブレーション）の精度向上を簡易な構成で図ることができるプロジェクターシステム及び当該プロジェクターシステムに適用可能な撮像装置を提供することを目的とする。

上記目的を達成するため、本発明に係るプロジェクターシステムは、光源からの光を変調した画像光を投射するプロジェクター本体部と、プロジェクター本体部からの画像光を低減するとともに当該画像光の波長帯域以外の波長帯域の検出光を透過させる挿抜可能な光学フィルターと光学フィルターの挿抜に応じてＦ値を変化させる絞りとを有する撮像部とを備える。

上記プロジェクターシステムでは、撮像部において、光学フィルターが挿し抜きされることで、例えば検出光を必要に足る光量で捉えつつ検出光以外の他の波長帯域の光の進入を抑制し、投射画面上への書き込み動作すなわちインタラクティブなプロジェクターの動作を確保できる。この際、絞りが光学フィルターの挿抜に応じてＦ値を変化させることで、画像光と検出光との波長帯域の差によって生じる軸上色収差を抑制し、位置合わせ（キャリブレーション）の精度の向上を図ることができる。

本発明の具体的な側面によれば、撮像部で取得した画像光の情報に基づく画像投射位置と、撮像部により検出された検出光の発光位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える。この場合、プロジェクター制御部によって、画像投射位置と発光位置とを対応づけて、例えば発光するペン先等の位置検出をして当該ペン先の動きを投射画面上に書き込むといったインタラクティブなプロジェクターの動作が可能になる。なお、プロジェクター制御部については、例えばプロジェクター本体部に組み込まれる場合のほか、プロジェクター本体部に接続されるＰＣがプロジェクター制御部として機能する等種々の態様が考えられる。

本発明の別の側面によれば、プロジェクター本体部は、撮像部により検出された検出光の発光位置の情報を反映した画像投射を行う。この場合、検出光の発光位置の情報を反映させることで、検出光の発光位置に基づいて投射画面上に書き込むインタラクティブなプロジェクターの動作が可能になる。

本発明の別の側面によれば、プロジェクター本体部は、パターン画像を投影するための画像光を投射するとともに、当該パターン画像の画像光を受光した撮像部の情報に基づいて、光源からの光を変調する光変調の画素と撮像部の受光素子の画素とを対応付けるキャリブレーションを行う。この場合、上記のようなキャリブレーションを行うことで、インタラクティブな画像投射を行うための画像の位置に関する対応付けがなされる。

本発明のさらに別の側面によれば、絞りは、キャリブレーション時のパターン画像の画像光のＦ値を、画像投射時に検出する検出光のＦ値よりも大きくする。なお、ここで、画像投射時とは、キャリブレーションのためのパターン画像を投影するといった利用者の通常の使用以外の使用を意味せず、利用者が実際に投影したい画像等を投射させる実使用時（通常の使用時）のことを意味するものとする。この場合、キャリブレーション時においては、Ｆ値を比較的大きなものとすることで、軸上色収差が抑えられるので、撮像部は、キャリブレーション時の投射光を取り込むに際して被写界深度を深くする、すなわちぼけにくくしてパターン画像を撮像した範囲の全体についてピントが合っている状態にでき、例えば近接した投射のように、プロジェクター本体部による画像投射における投射距離が画像位置によって大きく異なる（撮像部側からすると焦点距離が位置によって異なる）場合においてもパターン画像を撮像した際のボケを抑制し高解像なものとすることができる。一方、画像投射時においては、Ｆ値を比較的小さなものとする、すなわち取り込むことができる光量を増やすことで、例えば赤外光等の検出光を確実に検出できる。なお、画像投射時には、例えば光学設計上最適化しておくことで投射光の被照射領域の全体をについてピントが合っている状態で撮像できるものとしておく。

本発明のさらに別の側面によれば、絞りは、画像光と検出光とで絞り量を変化させる可変絞りである。この場合、画像光を通過させるときと検出光を通過させるときとで可変絞りを動かすことでＦ値を変化させることができる。

本発明のさらに別の側面によれば、絞りは、画像光の波長帯域の光を遮蔽し、検出光の波長帯域の光を透過させる固定絞りである。この場合、固定絞りにおいて、画像光と検出光とで通過させる範囲を異なるものとすることで、Ｆ値を変化させることができる。

本発明のさらに別の側面によれば、撮像部は、赤外光波長帯域の光を、画像光の波長帯域以外の波長帯域の検出光として検出する。この場合、赤外光波長帯域の光を利用して画像光以外の光を検出光として検出させることができる。

本発明のさらに別の側面によれば、光学フィルターは、画像投射時に挿入され画像光を遮蔽するとともに検出光を透過させる可視光カットフィルターである。この場合、可視光カットフィルターにより画像光をカットして検出光を確実に捉えることができる。

上記目的を達成するため、本発明に係る撮像装置は、パターン画像を投影するための画像光と当該画像光の波長帯域以外の波長帯域の検出光とを撮像する撮像装置であって、画像光を低減するとともに検出光を透過させる挿抜可能な光学フィルターと、光学フィルターの挿抜に応じてＦ値を変化させる絞りとを備える。

上記撮像装置では、光学フィルターが挿し抜きされることで、例えば検出光を必要に足る光量で捉えつつ検出光以外の他の波長帯域の光の進入を抑制できる。この際、絞りが光学フィルターの挿抜に応じてＦ値を変化させることで、画像光と検出光との波長帯域の差によって生じる軸上色収差を抑制できるので、例えば投射画面上への書き込み動作すなわちインタラクティブなプロジェクターに搭載することで、当該プロジェクターにおける位置合わせ（キャリブレーション）の精度の向上が図ることができる。また、絞りでのＦ値の変化に応じて光学フィルターが挿し抜きされることで、例えば検出光を必要に足る光量で捉えつつ検出光以外の他の波長帯域の光の進入を抑制できる。

第１実施形態のプロジェクターシステムの概略構成を示す図であり、キャリブレーション時のパターン画像の投影の様子を示す図である。 プロジェクターシステムの構成を示すブロック図である。 第１実施形態の撮像部（撮像装置）の構成を示す図である。 撮像部（撮像装置）を構成する光学系を示す図であり、キャリブレーション時の様子を示す図である。 キャリブレーションのための対応付けについて説明するための図である。 インタラクティブな状況での画像投射の様子を示す図である。 画像投射時の撮像部（撮像装置）の様子を示す図である。 キャリブレーション時と画像投射時とでの絞りの状態を示す図である。 実施形態での軸上色収差と比較例での軸上色収差との関係について示す図である。 第２実施形態のプロジェクターシステムに組み込まれる撮像部（撮像装置）の構成を示す図である。 一変形例のプロジェクターシステムの概略構成を示す図である。

〔第１実施形態〕
以下、図面を参照して、本発明の第１実施形態に係る撮像装置及びこれを組み込んだプロジェクターシステムについて説明する。

図１等に示すプロジェクターシステム５００は、投射光ＰＬを投射して画像投射を行うプロジェクター１００で構成されている。なお、投射光ＰＬの被照射領域ＰＬａは、例えばスクリーンＳＣ上に形成される。また、図示を省略するが、プロジェクターシステム５００は、プロジェクター１００のほか、例えばＰＣ等が接続されることで構成され、必要に応じて当該ＰＣが各種処理をすることで被照射領域ＰＬａでの表示画面上への書込みを受け付けるインタラクティブな状況での画像動作を可能にしている。プロジェクターシステム５００のうち、プロジェクター１００は、スクリーンＳＣの斜め上方に設置され、斜め下方のスクリーンＳＣに向けて近接投射をする短焦点タイプのプロジェクターであり、画像投射を行うための本体部分であるプロジェクター本体部１００ｐと、撮像部（あるいは撮像装置）５０とで構成されている。

プロジェクター本体部１００ｐは、図１あるいは図６に示すように、スクリーンＳＣに向けて可視光波長帯域の光を合成して構成される画像光である投射光ＰＬを投射して投影画像（カラー画像）の形成を行う。なお、図１は、プロジェクター本体部１００ｐによる画像投影のうち、特に、いわゆるインタラクティブな画像投射を可能にするための前提となる位置合わせの処理であるキャリブレーション時のパターン画像の投影の様子を示しており、図６は、キャリブレーション後になされる実使用時の画像投射の一例として、インタラクティブな状況での画像投射の様子を示している。本実施形態では、まず、図１に例示するように、プロジェクター本体部１００ｐによる画像投射（投影）によってスクリーンＳＣ上に映し出される映像の範囲を示すパターン画像ＰＴを、ここでは画像光である投射光ＰＬに含まれる可視光波長帯域の成分のうち緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとする。撮像部５０（あるいは撮像装置５０）において、パターン画像光ＧＬの一部の成分を受光することで、パターン画像ＰＴに関する画像情報が取得され、この情報に基づき画像投射位置の特定がなされる。また、図６に例示するように、スクリーンＳＣ上あるいはその近傍において、上記のような投射光ＰＬのほかに、利用者ＨＵが保持するペン７０の先端部ＴＰから赤外光（すなわち投射光ＰＬの波長帯域以外の波長帯域）が射出され、その一部が撮像部５０において検出される（以下、検出光と呼ぶ。）ことで、利用者ＨＵによる画面上の指示位置を特定するものとなっている。

プロジェクター本体部１００ｐは、詳細な図示を省略するが、光源や光変調装置、投射光学系等を備え、スクリーンＳＣに対する画像投影を行う。このため、例えば図２に示すように、プロジェクター本体部１００ｐは、投射光学系を含む画像投影部９０と、プロジェクター制御部ＣＴとを有し、プロジェクター制御部ＣＴにより画像投射等の各種動作制御されている。また、特に、プロジェクター制御部ＣＴは、撮像部５０からの情報を受け付け可能とし、撮像部５０からの情報を加味して投射させる画像の内容を修正することで、いわゆるインタラクティブな画像投射を可能としている。

撮像部５０は、プロジェクター本体部１００ｐにより投射された投射画像を撮像して画像情報を取得する。これにより、プロジェクター本体部１００ｐは、撮像部５０により取得された画像情報に基づいて、プロジェクター本体部１００ｐを構成する画像形成部（光変調における画素マトリクス）の画素と撮像素子４０の画素との位置関係を対応付けるキャリブレーションを可能にしている。さらに、本実施形態では、撮像部５０は、既述のように、キャリブレーション後になされる実使用時において、プロジェクター本体部１００ｐからの可視光による画像光以外の波長帯域の光（赤外光）を検出光として捉えることが可能になっている。以上のように、撮像部５０は、キャリブレーション時とキャリブレーション後になされる実使用時とで異なる波長帯域の光を検出するものとなっている。なお、ここでは、実使用時を重視して、撮像部５０は、実使用時における赤外光の検出に適したものとなるように光学設計がなされているものとする。すなわち、赤外光の波長帯域成分の検出に際して、被照射領域ＰＬａの全体に亘って撮像部５０により撮像した範囲についてピントが合っている状態となるように設計されているものとする。

以上のような構成により、プロジェクターシステム５００（あるいはプロジェクター１００）は、プロジェクター本体部１００ｐを構成する画像形成部の画素と撮像素子４０の画素との位置関係を対応付けるキャリブレーションを利用することで、いわゆるインタラクティブな画像投射を可能としている。

以下、図３等を参照して、撮像部５０（又は撮像装置５０）の構成について説明する。図３に示すように、撮像部５０は、プロジェクターや監視用カメラ等に搭載されるためのものであり、撮像レンズ系３０のほか、受光素子である撮像素子４０と、制御装置８０とを備える。

撮像レンズ系３０は、物体上の画像を撮像素子４０に結像させるためのものであり、複数のレンズや絞り等を鏡筒部に収納して構成されている。なお、撮像レンズ系３０の本質的部分であるレンズ等の構成の一例については、図４等を参照して後述する。

撮像素子４０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を用いて構成される。撮像素子４０は、可視光のほか、赤外光（ＩＲ光）についても受光検知可能な受光素子である。

制御装置８０は、撮像部５０全体の制御をするとともに、撮像部５０が搭載されるプロジェクター１００との通信等を行う。このため、制御装置８０は、撮像部５０を構成する撮像素子４０や撮像レンズ系３０の駆動制御を行う駆動制御部８１と、プロジェクター１００（プロジェクター制御部ＣＴ）との情報通信処理を行うための通信部８２とを備える。この場合、撮像素子４０や撮像レンズ系３０は、制御装置８０の駆動制御部８１からの駆動信号に従って撮像動作をするものとなり、通信部８２を介して撮像部５０が搭載されたプロジェクター１００での各種動作との連動が可能となっている。すなわち、プロジェクター等の本体装置からの指令に従って動作する、といったことも可能である。

なお、撮像部５０は、プロジェクター１００を構成する一部として組み込まれるものとすることもできるが、例えば、撮像部５０は、プロジェクター１００とは別体の撮像装置５０として存在するものとしてもよい。ただし、撮像装置５０は、プロジェクター１００の投影画像位置を把握するための構成としてその役割を果たすためには、例えばプロジェクター本体部１００ｐによる画像投影における投射角度や投射距離等に対応した角度等にカメラのレンズ系が向いているようにする必要があると考えられる。

ここで、撮像部５０において撮像された画像の情報を利用して、例えば可視光で投射されるプロジェクター本体部１００ｐからのパターン画像光ＧＬが映し出すパターン画像ＰＴの画像位置と、ペン７０（図６参照）のようなポインティングデバイス等からの赤外光ＩＬの発光位置とを、撮像部（撮像装置）５０で取得した撮像情報に基づいて対応付けしようとすると、可視光であるパターン画像光ＧＬと赤外光ＩＬとの双方についてピンボケ等すること無く捉えられるようにする必要がある。この場合、例えば撮像部（撮像装置）５０を可視光波長帯域に加え赤外光波長帯域まで含めた広範囲な波長帯域で色収差を抑制できる高性能なものとする、といったことも考えられるが、非常に高価なものになったり、撮像装置のサイズが大きくなりプロジェクターへの組込みが困難になったりする可能性がある。これに対して、本実施形態では、撮像部（撮像装置）５０において、かかる課題を解決可能とする光学系の構成がなされている。このため、既述のように、本実施形態の撮像部（撮像装置）５０では、前提として、実使用時における赤外光の波長帯域成分の検出に際して最適化された光学設計になっているものとする。すなわち、撮像部５０は、実使用時における赤外光の検出感度が良好となるように、赤外光の波長帯域成分について、被照射領域ＰＬａの全体に亘って撮像部５０により撮像した範囲でピントが合っている（ボケの少ない）状態となるように設計されているものとする。これにより、インタラクティブな状態での実使用時において、ペン７０からの赤外光ＩＬの発光位置を的確に捉えられるものとなっていることとする。ただし、この場合、赤外光の波長帯域とは異なる可視光波長帯域のパターン画像光ＧＬについては、必ずしもボケの少ない状態に維持できる撮像部５０により撮像できるとは限らない。そこで、本実施形態では、撮像部５０において、パターン画像光ＧＬのような可視光波長帯域の画像光を低減するとともに像光の波長帯域以外の波長帯域の検出光を透過させる光学フィルターを挿抜可能に配置するとともに、当該光学フィルターの挿抜に応じてＦ値を変化させる絞りを有する構成とすることで、かかる問題を解決するものとなっている。

以下、図４を参照して、撮像部（撮像装置）５０のうち特に光学系の構成について詳細に説明する。図示の場合、本実施形態に係る撮像部（撮像装置）５０の光学系を構成する撮像レンズ系３０は、複数のレンズ（ここでは一例として８つのレンズＬ１１〜Ｌ１８）と、絞りＳＴと、光学フィルター装置６０とを備える。

複数のレンズＬ１１〜Ｌ１８は、魚眼タイプのレンズを構成し、例えば半画角７０゜以上を有し、スクリーンＳＣの全体を撮像するのに十分なものとなっている。

絞りＳＴは、典型的には、各レンズＬ１１〜Ｌ１８の間のうち各光線束が最も集光する位置に配置され、各レンズＬ１１〜Ｌ１８を通過して最終的に像面ＩＭ（撮像素子４０の像面）に到達する光の量を調整する。すなわち、Ｆ値（絞り値）を変化させる。特に、本実施形態では、既述のように、撮像部５０は、赤外光に対して最適化した光学設計を行っているため、可視光、すなわち赤外光とは波長帯域の異なる光であるパターン画像光ＧＬを捉えるキャリブレーション時では、赤外光を捉える実使用時に比べて、ピントを合わせにくいものとなっている。これに対応するため、図４に一部拡大して示すように、絞りＳＴは、キャリブレーション時においては閉じており、Ｆ値を相対的に大きくした状態とするのに対して、図７に示すように、実使用時においては開いており、Ｆ値を相対的に小さくした状態としている。つまり、撮像部５０は、キャリブレーション時に絞りＳＴの開口径を小さくして光量を制限することで、解像度を上げ、被写界深度を深くしている。言い換えると、絞りＳＴは、キャリブレーション時のパターン画像光と実使用時の検出光とで絞り量を変化させる可変絞りであり、絞り量を変化させている（多くしている）。これにより、撮像部５０は、パターン画像ＰＴの撮像における軸上色収差の発生を抑制し、撮像位置によって焦点距離が変化してもぼけにくいようにし、パターン画像ＰＴの全体を撮像する場合においてその撮像範囲の全体についてピントが合った状態となるようにしている。一方、実使用時（インタラクティブな状態での使用時）については、既述のように、光学設計上最適化をしておくことで、赤外光ＩＬの発光位置を捉えるべき範囲である被照射領域ＰＬａの範囲の全般を撮像する撮像部５０は、その撮像範囲の全体についてピントがあった状態を維持しつつ、絞りＳＴの開口径を大きくして光量を確保することで、例えば、ペン７０が動いて赤外光ＩＬの発光位置が刻々と変化するような場合であっても、位置の移動に対応できるものとなっている。なお、キャリブレーション時ではＦ値が大きい、すなわち暗い状態となるが、上記のようなインタラクティブな状態での使用時に比べれば、撮像に十分な時間を取ることができると考えられ、多少暗くても大きな問題は生じないと考えられる。

光学フィルター装置６０は、第１光学フィルターＦＩ１と、第２光学フィルターＦＩ２とを有し、図示を省略するステッピングモーターやピニオン等によって、レンズＬ１１〜Ｌ１８と像面ＩＭ（撮像素子４０の像面）との間において、各光学フィルターＦＩ１，ＦＩ２を挿抜可能にしている。

光学フィルター装置６０のうち、第１光学フィルターＦＩ１は、可視光波長帯域の光をカットするとともに赤外光波長帯域の光を透過させる可視光カットフィルターである。すなわち、第１光学フィルターＦＩ１は、可視光波長帯域の画像光を低減するとともに像光の波長帯域以外の波長帯域の検出光を透過させるフィルターである。第１光学フィルターＦＩ１は、図４に示すように、キャリブレーション時に光路外に退避しており、図７に示すように、実使用時に光路中に配置される。これにより、第１光学フィルターＦＩ１は、実使用時において、プロジェクター１００から射出される画像光である可視光波長帯域の投射光ＰＬを遮蔽するとともに可視光波長帯域外の光（赤外光）を透過させ、撮像素子４０における検出光ＤＬの検出を可能にしている。

第２光学フィルターＦＩ２は、パターン画像を形成するパターン画像光ＧＬの波長帯域の光のみを透過させ、他の波長帯域の光をカットするカットフィルターである。第２光学フィルターＦＩ２は、図４に示すように、キャリブレーション時に光路中に配置されており、図７に示すように、実使用時に光路外に退避している。これにより、第２光学フィルターＦＩ２は、キャリブレーション時において、撮像素子４０におけるパターン画像光ＧＬの検出を可能にするパターン画像光透過フィルターとして機能している。なお、第２光学フィルターＦＩ２については、上記の他、例えば可視光領域の透過率が第１光学フィルターＦＩ１の可視光領域の透過率より高くなるように構成することができる。

絞りＳＴは、上述のような第１光学フィルターＦＩ１及び第２光学フィルターＦＩ２の挿抜に応じて、Ｆ値を変化させていることになる。

なお、各光学フィルターＦＩ１，ＦＩ２については、種々の態様が考えられるが、典型的には、例えば光透過性のガラス基板上に上記したような特性を有する膜をそれぞれ形成させて構成することが考えられる。ガラス基板については、例えば１〜数ミリ程度の厚さを有するものを適用することで、進退動作に耐え得るだけの強度を持たせることができる。また、第１光学フィルターＦＩ１と第２光学フィルターＦＩ２とは、同等の厚さを有して形成されている。すなわち、上記ガラス基板を同等の厚さを有して構成する。なお、各光学フィルターＦＩ１，ＦＩ２については、ガラス製に限らず合成樹脂製等であってもよい。

また、以上のような光学フィルター装置６０における各光学フィルターＦＩ１，ＦＩ２の挿抜を、上記のような構成の光学フィルターＦＩ１，ＦＩ２の入れ替えによって行っていることで、キャリブレーション時と実使用時とで、撮像素子４０に至る光の屈折状態の差を低減することが可能となる。すなわち、撮像部５０は、キャリブレーション時と実使用時との双方で、光軸上の焦点ずれを抑制して撮像することが可能となる。

以下、図１〜図５を参照して、プロジェクターシステム５００におけるプロジェクター本体部１００ｐ側の画素（光変調側の画素）と撮像部（撮像装置）５０側の画素（撮像素子４０側の画素）の対応を取るためのキャリブレーションの動作について詳細に説明する。

まず、プロジェクター本体部１００ｐにおいて、プロジェクター制御部ＣＴからの制御に従って、画像投影部９０により、キャリブレーション用のパターン画像ＰＴをスクリーンＳＣ上に投影するためのパターン画像光ＧＬが投射される。ここでは、矩形状に投影されたパターン画像ＰＴについて、プロジェクター本体部１００ｐの光変調における画素マトリクス（光変調の画素）との対応付けがなされているものとする。また、パターン画像光ＧＬは、既述のように、緑色波長帯域の光であり、撮像部（撮像装置）５０は、スクリーンＳＣ上に投影されたパターン画像ＰＴを撮像する（パターン画像光ＧＬの情報を取得する）。さらに、撮像部５０は、図２、図３及び図４を参照して説明した構成を有することで、撮像したパターン画像ＰＴの画像情報をプロジェクター本体部１００ｐに対して送信する。プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報と、光変調における画素マトリクスの情報との対応付けを行う。図５は、対応付けについて一例を説明するための図である。ここでは、図中左側に示すピクセル画像ＰＸ１は、プロジェクター本体部１００ｐでの光変調における画素マトリクスを示すものであってスクリーンＳＣ上のパターン画像ＰＴと対応しているものとする。一方図中右側に示すピクセル画像ＰＸ２は、撮像部５０の受光素子である撮像素子４０での画素マトリクスを示すものであり、ピクセル画像ＰＸ２中にパターン画像ＰＴを撮像した画像部分ＰＩが捉えられている。プロジェクター本体部１００ｐは、ピクセル画像ＰＸ１を構成する各ピクセルとピクセル画像ＰＸ２のうち画像部分ＰＩに対応する箇所の各ピクセルとを対応づけることで、撮像部５０で撮像されたパターン画像ＰＴの各位置とプロジェクター本体部１００ｐの光変調における画素マトリクス状の各位置すなわち投影された画像上の位置とを対応付ける。なお、各ピクセルの対応付けについては、プロジェクター本体部１００ｐ側（光変調側）の画素マトリクスのピクセル数と撮像素子４０での画素マトリクスのピクセル数との違いや、画像部分ＰＩが示す範囲の画素マトリクスのピクセル数の違い等から一般には単純に１対１には対応しない。そこで、対応付けのための処理が必要となる。例えば、対応付けはピクセル単位で行うものとしてもよい（例えば対応するテーブルを作成するものとしてもよい）が、例えば対応付ける関数を定めることで、対応付けの処理を可能にするものとしてもよい。

以上のように、プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報であるピクセル画像ＰＸ２のうち画像投射位置を示す画像部分ＰＩと、光変調の画素の位置を示すピクセル画像ＰＸ１とを対応付けることで、キャリブレーションを行っている。これにより、撮像部５０で検出された検出光ＤＬに基づく指示位置の特定が可能となり、インタラクティブな画像投射が可能となる。

以下、図６及び図７を参照して、プロジェクターシステム５００の画像投射時（実使用時）の動作について詳細に説明する。特に、ここでは、インタラクティブな状況での画像投射における動作について説明する。

まず、図６に示すように、この場合、書き込みを行う利用者ＨＵが保持するペン７０の先端部ＴＰがスクリーンＳＣに押しつけられてペン７０がオンの状態になり、先端部ＴＰが発光する、すなわち先端部ＴＰから投射光ＰＬの波長帯域以外の波長帯域の光である赤外光ＩＬが射出されると、その一部が撮像部５０に入射し、検出光ＤＬとして検出される。図６において一部拡大して示すように、撮像部５０において検出光ＤＬの検出がなされ、さらに、検出結果がプロジェクター本体部１００ｐに送信されると、プロジェクター本体部１００ｐは、上記したキャリブレーションによる対応付けに基づいて、先端部ＴＰの発光位置（発光点）に対応する点に対応した画像投射を行う。すなわち、プロジェクター本体部１００ｐは、キャリブレーション時に撮像部５０で取得したパターン画像光の情報に基づく画像投射位置に相当する破線で示す（図６の実使用時には表示されない）パターン画像ＰＴの位置と、インタラクティブな状況での実使用時に撮像部５０により検出された検出光ＤＬの発光位置とを特定し、当該発光位置の情報を反映した画像投射を行う。すなわち、図６において一部拡大して示すように、画像上において検出された検出光ＤＬの発光位置である特定位置ＴＰｘについて、キャリブレーション時での対応付けによってパターン画像ＰＴ上の位置と対応させ、当該位置に先端部ＴＰがあるものとして、その個所を描画した状態の画像表示を行う。なお、上記のような動作を行わせるように、例えばプロジェクター制御部ＣＴにおいて各種画像処理等がなされる。

また、図７に示すように、以上の検出動作において、撮像部５０では、可視光波長帯域の光である投射光ＰＬを、第１光学フィルターＦＩ１において例えば反射により遮蔽するとともに可視光波長帯域外の光である赤外光ＩＬを透過させ、撮像素子４０において検出光ＤＬとして検出できるものとしている。

以下、図８及び図９を参照して、キャリブレーション時とインタラクティブな状況での画像投射時（実使用時）とでの撮像部５０における受光の状況について説明する。図８は、本実施形態におけるキャリブレーション時での絞りＳＴの状態（Ｓ１）と画像投射時での絞りＳＴの状態（Ｓ２）とを示す図である。また、図９は、本実施形態におけるキャリブレーション時と画像投射時とでの絞りＳＴを通過して撮像素子４０に到達する光の軸上色収差と、比較例での軸上色収差との関係について示す図である。

まず、図８に示すように、また、既述のように、本実施形態では、キャリブレーション時においては、プロジェクター１００からの投射光ＰＬのうち緑色波長帯域Ｇ１の成分をパターン画像光ＧＬとして使用する（射出する）。この際、絞りＳＴは、閉じている（Ｓ１）。すなわち、Ｆ値が大きく絞りＳＴを通過できる光の光量は少ない。したがって、パターン画像光ＧＬのうち通過できる成分も少なくなる。

これに対して、実使用時においては、ペン７０から赤外波長帯域Ｉ１の成分を赤外光ＩＬ（検出光ＤＬ）として使用する（射出する）。この際、絞りＳＴは、開いている（Ｓ２）。すなわち、Ｆ値が小さく絞りＳＴを通過できる光の光量は多い。したがって、わずかな赤外光ＩＬであってもこれを確実に検出光ＤＬとして検出できる。

ここで、図９において光線図Ａとして示すように、まず、本実施形態では、撮像素子４０の像面ＩＭにおける結像については、原則検出光ＤＬとなるべきである赤外光ＩＬの結像性能（解像度）が最も良くなるように設計されている。すなわち、インタラクティブな状況等を含めた画像投射時に赤外光ＩＬを確実に検出するための構造となるよう、赤外光ＩＬの結像位置が像面ＩＭに一致するように、あるいはこれに近い状態となるようにレンズ等の基本設計がなされている。この場合、図示のように、波長帯域が赤外光ＩＬと異なる（緑色波長帯域である）パターン画像光ＧＬは、最も結像性能が良くなる結像位置ＰＭが像面ＩＭの位置からずれることになる。本実施形態では、このことを見越して、パターン画像光ＧＬを検出する際には、Ｆ値を変化させる（大きくする）ことで、図示のように、像面ＩＭ上におけるパターン画像光ＧＬのスポット径Ｇｒが大きくなることを抑制している。すなわち、Ｆ値を大きくすることで、結像位置が多少ずれても軸上色収差の発生が抑えられたぼけの少ない画像となるようにしている。この場合、撮像位置によって焦点距離が変化してもぼけにくいようにできる、すなわち撮像素子４０の光軸上に限らず他の位置でもボケを抑制できる。なお、特許文献１や本願の光学フィルター装置６０のように光学フィルターを光路から退避した時に、代わりにガラス基板等を挿入して焦点ずれを抑制しようとした場合、例えば光軸上の焦点位置については合うように調整されるとしても、光軸上以外の他の位置では焦点位置が合わず、ぼけてしまう可能性がある。これに対して、本願では、上記のように絞りＳＴにおいて軸上色収差の発生を抑制することで、撮像素子４０に入射するパターン画像光ＧＬの結像性能を光軸上に限らず他の位置でも向上させている。

以上のような場合に比べて、図９において光線図Ｂとして示す比較例のように、仮に、パターン画像光ＧＬのＦ値を変化させず、赤外光ＩＬ（検出光ＤＬ）と同様な状態の光線を撮像素子４０で受光すると、パターン画像光ＧＬのスポット径Ｇｒが大きくなってしまい、軸上色収差の大きいぼけた画像が認識され、キャリブレーションの精度が劣化することになると考えられる。このような色収差を発生させないようにするために、例えば光学設計で抑えることも考えられるが、光学設計側での負担が増すことになる。特に上記のような構成の場合、可視光波長帯域と赤外光波長帯域との双方において色収差特性に優れたものとする必要が生じるため、色消しレンズ等収差補正のための構成をするに際して高価な硝材の適用や、レンズ枚数の増大が発生する可能性が高いと考えられる。これに対して本実施形態では、光学設計上の負担を大きく低減させることができる。

なお、本実施形態のような構成の場合、パターン画像光ＧＬを投射するキャリブレーション時における撮像部５０の撮像画像は暗くなることになるが、キャリブレーション時においては、インタラクティブな状況での画像投射時のように投射画像の内容が次々と変化していくことに追従させるといった必要がなく、Ｆ値が大きい（暗い）状態の撮像であっても、十分な露光時間の確保等が可能であり、問題が生じにくいと考えられる。

以上のように、本実施形態に係る撮像装置（撮像部）５０及びこれを組み込んだプロジェクターシステム５００では、撮像部５０において、光学フィルター装置６０を構成する光学フィルターＦＩ１，ＦＩ２が挿し抜きされることで、例えば検出光ＤＬを必要に足る光量で捉えつつ検出光ＤＬ以外の他の波長帯域の光の進入を抑制し、投射画面上への書き込み動作すなわちインタラクティブなプロジェクターの動作を確保できる。この際、絞りＳＴが光学フィルターＦＩ１，ＦＩ２の挿抜に応じてＦ値を変化させることで、画像光であるパターン画像光ＧＬと検出光ＤＬとの波長帯域の差によって生じる軸上色収差を抑制し、位置合わせ（キャリブレーション）の精度の向上を図ることができる。

〔第２実施形態〕
以下、図１０を参照して、本発明の第２実施形態に係る撮像装置及びこれを組み込んだプロジェクターシステムについて説明する。本実施形態では、撮像部（撮像装置）２５０の一部の構成以外の構成については、第１実施形態の場合と同様であるので、撮像部（撮像装置）２５０の構成以外の構成については、説明及び図示を省略する。

図１０は、本実施形態に係るプロジェクターシステムに組み込まれる撮像部（撮像装置）２５０の構成を示す図であり、図７あるいは図４に対応する図である。図示のように、本実施形態に係る撮像部（撮像装置）２５０は、図７等に示す撮像部（撮像装置）５０と同様に、撮像レンズ系２３０のほか、受光素子である撮像素子４０等を備え、撮像レンズ系２３０は、複数のレンズＬ１１〜Ｌ１８と、絞りＳＴと、光学フィルター装置６０とを備える。これらのうち、絞りＳＴが固定絞りである点において、第１実施形態の場合と異なっている。より詳しく説明すると、本実施形態において、絞りＳＴは、図１０において一部拡大して示すように中央に孔部ＨＯを有する輪帯状かつ板状の部材であり、投射光ＰＬあるいはパターン画像光ＧＬの波長帯域の光を遮蔽する一方、検出光ＤＬの波長帯域の光を透過させる。すなわち、絞りＳＴは、孔部ＨＯの大きさと自身の形状を調整することで、検出光ＤＬについては、絞りＳＴ全体において透過可能とする一方、投射光ＰＬ（パターン画像光ＧＬ）については、通過させる範囲を孔部ＨＯの範囲に絞ることで、固定絞りであっても、実質的に波長帯域によってＦ値を所望の状態となるように変化させている。これにより、第１実施形態の場合と同様に、絞りＳＴがキャリブレーション時における画像光であるパターン画像光ＧＬと赤外光ＩＬである検出光ＤＬとでＦ値を変化させることで、パターン画像光ＧＬと検出光ＤＬとの波長帯域の差によって生じる軸上色収差を抑制し、位置合わせ（キャリブレーション）の精度の向上が図ることができる。

〔その他〕
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

例えば、特開２０１５−１５９５２４号公報に示されるような赤外線をスクリーンの表面及びその周辺を覆うように照射する装置（表面をカーテン状に照射するように赤外光を走査させる装置）を別途設けておき、スクリーンの周辺に現れる物体がその赤外線を反射した反射光を捉える方法と併用してもよい。例えば反射光（赤外光）を検出することにより捉えた位置に対応する撮像装置の画像領域を解析することで指先等を検出することが考えられる。

また、例えば図１１に示すプロジェクターシステムの概略構成の一変形例のように、プロジェクターシステムが、２つ（複数）の撮像部５０ａ，５０ｂで構成されているものとしてもよい。なお、これらの撮像部５０ａ，５０ｂは、例えば第１実施形態の撮像部５０と同様の構成を有するものとする。２つの撮像部５０ａ，５０ｂを有することで、視差情報（或いはステレオ画像）を取得可能となっている。すなわち、撮像装置を２つ搭載することで、立体視によるより高度な位置検出が可能となっている。この場合、例えばプロジェクター制御部ＣＴ（図２参照）は、撮像部５０ａ，５０ｂでの撮像により取得した画像情報（赤外光である検出光）に基づく視差情報により検出された物体ＯＢ（例えば利用者の指先）の位置情報を反映させた画像を画像投影部９０（図２参照）により投影させることで、インタラクティブな画像投影が可能となる。また、３つ以上の撮像装置を有するものとしてもよい。

また、上記では、プロジェクター制御部ＣＴや、プロジェクター１００に接続可能なＰＣ等において各種処理をなすものとして記載しているが、担わせる処理については、種々の態様が可能であり、例えば、撮像部５０で取得した投射光ＰＬの情報に基づく画像投射位置と、撮像部５０により検出された検出光ＤＬに基づく位置とを特定する等の処理をＰＣ側で行うようにするといったことが考えられる。言い換えると、プロジェクター制御部ＣＴにおける上記画像投射位置や発光位置を特定し、特定した位置関係に基づく画像投影の制御の一部又は全部をＰＣ等の外部接続機器で行う（ＰＣ等がプロジェクター制御部を構成する）ものとしてもよい。また、逆に、ＰＣ等を接続せず、例えば、プロジェクター制御部ＣＴにおいて全ての処理を担わせる構成（ＰＣレス）とすることも可能である。

また、上記では、パターン画像ＰＴを緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとしているが、パターン画像ＰＴの投影については、緑色波長帯域の光に限らず、他の波長帯域の光を利用することも考えられる。この場合、併せて光学フィルター装置６０における第２光学フィルターＦＩ２の特性を種々変更することが考えられる。

また、光学フィルター装置６０において、第２光学フィルターＦＩ２については、透過特性を有する膜を設けず、ガラス基板のみとし、少なくとも可視光波長帯域を全域亘って透過させるもので代用してもよい。さらに、例えばガラス基板の有無の差があっても撮像素子４０の光軸上での焦点ずれを十分に低減できる場合には、第２光学フィルターＦＩ２を有さず挿抜可能な第１光学フィルターＦＩ１のみを有するものとし、画像投射時以外（キャリブレーション時）にはフィルターの配置箇所に何も置かない構成とすることも考えられる。

また、上記では、例えば第１実施形態において絞りＳＴを可変絞りとすることで通過させる光量の調整を行っているが、例えば絞りＳＴを差替え可能な構成とすることも考えられる。

また、受光素子である撮像素子４０について、例えばパターン画像光ＧＬに対応する緑色波長帯域の光のみを受光可能な素子と赤外光ＩＬ（検出光ＤＬ）のみに対応するに対応する赤外波長帯域の光のみを受光可能な素子とで構成するものとしてもよい。

また、上記では、プロジェクター本体部１００ｐを構成する光源や光変調装置、投射光学系等については、図示や詳細な説明を省略しているが、種々の態様が適用可能であり、例えば光源や光変調装置については、光源に関して高圧水銀ランプ等の他、ＬＥＤ光源やレーザー光源を利用することができ、さらに有機ＥＬ（Ｏ−ＬＥＤ）を利用することも可能であり、特に、有機ＥＬ素子を光源として適用した場合、光変調の役割を兼ねた映像装置として構成することが可能である。また、光変調装置についても透過型液晶パネルのほか、反射型液晶パネルや、デジタル・マイクロミラー・デバイス等により光変調装置を構成するといった種々の態様が考えられる。

３０…撮像レンズ系、４０…撮像素子、５０…撮像部（撮像装置）、５０ａ，５０ｂ…撮像部（撮像装置）、６０…光学フィルター装置、７０…ペン、８０…制御装置、８１…駆動制御部、８２…通信部、９０…画像投影部、１００…プロジェクター、１００ｐ…プロジェクター本体部、２３０…撮像レンズ系、５００…プロジェクターシステム、Ａ…光線図、Ｂ…光線図、ＣＴ…プロジェクター制御部、ＤＬ…検出光、ＦＩ１…第１光学フィルター、ＦＩ２…第２光学フィルター、Ｇ１…緑色波長帯域、ＧＬ…パターン画像光、Ｇｒ…スポット径、ＨＯ…孔部、ＨＵ…利用者、Ｉ１…赤外波長帯域、ＩＬ…赤外光、ＩＭ…像面、Ｌ１１-Ｌ１８…レンズ、ＯＢ…物体、ＰＩ…画像部分、ＰＬ…投射光、ＰＭ…結像位置、ＰＴ…パターン画像、ＰＸ１…ピクセル画像、ＰＸ２…ピクセル画像、ＳＣ…スクリーン、ＴＰ…先端部、ＴＰｘ…特定位置

Claims (10)

1. 光源からの光を変調した画像光を投射するプロジェクター本体部と、
   前記プロジェクター本体部からの画像光を低減するとともに当該画像光の波長帯域以外の波長帯域の検出光を透過させる挿抜可能な光学フィルターと、前記光学フィルターの挿抜に応じてＦ値を変化させる絞りとを有する撮像部と
   を備えるプロジェクターシステム。
2. 前記撮像部で取得した画像光の情報に基づく画像投射位置と、前記撮像部により検出された検出光の発光位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える、請求項１に記載のプロジェクターシステム。
3. 前記プロジェクター本体部は、前記撮像部により検出された検出光の発光位置の情報を反映した画像投射を行う、請求項１及び２のいずれか一項に記載のプロジェクターシステム。
4. 前記プロジェクター本体部は、パターン画像を投影するための画像光を投射するとともに、当該パターン画像の画像光を受光した前記撮像部の情報に基づいて、光源からの光を変調する光変調の画素と前記撮像部の受光素子の画素とを対応付けるキャリブレーションを行う、請求項１〜３のいずれか一項に記載のプロジェクターシステム。
5. 前記絞りは、キャリブレーション時のパターン画像の画像光のＦ値を、画像投射時に検出する検出光のＦ値よりも大きくする、請求項４に記載のプロジェクターシステム。
6. 前記絞りは、画像光と検出光とで絞り量を変化させる可変絞りである、請求項１〜５のいずれか一項に記載のプロジェクターシステム。
7. 前記絞りは、画像光の波長帯域の光を遮蔽し、検出光の波長帯域の光を透過させる固定絞りである、請求項１〜５のいずれか一項に記載のプロジェクターシステム。
8. 前記撮像部は、赤外光波長帯域の光を、画像光の波長帯域以外の波長帯域の検出光として検出する、請求項１〜７のいずれか一項に記載のプロジェクターシステム。
9. 前記光学フィルターは、画像投射時に挿入され画像光を遮蔽するとともに検出光を透過させる可視光カットフィルターである、請求項８に記載のプロジェクターシステム。
10. パターン画像を投影するための画像光と当該画像光の波長帯域以外の波長帯域の検出光とを撮像する撮像装置であって、
    画像光を低減するとともに検出光を透過させる挿抜可能な光学フィルターと、
    前記光学フィルターの挿抜に応じてＦ値を変化させる絞りと
    を備える撮像装置。

Images