JP2018056800A - プロジェクターシステム - Google Patents

Abstract

【課題】インタラクティブなプロジェクターを実現するに際して、指示体の位置を示す検出光として可視光波長帯域の光を利用しつつも、検出光と画像光とを確実に識別できるプロジェクターシステムを提供すること。
【解決手段】撮像部５０が、可視光波長帯域の光である投射光（画像光）ＰＬに含まれる波長帯域以外の波長帯域の成分を検出光ＤＬとして受光する。これにより、撮像部５０において、検出光ＤＬと投射光ＰＬとがともに可視光波長帯域の光を利用するものであっても、検出光ＤＬと投射光ＰＬとを確実に識別し、検出光ＤＬのみを検出できる。
【選択図】図６

Description

本発明は、投射画面上にあるペン先等を検出してこれを投射画像の内容に反映させることで書き込みができるいわゆるインタラクティブなプロジェクターを実現するためのプロジェクターシステムに関する。

インタラクティブなプロジェクターとして、例えば投射画面（スクリーン）のほぼ全体に、赤外光の層を形成するように射出させる光出射装置を、プロジェクターの投射機構とは別個に設け、当該光出射装置からの赤外光が、指示体の先端（例えば、指先）で反射され、この反射光を撮像部において検出することをもって指示体による指示操作を検出し、インタラクティブ機能を達成するものが知られている（例えば特許文献１参照。）。また、指示体（発光型のペン）自身が赤外光を射出し、これを撮像部において検出するものとしてもよいことも知られている（同上参照。）。なお、以上のような構成において、指示体の発光位置を特定するためには、プロジェクターからの投射光（可視光）と識別するために可視光外の波長として、赤外光を発生させるものとなっている。すなわち、撮像部は、赤外光を検出して指示体を特定している。

ところで、このようなインタラクティブなプロジェクターを実現するには、投射画面上における指示体の位置を示す赤外光の発光位置を特定するための位置合わせ（キャリブレーション）がなされていることが前提となる。しかしながら、位置合わせ（キャリブレーション）のために、例えば可視光で投射されるプロジェクターからのパターン画像の画像位置とポインティングデバイスからの赤外光の発光位置とを、プロジェクターに付随する撮像装置で取得した撮像情報に基づいて対応付けしようとすると、可視光と赤外光との双方についてピンボケ等すること無く捉えられるように、当該撮像装置を広範囲な波長帯域で色収差を抑制できる高性能なものとする、といったことが必要になる。

また、赤外光は、人間の眼では直接視認できないため、指示体を操作する者やプロジェクターの投影画面の観察者は、インタラクティブ機能により間接的に書き込まれた情報の表示がないと、視認による確認ができない。

なお、上記のような利用における赤外光を仮に可視光にしてしまうとすると、同じく可視光であるプロジェクターからの投射光（画像光）と混同してしまい、指示位置と画像表示とを識別できなくなってしまう。

特開２０１５−１５９５２４号公報

本発明は、インタラクティブなプロジェクターを実現するに際して、指示体の位置を示す検出光として可視光波長帯域の光を利用しつつも、検出光と画像光とを確実に識別できるプロジェクターシステムを提供することを目的とする。

上記目的を達成するため、本発明に係るプロジェクターシステムは、光源と、光源からの光を変調して画像光を形成する光変調装置と、光変調装置からの画像光を投射する投射光学系と、可視光波長帯域の光であって投射光学系から投射される画像光に含まれる波長帯域以外の波長帯域の成分を、投射光学系から投射される画像光によって投影された投影画像上の位置を検出する検出光として受光する撮像部とを備える。

上記プロジェクターシステムでは、撮像部が、可視光波長帯域の光であって投射光学系から投射される画像光に含まれる波長帯域以外の波長帯域の成分を、投射光学系から投射される画像光によって投影された投影画像上の位置を検出する検出光として受光することで、投影画像上の位置を検出してこれを投射画像の内容に反映させることで書き込みができるいわゆるインタラクティブなプロジェクターを実現できる。また、インタラクティブなプロジェクターを実現するに際して、撮像部において、検出光と画像光とがともに可視光波長帯域の光を利用するものであっても、検出光と画像光とを確実に識別できる。この上で、さらに、撮像部における検出対象である検出光が、可視光波長帯域内の光であるので、例えば撮像部は、可視光のほか赤外光までを捉えるような性能を有するようにする必要がなく、小型化簡易化を図りやすいものとなる。また、検出対象である指示体からの射出光（検出光）を可視光とすることで、人間が指示体から射出された光を直接視認することができる。さらに、例えばステレオカメラのような指の形状を認識して指示位置を取得するような態様においても、指の形状を可視光である画像光から分離するために赤外光を照射する、といったことを要しなくなるため、赤外光照明装置といったものも必要なくなる。

本発明の具体的な側面によれば、投射光学系は、少なくとも可視光波長帯域のうち一部の成分をカットした光を投射する。この場合、投射光学系から投射される光には含まれない可視光波長帯域が存在することになり、この可視光波長帯域を検出光として利用できる。

本発明の別の側面によれば、光源から投射光学系までの光路上に配置され、撮像部において検出光として受光されるべき波長帯域の成分と同じ波長帯域の光をカットするカットフィルターをさらに備える。この場合、投射光学系から投射される光の成分に検出光として受光されるべき波長帯域の成分と同じ波長帯域のものが含まれないようにできる。

本発明のさらに別の側面によれば、撮像部は、少なくとも画像光に含まれる波長帯域の光をカットする光学フィルターを有する。この場合、光学フィルターにより検出対象たる検出光のみを確実に検出できる。

本発明のさらに別の側面によれば、撮像部で取得した画像光の情報に基づく画像投射位置と、撮像部により検出された検出光の発光位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える。この場合、プロジェクター制御部によって、画像投射位置と発光位置とを対応づけて、例えば指示体としての発光するペン先等の位置検出をして当該ペン先の動きを投射画面上に書き込むといったインタラクティブなプロジェクターの動作が可能になる。なお、プロジェクター制御部については、例えばプロジェクター本体部に組み込まれる場合のほか、プロジェクター本体部に接続されるＰＣがプロジェクター制御部として機能する等種々の態様が考えられる。

本発明のさらに別の側面によれば、投射光学系は、撮像部により検出された検出光の発光位置の情報を反映した画像投射を行う。この場合、検出光の発光位置の情報を反映させることで、検出光の発光位置に基づいて投射画面上に書き込むインタラクティブなプロジェクターの動作が可能になる。

本発明のさらに別の側面によれば、上記プロジェクターシステムでは、パターン画像を投影するための画像光を投射するとともに、当該パターン画像の画像光を受光した撮像部の情報に基づいて、光源からの光を変調する光変調の画素と撮像部の受光素子の画素とを対応付けるキャリブレーションを行う。この場合、上記のようなキャリブレーションを行うことで、インタラクティブな画像投射を行うための画像の位置に関する対応付けがなされる。

本発明のさらに別の側面によれば、投射光学系から投射される画像光に含まれない波長帯域の光を発生させる指示体をさらに備える。この場合、指示体から射出される射出光の成分を検出光として受光・検出することで、インタラクティブなプロジェクターの動作が可能になる。

本発明のさらに別の側面によれば、上記プロジェクターシステムにおいて、撮像部を起動して、撮像部における波長帯域の成分の受光結果に対応した画像表示を行うインタラクティブモードの設定を受け付けるモード設定受付部をさらに備える。この場合、インタラクティブモードの設定を受け付けた場合に、インタラクティブなプロジェクターの動作が可能となるようにできる。

実施形態のプロジェクターシステムの概略構成を示す図であり、キャリブレーション時のパターン画像の投影の様子を示す図である。 プロジェクターシステムの構成を示す図である。 撮像部の構成を示す図である。 撮像部を構成する光学系を示す図であり、キャリブレーション時の様子を示す図である。 キャリブレーションのための対応付けについて説明するための図である。 インタラクティブな状況での画像投射の様子の一例を示す図である。 撮像部を構成する光学系を示す図であり、インタラクティブな状況での画像投射時の様子を示す図である。 プロジェクターでの投射光のスペクトルの一例を示すグラフである。 撮像部の光学フィルターにおける分光透過特性の一例を示すグラフである。 インタラクティブな状況での画像投射の様子の他の一例を示す図である。 一変形例のプロジェクターシステムの構成を示す図である。 別の一変形例のプロジェクターシステムの概略構成を示す図である。 比較例のプロジェクターシステムの概略構成を示す図である。

以下、図面を参照して、本発明の一実施形態に係るプロジェクターシステムについて説明する。

図１等に示すプロジェクターシステム５００は、投射光ＰＬを投射して画像投射を行うプロジェクター１００で構成されている。なお、投射光ＰＬの被照射領域ＰＬａは、例えばスクリーンＳＣ上に形成される。また、図示を省略するが、プロジェクターシステム５００は、プロジェクター１００のほか、例えばＰＣ等が接続されることで構成され、必要に応じて当該ＰＣが各種処理をすることで被照射領域ＰＬａでの表示画面上への書込みを受け付けるインタラクティブな状況での画像動作を可能にしている。プロジェクターシステム５００のうち、プロジェクター１００は、スクリーンＳＣの斜め上方に設置され、斜め下方のスクリーンＳＣに向けて近接投射をする短焦点タイプのプロジェクターであり、画像投射を行うための本体部分であるプロジェクター本体部１００ｐと、撮像部５０とで構成されている。

プロジェクター本体部１００ｐは、図１あるいは図６に示すように、スクリーンＳＣに向けて可視光波長帯域の光を合成して構成される画像光である投射光ＰＬを投射して投影画像（カラー画像）の形成を行う。なお、図１は、プロジェクター本体部１００ｐによる画像投影のうち、特に、いわゆるインタラクティブな画像投射を可能にするための前提となる位置合わせの処理であるキャリブレーション時のパターン画像の投影の様子を示しており、図６は、キャリブレーション後になされる実使用時の画像投射の一例として、インタラクティブな状況での画像投射の様子を示している。本実施形態では、まず、図１に例示するように、プロジェクター本体部１００ｐによる画像投射（投影）によってスクリーンＳＣ上に映し出される映像の範囲を示すパターン画像ＰＴを、ここでは画像光である投射光ＰＬに含まれる可視光波長帯域の成分のうち緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとする。撮像部５０において、パターン画像光ＧＬの一部の成分を受光することで、パターン画像ＰＴに関する画像情報が取得され、この情報に基づき画像投射位置の特定がなされる。また、図６に例示するように、スクリーンＳＣ上あるいはその近傍において、上記のような投射光ＰＬのほかに、利用者ＨＵが保持する指示体であるペン７０の先端部ＴＰから投射光ＰＬの波長帯域以外の波長帯域である可視光が検出対象光ＶＬとして射出され、その一部が撮像部５０において検出される（以下、検出対象光のうち検出される成分となるべきものを検出光（検出光ＤＬ）と呼ぶ。）ことで、利用者ＨＵによるペン７０（指示体）を利用した画面上の指示位置を特定するものとなっている。

プロジェクター本体部１００ｐは、例えば図２において光学系の構成を概略的に示すように、各種光学系を構成する画像投影部９０において、赤、緑及び青色（Ｒ，Ｇ，Ｂ）の各色の画像光を形成する画像形成部９１ｒ，９１ｇ，９１ｂとして、赤、緑及び青色（Ｒ，Ｇ，Ｂ）の各色の光源９２ｒ，９２ｇ，９２ｂと、各光源９２ｒ，９２ｇ，９２ｂにそれぞれ対応して画素マトリクス単位での画像変調を行う光変調装置９３ｒ，９３ｇ，９３ｂとを備え、さらに、光変調装置９３ｒ，９３ｇ，９３ｂで変調された各色の変調光を合成する合成プリズム９４と、合成プリズム９４で合成された合成光を投射光ＰＬとして投射する投射光学系９５とを備える。これにより、画像投影部９０は、スクリーンＳＣに対するカラー画像による画像投影を行う。なお、上記のほか、リレー光学系やフィールドレンズ等を有するものであるが、ここでは図示や説明を省略する。各光源９２ｒ，９２ｇ，９２ｂについては、種々の構成のものが適用可能であり、例えばレーザー光源やＬＥＤ光源、さらに有機ＥＬ（Ｏ−ＬＥＤ）を利用することも可能である。特に、有機ＥＬ素子等の自発光型の光源を適用した場合、光源が光変調の役割も兼ねた映像装置として構成できる。すなわち、画像形成部９１ｒ，９１ｇ，９１ｂを光源の発生と光変調を行う一体的な物とすることができる。なお、光源（バックライト）と光変調とを個別の構成とする場合、光変調装置９３ｒ，９３ｇ，９３ｂについては、例えば透過型の液晶パネルとすることができる。

ここでは、一例として、各色の光源９２ｒ，９２ｇ，９２ｂについて、レーザー光源を使うものとする。より具体的には、例えば図８のグラフに示すような狭帯域の光源であるものとする。言い換えると、各光源９２ｒ，９２ｇ，９２ｂから発生する光の波長帯域は限定的な範囲に制限されており、可視光波長帯域のうちプロジェクター１００からの投射光ＰＬに含まれることのない可視光波長帯域が存在するものとなっている。本実施形態では、このような投射光ＰＬに含まれない可視光波長帯域の光をペン７０（指示体）から射出される検出対象光ＶＬとして利用するものとなっている。

また、プロジェクター本体部１００ｐは、上述した投射光学系９５等を含む画像投影部９０のほか、プロジェクター制御部ＣＴを有し、プロジェクター制御部ＣＴにより画像投射等の各種動作制御されている。プロジェクター制御部ＣＴは、撮像部５０からの情報を受け付け可能とし、撮像部５０からの情報を加味して投射させる画像の内容を修正することで、いわゆるインタラクティブな画像投射を可能としている。

撮像部５０は、プロジェクター１００の投影画像位置を把握するための構成として、その役割を果たすため、例えばプロジェクター本体部１００ｐによる画像投影における投射角度や投射距離等に対応した角度等にカメラのレンズ系が向いているように配置されている。すなわち、プロジェクター１００の設置環境が変わって投射距離等が変化してもプロジェクター本体部１００ｐと撮像部５０との位置関係に変化が生じないあるいは生じても画像の補正等が可能な程度にわずかなものとなるようにしている。撮像部５０は、プロジェクター本体部１００ｐにより投射された投射画像を撮像して画像情報を取得する。これにより、プロジェクター本体部１００ｐは、撮像部５０により取得された画像情報に基づいて、プロジェクター本体部１００ｐを構成する画像形成部（光変調における画素マトリクス）の画素と撮像素子４０の画素との位置関係を対応付けるキャリブレーションを可能にしている。また、本実施形態では、撮像部５０は、インタラクティブな画像投射時において、プロジェクター本体部１００ｐからの画像光以外の波長帯域の光を検出光として捉えることが可能になっている。

プロジェクター本体部１００ｐのプロジェクター制御部ＣＴと撮像部５０とが、以上のような構成となっていることにより、プロジェクターシステム５００（あるいはプロジェクター１００）は、プロジェクター本体部１００ｐを構成する画像形成部の画素と撮像素子４０の画素との位置関係を対応付けるキャリブレーションを利用することで、いわゆるインタラクティブな画像投射を可能としている。

以下、図３等を参照して、撮像部５０の構成について説明する。図３に示すように、撮像部５０は、撮像レンズ系３０のほか、受光素子である撮像素子４０と、制御装置８０とを備える。

撮像レンズ系３０は、物体上の画像を撮像素子４０に結像させるためのものであり、複数のレンズや絞り等を鏡筒部に収納して構成されている。なお、撮像レンズ系３０の本質的部分であるレンズ等の構成の一例については、図４等を参照して後述する。

撮像素子４０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を用いて構成される。撮像素子４０は、可視光として、プロジェクター本体部１００ｐからの投射光ＰＬ（特にキャリブレーション時におけるパターン画像光ＧＬ）のほか、投射光ＰＬ以外の可視光波長帯域の成分で構成される検出対象光ＶＬについても受光検知可能な受光素子である。

制御装置８０は、撮像部５０全体の制御をするとともに、撮像部５０が搭載されるプロジェクター１００との通信等を行う。このため、制御装置８０は、撮像部５０を構成する撮像素子４０や撮像レンズ系３０の駆動制御を行う駆動制御部８１と、プロジェクター１００（プロジェクター制御部ＣＴ）との情報通信処理を行うための通信部８２とを備える。この場合、撮像素子４０や撮像レンズ系３０は、制御装置８０の駆動制御部８１からの駆動信号に従って撮像動作をするものとなり、通信部８２を介して撮像部５０が搭載されたプロジェクター１００での各種動作との連動が可能となっている。すなわち、プロジェクター等の本体装置からの指令に従って動作する、といったことも可能である。

なお、撮像部５０は、プロジェクター１００を構成する一部として組み込まれるものとすることもできるが、例えば、撮像部５０は、プロジェクター１００とは別体の撮像装置として存在するものとしてもよい。

ここで、撮像部５０において撮像された画像の情報を利用して、例えば可視光で投射されるプロジェクター本体部１００ｐからのパターン画像光ＧＬが映し出すパターン画像ＰＴの画像位置と、ペン７０（図６参照）のような指示体（あるいはポインティングデバイス）等からの検出対象光ＶＬの発光位置とを、撮像部５０で取得した撮像情報に基づいて対応付けが必要となる。なお、本実施形態では、パターン画像光ＧＬと検出対象光ＶＬとの双方がともに可視光波長帯域の光であるため、例えば撮像部５０を可視光波長帯域に加え赤外光波長帯域まで含めた広範囲な波長帯域で色収差を抑制するといったことを要せず、光学設計上の負担を軽減できる。

以下、図４を参照して、撮像部５０のうち特に光学系の構成について詳細に説明する。図示の場合、本実施形態に係る撮像部５０の光学系を構成する撮像レンズ系３０は、複数のレンズ（ここでは一例として８つのレンズＬ１１〜Ｌ１８）と、絞りＳＴと、光学フィルター装置６０とを備える。

複数のレンズＬ１１〜Ｌ１８は、魚眼タイプのレンズを構成し、例えば半画角７０゜以上を有し、スクリーンＳＣの全体を撮像するのに十分なものとなっている。

光学フィルター装置６０は、第１光学フィルターＦＩ１と、第２光学フィルターＦＩ２とを有し、図示を省略するステッピングモーターやピニオン等によって、レンズＬ１１〜Ｌ１８と像面ＩＭ（撮像素子４０の像面）との間において、各光学フィルターＦＩ１，ＦＩ２を挿抜可能にしている。

光学フィルター装置６０のうち、第１光学フィルターＦＩ１は、可視光波長帯域の光のうち画像光である投射光ＰＬに対応する波長帯域の光の成分をカットするとともに指示体であるペン７０から射出される検出対象光ＶＬに対応する波長帯域の光の成分を透過させる。つまり、第１光学フィルターＦＩ１は、特定波長帯域の成分をカットするカットフィルターである。また、第１光学フィルターＦＩ１は、図４に示すように、キャリブレーション時に光路外に退避しており、図７に示すように、実使用時に光路中に配置される。これにより、第１光学フィルターＦＩ１は、実使用時において、プロジェクター１００から射出される画像光である投射光ＰＬを遮蔽する一方、検出対象光ＶＬを透過させ、撮像素子４０における検出光ＤＬの検出を可能にしている。ここでは、一例として、第１光学フィルターＦＩ１の分光特性（分光透過率）は、図９のグラフに示すようなものとなっている。より具体的には、図８に示した各光源９２ｒ，９２ｇ，９２ｂから発生する光の波長帯域に対応する可視光波長帯域における光の透過率を略０％とする一方、他の可視光波長帯域の光については高い透過率で透過させるものとなっている。すなわち、第１光学フィルターＦＩ１において、少なくとも投射光ＰＬに含まれる波長帯域の光をカットするとともに、ペン７０から射出される検出対象光ＶＬの波長帯域の光を透過可能な範囲に設定しておくことで、撮像部５０は、検出対象光ＶＬを検出光ＤＬとして受光可能なものとなる。

第２光学フィルターＦＩ２は、パターン画像を形成するパターン画像光ＧＬの波長帯域の光のみを透過させ、他の波長帯域の光をカットするカットフィルターである。第２光学フィルターＦＩ２は、図４に示すように、キャリブレーション時に光路中に配置されており、図７に示すように、実使用時に光路外に退避している。これにより、第２光学フィルターＦＩ２は、キャリブレーション時において、撮像素子４０におけるパターン画像光ＧＬの検出を可能にするパターン画像光透過フィルターとして機能している。

なお、各光学フィルターＦＩ１，ＦＩ２については、種々の態様が考えられるが、典型的には、例えば光透過性のガラス基板上に上記したような特性を有する膜をそれぞれ形成させて構成することが考えられる。

以下、図１〜図５を参照して、プロジェクターシステム５００におけるプロジェクター本体部１００ｐ側の画素（光変調側の画素）と撮像部５０側の画素（撮像素子４０側の画素）の対応を取るためのキャリブレーションの動作について詳細に説明する。なお、既述のように、キャリブレーションは、インタラクティブな状況での画像投射等の画像投射時（実使用時）の動作を可能とするための前段階として必要な処理である。なお、以下において、画像投射時とは、キャリブレーションのためのパターン画像を投影するといった利用者の通常の使用以外の使用を意味せず、利用者が実際に投影したい画像等を投射させる実使用時（通常の使用時）のことを意味するものとする。

まず、プロジェクター本体部１００ｐにおいて、プロジェクター制御部ＣＴからの制御に従って、画像投影部９０により、キャリブレーション用のパターン画像ＰＴをスクリーンＳＣ上に投影するためのパターン画像光ＧＬが投射される。ここでは、パターン画像ＰＴは、矩形状に投影されており、プロジェクター本体部１００ｐの光変調における画素マトリクス（光変調の画素）との対応付けがなされているものとする。また、パターン画像光ＧＬは、既述のように、緑色波長帯域の光であり、撮像部５０は、スクリーンＳＣ上に投影されたパターン画像ＰＴを撮像する（パターン画像光ＧＬの情報を取得する）。また、撮像部５０は、図２、図３及び図４を参照して説明した構成を有することで、撮像したパターン画像ＰＴの画像情報をプロジェクター本体部１００ｐに対して送信する。プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報と、光変調における画素マトリクスの情報との対応付けを行う。図５は、対応付けについて一例を説明するための図である。ここでは、図中左側に示すピクセル画像ＰＸ１は、プロジェクター本体部１００ｐでの光変調における画素マトリクスを示すものであってスクリーンＳＣ上のパターン画像ＰＴと対応しているものとする。一方図中右側に示すピクセル画像ＰＸ２は、撮像部５０の受光素子である撮像素子４０での画素マトリクスを示すものであり、ピクセル画像ＰＸ２中にパターン画像ＰＴを撮像した画像部分ＰＩが捉えられている。プロジェクター本体部１００ｐは、ピクセル画像ＰＸ１を構成する各ピクセルとピクセル画像ＰＸ２のうち画像部分ＰＩに対応する箇所の各ピクセルとを対応づけることで、撮像部５０で撮像されたパターン画像ＰＴの各位置とプロジェクター本体部１００ｐの光変調における画素マトリクス状の各位置すなわち投影された画像上の位置とを対応付ける。なお、各ピクセルの対応付けについては、プロジェクター本体部１００ｐ側（光変調側）の画素マトリクスのピクセル数と撮像素子４０での画素マトリクスのピクセル数との違いや、画像部分ＰＩが示す範囲の画素マトリクスのピクセル数の違い等から一般には単純に１対１には対応しない。そこで、対応付けのための処理が必要となる。例えば、対応付けはピクセル単位で行うものとしてもよい（例えば対応するテーブルを作成するものとしてもよい）が、例えば対応付ける関数を定めることで、対応付けの処理を可能にするものとしてもよい。

以上のように、プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報であるピクセル画像ＰＸ２のうち画像投射位置を示す画像部分ＰＩと、光変調の画素の位置を示すピクセル画像ＰＸ１とを対応付けることで、キャリブレーションを行っている。これにより、撮像部５０で検出された検出光ＤＬに基づく指示位置の特定が可能となり、インタラクティブな画像投射が可能となる。

以下、図６及び図７を参照して、プロジェクターシステム５００の画像投射時（実使用時）の動作について詳細に説明する。特に、ここでは、インタラクティブな状況での画像投射における動作について説明する。

まず、図６に示すように、この場合、書き込みを可能とするために、利用者ＨＵは、指示体であるペン７０を保持する。利用者ＨＵによりペン７０の先端部ＴＰがスクリーンＳＣに押しつけられてペン７０がオンの状態になると、先端部ＴＰが発光する、すなわち先端部ＴＰから、可視光波長帯域の光であってかつ投射光ＰＬの波長帯域以外の波長帯域の光である検出対象光ＶＬが射出される。検出対象光ＶＬの一部が撮像部５０に入射すると、検出光ＤＬとして撮像部５０の撮像素子４０において検出される。図６において一部拡大して示すように、撮像部５０において検出光ＤＬの検出がなされ、さらに、検出結果がプロジェクター本体部１００ｐに送信されると、プロジェクター本体部１００ｐは、上記したキャリブレーションによる対応付けに基づいて、先端部ＴＰの発光位置（発光点）に対応する点に対応した画像投射を行う。すなわち、プロジェクター本体部１００ｐは、キャリブレーション時に撮像部５０で取得したパターン画像光の情報に基づく画像投射位置に相当する破線で示す（図６の実使用時には表示されない）パターン画像ＰＴの位置と、インタラクティブな状況での実使用時に撮像部５０により検出された検出光ＤＬの発光位置とを特定し、当該発光位置の情報を反映した画像投射を行う。すなわち、図６において一部拡大して示すように、画像上において検出された検出光ＤＬの発光位置である特定位置ＴＰｘについて、キャリブレーション時での対応付けによってパターン画像ＰＴ上の位置と対応させ、当該位置に先端部ＴＰがあるものとして、その個所を描画した状態の画像表示を行う。なお、上記のような動作を行わせるように、例えばプロジェクター制御部ＣＴにおいて各種画像処理等がなされる。

以上において、検出対象光ＶＬのうちの一部の成分は、撮像部５０により検出される検出光ＤＬとなるが、検出対象光ＶＬは、可視光でもあるため、その他の一部の成分には、利用者等の眼ＥＹに到達し、直接的に視認される。すなわち、図示のように、ペン７０を操作する利用者ＨＵやスクリーンＳＣの画像を観察する観察者の眼ＥＹに入る。勿論、インタラクティブ機能によって書き込まれた画像も併せて視認されることになる。

なお、図７に示すように、以上の検出動作において、撮像部５０では、可視光波長帯域の光である投射光ＰＬを、既述の第１光学フィルターＦＩ１において例えば反射や吸収により遮蔽するとともに可視光波長帯域外の光である検出対象光ＶＬを透過させ、撮像素子４０において検出光ＤＬとして検出できるものとなっている。

以下、図８及び図９を参照して、上記のような投射光ＰＬと検出対象光ＶＬとの波長帯域の成分の棲み分け（識別）に関して一例を説明する。各図において、横軸は、光の波長（単位：ｎｍ）を示し、縦軸は、図８では光の強度を示し、図９ではフィルターでの透過率を示している。図８は、既述のように、プロジェクター１００での各光源９２ｒ，９２ｇ，９２ｂから発生する光の波長帯域を示すものであるが、ここでは、プロジェクター１００の投射光ＰＬのスペクトルの一例を示すグラフでもあるものとする。すなわち、赤色の光源９２ｒは、赤色光波長帯域にピーク波長を有する第１波長帯域Ｒ１の特性を有する光を発生させ、緑色の光源９２ｇは、緑色光波長帯域にピーク波長を有する第２波長帯域Ｇ１の特性を有する光を発生させ、青色の光源９２ｂは、青色光波長帯域にピーク波長を有する第３波長帯域Ｂ１の特性を有する光を発生させる。投射光ＰＬは、これらを合成した特性の光で構成されることになり、図８は、結果的に投射光ＰＬのスペクトルを示していることになる。これに対して、図９は、撮像部５０の第１光学フィルターＦＩ１における分光透過特性の一例を示すグラフであり、既述のように、第１光学フィルターＦＩ１は、各光源９２ｒ，９２ｇ，９２ｂの特性すなわち投射光ＰＬの特性に対応して、図８に示す各色の波長帯域Ｒ１，Ｇ１，Ｂ１の成分を透過させず、これら以外の波長帯域であってかつ可視光波長帯域内の成分を透過させるものとなっている。すなわち、図９のグラフに示すように、第１波長帯域Ｒ１と第２波長帯域Ｇ１との間の波長帯域や、第２波長帯域Ｇ１と第３波長帯域Ｂ１との間の波長帯域に可視光である検出光の波長帯域として利用可能な検出光用波長帯域Ｄ１，Ｄ２等を有している。言い換えると、指示体であるペン７０は、各色の波長帯域Ｒ１，Ｇ１，Ｂ１の間の波長帯域である検出光用波長帯域Ｄ１，Ｄ２の範囲内の光を射出する。これにより、撮像部５０は、投射光ＰＬの照射中であっても、投射光ＰＬと検出対象光ＶＬとを識別し、ペン７０の先端部ＴＰの位置を特定できる。

以上のように、本実施形態に係るプロジェクターシステム５００では、撮像部５０が、可視光波長帯域の光であって投射光学系から投射される画像光である投射光ＰＬに含まれる波長帯域以外の波長帯域の成分を検出光ＤＬとして受光する。これにより、インタラクティブなプロジェクターを実現するに際して、検出光ＤＬと投射光ＰＬとがともに可視光波長帯域の光を利用するものであっても、撮像部５０において、検出光ＤＬと投射光ＰＬとを確実に識別でき、検出光ＤＬのみを検出できる。この上で、さらに、撮像部５０における検出対象である検出対象光ＶＬ（検出光ＤＬ）を、可視光波長帯域内の光とすることができるので、例えば撮像部５０は、可視光のほか赤外光までを捉えるような性能を有するようにするといった構成にする必要がなく、小型化簡易化を図りやすいものとなる。また、検出対象である検出光ＤＬ（指示体からの射出光）を可視光とすることで、人間が指示体であるペン７０から射出された光を直接視認することができる。

〔その他〕
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

例えば、上記の一例では、図６に例示するように、利用者ＨＵが保持する指示体であるペン７０の先端部ＴＰが発光するものとしているが、この他の態様として図１０に例示するように、指示体として、特定波長帯域の検出対象光ＶＬ（検出光ＤＬ）を射出するレーザーポインター２７０を利用するものとしてもよい。既述のように、本実施形態では、検出対象光ＶＬ（検出光ＤＬ）を可視光とすることができる、すなわち、検出対象光ＶＬを利用者ＨＵがスクリーンＳＣ上で直接的に視認できる。このため、レーザーポインター２７０によってスクリーンＳＣから遠隔した（離れた）位置からスクリーンＳＣに向けてレーザーポインター２７０の先端部ＴＰより検出対象光ＶＬとしてのレーザー光を発射させ、撮像部５０で検出させつつ、発射させたレーザー光のスクリーンＳＣ上での位置ＴＰｒを利用者ＨＵが視認しつつ動かすことで、上述した場合と同様にインタラクティブな状況での画像投射を行うことができる。本実施形態では、プロジェクター１００を上方に設置し斜め投射（近接投射）することで、利用者ＨＵがスクリーンＳＣに近づいて指示体をスクリーンＳＣ上に持って行って使用しても利用者ＨＵの影がスクリーンＳＣに映りにくいようにしている。しかしながら、プロジェクター１００の設置環境や、利用者ＨＵの身長、スクリーンＳＣへの近づき具合等によっては影が映ってしまう可能性がある。上記のように遠隔からの操作を可能とすることで、例えばこのような事態を回避しつつインタラクティブな状況での画像投射を維持できる。

図１１は、一変形例のプロジェクターシステムの構成を示す図である。一変形例のプロジェクターシステム５００では、画像投射時（実使用時）において上述したインタラクティブ機能を使用するモードでの画像投射とインタラクティブ機能を使用しないモードでの画像投射との選択が可能となっている。すなわち、撮像部５０における波長帯域の成分の受光結果に対応した画像表示を行うインタラクティブモードの設定を受付可能としている。このため、図示の例では、プロジェクターシステム５００のうち、プロジェクター制御部ＣＴが、モード設定受付部ＳＲに接続されるモード設定部ＣＴａとしても機能する。また、プロジェクターシステム５００のうち、画像投影部９０が、検出光ＤＬとして受光されるべき波長帯域の成分と同じ波長帯域の光をカットするカットフィルターＣＦを挿抜するためのカットフィルター装置９６を有している。カットフィルターＣＦは、例えばガラス基板上に上述のような特性を有する膜を形成することで構成され、カットフィルター装置９６は、例えば図示を省略するステッピングモーターやピニオン等によってカットフィルターＣＦを進退可能にしている。なお、上記のうち、モード設定受付部ＳＲは、例えば外部に設けたボタン等で構成され、利用者の操作によってインタラクティブ機能を使用するモード（インタラクティブモード）での画像投射を行うか否かの指令信号を受け付ける。

以下、本変形例のプロジェクターシステム５００におけるモード設定の動作について具体的な動作の一例を説明する。まず、モード設定受付部ＳＲにおいて、モード設定に関する指令信号を受け付けると、当該指令信号がモード設定部ＣＴａとしてのプロジェクター制御部ＣＴに送信される。モード設定部ＣＴａは、受け付けた指令信号に対応してカットフィルター装置９６を駆動動作させ、カットフィルターＣＦを光路中から進退させる。すなわち、インタラクティブ機能を使用するインタラクティブモードの設定を受け付けたと判断した場合、モード設定部ＣＴａとしてのプロジェクター制御部ＣＴは、カットフィルターＣＦを光路中に配置させるとともに、撮像部５０を起動して、撮像部５０における波長帯域の成分の受光結果（すなわち検出光ＤＬの検出結果）に対応した画像表示を行う。一方、インタラクティブモードの設定を解除した旨の指令信号を受け付けると、上述した撮像部５０の動作を停止させるとともにカットフィルターＣＦを光路外に退避させる。

以上のように、カットフィルターＣＦを進退させることで、インタラクティブモードでの画像投射を行うか否かの選択が可能になる。また、この場合、カットフィルターＣＦを設けることで、例えば光源側において、光源光の成分として検出対象光ＶＬ（検出光ＤＬ）と同じ波長帯域の成分が含まれていても、投射光ＰＬとしては、これを含まない状態にでき、インタラクティブな状況での画像投射を実現できる。すなわち、光源側において、レーザー光源のような狭帯域の光源に限らず、ブロードな帯域に亘るような光を発生させるようなものであっても、本願発明を適用できる。

また、プロジェクター１００を構成する狭帯域の光源に適用するものの一例として、青色レーザーと黄色蛍光体とを組み合わせて使用することが考えられる。この場合、例えば青色波長帯域と緑色波長帯域の間の成分（青色レーザーと黄色蛍光体の間の成分）のみを検出対象光ＶＬ（検出光ＤＬ）として利用して撮像部５０で受光させることが考えられる。

また、上記のような場合のほか、例えば、図１２に示すプロジェクターシステムの概略構成の一変形例のように、プロジェクターシステム５００が、２つ（複数）の撮像部５０ａ，５０ｂで構成されているものとしてもよい。なお、これらの撮像部５０ａ，５０ｂ（ステレオカメラ）は、例えば実施形態の撮像部５０と同様の構成を有するものとする。２つの撮像部５０ａ，５０ｂを有することで、視差情報（或いはステレオ画像）を取得可能となっている。すなわち、撮像部を２つ搭載することで、立体視によるより高度な位置検出が可能となっている。この場合、例えばプロジェクター制御部ＣＴ（図２参照）は、撮像部５０ａ，５０ｂでの撮像により取得した画像情報（投射光ＰＬの波長帯域以外の波長帯域の可視光である検出光）に基づく視差情報により検出された物体ＯＢ（例えば利用者の指先）の位置情報を反映させた画像を画像投影部９０（図２参照）により投影させることで、インタラクティブな画像投影が可能となる。また、３つ以上の撮像部を有するものとしてもよい。なお、以上における物体ＯＢの検出については、物体ＯＢは、外界における光のうち投射光ＰＬと同じ波長帯域の成分も反射するが、投射光ＰＬに含まれない成分についても反射させ、その成分中に撮像部５０において検出光ＤＬとして受光可能な成分が含まれることによって、所期の目的が達成できる。

図１２に示したプロジェクターシステムの一例に対する比較例として、例えば図１３に示すようなプロジェクターシステムが考えられる。具体的には、図１３に示す比較例のプロジェクターシステム６００は、プロジェクター本体部６００ｐと、赤外光ＩＬを照射する赤外光照射装置ＩＤと、赤外光ＩＬのみを受光する２つ（複数）の撮像部６５０ａ，６５０ｂとを有する。なお、プロジェクター本体部６００ｐは、本願発明と異なり、射出される投射光ＰＬの可視光波長帯域は、特に制限されておらず、例えば光源の種類等によって多様である。プロジェクターシステム６００のうち、赤外光照射装置ＩＤは、赤外光ＩＬをスクリーンＳＣに向けて投射し、投射光ＰＬの被照射領域ＰＬａを覆う範囲（位置検出を行う範囲）を照射している。この場合、各撮像部６５０ａ，６５０ｂは、可視光外の波長帯域の成分である赤外光照射装置ＩＤに起因する光を受光する一方、可視光波長帯域の成分である投射光ＰＬについては検出しないことで、例えば２つの撮像部６５０ａ，６５０ｂ（ステレオカメラ）によって投射光ＰＬによる映像から物体ＯＢのような実物のみを切り出して検知して、物体ＯＢの立体視での位置検出を可能にしている。しかしながら、図１３に示すような比較例の場合、物体ＯＢの位置検出を行う範囲について赤外光ＩＬの照射を行うことが大前提となる。これに対して、本願発明では、上述したように、ステレオカメラを用いた場合においても、赤外光を利用する必要性がなく、可視光で検出ができる。すなわち、図１３のような赤外光照射装置ＩＤを設け赤外光照射装置ＩＤによる赤外光ＩＬを照射することや、撮像部６５０ａ，６５０ｂにおいて赤外光ＩＬを受光させるといった構成にする必要がない。

また、上記では、プロジェクター制御部ＣＴや、プロジェクター１００に接続可能なＰＣ等において各種処理をなすものとして記載しているが、担わせる処理については、種々の態様が可能であり、例えば、撮像部５０で取得した投射光ＰＬの情報に基づく画像投射位置と、撮像部５０により検出された検出光ＤＬに基づく位置とを特定する等の処理をＰＣ側で行うようにするといったことが考えられる。言い換えると、プロジェクター制御部ＣＴにおける上記画像投射位置や発光位置を特定し、特定した位置関係に基づく画像投影の制御の一部又は全部をＰＣ等の外部接続機器で行う（ＰＣ等がプロジェクター制御部を構成する）ものとしてもよい。また、逆に、ＰＣ等を接続せず、例えば、プロジェクター制御部ＣＴにおいて全ての処理を担わせる構成（ＰＣレス）とすることも可能である。

また、上記では、パターン画像ＰＴを緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとしているが、パターン画像ＰＴの投影については、緑色波長帯域の光に限らず、他の波長帯域の光を利用することも考えられる。この場合、併せて光学フィルター装置６０における第２光学フィルターＦＩ２の特性を種々変更することが考えられる。

また、光学フィルター装置６０において、第２光学フィルターＦＩ２については、透過特性を有する膜を設けず、ガラス基板のみとし、少なくとも可視光波長帯域を全域に亘って透過させるもので代用してもよい。さらに、第２光学フィルターＦＩ２を有さず挿抜可能な第１光学フィルターＦＩ１のみを有するものとし、画像投射時（キャリブレーション時以外）にはフィルターの配置箇所に何も置かない構成とすることも考えられる。また、図１１に例示したカットフィルターＣＦを駆動動作させるカットフィルター装置９６についても、例えばカットフィルターＣＦを光路外に退避させる際に、カットフィルターＣＦと差し替えるガラス基板を設けるものとしてもよい。さらに、図示の例では、カットフィルターＣＦの挿入位置は、合成プリズム９４と投射光学系９５との間になっているが、これに限らず、投射光ＰＬの形成における影響や検出対象光ＶＬの特性等を加味した上で、光源から投射光学系までの光路上の種々の位置に配置可能である。具体的には、例えば光源９２ｒ，９２ｇ，９２ｂと光変調装置（パネル）９３ｒ，９３ｇ，９３ｂとの間であってもよい。

また、上記の例では、図６や図１０において、指示体であるペン７０やレーザーポインター２７０を１本のみ示しているが、２本以上を同時利用するものとしてもよい。例えば、可視光波長帯域であって互いに異なる波長帯域にあり、かつ投射光ＰＬの波長帯域以外の波長帯域の光をそれぞれ射出する２本または２本以上の指示体であれば、各指示体が射出する検出対象光（検出光）をそれぞれ識別できる。

また、受光素子である撮像素子４０について、例えばパターン画像光ＧＬに対応する緑色波長帯域の光のみを受光可能な素子と検出対象光ＶＬ（検出光ＤＬ）のみを受光可能な素子とで構成するものとしてもよい。

また、上記では、プロジェクター本体部１００ｐを構成する光源や光変調装置、投射光学系等については、図示や詳細な説明を省略しているが、種々の態様が適用可能であり、例えば光源に関しては、上記のほか、例えば高圧水銀ランプ等を利用し、３色の光源に分離して適用することも可能である。光変調装置については、上記のほか、例えば光変調装置についても液晶パネルにカラーフィルターを利用したものや、反射型液晶パネル、デジタル・マイクロミラー・デバイス等により構成するといった種々の態様が考えられる。

３０…撮像レンズ系、４０…撮像素子、５０，５０ａ，５０ｂ…撮像部、６０…光学フィルター装置、７０…ペン（指示体）、８０…制御装置、８１…駆動制御部、８２…通信部、９０…画像投影部、９２ｒ，９２ｇ，９２ｂ…光源、９３ｒ，９３ｇ，９３ｂ…光変調装置、９４…合成プリズム、９５…投射光学系、９６…カットフィルター装置、１００…プロジェクター、１００ｐ…プロジェクター本体部、２７０…レーザーポインター（指示体）、５００…プロジェクターシステム、ＣＦ…カットフィルター、ＣＴ…プロジェクター制御部、ＣＴａ…モード設定部、Ｄ１，Ｄ２…検出光用波長帯域、ＤＬ…検出光、ＥＹ…眼、ＦＩ１…第１光学フィルター、ＦＩ２…第２光学フィルター、ＧＬ…パターン画像光、ＨＵ…利用者、ＩＭ…像面、Ｌ１１-Ｌ１８…レンズ、ＯＢ…物体、ＰＩ…画像部分、ＰＬ…投射光、ＰＴ…パターン画像、ＰＸ１…ピクセル画像、ＰＸ２…ピクセル画像、Ｒ１，Ｇ１，Ｂ１…波長帯域、ＳＣ…スクリーン、ＳＲ…モード設定受付部、ＴＰ…先端部、ＴＰｒ…位置、ＴＰｘ…特定位置、ＶＬ…検出対象光

Claims (9)

1. 光源と、
   前記光源からの光を変調して画像光を形成する光変調装置と、
   前記光変調装置からの画像光を投射する投射光学系と、
   可視光波長帯域の光であって前記投射光学系から投射される画像光に含まれる波長帯域以外の波長帯域の成分を、前記投射光学系から投射される画像光によって投影された投影画像上の位置を検出する検出光として受光する撮像部と
   を備えるプロジェクターシステム。
2. 前記投射光学系は、少なくとも可視光波長帯域のうち一部の成分をカットした光を投射する、請求項１に記載のプロジェクターシステム。
3. 前記光源から前記投射光学系までの光路上に配置され、前記撮像部において検出光として受光されるべき波長帯域の成分と同じ波長帯域の光をカットするカットフィルターをさらに備える、請求項２に記載のプロジェクターシステム。
4. 前記撮像部は、少なくとも画像光に含まれる波長帯域の光をカットする光学フィルターを有する、請求項１〜３のいずれか一項に記載のプロジェクターシステム。
5. 前記撮像部で取得した画像光の情報に基づく画像投射位置と、前記撮像部により検出された検出光の発光位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える、請求項１〜４のいずれか一項に記載のプロジェクターシステム。
6. 前記投射光学系は、前記撮像部により検出された検出光の発光位置の情報を反映した画像投射を行う、請求項１〜５のいずれか一項に記載のプロジェクターシステム。
7. パターン画像を投影するための画像光を投射するとともに、当該パターン画像の画像光を受光した前記撮像部の情報に基づいて、光源からの光を変調する光変調の画素と前記撮像部の受光素子の画素とを対応付けるキャリブレーションを行う、請求項１〜６のいずれか一項に記載のプロジェクターシステム。
8. 前記投射光学系から投射される前記画像光に含まれない波長帯域の光を発生させる指示体をさらに備える、請求項１〜７のいずれか一項に記載のプロジェクターシステム。
9. 前記撮像部を起動して、前記撮像部における波長帯域の成分の受光結果に対応した画像表示を行うインタラクティブモードの設定を受け付けるモード設定受付部をさらに備える、請求項１〜８のいずれか一項に記載のプロジェクターシステム。

Images