JP2017227972A - 投影撮像システム及び投影撮像方法 - Google Patents

Abstract

【課題】電子ペン等による入力と指等による指示を区別しつつ一括して検出することができる投影撮像システム及び投影撮像方法を提供すること。【解決手段】画像を投影する投影部２１と、投影部２１により画像が投影される投影領域Ａ１の赤外画像を撮影する撮像部２２と、投影領域Ａ１に沿って近接する空間を含む対象空間ＯＳに赤外線を照射する赤外照明部２４とを備える。撮像部２２の出力に基づいて、赤外発光する発光型指示部２３に対応する第１検出値と、赤外照明部２４からの赤外線を反射する非光型指示部２８に対応する第２検出値とを取得する。投影領域Ａ１の任意の点において、第１及び第２検出値のうち、一方の検出値（例えば第２検出値）が他方の検出値（例えば第１検出値）に対して所定割合以下の強度となるように設定している。【選択図】図１

Description

本発明は、画像を投影するとともに撮像を行う投影撮像システム及び投影撮像方法に関するものであり、特に投影領域周辺でユーザーによって行われる指示を検出する投影撮像システム等に関する。

プロジェクターを組み込んだシステムとして、近年では、投影画面に対して電子ペンによって文字や図を書き込むことができるものや、投影画面内を指又は手で触ることによってタッチパネルのように操作することができるものが増えてきている。電子ペンによる入力方法としては、電子ペンが投影画面に接触した際にペン先が赤外線を発光し、それを撮像する方法が知られている（特許文献１）。指又は手による操作方法としては、赤外線を投影画面に平行に投射しておき、指又は手がその赤外線を遮った際の反射拡散光を撮像する方法が知られている（特許文献２）。

上記のようなシステムにおいて、投影画面内に文字等を書き込む場合には、電子ペンその他の入力機器を用いるとともに、投影画面内の操作メニューの押下や、画面の拡大・縮小や、画面をスライドさせる等の操作を行う場合には、指又は手の画像認識技術による動作の判定を行うようにすることが、利便性の観点で望ましい。しかしながら、電子ペンによる入力と指又は手による指示動作の判定とを同時に行うことを前提とするシステムはない。したがって、例えばメニューボタンで電子ペン入力と指動作判定とのどちらの動作状態にするかを一々選択して切り替えを行うことになる。なお、このような動作状態の切り替えを行う機能を設けなければ、電子ペンの発光と指又は手による反射拡散光との区別がつかない。これに対して、例えば電子ペンの発光を点滅させる等の制御と画像処理との組み合わせによって両者の区別を行うことが考えられるが、このような手法によって検出処理が複雑化する。また、電子ペンの発光と指又は手による反射拡散光を検出する複数の検出装置を組み合わせる場合、識別のための処理が常時必要となって、動作に遅延が生じたり消費電力が大きくなるといった課題がある。

特開２００４−１１０２９３号公報 特開２０１５−８４２１１号公報

本発明は、上記背景技術に鑑みてなされたものであり、電子ペン等による入力と指等による指示を区別しつつ一括して検出することができる投影撮像システム及び投影撮像方法を提供することを目的とする。

上記目的を達成するため、本発明に係る投影撮像システムは、画像を投影する投影部と、投影部により画像が投影される投影領域の赤外画像を撮影する赤外撮像部と、投影領域に沿って近接する空間を含む対象空間に赤外線を照射する赤外照明部とを備え、赤外撮像部の出力に基づいて、赤外発光する第１の指示部の撮像による赤外発光強度の第１検出値と、赤外照明部からの赤外線を反射する第２の指示部の撮像による赤外反射強度の第２検出値とを取得し、投影領域の任意の点において、第１及び第２検出値のうち、一方の検出値が他方の検出値に対して所定割合以下の強度となるように設定している。なお、投影領域は、スペック上規定されている投影面に対応するが、投影部の設置状況に応じて投影部からの距離は変化する。

上記投影撮像システムでは、投影領域の任意の点において、第１及び第２検出値のうち、一方の検出値が他方の検出値に対して所定割合以下の強度となるように設定しているので、強度の相違に基づいて第１の指示部と第２の指示部との区別が可能になる。これにより、第１の指示部と第２の指示部とが混在して同時に使用される場合であっても、それぞれを個別に認識して指示内容等の取得に必要な処理を行うことができる。なお、第１の指示部と第２の指示部との区別は、例えば赤外撮像部によって得た赤外画像の画像処理のみによって比較的簡単に行うことができる。

本発明の具体的な側面では、上記投影撮像システムにおいて、一方の検出値が他方の検出値の７０％以下の強度となるように設定している。この場合、第１の指示部に対応する第１検出値と、第２の指示部に対応する第２検出値との強度差が十分に大きくなって、第１の指示部と第２の指示部との区別が容易かつ確実に可能になる。なお、一方の検出値の最大値が他方の検出値の最小値の７０％以下の強度となるように設定することが、区別を明確にする観点でより望ましい。

本発明の別の側面では、投影領域上の任意の点で、一方の検出値が第１閾値より小さくなるとともに他方の検出値が第１閾値より大きくなるように設定されている。この場合、第１閾値によって、キャリブレーション等を行わずとも、第１の指示部と第２の指示部とを区別して検出することができる。

本発明のさらに別の側面では、赤外撮像部の出力を第１閾値とこれよりも小さい第２閾値とに基づいて処理することによって、第１の指示部と第２の指示部とを個別に抽出する。第１閾値によって第１の指示部と第２の指示部とを区別することができ、第２閾値によって環境ノイズによる誤動作を防ぐことができる。

本発明のさらに別の側面では、対象空間は、投影領域に近接して平行に延びる。これにより、第２の指示部の撮像を投影領域に近接する領域に制限することができ、投影像を操作するような指示を受け付ける精度が高まる。

本発明のさらに別の側面では、赤外照明部は、赤外線を略平行光として対象空間に照射する。この場合、投影領域上の各点において第２の指示部に照射する赤外線の強度が略一定になるため、反射光の強度が位置によって略変わらない。これにより、反射光の検出強度を位置に応じて補正をする必要性が低減され、簡易に高い信頼性で第２の指示部に対応する第２検出値を検出することができる。

本発明のさらに別の側面では、赤外照明部は、赤外線を対象空間において走査するように照射する。この場合、例えば１本の赤外線を走査するので、位置ごとの拡散反射光の差が出にくく、画像処理によって電子ペンと指との区別が容易になる。

本発明のさらに別の側面では、撮像部は、反射ミラーを有する撮像光学系を有する。この場合、撮像光学系を広角にしつつ像面の歪みを小さく抑えることができ、投影領域の周辺部における解像度の低下を抑えることができる。

本発明のさらに別の側面では、一方の検出値は、第２の指示部に対応し、他方の検出値は、第１の指示部に対応する。第２の指示部からの光信号は、反射に際しての拡散によって減衰することを加味して強くしておく必要があるが、第２検出値を第１検出値よりも低くしておくことで、第２の指示部に対する照射強度をそれほど強くせずに済む。

本発明のさらに別の側面では、第１の指示部は、電子ペンであり、第２の指示部は、指又は手である。

本発明のさらに別の側面では、第１の指示部の検出結果に基づいて当該第１の指示部の動作に関する第１の操作情報を取得し、第２の指示部の検出結果に基づいて当該第２の指示部の動作に関する第２の操作情報を取得するとともに、操作情報の取得に際して、第１の指示部の検出結果と第２の指示部の検出結果とに対して異なる処理を施す情報処理部をさらに備える。この場合、各指示部の特性に適合する処理によって指示部の検出精度を高めることができる。第１の指示部については、例えばその軌跡を文字その他の図形として捉えるような処理が可能であり、第２の指示部については、例えばその軌跡を手振り又は指の動きとして捉えるような処理が可能である。なお、第１の指示部に対応する第１の操作情報と、第２の指示部に対応する第２の操作情報とで入力位置の補正の仕方が異なるようにできる。これにより、両指示部による入力位置を正確に特定できる。

本発明のさらに別の側面では、情報処理部は、第１の操作情報と第２の操作情報とを同時並行して取得する。

本発明のさらに別の側面では、赤外照明部は、投影部及び赤外撮像部を有する本体に対して取り外し可能である。この場合、投影したい場所に応じて赤外照明部を設置することができる。

上記目的を達成するため、本発明に係る投影撮像方法は、投影部により画像が投影される投影領域の赤外画像を撮影し、赤外発光する第１の指示部の撮像と、赤外照明部からの赤外線を反射する第２の指示部の撮像とを行う投影撮像方法であって、第１の指示部の検出結果に対する処理と、第２の指示部の検出結果に対する処理とを異なるものとする。

上記投影撮像方法では、第１の指示部の検出結果に対する処理と、第２の指示部の検出結果に対する処理とを異なるようにするので、各指示部の特性に適合する処理によって指示部の検出精度を高めることができる。

第１実施形態の投影撮像システムを説明する概念的な側面図である。 投影撮像システムの光学的な概略構成を説明する図である。 （Ａ）は、撮像光学系の具体例を説明する図であり、（Ｂ）は、撮像光学系のうち光学フィルター周辺を説明する図であり、（Ｃ）は、変形例を説明する図である。 電子ペンである発光型指示部の構造を説明する概念図である。 （Ａ）は、赤外照明部の具体例を説明する図であり、（Ｂ）は、スクリーン周辺における赤外線の照射状態を説明する正面図である。 （Ａ）及び（Ｂ）は、図５（Ａ）に示す赤外照明部の変形例を説明する側面図及び正面図である。 （Ａ）及び（Ｂ）は、電子ペンの赤外発光と指での拡散反射光との識別を説明する図である。 （Ａ）及び（Ｂ）は、電子ペンと指との具体的な識別方法を説明する図であり、（Ｃ）及び（Ｄ）は、比較例を説明する図である。 図１に示す投影撮像システムの概略の機能ブロック図である。 図１等に示す投影撮像システムの概略動作を示すフローチャートである。

以下、図面を参照しつつ、本発明に係る投影撮像システム等の具体的な実施形態について説明する。

図１に示すように、実施形態の投影撮像システム１００は、画像の投影だけでなくユーザーによる非接触型の指示の入力を受け付けるものであり、画像の投影機能とユーザーによる指示画像の撮影機能とを組み込んだ複合的な装置である。

投影撮像システム１００は、投影部２１と、撮像部２２と、発光型指示部２３と、赤外照明部２４とを備える。投影撮像システム１００は、投影部２１によって画像を投影し、撮像部２２は、赤外撮像部として機能し、画像が投影される投影領域及びその周辺の赤外画像を撮像する。これにより、第１の指示部である発光型指示部２３の動きからユーザーの指示に対応する第１の操作情報を取得することができ、赤外照明部２４によって赤外照射された第２の指示部である非光型指示部２８の動きによって表現された指示（又は意思表示）に対応する第２の操作情報を取得することができる。なお、投影部２１と赤外照明部２４とからなる本体は、ホワイトボードその他の被投影面であるスクリーンＳＣを支持するフレーム１１に固定され、このフレーム１１は、壁ＷＡに固定されている。ここで、撮像部２２は、投影部２１に付随するように設けられているが、着脱可能とはなっていない。一方、赤外照明部２４は、投影部２１等の本体とは別にフレーム１１から外すことができるようになっており、スクリーンＳＣに対する相対的配置を変更することができるようになっている。発光型指示部２３は、ユーザーが手で操作するものであり、具体的にはスクリーンＳＣ近傍で発光する電子ペンである。非光型指示部２８は、ユーザーの意思を反映した動きをする物体であり、例えば指、手、指示棒の先端部等であり、特定方向から入射した赤外線を拡散反射する拡散反射体である。非光型指示部２８は、投影撮像システム１００を構成する部分とはなっていない。

図２に示すように、投影撮像システム１００は、主に光学系からなる光学部分１００Ａとして、互いに独立した投影光学部１２Ａと撮像光学部１２Ｂとを有する。

投影光学部１２Ａは、照明光学系４１と、液晶表示素子４２と、投影光学系４３とを備える。照明光学系４１が液晶表示素子４２を照明し、液晶表示素子４２に表示された画像が投影光学系４３によってスクリーンＳＣ上に拡大投影される。照明光学系４１は、可視波長域の光源、均一化光学系等を備える。具体的には、照明光学系４１は、光源として、例えば半導体レーザー、ＬＥＤ等を有し、均一化光学系として、例えばレンズアレイ、ロッドレンズ等を有する。液晶表示素子４２は、駆動信号に基づいて空間的な透過率又は反射率を変化させる光変調素子である。液晶表示素子４２は、照明光学系４１によって照明され、照明光から投影光Ｋ１を形成する。投影光学系４３は、複数のレンズ群及び／又は反射光学素子からなる低歪曲光学系である。投影光学系４３は、液晶表示素子４２による表示像を拡大してスクリーンＳＣ上に投影する。この結果、スクリーンＳＣ上には、液晶表示素子４２に形成された画像に対応する拡大投影像が形成される。

撮像光学部１２Ｂは、撮像光学系５１と、撮像素子５３とを有する。撮像光学系５１によってスクリーンＳＣ上及びその周辺の対象物の画像が撮像素子５３上に結像され、撮像素子５３によって検出された画像が画像情報として撮像光学部１２Ｂ外に出力される。撮像光学系５１は、複数のレンズ群及び／又は反射光学素子からなる低歪曲光学系である。撮像光学系５１は、レンズその他光学素子からなる本体部分に付随して撮像素子５３側に光学フィルター５５を有する。光学フィルター５５は、投影光Ｋ１の波長域（つまり可視波長域）の光を吸収又は反射するものであり、入射する撮像光Ｋ２のうち赤外波長域の光を透過させる。

図３（Ａ）は、撮像光学系５１の具体例を説明する断面図である。撮像光学系５１の本体部分５１ａは、撮像素子５３側に設けられて複数のレンズを含む屈折部６１と、スクリーンＳＣ側に設けられて少なくとも１枚のミラーを含む反射部６２とを有する。反射部６２は、反射ミラーを含み、図示の例では、１枚の自由曲面ミラーで構成されている。このような自由曲面ミラーにより、スクリーンＳＣに近接配置される撮像光学系５１を広角ながら小型化することができるだけでなく、歪曲収差が少ないものとできる。

図３（Ｂ）に示すように、撮像光学系５１の本体部分５１ａにおいて最も像側のレンズ６９と、撮像素子５３の撮像面５３ａとの間には、投影像に対応する可視波長域の光線を選択的に遮光する光学フィルター５５が配置されている。光学フィルター５５は、光透過性を有する板状の基板５ａ上に誘電体多層膜５ｂを形成したものであり、撮像光学系５１の光軸ＳＡ２に対して撮像面５３ａと同様に垂直に配置されている。光学フィルター５５は、波長７２０ｎｍを超える赤外線を透過させるとともに、波長４０５ｎｍ〜７２０ｎｍの可視光を反射する。

撮像素子５３は、スクリーンＳＣ上の対象物又は対象像を検出するＣＭＯＳ型のイメージセンサーである。撮像素子５３には、撮像光学系５１を通過した撮像光Ｋ２のうち赤外成分Ｋ２ａが入射する。この結果、撮像素子５３の光電変換部である撮像面５３ａ上には、撮像光学系５１によって形成されたスクリーンＳＣ上及びその周辺の対象物又は対象像に対応する赤外画像が結像される。

以上では、光学フィルター５５を透過する赤外成分Ｋ２ａを撮影に用いたが、光学フィルター５５で反射される赤外成分Ｋ２ａを撮影に用いることもできる。さらに、光学フィルター５５は、誘電体多層膜のように透過及び反射の別によって赤外成分Ｋ２ａを分離するものに限らず、吸収型のフィルターであってもよい。

図３（Ｃ）は、図３（Ｂ）に示す撮像光学系５１等の変形例を示す。この場合、一方の撮像素子５３によって近赤外画像のみを取得し、他方の撮像素子１５３によって可視画像のみを取得する。このため、一方の撮像素子５３と最も像側のレンズ６９との間にダイクロイックミラー１５５を配置して、近赤外線を透過させるとともに可視光を反射している。撮像素子１５３の撮像面１５３ａ上には、撮像光学系５１を経た可視成分Ｋ２ｂが入射し、スクリーンＳＣ上及びその周辺の可視画像が結像される。

図４を参照して、発光型指示部２３について説明する。発光型指示部２３は、感圧センサー２３ａと、赤外発光素子２３ｂと、駆動回路部２３ｃとを備える。発光型指示部２３は、ユーザーが操作する電子ペンであり、スクリーンＳＣに先端部２３ｐをタッチさせながら移動させることで発光し、その赤外像（具体的には、点像や軌跡）から得た軌跡を文字や線画に対応する情報として記録することができる。

感圧センサー２３ａは、発光型指示部２３の先端部２３ｐがスクリーンＳＣの表面にタッチしているか否かを検出する。赤外発光素子２３ｂは、駆動回路部２３ｃの制御下で動作する半導体レーザー、ＬＥＤ等であり、感圧センサー２３ａが先端部２３ｐのスクリーンＳＣへのタッチを検出した場合に所定の輝度で発光し、赤外線Ｌ３を周囲に放射する。赤外発光素子２３ｂから射出される赤外線Ｌ３の波長は、例えば８５０ｎｍから９５０ｎｍといった赤外域にある。

発光型指示部２３の発光つまり赤外線Ｌ３は、撮像部２２によって検出される。つまり、撮像部２２の出力に基づいて、発光型指示部（第１の指示部）２３の先端部２３ｐの撮像による赤外発光強度の第１検出値を得ることができる。

図５（Ａ）を参照して、赤外照明部２４について説明する。赤外照明部２４は、赤外発光部２４ａと、回転反射部２４ｂとを備える。

赤外発光部２４ａは、回転反射部２４ｂに向けて赤外線Ｌ４を射出する。赤外発光部２４ａは、図示を省略するが、半導体レーザー、ＬＥＤ等の赤外発光素子と、カップリングレンズとを有する。前者の赤外発光素子は、赤外線Ｌ４を射出する。後者のカップリングレンズは、レーザー光源の光射出側に配置されて赤外線Ｌ４を平行光又はわずかに発散した発散光とする。赤外発光部２４ａから射出される赤外線Ｌ４の波長は、赤外発光素子２３ｂと同一とする。

回転反射部２４ｂは、赤外発光部２４ａからの赤外線Ｌ４を受けて垂直方向に反射するとともに、赤外線Ｌ４を２次元的に走査する。回転反射部２４ｂは、反射鏡２４ｊと回転駆動部２４ｋとを有する。反射鏡２４ｊは、ポリゴンミラーであり、Ｚ軸方向に中心軸を有する角錐状の形状を有する。反射鏡２４ｊは、回転駆動部２４ｋに駆動されてＺ軸に平行に延びる回転軸ＲＸを中心に回転し、赤外線Ｌ４をＸＹ面に沿って走査する。なお、反射鏡２４ｊとしては、ポリゴンミラーに限らず、ガルバノミラー等を用いることができる。

赤外照明部２４からの赤外線Ｌ４を拡散反射する非光型指示部（第２の指示部）２８からの赤外線Ｌ４は、撮像部２２によって検出される。つまり、撮像部２２の出力に基づいて、非光型指示部（第２の指示部）２８の撮像による赤外反射強度の第２検出値を得ることができる。

図５（Ｂ）に示すように、赤外線Ｌ４が走査されるＸＹ面は、図１等に示すスクリーンＳＣに沿った平面であり、赤外線Ｌ４は、スクリーンＳＣに近接して円形状又は放射状に走査される。結果的に、図１、図５（Ｂ）等に示すように、スクリーンＳＣの輪郭に対応する投影領域Ａ１に沿って近接する空間を含む対象空間ＯＳ全体に亘って赤外線Ｌ４を一様に照射することができる。ここで、赤外照明部２４は、赤外線を略平行光として対象空間に照射するので、投影領域Ａ１上の各点において非光型指示部（第２の指示部）２８に照射する赤外線Ｌ４の強度が略一定になり、非光型指示部２８での反射光の強度が位置によって略変わらない。これにより、反射光の検出強度を位置に応じて補正をする必要性が低減され、簡易に高い信頼性で非光型指示部２８に対応する第２検出値を得ることができる。

赤外線Ｌ４は、光束径が２ｍｍ以内であり、スクリーンＳＣから１ｍｍ以上４ｍｍ以内の範囲に照射される。つまり、赤外照明部２４による検出の対象空間ＯＳは、スクリーンＳＣから１〜４ｍｍ±１ｍｍ程度の近接した範囲に平行に延びている。ここで、赤外線Ｌ４の光束径を２ｍｍ以内とし、スクリーンＳＣからの浮きを４ｍｍ以内に抑えることで、指等である非光型指示部２８が操作のために触れる場合のみを確実に検出することができる。なお、赤外線Ｌ４がスクリーンＳＣから４ｍｍ以上大きく離れて浮きが大きい状態になると、スクリーンＳＣを触っていない状態でタッチ認識され、ユーザーが意図した動作と異なってしまう。また、赤外線Ｌ４の浮きを１ｍｍ以内としようとすると、スクリーンＳＣの僅かな歪で赤外線が遮られて誤動作が生じるため好ましくない。

図６（Ａ）及び６（Ｂ）は、図５（Ａ）等に示す赤外照明部２４の変形例を説明する側面図及び正面図である。この場合、赤外照明部２４は、赤外発光部２４ａと、コーンミラー１２４ｂとを備える。コーンミラー１２４ｂは、赤外発光部２４ａからの赤外線Ｌ４をＸＹ面に沿って発散させるように反射する。結果的にスクリーンＳＣの投影領域Ａ１に沿って近接する空間を含む対象空間ＯＳ全体に亘って赤外線Ｌ４を照射することができる。この場合、赤外線Ｌ４は、発散光として非光型指示部（第２の指示部）２８に照射されるので、赤外照明部２４から遠い位置にある非光型指示部２８からの反射光の強度は、赤外照明部２４に近い位置ある非光型指示部２８からの反射光の強度よりもかなり小さくなるので、反射光の検出強度を位置（具体的には赤外照明部２４からの距離）に応じて補正して後処理に用いる必要がある。

投影領域Ａ１の任意の点において、非光型指示部（第２の指示部）２８の撮像による赤外反射強度の第２検出値は、発光型指示部（第１の指示部）２３の撮像による赤外発光強度の第１検出値に対して、所定割合以下、具体的には７０％以下となるように設定されている。好ましい態様では、第２検出値が、第１検出値に対して１０％以上で６０％以下となるように設定され、より好ましい態様では、第２検出値が、第１検出値に対して３０％以上で５５％以下となるように設定される。さらに、他方の非光型指示部（第２の指示部）２８に対応する第２検出値の最大値が、一方の発光型指示部（第１の指示部）２３に対応する第１検出値の最小値より小さくなるように赤外線Ｌ３，Ｌ４の発光輝度が設定されている。これにより、発光型指示部２３の配置、非光型指示部２８の配置又は反射強度といった条件に関わらず、第１及び第２検出値間に差を持たせることができ、発光型指示部２３と非光型指示部２８との区別が可能になる。

図７（Ａ）は、撮像部２２によって投影領域Ａ１を撮影した結果を示す図であり、発光型指示部（第１の指示部）２３に対応する第１検出値と、非光型指示部（第２の指示部）２８に対応する第２検出値とを具体的に説明する図である。発光型指示部２３と非光型指示部２８とが比較的近接して赤外照明部２４等に近い位置に配置されている場合（図面ではスクリーンＳＣの上側中央）、発光型指示部２３に対応する第１検出値を示すパターンＰ１１は、比較的明るく広範囲に広がっているが、非光型指示部２８に対応する第２検出値を示すパターンＰ１２は、比較的暗く狭い範囲に広がっていることが分かる。一方、発光型指示部２３と非光型指示部２８とが赤外照明部２４等から遠い位置に配置されている場合（図面ではスクリーンＳＣの下側右隅）、発光型指示部２３に対応する第１検出値を示すパターンＰ２１は、若干明るさが減少して狭まっており、非光型指示部２８に対応する第２検出値を示すパターンＰ２２も、かなり暗くなって狭まっていることが分かる。

図８（Ａ）は、投影領域Ａ１の断面Ｓ１に沿った輝度分布を示し、図７（Ａ）中のパターンＰ１１に対応する第１検出値Ｄ１１と、パターンＰ１２に対応する第２検出値Ｄ１２とが現れている。第１検出値Ｄ１１、具体的にはピーク値は、第１閾値Ｔ１より大きくなるように設定されており、第２検出値Ｄ１２、具体的にはピーク値は、第１閾値Ｔ１より小さくなるように設定されている。さらに、パターンＰ１２に対応する第２検出値Ｄ１２は、第１閾値Ｔ１よりも十分低く設定された第２閾値Ｔ２より大きくなるように設定されている。

図８（Ｂ）は、投影領域Ａ１の断面Ｓ２に沿った輝度分布を示し、図７（Ａ）中のパターンＰ２１に対応する第１検出値Ｄ２１と、パターンＰ２２に対応する第２検出値Ｄ２２とが現れている。第１検出値Ｄ２１、具体的にはピーク値は、第１閾値Ｔ１より大きくなるように設定されており、第２検出値Ｄ２２、具体的にはピーク値は、第１閾値Ｔ１より小さくなるように設定されている。さらに、パターンＰ２２に対応する第２検出値Ｄ２２は、第１閾値Ｔ１よりも十分低く設定された第２閾値Ｔ２より大きくなるように設定されている。

以上において、パターンＰ１１に対応する第１検出値Ｄ１１をパターンＰ１２に対応する第２検出値Ｄ１２よりも高くする理由は、発光型指示部２３の方が検出強度を高く安定させやすいからである。つまり、赤外照明部２４の照射強度は非光型指示部２８に当たって減衰することを加味して強くしておく必要があるが、非光型指示部２８の第２検出値Ｄ１２を発光型指示部２３の第１検出値Ｄ１１よりも十分低い条件で動作させれば、赤外線Ｌ３，Ｌ４の発光輝度を全体として低く設定することができる。

以上は、投影領域Ａ１上の２箇所の説明であったが、投影領域Ａ１上の各点で上記と同様の結果が得られる。

この結果、撮像部２２によって得た画像から判定した検出値が第１閾値Ｔ１より大きければ、図７（Ａ）中のパターンＰ１１，Ｐ２１に対応する第１検出値Ｄ１１，Ｄ２１が得られており、検出した対象が発光型指示部（第１の指示部）２３であることが分かる。また、撮像部２２によって得た画像から判定した検出値が第１閾値Ｔ１と第２閾値Ｔ２との間であれば、図７（Ａ）中のパターンＰ１２，Ｐ２２に対応する第１検出値Ｄ１２，Ｄ２２が得られており、検出した対象が非光型指示部（第２の指示部）２８であることが分かる。

図７（Ｂ）は、比較例を説明する図であり、赤外照明部２４による照明が強くなっている。例えば発光型指示部２３と非光型指示部２８とが比較的近接して赤外照明部２４等に近くに配置されている場合（図面ではスクリーンＳＣの上側中央）、両パターンＰ１１，Ｐ１２は、比較的明るく広範囲に広がっているが、発光型指示部２３と非光型指示部２８とが赤外照明部２４等から遠くに配置されている場合（図面ではスクリーンＳＣの下側右隅）、両パターンＰ２１，Ｐ２２は、比較的暗く狭い範囲に広がっていることが分かる。

図８（Ｃ）及び図８（Ｄ）は、比較例である図７（Ｂ）中のパターンＰ１１〜Ｐ２２に対応する検出値を説明するものである。図８（Ｃ）において、パターンＰ１１に対応する第１検出値Ｄ１１と、パターンＰ１２に対応する第２検出値Ｄ１２とが現れている。両検出値Ｄ１１，Ｄ１２は、第１閾値Ｔ１より大きく、両者つまり発光型指示部２３と非光型指示部２８とを区別することができない。図８（Ｄ）において、パターンＰ２１に対応する第１検出値Ｄ２１と、パターンＰ２２に対応する第２検出値Ｄ２２とが現れている。第１検出値Ｄ２１が第１閾値Ｔ１より大きく、第２検出値Ｄ２２が第２閾値Ｔ２より小さく、両者を区別できるが、投影領域Ａ１全体では、発光型指示部２３と非光型指示部２８とを区別できない場合が生じる。

以上では、投影領域Ａ１内の任意の点において、第１検出値（具体的には検出値Ｄ１１，Ｄ２１）が一定の第１閾値Ｔ１を超えるようにし第２検出値（具体的には検出値Ｄ１２，Ｄ２２）が一定の第１閾値Ｔ１未満となるようにしたが、本発明はこれに限るものではない。例えば、投影領域Ａ１内の各点で位置に応じた第１閾値Ｔ１を設定し、この第１閾値Ｔ１と第１及び第２検出値との差が十分に大きければ、位置ごとに設定された第１閾値を基準として、投影領域Ａ１内の各点で検出したパターンが発光型指示部２３と非光型指示部２８とのいずれであるかを判別することができる。

図９を参照して、投影撮像システム１００のうち、電子機器的な駆動部分について説明する。投影撮像システム１００は、電子機器的な駆動部分１００Ｂとして、投影動作部８１と、撮像動作部８２と、記憶部８３と、制御部８５とを備える。なお、投影動作部８１は、投影部２１の一部として機能し、撮像動作部８２は、撮像部２２の一部として機能する。

投影動作部８１は、制御部８５からの指令に基づいてこれに内蔵された液晶表示素子４２（図２参照）等を適宜動作させる。具体的には、投影動作部８１は、制御部８５から画像信号を受け、この画像信号に応じた素子駆動信号を生成し、液晶表示素子４２に画像の表示動作を行わせる。これにより、画像信号に対応する可視のカラー画像がスクリーンＳＣ上に投影される。投影動作部８１は、投影画像処理部８１ａを有する。投影画像処理部８１ａは、制御部８５から受け取った画像信号又は映像信号に対して必要な画像処理を施して液晶表示素子４２に画像処理後の画像の表示動作を行わせる。投影画像処理部８１ａは、画像処理により、例えば投影画像について台形歪を補正することができ、投影像の階調、色バランス等を補正することもできる。

撮像動作部８２は、制御部８５からの指令に基づいてこれに内蔵された撮像素子５３（図２参照）を適宜動作させる。具体的には、撮像動作部８２は、撮像素子５３によって検出したデジタル画素信号である撮像信号を制御部８５へ出力したり、制御部８５から撮像素子５３を駆動するための電圧やクロック信号の供給を受けたりすることによって、撮像素子５３に検出動作又は撮像動作を行わせている。撮像動作部８２は、投影動作部８１により画像が投影される投影領域Ａ１及びその周辺の赤外像を撮影し、これによって得られた撮像信号は、制御部８５で赤外画像データとして取り扱われる。撮像動作部８２は、連続的に動作するものであり、インターバル撮影又は動画撮影を行う。なお、撮像動作部８２は、投影動作部８１と独立しており、両者を同期動作させる必要はない。また、図示を省略しているが、図１の赤外照明部２４を撮像動作部８２等に電気的に接続して電源等を供給しているが、赤外照明部２４を撮像動作部８２等から分離して独立させることもできる。

撮像動作部８２は、図３（Ｃ）に示すように撮像光学系５１が可視画像用の撮像素子１５３を有する場合、制御部８５の制御下で投影動作部８１により画像が投影される投影領域Ａ１及びその周辺の可視像を撮影する。これによって得られた撮像信号は、制御部８５において可視画像データとして取り扱われる。

記憶部８３は、画像記憶部８３ａと、付加情報記憶部８３ｂと、音声記憶部８３ｃとを有する。画像記憶部８３ａには、撮像動作部８２又は撮像部２２による撮像の結果として得たデジタル画素信号すなわち赤外画像データ等が一時的に保存される。この赤外画像データからは制御部８５での処理によって操作情報が抽出され、付加情報記憶部８３ｂに保存される。付加情報記憶部８３ｂに記憶される操作情報は、発光型指示部（第１の指示部）２３の動作に関する第１の操作情報と、非光型指示部（第２の指示部）２８の動作に関する第２の操作情報とを含む。付加情報記憶部８３ｂには、上記操作情報を入力画像に対応する可視画像データにリンク付ける情報や、上記操作情報をリンク付けした可視画像データを保存してもよい。音声記憶部８３ｃは、投影撮像システム１００を使用している間の音声を記憶するものである。音声は、投影撮像システム１００に設けられるマイク８６によって取得される。この場合、取得された音声は、可視画像データとリンク付ける情報と併せて保存される。

制御部８５は、これに組み込まれたプログラム、不図示の操作部等からの指示に基づいて、投影動作部８１、撮像動作部８２等の動作を管理しており、これらを統括的に動作させる。制御部８５は、例えば外部から入力されたビデオ信号その他の画像データに基づいて投影動作部８１に対して表示画像信号又は可視画像データを出力し、液晶表示素子４２等に表示動作を行わせる。また、制御部８５は、撮像動作部８２から得た投影領域Ａ１及びその周辺の赤外像を赤外画像データとして記憶部８３に保管する。さらに、制御部８５は、撮像動作部８２から得た赤外画像データに基づいて、この赤外画像データ中の指示画像に対応する第１の操作情報と第２の操作情報とを取得し、記憶部８３に適切な形式で保管する。これらの第１及び第２の操作情報には、画素位置から割り出される位置座標が付随している。この位置座標は、電子ペンである発光型指示部（第１の指示部）２３や手である非光型指示部（第２の指示部）２８のスクリーンＳＣ上での位置を示している。発光型指示部２３や非光型指示部２８の位置座標は、これらが検出されるスクリーンＳＣ上でのその法線方向の高さ位置（具体的には赤外線Ｌ４の高さや赤外発光素子２３ｂの高さ）を考慮して補正される。かかる補正は、投影による座標変換の問題として処理され、撮像素子５３に入射する撮像光Ｋ２のスクリーンＳＣに対しての射出角度が考慮される。

なお、第１の操作情報は、スクリーンＳＣ上で発光型指示部（第１の指示部）２３によって記録された文字又は図形のオブジェクト情報である。また、第２の操作情報は、非光型指示部（第２の指示部）２８がスクリーンＳＣに近接して行うタッチパネル操作風の動作によって記録されたジェスチャー情報である。ジェスチャー情報には、画面内の特定箇所のタップ動作、ドラッグ動作、ピンチ動作等が含まれる。

制御部８５は、撮像動作部８２からの撮像信号から得た赤外画像データに対してオブジェクト抽出等の画像処理を行う画像処理部８５ａと、画像処理部８５ａで得たオブジェクト、輝点その他の画像情報に基づいて第１の操作情報又は第２の操作情報を抽出する判定部８５ｂとを有する。画像処理部８５ａ及び判定部８５ｂによって第１又は第２の操作情報を得た場合、制御部８５は、この操作情報を記憶部８３の付加情報記憶部８３ｂに保存する。ここで、制御部８５の画像処理部８５ａや判定部８５ｂは、発光型指示部２３や非光型指示部２８によって投影領域Ａ１及びその周辺において指示された操作情報を判別又は抽出する情報処理部として機能する。つまり、制御部８５は、情報処理部である。

以下、図１０を参照して、図１等に示す投影撮像システム１００の主な動作について説明する。

ユーザーによって投影撮像システム１００の動作が開始しているものとする。この場合、制御部８５は、外部装置から読み込んだ画像データに基づく可視画像データを投影動作部８１に転送して、投影画像処理部８１ａにて画像処理を行わせるとともに投影光学部１２Ａに画像処理後の画像の表示動作を行わせる。光学部分１００Ａの動作と並行して、制御部８５は、撮像動作部８２を動作させて撮像素子５３にスクリーンＳＣ上及びその周辺の撮影を行わせる。このようにして得たスクリーンＳＣ上及びその周辺の画像は、赤外画像であって発光型指示部２３や非光型指示部２８の動作やその軌跡を含む付加情報（つまり指示画像）を含む画像であり、画像記憶部８３ａに赤外画像データとして一時的に保存される。

この状態で、制御部８５は、判定部８５ｂによって赤外画像から第１の操作情報又は第２の操作情報を抽出する。具体的には、制御部８５が撮像動作部８２から得た赤外画像データから画面内における輝点を検出する（ステップＳ２１）。

次に、制御部８５は、輝点の輝度ピーク値である検出値が第２閾値Ｔ２より大きいか否かを判断する（ステップＳ２２）。輝点の検出値が第２閾値Ｔ２より大きい場合、制御部８５は、輝点の検出値が第１閾値Ｔ１より大きいか否かを判断する（ステップＳ２３）。輝点の検出値が第１閾値Ｔ１より大きい場合、制御部８５は、検出された輝点が電子ペンである発光型指示部（第１の指示部）２３の操作に対応するものであると判定する（ステップＳ２４）。その後、制御部８５は、検出された輝点の位置座標を計算する（ステップＳ２５）。この際、赤外画像中における輝点の画素位置から換算してスクリーンＳＣ上の位置に相当する座標データが得られる。この座標データは、発光型指示部２３の赤外発光素子２３ｂのスクリーンＳＣに対する高さを考慮して位置補正される。ここで、発光型指示部２３の操作に対応する輝点の経時的な位置座標の変化は、第１の操作情報として記憶部８３に記録され、軌跡として蓄積される。記憶部８３に記録された軌跡としての第１の操作情報は、例えば文字又は図形のオブジェクト情報である。その後、制御部８５は、発光型指示部２３による第１の操作情報に応じた処理を行う（ステップＳ２６）。本実施形態の場合、第１の操作情報である文字又は図形のオブジェクト情報を記憶部８３に保管し、投影部２１によって投射中の可視画像とリンク付ける情報を付記する。

一方、輝点の検出値が第１閾値Ｔ１より大きくない場合、制御部８５は、検出された輝点が指である非光型指示部（第２の指示部）２８の操作に対応するものであると判定する（ステップＳ２７）。その後、制御部８５は、検出された輝点の位置座標を計算する（ステップＳ２８）。この際、赤外画像中における輝点の画素位置から換算してスクリーンＳＣ上の位置に相当する座標データが得られ、この座標データは、非光型指示部２８に入射する赤外線Ｌ４のスクリーンＳＣに対する高さを考慮して位置補正される。ここで、非光型指示部２８の操作に対応する輝点の経時的な位置座標の変化は、第２の操作情報として記憶部８３に記録され、軌跡として蓄積される。記憶部８３に記録された軌跡としての第２の操作情報は、例えばジェスチャー情報である。その後、制御部８５は、発光型指示部２３による第２の操作情報に応じた処理を行う（ステップＳ２９）。本実施形態の場合、第２の操作情報であるタップ動作、ドラッグ動作その他のジェスチャー情報を記憶部８３に保管するとともに、投影部２１によって投射中の可視画像に対してインタラクティブな動作を可能にする。具体的には、制御部８５は、ジェスチャー情報が画面内の特定箇所のタップ動作であると判断した場合、その箇所にリンクする画面を開く動作に対応する表示を投影部２１に行わせ、ジェスチャー情報がドラッグ動作であると判断した場合、表示中の可視画像をドラッグ方向にシフトさせる表示を投影部２１に行わせる。

ステップＳ２２で、輝点の検出値が第２閾値Ｔ２より小さい場合、信号が微弱で発光型指示部（第１の指示部）２３や非光型指示部（第２の指示部）２８の操作が行われたものでないと判断して、エラー処理する（ステップＳ３０）。

なお、以上の説明では、便宜上、発光型指示部２３の操作に対応するステップＳ２４〜Ｓ２６の処理と、非光型指示部２８の操作に対応するステップＳ２７〜Ｓ２９の処理とが個別に行われているかのように表現されているが、実際の処理では、輝点を検出した画面又はフレームごとに輝点情報が蓄積され、これらが統合されてオブジェクト情報やジェスチャー情報を構成することになるので、制御部８５は、第１の操作情報と第２の操作情報とを同時並行して取得する処理を行っていることになる。

以上で説明した実施形態の投影撮像システム１００によれば、投影領域Ａ１の任意の点において、第１及び第２検出値のうち、一方の検出値Ｄ１２が他方の検出値Ｄ１１に対して所定割合以下（具体的には７０％以下）の強度となるように設定しているので、強度の相違に基づいて発光型指示部（第１の指示部）２３と非光型指示部（第２の指示部）２８との区別が可能になる。これにより、発光型指示部（第１の指示部）２３と非光型指示部（第２の指示部）２８とが混在して同時に使用される場合であっても、それぞれを個別に認識して指示内容等の取得に必要な処理を行うことができる。

以上、実施形態に係る投影撮像システムについて説明したが、本発明に係る投影撮像システムは、上記のものには限られない。例えば、投影光学系４３とは別に撮像光学系５１を設ける必要はなく、投影光学系４３を撮像光学系５１としても用いることができる。

赤外発光素子２３ｂから射出される赤外線Ｌ３の波長と、赤外発光部２４ａから射出される赤外線Ｌ４の波長とを同一とする必要はなく、撮像部２２によって得られた赤外画像において、図８（Ａ）及び８（Ｂ）に例示するような検出値に関する大小関係が確保されればよい。

１２Ａ…投影光学部、 １２Ｂ…撮像光学部、 ２１…投影部、 ２２…撮像部、 ２３…発光型指示部、 ２３ｂ…赤外発光素子、 ２３ｐ…先端部、 ２４…赤外照明部、 ２４ａ…赤外発光部、 ２４ｂ…回転反射部、 ２８…非光型指示部、 ４１…照明光学系、 ４２…液晶表示素子、 ４３…投影光学系、 ５１…撮像光学系、 ５３…撮像素子、 ５５…光学フィルター、 ６１…屈折部、 ６２…反射部、 ８１…投影動作部、 ８２…撮像動作部、 ８３…記憶部、 ８３ａ…画像記憶部、 ８３ｂ…付加情報記憶部、 ８５…制御部、 ８５ａ…画像処理部、 ８５ｂ…判定部、 １００…投影撮像システム、 １００Ａ…光学部分、 １００Ｂ…駆動部分、 １５３…撮像素子、 Ａ１…投影領域、 Ｄ１１，Ｄ１２，Ｄ２１，Ｄ２２…検出値、 Ｋ１…投影光、 Ｋ２…撮像光、 Ｌ３，Ｌ４…赤外線、 ＯＳ…対象空間、 、 ＳＣ…スクリーン

Claims (14)

1. 画像を投影する投影部と、
   前記投影部により画像が投影される投影領域の赤外画像を撮影する赤外撮像部と、
   前記投影領域に沿って近接する空間を含む対象空間に赤外線を照射する赤外照明部とを備え、
   前記赤外撮像部の出力に基づいて、赤外発光する第１の指示部の撮像による赤外発光強度の第１検出値と、前記赤外照明部からの赤外線を反射する第２の指示部の撮像による赤外反射強度の第２検出値とを取得し、
   前記投影領域の任意の点において、前記第１及び第２検出値のうち、一方の検出値が他方の検出値に対して所定割合以下の強度となるように設定していることを特徴とする投影撮像システム。
2. 前記一方の検出値が前記他方の検出値の７０％以下の強度となるように設定していることを特徴とする請求項１に記載の投影撮像システム。
3. 前記投影領域上の任意の点で、前記一方の検出値が第１閾値より小さくなるとともに前記他方の検出値が前記第１閾値より大きくなるように設定されていることを特徴とする請求項２に記載の投影撮像システム。
4. 前記赤外撮像部の出力を前記第１閾値とこれよりも小さい第２閾値とに基づいて処理することによって、第１の指示部と前記第２の指示部とを個別に抽出することを特徴とする請求項３に記載の投影撮像システム。
5. 前記対象空間は、前記投影領域に近接して平行に延びることを特徴とする請求項１〜４のいずれか一項に記載の投影撮像システム。
6. 前記赤外照明部は、赤外線を略平行光として前記対象空間に照射することを特徴とする請求項１〜４のいずれか一項に記載の投影撮像システム。
7. 前記赤外照明部は、赤外線を前記対象空間において走査するように照射することを特徴とする請求項６に記載の投影撮像システム。
8. 前記撮像部は、反射ミラーを有する撮像光学系を有することを特徴とする請求項１〜７のいずれか一項に記載の投影撮像システム。
9. 前記一方の検出値は、前記第２の指示部に対応し、前記他方の検出値は、前記第１の指示部に対応することを特徴とする請求項１〜８のいずれか一項に記載の投影撮像システム。
10. 前記第１の指示部は、電子ペンであり、前記第２の指示部は、指又は手であることを特徴とする請求項９に記載の投影撮像システム。
11. 前記第１の指示部の検出結果に基づいて当該第１の指示部の動作に関する第１の操作情報を取得し、前記第２の指示部の検出結果に基づいて当該第２の指示部の動作に関する第２の操作情報を取得するとともに、前記操作情報の取得に際して、前記第１の指示部の検出結果と前記第２の指示部の検出結果とに対して異なる処理を施す情報処理部をさらに備えることを特徴とする請求項１〜１０のいずれか一項に記載の投影撮像システム。
12. 前記情報処理部は、前記第１の操作情報と前記第２の操作情報とを同時並行して取得することを特徴とする請求項１１に記載の投影撮像システム。
13. 前記赤外照明部は、前記投影部及び前記赤外撮像部を有する本体に対して取り外し可能であることを特徴とする請求項１〜１２のいずれか一項に記載の投影撮像システム。
14. 前記投影部により画像が投影される投影領域の赤外画像を撮影し、赤外発光する第１の指示部の撮像と、前記赤外照明部からの赤外線を反射する第２の指示部の撮像とを行う投影撮像方法であって、
    前記第１の指示部の検出結果に対する処理と、前記第２の指示部の検出結果に対する処理とを異なるものとすることを特徴とする投影撮像方法。

Images