JP2019164221A - プロジェクター、プロジェクションシステム、及び、指示体を検出する方法 - Google Patents

Abstract

【課題】指示体の投写画像に対する接触による指示を精度良く検出できる技術を提供する。【解決手段】プロジェクターは、スクリーン面上に投写画面を投写する投写部と；前記投写画面の領域の画像を撮像する撮像部と；前記撮像部によって撮像された、指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と；を備える。前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出する。【選択図】図３

Description

本発明は、プロジェクターに関する。

プロジェクターとして、投写画像に対するユーザーの指示体による操作を、投写画像が投写される領域を撮像した画像を用いて検出する、いわゆるインタラクティブプロジェクターが知られている。例えば、下記の特許文献１には、撮影された画像に写る指示体とその指示体の影の先端部が重なった位置を、指示体が差し示した入力位置として検出するプロジェクターが開示されている。

特開２０１２−１１３６５３号公報

しかしながら、上記の特許文献１の技術では、投写光の投写方向と指示体の位置関係によっては指示体の影を精度良く検出できない可能性がある。また、スクリーン面の前にある指示体以外の遮蔽物によって生じる影が、指示体の影として誤検出される可能性もある。ユーザーの指示体の位置と、指示体による投写画像に対する指示とを精度良く検出することについては依然として改良の余地がある。

本発明の一形態は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターとして提供される。この形態のプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と；前記投写画面の領域の画像を撮像する撮像部と；前記撮像部によって撮像された、前記指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と；を備える。前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出する。

プロジェクションシステムの構成を示す概略斜視図。 指示体の鏡像を説明するための第１の模式図。 指示体の鏡像を説明するための第２の模式図。 指示体の鏡像を説明するための第３の模式図。 指示体の鏡像を説明するための第４の模式図。 プロジェクションシステムの概略機能ブロック図。 指示体検出処理のフローを示す説明図。 画像から指示体の鏡像を検出する方法を説明するための模式図。 投写画面に対する指示体の接触を検出する方法を説明するための模式図。 第１画像と第２画像の相関性の判定についての詳細を説明するための模式図。

１．実施形態：
図１は、本実施形態におけるプロジェクションシステム１００の構成を模式的に示す概略斜視図である。図１には、互いに直交するｘ軸、ｙ軸、ｚ軸を図示してある。ｘ軸、ｙ軸、ｚ軸が示す方向については後述する。

プロジェクションシステム１００は、スクリーン１１のスクリーン面１１ｓ上に、投写画面ＰＳを投写するプロジェクター１０を備える。「投写画面ＰＳ」とは、投写画像を表す画像光が投写されることによってスクリーン面１１ｓに形成される投写画像の表示画面を意味し、実質的に、「スクリーン面１１ｓに投写されている投写画像」と言い換えることもできる。

プロジェクター１０は、いわゆるインタラクティブプロジェクターであり、指示体（pointing element）１２による投写画面ＰＳに対するユーザーの指示を受け取って、その指示を投写画面ＰＳに反映させる。「指示体１２による指示」とは、「指示体１２による操作」と言い換えることができる。プロジェクター１０は、投写画面ＰＳに対する指示体１２の先端１２ｔの接触を検出したときに、投写画面ＰＳに対するユーザーの指示体１２による指示を検出する。指示体１２による指示としては、例えば、指示体１２の先端１２ｔの接触によって指し示された投写画面ＰＳ中の位置において、画像を書き加えたり消去したりする描画操作が含まれる。その他にも、例えば、指示体１２の先端１２ｔによって指し示された位置にある投写画面ＰＳ中に含まれる画像オブジェクトの指定、選択、移動等の操作が含まれる。

本実施形態では、指示体１２はユーザーが手に持つ軸状の器具である。プロジェクター１０には、後述する画像からの指示体１２の検出が可能なように、指示体１２の形状の特徴データが予め登録されている。指示体１２は、先端１２ｔから後端のユーザーが把持する把持部１２ｈに向かって延びる長尺形状を有していることが望ましい。これによって、形状による指示体１２の検出が容易化される。指示体１２は、軸状の器具に限定されることはない。指示体１２は、例えば、ユーザーの指や手、ユーザーの指に装着されるキャップや、ユーザーの手に装着される手袋であってもよい。

指示体１２の先端１２ｔには、彩度が高い色彩が付されていることが望ましい。あるいは、指示体１２の先端１２ｔには、スクリーン面１１ｓの色彩に対して高いコントラストを有する色彩が付されていることが望ましい。その他に、指示体１２の先端１２ｔには蛍光色が付されているものとしてもよいし、発光素子が取り付けられているものとしてもよい。これによって、後述する指示体検出処理において、スクリーン面１１ｓに写る指示体１２の先端１２ｔの反射鏡像１２ｔＭを容易に検出できる。

ここで、図１において、ｘ軸は、水平方向に平行な方向を示しており、ユーザーがスクリーン面１１ｓに正対したときに、左から右に向かう方向を＋とする左右方向を示している。ｙ軸は、鉛直方向に平行な方向を示しており、上から下に向かう方向を＋とする上下方向を示している。ｚ軸は、スクリーン面１１ｓに垂直な方向を示しており、ユーザーがスクリーン面１１ｓに正対したときに、スクリーン面１１ｓからユーザーに向かう方向を＋とし、ユーザー側を前、スクリーン面１１ｓを後とする前後方向を示している。

図１の例では、上記のｘｙｚ座標空間に、プロジェクター１０、スクリーン１１及び指示体１２が配置されている。プロジェクター１０は、スクリーン面１１ｓに対して予め決められた位置に設置されている。図１の例では、プロジェクター１０は、鉛直方向に沿って設置されたスクリーン面１１ｓの上方、かつ、前方に固定的に取り付けられている。

詳細は後述するが、プロジェクター１０は、投写部２０と、撮像部３０と、を備える。投写部２０は、投写画面ＰＳをスクリーン面１１ｓのほぼ全面に投写できるように設けられている。また、撮像部３０は、投写画面ＰＳのほぼ全面を撮影できるように設けられている。本実施形態では、例えば、投写部２０の投写レンズ２３および撮像部３０のレンズ３１は、ｘ軸方向においてスクリーン面１１ｓのほぼ中央に配置され、ｙ軸方向においてスクリーン面１１ｓの上方に配置される。そして、ｚ軸方向においてスクリーン面１１ｓから前方に、スクリーン面１１ｓから離れた位置に配置される。

なお、他の実施形態では、プロジェクター１０は、スクリーン面１１ｓに対して上述した位置以外の他の位置に設置されていてもよい。プロジェクター１０は、スクリーン面１１ｓに面する位置に設置されていてもよいし、スクリーン面１１ｓの下方に設置されていてもよい。また、スクリーン面１１ｓの設置角度は、鉛直方向に沿った角度に限定されず、例えば、水平面に沿った角度で設置されていてもよい。

スクリーン１１のスクリーン面１１ｓは、指示体１２の反射鏡像１２Ｍが生じる程度の光沢度を有することが望ましい。以下では、「反射鏡像」を単に「鏡像」とも呼ぶ。ただし、スクリーン面１１ｓに写る指示体１２の鏡像１２Ｍは、その位置が撮像部３０等の光学素子により検出できればよく、指示体１２の鏡像１２Ｍの輪郭が明確に視認できなくてもよい。従って、スクリーン１１は、マット地のスクリーン面１１ｓを有する構成であってもよい。

図１では、指示体１２が、投写部２０による投写範囲内および撮像部３０による撮影範囲内で、スクリーン面１１ｓから前方に離れた位置に位置している状態を模式的に示している。指示体１２の把持部１２ｈは、ユーザーに把持される（図示せず）。また、図１は、指示体１２の反射鏡像１２Ｍと指示体１２の影１２Ｓとが、スクリーン面１１ｓに生じていることを模式的に示している。影１２Ｓは、投写部２０からの投写光（「画像光」とも呼ぶ。）に対する影であるが、影は外部光により異なる位置に生じる場合もある。

図２Ａ〜図２Ｃは、スクリーン面１１ｓに写る指示体１２の鏡像１２Ｍを説明するための模式図である。後述するように、プロジェクションシステム１００では、スクリーン面１１ｓに対する指示体１２の接触を、指示体１２の鏡像１２Ｍを用いて検知する。以下では、まず、スクリーン面１１ｓに写る指示体１２の鏡像１２Ｍについて説明する。

図２Ａには、図１と同じｘｙｚ座標空間におけるスクリーン面１１ｓ、撮像部３０および指示体１２の位置関係が示されている。指示体１２は、スクリーン面１１ｓに接触していないが、撮像部３０の撮影範囲内に位置している。線ａは、撮像部３０におけるレンズ３１の中心と指示体１２の先端１２ｔを結ぶ仮想線であり、撮像部３０から指示体１２の先端１２ｔを見た方向を示している。線ａの指示体１２の先端１２ｔ側をスクリーン面１１ｓに向かって垂直に移動させたときの線ｂを考えたとき、線ｂとスクリーン面１１ｓとの交点を通り、線ａ，ｂに直交する境界線であるミラーリングラインＭＬ−ＭＬが仮想的に形成される。

図２Ｂは、線ａとｚ軸方向とに沿った断面を示す模式図であり、スクリーン面１１ｓと、撮像部３０のレンズ３１と、指示体１２と、その鏡像１２Ｍと、の関係を説明するための図である。撮像部３０は、レンズ３１に入射する光により撮像を実行する。レンズ３１には、指示体１２からの光が入射する。指示体１２からの光は、指示体１２からレンズ３１に直接入射する光Ｌ１と、スクリーン面１１ｓで反射してレンズ３１に入射する光Ｌ２とがある。撮像画像において、レンズ３１に直接入射する光Ｌ１により形成される像が指示体１２の像であり、レンズ３１にスクリーン面１１ｓで反射して入射する光Ｌ２により形成される像が指示体１２の鏡像１２Ｍである。鏡像１２Ｍは、スクリーン面１１ｓに生じる像であるが、仮想的に、スクリーン面１１ｓに対して、指示体１２に対称に存在する指示体１２の像１２Ｍａに対応する像を撮像部３０は見ていると考えられる。図２Ｂでは、撮像部３０が見ている鏡像１２Ｍの位置にその符号を付してある。指示体１２からの光は、外部光または投写部２０の投写光が指示体１２表面で反射したものである。

図２Ｃは、撮像部３０のレンズ３１のから、スクリーン面１１ｓにおける投写画面ＰＳと、指示体１２と、を見たときの状態を模式的に示した模式図であり、実質的に撮像画像ＩＭに対応するＸＹ平面図である。図２Ｃには、撮像画像ＩＭの横方向の座標軸を示すＸ軸と、縦方向の座標軸を示すＹ軸と、が図示されている。撮像画像ＩＭは、撮影角度やレンズ３１等により歪んだ画像となる場合があるが、図２ＣでのＸ軸方向およびＹ軸方向は、それぞれ図１のｘ軸方向およびｙ軸方向に対応するよう補正されている。撮像画像ＩＭは、図２Ａで説明した線ａおよびミラーリングラインＭＬ−ＭＬに対応して、指示体１２と鏡像１２Ｍとが配置された画像となる。

図２Ｄは、図２Ｃの指示体１２の先端１２ｔ近辺を拡大したものであり、指示体１２がスクリーン面１１ｓに接近した状態を表している。本実施形態では、撮像画像ＩＭにおける指示体１２の先端１２ｔを含む所定の領域と、鏡像１２ｔＭが生じるであろう領域と、の相関を用いて、指示体１２とスクリーン面１１ｓの接触状態等を検知する。

図３は、プロジェクションシステム１００の概略機能ブロック図である。プロジェクションシステム１００のプロジェクター１０は、制御部１５と、投写部２０と、画像生成部２５と、撮像部３０と、指示体検出部４０と、を備える。

制御部１５は、例えば、１つまたは複数のプロセッサーと、主記憶装置と、を備えるコンピューターによって構成され、主記憶装置上に読み込んだプログラムや命令を実行することによって、種々の機能を発揮する。制御部１５は、各機能を実現するための複数の回路を組み合わせて構成されてもよい。

制御部１５は、プロジェクター１０による投写を制御する。制御部１５は、後述する指示体検出処理での検出結果を用いて、指示体１２の先端１２ｔの投写画面ＰＳへの接触位置や、その接触位置の変化、接触時間、単位時間あたりの接触回数などの接触操作を検出する。制御部１５は、それらの接触操作に対して予め対応付けられているユーザーの指示を識別し、その指示に応じて、投写画面ＰＳに対する画像処理を実行する。

投写部２０は、制御部１５の制御下において画像光を投写する。投写部２０は、光源２１と、光変調部２２と、投写レンズ２３と、を備える。光源２１は、ライトバルブやＬＥＤによって構成される。光変調部２２は、液晶パネルによって構成され、画像生成部２５から入力される画像信号に応じて光源２１から照射された光を変調する。光変調部２２において変調された光は、投写レンズ２３によって拡大されて、画像光としてスクリーン面１１ｓに投写される。

画像生成部２５は、例えば、画像処理プロセッサーによって構成される。画像生成部２５は、制御部１５の制御下において、プロジェクター１０の外部接続機器から入力された映像データや制御部１５から入力された映像データから投写画像を表す画像信号を生成し、投写部２０の光変調部２２に入力する。画像生成部２５は、予め設定されているパラメーターを反映する色補正や台形補正などの補正処理を実行する機能を備えていることが望ましい。

撮像部３０は、例えば、ＣＣＤやＣＭＯＳイメージセンサーとレンズ３１等を含んだカメラによって構成される。撮像部３０は、制御部１５の制御下において、投写画面ＰＳの領域を撮影する。指示体１２が画像光の照射範囲内にある場合には、撮像画像ＩＭには、スクリーン面１１ｓの像と、指示体１２の像と、が含まれる。撮像部３０によって撮影された撮像画像ＩＭは、指示体検出部４０に出力される。また、撮像部３０は、フィルター等の切替えにより、可視光、赤外光等の画像を撮像可能である。

撮像部３０は、スクリーン１１のスクリーン面１１ｓに対して予め決められた位置に固定されている。撮像部３０は、その撮影範囲内に、投写画面ＰＳの全体が含まれるように設置されていることが望ましい。なお、制御部１５には、スクリーン面１１ｓに対する撮像部３０による撮像方向と、撮像部３０とスクリーン面１１ｓとの位置関係と、が予め設定登録されている。また、制御部１５には、投写レンズ２３とレンズ３１の位置関係についても予め登録されていることが望ましい。

指示体検出部４０は、例えば、１または複数のプロセッサーと、主記憶装置と、を備えるコンピューターによって構成される。指示体検出部４０は、制御部１５を構成するコンピューターにおいて、制御部１５の下位の一機能部として実現されていてもよい。指示体検出部４０は、制御部１５の制御下において実行される後述する指示体検出処理において、撮像画像ＩＭを用いた投写画面ＰＳに対する指示体１２の先端１２ｔの接触を検出する。

指示体検出部４０は、画像解析部４２と、接触検出部４５と、を備える。画像解析部４２は、撮像部３０から取得した撮像画像ＩＭを解析し、撮像画像ＩＭから指示体１２の像を検出する。また、接触検出部４５は、画像解析部４２によって検出された撮像画像ＩＭにおける指示体１２の像の位置に基づいて、スクリーン面１１ｓ上での指示体１２の鏡像１２Ｍの像を検出可能である。そして、撮像部３０によって撮像された、指示体１２の先端１２ｔの第１画像と、スクリーン面１１ｓ上の反射鏡像である指示体１２の先端１２ｔの第２画像と、に基づいて、指示体１２の投写画面ＰＳへの接触を検出する。

なお、プロジェクションシステム１００では、制御部１５は、スクリーン面１１ｓ面上における投写画面ＰＳの座標系と、撮像部３０が撮影する撮像画像ＩＭの座標系（ＸＹ座標系）と、の対応関係を取得していることが望ましい。この対応関係は、投写部２０によって予め決められたパターン画像をスクリーン面１１ｓに投写させ、撮像部３０によって撮影したそのパターン画像の投写画面ＰＳを、公知の方法で解析することによって取得することができる。

図４は、制御部１５の制御下においてプロジェクションシステム１００のプロジェクター１０において実行される指示体検出処理のフローを示す説明図である。制御部１５は、投写部２０がスクリーン面１１ｓ上に投写画面ＰＳを投写しているときに、指示体１２がスクリーン面１１ｓの前方において、撮像部３０、あるいは、他のセンサーによって検出されたときに、この指示体検出処理の実行を開始し、このフローを周期的に繰り返す。

ステップＳ１０では、制御部１５は、撮像部３０に、撮像画像ＩＭを撮影させる。スクリーン面１１ｓの近くに指示体１２が位置するときには、撮像画像ＩＭには指示体１２が含まれる。撮像部３０が撮影した撮像画像ＩＭは、指示体検出部４０の画像解析部４２に入力される。

ステップＳ２０では、画像解析部４２は、撮像画像ＩＭを解析して、予め登録されている指示体１２の特徴データを用いて、撮像画像ＩＭから指示体１２の像を検出する。画像解析部４２は、時系列で連続して得られた複数の撮像画像ＩＭから検出される指示体１２の動きに基づいて指示体１２を検出し、指示体１２の先端１２ｔを検出してもよい。画像解析部４２は、少なくとも、撮像画像ＩＭから指示体１２の先端１２ｔの像を検出する。

画像解析部４２は、撮像画像ＩＭと、撮像画像ＩＭにおける指示体１２の先端１２ｔの像の位置を示す座標であるＸＹ座標と、を接触検出部４５に出力する。このとき、画像解析部４２は、撮像画像ＩＭにおける指示体１２の位置とともに、指示体１２の姿勢を検出し、接触検出部４５に出力することが望ましい。「指示体１２の姿勢」とは、撮像画像ＩＭにおいて予め決められている基準線からの指示体１２の角度を意味している。画像解析部４２は、指示体１２の姿勢を、例えば、撮像画像ＩＭにおける指示体１２の先端１２ｔから把持部１２ｈへと向かう方向の角度によって特定する。指示体１２の姿勢は、例えば、撮像画像ＩＭにおける指示体１２の幅と長さの変化等を画像解析することによっても特定可能である。

画像解析部４２において、撮像画像ＩＭから指示体１２の像が検出されなかった場合には、制御部１５は、指示体１２が検出できる撮像画像ＩＭが得られるまで、ステップＳ１０における撮像部３０による撮像を予め決められた周期で繰り返してもよい。

ステップＳ３０では、接触検出部４５は、撮像画像ＩＭにおいて、接触検出に利用する第１領域ＡＲａと第２領域ＡＲｂを設定する。

ステップＳ４０では、接触検出部４５は、第１領域ＡＲａにおける指示体１２の先端１２ｔを含む第１画像Ｉａと、第２領域ＡＲｂにおける指示体１２の先端１２ｔの鏡像１２ｔＭを含む第２画像Ｉｂと、に基づいて、指示体１２の投写画面ＰＳへの接触を検出する。第１領域ＡＲａ、第２領域ＡＲｂ、第１画像Ｉａ、第２画像Ｉｂについては、後に参照する図５〜図７に図示されている。

ステップＳ５０では、指示体検出部４０は、指示体１２の先端１２ｔが投写画面ＰＳに接触した位置を検出し、制御部１５に送信する。指示体検出部４０は、指示体１２の先端１２ｔの投写画面ＰＳへの接触が継続された接触時間を計測して制御部１５に送信してもよい。制御部１５は、上述したように、受信した指示体検出部４０による検出結果から指示体１２によるユーザーの指示を識別し、その指示に応じた投写画面ＰＳに対する画像処理を実行する。

図５は、ステップＳ３０で、第１領域ＡＲａと第２領域ＡＲｂの設定についての説明のための撮像画像ＩＭの模式的な図である。図５には、図２Ｃと同様に、撮像画像ＩＭの座標軸を示すＸ，Ｙ軸を図示してある。

接触検出部４５は、まず、画像解析部４２によって検出された撮像画像ＩＭにおける指示体１２の先端１２ｔの像の位置に基づいて、指示体１２の先端１２ｔの像を含む撮像画像ＩＭ内の第１領域ＡＲａを決定する。第１領域ＡＲａは、検出されている指示体１２の像の全体を含むように決定してもよいし、指示体１２の先端１２ｔの一部のみを含むように決定してもよい。

接触検出部４５は、画像解析部４２によって検出された指示体１２の姿勢に応じて、第１領域ＡＲａの範囲や形状を変更してもよい。接触検出部４５は、画像解析部４２によって、撮像画像ＩＭに写る指示体１２の像を、予め準備されている種々の姿勢での指示体１２の像のパターンと、をマッチングすることによって、図１で示したｘｙｚ座標空間での指示体１２の姿勢を検出可能であるとしてもよい。例えば、接触検出部４５は、撮像画像ＩＭでの指示体１２の像が、指示体１２の姿勢が図１で示したｘｙｚ座標空間でのｚ軸方向に近い角度であることを示している場合には、指示体１２の姿勢がｚ軸方向に近いほど、撮像画像ＩＭでのｚ軸方向に対応する方向における第１領域ＡＲａの範囲を大きくしてもよい。逆に、撮像画像ＩＭでの指示体１２の像が、指示体１２の姿勢がｚ軸方向に遠い角度であることを示している場合には、撮像画像ＩＭでのｚ軸方向に対応する方向における第１領域ＡＲａの範囲をその角度に応じて小さくしてもよい。また、第１領域ＡＲａの角度を指示体１２の姿勢に合わせて変更してもよい。

次に、接触検出部４５は、撮像画像ＩＭ中における指示体１２の先端１２ｔの像の位置に応じて撮像画像ＩＭ中の第２領域ＡＲｂを決定する。第２領域ＡＲｂは、第１領域ＡＲａに対して指示体１２から投写画面ＰＳに向かう方向側に位置するように設定される。第２領域ＡＲｂは、撮像画像ＩＭ中において、指示体１２の先端１２ｔまたはその近傍に対して、第１領域ＡＲａの対称領域に設定される。例えば、第１領域ＡＲａが、長さと幅がＬとＷの長方形に設定されれば、第２領域ＡＲｂは、第１領域ＡＲａの指示体１２の先端１２ｔ側の辺に接して対称に設定される。第２領域ＡＲｂは、長さと幅がＬとＷの長方形で、形状、サイズ、面積等が、第１領域ＡＲａと同じに設定される。第２領域ＡＲｂは、指示体１２の鏡像１２Ｍに関係なく設定可能である。指示体１２がスクリーン面１１ｓに接近すれば、第２領域ＡＲｂに指示体１２の鏡像１２Ｍが検出できるようになる。そして、その先端１２ｔＭが、指示体１２の先端１２ｔに近づいていけば、第１領域ＡＲａと、第２領域ＡＲｂとの相関は高くなる。

また、撮像画像ＩＭにおいて、鏡像１２ｔＭが生じる位置は、指示体１２の先端１２ｔの像の位置と、スクリーン面１１ｓの法線ベクトルの向きと、撮像部３０の撮影方向によって特定できる。よって、第２領域ＡＲｂが設定される領域は、指示体１２の先端１２ｔの像を含む第１領域ＡＲａに対して、スクリーン面１１ｓの法線ベクトルの向きと、撮像部３０の撮影方向と、に応じて定めることができる。なお、撮像部３０の撮影方向は、スクリーン面１１ｓに対する撮像部３０のレンズ３１の中心軸の角度によって表される。接触検出部４５は、指示体１２の先端１２ｔの像を含む第１領域ＡＲａの位置と、スクリーン面１１ｓの法線ベクトルの向きと、撮像部３０の撮影方向と、に応じて、第２領域ＡＲｂを設定できる。

指示体１２の鏡像１２Ｍが形成される範囲は、指示体１２の姿勢に応じて変わるため、接触検出部４５は、第１領域ＡＲａと同様に、撮像画像ＩＭにおいて検出されている指示体１２の姿勢に応じて、第２領域ＡＲｂの形状や範囲を変更することが望ましい。

本実施形態では、第１領域ＡＲａに含まれる画像と第２領域ＡＲｂに含まれる画像と、の相関をとる。そのため、第２領域ＡＲｂは、撮像画像ＩＭ中において指示体１２の先端１２ｔが接触する位置にあると仮定されたスクリーン面１１ｓに鏡面反射させた第１領域ＡＲａと一致するように設定されることが望ましい。また、本実施形態では、指示体１２の像の検出に基づき第１領域ＡＲａを設定し、第１領域ＡＲａに基づき第２領域ＡＲｂを設定する。そして、第１領域ＡＲａの第１画像Ｉａと、第２領域ＡＲｂの第２画像Ｉｂとの相関を判断している。このように、本実施形態の構成によれば、鏡像１２Ｍの像を検出しなくても指示体１２の先端１２ｔとスクリーン面１１ｓとの接触状態を検出することが可能である。

図６、図７は、ステップＳ４０における指示体１２の先端１２ｔの投写画面ＰＳに対する接触を検出する方法を説明するための模式図である。図６、図７には、図５と同様に、撮像部３０の撮像画像ＩＭでの指示体１２およびその鏡像１２Ｍが模式的に例示されている。

図６は、指示体１２がスクリーン面１１ｓに接近した場合の第１画像Ｉａと第２画像Ｉｂを含む撮像画像ＩＭを示している。図７は、指示体１２がスクリーン面１１ｓに接触した場合の第１画像Ｉａと第２画像Ｉｂを含む撮像画像ＩＭを示している。図７の第１画像Ｉａと第２画像Ｉｂとの相関値は、図６の第１画像Ｉａと第２画像Ｉｂとの相関値より高い。

接触検出部４５は、第１領域ＡＲａにおける指示体１２の先端１２ｔを含む第１画像Ｉａと、第２領域ＡＲｂにおける指示体１２の先端１２ｔの鏡像１２ｔＭを含む第２画像Ｉｂと、に基づいて、指示体１２の投写画面ＰＳへの接触を検出する。接触検出部４５は、撮像画像ＩＭにおける第１画像Ｉａと第２画像Ｉｂとの相関に基づいて指示体１２の投写画面ＰＳへの接触を検出する。

本実施形態では、接触検出部４５は、第１画像Ｉａと第２画像Ｉｂとの類似度を表す相関値に基づいて、指示体１２の先端１２ｔの投写画面ＰＳに対する接触の有無を判定する。この相関値は、第１画像Ｉａと第２画像Ｉｂとが類似しているほど高くなるように予め決められた関数によって算出される類似度を表す値である。本実施形態では、第１画像Ｉａと第２画像Ｉｂとのコントラストが小さいほど高くなる相関値が用いられる。相関値は、少なくとも、輝度についての相関性を示す値として求められることが望ましい。

相関値は、第１画像Ｉａと第２画像Ｉｂの対応する撮像画素毎に算出することが望ましい。撮像画像ＩＭは、撮像画素毎に明るさや色を示す画素情報である画素値を有し、これらを第１画像Ｉａの画素と対応する第２画像Ｉｂの画素とで比較することにより相関度を算出することができる。第１領域ＡＲａと第２領域ＡＲｂとは、撮像画像ＩＭ中の局所的な限定された領域であるので、第１画像Ｉａと第２画像Ｉｂの相関度の算出は容易である。また、第１画像Ｉａと第２画像Ｉｂとのコントラストを比較する場合、第１領域ＡＲａと第２領域ＡＲｂでのそれぞれのコントラストの平均値を比較してしてもよい。

第２領域ＡＲｂの第２画像Ｉｂに指示体１２の像が含まれる場合には、その指示体１２の像を除去した上で、第１画像Ｉａと第２画像Ｉｂとの相関値を求めるものとしてもよい。

第１画像Ｉａと第２画像Ｉｂの相関値は、指示体１２の先端１２ｔがスクリーン面１１ｓの投写画面ＰＳに近づき、指示体１２の先端１２ｔとその鏡像１２ｔＭとの位置が近づくほど高くなる。そして、指示体１２の先端１２ｔがスクリーン面１１ｓの投写画面ＰＳに接触したときに、その値が最も高くなる。接触検出部４５は、相関値が予め決められた閾値より高くなったときに、指示体１２の先端１２ｔの投写画面ＰＳへの接触を検出する。

実際には、指示体１２の先端１２ｔが投写画面ＰＳに接触している状態では、撮像画像ＩＭにおいては、指示体１２の先端１２ｔとその鏡像１２ｔＭとが重なる場合がある。こうした場合には、接触検出部４５は、第１画像Ｉａおよび第２画像Ｉｂにおける指示体１２の先端１２ｔとその鏡像１２ｔＭとが重なっている領域以外の部位で、第１画像Ｉａおよび第２画像Ｉｂの相関を判定してもよい。

また、指示体１２が投写画面ＰＳの近くにあるときには、図１のように、スクリーン面１１ｓには、投写部２０による投写によって指示体１２の影１２Ｓが生じる。第１画像Ｉａには、指示体１２の影１２Ｓの像が含まれるが、第２画像Ｉｂでは、鏡像であるので影は観察されず、第１画像Ｉａと第２画像Ｉｂの相関性は高くはならない。そこで、接触検出部４５は、第１画像Ｉａから指示体１２の影の像の明度を高めるなどして、当該影の像を除去するための補正をおこなった上で、第１画像Ｉａおよび第２画像Ｉｂの相関性の判定を実行することが望ましい。

以上のように、本実施形態のプロジェクションシステム１００、プロジェクター１０、および、指示体１２の検出方法では、スクリーン面１１ｓにおける指示体１２の鏡像１２Ｍを利用して、指示体１２の投写画面ＰＳへの接触を検出している。スクリーン面１１ｓと撮像部３０との位置関係が既知であれば、撮像部３０が撮影する撮像画像ＩＭにおいて、指示体１２がスクリーン面１１ｓに接近したときに生じる鏡像１２Ｍの位置を特定することは容易である。そのため、スクリーン面１１ｓに対する指示体１２の先端１２ｔの接触を判定するために相関をとるべき撮像画像ＩＭ中の領域の特定が容易である。そして、そうした判定に用いる領域を限定することができるため、その画像解析等の処理が容易になり、検出精度も向上する。よって、本実施形態のプロジェクションシステム１００、プロジェクター１０、および、指示体１２の検出方法によれば、指示体１２の投写画面ＰＳへの接触の検出を、簡易に実行することができる。本実施形態のプロジェクションシステム１００、プロジェクター１０、および、指示体１２の検出方法によれば、スクリーン１１にレーザーを用いたセンサーやタッチセンサーなどを設けなくとも、また、ステレオカメラ等を用いて、指示体１２の３次元位置を直接検出しなくても、指示体１２によるユーザーの指示を、簡易に、かつ、精度良く検出することができる。

本実施形態では、接触検出部４５は、第１領域ＡＲａの第１画像Ｉａと第２領域ＡＲｂの第２画像Ｉｂの類似度を表す相関値を用いて指示体１２の投写画面ＰＳへの接触を検出している。この構成であれば、第１画像Ｉａと第２画像Ｉｂの相関を表す相関値を簡易に得ることができ、指示体１２の投写画面ＰＳへの接触の検出をより容易におこなうことができる。相関値を、２つの画像Ｉａ，Ｉｂの輝度についての相関を表す値として取得すれば、相関値を、より一層、容易に得ることができる。

本実施形態では、接触検出部４５は、指示体１２の先端１２ｔの像を含むように設定された第１領域ＡＲａに応じて、第２領域ＡＲｂの位置や範囲を設定している。この構成であれば、投写画面ＰＳに対する指示体１２の接触の検出判定に用いる限定された領域の設定が容易化される。そのため、投写画面ＰＳに対する指示体１２の接触の検出精度を高めることができる。また、本実施形態では、接触検出部４５は、第１領域ＡＲａと第２領域ＡＲｂをそれぞれ、撮像部３０の撮像方向と、スクリーン面１１ｓの法線ベクトルの向きと、に応じて決定している。この構成であれば、撮像画像ＩＭにおいて指示体１２の鏡像１２Ｍが生じる領域の特定が容易になる。また、第１領域ＡＲａと第２領域ＡＲｂとを、撮像画像ＩＭにおける指示体１２の姿勢に応じて決定すれば、指示体１２の姿勢に応じた適切な第１画像Ｉａおよび第２画像Ｉｂを得ることができる。よって、第１画像Ｉａと第２画像Ｉｂの相関に基づく指示体１２の投写画面ＰＳに対する接触をより高い精度で検出できる。

２．他の実施形態：
上記の各実施形態で説明した種々の構成は、例えば、以下のように改変することが可能である。以下に説明する他の実施形態はいずれも、上記の各実施形態と同様に、発明を実施するための形態の一例として位置づけられる。

２−１．他の実施形態１：
プロジェクションシステム１００において、撮像部３０は、プロジェクター１０とは別体として設けられ、プロジェクター１０に対して予め決められた位置に配置されていてもよい。また、プロジェクションシステム１００は、撮像部３０に対して予め決められた位置に配置されるスクリーン１１を備えているものとしてもよい。

２−２．他の実施形態２：
接触検出部４５は、上記実施形態で説明した第１画像Ｉａと第２画像Ｉｂの輝度に基づく相関値を用いる方法以外の方法で、第１画像Ｉａと第２画像Ｉｂの相関を判定してもよい。接触検出部４５は、第１画像Ｉａにおける指示体１２の先端１２ｔの像の位置と、第２画像Ｉｂにおける鏡像１２ｔＭの位置と、の相関に基づいて、投写画面ＰＳに対する指示体１２の接触を検出してもよい。

２−３．他の実施形態３：
接触検出部４５は、プロジェクター１０に予め登録されている特徴データを用いて、第２領域ＡＲｂ内から指示体１２の鏡像１２Ｍを検出してもよい。

２―４. 他の実施形態４：
接触検出部４５は、プロジェクター１０に予め登録されている特徴データを用いて、指示体１２の鏡像１２Ｍを検出し、鏡像１２Ｍを含む領域を第２領域ＡＲｂに設定してもよい。この場合、指示体１２を含んだ第１領域ＡＲａの画像と鏡像１２Ｍを含んだ第２領域ＡＲｂの画像は、指示体１２と鏡像１２Ｍが接近すれば、コントラストの差が小さくなり、第１領域ＡＲａの画像と第２領域ＡＲｂの画像の相関は、高くなる。また、接触検出部４５は、第１領域ＡＲａの第１画像Ｉａから指示体１２の像を抜き出し、第２領域ＡＲｂの第２画像Ｉｂから鏡像１２Ｍの像を抜き出して、それぞれの画像についての相関値を求めるものとしてもよい。

２−５．他の実施形態５：
接触検出部４５は、第１領域ＡＲａと第２領域ＡＲｂとを決定することなく、特徴データに基づいて、撮像画像ＩＭ全体から指示体１２の先端１２ｔの第１画像Ｉａと、鏡像１２ｔＭの第２画像Ｉｂと、を検出してもよい。

２−６．他の実施形態６：
上記実施形態において、ソフトウェアによって実現された機能及び処理の一部又は全部は、ハードウェアによって実現されてもよい。また、ハードウェアによって実現された機能及び処理の一部は、ソフトウェアによって実現されてもよい。ハードウェアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いることができる。

３．他の形態：
本発明は、上述の各実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態によって実現することができる。例えば、本発明は以下の形態として実現可能である。以下に記載する各形態中の技術的特徴に対応する上記の各実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中において必須であると説明されていなければ、適宜、削除することが可能である。

（１）第１の形態は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターとして提供される。この形態のプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と；記投写画面の領域の画像を撮像する撮像部と；前記撮像部によって撮像された、前記指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と；を備える。前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出する。
この形態のプロジェクターによれば、指示体の先端の第１画像と、指示体とスクリーン面と撮像部の位置関係から位置の特定が容易な指示体の先端の鏡像の第２画像と、を用いて、指示体の先端の投写画面に対する接触を簡易に検出することができる。よって、指示体による投写画面に対するユーザーの指示を、レーザーを用いたセンサーやタッチセンサーなどの検出装置をスクリーンに取り付けるまでもなく、また、ステレオカメラ等を用いて、指示体１２の３次元位置を直接検出しなく、簡易、かつ、精度よく検出することができる。

（２）上記形態のプロジェクターにおいて、前記接触検出部は、前記画像において、前記指示体の先端を含む第１領域と、前記指示体の先端の位置に対して前記第１領域と対称な位置にある第２領域と、の類似度を表す相関値を用いて、前記指示体の前記投写画面への接触を検出してよい。
この形態のプロジェクターによれば、第１領域に対して第２領域の位置を容易に設定することができる。そして、第１画像と第２画像との相関を容易に検証することができ、指示体の先端の投写画面に対する接触を、より高い精度で検出することができる。

（３）上記形態のプロジェクターにおいて、前記接触検出部は、前記画像において、前記指示体の先端を含む第１領域と、前記第１領域に対して前記指示体から前記投写画面に向かう方向側に位置する第２領域と、を決定し、前記第１領域に含まれる前記第１画像と、前記第２領域に含まれる前記第２画像と、の類似度を表す相関値を用いて、前記指示体の前記投写画面への接触を検出してよい。
この形態のプロジェクターによれば、第１領域に対して第２領域の位置を容易に設定することができる。そして、第１画像と第２画像との相関を容易に検証することができ、指示体の先端の投写画面に対する接触を、より高い精度で検出することができる。

（４）上記形態のプロジェクターにおいて、前記接触検出部は、前記第１領域と前記第２領域をそれぞれ、前記撮像部の撮像方向と、前記スクリーン面の法線ベクトルの向きと、に応じて決定してよい。
この形態のプロジェクターによれば、第１領域と第２領域とをより適切な位置に設定することができる。

（５）上記形態のプロジェクターにおいて、前記接触検出部は、さらに、前記画像における前記指示体の姿勢に応じて前記第１領域と前記第２領域のそれぞれを決定してよい。
この形態のプロジェクターによれば、指示体の姿勢に応じた適切な第１画像および第２画像を得ることができる。よって、第１画像と第２画像の相関に基づく指示体の投写画面に対する接触をより高い精度で検出できる。

（６）上記形態のプロジェクターにおいて、前記相関値は、前記第１領域と前記第２領域の輝度についての相関性を示す値でよい。
この形態のプロジェクターによれば、第１画像と第２画像との相関を、画像の輝度を基準として容易に検証することができる。よって、指示体の先端の投写画面に対する接触を、より高い精度で検出することができる。

（７）第２の形態は、プロジェクションシステムとして提供される。この形態のプロジェクションシステムは、スクリーン面上に投写画面を投写する投写部と；前記投写画面の領域の画像を撮像する撮像部と；前記撮像部によって撮像された、ユーザーの前記投写画面に対する指示を示す指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と；を備える。前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出してよい。
この形態のプロジェクションシステムによれば、検出が容易な指示体の先端の鏡像を用いて、指示体の先端の投写画面に対する接触を容易に検出することができる。よって、指示体による投写画面に対するユーザーの指示を、簡易、かつ、より正確に検出することができる。

（８）第３の形態は、投写部がスクリーン面に投写する投写画面に対するユーザーの指示体による指示を検出する方法として提供される。この形態の方法は、前記投写画面の領域と、前記指示体と、を含む画像を撮像する工程と；前記画像に含まれる前記指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、の相関に基づいて、前記指示体の前記投写画面への接触を検出する工程と；を備える。
この形態の方法によれば、検出が容易な指示体の先端の鏡像を用いて、指示体の先端の投写画面に対する接触を容易に検出することができる。よって、指示体による投写画面に対するユーザーの指示を、簡易、かつ、より正確に検出することができる。

本発明は、プロジェクター、プロジェクションシステム、指示体の位置の検出方法以外の種々の形態で実現することも可能である。例えば、指示体による指示操作の検出方法や、指示体の位置検出装置、プロジェクターやプロジェクションシステムの制御方法および制御装置などの形態で実現することができる。また、前述の方法、制御方法を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１０…プロジェクター、１１…スクリーン、１１ｓ…スクリーン面、１２…指示体、１２Ｍ…反射鏡像（鏡像）、１２Ｓ…影、１２ｈ…把持部、１２ｔ…先端、１２ｔＭ…反射鏡像（鏡像）、１５…制御部、２０…投写部、２１…光源、２２…光変調部、２３…投写レンズ、２５…画像生成部、３０…撮像部、３１…レンズ、４０…指示体検出部、４２…画像解析部、４５…接触検出部、１００…プロジェクションシステム、ＡＲａ…第１領域、ＡＲｂ…第２領域、ＩＭ…撮像画像、Ｉａ…第１画像、Ｉｂ…第２画像、ＰＳ…投写画面

Claims (8)

1. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターであって、
   スクリーン面上に前記投写画面を投写する投写部と、
   前記投写画面の領域の画像を撮像する撮像部と、
   前記撮像部によって撮像された、前記指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と、
   を備え、
   前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出する、プロジェクター。
2. 請求項１記載のプロジェクターであって、
   前記接触検出部は、前記画像において、前記指示体の先端を含む第１領域と、前記指示体の先端の位置に対して前記第１領域と対称な位置にある第２領域と、を決定し、前記第１領域に含まれる前記第１画像と、前記第２領域に含まれる前記第２画像と、の類似度を表す相関値を用いて、前記指示体の前記投写画面への接触を検出する、プロジェクター。
3. 請求項１記載のプロジェクターであって、
   前記接触検出部は、前記画像において、前記指示体の先端を含む第１領域と、前記第１領域に対して前記指示体から前記投写画面に向かう方向側に位置する第２領域と、を決定し、前記第１領域に含まれる前記第１画像と、前記第２領域に含まれる前記第２画像と、の類似度を表す相関値を用いて、前記指示体の前記投写画面への接触を検出する、プロジェクター。
4. 請求項２または請求項３記載のプロジェクターであって、
   前記接触検出部は、前記第１領域と前記第２領域をそれぞれ、前記撮像部の撮像方向と、前記スクリーン面の法線ベクトルの向きと、に応じて決定する、プロジェクター。
5. 請求項４記載のプロジェクターであって、
   前記接触検出部は、さらに、前記画像における前記指示体の姿勢に応じて前記第１領域と前記第２領域のそれぞれを決定する、プロジェクター。
6. 請求項２から請求項５のいずれか一項に記載のプロジェクターであって、
   前記相関値は、前記第１画像と前記第２画像の輝度についての相関性を示す値である、プロジェクター。
7. プロジェクションシステムであって、
   スクリーン面上に投写画面を投写する投写部と、
   前記投写画面の領域の画像を撮像する撮像部と、
   前記撮像部によって撮像された、ユーザーの前記投写画面に対する指示を示す指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、に基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と、
   を備え、
   前記接触検出部は、前記画像における前記第１画像と前記第２画像との相関に基づいて前記指示体の前記投写画面への接触を検出する、プロジェクションシステム。
8. 投写部がスクリーン面に投写する投写画面に対するユーザーの指示体による指示を検出する方法であって、
   前記投写画面の領域と、前記指示体と、を含む画像を撮像する工程と、
   前記画像に含まれる前記指示体の先端の第１画像と、前記スクリーン面上の反射鏡像である前記指示体の先端の第２画像と、の相関に基づいて、前記指示体の前記投写画面への接触を検出する工程と、
   を備える、方法。

Images