JP2021189826A - 位置検出方法、位置検出装置、及びプロジェクター - Google Patents

Abstract

【課題】プロジェクターから指示体までの距離を算出する必要なく、指示体が指示する位置を精度良く検出すること。【解決手段】所定模様を示す模様画像が投射される投射面を指示体が指示する第１状況において第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定し、前記第１状況において第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定し、前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する位置検出方法。【選択図】図８

Description

本発明は、位置検出方法、位置検出装置、及びプロジェクターに関する。

近年、投射面のうち指示体が指示する位置を検出して、検出した位置に応じた処理を実行する、いわゆるインタラクティブプロジェクターが普及している。例えば、特許文献１には、投射面を撮像し、撮像した画像を示す情報に基づいてプロジェクターから指示体までの距離を算出し、算出した距離に基づいて指示体が指示する位置を検出するプロジェクターが開示されている。

特開２０１３−６１５５２号公報

しかしながら、上述した従来の位置検出方法では、プロジェクターから指示体までの距離の算出結果に大きな誤差が発生し、指示体が指示する位置を精度良く検出できない場合があった。

本発明の好適な態様に係る位置検出方法は、位置検出装置が実行する位置検出方法であって、所定模様を示す模様画像が投射される投射面を指示体が指示する第１状況において第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定し、前記第１状況において第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定し、前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する。

本発明の好適な態様に係る位置検出装置は、所定模様を示す模様画像が投射される投射面を指示体が指示する第１状況において第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定する第１特定部と、前記第１状況において第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定する第２特定部と、前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する検出部と、を備える。

本発明の好適な態様に係るプロジェクターは、所定模様を示す模様画像を、投射面に投射する投射装置と、前記投射面を撮像する第１撮像装置と、前記投射面を撮像する第２撮像装置と、処理装置とを備え、前記処理装置は、前記模様画像が投射される前記投射面を指示体が指示する第１状況において前記第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定する第１特定部と、前記第１状況において前記第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定する第２特定部と、前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する検出部と、を備える。

第１実施形態に係る位置検出システム１を示す斜視図。 位置検出システム１の構成を示す図。 可視光投射装置１６の一例を示す図。 赤外光投射装置８４の一例を示す図。 第１の態様における模様画像ＢＧを示す図。 第２の態様における模様画像ＢＧを示す図。 第３の模様における模様画像ＢＧを示す図。 位置検出システム１の機能を示す図。 キャリブレーション画像ＣＬの一例を示す図。 キャリブレーションモードにおいて第１撮像装置１８−１が撮像した画像ＣＬ１を示す図。 キャリブレーションモードにおいて第２撮像装置１８−２が撮像した画像ＣＬ２を示す図。 第１模様撮像画像Ｃ１−ＢＧの一例を示す図。 第１画像Ｃ１の一例を示す図。 第２画像Ｃ２の一例を示す図。 指示体領域の特定例を示す図。 投射面近傍領域の特定例を示す図。 指示体が指示する位置の検出例を示す図。 位置検出システム１の動作を示すフローチャートを示す図。 指示体領域特定処理を示すフローチャートを示す図。 投射面近傍領域特定処理を示すフローチャートを示す図。 位置情報検出処理を示すフローチャートを示す図。 第１変形例におけるプロジェクター１０ａの構成を示す図。 プロジェクター１０ａの機能を示す図。

本開示を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施形態は、本開示の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。

１．第１実施形態
１．１．位置検出システム１の概要
図１は、第１実施形態に係る位置検出システム１を示す斜視図である。図１に示すように、位置検出システム１は、プロジェクター１０と、位置検出装置８０とを有する。プロジェクター１０は、いわゆる短焦点のプロジェクターであり、投射面ＳＣとなる壁面に設置されている。図１に示す投射面ＳＣは、例えば、幕又は壁面等により構成される。なお、投射面ＳＣの形状は、図１に示す例では平面形状であるが、湾曲形状であってもよい。更に、投射面ＳＣには、吸着パッド及びマグネットシート等の突起物が張り付いていてもよい。以下の説明では、特に記載のない限り、投射面ＳＣの形状は平面形状であり、且つ、投射面ＳＣには突起物が張り付いていないことを前提とする。

図１では、投射面ＳＣをＸＹ平面とし、投射面ＳＣの法線方向を＋Ｚ方向として示してある。更に、＋Ｚ方向の反対方向を−Ｚ方向であるとして説明する。更に、Ｚ軸方向が、＋Ｚ方向及び−Ｚ方向の総称であるとして説明する。また、重力方向が＋Ｙ方向であり、＋Ｙ方向の反対方向を−Ｙ方向であるとして説明する。更に、Ｙ軸方向が、＋Ｙ方向及び−Ｙ方向の総称であるとして説明する。また、＋Ｚ方向から見て、＋Ｙ方向を反時計回りに９０度回転した方向を、＋Ｘ方向とし、＋Ｘ方向の反対方向を−Ｘ方向として説明する。更に、Ｘ軸方向が、＋Ｘ方向及び−Ｘ方向の総称であるとして説明する。

プロジェクター１０はいわゆるインタラクティブプロジェクターであり、指示体の位置に応じた処理を行う。指示体は、投射面ＳＣ内のいずれかの位置を指示する。図１の例では、指示体は、ユーザーＵの指Ｆである。また、指示体はユーザーＵの指Ｆに限らず、ユーザーＵが手に持って使用するペン型のデバイスでもよい。位置検出装置８０は、指示体が指示する位置を検出する。例えば、位置検出装置８０は、プロジェクター１０の＋Ｙ方向の端部に取り付けられている。

プロジェクター１０は、投射面ＳＣに画像光を投影することにより、投射面ＳＣに画像Ｇを表示する。画像光は、ユーザーＵが視認できる可視光である。図１に示す例では、プロジェクター１０は、投射面ＳＣに対して、−Ｙ方向を基準に＋Ｚ方向に傾いた斜めの方向に配置される。従って、プロジェクター１０は、＋Ｙ方向を基準に−Ｚ方向に傾いた斜めの方向に向けて、画像光を射出する。

図１に例示するように、プロジェクター１０は、不図示のパーソナルコンピューターからの画像情報に基づく画像Ｇを投射面ＳＣに表示可能である。また、位置検出装置８０は、指Ｆが指示する投射面ＳＣ上の位置を検出し、位置を示す位置情報をプロジェクター１０に送信する。プロジェクター１０は、当該位置の軌跡に沿う描画画像ＧＤを投射面ＳＣに表示可能である。ここで、プロジェクター１０は、指Ｆの指示によりプロジェクター１０に各種の機能を実行させるためのＧＵＩ（Graphical User Interface）用の画像であるツールバーＧＴを投射面ＳＣに表示する。

１．２．位置検出システム１の構成
図２は、位置検出システム１の構成を示す図である。プロジェクター１０は、処理装置１２と、記憶装置１４と、可視光投射装置１６と、第１撮像装置１８−１と、第２撮像装置１８−２と、通信装置２０とを有する。プロジェクター１０の各要素は、情報を通信するためのバス２１で相互に接続される。

処理装置１２は、ＣＰＵ（Central Processing Unit）等のコンピューターである。なお、処理装置１２は、１又は複数のプロセッサーによって構成されてもよい。

記憶装置１４は、磁気的記憶装置又はフラッシュＲＯＭ（Read only memory）等で構成される。記憶装置１４は、処理装置１２が読取可能な記録媒体であり、処理装置１２が実行する制御プログラムを含む複数のプログラム、及び、処理装置１２が使用する各種の情報などを記憶する。

可視光投射装置１６は、可視光の画像Ｇを投射面ＳＣに投射する。可視光投射装置１６の構成について、図３を用いて説明する。

図３は、可視光投射装置１６の一例を示す図である。可視光投射装置１６は、可視光光源１６１と、光変調装置の一例である３つの液晶ライトバルブ１６２Ｒ、１６２Ｇ、及び１６２Ｂと、投射光学系の一例である投射レンズ１６３と、ライトバルブ駆動部１６４等を含む。可視光投射装置１６は、可視光光源１６１から射出される可視光を液晶ライトバルブ１６２で変調して画像を形成し、画像Ｇを投射レンズ１６３から拡大投射する。画像Ｇは、投射面ＳＣに表示される。

可視光光源１６１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、又はレーザー光源等から形成される光源部１６１ａと、光源部１６１ａが放射する可視光の方向のばらつきを低減するリフレクター１６１ｂとを含む。可視光光源１６１から射出される可視光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色、緑色、青色の色光成分は、それぞれ液晶ライトバルブ１６２Ｒ、１６２Ｇ、及び１６２Ｂに入射する。

液晶ライトバルブ１６２は、一対の透明基板間に液晶が封入される液晶パネル等によって構成される。液晶ライトバルブ１６２には、マトリクス状に配列される複数の画素１６２ｐからなる矩形の画素領域１６２ａが形成されている。液晶ライトバルブ１６２では、液晶に対して画素１６２ｐごとに駆動電圧を印加することが可能である。ライトバルブ駆動部１６４が、投射面ＳＣに投射する画像を示す画像情報に応じた駆動電圧を各画素１６２ｐに印加すると、各画素１６２ｐは、画像情報に応じた光透過率に設定される。このため、可視光光源１６１から射出される可視光は、画素領域１６２ａを透過することで変調され、投射面ＳＣに投射する画像情報に応じた画像Ｇが色光ごとに形成される。

説明を図２に戻す。第１撮像装置１８−１及び第２撮像装置１８−２は、投射面ＳＣを撮像する。第１撮像装置１８−１及び第２撮像装置１８−２は、撮像した画像に視差を発生させるため、Ｘ軸方向に沿って互いに離れた位置に配置される。更に、第１撮像装置１８−１及び第２撮像装置１８−２は、撮像光学系１８２、可視光透過フィルター１８４、赤外光透過フィルター１８６、及び、撮像素子１８８を有する。

撮像光学系１８２は、少なくとも１つの撮像レンズを含む光学系であり、プリズム等の各種の光学素子を備えてもよいし、ズームレンズやフォーカスレンズ等を備えてもよい。撮像光学系１８２は、投射面ＳＣを撮像素子１８８により撮像することが容易であるという観点から、広角レンズ又は魚眼レンズを含んで構成されることが好ましい。

可視光透過フィルター１８４及び赤外光透過フィルター１８６は、撮像光学系１８２と撮像素子１８８との間の光路上に配置される状態と当該光路上から退避する状態とを切替可能に構成される。可視光の画像を撮像素子１８８により撮像する場合、赤外光透過フィルター１８６が当該光路上から退避する状態となり、当該光路上には、可視光透過フィルター１８４が配置される。赤外光の画像を撮像素子１８８により撮像する場合、可視光透過フィルター１８４が当該光路上から退避する状態となり、当該光路上には、赤外光透過フィルター１８６が配置される。

撮像素子１８８は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary MOS）イメージセンサー等で構成される。撮像素子１８８は、撮像光学系１８２、及び、可視光透過フィルター１８４及び赤外光透過フィルター１８６の一方を介して撮像し、撮像した画像を示す情報を出力する。赤外光透過フィルター１８６を介して撮像した画像を示す情報は、輝度値のみが示されたグレースケール画像である。

通信装置２０は、位置検出装置８０と通信を行うためのハードウェアである。通信装置２０は、例えば、通信端子である。

位置検出装置８０は、処理装置８２と、赤外光投射装置８４と、記憶装置８６と、通信装置９０とを有する。位置検出装置８０の各要素は、情報を通信するためのバス９１で相互に接続される。

処理装置８２は、ＣＰＵ等のコンピューターである。なお、処理装置８２は、１又は複数のプロセッサーによって構成されてもよい。

赤外光投射装置８４は、赤外光の画像を投射面ＳＣに投射する。赤外光投射装置８４の構成について、図４を用いて説明する。

図４は、赤外光投射装置８４の一例を示す図である。赤外光投射装置８４は、赤外光源８４１と、光変調装置の一例である液晶ライトバルブ８４２と、投射光学系の一例である投射レンズ８４３と、ライトバルブ駆動部８４４等を含む。赤外光投射装置８４は、赤外光源８４１から射出される赤外光を液晶ライトバルブ８４２で変調して赤外画像を形成し、赤外画像を投射レンズ８４３から拡大投射する。赤外画像は、投射面ＳＣに投射される。
なお、赤外光投射装置８４は、液晶ライトバルブ８４２を有さない態様でもよい。例えば、赤外光投射装置８４は、赤外のレーザーによるパターンにより赤外光の画像を形成してもよいし、赤外のレーザーと回折格子とによって赤外光の画像を形成してもよい。

赤外光源８４１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ、又はレーザー光源等から形成される光源部８４１ａと、光源部８４１ａが放射する赤外光の方向のばらつきを低減するリフレクター８４１ｂとを含む。赤外光源８４１から射出される赤外光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減される。ばらつきが低減された赤外光は、液晶ライトバルブ８４２に入射する。

液晶ライトバルブ８４２は、一対の透明基板間に液晶が封入される液晶パネル等によって構成される。液晶ライトバルブ８４２には、マトリクス状に配列される複数の画素８４２ｐからなる矩形の画素領域８４２ａが形成されている。液晶ライトバルブ８４２では、液晶に対して画素８４２ｐごとに駆動電圧を印加することが可能である。ライトバルブ駆動部８４４が、投射面ＳＣに投射する画像を示す画像情報に応じた駆動電圧を各画素８４２ｐに印加すると、各画素８４２ｐは、画像情報に応じた光透過率に設定される。このため、赤外光源８４１から射出される赤外光は、画素領域８４２ａを透過することで変調され、投射面ＳＣに投射する画像情報に応じた赤外光の画像が形成される。本実施形態では、画素領域８４２ａを有する平面をｘｙ平面として説明する。＋Ｘ方向に対応する方向を＋ｘ方向とし、−Ｘ方向に対応する方向を−ｘ方向として説明する。更に、ｘ軸方向が、＋ｘ方向及び−ｘ方向の総称であるとして説明する。同様に、＋Ｙ方向に対応する方向を＋ｙ方向とし、−Ｙ方向に対応する方向を−ｙ方向として説明する。更に、ｙ軸方向が、＋ｙ方向及び−ｙ方向の総称であるとして説明する。

説明を図２に戻す。記憶装置８６は、磁気的記憶装置又はフラッシュＲＯＭ等で構成される。記憶装置８６は、処理装置８２が読取可能な記録媒体であり、処理装置８２が実行する制御プログラムを含む複数のプログラム、原本模様画像情報ＢＧＩ、第１模様画像情報Ｃ１−ＢＧＩ、第２模様画像情報Ｃ２−ＢＧＩ、第１座標変換テーブルＬＴ１、第２座標変換テーブルＬＴ２、及び、処理装置８２が使用する各種の情報などを記憶する。原本模様画像情報ＢＧＩは、所定模様を示す模様画像ＢＧを示す。模様画像ＢＧは、指Ｆが指示する位置を検出するために使用される。模様画像ＢＧは、画素間で輝度値の異なる赤外光を用いた画像である。輝度値は、各画素の明るさを示す数値である。輝度値は、各画素の色の濃淡及び明るさを示す画素値から求めることができる。ただし、赤外光を用いた画像は、無彩色の画像である。赤外光を用いた画像では、画素値を輝度値として扱うことができる。模様画像ＢＧが画素領域８４２ａに表示される場合、模様画像ＢＧは、各画素８４２ｐによって輝度値が互いに異なる赤外光の画像として画素領域８４２ａに表示される。模様画像ＢＧが投射面ＳＣに投射されても、ユーザーＵには視認できない。模様画像ＢＧは、例えば、図５〜図８に示す３つの態様がある。また、図５〜図８では、輝度値が高い赤外光を白色とし、輝度値が低い赤外光を黒色として示す。

図５は、第１の態様における模様画像ＢＧを示す。第１の態様における模様画像ＢＧが示す所定模様は、縞模様である。第１態様における模様画像ＢＧは、輝度値の異なる２色を用いた複数の平行する線により構成される。第１の態様における模様画像ＢＧが画素領域８４２ａに表示される場合、第１の態様における模様画像ＢＧは、ｘ軸方向に沿った縞模様である。第１の態様における模様画像ＢＧは、ｘ軸方向に沿った縞模様に限らず、ｙ軸方向に沿った縞模様でもよいし、ｘ軸方向及びｙ軸方向に交差する方向に沿った縞模様でもよい。複数の平行する線の間隔ｄ１は、投射面ＳＣに投射された場合に指示体より狭く、第１撮像装置１８−１及び第２撮像装置１８−２の分解能によって平行する線が識別できる程度に広いことが好ましい。間隔ｄ１は、例えば、投射面ＳＣに投射された場合８ｍｍ程度になる幅である。

図６は、第２の態様における模様画像ＢＧを示す。第２の態様における模様画像ＢＧが示す所定模様は、水玉模様である。水玉模様は、ドットを複数配置した模様である。図６に例示する模様画像ＢＧは、輝度値が低い赤外光によりドットが形成されているが、輝度値が低い赤外光によりドットが形成されてもよい。また、図６に例示する模様画像ＢＧは、ｘ軸方向及びｙ軸方向に沿ってドットが配置された模様であるが、ｘ軸方向と、ｘ軸方向及びｙ軸方向に交差する方向とに沿ってドットが配置された模様でもよい。ドットの間隔ｄ２は、間隔ｄ１と同様に、投射面ＳＣに投射された場合に指Ｆより狭く、第１撮像装置１８−１及び第２撮像装置１８−２の分解能によって複数のドットが識別できる程度に広いことが好ましい。

図７は、第３の模様における模様画像ＢＧを示す。第３の模様における模様画像ＢＧが示す所定模様は、モザイク模様である。モザイク模様は、独立した図形を複数配置した模様である。図７に例示する模様画像ＢＧは、複数の矩形をランダムに配置した模様である。矩形の大きさｄ３は、間隔ｄ１及び間隔ｄ２と同様に、投射面ＳＣに投射された場合に指Ｆより小さく、第１撮像装置１８−１及び第２撮像装置１８−２の分解能によって複数の矩形が識別できる程度に大きいことが好ましい。

以下では、模様画像ＢＧは、第１の態様であるとして説明する。

説明を図２に戻す。第１模様画像情報Ｃ１−ＢＧＩは、模様画像ＢＧが投射面ＳＣに投射されており、且つ、投射面ＳＣと第１撮像装置１８−１との間に指示体が存在しない状況において第１撮像装置１８−１が投射面ＳＣを撮像することによって生成される情報である。以下、投射面ＳＣと第１撮像装置１８−１との間に指示体が存在しない状況を、「キャリブレーション状況」と称する。キャリブレーション状況は、「第２状況」の一例である。第２模様画像情報Ｃ２−ＢＧＩは、投射面ＳＣと第２撮像装置１８−２との間に指示体が存在しない状況において第２撮像装置１８−２が投射面ＳＣを撮像することによって生成される情報である。

第１座標変換テーブルＬＴ１は、第１撮像装置１８−１の座標系と、投射面ＳＣのＸＹ座標系とを変換するテーブルである。第２座標変換テーブルＬＴ２は、第２撮像装置１８−２の座標系と、投射面ＳＣのＸＹ座標系とを変換するテーブルである。

通信装置９０は、プロジェクター１０と通信を行うためのハードウェアである。通信装置９０は、例えば、通信端子である。通信装置２０と通信装置９０とが接触している場合、位置検出装置８０は、プロジェクター１０と通信を行うことができる。

１．３．位置検出システム１の機能
図８は、位置検出システム１の機能を示す図である。処理装置１２は、記憶装置１４から制御プログラムを読み出し、この制御プログラムを実行することによって、画像処理部１２２、インタラクティブ処理部１２４、及び、撮像処理部１２６として機能する。処理装置８２は、記憶装置８６から制御プログラムを読み出し、この制御プログラムを実行することによって、第１特定部８２２、第２特定部８２４、及び、検出部８２６として機能する。位置検出システム１は、指Ｆが指示する位置を検出するため、キャリブレーションモードと、通常モードとを有する。

キャリブレーションモードは、第１撮像装置１８−１及び第２撮像装置１８−２の調整を行うモードである。通常モードは、パーソナルコンピューターからの画像情報に基づく画像Ｇを投射面ＳＣに表示するモードである。更に、通常モードでは、プロジェクター１０は、指示体が指示する位置に応じた処理を行う。通常モードにおける位置検出システム１は、模様画像ＢＧが投射される投射面ＳＣを指示体が指示する状況にある。以下、模様画像ＢＧが投射される投射面ＳＣを指示体が指示する状況を、「通常状況」と称する。通常状況は、「第１状況」の一例である。

１．３．１．キャリブレーションモードにおける位置検出システム１の機能
キャリブレーションモードにおいて、処理装置１２は、画像処理部１２２、及び、撮像処理部１２６として機能する。画像処理部１２２は、画像情報に対して画像処理を施して、投射面ＳＣに投射させる画像を示す画像情報を生成する。キャリブレーションモードにおいて、画像処理部１２２は、キャリブレーション画像ＣＬを示す画像情報に対して画像処理を施して、投射面ＳＣに投射させる画像を示す画像情報を生成する。画像処理部１２２は、生成した画像情報を、可視光投射装置１６に出力する。可視光投射装置１６は、画像処理部１２２が生成した画像情報が示す画像を投射する。更に、画像処理部１２２は、可視光を透過した状態により投射面ＳＣを撮像する指示を、撮像処理部１２６に通知する。

図９は、キャリブレーション画像ＣＬの一例を示す図である。図９に例示するキャリブレーション画像ＣＬの模様は、水玉模様である。

説明を図８に戻す。画像処理部１２２から前述の指示を受け付けた場合、撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、撮像光学系１８２と撮像素子１８８との間の光路上に可視光透過フィルター１８４を配置する指示を通知する。可視光透過フィルター１８４の配置後、撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、投射面ＳＣを撮像する指示を通知する。

図１０は、キャリブレーションモードにおいて第１撮像装置１８−１が撮像した画像ＣＬ１を示す図である。図１１は、キャリブレーションモードにおいて第２撮像装置１８−２が撮像した画像ＣＬ２を示す図である。第１撮像装置１８−１及び第２撮像装置１８−２は、Ｘ軸方向に沿って互いに離れた位置に配置されているため、画像ＣＬ１及び画像ＣＬ２には、視差が発生する。

撮像処理部１２６は、画像ＣＬ１を示す情報を第１撮像装置１８−１から取得する。撮像処理部１２６は、画像ＣＬ１を示す情報における各ドットの重心座標と、キャリブレーション画像ＣＬにおける各ドットの重心座標とを対応付けることにより、第１座標変換テーブルＬＴ１を生成する。画像ＣＬ１を示す情報における各ドットの重心座標は、第１撮像装置１８−１の座標系に属する。キャリブレーション画像ＣＬにおける各ドットの重心座標は、投射面ＳＣのＸＹ座標系に属する。例えば、撮像処理部１２６は、キャリブレーション画像ＣＬに含まれるドットｄｔの重心座標と、画像ＣＬ１に含まれるドットｄｔ１の重心座標とを対応付けたレコードを生成し、生成したレコードを第１座標変換テーブルＬＴ１に格納する。更に、撮像処理部１２６は、第１撮像装置１８−１の座標系のうち、画像ＣＬ１を示す情報における各ドットの重心座標以外の座標の変換座標を、当該座標の周辺に位置する４つのドットからのバイリニア補間により算出する。

撮像処理部１２６は、生成した第１座標変換テーブルＬＴ１を、位置検出装置８０に送信する。第１座標変換テーブルＬＴ１を受信した位置検出装置８０は、第１座標変換テーブルＬＴ１を記憶装置８６に記憶させる。同様に、撮像処理部１２６は、画像ＣＬ２を示す情報を第２撮像装置１８−２から取得する。第１座標変換テーブルＬＴ１と同様の方法により、撮像処理部１２６は、第２座標変換テーブルＬＴ２を生成する。撮像処理部１２６は、生成した第２座標変換テーブルＬＴ２を、位置検出装置８０に送信する。第２座標変換テーブルＬＴ２を受信した位置検出装置８０は、第２座標変換テーブルＬＴ２を記憶装置８６に記憶させる。

第１座標変換テーブルＬＴ１及び第２座標変換テーブルＬＴ２を生成した後、撮像処理部１２６は、位置検出装置８０に模様画像ＢＧを投射する指示を通知する。赤外光投射装置８４は、模様画像ＢＧを投射面ＳＣに投射する。更に、撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、撮像光学系１８２と撮像素子１８８との間の光路上に赤外光透過フィルター１８６を配置する指示を通知する。赤外光透過フィルター１８６の配置後、撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、投射面ＳＣを撮像する指示を通知する。

撮像処理部１２６からの指示を受け付けた場合、第１撮像装置１８−１は、投射面ＳＣを撮像する。第１撮像装置１８−１が撮像する場合の状況は、模様画像ＢＧが投射面ＳＣに投射されており、且つ、投射面ＳＣと第１撮像装置１８−１との間に指示体が存在しない状況である。

図１２は、第１模様撮像画像Ｃ１−ＢＧの一例を示す。本実施形態では、投射面ＳＣが平面形状であるため、模様画像ＢＧと、第１模様撮像画像Ｃ１−ＢＧとが略同一である。但し、投射面ＳＣが湾曲形状である、又は、投射面ＳＣに突起物が張り付いている場合には、模様画像ＢＧと、第１模様撮像画像Ｃ１−ＢＧとには、差異が生じる。

撮像処理部１２６は、第１模様画像情報Ｃ１−ＢＧＩを第１撮像装置１８−１から取得する。第１模様画像情報Ｃ１−ＢＧＩと同様に、第２撮像装置１８−２は、第２模様画像情報Ｃ２−ＢＧＩを生成する。第２模様画像情報Ｃ２−ＢＧＩが示す第２模様撮像画像Ｃ２−ＢＧも、第１模様撮像画像Ｃ１−ＢＧと同様に、輝度値のみが示されたグレースケール画像である。撮像処理部１２６は、第２模様画像情報Ｃ２−ＢＧＩを第２撮像装置１８−２から取得する。撮像処理部１２６は、第１模様画像情報Ｃ１−ＢＧＩ及び第２模様画像情報Ｃ２−ＢＧＩを、位置検出装置８０に送信する。第１模様画像情報Ｃ１−ＢＧＩを受信した位置検出装置８０は、第１模様画像情報Ｃ１−ＢＧＩを、第１座標変換テーブルＬＴ１を用いて投射面ＳＣのＸＹ座標系に変換し、変換した第１模様画像情報Ｃ１−ＢＧＩを記憶装置８６に記憶する。第２模様画像情報Ｃ２−ＢＧＩを受信した位置検出装置８０は、第２模様画像情報Ｃ２−ＢＧＩを、第２座標変換テーブルＬＴ２を用いて投射面ＳＣのＸＹ座標系に変換し、変換した第２模様画像情報Ｃ２−ＢＧＩを記憶装置８６に記憶する。

１．３．２．通常モードにおける位置検出システム１の機能
通常モードにおいて、処理装置８２は、第１特定部８２２、第２特定部８２４、及び、検出部８２６として機能する。通常モードにおいて、赤外光投射装置８４は、模様画像ＢＧを投射し続ける。通常モードにおいて、処理装置１２は、画像処理部１２２、インタラクティブ処理部１２４、及び、撮像処理部１２６として機能する。通常モードにおいて、画像処理部１２２は、パーソナルコンピューターから受信した画像情報ＶＩに対して画像処理を施して、投射面ＳＣに投射させる画像Ｇを示す画像情報を生成する。画像処理部１２２は、生成した画像情報を、可視光投射装置１６に出力する。可視光投射装置１６は、画像処理部１２２が生成した画像情報が示す画像Ｇを投射する。画像処理部１２２は、赤外光を透過した状態により投射面ＳＣを撮像する指示を撮像処理部１２６に通知する。

撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、撮像光学系１８２と撮像素子１８８との間の光路上に赤外光透過フィルター１８６を配置する指示を通知する。赤外光透過フィルター１８６の配置後、撮像処理部１２６は、第１撮像装置１８−１及び第２撮像装置１８−２の各々に、投射面ＳＣを撮像する指示を通知する。通常状況において、第１撮像装置１８−１が投射面ＳＣを撮像することによって、第１撮像装置１８−１は、第１画像Ｃ１を示す第１画像情報Ｃ１Ｉを生成する。第１撮像装置１８−１と同様に、通常状況において、第２撮像装置１８−２が投射面ＳＣを撮像することによって、第２撮像装置１８−２は、第２画像Ｃ２を示す第２画像情報Ｃ２Ｉを生成する。処理装置１２は、通信装置２０を用いて、第１画像情報Ｃ１Ｉ及び第２画像情報Ｃ２Ｉを位置検出装置８０に送信する。処理装置８２は、第１座標変換テーブルＬＴ１を用いて第１画像情報Ｃ１Ｉを、投射面ＳＣのＸＹ座標系に変換する。同様に、処理装置８２は、第２座標変換テーブルＬＴ２を用いて第２画像情報Ｃ２Ｉを、投射面ＳＣのＸＹ座標系に変換する。以下に示す画像は、全て投射面ＳＣのＸＹ座標系であるとして説明する。

図１３は、第１画像Ｃ１の一例を示す図である。第１画像Ｃ１には、ユーザーＵの一部の画像と、指Ｆの画像と、ユーザーＵによる影ＳＨの画像とが含まれる。模様画像ＢＧの一部は、ユーザーＵに投射されるため、投射面ＳＣに投射される場合と比較して変化する。影ＳＨは、ユーザーＵによって赤外光が遮られた結果生じる。影ＳＨでは、模様画像ＢＧの一部が失われる。

図１４は、第２画像Ｃ２の一例を示す図である。第２画像Ｃ２には、ユーザーＵの一部の画像と、指Ｆの画像と、ユーザーＵによる影ＳＨの画像とが含まれる。第２画像Ｃ２は、第１画像Ｃ１と比較して、ユーザーＵが映りこむ領域が狭い。更に、第２画像Ｃ２は、第１画像Ｃ１と比較して、ユーザーＵによる影ＳＨの領域が狭い。

第１特定部８２２は、第１画像情報Ｃ１Ｉと、第１模様画像情報Ｃ１−ＢＧＩと、第２画像情報Ｃ２Ｉと、第２模様画像情報Ｃ２−ＢＧＩとに基づいて、第１画像Ｃ１のうち、指示体が映る領域を特定する。第１画像Ｃ１のうち指示体が映る領域を、「指示体領域」と称する。指示体領域は、「第１領域」の一例である。より詳細な指示体領域の特定方法について、図１５を用いて説明する。

図１５は、指示体領域の特定例を示す図である。第１特定部８２２は、差分領域特定部８２２２と、影領域特定部８２２４と、指示体領域特定部８２２６とを有する。

差分領域特定部８２２２は、第１模様画像情報Ｃ１−ＢＧＩが示す第１模様撮像画像Ｃ１−ＢＧと第１画像Ｃ１との差分を表す差分画像Ｃ１’を示す情報を生成する。差分画像Ｃ１’は、「第１差分画像」の一例である。具体的には、第１特定部８２２は、第１模様撮像画像Ｃ１−ＢＧの各画素の画素値と第１画像Ｃ１の各画素の画素値との差分の絶対値が所定の閾値以上である画素を検出することにより、差分の絶対値が所定の閾値以上である領域を特定する。第１画像Ｃ１のうち、差分の絶対値が所定の閾値以上である領域を、以下、「第１差分領域」と称する。所定の閾値は、例えば、最大画素値の１０％である。最大画素値は、第１画像Ｃ１が８ビットの画像の場合、２５５である。同様に、差分領域特定部８２２２は、第２模様画像情報Ｃ２−ＢＧＩが示す第２模様撮像画像Ｃ２−ＢＧと第２画像Ｃ２との差分を表す差分画像Ｃ２’を示す情報を生成する。差分画像Ｃ２’は、「第２差分画像」の一例である。第２画像Ｃ２のうち、差分の絶対値が所定の閾値以上である領域を、以下、「第２差分領域」と称する。図１５の例示において、差分画像Ｃ１’のうち、白色の領域が、第１差分領域である。差分画像Ｃ２’のうち、白色の領域が、第２差分領域である。

影領域特定部８２２４は、第１画像Ｃ１のうち、所定模様である縞模様を有さない領域を、指示体の影が映る領域として特定する。以下、第１画像Ｃ１のうち、指示体の影が映る領域を、「第１影領域」と称する。第１影領域は、「第３領域」の一例である。影領域特定部８２２４は、第１影領域を表す第１影領域画像Ｃ１−Ｓを示す情報を生成する。より具体的には、影領域特定部８２２４は、第１画像Ｃ１のうち輝度値の変化が小さい領域から、縞模様を有さない第１影領域を検出する。輝度値の変化が小さい領域の特定方法として、影領域特定部８２２４は、例えば、第１画像Ｃ１の各画素のうち、各画素の所定範囲内に含まれる複数の画素の輝度値のばらつき値が所定の閾値以下である画素を、輝度値の変化が小さい画素として特定する。所定範囲は、指Ｆの幅がはみ出さずに映る程度の幅である。所定範囲の大きさは、第１座標変換テーブルＬＴ１により変換された第１画像Ｃ１の解像度の大きさの増加に応じて増加する。例えば、所定範囲の大きさは、５画素×５画素の領域である。

第１画像Ｃ１と同様に、影領域特定部８２２４は、第２画像Ｃ２のうち、所定模様である縞模様を有さない領域を、指示体の影が映る領域として特定する。以下、第２画像Ｃ２のうち、指示体の影が映る領域を、「第２影領域」と称する。第２影領域は、「第５領域」の一例である。影領域特定部８２２４は、第２影領域を表す第２影領域画像Ｃ２−Ｓを示す情報を生成する。図１５の例示において、第１影領域画像Ｃ１−Ｓのうち、白色の領域が、第１影領域である。同様に、第２影領域画像Ｃ２−Ｓのうち、白色の領域が、第２影領域である。

指示体領域特定部８２２６は、差分画像Ｃ１’が示す第１差分領域から、第１影領域画像Ｃ１−Ｓが示す第１影領域を除いた領域を特定する。以下、第１差分領域から第１影領域を除いた領域を、「第１指示体領域」と称する。第１指示体領域は、「第４領域」の一例である。指示体領域特定部８２２６は、第１指示体領域を表す第１指示体領域画像Ｃ１’’を示す情報を生成する。同様に、指示体領域特定部８２２６は、差分画像Ｃ２’が示す第２差分領域から、第２影領域画像Ｃ２−Ｓが示す第２影領域を除いた領域を特定する。以下、第２差分領域から第２影領域を除いた領域を、「第２指示体領域」と称する。第２指示体領域は、「第６領域」の一例である。指示体領域特定部８２２６は、第２指示体領域を表す第２指示体領域画像Ｃ２’’を示す情報を生成する。図１５の例示において、第１指示体領域画像Ｃ１’’のうち、白色の領域が、第１指示体領域である。同様に、第２指示体領域画像Ｃ２’’のうち、白色の領域が、第２指示体領域である。

指示体領域特定部８２２６は、第１指示体領域画像Ｃ１’’が表す第１指示体領域と、第２指示体領域画像Ｃ２’’が表す第２指示体領域とが互いに重なる領域を、指示体領域として特定する。指示体領域特定部８２２６は、指示体領域を表す指示体領域画像Ｏｂｊを示す指示体領域画像情報ＯｂｊＩを生成する。

説明を図８に戻す。第２特定部８２４は、第２画像情報Ｃ２Ｉと、第１画像情報Ｃ１Ｉとに基づいて、第２画像Ｃ２と第１画像Ｃ１との差分の絶対値を表す差分画像ＳＳのうち、輝度値が第１閾値以下である領域を特定する。この差分画像のうち、輝度値が第１閾値以下である領域を、「投射面近傍領域」と称する。第１閾値は、例えば、最大画素値の２０％である。投射面近傍領域には、投射面ＳＣのうち、第１撮像装置１８−１及び第２撮像装置１８−２から見て指示体等の物体によって遮られない領域と、第１撮像装置１８−１及び第２撮像装置１８−２から見て、投射面ＳＣの近傍にある指示体の一部とが含まれる。第２画像Ｃ２と第１画像Ｃ１との差分を表す差分画像ＳＳは、「撮像差分画像」の一例である。投射面近傍領域は、「第２領域」の一例である。

図１６は、投射面近傍領域の特定例を示す図である。第２特定部８２４は、第２画像情報Ｃ２Ｉが示す第２画像Ｃ２と、第１画像情報Ｃ１Ｉが示す第１画像Ｃ１との差分の絶対値を表す差分画像ＳＳを示す情報を生成する。続けて、第２特定部８２４は、差分画像ＳＳのうち、輝度値が第１閾値以下である領域を表す投射面近傍画像ＳＳ’を示す投射面近傍画像情報ＳＳ’Ｉを生成する。

説明を図８に戻す。検出部８２６は、指示体領域画像Ｏｂｊが表す指示体領域と、投射面近傍画像ＳＳ’が表す投射面近傍領域とに基づいて、投射面ＳＣのうち指示体が指示する位置を検出する。図１７を用いて、指示体が指示する位置の検出例について説明する。

図１７は、指示体が指示する位置の検出例を示す図である。検出部８２６は、指示体領域と投射面近傍領域とが重なるタッチ領域を特定する。より詳細には、検出部８２６は、タッチ領域を表すタッチ領域画像Ｏｂｊ’を示す情報を生成する。タッチ領域は、投射面近傍であって、且つ、指示体が存在する領域である。図１７の例示では、タッチ領域画像Ｏｂｊ’のうち、白色の領域がタッチ領域である。

タッチ領域画像Ｏｂｊ’を示す情報の生成後、検出部８２６は、タッチ領域の重心座標を、指示体が指示する位置として検出する。検出部８２６は、検出した位置を示す位置情報ＬＩを、通信装置９０を用いてプロジェクター１０に送信する。

説明を図８に戻す。インタラクティブ処理部１２４は、位置情報ＬＩが示す位置に応じた処理を実行する。例えば、インタラクティブ処理部１２４は、図１の例示のように、位置情報ＬＩが示す位置に応じた軌跡に沿う描画画像ＧＤを示す画像情報を生成する。

画像処理部１２２は、インタラクティブ処理部１２４が生成した画像情報が示す描画画像ＧＤと、画像情報ＶＩが示す画像とを重畳した画像を示す画像情報を生成する。更に、画像処理部１２２は、生成した画像情報に対して画像処理を施して、投射面ＳＣに投射させる画像を示す画像情報を生成する。可視光投射装置１６は、描画画像ＧＤと、画像情報ＶＩが示す画像とを重畳した画像とを投射する。

１．４．位置検出システム１の動作
通常モードにおける位置検出システム１の動作を、図１８から図２１までを用いて説明する。

図１８は、位置検出システム１の動作を示すフローチャートである。ステップＳ１において、赤外光投射装置８４は、模様画像ＢＧの投射を開始する。ステップＳ１１において、模様画像ＢＧが投射された状態で、可視光投射装置１６は、画像Ｇを投射する。ステップＳ１３において、第１撮像装置１８−１が投射面ＳＣを撮像することによって、第１撮像装置１８−１は、第１画像情報Ｃ１Ｉを生成する。同様に、ステップＳ１５において、第２撮像装置１８−２は、投射面ＳＣを撮像することによって、第２画像情報Ｃ２Ｉを生成する。ステップＳ１７において、処理装置１２は、通信装置２０を用いて、第１画像情報Ｃ１Ｉと第２画像情報Ｃ２Ｉとを位置検出装置８０に送信する。

第１画像情報Ｃ１Ｉを受け付けた場合、処理装置８２は、ステップＳ２１において、第１座標変換テーブルＬＴ１を用いて、第１画像情報Ｃ１Ｉを変換する。第１画像情報Ｃ１Ｉを受け付けた場合、処理装置８２は、ステップＳ２３において、第２座標変換テーブルＬＴ２を用いて、第２画像情報Ｃ２Ｉを変換する。ステップＳ２３の処理終了後、処理装置８２は、ステップＳ２５において、変換後の第１画像情報Ｃ１Ｉ及び変換後の第２画像情報Ｃ２Ｉを用いて指示体領域特定処理を実行する。ステップＳ２５の処理が、第１特定部８２２に相当する。

図１９は、指示体領域特定処理を示すフローチャートである。指示体領域特定処理は、指示体領域を特定する処理である。処理装置８２は、ステップＳ５１において、第１模様画像情報Ｃ１−ＢＧＩと第１画像情報Ｃ１Ｉとに基づいて、第１模様撮像画像Ｃ１−ＢＧと第１画像Ｃ１との差分を表す差分画像Ｃ１’を示す情報を生成する。同様に、処理装置８２は、ステップＳ５３において、第２模様画像情報Ｃ２−ＢＧＩと第２画像情報Ｃ２Ｉとに基づいて、第２模様撮像画像Ｃ２−ＢＧと第２画像Ｃ２との差分を表す差分画像Ｃ２’を示す情報を生成する。

また、処理装置８２は、ステップＳ５５において、第１画像情報Ｃ１Ｉに基づいて、第１影領域画像Ｃ１−Ｓを示す情報を生成する。同様に、処理装置８２は、ステップＳ５７において、第２画像情報Ｃ２Ｉに基づいて、第２影領域画像Ｃ２−Ｓを示す情報を生成する。

ステップＳ５１及びステップＳ５５の処理終了後、処理装置８２は、ステップＳ５９において、差分画像Ｃ１’を示す情報と、第１影領域画像Ｃ１−Ｓを示す情報とに基づいて、第１指示体領域画像Ｃ１’’を示す情報を生成する。ステップＳ５３及びステップＳ５７の処理終了後、処理装置８２は、ステップＳ６１において、差分画像Ｃ２’を示す情報と、第２影領域画像Ｃ２−Ｓを示す情報とに基づいて、第２指示体領域画像Ｃ２’’を示す情報を生成する。

ステップＳ５９及びステップＳ６１の処理終了後、処理装置８２は、ステップＳ６３において、第１指示体領域画像Ｃ１’’を示す情報と、第２指示体領域画像Ｃ２’’を示す情報とに基づいて、指示体領域画像Ｏｂｊを示す指示体領域画像情報ＯｂｊＩを生成する。ステップＳ６３の処理終了後、処理装置８２は、図１９に示す一連の処理を終了し、ステップＳ２７の処理を実行する。

説明を図１８に戻す。処理装置８２は、ステップＳ２７において、投射面近傍領域特定処理を実行する。ステップＳ２７の処理が、第２特定部８２４に相当する。図２０を用いて、投射面近傍領域特定処理を説明する。

図２０は、投射面近傍領域特定処理を示すフローチャートである。投射面近傍領域特定処理は、投射面近傍領域を特定する処理である。処理装置８２は、ステップＳ７１において、第２画像情報Ｃ２Ｉと、第１画像情報Ｃ１Ｉとに基づいて、第２画像Ｃ２と第１画像Ｃ１との差分の絶対値を表す差分画像ＳＳを示す情報を生成する。次に、ステップＳ７３において、処理装置８２は、差分画像ＳＳを示す情報に基づいて、差分画像ＳＳのうち、輝度値が第１閾値以下である領域を表す投射面近傍画像ＳＳ’を示す投射面近傍画像情報ＳＳ’Ｉを生成する。ステップＳ７３の処理終了後、処理装置８２は、図２０に示す一連の処理を終了し、ステップＳ２９の処理を実行する。

説明を図１８に戻す。処理装置８２は、ステップＳ２９において、位置情報検出処理を実行する。ステップＳ２９の処理が、検出部８２６に相当する。図２１を用いて、位置情報検出処理を説明する。

図２１は、位置情報検出処理を示すフローチャートである。処理装置８２は、ステップＳ８１において、タッチ領域を表すタッチ領域画像Ｏｂｊ’を示す情報を生成する。次に、処理装置８２は、ステップＳ８３において、タッチ領域画像Ｏｂｊ’を示す情報に基づいて、タッチ領域の重心座標を検出し、検出した座標を示す位置情報ＬＩを生成する。ステップＳ８３の処理終了後、処理装置８２は、図２１に示す一連の処理を終了し、ステップＳ３１の処理を実行する。

説明を図１８に戻す。処理装置８２は、ステップＳ３１において、通信装置９０を用いて、位置情報ＬＩをプロジェクター１０に送信する。

位置情報ＬＩを受け付けた場合、処理装置１２は、ステップＳ４１において、位置情報ＬＩに応じた処理を実行する。次に、処理装置１２は、ステップＳ４３において、位置情報ＬＩに応じた処理によって生成された描画画像ＧＤと、画像情報ＶＩが示す画像とを重畳した画像を示す画像情報を生成する。そして、処理装置１２は、ステップＳ４５において、位置検出システム１の動作が終了するか否かを判定する。位置検出システム１の動作が終了する場合とは、例えば、プロジェクター１０が有する不図示の電源ボタンがオフに設定された場合である。位置検出システム１の動作が終了しない、言い換えれば、位置検出システム１の動作が継続する場合、処理装置１２は、処理をステップＳ１１に戻す。具体的には、ステップＳ１１において、可視光投射装置１６は、ステップＳ４３により生成した画像情報が示す画像を投射する。

位置検出システム１の動作が終了する場合、処理装置１２は、図１８に示す一連の処理を終了する。

ステップＳ３１の処理終了後、処理装置８２は、ステップＳ３３において、位置検出システム１の動作が終了するか否かを判定する。位置検出システム１の動作が終了しない場合、処理装置１２は、処理をステップＳ２１に戻す。位置検出システム１の動作が終了する場合、赤外光投射装置８４は、ステップＳ３５において、模様画像ＢＧの投射を終了する。ステップＳ３５の処理終了後、処理装置８２は、図１８に示す一連の処理を終了する。

１．４．位置検出システム１の効果
以上、実施形態における処理装置８２は、第１特定部８２２、第２特定部８２４、及び検出部８２６として機能する。第１特定部８２２は、所定模様を示す模様画像ＢＧが投射される投射面ＳＣを指示体が指示する第１状況において第１撮像装置１８−１が投射面ＳＣを撮像することによって生成される第１画像情報Ｃ１Ｉと、模様画像ＢＧに基づく第１模様画像情報Ｃ１−ＢＧＩと、に基づいて、第１画像情報Ｃ１Ｉが示す第１画像Ｃ１のうち、指示体が映る指示体領域を特定する。指示体領域は、「第１領域」の一例である。第２特定部８２４は、第１状況において第２撮像装置１８−２が投射面ＳＣを撮像することによって生成される第２画像情報Ｃ２Ｉと、第１画像情報Ｃ１Ｉと、に基づいて、第２画像情報Ｃ２Ｉが示す第２画像Ｃ２と第１画像Ｃ１との差分を表す差分画像ＳＳのうち、輝度値が第１閾値以下である投射面近傍領域を特定する。差分画像ＳＳは、「撮像差分画像」の一例である。投射面近傍領域は、「第２領域」の一例である。検出部８２６は、指示体領域と投射面近傍領域とに基づいて、投射面ＳＣのうち指示体が指示する位置を検出する。
仮に、位置検出装置８０から指示体までの距離を算出する場合、第１画像Ｃ１と第２画像Ｃ２との間で類似する箇所を検出し、対応付けを行う必要がある。しかしながら、対応付け操作において、以下に示す３つの要因によって距離の算出結果に大きな誤差が発生し、指示体が指示する位置を精度良く検出できない場合がある。第１の要因は、第１画像Ｃ１及び第２画像Ｃ２は、赤外光の画像であり、可視光の画像と比較して、類似する箇所を検出することが困難なことである。第２の要因は、指示体及び投射面ＳＣには、複雑な模様がなく、特徴が乏しいため、指示体及び投射面ＳＣを検出することが困難なことである。第３の要因として、投射面ＳＣ上に発生する支持体の影と、指示体との切り分けが困難なためである。指示体の形状と、指示体の影の形状とは、ほぼ同一の形状であり、状況によっては輝度値も近くなる。
一方、本実施形態において、投射面近傍領域には、投射面ＳＣのうち、第１撮像装置１８−１及び第２撮像装置１８−２から見て指示体等の物体によって遮られない領域と、第１撮像装置１８−１及び第２撮像装置１８−２から見て、投射面ＳＣの近傍にある指示体の一部とが含まれる。従って、指示体領域と投射面近傍領域とが互いに重なる領域は、投射面ＳＣの近傍にある指示体の一部が映る領域となる。従って、処理装置８２によれば、位置検出装置８０から指示体までの距離を算出しないので、指示体が指示する位置を精度よく検出できる。

また、第１模様画像情報Ｃ１−ＢＧＩは、投射面ＳＣと第１撮像装置１８−１との間に指示体が存在しない第２状況において第１撮像装置１８−１が投射面ＳＣを撮像することによって生成される情報である。
投射面ＳＣの形状が平面でない、又は突起物が張り付いているといった状態である場合、第１画像Ｃ１には、投射面ＳＣの状態が反映されるので、第１画像情報Ｃ１Ｉと第１模様画像情報Ｃ１−ＢＧＩとの差分には、指示体が映るか否かが反映される。一方、第１模様画像情報Ｃ１−ＢＧＩと、模様画像ＢＧそのものを示す情報である原本模様画像情報ＢＧＩとの差分は、指示体が映るか否かと、投射面ＳＣの状態とが反映される。従って、本実施形態によれば、第１模様画像情報Ｃ１−ＢＧＩと原本模様画像情報ＢＧＩとの差分を用いる場合と比較して、指示体領域の特定が正確になり、指示体が指示する位置の検出精度が向上する。

また、第１特定部８２２は、第１模様画像情報Ｃ１−ＢＧＩが示す第１模様撮像画像Ｃ１−ＢＧと第１画像Ｃ１との差分を表す差分画像Ｃ１’に基づいて、指示体領域を特定する。差分画像Ｃ１’は、「第１差分画像」の一例である。
第１模様撮像画像Ｃ１−ＢＧと第１画像Ｃ１との差分が、指示体が映るか否かである。従って、本実施形態に差分画像Ｃ１’を用いることにより指示体領域を特定できる。

第１特定部８２２は、第１画像Ｃ１のうち、所定模様を有さない領域を、指示体の影が映る第１影領域として特定し、差分画像Ｃ１’から第１影領域を除いた第１指示体領域に基づいて、指示体領域を特定する。第１指示体領域は、「第４領域」の一例である。
指示体によって投射面ＳＣに影が発生すると、指示体と指示体の影とは形状が類似しているため、指示体の影を指示体であるとして特定する可能性がある。本実施形態によれば、影の領域を除いた領域に基づいて指示体が指示する位置を検出するため、指示体が指示する位置の検出精度が向上する。

第１特定部８２２は、第２画像Ｃ２のうち、所定模様を有さない領域を、指示体の影が映る第２影領域として特定し、模様画像ＢＧに基づく第２模様画像情報Ｃ２−ＢＧＩが示す第２模様撮像画像Ｃ２−ＢＧと第２画像Ｃ２との差分を表す差分画像Ｃ２’から第２影領域を除いた第２指示体領域と、第１指示体領域とが互いに重なる領域を指示体領域として特定する。第２影領域は、第５領域の一例である。差分画像Ｃ２’は、第２差分画像の一例である。
第１撮像装置１８−１と第２撮像装置１８−２との視差によって、第１画像Ｃ１に映る指示体と、第２画像Ｃ２に映る指示体とは、投射面ＳＣからの距離に応じて、画像内の位置がずれる。指示体が指示する位置は、指示体のうち投射面ＳＣに近い部位の位置である。投射面ＳＣに近い部位は、第１画像Ｃ１と第２画像Ｃ２との間で位置が大きく変わらない。第１指示体領域と第２指示体領域とが互いに重なる領域は、指示体のうち投射面ＳＣに近い部位が映る領域とみなせる。従って、本実施形態によれば、指示体のうち投射面ＳＣに近い部位が映る領域を、指示体領域として特定する。これにより、位置検出装置８０は、指示体のうち投射面ＳＣから離れた部位が示す位置を指示体が指示する位置であると特定することを回避できるので、指示体が指示する位置の検出精度が向上する。

２．変形例
本発明の位置検出装置及び位置検出システムについて図示の実施形態に基づいて説明したが、本発明は、これらに限定されない。また、本発明の各部の構成は、前述の実施形態の同様の機能を発揮する任意の構成に置換することができ、また、任意の構成を付加することもできる。また、本発明は、前述の各実施形態の任意の構成同士を組み合わせるようにしてもよい。

２．１．第１変形例
実施形態は、プロジェクター１０と位置検出装置８０とを有する位置検出システム１であったが、これに限らない。例えば、指示体の位置を検出するプロジェクターでもよい。

図２２は、第１変形例におけるプロジェクター１０ａの構成を示す図である。プロジェクター１０ａは、処理装置１２ａと、記憶装置１４ａと、投射装置１７と、第１撮像装置１８−１と、第２撮像装置１８−２とを有する。プロジェクター１０の各要素は、情報を通信するためのバス２１で相互に接続される。

処理装置１２ａは、ＣＰＵ等のコンピューターである。なお、処理装置１２ａは、１又は複数のプロセッサーによって構成されてもよい。

記憶装置１４ａは、磁気的記憶装置又はフラッシュＲＯＭ（Read only memory）等で構成される。記憶装置１４ａは、処理装置１２ａが読取可能な記録媒体であり、処理装置１２ａが実行する制御プログラムを含む複数のプログラム、原本模様画像情報ＢＧＩ、第１模様画像情報Ｃ１−ＢＧＩ、第２模様画像情報Ｃ２−ＢＧＩ、第１座標変換テーブルＬＴ１、第２座標変換テーブルＬＴ２、及び、処理装置１２ａが使用する各種の情報などを記憶する。

投射装置１７は、可視光の画像と赤外光の画像とを重畳して投射面ＳＣに投射可能である。

図２３は、プロジェクター１０ａの機能を示す図である。処理装置１２ａは、記憶装置１４ａから制御プログラムを読み出し、この制御プログラムを実行することによって、画像処理部１２２、インタラクティブ処理部１２４、撮像処理部１２６、第１特定部８２２、第２特定部８２４、及び、検出部８２６として機能する。

通常モードにおいて、投射装置１７は、パーソナルコンピューターから受信した画像情報ＶＩに対して画像処理を施した画像Ｇを可視光の画像として投射し、模様画像ＢＧを赤外光の画像として投射する。

以上、第１変形例において、プロジェクター１０ａは、所定模様を示す模様画像ＢＧを、投射面ＳＣに投射する投射装置１７と、投射面ＳＣを撮像する第１撮像装置１８−１と、投射面ＳＣを撮像する第２撮像装置１８−２と、処理装置１２ａとを備える。処理装置１２ａは、第１特定部８２２と、第２特定部８２４と、検出部８２６として機能する。第１変形例によれば、プロジェクター１０ａから指示体までの距離を算出しないので、指示体が指示する位置を精度よく検出できる。

２．２．第２変形例
実施形態において、プロジェクター１０が、第１撮像装置１８−１と第２撮像装置１８−２とを有したが、これに限らず、位置検出装置８０が、第１撮像装置１８−１と第２撮像装置１８−２とを有してもよい。

２．３．第３変形例
実施形態、第１変形例、及び、第２変形例において、キャリブレーションモードで第１模様画像情報Ｃ１−ＢＧＩ及び第２模様画像情報Ｃ２−ＢＧＩを生成したが、通常モードで第１模様画像情報Ｃ１−ＢＧＩ及び第２模様画像情報Ｃ２−ＢＧＩを更新してもよい。プロジェクター１０は、第１画像情報Ｃ１Ｉ、及び、第２画像情報Ｃ２Ｉを繰り返し生成する。一定期間、生成した第１画像情報Ｃ１Ｉが示す第１画像Ｃ１、及び、第２画像情報Ｃ２Ｉが示す第２画像Ｃ２に変化がない場合、処理装置８２は、この変化がない第１画像Ｃ１を示す第１画像情報Ｃ１Ｉを第１模様画像情報Ｃ１−ＢＧＩに設定し、第２画像Ｃ２を示す第２画像情報Ｃ２Ｉを第２模様画像情報Ｃ２−ＢＧＩに設定する。

第３変形例によれば、投射面ＳＣの状態が変化した場合に、この変化した状態を第１模様画像情報Ｃ１−ＢＧＩ及び第２模様画像情報Ｃ２−ＢＧＩに反映できるので、指示体領域の特定が正確になり、指示体が指示する位置の検出精度が向上する。投射面ＳＣの状態が変化する態様は、例えば、以下に示す２つの態様がある。第１の態様は、投射面ＳＣに張り付けられた突起物が追加される、突起物が移動される、又は、突起物が除去されることである。第２の態様は、太陽光に含まれる赤外光により、投射面ＳＣに投射される模様画像ＢＧが変化することである。

２．４．第４変形例
上述の形態において、第１模様画像情報Ｃ１−ＢＧＩは、投射面ＳＣと第１撮像装置１８−１との間に指示体が存在しない第２状況において第１撮像装置１８−１が投射面ＳＣを撮像することによって生成される情報であったが、これに限らない。例えば、第１模様画像情報Ｃ１−ＢＧＩは、模様画像ＢＧであってもよい。但し、実施形態で説明したように、実施形態は第４変形例と比較して、指示体が指示する位置の検出精度が向上する。

２．５．第５変形例
上述の形態において、第１特定部８２２は、差分画像Ｃ１’が表す第１差分領域から第１影領域を除いた第１指示体領域に基づいて、指示体領域を特定するが、これに限らない。例えば、第１特定部８２２は、差分画像Ｃ１’が表す第１差分領域と、差分画像Ｃ２’が表す第２差分領域とが互いに重なる領域を、指示体領域として特定してもよい。但し、実施形態に記載したように、実施形態は第５変形例と比較して、指示体が指示する位置の検出精度が向上する。

２．６．第６変形例
上述の形態において、第１特定部８２２は、第２指示体領域と、第１指示体領域とが互いに重なる領域を指示体領域として特定するが、これに限らない。例えば、第１特定部８２２は、第１指示体領域を指示体領域として特定してもよい。言い換えれば、第１特定部８８２は、第１画像情報Ｃ１Ｉと、第１模様画像情報Ｃ１−ＢＧＩとに基づいて指示体領域を特定してもよい。但し、実施形態に記載したように、実施形態は第６変形例と比較して、指示体が指示する位置の検出精度が向上する。

２．７．第７変形例
実施形態における可視光投射装置１６では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。

２．８．第８変形例
処理装置１２及び処理装置８２がプログラムを実行することによって実現される要素の全部又は一部は、例えばＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。

２．９．第９変形例
上述の各形態は、上述の処理装置８２を、第１特定部８２２、第２特定部８２４、及び検出部８２６として機能させるように構成されたコンピュータプログラム又は当該コンピュータプログラムを記録したコンピューター読み取り可能な記録媒体として捉えることもできる。記録媒体は例えば非一過性の記録媒体であり、ＣＤ−ＲＯＭ等の光学式記録媒体の他、半導体記録媒体や磁気記録媒体等の公知の任意の記録媒体を含み得る。また、本開示は上述した各態様にかかる位置検出方法としても特定される。

１…位置検出システム、１０，１０ａ…プロジェクター、１６…可視光投射装置、１７…投射装置、１８−１…第１撮像装置、１８−２…第２撮像装置、８２２２…差分領域特定部、８２２４…影領域特定部、８２２６…指示体領域特定部、ＢＧ…模様画像、Ｃ１…第１画像、Ｃ１’…差分画像、Ｃ１−ＢＧＩ…第１模様画像情報、Ｃ１−Ｓ…第１影領域画像、Ｃ２…第２画像、Ｃ２’…差分画像、Ｃ２−ＢＧＩ…第２模様画像情報、Ｃ２−Ｓ…第２影領域画像Ｏｂｊ…指示体領域画像、Ｏｂｊ’…タッチ領域画像、ＳＣ…投射面、ＳＨ…影、ＳＳ…差分画像、ＳＳ’…投射面近傍画像、Ｕ…ユーザー。

Claims (7)

1. 位置検出装置が実行する位置検出方法であって、
   所定模様を示す模様画像が投射される投射面を指示体が指示する第１状況において第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定し、
   前記第１状況において第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定し、
   前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する、
   位置検出方法。
2. 前記第１模様画像情報は、前記投射面と前記第１撮像装置との間に前記指示体が存在しない第２状況において前記第１撮像装置が前記投射面を撮像することによって生成される情報である、
   請求項１に記載の位置検出方法。
3. 前記第１模様画像情報が示す画像と前記第１画像との差分を表す第１差分画像に基づいて、前記第１領域を特定する、
   請求項１又は２に記載の位置検出方法。
4. 前記第１画像のうち、前記所定模様を有さない領域を、前記指示体の影が映る第３領域として特定し、
   前記第１差分画像から前記第３領域を除いた第４領域に基づいて、前記第１領域を特定する、
   請求項３に記載の位置検出方法。
5. 前記第２画像のうち、前記所定模様を有さない領域を、前記指示体の影が映る第５領域として特定し、
   前記模様画像に基づく第２模様画像情報が示す画像と前記第２画像との差分を表す第２差分画像から前記第５領域を除いた第６領域と、前記第４領域とが互いに重なる領域を、前記第１領域として特定する、
   請求項４に記載の位置検出方法。
6. 所定模様を示す模様画像が投射される投射面を指示体が指示する第１状況において第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定する第１特定部と、
   前記第１状況において第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定する第２特定部と、
   前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する検出部と、
   を備える位置検出装置。
7. 所定模様を示す模様画像を、投射面に投射する投射装置と、
   前記投射面を撮像する第１撮像装置と、
   前記投射面を撮像する第２撮像装置と、
   処理装置と、を備え、
   前記処理装置は、
   前記模様画像が投射される前記投射面を指示体が指示する第１状況において前記第１撮像装置が前記投射面を撮像することによって生成される第１画像情報と、前記模様画像に基づく第１模様画像情報と、に基づいて、前記第１画像情報が示す第１画像のうち、前記指示体が映る第１領域を特定する第１特定部と、
   前記第１状況において前記第２撮像装置が前記投射面を撮像することによって生成される第２画像情報と、前記第１画像情報と、に基づいて、前記第２画像情報が示す第２画像と前記第１画像との差分を表す撮像差分画像のうち、輝度値が第１閾値以下である第２領域を特定する第２特定部と、
   前記第１領域と前記第２領域とに基づいて、前記投射面のうち前記指示体が指示する位置を検出する検出部と、
   を備えるプロジェクター。

Images