JP2011227600A

JP2011227600A - 位置検出システム及びその制御方法、並びにプログラム

Info

Publication number: JP2011227600A
Application number: JP2010094771A
Authority: JP
Inventors: Shinji Sakurai; 慎二櫻井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2010-04-16
Filing date: 2010-04-16
Publication date: 2011-11-10
Anticipated expiration: 2030-04-16
Also published as: JP5593802B2

Abstract

【課題】周辺の状況等に応じて適切なキャリブレーションを行うことが可能な位置検出システム及びその制御方法、並びにプログラムを提供する。
【解決手段】制御装置１０は、投写面Ｓに第１キャリブレーション画像を投写させる。そして、投写された第１キャリブレーション画像を撮像装置３で撮像した撮像画像等に基づいて、オートキャリブレーションに適した状態であるか否かを判断する。オートキャリブレーションに適した状態であると判断した場合には、制御装置１０は、ユーザーによる押圧操作が不要なオートキャリブレーションを実施する。一方、オートキャリブレーションに適した状態ではないと判断した場合には、制御装置１０は、投写面Ｓに第２キャリブレーション画像を投写させ、マニュアルキャリブレーションを実施する。具体的には、制御装置１０は、第２キャリブレーション画像上の複数の位置で発光ペン４による押圧操作をユーザーに行わせる。
【選択図】図１

Description

本発明は、プロジェクターから投写された画像内において所定の操作がなされた位置を検出するための位置検出システム及びその制御方法、並びにプログラムに関する。

近年、コンピューターから出力される画像を、プロジェクターによってホワイトボード等に投写するとともに、投写された画像（投写画像）を撮像装置（カメラ）で撮像して、投写画像に対して行ったユーザーの操作をコンピューターで認識するシステムが提案されている（例えば、特許文献１参照）。このようなシステムでは、例えば、ペン先から赤外光を発する発光ペンやレーザーポインター等を用いてユーザーが投写画像の任意の位置をポイント（指示）すると、撮像装置によって撮像された画像（撮像画像）に基づいて、ポイントされた位置が検出される。そして、コンピューターが、検出された位置にカーソルやポインターを移動させたり、その位置でクリックがなされたものとみなしたりすることにより、ユーザーは、投写画像に対してタッチパネルのような操作感覚で操作を行うことが可能となる。

上記のようなシステムで正確な操作を実現するためには、プロジェクター及び撮像装置を設置した後に、投写画像と撮像画像との位置の対応付けを行うための手続き（キャリブレーション）を実施する必要がある。特に、必要な場所に持ち運んで使用する可搬型の位置検出システムの場合には、場所を変える度にキャリブレーションを実施しなければならない。特許文献１に記載のシステムでは、プロジェクターから所定のパターン（チェッカーパターン等）の画像を投写して、この画像を撮像装置で撮像してキャリブレーション（アラインメント）を実施している。また、撮像装置で投写画像を撮像しつつ投写画像内の所定の位置をユーザーにポイントさせてキャリブレーションを実施する態様も知られている。

特開２００５−３５３０７１号公報

しかしながら、プロジェクターから投写された所定のパターンの画像を撮像してキャリブレーションを行う態様では、周辺の環境等がキャリブレーションに影響を与えてしまう場合がある。例えば、周囲が明るい環境下では、投写画像のコントラストが低下してしまうため、撮像装置が投写画像を鮮明に撮像することができず、キャリブレーションに長い時間を要したり、位置精度が低下してしまったりする場合がある。一方、投写画像内の所定の位置をユーザーにポイントさせる態様では、赤外光やレーザー光を認識できればよいため、投写画像を鮮明に撮像できる必要はなく、周辺環境の影響を受けにくい。しかしながら、高い位置精度でキャリブレーションを行うためには、多くの位置をユーザーにポイントさせる必要があり、ユーザーに煩雑な作業を強いてしまうことになる。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る位置検出システムは、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムであって、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施する制御装置を備え、前記制御装置は、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。

この位置検出システムによれば、第１のキャリブレーションと、第２のキャリブレーションとを、制御装置が選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。

［適用例２］上記適用例に係る位置検出システムにおいて、前記制御装置は、前記キャリブレーションに適した状況であるか否かを判断し、前記キャリブレーションに適した状況である場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。

この位置検出システムによれば、制御装置は、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。

［適用例３］上記適用例に係る位置検出システムにおいて、前記制御装置は、前記第１のキャリブレーションに適した状況であるか否かを判断し、前記第１のキャリブレーションに適した状況である場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況でない場合には、前記第２のキャリブレーションを実施することが望ましい。

この位置検出システムによれば、制御装置は、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。

［適用例４］本適用例に係る位置検出システムの制御方法は、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムの制御方法であって、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを備え、前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。

この位置検出システムの制御方法によれば、第１のキャリブレーションと、第２のキャリブレーションとを選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。

［適用例５］上記適用例に係る位置検出システムの制御方法において、前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに備え、前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。

この位置検出システムの制御方法によれば、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。

［適用例６］上記適用例に係る位置検出システムの制御方法において、前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに備え、前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することが望ましい。

この位置検出システムの制御方法によれば、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。

［適用例７］本適用例に係るプログラムは、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出するコンピューターと、を有する位置検出システムの前記コンピューターに、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを実行させるプログラムであって、前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。

このプログラムによれば、第１のキャリブレーションと、第２のキャリブレーションとを選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。

［適用例８］上記適用例に係るプログラムにおいて、前記コンピューターに、前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに実行させ、前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。

このプログラムによれば、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。

［適用例９］上記適用例に係るプログラムにおいて、前記コンピューターに、前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに実行させ、前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することが望ましい。

このプログラムによれば、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。

位置検出システムの概略構成を示す構成図。キャリブレーションを行う際のコンピューターの動作を説明するフローチャート。オートキャリブレーション用の第１キャリブレーション画像を示す図。マニュアルキャリブレーション用の第２キャリブレーション画像を示す図。

以下、本実施形態の位置検出システムについて、図面を参照して説明する。
図１は、位置検出システムの概略構成を示す構成図である。
位置検出システム１００は、プロジェクターから投写された画像内において所定の操作がなされた位置を検出するためのシステムであり、図１に示すように、コンピューター１と、プロジェクター２と、撮像装置３と、発光ペン４とを備えて構成されている。

コンピューター１は、ＣＰＵ（Central Processing Unit）１０ａやＲＡＭ（Random Access Memory）１０ｂ等からなる制御装置１０、ハードディスクドライブやフラッシュメモリー等の記憶装置１１、液晶ディスプレイ等の表示装置１２、キーボード等の入力装置１３、マウスやタッチパッド等のポインティングデバイス１４を備えている。コンピューター１としては、例えば、ノート型のパーソナルコンピューターを用いることが可能であり、この場合には、コンピューター１は、表示装置１２、入力装置１３、及びポインティングデバイス１４を一体的に備えて構成される。

制御装置１０は、記憶装置１１に記憶されているＯＳ（Operating System）やアプリケーションプログラム等に従って動作し、入力装置１３等を用いてなされるユーザーの指示に応じて様々な処理を行い、処理結果等を表示装置１２に表示させる。ここで、本実施形態のコンピューター１に採用されているＯＳは、ＧＵＩ（Graphical User Interface）を備えたものであり、ユーザーは、表示装置１２に表示されるポインター（図示せず）を、ポインティングデバイス１４を用いて操作することによってコンピューター１に各種指示を与えることもできる。また、コンピューター１は、表示装置１２に表示される画像の画像情報を外部にも出力可能になっており、本実施形態では、プロジェクター２に画像情報を出力する。

プロジェクター２は、光源（図示せず）、及び光源から射出された光を変調して画像を形成する画像形成装置（図示せず）等を有しており、形成した画像を投写レンズ２ａによって外部に投写する。プロジェクター２は、コンピューター１から入力される画像情報に基づいて、この画像情報に基づく画像、即ちコンピューター１の表示装置１２に表示されている画像を形成し、ホワイトボードや壁面、スクリーン等の表面（以降、「投写面Ｓ」とも呼ぶ。）に拡大して投写する。プロジェクター２は、所定の投写面Ｓに画像が投写されるように配置される。

撮像装置３は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ３ａを備えている。撮像装置３は、プロジェクター２の近傍に配置され、投写面Ｓに投写された画像（以降、「投写画像」とも呼ぶ。）を含む範囲を所定のフレームレートで撮像する。そして、撮像装置３は、撮像した画像（以降、「撮像画像」とも呼ぶ。）を表す画像情報を順次生成し、コンピューター１に出力する。

発光ペン４は、ペン状の本体の先端部（ペン先）に、押圧スイッチと、赤外光を発する発光ダイオードとを備えている。そして、ユーザーが発光ペン４のペン先を投写面Ｓに押し付ける操作（押圧操作）を行って、押圧スイッチを押圧すると、発光ダイオードが発光するようになっている。

コンピューター１の記憶装置１１には、発光ペン４をポインティングデバイス１４のように利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、制御装置１０は、撮像装置３から入力される画像情報に基づいて、投写画像内で発光ペン４が発光したか否かを判別する。そして、発光があった場合には、発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する。制御装置１０は、発光した位置を検出すると、この位置でポインティングデバイス１４によるクリック操作がなされた場合と同一の処理を行う。つまり、ユーザーは、投写画像内において発光ペン４で押圧操作を行うことにより、コンピューター１に対して、ポインティングデバイス１４で行う指示と同一の指示を行うことができる。

このような位置検出システム１００において、撮像画像内における投写画像の位置や形状は、プロジェクター２と撮像装置３の位置関係が変わる度に変化する。このため、投写画像内において押圧操作がなされた位置を正確に検出するためには、プロジェクター２及び撮像装置３を設置した後に、投写画像と撮像画像との間で位置の対応付けを行うための手続き（キャリブレーション）を実施する必要がある。そして、制御装置１０が、このキャリブレーションの結果に基づいて、検出した位置を補正することにより、正確な位置検出が可能となる。記憶装置１１には、キャリブレーションを行うためのプログラム（キャリブレーションプログラム）が記憶されており、ユーザーは、コンピューター１にこのプログラムの起動を指示することにより、位置検出システム１００のキャリブレーションを行うことができる。ここで、本実施形態のキャリブレーションプログラムは、ユーザーの操作に基づいてキャリブレーションを行うマニュアルキャリブレーションと、ユーザーの操作が不要で撮像装置３の撮像結果に基づいてキャリブレーションを行うオートキャリブレーションの２つの方法でキャリブレーションを行うことが可能になっており、制御装置１０は、いずれか１つのキャリブレーションを選択的に実施する。

図２は、キャリブレーションを行う際のコンピューター１の動作を説明するフローチャートである。ユーザーの指示に応じてキャリブレーションプログラムが起動すると、コンピューター１の制御装置１０は、図２に示すフローに従って動作する。また、図３及び図４は、キャリブレーションを行う際に表示される画像を示す図であり、図３は、オートキャリブレーション用の第１キャリブレーション画像を示す図、図４は、マニュアルキャリブレーション用の第２キャリブレーション画像を示す図である。なお、第１キャリブレーション画像及び第２キャリブレーション画像は、キャリブレーションプログラム内に画像情報として包含されている。

図２に示すように、まず、ステップＳ１０１では、制御装置１０は、撮像装置３の撮像画像を、動画像として表示装置１２及び投写面Ｓに表示する。具体的には、制御装置１０は、撮像装置３から順次入力される画像情報に基づいて、表示装置１２に撮像画像を表示させるための画像情報を順次生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに撮像画像をモニター表示させる。ユーザーは、この撮像画像を見ながら、投写画像の全体が撮像画像（撮像範囲）に含まれるように、プロジェクター２及び撮像装置３の設置状態（位置や向き）を調整することができる。そして、ユーザーは、入力装置１３に対して所定の操作を行うことにより、設置状態の調整が完了した旨をコンピューター１に通知することができる。

ステップＳ１０２では、制御装置１０は、上記の所定の操作、即ち設置状態の調整が完了したことを示す操作が入力装置１３に対して行われたか否かを判断する。そして、この所定の操作が行われた場合にはステップＳ１０３に移行し、行われていない場合には本ステップを繰り返す。

ステップＳ１０３では、制御装置１０は、第１キャリブレーション画像Ｃ１（図３参照）を表示装置１２に表示するための画像情報を生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに第１キャリブレーション画像Ｃ１を表示（投写）させる。そして、投写面Ｓに投写された第１キャリブレーション画像Ｃ１は、撮像装置３によって撮像される。図３に示すように、第１キャリブレーション画像Ｃ１としては、例えば、矩形の明色部Ｂと矩形の暗色部Ｄとが上下左右に交互に配列された市松模様（チェッカーパターン）を含む画像を採用することができる。

ステップＳ１０４では、制御装置１０は、位置検出システム１００の各種状況（周辺環境、設置状況、動作状況等）がキャリブレーション（オートキャリブレーション又はマニュアルキャリブレーション）に適した状況であるか否かを判断する。例えば、プロジェクター２と投写面Ｓとの間、又は撮像装置３と投写面Ｓとの間に障害物がある場合や、設置状態の不備により撮像装置３が投写画像（第１キャリブレーション画像Ｃ１）の全体を撮像できるように設置されていない場合、或いは第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像（例えば、日本語入力システムのタスクバー等）が重畳されている場合等には、正確なキャリブレーションができない恐れがある。制御装置１０は、撮像装置３から入力される撮像画像、即ち第１キャリブレーション画像Ｃ１を撮像した撮像画像を分析する。そして、例えば、撮像画像に含まれる暗色部Ｄと明色部Ｂの数等に基づいて、設置状態の不備や障害物の有無を判断する。また、制御装置１０は、例えば、ＯＳが管理する表示装置１２の表示状態に基づいて、第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されているか否かを判断する。そして、制御装置１０は、キャリブレーションに適した状況であると判断した場合、即ち設置状態の不備や障害物がなく、第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されていない場合には、ステップＳ１０７に移行する。一方、キャリブレーションに適した状況ではないと判断した場合、即ち、設置状態の不備や障害物がある場合、或いは第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されている場合には、ステップＳ１０５に移行する。

キャリブレーションに適した状況ではないと判断してステップＳ１０５に移行した場合には、制御装置１０は、キャリブレーションができない旨を報知するエラーメッセージ（図示せず）を表示装置１２及び投写面Ｓに表示させる。ユーザーは、このエラーメッセージが表示されると、キャリブレーションができない原因を解消した後で、入力装置１３に対して所定の操作を行うことにより、再度キャリブレーションを試みることができる。

ステップＳ１０６では、制御装置１０は、上記の所定の操作が入力装置１３に対して行われたか否かを判断する。そして、この所定の操作が行われた場合にはステップＳ１０４に戻り、キャリブレーションに適した状況であるか否かを再度判断する。一方、所定の操作が行われていない場合には本ステップを繰り返す。

ステップＳ１０４においてキャリブレーションに適した状況であると判断してステップＳ１０７に移行した場合には、制御装置１０は、位置検出システム１００の各種状況が、オートキャリブレーションに適した状況であるか否かを判断する。例えば、周囲が非常に明るい環境下では、第１キャリブレーション画像Ｃ１のコントラストが低下するため、オートキャリブレーションでは正確なキャリブレーションができない恐れがある。また、投写面Ｓ上にホットスポット（局所的に反射率が著しく高くなる部位）が生じている場合等にも、正確なキャリブレーションができない恐れがある。制御装置１０は、撮像装置３から入力される撮像画像、即ち第１キャリブレーション画像Ｃ１を撮像した撮像画像を分析し、オートキャリブレーションに適した状況であるか否かを判断する。そして、オートキャリブレーションに適した状況であると判断した場合にはステップＳ１０８に移行する。一方、オートキャリブレーションに適した状況ではないと判断した場合にはステップＳ１１０に移行する。

オートキャリブレーションに適した状況であると判断してステップＳ１０８に移行した場合には、制御装置１０は、オートキャリブレーションを実施する。オートキャリブレーションは、撮像装置３が投写面Ｓに投写された第１キャリブレーション画像Ｃ１を撮像して生成する撮像画像に基づいて行うキャリブレーションであり、例えば、制御装置１０は、撮像装置３が撮像した第１キャリブレーション画像Ｃ１内の多数の交点（暗色部Ｄ同士が接する位置）の座標を導出する。一方、本来の第１キャリブレーション画像Ｃ１における各交点の座標は、プログラム内に予め登録されており、制御装置１０は、双方の座標の対応関係に基づいて、撮像画像上の位置から投写画像上の位置を特定するための補正情報を導く。

ステップＳ１０９では、制御装置１０は、キャリブレーション結果、即ち導出した補正情報を記憶装置１１に記憶してフローを終了する。そして、これ以降、制御装置１０は、発光ペン４が発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する際には、新たに導出した補正情報に基づいて位置補正を行う。

一方、ステップＳ１０７においてオートキャリブレーションに適した状況ではないと判断してステップＳ１１０に移行した場合には、制御装置１０は、第２キャリブレーション画像Ｃ２（図４参照）を表示装置１２に表示するための画像情報を生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに第２キャリブレーション画像Ｃ２を表示させる。

そして、ステップＳ１１１では、制御装置１０は、マニュアルキャリブレーションを実施する。図４に示すように、第２キャリブレーション画像Ｃ２は、複数の位置に所定のマークＭが付された画像であり、制御装置１０は、この第２キャリブレーション画像Ｃ２を投写面Ｓに表示することにより、マークＭが付された複数の位置で発光ペン４による押圧操作をユーザーに行わせる。そして、投写面Ｓに表示された第２キャリブレーション画像Ｃ２上で行うユーザーの押圧操作は、撮像装置３によって撮像される。マニュアルキャリブレーションは、撮像装置３がユーザーの押圧操作を撮像して生成する撮像画像に基づいて行うキャリブレーションであり、具体的には、制御装置１０は、撮像装置３が撮像した撮像画像内で発光ペン４が発光した位置、即ち各マークＭに対応する位置の座標を導出する。一方、本来の第２キャリブレーション画像Ｃ２における複数のマークＭの位置の座標は、プログラム内に予め登録されており、制御装置１０は、双方の座標の対応関係に基づいて、撮像画像上の位置から投写画像上の位置を特定するための補正情報を導く。なお、マニュアルキャリブレーションでは、発光ペン４が発光する赤外光を撮像できればよく、第２キャリブレーション画像Ｃ２（マークＭ）を鮮明に撮像する必要がないため、比較的周囲が明るい環境下であっても適正なキャリブレーションを行うことができる。

その後、制御装置１０は、ステップＳ１０９に移行して、キャリブレーション結果、即ち導出した補正情報を記憶装置１１に記憶してフローを終了する。そして、これ以降、制御装置１０は、発光ペン４が発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する際には、新たに導出した補正情報に基づいて位置補正を行う。

以上説明したように、本実施形態の位置検出システム１００によれば、以下の効果を得ることが可能となる。

（１）本実施形態の位置検出システム１００によれば、制御装置１０は、オートキャリブレーション及びマニュアルキャリブレーションの一方を選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。

（２）本実施形態の位置検出システム１００によれば、制御装置１０は、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。

（３）本実施形態の位置検出システム１００によれば、制御装置１０は、オートキャリブレーションに適した状況である場合には、オートキャリブレーションを実施し、オートキャリブレーションに適した状況でない場合には、マニュアルキャリブレーションを実施する。つまり、オートキャリブレーションに適した状況では、ユーザーが操作を行う必要があるマニュアルキャリブレーションを行わないため、ユーザーの利便性が向上する。また、オートキャリブレーションに適した状況ではない場合であっても、マニュアルキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。

なお、本実施形態では、コンピューター１の制御装置１０が検出装置及び制御装置の双方に相当する。また、オートキャリブレーションが第１のキャリブレーションに相当し、マニュアルキャリブレーションが第２のキャリブレーションに相当する。また、第１キャリブレーション画像Ｃ１が第１の画像に相当し、第２キャリブレーション画像Ｃ２が第２の画像に相当する。また、ステップＳ１０８及びステップＳ１１１がキャリブレーションステップに相当し、ステップＳ１０４が第１の判断ステップに相当し、ステップＳ１０７が第２の判断ステップに相当する。

（変形例）
上記実施形態は、以下のように変更してもよい。

上記実施形態において、第１キャリブレーション画像Ｃ１及び第２キャリブレーション画像Ｃ２は、それぞれ図３及び図４に示した画像に限定されず、様々なパターンの画像を採用することができる。

上記実施形態では、投写画像に対して、赤外光を発光する発光ペン４を用いて操作を行う態様を示したが、この態様に限定されず、例えば、レーザーポインターで操作を行う態様としてもよい。

上記実施形態では、コンピューター１が、ノート型のパーソナルコンピューターの場合を示したが、コンピューター１は、ノート型のパーソナルコンピューターに限定されない。例えば、デスクトップ型のパーソナルコンピューターのように、表示装置１２、入力装置１３、ポインティングデバイス１４の全部又は一部が外付けで接続される構成のコンピューターであってもよいし、ＰＤＡ（Personal Digital Assistant）等の携帯型情報機器であってもよい。また、コンピューター１は、少なくとも制御装置１０を備えた構成であればよく、記憶装置１１、表示装置１２、入力装置１３及びポインティングデバイス１４は、必ずしも必須ではない。

１…コンピューター、２…プロジェクター、２ａ…投写レンズ、３…撮像装置、３ａ…撮像レンズ、４…発光ペン、１０…制御装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１１…記憶装置、１２…表示装置、１３…入力装置、１４…ポインティングデバイス、１００…位置検出システム、Ｃ１…第１キャリブレーション画像、Ｃ２…第２キャリブレーション画像、Ｂ…明色部、Ｄ…暗色部、Ｍ…マーク、Ｓ…投写面。

Claims

画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムであって、
前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施する制御装置を備え、
前記制御装置は、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする位置検出システム。
請求項１に記載の位置検出システムであって、
前記制御装置は、前記キャリブレーションに適した状況であるか否かを判断し、前記キャリブレーションに適した状況である場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とする位置検出システム。
請求項１又は２に記載の位置検出システムであって、
前記制御装置は、前記第１のキャリブレーションに適した状況であるか否かを判断し、前記第１のキャリブレーションに適した状況である場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況でない場合には、前記第２のキャリブレーションを実施することを特徴とする位置検出システム。
画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムの制御方法であって、
前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを備え、
前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする位置検出システムの制御方法。
請求項４に記載の位置検出システムの制御方法であって、
前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに備え、
前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とする位置検出システムの制御方法。
請求項４又は５に記載の位置検出システムの制御方法であって、
前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに備え、
前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することを特徴とする位置検出システムの制御方法。
画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出するコンピューターと、を有する位置検出システムの前記コンピューターに、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを実行させるプログラムであって、
前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とするプログラム。
請求項７に記載のプログラムであって、
前記コンピューターに、前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに実行させ、
前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とするプログラム。
請求項７又は８に記載のプログラムであって、
前記コンピューターに、前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに実行させ、
前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することを特徴とするプログラム。