JP2008107886A - 情報表示システム、及び、ポインティング制御方法 - Google Patents

Abstract

【課題】ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションする。
【解決手段】スクリーン４に画像を投写して投写像を表示するプロジェクタ３と、前記スクリーン４上の箇所を指し示すためのポインティングデバイス５とを有し、前記ポインティングデバイス５の角度変化量に基づいて、前記ポインティングデバイス５が指し示す位置にポインタ６を表示するプレゼンテーションシステム１であって、前記スクリーン４上に少なくとも３点Ｐ１、Ｐ２、Ｐ３を表示すると共に、前記ポインティングデバイス５によって前記３点Ｐ１、Ｐ２、Ｐ３を撮像し、撮像された３点の各々の座標値に基づいて、前記ポインティングデバイス５の角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行う。
【選択図】図１２

Description

本発明は、スクリーンに画像を投写すると共に、ポインティングデバイスが指し示す箇所にポインティングマークを表示する情報表示システム、及び、ポインティングマークの表示位置を制御するポインティング制御方法に関する。

一般に、プレゼンテーション等では、プロジェクタがスクリーンに投写した投写像上の任意の箇所を指し示すために、レーザポインタや指示棒が用いられている。近年では、レーザポインタや指示棒の代わりに、投写像を指し示す位置（以下、「ポインティング位置」と言う）を検出するためのセンサを内蔵したポインティングデバイスを用い、このポインティングデバイスの検出値に基づいて、プロジェクタがポインティング位置にポインティングマークを表示するプレゼンテーションシステムが知られている。

この種のプレゼンテーションシステムでは、ポインティングデバイスのポインティング位置と、ポインティングマークが表示される位置との間にズレが生じることがある。そこで、スクリーンに投写された投写像の４隅位置を順次ポインティングデバイスで指し示し、そのときのセンサの検出値を登録してポインティングデバイスのポインティング位置をキャリブレーションする技術が提案されている（例えば、特許文献１参照）。
また、テレビ画面に表示された多数の操作ボタンをリモコンで選択・操作可能にした技術が知られており、この技術においては、角度及び位置を検出する磁気センサをリモコンに設け、この磁気センサからの検出角度及び検出位置に基づいて、テレビ画面上におけるリモコンのポインティング位置を２次元座標値として算出している（例えば、特許文献２参照）。
また、リモコンに撮像手段を内蔵し、スクリーンを撮像して、リモコンが指し示した画面上の位置を算出する技術も知られており、スクリーンの４隅を用いてキャリブレーションを行う方法が提案されている（例えば、特許文献３参照）。
特開２００４−３１０５２７号公報 特開２０００−２７０２３７号公報 特開２００３−２０８２６０号公報

しかしながら、従来のプレゼンテーションシステムにおいては、ポインティング位置のキャリブレーションの際に、少なくとも投写像の４隅位置の全てを登録するため、少なくとも４回の登録操作が必要となりキャリブレーション操作が面倒である。さらに、各隅位置を登録する際にはポインティングデバイスの角度移動量が大きくなるためキャリブレーション操作がやり難い。

一方、テレビ画面上の操作ボタンをリモコンで操作可能にした技術においては、リモコンが指し示すテレビ画面上の２次元座標を算出する際に、リモコンの角度だけでなく位置を検出する必要があるためセンサの構成が複雑になり、さらに、テレビ画面を指し示す技術であるため、プロジェクタのような比較的大画面のスクリーンに対して斜め横方向から指し示すといった使い方が想定されておらず使い勝手が悪い。
また、撮像手段を常時用いると、消費電力が多く、リモコンの電池がすぐに消耗するという問題と、プロジェクタのような大画面の場合、スクリーンの４隅を撮像するためには広角のレンズを使用するため、キャリブレーションの精度が悪いという問題がある。

本発明は、上述した事情に鑑みてなされたものであり、ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションすることのできる情報表示システム、及び、ポインティング制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、前記ポインティングデバイスに撮像手段を更に設け、前記スクリーン上に少なくとも３点を表示し、前記ポインティングデバイスの撮像手段によって撮像された前記３点の各々の座標値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする情報表示システムを提供する。

また上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスの角度変化量に基づいて、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、前記スクリーン上に少なくとも３点を表示すると共に、前記ポインティングデバイスによって前記３点を撮像し、撮像された３点の各々の座標値に基づいて、前記ポインティングデバイスを移動させたときの角度変化量と、前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする。
なお、本発明に係るポインティング制御方法をプログラムとして構成し電子機器に当該方法を実施させることが可能であり、また、このようなプログラムをコンピュータ読取可能な記録媒体に記録して実施することも可能である。

本発明によれば、スクリーン上に表示される少なくとも３点をポインティングデバイスで撮像するだけで、キャリブレーション操作が完了するため、投写像の４隅の各点を指し示す必要のある従来のキャリブレーション操作に比べて操作回数が減り、キャリブレーション操作が容易となる。
また、ポインティングデバイスが備える撮像手段が使用されるのはキャリブレーションの期間中だけであり、また、通常使用時は、ポインティングデバイスの角度変化量を検出するための角度変化量検出手段だけを使用するため、常時、撮像手段によりスクリーンを撮像する方法に比べて、ポインティングデバイスの消費電力を大幅に減らすことができる。

ここで、上記発明において、前記ポインティングデバイスが指し示す方向を１つの軸とした第１の直交３次元座標系の各軸周りの回転角度を前記角度変化量として検出するように前記角度変化量検出手段を構成し、前記ポインティングデバイスの撮像手段によって得られる撮像画像の座標系を前記ポインティングデバイスが指し示す方向に垂直な面と一致するように前記ポインティングデバイスの撮像手段を構成すると共に、前記キャリブレーション時には、前記ポインティングデバイスの撮像手段によって撮像された前記３点の各々の座標値に基づいて、前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１の直交３次元座標系との相対的な位置関係を規定するパラメータを特定する構成としても良い。

この構成によれば、スクリーン上に表示された３点を撮像し、この撮像により得られた３点のぞれぞれの座標値により、第２の直交３次元座標系と、前記第１の直交３次元座標系との相対的な位置関係を規定するパラメータ、すなわち、スクリーンに対するポインティングデバイスの姿勢を示すパラメータ（例えば、以下に説明する実施形態の距離ｄ、角度θ及び角度φ）が特定される。これにより、スクリーンに対する斜め横方向のポインティングデバイスの姿勢も特定されるため、スクリーンの正面のみならず、スクリーンの斜め横方向からのポインティング動作に対しても正確にポインティング位置にポインティングマークを表示することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は本実施形態に係るプレゼンテーションシステム１の構成を模式的に示す図である。このプレゼンテーションシステム１は、コンピュータ２と、投写装置としてのプロジェクタ３と、スクリーン４と、ポインティングデバイス５とを備え、スクリーン４に表示すべき映像データをコンピュータ２がプロジェクタ３に出力し、その映像データをプロジェクタ３がスクリーン４に投写して表示するものである。
ポインティングデバイス５は、プレゼンター等のユーザ１０が把持し、スクリーン４に投写された投写像の領域である投写像領域Ｒ内の任意の箇所を指し示すために用いられるものである。ポインティングデバイス５が指し示すポインティング位置９には、プロジェクタ３が例えば丸印や星印等のポインティングマーク（以下、「ポインタ」と言う）６を表示することで、ユーザ１０がポインティングデバイス５で指し示している箇所を明示するように構成されている。

図２はポインティングデバイス５の構成図であり、図３はポインティングデバイス５の機能的構成を示すブロック図である。
ポインティングデバイス５は、図２に示すように、棒形状の本体ケース１１を有し、本体ケース１１の上面１１Ａにはキー入力部１２が配設され、上端部１１Ｂにはスクリーン４を撮像するための撮像部２０が配置されている。撮像部２０は、例えばＣＣＤカメラやＣＭＯＳカメラを備えて構成されている。さらに、上端部１１Ｂにはプロジェクタ３に対して無線信号を送信するための送信窓１３が形成されている。本体ケース１１内には、その送信窓１３に対応した位置に、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ、８０２．１１ａ／ｂ／ｇ等の通信規格に沿った近距離通信によりプロジェクタ３に対して信号を送信する送信部１４が設けられている。なお、送信部１４がコンピュータ２とも通信しても良いことは勿論であり、また、通信手段は無線に限らず有線であっても良い。

キー入力部１２は、図２に示すように、プロジェクタ３に対して各種操作コマンドを送信するための右クリックキー１５及び左クリックキー１６を有する。右クリックキー１５が操作された場合には、メニュー画面等のＧＵＩ（Graphical User Interface）の表示を指示するコマンドがプロジェクタ３に対して送信され、左クリックキー１６が操作された場合には、スクリーン４に投写された投写像上における各種ボタンやアイコン等の選択決定コマンドがプロジェクタ３に対して送信される。さらに、キー入力部１２は、キャリブレーションキー１７を有し、このキャリブレーションキー１７が操作された場合には、ポインティングデバイス５のポインティング位置９のキャリブレーションを指示するコマンドがプロジェクタ３に対して送信される。

ポインティングデバイス５は、図３に示すように、例えばジャイロセンサ等のポインティングデバイス５の角速度を検出する角速度センサ１８と、角速度センサ１８が検出する角速度を回転角度に変換し送信部１４に出力する角度変換部１９と、撮像部２０と、画像検出部２１とを更に有している。
詳述すると、角速度センサ１８は、図４に示すように、３次元直交座標系のＸ軸、Ｙ軸、Ｚ軸のそれぞれの軸ごとに垂直に設けられたＸ軸センサ１８Ａ、Ｙ軸センサ１８Ｂ及びＺ軸センサ１８Ｃの３つの軸センサ１８Ａ〜１８Ｃを有し、軸センサ１８Ａ〜１８Ｃのそれぞれが各軸周りの角速度を検出し上記角度変換部１９に出力する。このとき、ポインティングデバイス５が指し示す方向（ポインティング方向Ｋ）にＸ軸、Ｙ軸及びＺ軸のいずれか（本実施形態ではＺ軸）が配置されている。

角度変換部１９は各軸周りの角速度を時間積分して、その積分時間における軸ごとの回転角度に変換し、それぞれの回転角度を送信部１４に出力する。これらの回転角度によりポインティングデバイス５の姿勢の変化に伴うポインティング方向Ｋの変移が示され、これらの回転角度がプロジェクタ３に送信されることで、プロジェクタ３は、ポインティングデバイス５のポインティング方向Ｋがスクリーン４と交差する箇所にポインタ６を表示する。
撮像部２０は、ポインティングデバイス５が指し示す方向の像を撮像して撮像画像を画像検出部２１に出力するものであり、画像検出部２１は、当該撮像画像に写った多角形の頂点を画像処理により検出し、当該頂点の座標値を特定して、角度変換部１９及び送信部１４を介してプロジェクタ３に送信する。また、撮像部２０は、図１３に示すように、その撮像画像は、長辺、短辺に平行な軸をＣｘ、Ｃｙとし、中心点をＣｏとすると、Ｃｘ、Ｃｙ軸の向きは角速度センサ１８のＸ，Ｙ軸の向きと一致し、Ｃｏの向きがＺ軸の向きと一致するように配置されている。

ここで、スクリーン４上のポインティング位置９にポインタ６を表示するためには、ポインティングデバイス５が指し示す位置をスクリーン４をＸＹ平面としたときのＸＹ座標値として特定する必要がある。しかしながら、ポインティングデバイス５が送信する回転角度は、あくまでも角速度センサ１８の各軸センサ１８Ａ〜１８Ｃの配置によって規定される直交座標系を基準としたものである。したがって、プロジェクタ３がスクリーン４上のポインティング位置９（ポインティング方向Ｋとスクリーン４との交差点）を回転角度から算出するには、角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係を予め特定しておく必要がある。この特定は、上記画像検出部２１により生成された所定マークの座標値に基づくキャリブレーションによって行われるが、これについては後に詳述する。
なお、角速度センサ１８に代えて、Ｘ軸、Ｙ軸及びＺ軸ごとに加速度や角加速度等を検出するセンサを用いても良く、この場合であっても、検出加速度や検出角速度を時間積分することで、回転角度が求められる。

図５はプロジェクタ３の機能的構成を示すブロック図である。この図において、映像入力部３０はコンピュータ２から出力された映像データを受け取り、映像処理部３１に出力する。映像処理部３１は、映像入力部３０から入力された映像データに基づいて投写像データを生成し、この投写像データに基づいて映像投写部３２に投写像をスクリーン４に投写させるものである。映像投写部３２は、赤、緑、青の３枚の液晶パネルと、これらの液晶パネルに光を照射する光源と、各液晶パネルを透過したそれぞれの光を１方向の光にまとめるプリズムと、その光をスクリーン４に投写する投射レンズ系とを有し、各液晶パネルの画素ごとの透過率や投射レンズ系のズーム倍率、焦点距離等が投写像データに基づいて制御される。
ＯＳＤ制御部３３は、プロジェクタ３の各部を制御すると共に、コンピュータ２からの映像データの他に、スクリーン４に投写すべき映像データ、及び、投写像に重ねて表示すべきポインタ６等の映像データを生成して映像処理部３１に出力するものである。

受信部３４は、ポインティングデバイス５から送信された信号（各種コマンドや回転角度）を受信しコマンド解析部３５に出力するものである。コマンド解析部３５は、受信部３４から入力された信号を解析してＯＳＤ制御部３３に出力する。
ＯＳＤ制御部３３は、コマンド解析部３５からコマンドが入力された場合には、そのコマンドに応じた画面の映像データ（例えば、メニュー表示コマンドであればメニュー画面の映像データ）を生成して映像処理部３１に出力し、また、ポインティングデバイス５の回転角度が入力された場合には、ポインタ６を表示すべきスクリーン４上のＸＹ座標値を回転角度に基づいて算出し、そのＸＹ座標値に表示するポインタ６の映像データを生成して映像処理部３１に出力する。なお、回転角度に基づくＸＹ座標値の算出については後に詳述する。

送信部３６は、コンピュータ２に対して各種信号を送信するものである。具体的には、コマンド解析部３５にて解析されたコマンドが、コンピュータ２の操作に関するコマンドである場合、コマンド解析部３５は、そのコマンドを送信部３６からコンピュータ２に送信する。これにより、ポインティングデバイス５からコンピュータ２をリモートで操作可能になる。また、本実施形態では、上記ポインタ６の映像データの生成をプロジェクタ３に代えてコンピュータ２が行うか否かを予めメニュー画面等で設定可能になされており、ポインタ６の映像データの生成をコンピュータ２が行うように設定されている場合には、ＯＳＤ制御部３３が算出したＸＹ座標値を送信部３６からコンピュータ２に送信し、そのＸＹ座標値に基づいてコンピュータ２がポインタ６の映像データを生成することとなる。

次いで、本実施形態の動作について説明する。
図６は、ポインティングデバイス５の動作を示すフローチャートである。
ポインティングデバイス５は、キー入力部１２が操作された場合、操作されたキーがキャリブレーションキー１７であるときには（ステップＳａ１：ＹＥＳ）、ポインティング位置９のキャリブレーション処理（後に詳述）を開始するためのキャリブレーションコマンドをプロジェクタ３に送信する（ステップＳａ２）。また、操作されたキーが右クリックキー１５又は左クリックキー１６であるときには（ステップＳａ１：ＮＯ、ステップＳａ３：ＹＥＳ）、ポインティングデバイス５は、そのキー操作に対応するコマンドをプロジェクタ３に送信する（ステップＳａ４）。

キー入力部１２が操作されていない場合（ステップＳａ１、Ｓａ３が共にＮＯ）、ポインティングデバイス５は、ポインティング方向Ｋの変移をプロジェクタ３に送信すべく次の処理を行う。すなわち、ポインティングデバイス５は、Ｘ軸、Ｙ軸、Ｚ軸の角速度を検出して（ステップＳａ５）、各角速度の検出値を回転角度に変換し（ステップＳａ６）、それらの回転角度をプロジェクタ３に送信する（ステップＳａ７）。
これらステップＳａ５〜Ｓａ７にける角速度の検出から回転角度の送信までの一連の処理は、一定時間ごとに繰り返し実行されて、ポインティング方向Ｋの変移がプロジェクタ３に間欠的に順次送信される。なお、ポインティングデバイス５の送信動作回数を減らすべく、ステップＳａ５及びステップＳａ６における角速度の検出及び回転角度の算出だけを一定時間に行い、回転角度が所定の閾値をこえた場合にだけ、ステップＳａ７における回転角度の送信を行うようにしても良い。

図７は、プロジェクタ３の動作を示すフローチャートである。
プロジェクタ３は、コンピュータ２からの映像データに基づいてスクリーン４に投写像を投写すると共に、ポインティングデバイス５からコマンド又は回転角度を受信した場合には、その受信に応じた処理を実行する。
すなわち、図７に示すように、プロジェクタ３は、ポインティングデバイス５から信号を受信した場合、その信号がキャリブレーションコマンドである場合（ステップＳｂ１：ＹＥＳ）、後述するキャリブレーション処理を実行する（ステップＳｂ２）。
また、受信された信号が右クリックキー１５又は左クリックキー１６の操作によるコマンドである場合には（ステップＳｂ１：ＮＯ、ステップＳｂ３：ＹＥＳ）、例えばメニュー画面を投写するといった、そのコマンドに応じた処理を実行する（ステップＳｂ４）。

受信された信号がキャリブレーションコマンド等のコマンドでない場合（ステップＳｂ１、ステップＳｂ２が共にＮＯ）、その信号はポインティングデバイス５の回転角度を示すことになり、プロジェクタ３は、回転角度を受信すると（ステップＳｂ５）、その回転角度に応じた位置にポインタ６を表示すべく次の処理を行う。すなわち、プロジェクタ３は、投写像領域Ｒにおけるポインティングデバイス５のポインティング位置９のＸＹ座標値を回転角度に基づいて算出して回転角度からＸＹ座標値に変換する（ステップＳｂ６）。
次いで、プロジェクタ３は、ポインタ６の映像データの生成処理をコンピュータ２が行う設定になっている場合には（ステップＳｂ７：ＹＥＳ）、ＸＹ座標値をコンピュータ２に送信し（ステップＳｂ８）、コンピュータ２がポインタ６を表示する設定となっていない場合には（ステップＳｂ７：ＮＯ）、ＸＹ座標値に基づいてポインタ６の映像データを生成して、そのＸＹ座標値にポインタ６を表示することになる（ステップＳｂ９）。

次いで、キャリブレーションについて詳述する。
このキャリブレーションにおいては、上述のように、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係が特定される。
詳述すると、本実施形態では、図８に示すように、スクリーン４上に、このスクリーン４をＸＹ平面としたときのＸＹ座標値が既知の４点の点Ｐ１、Ｐ２、Ｐ３、Ｐ４を頂点とするキャリブレーション用図形である長方形４０を投写し、ユーザ１０がポインティングデバイス５をスクリーン４に向けることにより、撮像部２０がスクリーン４上の上記４つの点Ｐ１、Ｐ２、Ｐ３、Ｐ４を撮像することでキャリブレーションが行われる。そして、このときの撮像部２０が撮像した撮像画像に写っている４つの点Ｐ１、Ｐ２、Ｐ３、Ｐ４の各々の座標値が画像検出部２１により特定され、これらの座標値に基づいて、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係が特定される。

図９は、スクリーン４とポインティングデバイス５との位置関係を示す図である。この図ではポインティングデバイス５の位置をＧとして示し、ユーザ１０がスクリーン４に対して斜め前方からポインティングする場合を例として説明する。
なお、以下の説明において、スクリーン４の中心を原点Ｏとし、このスクリーン４をＸＹ平面とする３次元直交座標系を規定する。このとき、プロジェクタ３は、その光軸がＺ軸上になるように配置されているものとし、スクリーン４上に点Ｐ１、Ｐ２、Ｐ３、Ｐ４を頂点とする長方形４０を投写しているものとする。また、ポインティングデバイス５は、スクリーン４の中心Ｏまでの直線距離がｄだけ離れた位置に、Ｘ軸から角度θ、Ｙ軸から角度φだけ傾いた姿勢で位置しているものとする。ポインティングデバイス５の傾きとは、このポインティングデバイス５の角速度センサ１８の検出軸との傾きを指すものであり、角速度センサ１８の各軸センサ１８Ａ〜１８Ｃが検出対象とする軸と、図９に示す上記３次元直交座標系の各軸とがなす角度によって規定される。

図９において、ポインティングデバイス５を視点として３次元直交座標系を規定した場合、すなわち、角速度センサ１８が検出する各軸により３次元直交座標系を規定した場合、Ｘ軸をＧｘ軸、Ｙ軸をＧｙ軸、ポインティング方向ＫであるＺ軸をＧｚ軸とした３次元直交座標が図示のように規定される。そして、Ｇｚ軸に対して垂直な平面に仮想スクリーンＱを規定することができ、この仮想スクリーンＱに射影された像をポインティングデバイス５を操作しているユーザ１０が見ていることになる。したがって、スクリーン４に投写された点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、ユーザ１０から見ると、点Ｑ１、Ｑ２、Ｑ３、Ｑ４に見えていることになる。ポインティングデバイス５の角速度センサ１８が検出する回転角度、および、ポインティングデバイス５の撮像部２０が撮像した撮像画像に写った点Ｑ１、Ｑ２、Ｑ３、Ｑ４の座標値は、この仮想スクリーンＱに射影された像に対するものである。

図１０は、ポインティングデバイス５を視点とした３次元直交座標系によりポインティングデバイス５と仮想スクリーンＱとの位置関係を示した図である。
以下では説明を簡単にするために、Ｇｚ軸周りの回転が無いものと仮定して、図１０を参照しながらポインティングデバイス５が検出する回転角度と、スクリーン４上のポインティング位置９との関係について説明する。
ユーザ１０がポインティングデバイス５にて仮想スクリーンＱ上の任意の点、例としてＱ１を指し示した場合、ポインティングデバイス５の姿勢が原点Ｏ（初期位置）を指し示す姿勢から点Ｑ１を指し示す姿勢に変化し、そのときのＧｙ軸周りの角速度α’と、Ｇｘ軸周りの角速度β’とが角速度センサ１８により検出される。そして、これらの角速度α’、β’を角度変換部１９が時間積分することで、原点Ｏから任意の点を指し示す位置を変える動作に伴うＧｙ軸周りの回転角度α、及び、Ｇｘ軸周りの回転角度βが求められる。

ここで、図９に示した３次元直交座標系における距離ｄ、角度θ、角度φ及びスクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）と、ポインティングデバイス５が検出するＧｙ軸周りの回転角度α、及び、Ｇｘ軸周りの回転角度βとの間には、次式（１）、（２）に示す関係がある。
tanα＝cosθ・x／(−cosφ・sinθ・x＋sinφ・y＋d) （１）
tanβ＝(sinφ・sinθ・x＋cosφ・y)／(-cosφ・sinθ・x＋sinφ・y＋d)（２）
また、ポインティングデバイス５の撮像部２０が撮像する任意の点の座標値（Ｑｘ、Ｑｙ）と、ポインティングデバイス５が検出するＧｙ軸周りの回転角度α、及び、Ｇｘ軸周りの回転角度βとの間には、次式（３）、（４）に示す関係がある。
Qx／s＝tanα （３）
Qy／s＝tanβ （４）
ここで、Ｑｘ、Ｑｙは原点Ｏからの相対座標であり、また、撮像部２０のレンズの収差、およびｘ、ｙ方向のピクセル比などの撮像部２０に固有のパラメータは既知であるとして補正済みの値である。ｓはＧから仮想スクリーンまでの距離（図９ではｓ＝ｄ）である。

また、上記式（１）、（２）によれば、スクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）は、次式（５）、（６）により示される。
x＝d・tanα・cosφ／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （５）
y＝d・(-tanα・sinφ・sinθ＋tanβ・cosθ)／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （６）

上記式（３）、（４）に基づいて、撮像した座標値（Ｑｘ、Ｑｙ）と回転角度α、βの関連より、ポインティングデバイス５が撮像した座標値を原点Ｏからの回転角度α、βに変換することができる。上記式（１）、（２）によって、距離ｄ、角度θ及び角度φを求めた以降は、ポインティングデバイス５の回転角度α、βの検出値に基づいて、上記式（５）及び（６）により、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が算出されるのである。

さらに角速度センサ１８のＧｚ軸周りの回転を考慮すると、ポインティングデバイス５の角速度センサ１８が検出するＧｘ軸、Ｇｙ軸、Ｇｚ軸周りの回転角度をα、β、γとすると、ポインティングデバイス５を視点とした３次元直交座標系は図１１のようになる。上記直交座標系における、Ｘ軸、Ｙ軸のそれぞれの軸周りの回転角度α'、β'は、Ｇｘ軸、Ｇｙ軸、Ｇｚ軸周りの回転角度α、β、γより、それぞれ次の式（７）及び式（８）により求められる。
tanα'＝tanα・cosγ＋tanβ・sinγ （７）
tanβ'＝tanβ・cosγ−tanα・sinγ （８）
したがって、この式（７）及び式（８）によりＺ軸周りの回転角度γを考慮した回転角度α'、β'が求められ、この回転角度α'、β'を上記式（１）、（２）、（３）、（４）、（５）、（６）のα、βに適用することにより、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が特定される。

距離ｄ、角度θ及び角度φを求める方法としては、ＸＹ座標値（ｘ、ｙ）が既知の２点Ｐ１、Ｐ２を撮像したときの原点Ｏからの相対座標値（Ｑｘ１、Ｑｙ１）、（Ｑｘ２、Ｑｙ２）を求めれば、上記式（１）、（２）、（３）、（４）に基づいて求められる。すなわち、点Ｐ３を原点とすると、当該点Ｐ３から２点Ｐ１、Ｐ２の各々までの相対座標値を求めれば良い。
また、原点Ｏが未知の場合であっても、３点Ｐ１、Ｐ２、Ｐ３を撮像したときの相対座標値（Ｑｘ１、Ｑｙ１）、（Ｑｘ２、Ｑｙ２）を求めることにより、上記式（１）、（２）、（３）、（４）に基づいて原点Ｏの位置を近似的に求めることができ、距離ｄ、角度θ及び角度φを求めることができる。
さらに、４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を撮像したときの相対座標値（Ｑｘ１、Ｑｙ１）、（Ｑｘ２、Ｑｙ２）、（Ｑｘ３、Ｑｙ３）を求めることにより、上記式（１）、（２）、（３）、（４）に基づいて原点Ｏの位置を精度良く、さらに、少ない演算量によって求めることができ、距離ｄ、角度θ及び角度φを求めることができる。以下の説明は、４点を撮像する場合を例に説明する。

次いで、上記キャリブレーション時のポインティングデバイス５及びプロジェクタ３の動作を図１２を参照して説明する。
この図に示すように、ポインティングデバイス５は、キャリブレーションキー１７が操作されてキャリブレーションコマンドをプロジェクタ３に送信すると（ステップＳｃ１）、プロジェクタ３がキャリブレーション用図形である長方形４０を投写する（ステップＳｄ１）。また、ポインティングデバイス５は、撮像部２０のＣＣＤカメラの電源をＯＮする（ステップＳｃ２）。

そして、ユーザ１０は、長方形４０を指し示すようにポインティングデバイス５を構え、ポインティングデバイス５は、撮像部２０を用いて長方形４０を撮像し（ステップＳｃ３）、４点が撮像されているかチェック（ステップＳｃ４）する。４点が撮像されていない場合には、ステップＳｃ３に戻って長方形４０の撮像を繰り返し、４点が撮像された場合には、撮像画像に写った長方形の４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の各々の座標値を測定し（ステップＳｃ５）、これらの座標値をプロジェクタ３に送信する（ステップＳｃ６）。図１３は撮像部２０が撮像した撮像画像の例である。Ｃｘ、Ｃｙ、Ｃｏは撮像画像のＸ軸、Ｙ軸、および原点（撮像画像の中心点）を示し、４点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、この座標系に対しての座標値である。また、Ｃｘ、Ｃｙは角度検出部の検出軸に一致し、Ｃｏはポインティングデバイス５のＧｚ軸が向いている方向を示している。
プロジェクタ３は４点の座標値を受信した後（ステップＳｄ２）、式（１）、（２）、（３）、（４）に基づいて、仮想スクリーン上のＸ軸、Ｙ軸、および原点Ｏの位置を計算し、原点Ｏの方向とポインティングデバイス５のＧｚ軸が向いている方向Ｃｏの回転角度の差α、βを計算（ステップＳｄ３）する。図１４は、図１３に仮想スクリーン上のＸ軸、Ｙ軸、および原点Ｏを重ねて示したものである。Ｃｏの位置、すなわち回転角度α、βは、ポインティングデバイス５の初期位置を示している。さらに、ポインティングデバイス５の位置（距離ｄ、角度θ、角度φ）を計算する（ステップＳｄ４）。ポインティングデバイス５は、撮像部２０のＣＣＤカメラの電源をＯＦＦし（ステップＳｃ７）、プロジェクタ３は、長方形４０を消去し、Ｃｏの位置にポインタを表示して（ステップＳｄ５）、キャリブレーションを終了する。なお、ステップＳｃ３で長方形４０の４点を同時に撮像できなくても、ユーザ１０がポインティングデバイス５を上下左右に動かすことにより、撮像時刻のことなる撮像画像を合成することにより、４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係を求め、これら４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標値を算出することができる。

以上の処理により、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との相関関係がキャリブレーションによって特定され、それ以降、角速度センサ１８が検出する座標系の回転角度に基づいて、スクリーン４上のＸＹ平面における任意のポインティング位置９を式（５）及び（６）を用いて算出できるようになる。

このように、本実施形態によれば、スクリーン４上に当該スクリーン４上での座標値が既知の４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を表示すると共に、これらをポインティングデバイス５が指し示したときに撮像し、この撮像画像に写っている上記４点の各々の座標値と、スクリーン４上での各々の座標値とに基づいて、当該スクリーン４上の原点Ｏ、およびＸ、Ｙ軸を特定すると共に、スクリーン４に対するポインティングデバイス５の姿勢を規定するパラメータ（距離ｄ、角度θ、角度φ）を算出してキャリブレーションが行われる。
したがって、ユーザは、ポインティングデバイス５にて上記４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指し示して撮像するだけでキャリブレーション操作が完了するため、投写像の４隅を登録する従来のキャリブレーション操作に比べて操作回数が減り、また、正確に対象とする点に向ける必要もなく、キャリブレーション操作が容易となる。
また、ポインティングデバイス５が撮像部２０を使用するのはキャリブレーションの期間中だけであり、通常使用時は角度変化量を検出する角速度センサ１８だけを使用するため、常時、撮像手段によりスクリーン４を撮像する方法に比べて、ポインティングデバイス５の消費電力を大幅に減らすことができる。

さらに、本実施形態によれば、スクリーン４上に表示された４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を撮像し、この撮像画像に写された４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標値（相対座標値）により、スクリーン４に対するポインティングデバイス５の姿勢を示すパラメータ（距離ｄ、角度θ及び角度φ）が特定される。これにより、スクリーン４に対する斜め横方向のポインティングデバイス５の姿勢も特定されるため、スクリーン４の正面のみならず、スクリーン４の斜め横方向からのポインティング動作に対しても正確にポインティング位置９にポインタ６を表示することができる。

また、本実施形態によれば、プロジェクタ３がポインティングデバイス５から送信された４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標値に基づいてキャリブレーションを実行すると共に、このキャリブレーションの実行結果に基づいて、ポインタ６の表示位置（ポインティング位置９）を算出する構成としたため、ポインティングデバイス５がポインティング位置９の算出及びキャリブレーションを実行する必要が無い。したがって、ポインティングデバイス５が各種演算のための回路を備える必要が無いため装置構成を簡略できると共に、ポインティングデバイス５の消費電力を抑えることができる。

なお、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態では、プロジェクタ３がポインティング位置９を算出する構成としたが、これに限らず、プロジェクタ３に接続されたコンピュータ２が算出する構成としても良い。
また例えば、上述した実施形態では、４つの点Ｐ１、Ｐ２、Ｐ３、Ｐ４を頂点とする長方形４０をキャリブレーション用の図形として表示する構成としたが、これに限らず、スクリーン４上の原点Ｏを１つの点に含む少なくとも３点を頂点とする三角形をキャリブレーション用の図形として表示しても良い。また、多角形に限らず、画像処理により識別可能な所定マークを各頂点に表示し、点のみを表示する構成としても良い。

本発明の実施形態に係るプレゼンテーションシステムの構成を示す図。 ポインティングデバイスの構成図。 ポインティングデバイスの機能的構成を示すブロック図。 角速度センサの構成を模式的に示す図。 プロジェクタの機能的構成を示すブロック図。 ポインティングデバイスの動作を示すフローチャート。 プロジェクタの動作を示すフローチャート。 キャリブレーションを説明するための図。 スクリーンとポインティングデバイスとの位置関係を示す図。 ポインティングデバイスを視点とした３次元直交座標系を示す図。 Ｚ軸周りの回転を考慮した場合の３次元直交座標系を示す図。 キャリブレーション時の動作を示すフローチャート。 撮像部２０が撮像した撮像画像の例を示す図。 図１３に仮想スクリーン上のＸ軸、Ｙ軸、および原点Ｏを重ねて示した図。

符号の説明

１…プレゼンテーションシステム、２…コンピュータ、３…プロジェクタ、４…スクリーン、５…ポインティングデバイス、６…ポインタ（ポインティングマーク）、１８…角度センサ、１８Ａ〜１８Ｃ…軸センサ、１９…座標変換部、２０…撮像部、２１…画像検出部、４０…長方形、Ｐ１、Ｐ２、Ｐ３、Ｐ４…頂点。

Claims (3)

1. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、
   角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、
   前記ポインティングデバイスに撮像手段を更に設け、
   前記スクリーン上に少なくとも３点を表示し、前記ポインティングデバイスの撮像手段によって撮像された前記３点の各々の座標値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする情報表示システム。
2. 請求項１に記載の情報表示システムにおいて、
   前記ポインティングデバイスが指し示す方向を１つの軸とした第１の直交３次元座標系の各軸周りの回転角度を前記角度変化量として検出するように前記角度変化量検出手段を構成し、前記ポインティングデバイスの撮像手段によって得られる撮像画像の座標系を前記ポインティングデバイスが指し示す方向に垂直な面と一致するように前記ポインティングデバイスの撮像手段を構成すると共に、
   前記キャリブレーション時には、前記ポインティングデバイスの撮像手段によって撮像された前記３点の各々の座標値に基づいて、前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１の直交３次元座標系との相対的な位置関係を規定するパラメータを特定することを特徴とする情報表示システム。
3. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスの角度変化量に基づいて、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、
   前記スクリーン上に少なくとも３点を表示すると共に、前記ポインティングデバイスによって前記３点を撮像し、撮像された３点の各々の座標値に基づいて、前記ポインティングデバイスを移動させたときの角度変化量と、前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とするポインティング制御方法。

Images