JP2008065511A - 情報表示システム、及び、ポインティング制御方法 - Google Patents

Abstract

【課題】ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションする。
【解決手段】スクリーン４に画像を投写して投写像を表示するプロジェクタ３と、前記スクリーン４上の箇所を指し示すためのポインティングデバイス５とを有し、前記ポインティングデバイス５が指し示す位置にポインティングマーク６を表示すると共に、前記スクリーン４上に少なくとも３点Ｐ１、Ｐ２、Ｐ３の位置にマーカーＭａ、Ｍｂ、Ｍｃを表示し、各マーカーＭａ、Ｍｂ、Ｍｃを前記ポインティングデバイス５が指し示すように順に移動させたときの回転角度に基づいて、前記回転角度と前記ポインティングマーク６を表示する位置とのキャリブレーションを行う。
【選択図】図１２

Description

本発明は、スクリーンに画像を投写すると共に、ポインティングデバイスが指し示す箇所にポインティングマークを表示する情報表示システム、及び、ポインティングマークの表示位置を制御するポインティング制御方法に関する。

一般に、プレゼンテーション等では、プロジェクタがスクリーンに投写した投写像上の任意の箇所を指し示すために、レーザポインタや指示棒が用いられている。近年では、レーザポインタや指示棒の代わりに、投写像を指し示す位置（以下、「ポインティング位置」と言う）を検出するためのセンサを内蔵したポインティングデバイスを用い、このポインティングデバイスの検出値に基づいて、プロジェクタがポインティング位置にポインティングマークを表示するプレゼンテーションシステムが知られている。

この種のプレゼンテーションシステムでは、ポインティングデバイスのポインティング位置と、ポインティングマークが表示される位置との間にズレが生じることがある。そこで、スクリーンに投写された投写像の４隅位置を順次ポインティングデバイスで指し示し、そのときのセンサの検出値を登録してポインティングデバイスのポインティング位置をキャリブレーションする技術が提案されている（例えば、特許文献１参照）。
また、テレビ画面に表示された多数の操作ボタンをリモコンで選択・操作可能にした技術が知られており、この技術においては、角度及び位置を検出する磁気センサをリモコンに設け、この磁気センサからの検出角度及び検出位置に基づいて、テレビ画面上におけるリモコンのポインティング位置を２次元座標値として算出している（例えば、特許文献２参照）。
特開２００４−３１０５２７号公報 特開２０００−２７０２３７号公報

しかしながら、従来のプレゼンテーションシステムにおいては、ポインティング位置のキャリブレーションの際に、少なくとも投写像の４隅位置の全てを登録するため、少なくとも４回の登録操作が必要となりキャリブレーション操作が面倒である。さらに、各隅位置を登録する際にはポインティングデバイスの角度移動量が大きくなるためキャリブレーション操作がやり難い。
一方、テレビ画面上の操作ボタンをリモコンで操作可能にした技術においては、リモコンが指し示すテレビ画面上の２次元座標を算出する際に、リモコンの角度だけでなく位置を検出する必要があるためセンサの構成が複雑になり、さらに、テレビ画面を指し示す技術であるため、プロジェクタのような比較的大画面のスクリーンに対して斜め横方向から指し示すといった使い方が想定されておらず使い勝手が悪い。

本発明は、上述した事情に鑑みてなされたものであり、ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションすることのできる情報表示システム、及び、ポインティング制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、前記スクリーン上に少なくとも３点を表示し、各点を前記ポインティングデバイスが順に指し示すように移動させたときの前記角度変化量に基づいて、前記角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする情報表示システムを提供する。

また上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、前記スクリーン上に少なくとも３点を表示し、各点を前記ポインティングデバイスが順に指し示すように移動させたときの角度変化量に基づいて、前記角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする。
なお、本発明に係るポインティング制御方法をプログラムとして構成し電子機器に当該方法を実施させることが可能であり、また、このようなプログラムをコンピュータ読取可能な記録媒体に記録して実施することも可能である。

本発明によれば、スクリーン上に表示される３点の各点を前記ポインティングデバイスで指し示すように移動させることで、キャリブレーション操作が完了するため、投写像の４隅を登録する従来のキャリブレーション操作に比べて操作回数が減り、キャリブレーション操作が容易となる。
また、ポインティングデバイスの角度変化量を検出するためのセンサだけを備えれば良く、位置検出センサ等の他のセンサが不要となるため、装置構成が簡単になる。
さらに、スクリーン上に表示される３点を順にポインティングデバイスが指し示すように移動させたときの前記角度変化量により、スクリーンに対するポインティングデバイスの姿勢を示すパラメータが特定される。この姿勢にはスクリーンに対する斜め横方向も含まれるため、スクリーンの正面のみならず、スクリーンの斜め横方向からのポインティング動作にも対応可能となる。

ここで、上記発明において、前記ポインティングデバイスが指し示す方向を軸とした第１の直交３次元座標系の各軸周りの回転角度を前記角度変化量として検出するように前記角度変化量検出手段を構成すると共に、前記キャリブレーション時には、前記スクリーン上に表示された少なくとも３点の各点を順に指し示すように前記ポインティングデバイスを移動させたときの回転角度、及び、前記３点の各点の座標値に基づいて、前記前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１直交座標系との相対的な位置関係を規定するパラメータを特定する。

また、上記発明において、前記投写装置が無線通信又は有線通信により前記ポインティングデバイスから前記角度変化量を取得し、当該角度変化量に基づいて前記キャリブレーションを実行すると共に、このキャリブレーションの実行結果に基づいて、前記角度変化量に応じたポインティングマークの表示位置を算出する構成としても良い。
この構成によれば、ポインティングデバイスがポインティングマークの表示位置の算出及びキャリブレーションを実行する必要が無いため、ポインティングデバイスが各種演算のための回路を備える必要が無いため装置構成を簡略できると共に、ポインティングデバイスの消費電力を抑えることができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は本実施形態に係るプレゼンテーションシステム１の構成を模式的に示す図である。このプレゼンテーションシステム１は、コンピュータ２と、投写装置としてのプロジェクタ３と、スクリーン４と、ポインティングデバイス５とを備え、スクリーン４に表示すべき映像データをコンピュータ２がプロジェクタ３に出力し、その映像データをプロジェクタ３がスクリーン４に投写して表示するものである。
ポインティングデバイス５は、プレゼンター等のユーザ１０が把持し、スクリーン４に投写された投写像の領域である投写像領域Ｒ内の任意の箇所を指し示すために用いられるものである。ポインティングデバイス５が指し示すポインティング位置９には、プロジェクタ３が例えば丸印や星印等のポインティングマーク（以下、「ポインタ」と言う）６を表示することで、ユーザ１０がポインティングデバイス５で指し示している箇所を明示するように構成されている。

図２はポインティングデバイス５の構成図であり、図３はポインティングデバイス５の機能的構成を示すブロック図である。
ポインティングデバイス５は、図２に示すように、棒形状の本体ケース１１を有し、本体ケース１１の上面１１Ａにはキー入力部１２が配設され、上端部１１Ｂにはプロジェクタ３に対して無線信号を送信するための送信窓１３が形成されている。本体ケース１１内には、その送信窓１３に対応した位置に、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ、８０２．１１ａ／ｂ／ｇ等の通信規格に沿った近距離通信によりプロジェクタ３に対して信号を送信する送信部１４が設けられている。なお、送信部１４がコンピュータ２とも通信しても良いことは勿論であり、また、通信手段は無線に限らず有線であっても良い。

キー入力部１２は、図２に示すように、プロジェクタ３に対して各種操作コマンドを送信するための右クリックキー１５及び左クリックキー１６を有する。右クリックキー１５が操作された場合には、メニュー画面等のＧＵＩ（Graphical User Interface）の表示を指示するコマンドがプロジェクタ３に対して送信され、左クリックキー１６が操作された場合には、スクリーン４に投写された投写像上における各種ボタンやアイコン等の選択決定コマンドがプロジェクタ３に対して送信される。さらに、キー入力部１２は、キャリブレーションキー１７を有し、このキャリブレーションキー１７が操作された場合には、ポインティングデバイス５のポインティング位置９のキャリブレーションを指示するコマンドがプロジェクタ３に対して送信される。また、このキャリブレーションキー１７は、キャリブレーション実行中にも各種指示をプロジェクタ３に与えるために使用される。

ポインティングデバイス５は、図３に示すように、例えばジャイロセンサ等のポインティングデバイス５の角速度を検出する角速度センサ１８と、角速度センサ１８が検出する角速度を回転角度に変換し送信部１４に出力する角度変換部１９とを更に有している。
さらに詳述すると、角速度センサ１８は、図４に示すように、３次元直交座標系のＸ軸、Ｙ軸、Ｚ軸のそれぞれの軸ごとに垂直に設けられたＸ軸センサ１８Ａ、Ｙ軸センサ１８Ｂ及びＺ軸センサ１８Ｃの３つの軸センサ１８Ａ〜１８Ｃを有し、軸センサ１８Ａ〜１８Ｃのそれぞれが各軸周りの角速度を検出し上記角度変換部１９に出力する。このとき、ポインティングデバイス５が指し示す方向（ポインティング方向Ｋ）にＸ軸、Ｙ軸及びＺ軸のいずれか（本実施形態ではＺ軸）が配置されている。

角度変換部１９は各軸周りの角速度を時間積分して、その積分時間における軸ごとの回転角度に変換し、それぞれの回転角度を送信部１４に出力する。これらの回転角度によりポインティングデバイス５の姿勢の変化に伴うポインティング方向Ｋの変移が示され、これらの回転角度がプロジェクタ３に送信されることで、プロジェクタ３は、ポインティングデバイス５のポインティング方向Ｋがスクリーン４と交差する箇所にポインタ６を表示する。
ここで、スクリーン４上のポインティング位置９にポインタ６を表示するためには、ポインティングデバイス５が指し示す位置をスクリーン４をＸＹ平面としたときのＸＹ座標値として特定する必要がある。しかしながら、ポインティングデバイス５が送信する回転角度は、あくまでも角速度センサ１８の各軸センサ１８Ａ〜１８Ｃの配置によって規定される直交座標系を基準としたものである。したがって、プロジェクタ３がスクリーン４上のポインティング位置９（ポインティング方向Ｋとスクリーン４との交差点）を回転角度から算出するには、角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係を予め特定しておく必要がある。この特定は、後に詳述するキャリブレーションによって行われる。
なお、角速度センサ１８に代えて、Ｘ軸、Ｙ軸及びＺ軸ごとに加速度や角加速度等を検出するセンサを用いても良く、この場合であっても、検出加速度や検出角速度を時間積分することで、回転角度が求められる。

図５はプロジェクタ３の機能的構成を示すブロック図である。この図において、映像入力部３０はコンピュータ２から出力された映像データを受け取り、映像処理部３１に出力する。映像処理部３１は、映像入力部３０から入力された映像データに基づいて投写像データを生成し、この投写像データに基づいて映像投写部３２に投写像をスクリーン４に投写させるものである。映像投写部３２は、赤、緑、青の３枚の液晶パネルと、これらの液晶パネルに光を照射する光源と、各液晶パネルを透過したそれぞれの光を１方向の光にまとめるプリズムと、その光をスクリーン４に投写する投射レンズ系とを有し、各液晶パネルの画素ごとの透過率や投射レンズ系のズーム倍率、焦点距離等が投写像データに基づいて制御される。
ＯＳＤ制御部３３は、プロジェクタ３の各部を制御すると共に、コンピュータ２からの映像データの他に、スクリーン４に投写すべき映像データ、及び、投写像に重ねて表示すべきポインタ６等の映像データを生成して映像処理部３１に出力するものである。

受信部３４は、ポインティングデバイス５から送信された信号（各種コマンドや回転角度）を受信しコマンド解析部３５に出力するものである。コマンド解析部３５は、受信部３４から入力された信号を解析してＯＳＤ制御部３３に出力する。
ＯＳＤ制御部３３は、コマンド解析部３５からコマンドが入力された場合には、そのコマンドに応じた画面の映像データ（例えば、メニュー表示コマンドであればメニュー画面の映像データ）を生成して映像処理部３１に出力し、また、ポインティングデバイス５の回転角度が入力された場合には、ポインタ６を表示すべきスクリーン４上のＸＹ座標値を回転角度に基づいて算出し、そのＸＹ座標値に表示するポインタ６の映像データを生成して映像処理部３１に出力する。なお、回転角度に基づくＸＹ座標値の算出については後に詳述する。

送信部３６は、コンピュータ２に対して各種信号を送信するものである。具体的には、コマンド解析部３５にて解析されたコマンドが、コンピュータ２の操作に関するコマンドである場合、コマンド解析部３５は、そのコマンドを送信部３６からコンピュータ２に送信する。これにより、ポインティングデバイス５からコンピュータ２をリモートで操作可能になる。また、本実施形態では、上記ポインタ６の映像データの生成をプロジェクタ３に代えてコンピュータ２が行うか否かを予めメニュー画面等で設定可能になされており、ポインタ６の映像データの生成をコンピュータ２が行うように設定されている場合には、ＯＳＤ制御部３３が算出したＸＹ座標値を送信部３６からコンピュータ２に送信し、そのＸＹ座標値に基づいてコンピュータ２がポインタ６の映像データを生成することとなる。

次いで、本実施形態の動作について説明する。
図６は、ポインティングデバイス５の動作を示すフローチャートである。
ポインティングデバイス５は、キー入力部１２が操作された場合、操作されたキーがキャリブレーションキー１７であるときには（ステップＳａ１：ＹＥＳ）、ポインティング位置９のキャリブレーション処理（後に詳述）を開始するためのキャリブレーションコマンドをプロジェクタ３に送信する（ステップＳａ２）。また、操作されたキーが右クリックキー１５又は左クリックキー１６であるときには（ステップＳａ１：ＮＯ、ステップＳａ３：ＹＥＳ）、ポインティングデバイス５は、そのキー操作に対応するコマンドをプロジェクタ３に送信する（ステップＳａ４）。

キー入力部１２が操作されていない場合（ステップＳａ１、Ｓａ３が共にＮＯ）、ポインティングデバイス５は、ポインティング方向Ｋの変移をプロジェクタ３に送信すべく次の処理を行う。すなわち、ポインティングデバイス５は、Ｘ軸、Ｙ軸、Ｚ軸の角速度を検出して（ステップＳａ５）、各角速度の検出値を回転角度に変換し（ステップＳａ６）、それらの回転角度をプロジェクタ３に送信する（ステップＳａ７）。
これらステップＳａ５〜Ｓａ７にける角速度の検出から回転角度の送信までの一連の処理は、一定時間ごとに繰り返し実行されて、ポインティング方向Ｋの変移がプロジェクタ３に間欠的に順次送信される。なお、ポインティングデバイス５の送信動作回数を減らすべく、ステップＳａ５及びステップＳａ６における角速度の検出及び回転角度の算出だけを一定時間に行い、回転角度が所定の閾値をこえた場合にだけ、ステップＳａ７における回転角度の送信を行うようにしても良い。

図７は、プロジェクタ３の動作を示すフローチャートである。
プロジェクタ３は、コンピュータ２からの映像データに基づいてスクリーン４に投写像を投写すると共に、ポインティングデバイス５からコマンド又は回転角度を受信した場合には、その受信に応じた処理を実行する。
すなわち、図７に示すように、プロジェクタ３は、ポインティングデバイス５から信号を受信した場合、その信号がキャリブレーションコマンドである場合（ステップＳｂ１：ＹＥＳ）、後述するキャリブレーション処理を実行する（ステップＳｂ２）。
また、受信された信号が右クリックキー１５又は左クリックキー１６の操作によるコマンドである場合には（ステップＳｂ１：ＮＯ、ステップＳｂ３：ＹＥＳ）、例えばメニュー画面を投写するといった、そのコマンドに応じた処理を実行する（ステップＳｂ４）。

受信された信号がキャリブレーションコマンド等のコマンドでない場合（ステップＳｂ１、ステップＳｂ２が共にＮＯ）、その信号はポインティングデバイス５の回転角度を示すことになり、プロジェクタ３は、回転角度を受信すると（ステップＳｂ５）、その回転角度に応じた位置にポインタ６を表示すべく次の処理を行う。すなわち、プロジェクタ３は、投写像領域Ｒにおけるポインティングデバイス５のポインティング位置９のＸＹ座標値を回転角度に基づいて算出して回転角度からＸＹ座標値に変換する（ステップＳｂ６）。
次いで、プロジェクタ３は、ポインタ６の映像データの生成処理をコンピュータ２が行う設定になっている場合には（ステップＳｂ７：ＹＥＳ）、ＸＹ座標値をコンピュータ２に送信し（ステップＳｂ８）、コンピュータ２がポインタ６を表示する設定となっていない場合には（ステップＳｂ７：ＮＯ）、ＸＹ座標値に基づいてポインタ６の映像データを生成して、そのＸＹ座標値にポインタ６を表示することになる（ステップＳｂ９）。

次いで、キャリブレーションについて詳述する。
このキャリブレーションにおいては、上述のように、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係が特定される。
詳述すると、本実施形態では、図８（Ａ）〜（Ｃ）に示すように、スクリーン４上に、このスクリーン４をＸＹ平面としたときのＸＹ座標値が既知の３点（例えば正三角形の頂点である点Ｐ１、点Ｐ２、点Ｐ３）にマーカーＭａ、Ｍｂ、Ｍｃを順次表示し、ユーザ１０がポインティングデバイス５にて各マーカーＭａ、Ｍｂ、Ｍｃによって形成される３角形の各辺をなぞるように各マーカーＭａ、Ｍｂ、Ｍｃを順次指し示すことでキャリブレーションが行われる。そして、このときの回転角度の検出値に基づいて、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係が特定される。

図９は、スクリーン４とポインティングデバイス５との位置関係を示す図である。この図ではポインティングデバイス５の位置をＧとして示し、ユーザ１０がスクリーン４に対して斜め前方からポインティングする場合を例として説明する。
なお、以下の説明において、スクリーン４の中心を原点Ｏとし、このスクリーン４上にＸＹ平面があるＸＹＺ３次元直交座標系を絶対座標系として規定する。このとき、プロジェクタ３は、その光軸がＺ軸上になるように配置されているものとし、スクリーン４上の点Ｐ１、Ｐ２、Ｐ３のそれぞれにマーカーＭａ、Ｍｂ、Ｍｃを投写しているものとする。また、ポインティングデバイス５は、スクリーン４の中心Ｏまでの直線距離がｄだけ離れた位置に、ポインティングデバイス５がＸ軸から角度θ、Ｙ軸から角度φだけ傾いた姿勢で位置しているものとする。ポインティングデバイス５の傾きとは、このポインティングデバイス５の角速度センサ１８の検出軸との傾きを指すものであり、角速度センサ１８の各軸センサ１８Ａ〜１８Ｃが検出対象とする軸と、図９に示す上記ＸＹＺ３次元直交座標系の各軸とがなす角度によって規定される。

図９において、ポインティングデバイス５を視点として３次元直交座標系を規定した場合、すなわち、角速度センサ１８が検出する各軸により３次元直交座標系を規定した場合、Ｘ軸をＧｘ軸、Ｙ軸をＧｙ軸、ポインティング方向ＫであるＺ軸をＧｚ軸とした３次元直交座標が図示のように規定される。そして、Ｇｚ軸に対して垂直な平面に仮想スクリーンＱを規定することができ、この仮想スクリーンＱに射影された像をポインティングデバイス５を操作しているユーザ１０が見ていることになる。したがって、スクリーン４に投写された点Ｐ１、Ｐ２、Ｐ３は、ユーザ１０から見ると、点Ｑ１、Ｑ２、Ｑ３に見えていることになる。

図１０は、ポインティングデバイス５を視点とした３次元直交座標系によりポインティングデバイス５と仮想スクリーンＱとの位置関係を示した図である。
以下では説明を簡単にするために、Ｇｚ軸周りの回転が無いものと仮定して、図１０を参照しながらポインティングデバイス５が検出する回転角度と、スクリーン４上のポインティング位置９との関係について説明する。
ユーザ１０がポインティングデバイス５にて仮想スクリーンＱ上の任意の点、例としてＱ１を指し示した場合、ポインティングデバイス５の姿勢が原点Ｏ（初期位置）を指し示す姿勢から点Ｑ１を指し示す姿勢に変化し、そのときのＧｙ軸周りの角速度α’と、Ｇｘ軸周りの角速度β’とが角速度センサ１８により検出される。そして、これらの角速度α’、β’を角度変換部１９が時間積分することで、原点Ｏから任意の点を指し示す位置を変える動作に伴うＧｙ軸周りの回転角度α、及び、Ｇｘ軸周りの回転角度βが求められる。

ここで、図９に示したＸＹＺ３次元直交座標系における距離ｄ、角度θ、角度φ及びスクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）と、ポインティングデバイス５が検出するＧｙ軸周りの回転角度α、及び、Ｇｘ軸周りの回転角度βとの間には、次式（１）、（２）に示す関係がある。
tanα＝cosθ・x／(−cosφ・sinθ・x＋sinφ・y＋d) （１）
tanβ＝(sinφ・sinθ・x＋cosφ・y)／(-cosφ・sinθ・x＋sinφ・y＋d) （２）

したがって、上記式（１）、（２）によれば、スクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）は、次式（３）、（４）により示される。
x＝d・tanα・cosφ／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （３）
y＝d・(-tanα・sinφ・sinθ＋tanβ・cosθ)／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （４）

上記式（３）、（４）にて示されるように、仮想スクリーンＱ上の任意の点をポインティングデバイス５で指し示す際の回転角度α、βを検出すれば、上記距離ｄ、角度θ及び角度φが既知とすれば、スクリーン４上のポインティング位置９のＸＹ座標値(ｘ、ｙ)が求められることとなる。

上記距離ｄ、角度θ及び角度φは、ＸＹ座標値（ｘ、ｙ）が既知の２点Ｐ１、Ｐ２のそれぞれに原点Ｏから移動するときの回転角度（α１、β１）、回転角度（α２、β２）を求めれば、上記式（１）及び（２）に基づいて求められる。すなわち、点Ｐ３を原点とすると、２点Ｐ１、Ｐ２のＰ３からの回転角度の差（以下、「相対回転角度」と言う）を求めれば良い。
また、原点Ｏが未知の場合であっても、３点Ｐ１、Ｐ２、Ｐ３の相対回転角度（α１、β１）、（α２、β２）を求めることにより、上記式（１）及び（２）に基づいて原点Ｏの位置を近似的に求めることができ、距離ｄ、角度θ及び角度φを求めることができる。

以上のことから、スクリーン４上にＸＹ座標値が既知の３点Ｐ１、Ｐ２、Ｐ３を予め規定し、ポインティングデバイス５の指し示す位置を点Ｐ１、Ｐ２、Ｐ３に移動させたときの相対回転角度（α１、β１）、（α２、β２）を求めることにより、距離ｄ、角度θ及び角度φを求めることができる。
したがって、上記のキャリブレーションによって、距離ｄ、角度θ及び角度φを求めた以降は、ポインティングデバイス５の回転角度の検出値に基づいて、上記式（３）及び（４）により、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が算出されるのである。

さらに角速度センサ１８のＧｚ軸周りの回転を考慮すると、ポインティングデバイス５の角速度センサ１８が検出するＧｘ軸、Ｇｙ軸、Ｇｚ軸周りの回転角度をα、β、γとすると、ポインティングデバイス５を視点とした３次元直交座標系は図１１のようになる。上記ＸＹＺ直交座標系における、Ｘ軸、Ｙ軸のそれぞれの軸周りの回転角度α'、β'は、Ｇｘ軸、Ｇｙ軸、Ｇｚ軸周りの回転角度α、β、γより、それぞれ次の式（５）及び式（６）により求められる。
tanα'＝tanα・cosγ＋tanβ・sinγ （５）
tanβ'＝tanβ・cosγ−tanα・sinγ （６）
したがって、この式（５）及び式（６）によりＺ軸周りの回転角度γを考慮した回転角度α'、β'が求められ、この回転角度α'、β'を上記式（１）、（２）、（３）、（４）のα、βに適用することにより、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が特定される。

次いで、上記キャリブレーション時のポインティングデバイス５及びプロジェクタ３の動作を図１２を参照して説明する。
この図に示すように、ポインティングデバイス５は、キャリブレーションキー１７が操作されてキャリブレーション処理を開始すると（図６のステップＳａ２）、１番目のマーカーＭａの表示を指示するマーカーＭａ表示コマンドをプロジェクタ３に送信する（ステップＳｃ１）。プロジェクタ３は、マーカーＭａ表示コマンドを受信すると（ステップＳｄ１）、図８（Ａ）に示すように、ＸＹ座標値が既知の点Ｐ１の位置にマーカーＭａを表示する（ステップＳｄ２）。

そして、ユーザ１０は、マーカーＭａを指し示すようにポインティングデバイス５を構え、その姿勢のまま左クリックキー１６を操作する。ポインティングデバイス５は、左クリックキー１６の操作を検出すると（ステップＳｃ２）、Ｘ軸、Ｙ軸及びＺ軸に対する各回転角度に初期値「０」をセットして、これらの回転角度をリセットする（ステップＳｃ３）。以降、ポインティングデバイス５が検出する回転角度は、点Ｐ１からの相対回転角度となる。
次いでポインティングデバイス５は、２番目のマーカーＭｂの表示を指示するマーカーＭｂ表示コマンドをプロジェクタ３に送信する（ステップＳｃ４）。プロジェクタ３は、マーカーＭｂ表示コマンドを受信すると（ステップＳｄ３）、図８（Ｂ）に示すように、ＸＹ座標値が既知の点Ｐ２の位置に２番目のマーカーＭｂを表示する（ステップＳｄ４）。

ユーザ１０は、ポインティングデバイス５をマーカーＭａからマーカーＭｂに向けて移動させ、マーカーＭｂを指し示した姿勢のまま左クリックキー１６を操作する。ポインティングデバイス５は、左クリックキー１６の操作を検出すると（ステップＳｃ５）、マーカーＭａからマーカーＭｂに移動させたときの相対回転角度（α１、β１）を算出し（ステップＳｃ６）、プロジェクタ３に送信し（ステップＳｃ７）、プロジェクタ３は、その相対回転角度（α１、β１）を受信する（ステップＳｄ５）。

次いでポインティングデバイス５は、３番目のマーカーＭｃの表示を指示するマーカーＭｃ表示コマンドをプロジェクタ３に送信する（ステップＳｃ８）。プロジェクタ３は、マーカーＭｃ表示コマンドを受信すると（ステップＳｄ６）、図８（Ｃ）に示すように、ＸＹ座標値が既知の点Ｐ３の位置に３番目のマーカーＭｃを表示する（ステップＳｄ７）。
ユーザ１０は、ポインティングデバイス５をマーカーＭｂからマーカーＭｃに向けて移動させ、マーカーＭｃを指し示した姿勢のまま左クリックキー１６を操作する。ポインティングデバイス５は、左クリックキー１６の操作を検出すると（ステップＳｃ９）、マーカーＭｂからマーカーＭｃに移動させたときの相対回転角度（α２、β２）を算出し（ステップＳｃ１０）、プロジェクタ３に送信し（ステップＳｃ１１）、プロジェクタ３は、その相対回転角度（α２、β２）を受信する（ステップＳｄ８）。

そして、プロジェクタ３は、ステップＳｄ５及びＳｄ８にて受信した相対回転角度（α１、β１）および（α２、β２）を、式（１）及び（２）に基づいて、上記距離ｄ、角度θ及び角度φを算出することで、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との相関関係、すなわち、スクリーン４に対するポインティングデバイス５の配置姿勢を特定し、キャリブレーションを終了する（ステップＳｄ９）。

以上の処理により、ポインティングデバイス５の角速度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との相関関係がキャリブレーションによって特定され、それ以降、角速度センサ１８が検出する座標系の回転角度に基づいて、スクリーン４上のＸＹ平面における任意のポインティング位置９を式（３）及び（４）を用いて算出できるようになる。

このように、本実施形態によれば、スクリーン４上に少なくとも３点Ｐ１、Ｐ２、Ｐ３のそれぞれにマーカーＭａ、Ｍｂ、Ｍｃを順に表示し、ポインティングデバイス５がそれぞれのマーカーＭａ、Ｍｂ、Ｍｃを指し示すように順に移動させたときの回転角度（相対回転角度）に基づいて、ポインタ６を表示するポインティング位置９をキャリブレーションするようにした。これにより、ポインティングデバイス５により３点Ｐ１、Ｐ２、Ｐ３を指し示すだけでキャリブレーション操作が完了するため、投写像の４隅を登録する従来のキャリブレーション操作に比べて操作回数が減り、キャリブレーション操作が容易となる。
また、ポインティングデバイス５が角度変化量を検出するための例えば角速度センサ１８だけを備えれば良く、位置検出センサ等の他のセンサが不要となるため、ポインティングデバイス５の装置構成が簡単になる。

さらに、スクリーン４上に表示される３点を順にポインティングデバイス５が指し示すように移動させたときの回転角度により、スクリーン４に対するポインティングデバイス５の姿勢を示すパラメータ（距離ｄ、角度θ及び角度φ）が特定される。これにより、スクリーン４に対する斜め横方向のポインティングデバイス５の姿勢も特定されるため、スクリーン４の正面のみならず、スクリーン４の斜め横方向からのポインティング動作に対しても正確にポインティング位置９にポインタ６を表示することができる。

また、本実施形態によれば、プロジェクタ３がポインティングデバイス５から回転角度を取得し、当該回転角度に基づいてキャリブレーションを実行すると共に、このキャリブレーションの実行結果に基づいて、ポインタ６の表示位置（ポインティング位置９）を算出する構成としたため、ポインティングデバイス５がポインティング位置９の算出及びキャリブレーションを実行する必要が無い。したがって、ポインティングデバイス５が各種演算のための回路を備える必要が無いため装置構成を簡略できると共に、ポインティングデバイス５の消費電力を抑えることができる。

なお、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態では、プロジェクタ３がポインティング位置９を算出する構成としたが、これに限らず、プロジェクタ３に接続されたコンピュータ２が算出する構成としても良い。

また、上述した実施形態では、スクリーン４上の３点Ｐ１、Ｐ２、Ｐ３に対応する位置にマーカーＭａ、Ｍｂ、Ｍｃを順に表示してキャリブレーションを実行する構成としたが、これに限らず、スクリーン４上に４点以上を表示してキャリブレーションを実行するようにしても良い。例えば図１３に示すように、スクリーン４上の４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置にマーカーＭａ、Ｍｂ、Ｍｃ、Ｍｄを順に表示し、ポインティングデバイス５を各４点に移動させたときの相対回転角度を検出し、式（１）及び（２）に基いて、距離ｄ、角度θ及び角度φを算出しても良い。これにより、３点の場合に比べて、少ない演算量でキャリブレーションを行うことができる。

また、上述した実施形態では、スクリーン４上の３点Ｐ１、Ｐ２、Ｐ３に対応する位置にマーカーＭａ、Ｍｂ、Ｍｃを順に表示する構成としたが、これに限らず、これらのマーカーＭａ、Ｍｂ、Ｍｃを同時に表示する構成としても良い。この場合、ユーザがポインティングデバイス５にて指し示すマーカーの順番を一緒に表示する構成が望ましく、また、ユーザがポインティングデバイス５でマーカーＭａ、Ｍｂ、Ｍｃを指し示したときの回転角度の正負、及び、大小に基づいて、３点Ｐ１、Ｐ２、Ｐ３を指し示した順番を推定する構成としても良い。

本発明の実施形態に係るプレゼンテーションシステムの構成を示す図。 ポインティングデバイスの構成図。 ポインティングデバイスの機能的構成を示すブロック図。 角速度センサの構成を模式的に示す図。 プロジェクタの機能的構成を示すブロック図。 ポインティングデバイスの動作を示すフローチャート。 プロジェクタの動作を示すフローチャート。 キャリブレーションのためのマーカー表示を説明するための図。 スクリーンとポインティングデバイスとの位置関係を示す図。 ポインティングデバイスを視点とした３次元直交座標系を示す図。 Ｚ軸周りの回転を考慮した場合の３次元直交座標系を示す図。 キャリブレーション時の動作を示すフローチャート。 本発明の変形例を説明するための図。

符号の説明

１…プレゼンテーションシステム、２…コンピュータ、３…プロジェクタ、４…スクリーン、５…ポインティングデバイス、６…ポインタ（ポインティングマーク）、１８…角速度センサ、１８Ａ〜１８Ｃ…軸センサ、１９…角度変換部、Ｍａ〜Ｍｄ…マーカーα、β…回転角度（角度変化量）。

Claims (4)

1. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、
   角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、
   前記スクリーン上に少なくとも３点を表示し、各点を前記ポインティングデバイスが順に指し示すように移動させたときの前記角度変化量に基づいて、前記角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行う
   ことを特徴とする情報表示システム。
2. 請求項１に記載の情報表示システムにおいて、
   前記ポインティングデバイスが指し示す方向を軸とした第１の直交３次元座標系の各軸周りの回転角度を前記角度変化量として検出するように前記角度変化量検出手段を構成すると共に、
   前記キャリブレーション時には、前記スクリーン上に表示された少なくとも３点の各点を順に指し示すように前記ポインティングデバイスを移動させたときの回転角度、及び、前記３点の各点の座標値に基づいて、前記前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１直交座標系との相対的な位置関係を規定するパラメータを特定することを特徴とする情報表示システム。
3. 請求項１または２のいずれかに記載の情報表示システムにおいて、
   前記投写装置が無線通信又は有線通信により前記ポインティングデバイスから前記角度変化量を取得し、当該角度変化量に基づいて前記キャリブレーションを実行すると共に、このキャリブレーションの実行結果に基づいて、前記角度変化量に応じたポインティングマークの表示位置を算出することを特徴とする情報表示システム。
4. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、
   前記スクリーン上に少なくとも３点を表示し、各点を前記ポインティングデバイスが順に指し示すように移動させたときの角度変化量に基づいて、前記角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行う
   ことを特徴とするポインティング制御方法。

Images