JP2008065522A - 情報表示システム、及び、ポインティング制御方法 - Google Patents

Abstract

【課題】ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションする。
【解決手段】スクリーン４に画像を投写して投写像を表示するプロジェクタ３と、前記スクリーン４上の箇所を指し示すためのポインティングデバイス５とを有し、前記ポインティングデバイス５が指し示す位置にポインタ６を表示するプレゼンテーションシステム１であって、前記スクリーン４上に３つの頂点Ｐ１、Ｐ２、Ｐ３を有する三角形５０を表示し、前記ポインティングデバイス５が指し示す位置を前記三角形５０の輪郭に沿って移動させたときの角度変化量を記録し、この角度変化量の記録値に基づいて、角度変化量と前記ポインタ６を表示する位置とのキャリブレーションを行う。
【選択図】図１８

Description

本発明は、スクリーンに画像を投写すると共に、ポインティングデバイスが指し示す箇所にポインティングマークを表示する情報表示システム、及び、ポインティングマークの表示位置を制御するポインティング制御方法に関する。

一般に、プレゼンテーション等では、プロジェクタがスクリーンに投写した投写像上の任意の箇所を指し示すために、レーザポインタや指示棒が用いられている。近年では、レーザポインタや指示棒の代わりに、投写像を指し示す位置（以下、「ポインティング位置」と言う）を検出するためのセンサを内蔵したポインティングデバイスを用い、このポインティングデバイスの検出値に基づいて、プロジェクタがポインティング位置にポインティングマークを表示するプレゼンテーションシステムが知られている。

この種のプレゼンテーションシステムでは、ポインティングデバイスのポインティング位置と、ポインティングマークが表示される位置との間にズレが生じることがある。そこで、スクリーンに投写された投写像の４隅位置を順次ポインティングデバイスで指し示し、そのときのセンサの検出値を登録してポインティングデバイスのポインティング位置をキャリブレーションする技術が提案されている（例えば、特許文献１参照）。
また、テレビ画面に表示された多数の操作ボタンをリモコンで選択・操作可能にした技術が知られており、この技術においては、角度及び位置を検出する磁気センサをリモコンに設け、この磁気センサからの検出角度及び検出位置に基づいて、テレビ画面上におけるリモコンのポインティング位置を２次元座標値として算出している（例えば、特許文献２参照）。
特開２００４−３１０５２７号公報 特開２０００−２７０２３７号公報

しかしながら、従来のプレゼンテーションシステムにおいては、ポインティング位置のキャリブレーションの際に、少なくとも投写像の４隅位置の全てを登録するため、少なくとも４回の登録操作が必要となりキャリブレーション操作が面倒である。さらに、各隅位置を登録する際にはポインティングデバイスの角度移動量が大きくなるためキャリブレーション操作がやり難い。
一方、テレビ画面上の操作ボタンをリモコンで操作可能にした技術においては、リモコンが指し示すテレビ画面上の２次元座標を算出する際に、リモコンの角度だけでなく位置を検出する必要があるためセンサの構成が複雑になり、さらに、テレビ画面を指し示す技術であるため、プロジェクタのような比較的大画面のスクリーンに対して斜め横方向から指し示すといった使い方が想定されておらず使い勝手が悪い。

本発明は、上述した事情に鑑みてなされたものであり、ポインティングデバイスのポインティング位置のキャリブレーション操作を容易とし、なおかつ、簡単な構成でポインティングデバイスが指し示す位置とポインティングマークの表示位置とをキャリブレーションすることのできる情報表示システム、及び、ポインティング制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、前記スクリーン上に少なくとも３つの頂点を有する多角形を表示し、前記ポインティングデバイスが指し示す位置を前記多角形の輪郭に沿って移動させたときの前記角度変化量を記録し、この角度変化量の記録値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする情報表示システムを提供する。

また上記目的を達成するために、本発明は、スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、前記スクリーン上に少なくとも３つの頂点を有する多角形を表示し、前記ポインティングデバイスが指し示す位置を前記多角形の輪郭に沿って移動させたときの前記角度変化量を記録し、この角度変化量の記録値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とする。
なお、本発明に係るポインティング制御方法をプログラムとして構成し電子機器に当該方法を実施させることが可能であり、また、このようなプログラムをコンピュータ読取可能な記録媒体に記録して実施することも可能である。

本発明によれば、スクリーン上に表示される少なくとも３つの頂点を有する多角形の輪郭に沿って前記ポインティングデバイスが指す位置を移動させることで、キャリブレーション操作が完了するため、投写像の４隅の各点を指し示す必要のある従来のキャリブレーション操作に比べて操作回数が減り、キャリブレーション操作が容易となる。
特に、キャリブレーション時には、多角形の輪郭に沿って前記ポインティングデバイスを移動させるだけで良いため、点を指し示す必要のある従来のキャリブレーション操作に比べて、キャリブレーション操作がより容易となる。
また、ポインティングデバイスの角度変化量を検出するためのセンサだけを備えれば良く、位置検出センサ等の他のセンサが不要となるため、装置構成が簡単になる。
さらに、スクリーン上に表示される多角形の輪郭に沿ってポインティングデバイスが指し示す位置を移動させたときの角度変化量により、スクリーンに対するポインティングデバイスの姿勢を示すパラメータが特定可能となり、この姿勢にはスクリーンに対して斜め横方向に位置する姿勢も含まれるため、スクリーンの正面のみならず、スクリーンの斜め横方向からのポインティング動作にも対応可能となる。

ここで、上記発明において、前記多角形の輪郭に沿って移動させたときの移動方向を前記角度変化量の記録値に基づいて特定する移動方向特定手段と、前記角度変化量の記録値に基づいて、前記多角形の輪郭に沿って移動させたときの軌跡を算出し、当該軌跡の算出値と当該軌跡の理論値との対比結果、及び、前記移動方向に基づいて、前記多角形の各頂点での角度変化量を特定する角度変化量特定手段とを有し、前記多角形の各頂点での角度変化量、及び、前記多角形の各頂点の座標値に基づいて前記キャリブレーションを行うことを特徴とする。

また、上記発明において、前記ポインティングデバイスが指し示す方向を軸とした第１の直交３次元座標系の各軸に対する角度変化量を検出するように前記角度変化量検出手段を構成すると共に、前記キャリブレーション時には、前記多角形の各頂点での角度変化量、及び、前記多角形の各頂点の座標値に基づいて、前記前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１直交座標系との相対的な位置関係を規定するパラメータを特定することを特徴とする。

また、前記軌跡の算出値と前記軌跡の理論値との対比結果に基づいて、前記ポインティングデバイスを移動させたときの手ぶれ量を検出し、当該手ぶれ量に基づいて、前記角度変化量検出手段により検出される角度変化量を補正する構成としても良い。
この構成により、ユーザが所望する位置に手ぶれの影響を受けずにポインティングマークを表示することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は本実施形態に係るプレゼンテーションシステム１の構成を模式的に示す図である。このプレゼンテーションシステム１は、コンピュータ２と、投写装置としてのプロジェクタ３と、スクリーン４と、ポインティングデバイス５とを備え、スクリーン４に表示すべき映像データをコンピュータ２がプロジェクタ３に出力し、その映像データをプロジェクタ３がスクリーン４に投写して表示するものである。
ポインティングデバイス５は、プレゼンター等のユーザ１０が把持し、スクリーン４に投写された投写像の領域である投写像領域Ｒ内の任意の箇所を指し示すために用いられるものである。ポインティングデバイス５が指し示すポインティング位置９には、プロジェクタ３が例えば丸印や星印等のポインティングマーク（以下、「ポインタ」と言う）６を表示することで、ユーザ１０がポインティングデバイス５で指し示している箇所が明示される。

図２はポインティングデバイス５の構成図であり、図３はポインティングデバイス５の機能的構成を示すブロック図である。
ポインティングデバイス５は、図２に示すように、棒形状の本体ケース１１を有し、本体ケース１１の上面１１Ａにはキー入力部１２が配設され、上端部１１Ｂにはプロジェクタ３に対して無線信号を送信するための送信窓１３が形成されている。本体ケース１１内には、その送信窓１３に対応した位置に、例えばＩｒＤＡや８０２．１１ａ／ｂ／ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格に沿った近距離通信によりプロジェクタ３に対して信号を送信する送信部１４が設けられている。なお、送信部１４がコンピュータ２とも通信しても良いことは勿論であり、また、通信手段は無線に限らず有線であっても良い。

キー入力部１２は、図２に示すように、プロジェクタ３に対して各種操作コマンドを送信するための右クリックキー１５及び左クリックキー１６を有する。右クリックキー１５が操作された場合には、メニュー画面等のＧＵＩ（Graphical User Interface）の表示を指示するコマンドがプロジェクタ３に対して送信され、左クリックキー１６が操作された場合には、スクリーン４に投写された投写像上における各種ボタンやアイコン等の選択決定コマンドがプロジェクタ３に対して送信される。さらに、キー入力部１２は、キャリブレーションキー１７を有し、このキャリブレーションキー１７が操作された場合には、ポインティングデバイス５のポインティング位置９のキャリブレーションを指示するコマンドがプロジェクタ３に対して送信される。また、このキャリブレーションキー１７は、キャリブレーション実行中にも各種指示をプロジェクタ３に与えるために使用される。

ポインティングデバイス５は、図３に示すように、角度センサ１８と、座標変換部１９とを更に備えている。角度センサ１８は、ユーザ１０がスクリーン４上を指し示す際に生じるポインティングデバイス５の角度変化量を検出するものであり、例えばジャイロセンサや加速度センサ、方位センサ等を用いて構成されている。
さらに詳述すると、角度センサ１８は、図４に示すように、３次元直交座標系のＸ軸、Ｙ軸、Ｚ軸のそれぞれの軸ごとに垂直に設けられたＸ軸センサ１８Ａ、Ｙ軸センサ１８Ｂ及びＺ軸センサ１８Ｃの３つの軸センサ１８Ａ〜１８Ｃを有し、軸センサ１８Ａ〜１８Ｃのそれぞれが各軸周りの角度変化量を検出し上記座標変換部１９に出力する。このとき、ポインティングデバイス５が指し示す方向（ポインティング方向Ｋ）にＸ軸、Ｙ軸及びＺ軸のいずれか（本実施形態ではＺ軸）が配置されている。

座標変換部１９は、角度変化量に基づいて、ポインティングデバイス５のポインティング位置９を示すスクリーン４上のＸＹ座標値を算出して送信部１４に出力するものである。送信部１４は、ＸＹ座標値が入力されると、それをプロジェクタ３に送信する。これにより、プロジェクタ３にポインティング位置９のＸＹ座標値が通知され、そのＸＹ座標値に対応する箇所にポインタ６が表示されることとなる。
ここで、座標変換部１９が算出するＸＹ座標値はスクリーン４をＸＹ平面としたときの座標値である。これに対して、角度センサ１８が検出する角度変化量は、あくまでも角度センサ１８の各軸センサ１８Ａ〜１８Ｃの配置によって規定される直交座標系（図４）を基準としたものである。したがって、座標変換部１９がスクリーン４上の座標値を角度変化量から算出するためには、角度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との関係を予め特定しておく必要がある。この特定は、キャリブレーションによって行われ、そのキャリブレーションの結果に基づいて角度変化量からＸＹ座標値が算出可能となる。これらキャリブレーション及びＸＹ座標値の算出については後に詳述する。

図５はプロジェクタ３の機能的構成を示すブロック図である。この図において、映像入力部３０はコンピュータ２から出力された映像データを受け取り、映像処理部３１に出力する。映像処理部３１は、映像入力部３０から入力された映像データに基づいて投写像データを生成し映像投写部３２に出力する。映像投写部３２は、投写像データに基づく投写像をスクリーン４に投写するものであり、投写すべき映像に応じた透過率の画像を表示する赤、緑、青の３枚の液晶ライトバルブ３３と、この液晶ライトバルブ３３に光を照射する光源３４と、各液晶ライトバルブ３３を透過したそれぞれの光を１方向の光にまとめ、その光をスクリーン４に投写すると共に、投写像のフォーカスを調整可能な光学系及びレンズ駆動系を有したフォーカス調整部３５とを備えている。
ＯＳＤ制御部３６は、プロジェクタ３の各部を制御すると共に、コンピュータ２からの映像データの他に、スクリーン４に投写すべき映像データ、及び、投写像に重ねて表示すべきポインタ６等の映像データを生成して映像処理部３１に出力するものである。

リモコン受信部３７は、ポインティングデバイス５から送信された信号（各種コマンドやＸＹ座標値）を受信しＯＳＤ制御部３６に出力する。ＯＳＤ制御部３６は、コマンドが入力された場合には、そのコマンドに応じた画面の映像データ（例えば、メニュー表示コマンドであればメニュー画面の映像データ）を生成して映像処理部３１に出力し、また、ポインティングデバイス５のポインティング位置９を示すＸＹ座標値が入力された場合には、そのＸＹ座標値に表示するポインタ６の映像データを生成して映像処理部３１に出力し、これにより、ポインティング位置９にポインタ６が表示される。

なお、上記ポインタ６の映像データの生成をプロジェクタ３に代えてコンピュータ２が行うか否かを予めメニュー画面等で予め設定可能に構成し、ポインタ６の映像データの生成をコンピュータ２が行うように設定されている場合には、プロジェクタ３が受信したＸＹ座標値をコンピュータ２に出力し、そのＸＹ座標値に基づいてコンピュータ２がポインタ６の映像データを生成して映像入力部３０からプロジェクタ３に入力する構成としても良い。

次いで、本実施形態の動作について説明する。
図６は、ポインティングデバイス５の動作を示すフローチャートである。
ポインティングデバイス５は、キー入力部１２が操作された場合、操作されたキーがキャリブレーションキー１７であるときには（ステップＳａ１：ＹＥＳ）、ポインティング位置９のキャリブレーション処理（後に詳述）を開始するためのキャリブレーションコマンドをプロジェクタ３に送信する（ステップＳａ２）。また、操作されたキーが右クリックキー１５又は左クリックキー１６であるときには（ステップＳａ１：ＮＯ、ステップＳａ３：ＹＥＳ）、ポインティングデバイス５は、そのキー操作に対応するコマンドをプロジェクタ３に送信する（ステップＳａ４）。

キー入力部１２が操作されていない場合（ステップＳａ１、Ｓａ３が共にＮＯ）、ポインティングデバイス５はポインティング位置９を示すＸＹ座標値をプロジェクタ３に送信すべく次の処理を行う。すなわち、ポインティングデバイス５は、各軸センサ１８Ａ〜１８Ｃにより角度変化量を検出して（ステップＳａ５）、各角度変化量の検出値に基づいてＸＹ座標値を算出し（ステップＳａ６）、そのＸＹ座標値をプロジェクタ３に送信する（ステップＳａ７）。
これらステップＳａ５〜Ｓａ７における角度変化量の検出からＸＹ座標値の送信までの一連の処理は、一定時間ごとに繰り返し実行されて、ポインティング位置９を示すＸＹ座標値がプロジェクタ３に間欠的に順次送信される。なお、ポインティングデバイス５の送信動作回数を減らすべく、ステップＳａ５における角度変化量の検出だけを一定時間に行い、角度変化量が所定の閾値をこえた場合にだけ、ステップＳａ６及びＳａ７におけるＸＹ座標値の算出及び送信を行うようにしても良い。

次いで、ポインティングデバイス５の角度変化量と、ポインティング位置９とのキャリブレーションについて詳述する。
ポインティングデバイス５のキャリブレーションキー１７に対する操作に伴って送信されたキャリブレーションコマンドをプロジェクタ３が受信すると、図７に示すように、キャリブレーション用図形としての多角形の一例である三角形５０をスクリーン４上に表示する。この三角形５０は、スクリーン４をＸＹ平面としたときのＸＹ座標値が既知の３点Ｐ１、Ｐ２、Ｐ３を頂点としたものであり、ユーザ１０がポインティングデバイス５の指し示す位置を三角形５０の輪郭に沿って移動させることで、そのときの角度変化量の検出値に基づいて、ポインティングデバイス５の角度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係が特定される。以下、かかる位置関係の特定について図８を参照して説明する。

図８は、スクリーン４とポインティングデバイス５との位置関係を示す図である。この図ではポインティングデバイス５の位置をＧとして示し、ユーザ１０がスクリーン４に対して斜め前方からポインティングする場合を例として説明する。
なお、以下の説明において、スクリーン４の中心を原点Ｏとし、このスクリーン４上にＸＹ平面があるＸＹＺ３次元直交座標系を絶対座標系として規定する。このとき、プロジェクタ３は、その光軸がＺ軸上になるように配置されているものとし、スクリーン４上に点Ｐ１、Ｐ２、Ｐ３を含む三角形５０を投写しているものとする。また、ポインティングデバイス５は、スクリーン４の中心Ｏまでの直線距離がｄだけ離れた位置に、ポインティングデバイス５がＸ軸から角度θ、Ｙ軸から角度φだけ傾いた姿勢で位置しているものとする。ポインティングデバイス５の傾きとは、このポインティングデバイス５の角度センサ１８の検出軸との傾きを指すものであり、角度センサ１８の各軸センサ１８Ａ〜１８Ｃが検出対象とする軸と、図８に示す上記ＸＹＺ３次元直交座標系の各軸とがなす角度によって規定される。

図８において、ポインティングデバイス５を視点として３次元直交座標系を規定した場合、すなわち、角度センサ１８が検出する各軸により３次元直交座標系を規定した場合、Ｘ軸をＧｘ軸、Ｙ軸をＧｙ軸、ポインティング方向ＫであるＺ軸をＧｚ軸とした３次元直交座標が図示のように規定される。そして、Ｇｚ軸に対して垂直な平面に仮想スクリーンＱを規定することができ、この仮想スクリーンＱに射影された像をポインティングデバイス５を操作しているユーザ１０が見ていることになる。したがって、スクリーン４に投写された点Ｐ１、Ｐ２、Ｐ３を含む三角形５０は、ユーザ１０から見ると、点Ｑ１、Ｑ２、Ｑ３を含む三角形５０’に見えていることになる。

図９は、ポインティングデバイス５を視点とした３次元直交座標系によりポインティングデバイス５と仮想スクリーンＱとの位置関係を示した図である。
以下では説明を簡単にするために、Ｇｚ軸周りの回転が無いものと仮定して、図９を参照しながらポインティングデバイス５が検出する角度変化量と、スクリーン４上のポインティング位置９との関係について説明する。
ユーザ１０がポインティングデバイス５にて仮想スクリーンＱ上の任意の点、例としてＱ１を指し示した場合、ポインティングデバイス５の姿勢が原点Ｏ（初期位置）を指し示す姿勢から点Ｑ１を指し示す姿勢に変化し、そのときのＧｙ軸周りの角度変化量α’と、Ｇｘ軸周りの角度変化量β’とが角度センサ１８により検出される。

ここで、図８に示したＸＹＺ３次元直交座標系における距離ｄ、角度θ、角度φ及びスクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）と、ポインティングデバイス５が検出するＧｙ軸周りの角度変化量α、及び、Ｇｘ軸周りの角度変化量βとの間には、次式（１）、（２）に示す関係がある。
tanα＝cosθ・x／(−cosφ・sinθ・x＋sinφ・y＋d) （１）
tanβ＝(sinφ・sinθ・x＋cosφ・y)／(-cosφ・sinθ・x＋sinφ・y＋d) （２）

したがって、上記式（１）、（２）によれば、スクリーン４上のポインティング位置９のＸＹ座標値（ｘ、ｙ）は、次式（３）、（４）により示される。
x＝d・tanα・cosφ／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （３）
y＝d・(-tanα・sinφ・sinθ＋tanβ・cosθ)／(tanα・sinθ−tanβ・sinφ・cosθ＋cosφ・cosθ) （４）

上記式（３）、（４）にて示されるように、仮想スクリーンＱ上の任意の点をポインティングデバイス５で指し示す際の角度変化量α、βを検出すれば、上記距離ｄ、角度θ及び角度φが既知とすれば、スクリーン４上のポインティング位置９のＸＹ座標値(ｘ、ｙ)が求められることとなる。

上記距離ｄ、角度θ及び角度φは、ＸＹ座標値（ｘ、ｙ）が既知の２点Ｐ１、Ｐ２のそれぞれに原点Ｏから移動するときの角度変化量（α１、β１）、角度変化量（α２、β２）を求めれば、上記式（１）及び（２）に基づいて求められる。すなわち、点Ｐ３を原点とすると、２点Ｐ１、Ｐ２のＰ３からの角度変化量の差（以下、「相対角度変化量」と言う）を求めれば良い。
また、原点Ｏが未知の場合であっても、３点Ｐ１、Ｐ２、Ｐ３の相対角度変化量（α１、β１）、（α２、β２）を求めることにより、上記式（１）及び（２）に基づいて原点Ｏの位置を近似的に求めることができ、距離ｄ、角度θ及び角度φを求めることができる。

以上のことから、スクリーン４上にＸＹ座標値が既知の３点Ｐ１、Ｐ２、Ｐ３を予め規定し、ポインティングデバイス５の指し示す位置を点Ｐ１、Ｐ２、Ｐ３に移動させたときの相対角度変化量（α１、β１）、（α２、β２）を求めることにより、距離ｄ、角度θ及び角度φを求めることができる。
したがって、上記のキャリブレーションによって、距離ｄ、角度θ及び角度φを求めた以降は、ポインティングデバイス５の角度変化量の検出値に基づいて、上記式（３）及び（４）により、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が算出されるのである。

さらに角度センサ１８のＧｚ軸周りの回転を考慮すると、ポインティングデバイス５の角度センサ１８が検出するＧｘ軸、Ｇｙ軸、Ｇｚ軸周りの角度変化量をα、β、γとすると、ポインティングデバイス５を視点とした３次元直交座標系は図１０のようになる。上記ＸＹＺ直交座標系における、Ｘ軸、Ｙ軸のそれぞれの軸周りの回転角度α'、β'は、Ｇｘ軸、Ｇｙ軸、Ｇｚ軸周りの回転角度α、β、γより、それぞれ次の式（５）及び式（６）により求められる。
tanα'＝tanα・cosγ＋tanβ・sinγ （５）
tanβ'＝tanβ・cosγ−tanα・sinγ （６）
したがって、この式（５）及び式（６）によりＺ軸周りの回転角度γを考慮した角度変化量α'、β'が求められ、この角度変化量α'、β'を上記式（１）、（２）、（３）、（４）のα、βに適用することにより、ポインティングデバイス５が指し示している任意のポインティング位置９のＸＹ座標値が特定される。

このように、スクリーン４上の３点Ｐ１、Ｐ２、Ｐ３を順にポインティングデバイス５が指し示したときの角度変化量（相対角度変化量）を検出することで、ポインティングデバイス５の角度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系との位置関係（スクリーン４に対するポインティングデバイス５の姿勢）が特定されて、ポインティングデバイス５の角度変化量と、ポインティング位置９との関係がキャリブレーション可能となる。

このとき、スクリーン４上に３点Ｐ１、Ｐ２、Ｐ３のみを表示してキャリブレーションを行う構成とした場合、どの順番で各点Ｐ１、Ｐ２、Ｐ３をポインティングデバイス５で指し示せば良いのかユーザ１０が判断しづらい場合がある。また、キャリブレーション時には、ポインティングデバイス５が指し示している箇所（ポインティング位置９）にポインタ６が表示されないため、キャリブレーション時に点を指し示す操作は比較的難しい。

そこで、前掲図７に示したように、少なくとも３点Ｐ１、Ｐ２、Ｐ２を頂点に有する三角形５０をスクリーン４に表示し、その三角形５０の輪郭に沿ってポインティングデバイス５が指し示す位置を移動させたときの角度変化量を記録し、その角度変化量の記録値に基づいてキャリブレーションを実行することとしている。
すなわち、図１１に示すように、ポインティングデバイス５は、キャリブレーションキー１７の操作に伴って、キャリブレーション用図形の表示を指示するキャリブレーションコマンドをプロジェクタ３に送信し、上記三角形５０をスクリーン４に表示させる（ステップＳｂ１）。次いで、ポインティングデバイス５は、キャリブレーションキー１７が押下されたときに、角度変化量の記録を開始する（ステップＳｂ２）。そして、ユーザ１０が、キャリブレーションキー１７を押下したまま三角形５０の輪郭に沿ってポインティングデバイス５が指し示す位置を移動させると、そのときの角度変化量が順次記録される。
次に、ユーザ１０がキャリブレーションキー１７を離した場合に、ポインティングデバイス５が角度変化量の記録を停止する（ステップＳｂ３）。

以上の処理により、点Ｐ１、Ｐ２、Ｐ３間を移動させたときの角度変化量が順次記録される。ここで、この角度変化量の記録値に基づいて、スクリーン４に対するポインティングデバイス５の姿勢を示すパラメータである上記距離ｄ、角度θ及び角度φを特定するには、その角度変化量の記録値が三角形５０の輪郭をどのようになぞったときに得られたものであるか、すなわち、三角形５０の輪郭に沿ってポインティングデバイス５の指し示す位置を移動させたとき、それが左右のどちら回りであるか、また、移動の開始点がどの点であるかを特定する必要がある。

先ず、三角形５０の輪郭に沿って移動させたときの回転方向の特定の仕方について説明する。
図１２は、キャリブレーション操作時に記録された角度変化量を示す図であり、（Ａ）は三角形５０の輪郭に沿って左回りにポインティングデバイス５を移動させた場合を示し、（Ｂ）は三角形５０の輪郭に沿って右回りにポインティングデバイス５を移動させた場合を示す。
なお、この図において、時間ｔは、ユーザ１０がキャリブレーションキー１７を押下して三角形５０の輪郭に沿ってポインティングデバイス５を移動させ始めてからの経過時間を示し、また、ΣμはＸ（Ｇｘ）軸周りの角度変化量を示し、ΣνはＹ（Ｇｙ）軸周りの角度変化量を示している。また、この図は、ユーザ１０が点Ｐ１を開始点とし、等速度で三角形５０の輪郭に沿ってポインティングデバイス５を移動させ、点Ｐ１に戻る場合を示している。

この図１２に示す角度変化量の記録値を、ポインティングデバイス５で三角形５０をなぞった際の軌跡の方位角（辺の方向）、すなわち、図１３に示す極座標値に変換すると、図１４に示すグラフになる。なお、図１４において、（Ａ）は三角形５０の輪郭に沿って左回りに移動した場合を示し、（Ｂ）は三角形５０の輪郭に沿って右回りに移動した場合を示す。
図１４に示されるように、三角形５０の輪郭の一辺をポインティングデバイス５でなぞっている場合、方位角Ｍは常に同じ方向を示す。したがって、図１４において、方位角Ｍが不連続に変化するタイミングｔ１、ｔ２、ｔ３では、ポインティングデバイス５が点Ｐ１、Ｐ２、Ｐ３のいずれかを指し示すことになる。

また、三角形５０の輪郭の一辺をポインティングデバイス５でなぞっている場合、方位角Ｍは、その辺の方向を示すため、タイミングｔ１、ｔ２、ｔ３での方位角Ｍの変化量が前掲図７に示す三角形５０の外角Ｍ１、Ｍ２、Ｍ３（左回りの場合はＭ４、Ｍ５、Ｍ６）と一致することになる。
図１５は、タイミングｔ１、ｔ２、ｔ３での方位角Ｍの変化量を示す図であり、（Ａ）は三角形５０の輪郭を左回りになぞった場合を示し、（Ｂ）は三角形５０の輪郭を右回りになぞった場合を示す。この図に示すように、三角形５０の輪郭に沿ってポインティングデバイス５を移動させている場合、進行方向に対しての方位角変化は、輪郭を左回りに移動した場合と右回りに移動した場合とで符号が反対になり、図１３に示す座標系にあっては、左回りの場合に方位角変化が正符号となり、右回りの場合には負符号となる。これにより、三角形５０の輪郭に沿って移動させたときの回転方向が特定される。

以上のことから、ポインティングデバイス５は、角度変化量の記録を停止した後、三角形５０の輪郭に沿って移動したときの回転方向を特定すべく、図１６に示すフローチャートにしたがって処理を実行する。すなわち、ポインティングデバイス５は、Ｘ（Ｇｘ）軸及びＹ（Ｇｙ）軸に対する角度変化量のそれぞれの記録値に基づいて方位角Ｍを求め（ステップＳｃ１）、その方位角Ｍが不連続に変化する点（三角形にあっては３点）を抽出する（ステップＳｃ２）。そして、ポインティングデバイス５は、その点における方位角Ｍの変化量を求め（ステップＳｃ３）、その変化量の符号を判断し（ステップＳｃ４）、正符号の場合には左回転（ステップＳｃ５）、負符号の場合には右回転と特定することになる（ステップＳｃ６）。

次いで、三角形５０の頂点Ｐ１、Ｐ２、Ｐ３のどの頂点からポインティングデバイス５が輪郭に沿って移動し始めたかの特定の仕方について説明する。
前掲図７に示すように、スクリーン４の中心線Ｃを横断して三角形５０を表示した場合、中心線Ｃの左右のいずれかに、三角形５０の頂点が１つだけ存在することになる（本実施形態では頂点Ｐ２）。したがって、図１７に示すように、ポインティングデバイス５は、角度変化量の検出値に基づいて、ユーザ１０がポインティングデバイス５が指し示す位置を輪郭に沿って移動させたときの軌跡６０（図７参照）を算出することで、その軌跡６０が描く三角形の左端又は右端となる点（図１２（Ａ）に示すタイミングｔ１の点、又は、図１２（Ｂ）に示すタイミングｔ２の点に対応）が特定され（ステップＳｄ１）、軌跡６０の理論値と比較することにより、ステップＳｄ１にて特定した頂点が、頂点Ｐ１、Ｐ２、Ｐ３のどの頂点に対応するかが特定される（ステップＳｄ２）。本実施形態の場合には、ステップＳｄ２の処理により、頂点Ｐ２が特定されることになる。

そして、ポインティングデバイス５は、ステップＳｄ２にて特定した頂点から、三角形５０の輪郭に沿って移動させた際の回転方向に三角形５０の頂点Ｐ１、Ｐ２、Ｐ３を順に辿り、それぞれを前掲図１２に示すタイミングｔ１、ｔ２、ｔ３に順に対応付け、これにより、タイミングｔ１、ｔ２、ｔ３でのそれぞれで、ポインティングデバイス５が頂点Ｐ１、Ｐ２、Ｐ３のどれを指し示したかが特定される（ステップＳｄ３）。
そして、ポインティングデバイス５は、タイミングｔ１、ｔ２、ｔ３における角度変化量の記録値、及び、頂点Ｐ１、Ｐ２、Ｐ３のそれぞれの座標値に基づいて、ポインティングデバイス５の角度センサ１８が規定する座標系と、スクリーン４をＸＹ平面としたときの座標系とのズレ（スクリーン４に対するポインティングデバイス５の姿勢）を示すパラメータ（距離ｄ、角度θ及び角度φ）を特定し、ポインティングデバイス５の角度変化量と、ポインティング位置９との関係をキャリブレーションすることとなる（ステップＳｄ４）。

また、上記ステップＳｄ１にて算出した軌跡６０により、ユーザ１０がポインティングデバイス５にてスクリーン４を指し示す際の手ぶれを検出し利用することが可能である。具体的には、図１８に示すように、ポインティングデバイス５は、ユーザからみた理想的な三角形５０の軌跡、すなわち、キャリブレーションの結果として得られたパラメータ（距離ｄ、角度θ及び角度φ）に基づいて算出される仮想スクリーンＱ上の点Ｑ１、Ｑ２、Ｑ３を結ぶ軌跡を算出し（ステップＳｅ１）、この理想的な軌跡と、上記ステップＳｄ１にて算出した軌跡６０とを比較してユーザ１０の手ぶれ量を検出する（ステップＳｅ２）。そして、ポインティングデバイス５は、角度変化量を検出した際に、この手ぶれ量に基づいて、角度変化量の検出値を補正し（ステップＳｅ３）、これにより、手ぶれの影響の無いＸＹ座標値が算出されることとなる。
なお、ポインティングデバイス５がＸＹ座標値をプロジェクタ３に送信する条件を、角度変化量が手ぶれ量をこえた場合とし、単なる手ぶれによるポインティングデバイス５の移動時に、ポインティングデバイス５からプロジェクタ３へのＸＹ座標値の送信を禁止し、無駄な送信動作を抑制すると共に、手ぶれに伴うポインタ６の余計な移動を防止する構成としても良い。
また、ポインティングデバイス５がＸＹ座標値を算出する条件を、角度変化量が手ぶれ量をこえた場合として、ポインティングデバイス５の演算動作回数を抑制することも可能である。

以上説明したように、本実施形態によれば、スクリーン４上に３つの頂点Ｐ１、Ｐ２、Ｐ３を有する三角形５０を表示し、ポインティングデバイス５が指し示す位置を三角形５０の輪郭に沿って移動させたときの角度変化量を記録し、この角度変化量の記録値に基づいて、角度変化量とポインタ６を表示する位置とのキャリブレーションを行う構成とした。この構成により、スクリーン４上に表示される三角形５０の輪郭に沿ってポインティングデバイス５が指す位置を移動させることで、キャリブレーション操作が完了するため、投写像の４隅の各点を指し示す必要のある従来のキャリブレーション操作に比べて操作回数が減り、キャリブレーション操作が容易となる。
特に、キャリブレーション時には、三角形５０の輪郭に沿ってポインティングデバイス５を移動させるだけで良いため、点を指し示す必要のある従来のキャリブレーション操作に比べて、キャリブレーション操作がより容易となる。
また、ポインティングデバイス５の角度変化量を検出するためのセンサ（角度センサ１８）だけを備えれば良く、位置検出センサ等の他のセンサが不要となるため、装置構成が簡単になる。

さらに、スクリーン４上に表示される三角形５０の輪郭に沿ってポインティングデバイス５が指し示す位置を移動させたときの角度変化量により、スクリーン４に対するポインティングデバイス５の姿勢を示すパラメータ（角度θ及び角度φ）が特定される。これにより、スクリーン４に対する斜め横方向のポインティングデバイス５の姿勢も特定されるため、スクリーン４の正面のみならず、スクリーン４の斜め横方向からのポインティング動作に対しても正確にポインティング位置９にポインタ６を表示することができる。

また、本実施形態によれば、軌跡６０の算出値と理論値との対比結果に基づいて、ポインティングデバイス５を移動させたときの手ぶれ量を検出し、当該手ぶれ量に基づいて、角度変化量を補正する構成としたため、ユーザがポインティングデバイス５で指し示した位置に手ぶれの影響を受けずに正確にポインタ６を表示することができる。

なお、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態では、ポインティングデバイス５が角度変化量に基づいてポインティング位置９のＸＹ座標値を算出する座標変換部１９を備える構成としたが、これに限らず、プロジェクタ３がポインティングデバイス５から角度変化量を通信により受信して、ポインティング位置９のＸＹ座標値を算出する構成としても良い。
また、三角形５０の輪郭に沿ってポインティングデバイス５が指し示す位置を移動させたときの角度変化量に基づいて、プロジェクタ３がキャリブレーションを行う構成としても良い。
また、上述した実施形態では、キャリブレーション用の図形として三角形５０を例示したが、これに限らず、四角形などの４つ以上の頂点を有する多角形を用いる構成としても良い。

本発明の実施形態に係るプレゼンテーションシステムの構成を示す図。 ポインティングデバイスの構成図。 ポインティングデバイスの機能的構成を示すブロック図。 角速度センサの構成を模式的に示す図。 プロジェクタの機能的構成を示すブロック図。 ポインティングデバイスの動作を示すフローチャート。 キャリブレーションのために表示される図形を説明するための図。 スクリーンとポインティングデバイスとの位置関係を示す図。 ポインティングデバイスを視点とした３次元直交座標系を示す図。 Ｚ軸周りの回転を考慮した場合の３次元直交座標系を示す図。 キャリブレーション時の動作を示すフローチャート。 キャリブレーション時の角度変化量の記録値を示す図であり、（Ａ）は三角形の輪郭に沿って左回りで移動させた場合、（Ｂ）は右回りで移動させた場合を示す。 方位角の算出基準となる極座標を示す図。 キャリブレーション時の方位角を示す図であり、（Ａ）は三角形の輪郭に沿って左回りで移動させた場合、（Ｂ）は右回りで移動させた場合を示す。 キャリブレーション時の方位角の変化量を示す図であり、（Ａ）は三角形の輪郭に沿って左回りで移動させた場合、（Ｂ）は右回りで移動させた場合を示す。 回転方向の特定手順を示すフローチャート。 移動開始点の特定手順を示すフローチャート。 手ぶれ量の算出手順を示すフローチャート。

符号の説明

１…プレゼンテーションシステム、２…コンピュータ、３…プロジェクタ、４…スクリーン、５…ポインティングデバイス、６…ポインタ（ポインティングマーク）、１８…角度センサ、１８Ａ〜１８Ｃ…軸センサ、１９…座標変換部、５０…三角形（多角形）、６０…輪郭、Ｐ１、Ｐ２、Ｐ３…頂点。

Claims (5)

1. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、
   角度変化量を検出する角度変化量検出手段を前記ポインティングデバイスに設け、前記スクリーン上の前記角度変化量に応じた位置にポインティングマークを表示すると共に、
   前記スクリーン上に少なくとも３つの頂点を有する多角形を表示し、前記ポインティングデバイスが指し示す位置を前記多角形の輪郭に沿って移動させたときの前記角度変化量を記録し、この角度変化量の記録値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行う
   ことを特徴とする情報表示システム。
2. 請求項１に記載の情報表示システムにおいて、
   前記多角形の輪郭に沿って移動させたときの移動方向を前記角度変化量の記録値に基づいて特定する移動方向特定手段と、
   前記角度変化量の記録値に基づいて、前記多角形の輪郭に沿って移動させたときの軌跡を算出し、当該軌跡の算出値と当該軌跡の理論値との対比結果、及び、前記移動方向に基づいて、前記多角形の各頂点での角度変化量を特定する角度変化量特定手段とを有し、
   前記多角形の各頂点での角度変化量、及び、前記多角形の各頂点の座標値に基づいて前記キャリブレーションを行う
   ことを特徴とする情報表示システム。
3. 請求項２に記載の情報表示システムにおいて、
   前記ポインティングデバイスが指し示す方向を軸とした第１の直交３次元座標系の各軸に対する角度変化量を検出するように前記角度変化量検出手段を構成すると共に、
   前記キャリブレーション時には、前記多角形の各頂点での角度変化量、及び、前記多角形の各頂点の座標値に基づいて、前記前記スクリーンをＸＹ平面としたときの第２の直交３次元座標系と、前記第１直交座標系との相対的な位置関係を規定するパラメータを特定することを特徴とする情報表示システム。
4. 請求項２又は３に記載の情報表示システムにおいて、
   前記軌跡の算出値と前記軌跡の理論値との対比結果に基づいて、前記ポインティングデバイスを移動させたときの手ぶれ量を検出し、当該手ぶれ量に基づいて、前記角度変化量検出手段により検出される角度変化量を補正する
   ことを特徴とする情報表示システム。
5. スクリーンに画像を投写して投写像を表示する投写装置と、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスが指し示す位置にポインティングマークを表示する情報表示システムの前記ポインティングマークの表示する位置を制御するポインティング制御方法であって、
   前記スクリーン上に少なくとも３つの頂点を有する多角形を表示し、前記ポインティングデバイスが指し示す位置を前記多角形の輪郭に沿って移動させたときの前記角度変化量を記録し、この角度変化量の記録値に基づいて、前記角度変化量検出手段により検出される角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行うことを特徴とするポインティング制御方法。

Images