JP2009162967A - 指示器および指示システム - Google Patents

Abstract

【課題】ディスプレイ上の位置指定と、ディスプレイに表示された画像に対する操作とを、手ぶれの影響なく行なうことができる指示器を実現する。
【解決手段】コンピュータ１０４０は、指示器１０３０に設けられたタッチパッドユニットにおいてユーザからの入力がない場合には、指示器１０３０が指定するディスプレイ１０１０上の位置（指示器座標値）をユーザが指定するディスプレイ１０１０上の位置（画面座標値）とする。タッチパッドユニットにおいてユーザからの入力がある場合には、タッチパッドユニット上の指の位置（パッド座標値）と前回のパッド座標値との差分を画面座標値に加算して新たな画面座標値とし、その位置にポイントマークを表示する。さらに、タッチパッドユニットにおける入力の有無またはパッド座標値からユーザの指示する機能を算出し、その機能を実行した結果をディスプレイ１０１０に表示する。
【選択図】図１

Description

この発明は指示器および指示システムに関し、特に、ディスプレイやスクリーンの位置を遠隔で指定すると共に、表示された画像に対する操作を遠隔で行なうための指示器および指示システムに関する。

従来、ディスプレイやスクリーンにおいて、表示画面上の位置を、ディスプレイやスクリーンから離れた場所から指定する技術が考えられている。

たとえば、特開平６−３０８８７９号公報（以下、特許文献１）に記載の「光学式ポインティングシステム」では、表示画面の近傍に発光素子が設けられ、指示器には光電変換素子を用いた撮像装置が内蔵される。指示器は、撮像装置によって発光素子を撮像し、撮像画像を元に指示器が指定する表示画面上の位置が算出される。算出位置にはポイントマークが表示される。

特開２００７−６１４８９号公報（以下、特許文献２）に記載の「情報処理システムおよびプログラム」では、表示装置の周辺にマーカと呼ばれる赤外線ＬＥＤ（Light Emitting Diode）が配置される。赤外線ＬＥＤはゲーム機のコントローラに内蔵された撮像素子により撮像され、撮像された画像を元に、コントローラが表示画面上のどの位置に向いているかが算出される。この装置はゲームに限らず、たとえば、算出位置にポイントマークを表示することにより、一般的な指示システムとして用いることができる。

これらの指示装置は表示画面上の位置を絶対座標で指定できる。そのため、マウスのような相対座標で位置を指定する装置に比べて、大型ディスプレイやスクリーンにおける位置の指定が容易であり直感的である。

このように、特許文献１のシステムや特許文献２のシステムは、電子会議プレゼンテーション・システムや電子会議システムに利用することができる。電子会議プレゼンテーション・システムや電子会議システムでは、パーソナルコンピュータ（ＰＣ）の画面が大型ディスプレイやスクリーンに表示されることがあり、指示器でユーザが所望する操作（マウスのクリック等に相当する操作）を行なうことができると便利である。
特開平６−３０８８７９号公報 特開２００７−６１４８９号公報

しかしながら、大型ディスプレイやスクリーンでＰＣの画面を表示すると、クリック対象の画像（たとえば、アイコン等）はディスプレイやスクリーンの面積に対して非常に小さい。そのため、特許文献１のシステムや特許文献２のシステムでは、手ぶれのために、ポイントマークをクリック対象の画像の上で静止させることが難しいという問題がある。

また、指示器にボタンを配置し、ボタンの押下をクリック等の操作に対応させた場合、ボタンを押下するという操作により大きな手ぶれが生じてしまい目的の位置をクリックできないという問題がある。

本発明はこのような問題に鑑みてなされたものであって、大型ディスプレイやスクリーンなどの表示画像に対して的確な操作を行なうことのできる指示器および指示システムを提供することを目的とする。

上記目的を達成するために、本発明のある局面に従うと、指示器は、撮像手段と、撮像手段で撮像して得られた画像データを解析し、画像データの所定位置に対応する、撮像手段で撮像されたディスプレイ上の位置を示す第１座標値を算出する第１座標値算出手段と、ユーザ操作を受け付ける第２座標値入力手段と、ユーザ操作に基づいて、第２座標値入力手段におけるユーザ操作に関連する位置を示す第２座標値を算出する第２座標値算出手段と、第１座標値と第２座標値とに基づいて、ディスプレイ上の指定位置を示す画面座標値を算出する画面座標値算出手段とを備える。

好ましくは、指示器は、機能を指定するため入力操作を受け付ける機能入力手段と、機能入力手段で受け付けた入力操作の内容に基づいて、指定された機能を特定する機能算出手段とをさらに備える。

より好ましくは、画面座標値算出手段は、移動モードとして第１座標値移動モードと第２座標値移動モードとを有し、第２座標値移動モードはさらに内部モードとして内部入力モードと内部待機モードとを有し、画面座標値算出手段は、現在の移動モードと、移動モードにおいて受け付けた入力操作またはユーザ操作とに基づいて、現在のモードから移行する次の移動モードを判定する移動モード判定手段と、第１座標値移動モードにおいて、第１座標値に基づいて画面座標値を算出する処理である第１座標値移動処理を実行する第１座標値移動処理手段と、第２座標値移動モードにおいて、第２座標値に基づいて画面座標値を算出する処理である第２座標値移動処理を実行する第２座標値移動処理手段とを含む。

より好ましくは、第１座標値移動処理手段は、第１座標値移動モードにおいて、第２座標値入力手段においてユーザ操作を受け付けない場合に、第１座標値を画面座標値とし、第１座標値移動モードにおいて、第２座標値入力手段においてユーザ操作を受け付けた場合に、移動モードを第１座標値移動モードから第２座標値移動モードに設定し、内部モードを内部入力モードに設定し、ユーザ操作に基づいて算出された第２座標値を最終第２座標値として記憶する処理を実行する。

より好ましくは、第２座標値移動処理手段は、内部モードを判定する内部モード判定手段と、内部入力モードの際に実行する内部入力モード処理手段と、内部待機モードの際に実行する内部待機モード処理手段とを含む。

より好ましくは、内部入力モード処理手段は、内部入力モードにおいて、第２座標値入力手段においてユーザ操作を受け付けない場合に、内部モードを内部入力モードから内部待機モードに変更し、内部入力モードにおいて、第２座標値入力手段においてユーザ操作を受け付けた場合に、ユーザ操作に基づいて算出された第２座標値と最終第２座標値との差分を定数倍した結果を画面座標値に加算した結果を新たな画面座標値に設定し、最終第２座標値をユーザ操作に基づいて算出された第２座標値に更新する処理を実行する。

より好ましくは、内部待機モード処理手段は、内部待機モードにおいて、第２座標値入力手段においてユーザ操作を受け付けず、かつ、内部待機モードに移行してからの経過時間が所定時間を超過した場合に、移動モードを第２座標値移動モードから第１座標値移動モードに設定し、内部待機モードにおいて、第２座標値入力手段においてユーザ操作を受け付けた場合に、内部モードを内部待機モードから内部入力モードに設定し、ユーザ操作に基づいて算出された第２座標値を最終第２座標値として記憶する処理を実行する。

本発明の他の局面に従うと、指示システムは指示器と座標処理装置とを含む指示システムであって、ディスプレイ上の位置を指定する指定手段と、指定手段で指定されたディスプレイ上の位置を示す情報に基づいて指定された位置を示す第１座標値を算出する第１座標値算出手段と、ユーザ操作を受け付ける第２座標値入力手段と、ユーザ操作に基づいて、第２座標値入力手段におけるユーザ操作に関連する位置を示す第２座標値を算出する第２座標値算出手段と、第１座標値と第２座標値とに基づいて、ディスプレイ上の指定位置を示す画面座標値を算出する画面座標値算出手段と、機能を指定するため入力操作を受け付ける機能入力手段と、入力操作を示す情報に基づいて、指定された機能を特定する機能算出手段と、画面座標値で示されるディスプレイ上の指定位置に、所定のマークを表示させるための処理、および指定された機能を実行する処理を行なう表示手段とを備え、指示器は、指定手段、第１座標算出手段、第２座標値入力手段、第２座標値算出手段、画面座標値算出手段、機能入力手段、および機能算出手段のうちの、少なくとも指定手段、第２座標値入力手段、第２座標値算出手段、および機能入力手段と、座標処理装置に対して情報を送信する送信手段とを備え、座標処理装置は、表示手段と、第１座標値算出手段、画面座標値算出手段、および機能算出手段のうちの、指示器の備えていない手段と、送信手段で指示器から送信される情報を受信する受信手段とを備える。

好ましくは、指示器は、指定手段と、第２座標値入力手段と、第２座標値算出手段と、機能入力手段と、送信手段とを備え、送信手段は、指定手段で指定されたディスプレイ上の位置と、第２座標値算出手段で算出された第２座標値と、機能入力手段での入力操作で指定された機能を表わす情報とを座標処理装置に対して送信し、座標処理装置は、表示手段と、第１座標値算出手段と、画面座標値算出手段と、機能算出手段と、受信手段とを備え、受信手段は、送信手段で指示器から送信される、ディスプレイ上の位置と、第２座標値と、機能を表わす情報とを受信する。

好ましくは、指示器は、指定手段と、第１座標算出手段と、第２座標値入力手段と、第２座標値算出手段と、機能入力手段と、送信手段とを備え、送信手段は、第１座標値算出手段で算出された第１座標値と、第２座標値算出手段で算出された第２座標値と、機能入力手段での入力操作で指定された機能を表わす情報とを座標処理装置に対して送信し、座標処理装置は、表示手段と、画面座標値算出手段と、機能算出手段と、受信手段とを備え、受信手段は、送信手段で指示器から送信される、第１座標値と、第２座標値と、機能を表わす情報とを受信する。

好ましくは、指示器は、指定手段と、第１座標算出手段と、第２座標値入力手段と、第２座標値算出手段と、機能入力手段と、機能算出手段と、送信手段とを備え、送信手段は、第１座標値算出手段で算出された第１座標値と、第２座標値算出手段で算出された第２座標値と、機能算出手段で算出された機能を表わす情報とを座標処理装置に対して送信し、座標処理装置は、表示手段と、画面座標値算出手段と、受信手段とを備え、受信手段は、送信手段で指示器から送信される、第１座標値と、第２座標値と、機能を表わす情報とを受信する。

好ましくは、指示器は、指定手段と、第１座標算出手段と、第２座標値入力手段と、第２座標値算出手段と、画面座標値算出手段と、機能入力手段と、機能算出手段と、送信手段とを備え、送信手段は、画面座標値算出手段で算出された画面座標値と、機能算出手段で算出された機能を表わす情報とを座標処理装置に対して送信し、座標処理装置は、表示手段と、受信手段とを備え、受信手段は、送信手段で指示器から送信される、画面座標値と、機能を表わす情報とを受信する。

本発明によれば、大型ディスプレイやスクリーンにおいて、手ぶれの影響なく離れた位置から画面上の位置を指定できると共に、手ぶれの影響なく表示画像に対する操作を行なうことができる装置を構成できる。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。

はじめに、指示器と座標装置とが連動する指示システムについて説明する。その後、指示システムの構成要素を用いて、第１座標値算出手段と第２座標値入力手段と第２座標値算出手段と機能入力手段と機能算出手段と画面座標値算出手段とを含んだ指示器の構成方法を説明する。

［第１の実施の形態］
（１．指示システムの構成）
図１は、本実施の形態にかかる指示システムの構成の具体例を示す図である。図１を差して、指示システムには、コンピュータ１０４０と接続されたディスプレイ１０１０と、コンピュータ１０４０と接続された指示器１０３０とが含まれる。ディスプレイ１０１０の周辺（図１では上方）には、ディスプレイ１０１０を含む平面に対して垂直方向に設置された２つの発光手段である赤外線ＬＥＤ（Light Emitting Diode）１０２０ａ，１０２０ｂが設置される。

コンピュータ１０４０とディスプレイ１０１０とは有線での通信、または無線での通信を行ない、コンピュータ１０４０からディスプレイ１０１０にデータが伝送される。ディスプレイ１０１０はコンピュータ１０４０から出力されるデータに基づいて画像を表示する。

赤外線ＬＥＤ１０２０ａ，１０２０ｂはディスプレイ１０１０の前方に向かって赤外光を含む光を出力する。赤外線ＬＥＤ１０２０ａ，１０２０ｂは、指示器１０３０を使用する際には常に発光する。

指示器１０３０には後述する標値入力手段が含まれて、後述する方法により入力データを処理する。指示器１０３０とコンピュータ１０４０とは無線通信を行なう。指示器１０３０は無線通信でコンピュータ１０４０に処理後のデータを送信する。

コンピュータ１０４０は、指示器１０３０から受信したデータを元にユーザが指定した位置を算出し、ディスプレイ１０１０にポイントマーク１０５０を表示するためのデータを出力する。また、コンピュータ１０４０は指示器１０３０から受信したデータを元にユーザが指示する機能を算出して特定し、その機能を実行した結果をディスプレイ１０１０に表示するためのデータを出力する。ユーザが指示する機能とは、例えば、マウスのクリックやダブルクリック等に対応して予め規定されている機能である。後述するように指示器１０３０に備えられる標値入力手段にはタッチパッドが含まれ、ユーザがタッチパッドを軽く叩く操作（タップ操作）を検出することで、コンピュータ１０４０は、ユーザが指示する機能を実行できるようにする。

図２は、指示器１０３０の概観の具体例を示す図である。ユーザが指示器１０３０を把持し、その一端でディスプレイ１０１０上の所定位置を指し示すことで、指示器１０３０はコンピュータ１０４０に対して上記所定位置の情報を入力する。

図２を参照して、指示器１０３０はユーザが把持できる程度の直径の円筒形であり、その表面であって、ユーザが把持した状態で指で触れることが可能な位置に、タッチパッドを含んだ、第２座標値入力手段および機能入力手段としてのタッチパッドユニット３０１１が備えられる。また、その一方の先端から内部にかけて、指標座標値入力手段および撮像手段としての赤外線フィルタ３０２１、レンズ３０２２、および撮像素子３０２３が備えられる。なお、図２に示された指示器１０３０の概観は、言うまでもなく本発明にかかる指示器の外観の１つの具体例であり、本発明にかかる指示器の外観は図２に示された形態に限定されない。

図３は、指示器１０３０の内部構成の具体例を示す図である。図３を参照して、指示器１０３０は、大きくは、ユーザ入力演算部３０１０、撮像情報演算部３０２０および通信部３０３０を含む。

ユーザ入力演算部３０１０はタッチパッドユニット３０１１およびパッド座標値算出回路３０１２を含む。

タッチパッドユニット３０１１は、たとえば静電式のものが挙げられ、ユーザの指が所定距離内に入る（あるいはタッチパッドに触れる）ことによる静電容量の変化を検出する。または、その他の方法でユーザの指が所定距離内に入ったことを検出するようにしてもよい。タッチパッドユニット３０１１は、ユーザの指がタッチパッドユニット３０１１から所定距離内に入ったことを検出すると、その位置に応じた検出信号をパッド座標値算出回路３０１２に入力する。第２座標値算出手段であるパッド座標値算出回路３０１２は、入力された検出信号により、タッチパッドユニット３０１１から所定距離内の指の、タッチパッドユニット３０１１上の座標値（以下、パッド座標値と呼ぶ）を、第２座標値として算出する。パッド座標値は、タッチパッドユニット３０１１の左上を原点とし、右向きをｘ軸正方向、下向きをｙ軸正方向とするｘｙ座標系で表現されるものとする。パッド座標値算出回路３０１２は得られたパッド座標値を通信部３０３０に対して出力する。

撮像情報演算部３０２０は、指示器１０３０の端部から順に、赤外線フィルタ３０２１、レンズ３０２２、撮像素子３０２３、および画像処理回路３０２４を含む。

赤外線フィルタ３０２１は、上述の指示器１０３０の一端で指し示された前方より入射する光のうちの赤外線のみを通過させる。レンズ３０２２は、赤外線フィルタ３０２１を透過した赤外線を集光して撮像素子３０２３へ出射する。撮像素子３０２３は、例えばＣＭＯＳセンサやＣＣＤのような固体撮像素子であり、レンズ３０２２が集光した赤外線を撮像して画像データを生成する。先述のように、ディスプレイ１０１０の上方に備えられる赤外線ＬＥＤ１０２０ａ，１０２０ｂはディスプレイ１０１０の前方に向かって赤外光を出力する。そのため、ユーザが指示器１０３０の一端でディスプレイ１０１０上の所定位置を指し示すと、撮像素子３０２３によって撮像される画像には赤外線ＬＥＤ１０２０ａ，１０２０ｂからの発光が含まれる。

撮像素子３０２３によって生成された画像データは、画像処理回路３０２４に入力される。画像処理回路３０２４は、撮像素子３０２３から入力された画像データを解析処理し、撮像画像内における赤外線ＬＥＤ１０２０ａ，１０２０ｂの位置を示す各座標値（以下、ＬＥＤ座標値とよぶ）を、指標座標値として算出する。ＬＥＤ座標値は、撮像画像の左上を原点とし、右向きをｘ軸正方向、下向きをｙ軸正方向とするｘｙ座標系で表現されるものとする。画像処理回路３０２４は、算出したＬＥＤ座標値を通信部３０３０に対して出力する。

通信部３０３０は、マイクロコンピュータ（Micro Computer：以下、マイコン）３０３１、アンテナに接続された無線通信モジュール３０３２、およびメモリ３０３３を含む。メモリ３０３３はマイコン３０３１で実行されるプログラムを記憶する。また、マイコン３０３１が上記プログラムを実行する際の記憶領域としても機能する。無線通信モジュール３０３２の例としては、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）が挙げられる。

マイコン３０３１は、パッド座標値算出回路３０１２および画像処理回路３０２４に接続されて、パッド座標値算出回路３０１２からパッド座標値を得、画像処理回路３０２４からＬＥＤ座標値を得る。そして、これらのデータを無線通信モジュール３０３２により送信するために、無線通信モジュール３０３２にデータを渡すと共に無線通信モジュール３０３２に対して制御信号を出力する。

なお、図３に示された指示器１０３０の内部構成は、言うまでもなく本発明にかかる指示器の内部構成の１つの具体例であり、本発明にかかる指示器の内部構成は図３に示された構成に限定されない。たとえば、内部に図示しないＣＰＵ（Central Processing Unit）とメモリとを含み、ＣＰＵがパッド座標値算出回路３０１２、画像処理回路３０２４、およびマイコン３０３１の少なくとも１つとして機能してもよい。

図４は、第１座標値算出手段と機能算出手段と画面座標値算出手段とを含む座標処理装置としての、コンピュータ１０４０のハードウェア構成の具体例を示すブロック図である。

図４を参照して、コンピュータ１０４０は、入力装置であるキーボード４０１０およびマウス４０２０と、ＣＰＵ（Central Processing Unit）４０３０と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含むメモリ４０４０と、固定ディスク４０５０と、出力インタフェース４０９０とを備える。コンピュータ１０４０は出力インタフェース４０９０を通じて、表示画像をディスプレイ１０１０に出力する。

コンピュータ１０４０は、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）４０６１などの光ディスクからデータを読取可能な光ディスクドライブ４０６０と、フレキシブルディスク（ＦＤ：Flexible Disk）４０７１からデータを読取可能なＦＤドライブ４０７０と、外部装置とデータ授受可能な無線通信モジュール４０８０とをさらに備える。固定ディスク４０５０に格納されるプログラムは、ＣＤ−ＲＯＭ４０６１やフレキシブルディスク４０７１などの記録媒体に格納されて流通し、光ディスクドライブ４０６０やＦＤドライブ４０７０などによって読取られて固定ディスク４０５０にインストールされる。このような形態に替えて、コンピュータ１０４０が無線通信モジュール４０８０を介してネットワーク接続されている場合には、ネットワーク上のサーバから送信されるプログラムを受信して、固定ディスク４０５０にインストールするようにしてもよい。なお、ネットワーク経由でプログラムを受信する場合には、固定ディスク４０５０にインストールすることなくＲＡＭ上にロードした上で当該プログラムを実行してもよい。

なお、プログラムを格納する記録媒体は、ＣＤ−ＲＯＭ４０６１やフレキシブルディスク４０７１に限られず、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disk）やメモリカードであってもよく、その場合には、コンピュータ１０４０にそのような記録媒体を読取可能なドライブ装置が設けられる。

指示器１０３０から送信されたパッド座標値とＬＥＤ座標値とはコンピュータ１０４０の無線通信モジュール４０８０により受信される。受信されたパッド座標値とＬＥＤ座標値とはメモリ４０４０の所定領域に記憶される。

コンピュータ１０４０はメモリ４０４０または固定ディスク４０５０等に内蔵されたプログラムを実行する。プログラムはコンピュータ１０４０に、無線通信モジュール４０８０で受信した指標座標値としてのＬＥＤ座標値を元に、指示器１０３０によって指定されたディスプレイ１０１０上の位置（以下、指示器座標値と呼ぶ）を、第１座標値として算出させる。そして、パッド座標値と指示器座標値とを元に、指示器１０３０によって指定されたディスプレイ１０１０上の位置であって、ポイントマーク１０５０を表示させる指定位置を示す座標値（以下、画面座標値と呼ぶ）を算出させる。指示器座標値と画面座標値とはディスプレイ１０１０の左上を原点とし、右向きをｘ軸正方向、下向きをｙ軸正方向とするｘｙ座標系で表現されるものとする。また、プログラムはコンピュータ１０４０に、受信したデータを元にユーザが指示した機能を算出して特定させ、その機能を実行した結果をディスプレイ１０１０に表示させる。

（２．指示システムの処理の流れ）
図５は、パッド座標値算出回路３０１２の処理の流れを示すフローチャートである。図５のフローチャートに示される処理は、パッド座標値算出回路３０１２において所定の間隔ごとに実行される。図５を参照して、パッド座標値算出回路３０１２は、タッチパッドユニット３０１１から指が所定距離内にあること、またはタッチパッドユニット３０１１上に指が置かれていることを検出した検出信号を受けた場合（ステップＳ６０１においてＹｅｓ）、検出信号に基づいてパッド座標値を算出し、通信部３０３０に出力する（ステップＳ６０２）。

上記所定の間隔内にタッチパッドユニット３０１１から上記検出信号を受けていない場合、つまり上記所定の間隔内にタッチパッドユニット３０１１において指が検出されなかった場合（ステップＳ６０１においてＮｏ）、予め規定されている無効なパッド座標値（たとえば座標値（−１，−１））を通信部３０３０に出力する（ステップＳ６０３）。

図６は、画像処理回路３０２４の処理の流れを示すフローチャートである。図６のフローチャートに示される処理は、画像処理回路３０２４において所定の間隔ごとに実行される。図６を参照して、画像処理回路３０２４は撮像素子３０２から撮像画像を取得し（ステップＳ５０１）、撮像画像からＬＥＤ座標値を算出して通信部３０３０に出力する（ステップＳ５０２）。ＬＥＤ座標値を算出する具体的な方法は本発明において特定の方法には限定されず、たとえば上記特許文献２に開示されているような、既知の方法を採用することができる。具体的な方法としては、例えば、撮像画像から所定のしきい値以上である輝度部分を特定し、特定された２箇所の部分の位置を撮像画像中の赤外線ＬＥＤ１０２０ａ，１０２０ｂの位置として算出することでＬＥＤ座標値を得る、という方法が挙げられる。

図７は、マイコン３０３１の処理の流れを示すフローチャートである。図７を参照して、マイコン３０３１は、画像処理回路３０２４からＬＥＤ座標値、またはパッド座標値算出回路３０１２からパッド座標値を取得する（ステップＳ８０１）。そして、無線通信モジュール３０３２を用いて取得した座標値を送信する（ステップＳ８０２）。

コンピュータ１０４０は無線通信モジュール３０３２により送信された座標値を、所定時間間隔で取得する。取得された座標値のうちで最新のパッド座標値および最新のＬＥＤ座標値とが現在パッド座標値および現在ＬＥＤ座標値としてメモリ４０４０の所定領域に格納される。メモリ４０４０の所定領域には、現在パッド座標値および現在ＬＥＤ座標値と、少なくとも直前のパッド座標値およびＬＥＤ座標値（以下、最終パッド座標値および最終ＬＥＤ座標値と呼ぶ）とが格納されているものとする。

図８は、コンピュータ１０４０の状態遷移を示す図である。図８に示される状態遷移はメモリ４０４０または固定ディスク４０５０等に内蔵されたプログラムに記憶される。コンピュータ１０４０は、上記プログラムを実行して図８に示される所定条件に基づいて現在の状態を決定し、メモリ４０４０の所定領域に、現在の状態を記憶する。

図８を参照して、コンピュータ１０４０は移動モードとして、第１の移動モードである指示器座標値移動モードと、第２の移動モードであるパッド座標値移動モードとをもつ。指示器座標値移動モードは後述する指示器座標値移動処理を行なうモードであり、パッド座標値移動モードは後述するパッド座標値移動処理を行なうモードである。パッド座標値移動モードは、さらに、内部モードであるパッドモードとして、パッド入力モードとパッド待機モードとをもつ。パッド入力モードは後述するパッド入力モード処理を行なうモードであり、パッド待機モードは後述するパッド待機モード処理を行なうモードである。

初期状態は指示器座標値移動モード（状態Ｓ１７０１）である。指示器座標値移動モードでは、現在パッド座標値が無効な座標値（−１，−１）の場合、コンピュータ１０４０は指示器座標値をそのまま画面座標値とし、画面座標値にポイントマーク１０５０を表示する。現在パッド座標値が有効の場合、コンピュータ１０４０は、状態をパッド入力モード（状態Ｓ１７０２）に遷移する。

パッド入力モードでは、コンピュータ１０４０は現在パッド座標値と最終パッド座標値との差分を算出し、その差分を現在の画面座標値に加算することで新たな画面座標値を算出し、その位置にポイントマーク１０５０を表示する。パッド入力モードにおいてユーザによるタップ操作を検出すると、コンピュータ１０４０は、タップ操作に対応する機能を実行する。そして、コンピュータ１０４０は、状態を指示器座標値移動モード（状態Ｓ１７０１）に遷移する。

また、パッド入力モードにおいて無効な現在パッド座標値を取得した場合には、コンピュータ１０４０は、状態をパッド待機モード（状態Ｓ１７０３）に遷移する。パッド待機モードにおいて、有効な現在パッド座標値を取得した場合は、コンピュータ１０４０は、状態をパッド入力モードに遷移する。パッド待機モードにおいて、一定時間経過した場合には、コンピュータ１０４０は、状態を指示器座標値移動モードに遷移する。

（３．コンピュータ１０４０の処理の流れ）
図９〜図１６はコンピュータ１０４０の処理の流れを示すフローチャートである。図９〜図１６のフローチャートに示される処理の流れは、ＣＰＵ４０３０が主としてメモリ４０４０または固定ディスク４０５０に格納されたプログラムを読出して実行することによって実現される。

図９は、コンピュータ１０４０における処理の概要を示すフローチャートである。図９に示される、コンピュータ１０４０での処理は、例えば図示されない電源ボタンで電源ＯＮが指示されるなどして処理の開始が指示されると開始される。

図９を参照して、始めに、ＣＰＵ４０３０は初期化処理を行なう（ステップＳ９０１）。次に、ＣＰＵ４０３０は、メモリ４０４０の所定領域から現在ＬＥＤ座標値と現在パッド座標値とを読出して取得する（ステップＳ９０２）。そして、ＣＰＵ４０３０は、現在ＬＥＤ座標値から指示器座標値を算出する（ステップＳ９０３）。

ステップＳ９０３における現在ＬＥＤ座標値を元に指示器座標値を算出する具体的な方法は、本発明において特定の方法に限定されない。たとえば、上記特許文献２に記載されている方法などの既知の方法を採用することができる。具体的には、次のような方法を採用することができる。すなわち、ＣＰＵ４０３０は、たとえば指示器１０３０がディスプレイ１０１０の中央を指定している時のＬＥＤ座標値を絶対位置としてメモリ４０４０の所定領域などに格納しておき、上記絶対位置の座標値からステップＳ９０２で取得した現在ＬＥＤ座標値を減じることで、上記絶対位置から赤外線ＬＥＤ１０２０ａ，１０２０ｂまでの距離および方向を算出する。算出された距離および方向は撮像画像（のサイズ）におけるｘｙ座標系で表現されるものであるため、撮像画像のサイズとディスプレイ１０１０のサイズとで定められる所定の係数を乗じることで、算出された距離および方向をディスプレイ１０１０（のサイズ）におけるｘｙ座標系に変換する。ディスプレイ１０１０（のサイズ）におけるｘｙ座標系に変換された距離および方向を、予め記憶されているディスプレイ１０１０の中央を示す座標値に加算することで、指示器座標値が算出される。

指示器座標値が算出されるとＣＰＵ４０３０はメモリ４０４０の所定領域を参照して、現在設定されている移動モードを確認する（ステップＳ９０４）。移動モードが指示器座標値移動モードであれば（ステップＳ９０４においてＹｅｓ）、ＣＰＵ４０３０は指示器座標値移動処理を行なう（ステップＳ９０５）。そして、処理の終了が指示されるまで（ステップＳ９０６においてＮｏ）、ステップＳ９０２以降の処理を繰り返す。

移動モードが指示器座標値移動モードでなければ（ステップＳ９０４においてＮｏ）、すなわち、移動モードがパッド座標値移動モードであれば、ＣＰＵ４０３０はパッド座標値移動処理を行ない（ステップＳ９０７）、同様に、処理の終了が指示されるまで（ステップＳ９０６においてＮｏ）、ステップＳ９０２以降の処理を繰り返す。

そして、例えば図示されない電源ボタンで電源ＯＦＦが指示されるなどして処理の終了が指示されると（ステップＳ９０６でＹｅｓ）、ＣＰＵ４０３０は一連の処理を終了する。

図１０は、ステップＳ９０１の初期化処理の流れを示すフローチャートである。図１０を参照して、最初に、ＣＰＵ４０３０は画面座標値をディスプレイ１０１０上の予め規定した所定位置（たとえば中央位置）の座標値に設定する（ステップＳ１００１）。次に、ＣＰＵ４０３０は画面座標値にポイントマーク１０５０を表示させるよう、ディスプレイ１０１０に対して座標値と、（必要に応じて）画像データと、制御信号とを出力する（ステップＳ１００２）。その後、ＣＰＵ４０３０は移動モードを指示器座標値移動モードに設定する（ステップＳ１００３）。以上で初期化処理が終了し、処理が上記ステップＳ９０２に移行する。

図１１は、ステップＳ９０５の指示器座標値移動処理の流れを示すフローチャートである。図１１を参照して、ＣＰＵ４０３０は、メモリ４０４０の所定領域に格納されている現在パッド座標値を参照し、現在パッド座標値がたとえば座標値（−１，−１）などの予め規定されている無効な値であれば（ステップＳ１１０１においてＹｅｓ）、すなわち、指示器座標値移動モードにおいてパッドによる入力がなければ、指示器座標値を画面座標値に設定する（ステップＳ１１０２）。そして、ＣＰＵ４０３０は、画面座標値の位置にポイントマーク１０５０を表示させるよう、ディスプレイ１０１０に対して画像データと制御信号とを出力する（ステップＳ１１０３）。

現在パッド座標値が予め規定されている無効な値（−１，−１）でなければ（ステップＳ１１０１においてＮｏ）、すなわち、指示器座標値移動モードにおいてパッドによる入力があれば、ＣＰＵ４０３０は、移動モードを指示器座標値移動モードからパッド座標値移動モードに変更する（ステップＳ１１０４）。さらに、パッドモードをパッド入力モードに変更し（ステップＳ１１０５）、上記パッド入力にかかる現在時刻をパッド入力開始時刻およびパッド入力最終時刻としてメモリ４０４０に記憶する（ステップＳ１１０６）。また、上記パッド入力にかかる現在パッド座標値を最終パッド座標値としてメモリ４０４０に記憶する（ステップＳ１１０７）。以上で指示器座標値移動処理が終了し、処理が上記ステップＳ９０６に移行する。

図１２は、ステップＳ９０７のパッド座標値移動処理の流れを示すフローチャートである。図１２を参照して、ＣＰＵ４０３０は、メモリ４０４０の所定領域を参照して、現在のパッドモードを確認する。現在のパッドモードがパッド入力モードであれば（ステップＳ１２０１においてＹｅｓ）、ＣＰＵ４０３０は、パッド入力モード処理（ステップＳ１２０２〜Ｓ１２０４）を実行する。

詳しくは、ＣＰＵ４０３０は、始めにメモリ４０４０の所定領域を参照して現在パッド座標値を判定する。その結果、現在パッド座標値が無効な値である座標値（−１，−１）であれば（ステップＳ１２０２においてＹｅｓ）、すなわち、パッド入力モードにおいてパッドによる入力がなければ、タップ検出処理を行なう（ステップＳ１２０３）。一方、現在パッド座標値が無効な値である座標値（−１，−１）でなければ（ステップＳ１２０２においてＮｏ）、すなわち、パッド入力モードにおいてパッドによる入力があれば、画面座標値更新処理を行なう（ステップＳ１２０４）。

上記ステップＳ１２０１で確認された現在のパッドモードがパッド入力モードでなければ（ステップＳ１２０１においてＮｏ）、すなわち、パッドモードがパッド待機モードであれば、ＣＰＵ４０３０は、パッド待機モード処理（ステップＳ１２０５〜Ｓ１２０７）を実行する。

詳しくは、ＣＰＵ４０３０は、始めにメモリ４０４０の所定領域を参照して現在パッド座標値を判定する。その結果、現在パッド座標値が無効な値である座標値（−１，−１）であれば（ステップＳ１２０５においてＹｅｓ）、すなわち、パッド待機モードにおいてパッドによる入力がなければ、パッドタイムアウト検出処理を行なう（ステップＳ１２０６）。一方、現在パッド座標値が無効な値である座標値（−１，−１）でなければ（ステップＳ１２０５においてＮｏ）、すなわち、パッド待機モードにおいてパッドによる入力があれば、パッド再入力開始処理を行なう（ステップＳ１２０７）。以上でパッド座標値移動処理が終了し、処理が上記ステップＳ９０６に移行する。

図１３は、パッド入力モードにおいてパッドによる入力が検出されなかった場合に実行される、ステップＳ１２０３のタップ検出処理の流れを示すフローチャートである。図１３を参照して、ＣＰＵ４０３０は、最初に、タップ操作が行なわれたか否かを判断する。具体的には、現在時刻とパッド入力開始時刻との差分が、しきい値である所定のタップ最大時間未満であれば（ステップＳ１３０１においてＹｅｓ）、ＣＰＵ４０３０は、タップ操作が行なわれたと判断する。すなわち、パッド入力開始時刻からタッチパッドが操作された時刻までの時間が一定時間よりも短ければ、ＣＰＵ４０３０は、タップ操作が行なわれたと判断する。タップ操作が行なわれたと判断した場合、ＣＰＵ４０３０は、現在の画面座標値において、予め規定されているタップ操作に対応する機能を実行する（ステップＳ１３０２）。また、移動モードをパッド入力モードから指示器座標値移動モードに変更する（ステップＳ１３０３）。

一方、上記ステップＳ１３０１において現在時刻とパッド入力開始時刻との差分が所定のタップ最大時間以上であれば（ステップＳ１３０１においてＮｏ）、すなわち、タップ操作が行なわれたことが判断されなかった場合は、ＣＰＵ４０３０は、パッドモードをパッド入力モードからパッド待機モードに変更する（ステップＳ１３０４）。以上でタップ検出処理が終了し、処理が上記ステップＳ９０６に移行する。

図１４は、パッド入力モードにおいてパッドによる入力があった場合に実行される、ステップＳ１２０４の画面座標値更新処理の流れを示すフローチャートである。図１４を参照して、ＣＰＵ４０３０は、始めに、上記パッド入力にかかる現在パッド座標値とメモリ４０４０の所定領域に記憶されている最終パッド座標値とを用いて、画面座標値を更新する（ステップＳ１４０１）。具体的には、上記パッド入力にかかる現在パッド座標値を（ｘＰ’，ｙＰ’）とし、記憶されている最終パッド座標値を（ｘＰ，ｙＰ）とし、更新前の画面座標値を（ｘＤ，ｙＤ）とし、更新後の画面座標値を（ｘＤ’，ｙＤ’）とすると、ＣＰＵ４０３０は、更新後の画面座標値を以下の式で算出する：
ｘＤ’＝ｘＤ＋α（ｘＰ’−ｘＰ）
ｙＤ’＝ｙＤ＋β（ｙＰ’−ｙＰ）
ここで、α、βはパッド座標値での移動距離を画面座標値での移動距離に補正するための定数である。

そして、ＣＰＵ４０３０は、更新後の画面座標値の位置にポイントマーク１０５０を表示するために、ディスプレイ１０１０に対して座標値と制御信号とを出力する（ステップＳ１４０２）。さらに、ＣＰＵ４０３０は、上記パッド入力にかかる現在時刻をパッド入力最終時刻としてメモリ４０４０の所定領域に記憶する（ステップＳ１４０３）。また、上記パッド入力にかかる現在座標値を最終パッド座標値としてメモリ４０４０の所定領域に記憶する（ステップＳ１４０４）。以上で画面座標値更新処理が終了し、処理が上記ステップＳ９０６に移行する。

図１５は、パッド待機モードにおいてパッドによる入力が検出されなかった場合に実行される、ステップＳ１２０６のパッドタイムアウト検出処理の流れを示すフローチャートである。図１５を参照して、ＣＰＵ４０３０は、タッチパッドでの入力がなくなってから、すなわちパッドモードがパッド入力モードからパッド待機モードに変更された時刻であるパッド入力最終時刻からの経過時間を監視し、所定時間に達したか否かを判定する（ステップＳ１５０１）。具体的には、現在時刻とパッド入力最終時刻との差分が所定のパッドタイムアウト時間未満であれば（ステップＳ１５０１においてＹｅｓ）、ＣＰＵ４０３０は、移動モードを移行せずに現在のパッド待機モードを維持する。

一方、上記ステップＳ１５０１において、現在時刻とパッド入力最終時刻との差分が所定のパッドタイムアウト時間以上であると判定されると（ステップＳ１５０１においてＮｏ）、つまり、パッドモードがパッド入力モードからパッド待機モードに移行してからパッドタイムアウト時間が経過するまでパッド入力が検出されなかった場合、ＣＰＵ４０３０は、移動モードをパッド待機モードから指示器座標値移動モードに変更する（ステップＳ１５０２）。以上でパッドタイムアウト検出処理が終了し、処理が上記ステップＳ９０６に移行する。

図１６は、パッド待機モードにおいてパッドによる入力があった場合に実行される、ステップＳ１２０７のパッド再入力開始処理の流れを示すフローチャートである。図１６を参照して、ＣＰＵ４０３０は、始めに、パッドモードをパッド入力モードに設定する（ステップＳ１６０１）。そして、現在時刻を、パッド入力開始時刻およびパッド入力最終時刻としてメモリ４０４０に記憶し（ステップＳ１６０２）、現在パッド座標値を、最終パッド座標値としてメモリ４０４０に記憶する（ステップＳ１６０３）。以上でパッド再入力開始処理が終了し、処理が上記ステップＳ９０６に移行する。

以上のように、本実施の形態においては、指示器１０３０を用いて、ディスプレイ１０１０上の位置を絶対座標で指定することが可能であるとともに、タッチパッドユニット３０１１を用いてディスプレイ１０１０上の細かい位置調整を相対座標で指定することが可能である。さらに、タッチパッド入力中に入力が中断されると、パッド入力モードからパッド待機モードに遷移するためにポイントマーク１０５０はディスプレイ１０１０上で静止する。そして、パッド待機モード中に、タップ操作が検出されると、一時的にパッド入力モードに遷移した後に、タップ操作が検出される。タップ操作はタッチパッドを軽く叩く操作であるため、タップ操作による相対移動の移動距離は微小である。したがって、画面上のポイントマーク１０５０が大きくぶれることない。そのため、ユーザは、画面上の所望の位置で、タップ操作に相当する機能を実行できる。

なお、第１の実施の形態では、タップ操作を検出することにより、ユーザが指示する機能を実行する指示システムが示されている。しかしながら、ユーザが指示する機能が１種類しか実行されないのでは、ユーザが複数の機能を実行することを所望する場合には当該ユーザの利便性を損ねる可能性もある。そこで、第２の実施の形態では、タップ操作に加えて、ダブルタップ操作（タッチパッドを素早く２回叩く操作）を検出することにより、ユーザが指示する機能を２種類実行できる指示システムを示す。さらに、第３の実施の形態では、タップ操作とダブルタップ操作とに加えて、タッチパッド上で指が静止していることを検出することにより、ユーザが指示する機能を３種類以上実行できる指示システムを示す。

［第２の実施の形態］
第２の実施の形態にかかる装置の構成は第１の実施の形態に示されたものと同じである。なお、第２の実施の形態にかかるコンピュータ１０４０では、メモリ４０４０には、タップ回数を記憶する記憶領域が含まれるものとする。以下では、コンピュータ１０４０の処理の流れにおいて、第１の実施の形態における処理と異なる部分について説明する。

図１７〜図１９は、コンピュータ１０４０の第２の実施の形態にかかる処理の流れを示すフローチャートである。

図１７は、上記ステップＳ９０５で実行される第２の実施の形態にかかる指示器座標値移動処理の流れを示すフローチャートである。図１７を参照して、ＣＰＵ４０３０は、ステップＳ２００１〜Ｓ２００５において、図１１に示された上記ステップＳ１１０１〜Ｓ１１０５と同様の処理を行なう。第２の実施の形態にかかる指示器座標値移動処理では、ＣＰＵ４０３０は、ステップＳ２００５で、上記ステップＳ１１０５と同様にパッドモードをパッド入力モードに設定した後に、上記ステップＳ１１０６の処理に替えて、メモリ４０４０の所定領域に記憶されているタップ回数を０に設定する（ステップＳ２００６）。その後、ステップＳ２００７，Ｓ２００８において、各々、上記ステップＳ１１０６，Ｓ１１０７と同様の処理が行なわれる。以上で第２の実施の形態にかかる指示器座標値移動処理が終了し、処理が上記ステップＳ９０６に移行する。

図１８は、上記ステップＳ１２０３で実行される第２の実施の形態にかかるタップ検出処理の流れを示すフローチャートである。図１８を参照して、ＣＰＵ４０３０は、最初に、パッド入力モードにおいてタップ操作が行なわれたか否かを判断する。具体的には、現在時刻とパッド入力開始時刻との差分が、しきい値である所定のタップ最大時間未満であれば（ステップＳ２１０１においてＹｅｓ）、ＣＰＵ４０３０は、パッド入力モードにおいてタップ操作が行なわれたと判断する。すなわち、パッド入力開始時刻からタッチパッドが操作された時刻までの時間が一定時間よりも短ければ、パッド入力モードにおいてタップ操作が行なわれたと判断する。ＣＰＵ４０３０は、上記ステップＳ２１０１でタップ操作が行なわれたと判断した場合、メモリ４０４０の所定領域に記憶されているタップ回数を確認する。メモリ４０４０の所定領域に記憶されているタップ回数が０の場合（ステップＳ２１０２においてＹｅｓ）、ＣＰＵ４０３０は、記憶されているタップ回数をインクリメントして１に設定する（ステップＳ２１０３）。そして、パッドモードをパッド入力モードからパッド待機モードに変更する（ステップＳ２１０４）。

メモリ４０４０の所定領域に記憶されているタップ回数が０でない場合（ステップＳ２１０２においてＮｏ）、つまり、すでにタップ回数１が記憶されている場合、ＣＰＵ４０３０は、改めてメモリ４０４０の所定領域に記憶されるタップ回数を１に書き換え、画面座標値において、予め規定されているダブルタップ操作に対応する機能を実行する（ステップＳ２１０５）。そして、移動モードをパッド座標値移動モードから指示器座標値移動モードに変更する（ステップＳ２１０６）。

一方、上記ステップＳ２１０１において現在時刻とパッド入力開始時刻との差分が所定のタップ最大時間以上であれば（ステップＳ２１０１においてＮｏ）、すなわち、パッド入力モードにおいてタップ操作が行なわれたことが判断されなかった場合は、ＣＰＵ４０３０は、パッドモードをパッド入力モードからパッド待機モードに変更する（ステップＳ２１０７）。また、メモリ４０４０の所定領域に記憶されるタップ回数を０に設定する（ステップＳ２１０８）。以上でタップ検出処理が終了し、処理が上記ステップＳ９０６に移行する。

図１９は、パッド待機モードにおいてパッドによる入力が検出されなかった場合に、上記ステップＳ１２０６で実行される第２の実施の形態にかかるパッドタイムアウト検出処理の流れを示すフローチャートである。図１９を参照して、ＣＰＵ４０３０は、タッチパッドでの入力がなくなってから、すなわちパッドモードがパッド入力モードからパッド待機モードに変更された時刻であるパッド入力最終時刻からの経過時間を監視し、所定時間に達したか否かを判定する（ステップＳ２２０１）。具体的には、現在時刻とパッド入力最終時刻との差分が所定のパッドタイムアウト時間未満であれば（ステップＳ２２０１においてＹｅｓ）、ＣＰＵ４０３０は、さらに、現在時刻とパッド入力最終時刻との差分が、所定のダブルタップタイムアウト時間未満か否かを判定する（ステップＳ２２０２）。ダブルタップタイムアウト時間とは、１回目のタップ操作を検出してから、２回目のタップ操作を開始するまでの時間の上限を定めるしきい値である。ＣＰＵ４０３０は、１回目のタップ操作を検出した後に、２回目のタップ操作を検出せずにダブルタップタイムアウト時間が経過した場合は、２回目のタップ操作が行なわれず１回だけタップ操作が行なわれたと判断する。

具体的には、現在時刻とパッド入力最終時刻との差分が所定のダブルタップタイムアウト時間未満であれば（ステップＳ２２０２においてＹｅｓ）、ＣＰＵ４０３０は、移動モードを移行せずに現在のパッド待機モードを維持する。

一方、上記ステップＳ２２０２において、現在時刻とパッド入力最終時刻との差分が所定のダブルタップタイムアウト時間以上であれば（ステップＳ２２０２においてＮｏ）、つまり、パッドモードがパッド入力モードからパッド待機モードに移行してからダブルパッドタイムアウト時間が経過するまでパッド入力が検出されなかった場合、ＣＰＵ４０３０はパッド待機モードに移行する際のタップ操作の後ダブルパッドタイムアウト時間が経過するまでの間に２回目のタップ操作が行なわれていないと判断し、メモリ４０４０の所定領域に記憶されているタップ回数を判定する。メモリ４０４０の所定領域に記憶されているタップ回数が１であれば（ステップＳ２２０３においてＹｅｓ）、ＣＰＵ４０３０は、画面座標値においてタップ操作に対応する機能を実行する（ステップＳ２２０４）。そして、ＣＰＵ４０３０は、移動モードをパッド待機モードから指示器座標値移動モードに変更する（ステップＳ２２０５）。

メモリ４０４０の所定領域に記憶されているタップ回数が１でなければ（ステップＳ２２０３においてＮｏ）、ＣＰＵ４０３０は、移動モードを移行せずに現在のパッド待機モードを維持する。

一方、上記ステップＳ２２０１において、現在時刻とパッド入力最終時刻との差分が所定のパッドタイムアウト時間以上であると判定されると（ステップＳ２２０１においてＮｏ）、つまり、パッドモードがパッド入力モードからパッド待機モードに移行してからパッドタイムアウト時間が経過するまでパッド入力が検出されなかった場合、上記ステップＳ１５０２と同様に、ＣＰＵ４０３０は、移動モードをパッド待機モードから指示器座標値移動モードに変更する（ステップＳ２２０６）。以上でパッドタイムアウト検出処理が終了し、処理が上記ステップＳ９０６に移行する。

以上のように、第２の実施の形態では、ユーザは、指示器１０３０によるタップ操作とダブルタップ操作とを利用して、所望の機能を２種類実行させることができる。

［第３の実施の形態］
第３の実施の形態にかかる装置の構成もまた第１の実施の形態に示されたものと同じである。また、第３の実施の形態にかかるコンピュータ１０４０も、第２の実施の形態と同様に、メモリ４０４０には、タップ回数を記憶する記憶領域が含まれるものとする。さらに、第３の実施の形態にかかるコンピュータ１０４０では、メモリ４０４０に、後述する静止カウントを記憶する記憶領域も含まれているものとする。以下では、コンピュータ１０４０の処理の流れにおいて、第１の実施の形態における処理および／または第２の実施の形態における処理と異なる部分について説明する。

図２０〜図２２は、指の静止検出に対応した、コンピュータ１０４０の第３の実施の形態にかかる処理の流れを示すフローチャートである。

図２０は、上記ステップＳ９０５で実行される第３の実施の形態にかかる指示器座標値移動処理の流れを示すフローチャートである。図２０を参照して、ＣＰＵ４０３０は、ステップＳ３００１〜Ｓ３００６において、上記ステップＳ２００１〜Ｓ２００６と同様の処理を行なう。第３の実施の形態にかかる指示器座標値移動処理では、ＣＰＵ４０３０は、ステップＳ３００６で、上記ステップＳ２００６と同様にメモリ４０４０の所定領域に記憶されているタップ回数を０に設定した後に、メモリ４０４０の所定領域に記憶されている静止カウントを０に設定する（ステップＳ３００７）。「静止カウント」は、後述する処理において、ＣＰＵ４０３０が指の静止時間を計測するために用いられる。その後、ステップＳ３００８，Ｓ３００９において、各々、上記ステップＳ２００７，Ｓ２００８と同様の処理が行なわれる。以上で第３の実施の形態にかかる指示器座標値移動処理が終了し、処理が上記ステップＳ９０６に移行する。

図２１は、パッド入力モードにおいてパッドによる入力があった場合に上記ステップＳ１２０４で実行される、第３の実施の形態にかかる画面座標値更新処理の流れを示すフローチャートである。図２１を参照して、ＣＰＵ４０３０は、上記ステップＳ１４０１と同様に、上記パッド入力にかかる現在パッド座標値とメモリ４０４０の所定領域に記憶されている最終パッド座標値とを用いて、画面座標値を更新する（ステップＳ３１０１）。そして、上記ステップＳ１４０２と同様に、更新後の画面座標値の位置にポイントマーク１０５０を表示するために、ディスプレイ１０１０に対して座標値と制御信号とを出力する（ステップＳ３１０２）。

次に、上記パッド入力にかかる現在パッド座標値とメモリ４０４０の所定領域に記憶されている最終パッド座標値との距離が所定の静止距離未満であれば（ステップＳ３１０３においてＹｅｓ）、ＣＰＵ４０３０は指がタッチパッド上で静止していると判断し、メモリ４０４０の所定領域に記憶されている静止カウントを１インクリメントする（ステップＳ３１０４）。上記所定の静止距離は、最終のパッド入力にかかる最終パッド座標値から上記パッド入力にかかる現在パッド座標値までの距離が指が静止しているとみなせる程度の、十分に短い距離である。

ＣＰＵ４０３０は、メモリ４０４０の所定領域に記憶されている静止カウントを参照し、記憶されている静止カウントが所定の静止カウントしきい値未満であれば（ステップＳ３１０５においてＹｅｓ）、上記パッド入力にかかる現在時刻をパッド入力最終時刻としてメモリ４０４０の所定領域に記憶する（ステップＳ３１０６）。また、上記パッド入力にかかる現時パッド座標値を最終パッド座標値としてメモリ４０４０に記憶する（ステップＳ３１０７）。

一方、メモリ４０４０の所定領域に記憶されている静止カウントが所定の静止カウントしきい値以上であれば（ステップＳ３１０５においてＮｏ）、すなわち、一定時間以上指がタッチパッド上で静止していると判断されると、ＣＰＵ４０３０は、予め規定されている、指の静止に対応した機能を実行する（ステップＳ３１０８）。そして、移動モードを指示器座標値移動モードに変更する（ステップＳ３１０９）。

上記ステップＳ３１０３において、上記パッド入力にかかる現在パッド座標値と記憶されている最終パッド座標値との距離が所定の静止距離以上であれば（ステップＳ３１０３においてＮｏ）、ＣＰＵ４０３０は指がタッチパッド上で静止していないと判断し、メモリ４０４０の所定領域に記憶されている静止カウントを０に設定する（ステップＳ３１１０）。その後、ＣＰＵ４０３０は、上記ステップＳ３１０６以降の処理を実行する。以上で画面座標値更新処理が終了し、処理が上記ステップＳ９０６に移行する。

図２２は、パッド待機モードにおいてパッドによる入力があった場合に上記ステップＳ１２０７で実行される、第３の実施の形態にかかるパッド再入力開始処理の流れを示すフローチャートである。図２２を参照して、ＣＰＵ４０３０は、始めに、パッドモードをパッド入力モードに設定する（ステップＳ３２０１）。次に、メモリ４０４０の所定領域に記憶されている静止カウントを０に設定する（ステップＳ３２０２）。さらに、上記パッド入力にかかる現在時刻を、パッド入力開始時刻およびパッド入力最終時刻としてメモリ４０４０に記憶する（ステップＳ３２０３）。また、上記パッド入力にかかる現在パッド座標値を、最終パッド座標値としてメモリ４０４０に記憶する（ステップＳ３２０４）。以上でパッド再入力開始処理が終了し、処理が上記ステップＳ９０６に移行する。

以上のように、第３の実施の形態によれば、ユーザは、指示器１０３０によるタップ操作、ダブルタップ操作、および指の静止を利用して、所望する機能を３種類実行できる。なお、本システムにおいて、上記操作を組み合わせることで、ユーザが指示する機能を４種類以上実行できるようにすることも可能である。具体的には、タッチパッド上で指が一定時間静止していることを検出すれば、ＣＰＵ４０３０は、ディスプレイ１０１０上に実行可能な機能の一覧を表示させる。上記処理によって、表示された機能の位置に画面座標値が設定され、その位置でタップ操作がなされたことを検出すれば、ＣＰＵ４０３０は、表示された機能を実行する。これにより、ユーザが指示の機能を複数種類実行できる。

なお、以上の実施の形態においては、赤外線ＬＥＤ１０２０ａ，１０２０ｂおよび撮像情報演算部３０２０が、指示器１０３０の指定している画面上の位置を算出するために用いられる構成であるが、本発明において指示器１０３０の指定している画面上の位置を算出するために用いられる構成はこれらに限定されず、指示器１０３０の指定している画面上の位置を算出できる構成であれば他の構成であってもよい。例えば、上記特許文献１に開示されているように、ディスプレイ側に予め規定したタイミングで発光する発光素子を設け、指示器に光電変換素子を設け、上記予め規定したタイミングと光電変換素子からの上記発光素子に対応した信号が検出されたタイミングとに基づいて指示器の軸のディスプレイにおける位置を算出する構成が挙げられる。

また、以上の実施の形態では、指示器１０３０での処理をなるべく少なくするために、現在ＬＥＤ座標値と現在パッド座標値とを用いた処理がコンピュータ１０４０によって行なわれている。しかしながら、コンピュータ１０４０によって行なわれている処理において、ポイントマークを表示する処理およびユーザが指示する機能を実行する処理以外の、一部または全部の処理を指示器１０３０側で行なう構成であってもよい。具体的に、これらの処理を行なう回路等のハードウェアを指示器１０３０に組み込んでもよい。なお、すべての処理を指示器１０３０に組み込んだ場合、第１座標値算出手段と第２座標値入力手段と第２座標値算出手段と機能入力手段と機能算出手段と画面座標値算出手段とを含んだ指示器１０３０が構成される。この場合、通信部３０３０からは、画面座標値と、ユーザが指示する機能を識別するデータとがコンピュータ１０４０に送信される。コンピュータ１０４０は受信した画面座標値の位置にポイントマークを表示するとともに、受信したデータからユーザが指示する機能を識別し、その機能を実行する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

実施の形態にかかる指示システムの構成の具体例を示す図である。 実施の形態にかかる指示システムに含まれる指示器の概観の具体例を示す図である。 実施の形態にかかる指示システムに含まれる指示器の内部構成の具体例を示す図である。 実施の形態にかかる指示システムに含まれるコンピュータのハードウェア構成の具体例を示すブロック図である。 パッド座標値算出回路の処理の流れを示すフローチャートである。 画像処理回路の処理の流れを示すフローチャートである。 マイコンの処理の流れを示すフローチャートである。 実施の形態にかかる指示システムに含まれるコンピュータの、状態遷移を示す図である。 実施の形態にかかる指示システムに含まれるコンピュータにおける処理の概要を示すフローチャートである。 初期化処理の流れを示すフローチャートである。 第１の実施の形態にかかる指示器座標値移動処理の流れを示すフローチャートである。 パッド座標値移動処理の流れを示すフローチャートである。 第１の実施の形態にかかるタップ検出処理の流れを示すフローチャートである。 第１の実施の形態にかかる画面座標値更新処理の流れを示すフローチャートである。 第１の実施の形態にかかるパッドタイムアウト検出処理の流れを示すフローチャートである。 第１の実施の形態にかかるパッド再入力開始処理の流れを示すフローチャートである。 第２の実施の形態にかかる指示器座標値移動処理の流れを示すフローチャートである。 第２の実施の形態にかかるタップ検出処理の流れを示すフローチャートである。 第２の実施の形態にかかるパッドタイムアウト検出処理の流れを示すフローチャートである。 第３の実施の形態にかかる指示器座標値移動処理の流れを示すフローチャートである。 第３の実施の形態にかかる画面座標値更新処理の流れを示すフローチャートである。 第３の実施の形態にかかるパッド再入力開始処理の流れを示すフローチャートである。

符号の説明

１０１０ ディスプレイ、１０２０ａ，１０２０ｂ 赤外線ＬＥＤ、１０３０ 指示器、１０４０ コンピュータ、１０５０ ポイントマーク、３０１０ ユーザ入力演算部、３０１１ タッチパッドユニット、３０１２ パッド座標値算出回路、３０２０ 撮像情報演算部、３０２１ 赤外線フィルタ、３０２２ レンズ、３０２３ 撮像素子、３０２４ 画像処理回路、３０３０ 通信部、３０３１ マイコン、３０３２ 通信モジュール、３０３３ メモリ、４０１０ キーボード、４０２０ マウス、４０３０ ＣＰＵ、４０４０ メモリ、４０５０ 固定ディスク、４０６０ 光ディスクドライブ、４０６１ ＣＤ−ＲＯＭ、４０７０ ＦＤドライブ、４０７１ フレキシブルディスク、４０８０ 無線通信モジュール、４０９０ 出力インタフェース。

Claims (12)

1. 撮像手段と、
   前記撮像手段で撮像して得られた画像データを解析し、前記画像データの所定位置に対応する、前記撮像手段で撮像されたディスプレイ上の位置を示す第１座標値を算出する第１座標値算出手段と、
   ユーザ操作を受け付ける第２座標値入力手段と、
   前記ユーザ操作に基づいて、前記第２座標値入力手段における前記ユーザ操作に関連する位置を示す第２座標値を算出する第２座標値算出手段と、
   前記第１座標値と前記第２座標値とに基づいて、前記ディスプレイ上の指定位置を示す画面座標値を算出する画面座標値算出手段とを備える、指示器。
2. 機能を指定するため入力操作を受け付ける機能入力手段と、
   前記機能入力手段で受け付けた前記入力操作の内容に基づいて、前記機能を特定する機能算出手段とをさらに備える、請求項１に記載の指示器。
3. 前記画面座標値算出手段は、移動モードとして第１座標値移動モードと第２座標値移動モードとを有し、前記第２座標値移動モードはさらに内部モードとして内部入力モードと内部待機モードとを有し、
   前記画面座標値算出手段は、
   現在の移動モードと、前記移動モードにおいて受け付けた前記入力操作または前記ユーザ操作とに基づいて、前記現在のモードから移行する次の移動モードを判定する移動モード判定手段と、
   前記第１座標値移動モードにおいて、前記第１座標値に基づいて前記画面座標値を算出する処理である第１座標値移動処理を実行する第１座標値移動処理手段と、
   前記第２座標値移動モードにおいて、前記第２座標値に基づいて前記画面座標値を算出する処理である第２座標値移動処理を実行する第２座標値移動処理手段とを含む、請求項２に記載の指示器。
4. 前記第１座標値移動処理手段は、
   前記第１座標値移動モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けない場合に、前記第１座標値を前記画面座標値とし、
   前記第１座標値移動モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けた場合に、前記移動モードを前記第１座標値移動モードから前記第２座標値移動モードに設定し、前記内部モードを前記内部入力モードに設定し、前記ユーザ操作に基づいて算出された前記第２座標値を最終第２座標値として記憶する処理を実行する、請求項３に記載の指示器。
5. 前記第２座標値移動処理手段は、
   前記内部モードを判定する内部モード判定手段と、
   前記内部入力モードの際に実行する内部入力モード処理手段と、
   前記内部待機モードの際に実行する内部待機モード処理手段とを含む、請求項４に記載の指示器。
6. 前記内部入力モード処理手段は、
   前記内部入力モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けない場合に、前記内部モードを前記内部入力モードから前記内部待機モードに変更し、
   前記内部入力モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けた場合に、前記ユーザ操作に基づいて算出された前記第２座標値と前記最終第２座標値との差分を定数倍した結果を前記画面座標値に加算した結果を新たな画面座標値に設定し、前記最終第２座標値を前記ユーザ操作に基づいて算出された前記第２座標値に更新する処理を実行する、請求項５に記載の指示器。
7. 前記内部待機モード処理手段は、
   前記内部待機モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けず、かつ、前記内部待機モードに移行してからの経過時間が所定時間を超過した場合に、前記移動モードを前記第２座標値移動モードから前記第１座標値移動モードに設定し、
   前記内部待機モードにおいて、前記第２座標値入力手段において前記ユーザ操作を受け付けた場合に、前記内部モードを前記内部待機モードから前記内部入力モードに設定し、前記ユーザ操作に基づいて算出された前記第２座標値を前記最終第２座標値として記憶する処理を実行する、請求項６に記載の指示器。
8. 指示器と座標処理装置とを含む指示システムであって、
   ディスプレイ上の位置を指定する指定手段と、
   前記指定手段で指定された前記ディスプレイ上の位置を示す情報に基づいて前記位置を示す第１座標値を算出する第１座標値算出手段と、
   ユーザ操作を受け付ける第２座標値入力手段と、
   前記ユーザ操作に基づいて、前記第２座標値入力手段における前記ユーザ操作に関連する位置を示す第２座標値を算出する第２座標値算出手段と、
   前記第１座標値と前記第２座標値とに基づいて、前記ディスプレイ上の指定位置を示す画面座標値を算出する画面座標値算出手段と、
   機能を指定するため入力操作を受け付ける機能入力手段と、
   前記入力操作を示す情報に基づいて、前記機能を特定する機能算出手段と、
   前記画面座標値で示される前記ディスプレイ上の指定位置に、所定のマークを表示させるための処理、および前記機能を実行する処理を行なう表示手段とを備え、
   前記指示器は、
   前記指定手段、前記第１座標算出手段、前記第２座標値入力手段、前記第２座標値算出手段、前記画面座標値算出手段、前記機能入力手段、および前記機能算出手段のうちの、少なくとも前記指定手段、前記第２座標値入力手段、前記第２座標値算出手段、および前記機能入力手段と、
   前記座標処理装置に対して情報を送信する送信手段とを備え、
   前記座標処理装置は、
   前記表示手段と、
   前記第１座標値算出手段、前記画面座標値算出手段、および前記機能算出手段のうちの、前記指示器の備えていない手段と、
   前記送信手段で前記指示器から送信される情報を受信する受信手段とを備える、指示システム。
9. 前記指示器は、
   前記指定手段と、前記第２座標値入力手段と、前記第２座標値算出手段と、前記機能入力手段と、前記送信手段とを備え、
   前記送信手段は、前記指定手段で指定された前記ディスプレイ上の位置と、前記第２座標値算出手段で算出された前記第２座標値と、前記機能入力手段での入力操作で指定された前記機能を表わす情報とを前記座標処理装置に対して送信し、
   前記座標処理装置は、
   前記表示手段と、前記第１座標値算出手段と、前記画面座標値算出手段と、前記機能算出手段と、前記受信手段とを備え、
   前記受信手段は、前記送信手段で前記指示器から送信される、前記ディスプレイ上の位置と、前記第２座標値と、前記機能を表わす情報とを受信する、請求項８に記載の指示システム。
10. 前記指示器は、
    前記指定手段と、前記第１座標算出手段と、前記第２座標値入力手段と、前記第２座標値算出手段と、前記機能入力手段と、前記送信手段とを備え、
    前記送信手段は、前記第１座標値算出手段で算出された前記第１座標値と、前記第２座標値算出手段で算出された前記第２座標値と、前記機能入力手段での入力操作で指定された前記機能を表わす情報とを前記座標処理装置に対して送信し、
    前記座標処理装置は、
    前記表示手段と、前記画面座標値算出手段と、前記機能算出手段と、前記受信手段とを備え、
    前記受信手段は、前記送信手段で前記指示器から送信される、前記第１座標値と、前記第２座標値と、前記機能を表わす情報とを受信する、請求項８に記載の指示システム。
11. 前記指示器は、
    前記指定手段と、前記第１座標算出手段と、前記第２座標値入力手段と、前記第２座標値算出手段と、前記機能入力手段と、前記機能算出手段と、前記送信手段とを備え、
    前記送信手段は、前記第１座標値算出手段で算出された前記第１座標値と、前記第２座標値算出手段で算出された前記第２座標値と、前記機能算出手段で算出された前記機能を表わす情報とを前記座標処理装置に対して送信し、
    前記座標処理装置は、
    前記表示手段と、前記画面座標値算出手段と、前記受信手段とを備え、
    前記受信手段は、前記送信手段で前記指示器から送信される、前記第１座標値と、前記第２座標値と、前記機能を表わす情報とを受信する、請求項８に記載の指示システム。
12. 前記指示器は、
    前記指定手段と、前記第１座標算出手段と、前記第２座標値入力手段と、前記第２座標値算出手段と、前記画面座標値算出手段と、前記機能入力手段と、前記機能算出手段と、前記送信手段とを備え、
    前記送信手段は、前記画面座標値算出手段で算出された前記画面座標値と、前記機能算出手段で算出された前記機能を表わす情報とを前記座標処理装置に対して送信し、
    前記座標処理装置は、
    前記表示手段と、前記受信手段とを備え、
    前記受信手段は、前記送信手段で前記指示器から送信される、前記画面座標値と、前記機能を表わす情報とを受信する、請求項８に記載の指示システム。

Images