JP2008158877A - 情報処理システム、情報処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】画像表示装置と、画像表示装置の表示領域外に設置された実際の処理を行う対象である情報処理装置とが設置された空間において、操作者が直感的に分かり易く操作やコマンド入力を行うことができるユーザインタフェース環境を提供する。
【解決手段】指示手段２により、画像表示装置１に表示されたオブジェクト「Ａ」を指定して、コマンド指示する。更に、指示手段２によりオブジェクト「Ａ」をプリンタ３まで指示具２から照射されるスポット７を頼りにドラッグさせることで、ドラッグされたオブジェクト「Ａ」は、プリンタ３により印刷処理される。
【選択図】 図１

Description

本発明は、画像表示装置、及び情報処理装置間の情報のやり取りを制御する情報処理システム、情報処理方法、及びコンピュータプログラムに関し、特に、画像表示装置と情報処理装置との間で、操作者が直感的で分かり易く操作やコマンド入力を行うことができるユーザインタフェース環境を提供するものである。

昨今、液晶、プラズマ、フロントプロジェクション、リアプロジェクション等の大型画像表示装置が普及しつつある。そして、このような大型画像表示装置を会議室に設置して電子的な情報を扱うことにより、従来のホワイトボードのみの会議の場合に比べて、効率的な会議を行うことが可能となる会議システムの構築の可能性が増している。

このような会議システムにおいては、これら画像表示装置に表示された画像情報をその場でプリントアウトして、会議参加者に配布することができるようにする等の処理に関する需要が今後増大すると考えられる。プリンタも従来に比べて様々な機器にネットワークを介して接続できるようになってきており、カラー化、デジタル化、高スピード化も進行し、望まれる条件に応じた高品位なプリントアウトを欲しいときに手に入れることに対する要求に対応可能になってきている。

また、大型画像表示装置はオフィス用途に限らず、高画質化、低価格化とともに家庭にも浸透しつつあり、今後のデジタル放送への置き換わりに従い、家庭において双方向通信情報をその場でプリントアウトしたいという需要は増大すると考えられる。その場合には、オフィス用途は言うに及ばず、家庭用途においては、より汎用性があり、習熟を必要としない、直感的な操作性が要求される。

特許文献１には、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でデジタル・オブジェクトに関するユーザ操作、特にオブジェクトの移動を可能とした情報入出力システムが開示されている。この開示された情報入出力システムは、前記情報空間に配設された作業面と、作業面上に画像を表示する表示手段と、作業面上を撮像する撮像手段と、情報空間に固定的に設置されたコンピュータと、を備えている。そして、この構成において、まず、前記コンピュータは、前記撮像手段による撮像画像を基に前記作業面上のオブジェクトの位置情報及び／又はオブジェクトに対するユーザ操作を認識する処理を実行する。そして、該認識結果に従って前記表示手段によるデジタル・オブジェクトの表示を制御する処理を実行する。

更に、特許文献２には、特定波長領域の赤色スポット光を照射するレーザ・ポインタにおいて、オブジェクトを操作する技術が開示されている。

特開２００１−１３６５０４号公報 特開２００１−１７５３７４号公報

しかしながら、特許文献１、及び特許文献２に開示された技術では、情報空間が個別のコンピュータからそれが設置された作業面へと拡張はされているものの、その情報空間は、表示手段により操作対象であるオブジェクトを常に表示してなるものである。そのため、情報空間は限られた範囲であり、情報空間を拡張するためには、表示手段の追加が必要となり、作業環境に制限が生じる。この場合、会議室の空間の大きさ、形状、更には、家庭の部屋の状態によっては、複数の表示手段を用意することが現実的に困難である場合がある。また、特許文献１、及び特許文献２のような表示手段が複数必要となるシステムでは、構成が煩雑で大規模になってしまい、家庭用途を想定した場合には好適であるとは言いがたい。

また、特許文献１、及び特許文献２には、主に、オブジェクトのドラッグによる情報移動を扱っているが、実際のオフィスにおける会議、及び家庭における情報処理においては、更に具体的なプリントアウト等の処理に対する直感的な操作性が求められる。具体的には、情報処理を実行する実際の装置である情報処理装置を指差すような直接的指示で、所望の情報処理を実行させるような操作環境が望まれる。そのためには、情報処理装置をコンピュータ内のアイコンとしてではなく、実態を伴った実際の装置としてシステム上で認識させる必要がある。

本発明は、上記課題に基づき、画像表示装置と、実際の情報処理を行う対象である情報処理装置との間で、操作者が直感的で分かり易く操作やコマンド入力を行うことができるユーザインタフェース環境を提供できるようにすることを目的とする。

本発明の情報処理システムは、画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置とを含み、前記画像表示装置が表示するオブジェクトを処理するための情報処理システムであって、前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示手段と、前記指示手段で指定した位置を演算する座標演算手段と、前記座標演算手段の演算結果と、前記指示手段で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御手段とを備えたことを特徴とする。
また、本発明の情報処理方法は、画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置と、前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示具とを用いて、前記画像表示装置が表示するオブジェクトを処理するための情報処理方法であって、前記指示具で指定した位置を演算する座標演算工程と、前記座標演算工程の演算結果と、前記指示具で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御工程とを有することを特徴とする。
また、本発明のコンピュータプログラムは、画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置と、前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示具とを用いて、前記画像表示装置が表示するオブジェクトを処理するためのコンピュータプログラムであって、前記指示具で指定した位置を演算する座標演算処理と、前記座標演算処理の演算結果と、前記指示具で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御処理とをコンピュータに実行させることを特徴とする。

本発明によれば、画像表示装置と、画像表示装置の表示領域外に設置された実際の情報処理を行う対象である情報処理装置との間で、操作者が直感的に分かり易く操作やコマンド入力を行うことができるユーザインタフェース環境を提供することができる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を図面に基づき説明する。図１は、本発明の第１の実施の形態に係る情報処理システムの概略構成を示す図である。本実施形態では、本発明の情報処理システムの典型的な適用場面として会議室を想定しており、特に画像表示装置に表示された情報を、画像表示装置の表示領域外に設置された情報処理装置でプリントアウトする際の動作について主に説明する。

図１において、１は、例えば６０〜９０インチ程度の大画面表示面を有する画像表示装置である。２は、空間上の位置の指定及びコマンド（命令）による指示を行う指示具である。なお、指示具２を複数図示したのは、１つの指示具２を矢印の方向に移動操作、即ち、情報（以下、オブジェクト）をドラッグしていることを模式的に示すためである。

３は、画像表示装置１と同じ会議室に配置されているプリンタ、複写機、ＦＡＸ、スキャナ、或いはそれらの複合機等の情報処理装置であり、例えば、画像表示装置１と一体的に使用することにより、会議の効率を向上させる会議システムが構築可能となる。この情報処理装置３は、画像表示装置１と、後述する演算処理制御部６とにネットワーク回線８を介して接続している。

４は、識別情報及び後述する基準位置情報が付加される識別マーカであり、４−１は画像表示装置１の既定位置に装着された識別マーカ、４−２は情報処理装置３の既定位置に装着された識別マーカである。

５は、指示具２との間で情報の通信を行う無線通信部である。６は、演算制御処理部であり、指示具２からの無線通信を通じて取得した指定位置の座標情報及びコマンド情報に応じて、画像表示装置１に表示されたオブジェクトの情報、或いは、情報処理装置３の予め登録された処理の情報を指定位置に対応付けして管理する。更に、演算処理制御部６は、対応付けした情報を基に、情報処理装置３に対してオブジェクトの情報を送信したり、予め登録された処理の実行指令をしたりする。７は、指示具２から照射された可視光の領域（以下、スポットと称す）を示す。

なお、詳細は後述するが、演算処理制御部６は、指示具２内で座標演算を行わない構成の場合には、無線通信を通じて指示具２から取得した情報を基に指定位置の座標を演算する。

図２は、指示具２の構成を詳細に示した図である。指示部２の先端部には、可視光発光部２−１が配置される。なお、指示具２は、可視光発光部２−１からの光を、その長手方向の軸に略平行に照射し、且つ、ほとんど光束が短手方向に広がらないように照射するためのレンズ等で構成される不図示の光学的手段を有する。可視光発光部２−１は、最も工業的に汎用的な手段としては、赤色或いは緑色の可視光レーザ発光源を有する構成が考えられるが、これに限られるものではない。

また、指示具２内において、可視光発光部２−１には照射制御部２−２が接続される。更に、照射制御部２−２にはコマンド制御部２−３が接続される。照射制御部２−２は、コマンド制御部２−３からのコマンドを受けて、照射光のＯＮ／ＯＦＦ等の制御を可視光発光部２−１に対して行う。

また、コマンド制御部２−３には、操作者が操作に用いる制御スイッチ群２−４（以下、制御ＳＷ群）が接続される。制御ＳＷ群２−４は、単純に指定した位置に可視光を照射するための照射スイッチ２−４−１（以下、照射ＳＷ）と、指定した位置に指示対象がある場合に、それに対してコマンド指示するためのコマンドスイッチ２−４−２（以下、コマンドＳＷ）とを有する。

また、指示具２内において、コマンド制御部２−３には指示具無線通信部２−５が接続される。指示具無線通信部２−５は、指示具２内において後端側に配されている。

一方、指示具２の先端部には、画像撮像部２−６が配置される。画像撮像部２−６は、具体的には、ＣＣＤ又はＣＭＯＳセンサ等のエリアセンサ、光学系部材、及びその周辺回路で構成されており、画像撮像部２−６の撮像面の中心が、指示具２の軸中心に一致するように配置される。

画像撮像部２−６は、不図示の光学系部材として、撮像した光を画像撮像部２−６内のエリアセンサに結像させるためのレンズ群、フィルター、絞り、更に、場合によってはシャッター等を備える。９は画像撮像部２−６による撮像視野範囲であり、側面視において模式的に示したものである。

なお、本実施形態では、本発明の特徴を示す特徴的構成要素を中心に説明している関係上、電源スイッチ、電池等の電源部、或いは、各種状態表示部等を不図示としたが、指示具２はそれらを当然備えている。例えば、不図示の電源スイッチのＯＮ/ＯＦＦにより指示具２の動作のＯＮ/ＯＦＦが行われ、それが表示部で確認できるのは言うまでもない。なお、照射ＳＷ２−４−１が、電源スイッチを兼ねる構成としても構わない。

画像撮像部２−６には、その撮像信号の画像処理を行う画像信号処理部２−７が接続される。更に、画像信号処理部２−７には指定位置演算部２−８が接続される。画像撮像部２−６で撮像された画像は、画像信号処理部２−７で識別マーカ４が識別されやすいように信号処理される。その後、その識別マーカ４の位置を指定位置演算部２−８で演算すると共に、それを基に指示具２の指定位置の座標を演算する。この指定位置の座標演算方法に関しては後述する。指定位置演算部２−８で演算された指定位置の座標情報は、指示具無線通信部２−５に送られて無線通信部５に無線送信される。

なお、本実施形態では、指定位置演算部２−８は、指示具２に内蔵される構成としたが、指定位置演算部２−８の機能は、前述したように、演算処理制御部６に内蔵する構成としてもよい。この場合、指示具２からは画像信号処理部２−７からの画像信号のみが指示具無線通信部２−５から無線通信部５に送信され、その画像信号を演算処理制御部６内で処理して、指定位置の座標を演算するようにする。

次に、図２における撮像視野範囲９を、実際の適用場面である会議室における画像表示装置１と情報処理装置３とが含まれた空間上において示した図３を用いて、指示具２における指定位置の座標演算方法を説明する。

予め画像表示装置１及び情報処理装置３に装着された識別マーカ４の座標を、指示具２の指定位置演算部２−８にインプットしておく。インプットの方法としては、例えば、予め別手段で、会議室のある箇所を原点（基準）とした場合の各識別マーカ４の座標を測定して、その座標情報を一旦、演算処理制御部６に保持させてから、無線通信部５を介して指定位置演算部２−８に入力すればよい。

例えば、会議室に設置された画像表示装置１の表示画面が床面に対して垂直、後の壁面に対して略平行に設置されているものとし、画像表示装置１の表示画面の水平方向をＸ、垂直方向をＺとする（Ｘ，Ｚ）座標系とする。そして、画像表示装置１の表示画面の中心を図示のように座標（０，０）の原点１０とする。更に、図示のように画像表示装置１には、座標（−ａ，ｂ）、(０，ｂ)、(ａ，ｂ)、(−ａ，−ｂ)、(０，−ｂ)、(ａ，−ｂ)の位置に識別マーカ４−１を装着する。即ち、画像表示装置１の表示画面の枠部の四隅及び長辺の中央に識別マーカ４−１を装着する。更に、画像表示装置１に対して略Ｘ方向に配された情報処理装置３にも、座標（ｃ、ｄ）、（ｃ'、ｄ）の位置に識別マーカ４−２を装着する。

以上のように原点１０を基準として測定した所定の座標に識別マーカ４を装着して、装着した各識別マーカ４の個々の座標情報を指示具２の指定位置演算部２−８にインプットしておく。

このように画像表示装置１や情報処理装置３からある程度離れて遠隔指示・操作しようとする操作者から見て、指示、操作しようとする所定位置が上記（Ｘ，Ｚ）座標系において、一意的に対応付けする。これにより、厳密な、例えば奥行き方向（Ｙ軸方向）の配置のずれが検出できなくとも不具合が生じることなく、指示具２による操作に基づく処理を行うことが可能となる。

また、識別マーカ４は、各々全て異なる識別情報を有する。詳細には、指示具２内蔵の画像撮像部２−６及び画像信号処理部２−７により画像認識できる幾何学パターンが記されている。この幾何学パターンには、一般的な１次元或いは２次元バーコード等の汎用的な幾何学パターンを用いるが、これらに限定されるものではない。

そして、識別マーカ４の個々の座標情報に加え、個々の識別情報を、例えば、演算処理制御部６に接続された不図示のキーボード等の入力手段により演算処理制御部６に一旦記憶保持させる。その後、無線通信部５により指示具２の指示具無線通信部２−５に送信し、指定位置演算部２−８に既定位置情報として保持させておく。なお、この指定位置演算部２−８へ前記識別情報と前記座標情報とを取り込むための操作ボタン等は、コマンドＳＷ２−４−２等のボタンを兼用してもよいし、他のＳＷボタンとの同時押し等の方法を用いてもよいし、別途専用ＳＷボタンを設けてもよい。

また、本実施形態における指定位置演算手法においては、少なくとも１つ、望ましくは、２つの識別マーカ４が指示具２の画像撮像部２−６の撮像視野範囲９に入るように設定される。本実施形態のような画像表示装置１及び情報処理装置３の配置の場合には、これらの機器に関する指示が有効となるように、撮像視野範囲９−１〜９−４のいずれかの視野の中に少なくとも１つの識別マーカ４が含まれるように配されていることが図３からわかる。

なお、画像表示装置１及び情報処理装置３が互いに離れていて、撮像視野範囲９の中に１つの識別マーカ４も含まれない領域が存在することも想定される。この場合には、画像表示装置１の表示領域外の壁面、その他、会議テーブル等の配置関係が容易にずれない領域に、追加で別途識別マーカ４を装着する。そして、前述同様に、予めその識別マーカ４の座標情報及び識別情報を追加して指示具２にインプットしておくようにする。

或いは、指示具２の画像撮像部２−６にズーム光学機構を設けて、撮像視野範囲９内に識別マーカ４が無いと画像信号処理部２−７で判断した場合には、自動的に識別マーカ４が撮像視野範囲９内に入るまでズームアウトする構成としてもよい。この場合には、そのズームアウトするときの倍率変化情報を指定位置演算部２−８に出力する構成とする。そして、その撮像視野範囲９内に識別マーカ４が複数個含まれている場合はもちろん、識別マーカ４が１つしか含まれていない場合にも指定位置の座標演算が可能となるようにする。そのためには、識別マーカ４の座標情報を基準として座標演算する基準座標系に対応する基準ズーム倍率を予めデータとして指定位置演算部２−８に入力しておく。そして、上記ズームアウトした画像より座標演算する場合にはその倍率変化情報により座標を補正して基準座標系に対応する座標を演算するようにする。

また、識別マーカ４自体は多少斜めに撮像されても汎用のパターンによる認識手法を用いることにより十分に識別可能である。

指定位置演算部２−８においては、操作者が指示具２で指定した際の撮像視野範囲９内の画像に基づいて指定位置の座標を演算する。以下、その詳細について図４、及び図５を用いて説明する。

まず、図４において、識別マーカ４が撮像視野範囲９内に１つ含まれる場合について説明する。この際、撮像視野範囲９内の識別マーカ４をその識別情報から認識する。そして、前述したように指定位置演算部２−８に予めインプットされたその識別マーカ４に対応付けられた座標情報を入手する。

同時に、その撮像視野範囲９における識別マーカ４の撮像視野範囲９の中心位置１１に対する相対位置を検出する。指定位置は、撮像視野範囲９の概略中心であるから、当該識別マーカ４の位置座標と、撮像視野範囲９の概略中心の当該識別マーカ４との相対位置により指示具２による指定位置の座標が演算される。

しかしながら、前述したように、指示具２の先端部では可視光発光部２−１が画像撮像部２−６に隣接して配置されている。即ち、画像撮像部２−６は、撮像面の中心が指示具２の軸中心に一致するように配置されるのに対し、可視光発光部２−１は指示具２の軸中心からずれている。そのため、照射された可視光のスポット７の中心部分は、正確な撮像視野範囲９の中心ではない。従って、より正確な指定位置の座標を求める場合は、まず、撮像視野範囲９の中心とスポット７が囲む領域の中心との相対位置を検出する。そして、識別マーカ４の位置座標と、撮像視野範囲９の概略中心の識別マーカ４に対する相対位置により算出された座標を、スポット７の相対座標により補正して、より正確な指定位置の座標を演算するようにする。

以上の説明は、指示具２が常に操作者により指定された方向を軸として回転することなく一定姿勢に保持された場合の指定位置演算方法である。これは、指示具２を操作者が常に一定姿勢で手で把持できるような、不図示であるが例えばグリップ形状、ＳＷボタン位置構造により実現可能である。

更に、指示具２の回転に対しても正確な指定位置を演算するには、図５のように常に撮像視野範囲９内に識別マーカ４が２つ以上含まれるようにする必要がある。そのための手段として、識別マーカ４の配置数を増やす手法や、ズーム機能を用いる手法が考えられるのは前述の通りである。以下、その場合の指定位置演算方法について説明する。

図５のように常に撮像視野範囲９内に識別マーカ４が２つ以上含まれれば、２つ以上の識別マーカ４を前述した通り各々認識する。そして、前述した予めインプットされた、それぞれの識別マーカ４に対応付けられた座標情報を入手する。これにより、その複数の識別マーカ４の座標情報を基に指示具２の回転の影響を受けない正確なＸＺ座標情報が得られる。

同時に、その撮像視野範囲９における対象とする識別マーカ４の撮像視野範囲９の中心位置１１に対する相対位置を検出する。これにより、正確なＸＺ座標における指定位置を撮像視野範囲９の中心位置１１の相対座標から演算することができる。もちろん、前述した通り、撮像視野範囲９のスポット７の撮像面の中心に対する相対位置を検出し、上記正確なＸＺ座標における指定位置を更に、スポット７の相対座標により補正して、より正確な指定位置の座標を演算するようにしてもよい。

以上の座標演算ルーチンは、指示具２の照射ＳＷ２−４−１がＯＮとなっている間に行われる。そして、コマンドＳＷ２−４−２の操作があれば、演算された指定位置の座標情報がコマンド情報と共に無線通信部５に送信される。

なお、無線通信部５及び指示具無線通信部２−５は、電波による無線通信手段であるが、ワイヤレスによる情報の授受を可能にする手段であれば、これに限定されるものではなく、赤外線、その他の通信手段でもよい。

次に、図６に示す指示具２における動作のフローチャート及び図７に示す演算処理制御部６における動作のフローチャートについて説明する。詳細には、本発明の主眼とする、画像表示装置１と情報処理装置３との間においてなされる、画像表示装置１で示されたオブジェクトに対する操作やコマンド入力に関するものである。

図６に示すフローチャートで、指示具２における動作を説明する。まず、ステップＳ６０１において、指示具２の不図示の電源スイッチをＯＮにしてステップＳ６０２に進む。

次に、ステップＳ６０２において、コマンド制御部２−３は照射ＳＷ２−４−１がＯＮされているか否かを判断する。ＯＮされている場合にはステップＳ６０３に進み、ＯＮされていない場合は引き続き判断を続ける。

ステップＳ６０３において、コマンド制御部２−３、照射制御部２−２を通じて指示具２の先端部に設けられた可視光発光部２−１が可視光を指定位置の方向に照射する。更に、ステップＳ６０４において、コマンド制御部２−３からの信号をトリガーとして、画像撮像部２−６により取得される撮像視野範囲９における画像情報を基に、画像信号処理部２−７を経て、指定位置演算部２−８で指定位置の座標演算を開始する。

次に、ステップＳ６０５において、コマンド制御部２−３はコマンドＳＷ２−４−２がＯＮされているか否かを判断する。ＯＮされていない場合には、ステップＳ６０６において、指定位置演算部２−８で演算した座標情報のみを指示具無線通信部２−５から無線通信部５へ送信する。ＯＮされていた場合には、ステップＳ６０７において、指定位置演算部２−８で演算した座標情報とコマンド情報とを指示具無線通信部２−５から無線通信部５へ送信する。

図７に示すフローチャートで、演算処理制御部６を中心とした本体側における動作を説明する。なお、演算処理制御部６自体は、画像表示装置１とは別体の単体ユニット構成としてもよいし、画像表示装置１に内蔵される内部ユニット構成としてもよく、本発明の効果に特に影響を及ぼすものではない。これは、無線通信部５に関しても同様である。また、演算処理制御部６の電源のＯＮ／ＯＦＦを切り換えるスイッチも画像表示装置１と共通の電源ＳＷとしてもよいし、別に設けてもよい。

まず、ステップＳ７０１において、演算処理制御部６の不図示の電源スイッチをＯＮにしてステップＳ７０２に進む。

次に、ステップＳ７０２において、指示具２の指示具無線通信部２−５からの情報が無線通信部５に受信されているか否かを判断する。受信されていれば、ステップＳ７０３に進む。受信されていなければ、引き続き判断を続ける。

ステップＳ７０３において、受信した座標情報を、予め不図示の内部メモリにインプットされた識別マーカ４が装着された画像表示装置１と情報処理装置３とが設置された座標空間に対応させて、ステップＳ７０４に進む。

次に、ステップＳ７０４において、指定位置が画像表示装置１の表示領域内かを判断する。指定位置が画像表示装置１の表示領域内である場合には、ステップＳ７０５において指定位置に対し、画像表示装置１の表示領域内において、例えば矢印等のカーソル表示を行った後、ステップＳ７０６に進む。この際、画像表示装置１が、通常のパーソナルコンピュータ（以下ＰＣ）のディスプレイとしての機能を有している場合には、そのＰＣのシステムマウスによるカーソル表示・移動に関するコマンドとの優先条件に関して予め定めておく。もちろん、特に問題なければ、信号が来た入力デバイスが有効になるという構成としてもよい。

指定位置が画像表示装置１の表示領域内で無い場合には、当然、画像表示装置１の表示領域内にカーソルを表示する必要が無いので、画像表示装置１の表示領域にカーソル表示を行わずに、ステップＳ７０６に進む。この場合は、画像表示装置１以外の情報処理装置３に定められた領域を示しているか、それ以外の領域、例えば壁面等の画像表示装置１と情報処理装置３との中間の領域である図３に示す撮像視野範囲９−３に対応する領域を操作者が指定している場合である。

本実施形態においては、画像表示装置１の表示領域外を操作者が指定している場合でも、指示具２からは、その指定位置に対応する位置に可視光が照射される。これにより、操作者は、情報処理装置３の外装表面のスポット７、或いは、中間の撮像視野範囲９−３の例えば会議室の壁面等に照射されたスポット７として、あたかも表示領域に表示されたカーソルと同様に指定位置を確認することができる。

次に、ステップＳ７０６において、指示具２の指示具無線通信部２−５からの情報にコマンド情報が含まれているか否かを判断する。コマンド情報の具体的な例としては、指示具２のコマンドＳＷ２−４−２が操作された場合であり、これは、通常のマウスボタンの左クリックと同様の確定コマンドである。もちろん、図２では示さなかったが、更にコマンドＳＷを増やして、そのＳＷにマウスボタンの右クリックと同様の機能を持たせてもよい。

コマンド情報が含まれていない場合には、もう一度最初のルーチン、即ちステップＳ７０２に戻り、コマンド情報が含まれていると判断されるまでこれを繰り返す。

コマンド情報が含まれている場合には、ステップＳ７０７に進み、指定位置が、画像表示装置１の表示領域内に示されるアイコン等のオブジェクトの座標領域内の座標か、或いは、予め登録された情報処理装置３の操作領域内の座標か否かを判断する。ここでも、指定位置が、画像表示装置１の表示領域内に示されるアイコン等のオブジェクトの座標領域内の座標、或いは、予め登録された情報処理装置３の操作領域内の座標で無いと判断された場合には、もう一度最初のルーチン、即ちステップＳ７０２に戻る。

つまり、ここでは、画像表示装置１のアイコン、操作ボタン等の具体的な操作対象のオブジェクト以外の場所で確定コマンドを指示しても特に処理を発生させないことを意味する。また同様に、情報処理装置３以外の空間において確定コマンドを指示しても、演算処理制御部６側では特に処理を発生しない。これらは自然な動作である。

更に、次の処理と関連するが、画像表示装置１の表示領域内に示されるアイコン等のオブジェクトをドラッグの状態で移動させて目的の情報処理装置３に移動中における中間領域の場合にもコマンド指示が無効となることを意味している。

つまり、ここでコマンド指示を無効とするのは、特に処理の対象とする情報処理装置３が無い領域に対するコマンド指示自体が意味がないからである。ただし、前述したように、その移動過程の指定位置座標は演算されており、また、それに対応したスポット７により指定位置は照射されているため、操作者は指定位置を確認することができる。

一方、指定位置が、画像表示装置１の表示領域内に示されるアイコン等のオブジェクトの座標領域内の座標、或いは、予め登録された情報処理装置３の操作領域内の座標であると判断された場合には、ステップＳ７０８に進む。

ステップＳ７０８においては、指定位置に、画像表示装置１の表示領域内のオブジェクトの情報、或いは、情報処理装置３の予め登録された処理の情報を対応させる。

そして、ステップＳ７０９では、ステップＳ７０８で対応された処理について実行する。以下、ステップＳ７０８及びＳ７０９における処理を、操作者の具体的な操作の流れから詳述する。

画像表示装置１の表示領域内のオブジェクトである「Ａ」という画像（或いはテキスト、図１参照）情報が表示されている領域（汎用的な表現をすればウインドウ領域）まで、操作者は指示具２によりカーソルを移動させる。なお、ここでは、コマンドＳＷ２−４−２は押された状態ではなく、ここまではカーソル表示されるのみである。即ち、ここでの動作においては、ステップＳ７０２〜Ｓ７０５における処理が実行されている。

次に、「Ａ」の画像（或いはテキスト）が表示されている領域内でコマンドＳＷ２−４−２を押すことで、ステップＳ７０６を介してＳ７０７に移行する。そして、コマンド指示された対象が画像情報の領域で構成されるオブジェクトである場合には、ステップＳ７０８において、当該オブジェクトの情報を、指定位置に対応させる。更には、オブジェクトに対するコマンド指示が、オブジェクトをドラッグしようとしているコマンド指示であると識別され対応される。

そして、画像表示装置１の表示領域内において、指示具２による指定位置の移動に伴いコマンド指示の発信が継続している限り、オブジェクトのドラッグ操作が継続しているものとされ、移動後の指定位置にオブジェクトの情報が対応された状態が維持される。

引き続きドラッグ操作が継続され、操作者の指定位置が画像表示装置１の表示領域境界にきたところで、ドラッグ中のオブジェクトに対する操作が情報処理装置３までの移動操作に切り替わる。この移動操作においては、画像表示装置１から情報処理装置３までの中間領域を指示具２により指定している場合であり、前述したように、コマンド指示は無効となるが、その移動位置に従いオブジェクトの情報の追従状態は維持される。

そして、更に移動操作を継続し、情報処理装置３の予め設定された操作領域まで指定位置が移動した場合には、ステップＳ７０８において目的とする情報処理装置３に到達したことを示す情報が入力される。更にコマンド情報が含まれている判断されれば、予め登録された処理の情報が対応される。本実施形態では情報処理装置３はプリンタであるので、それまでドラッグ状態であったオブジェクトに対するプリントアウトの処理が対応されることとなる。

ここで、プリントアウト処理が対応される前提として、情報処理装置３までオブジェクトがドラッグされることが必要である。そこで、本実施形態では、情報処理装置３までオブジェクトがドラッグされたかを識別するために情報処理装置３に付随した上述した操作領域を予め定めている。この操作領域は、予め指定位置演算部２−８に入力されており、この情報処理装置３に付随した操作領域までオブジェクトがドラッグされたことを識別マーカ４−２より判断して、コマンド情報の有無を確認することでプリントアウト処理の情報を対応させる。

そして、ステップＳ７０９において、演算処理制御部６は、ネットワーク回線８を通して、オブジェクトの情報及び対応された情報処理装置３の処理の実行指令を情報処理装置３に送信して、情報処理装置３は受信したオブジェクトをプリントアウトする。

以上の処理についてまとめると、操作者が指示具２によって指定した位置にオブジェクトが存在した場合に、操作者がコマンドＳＷ２−４−２を操作してコマンド指示をしたら、指定位置にオブジェクトの情報が対応される。そして、指定位置の移動に伴いコマンドＳＷ２−４−２によるコマンド指示が継続していれば、オブジェクトの情報を移動後の指定位置に対応した状態を維持する。
更に、画像表示装置１の表示領域外までオブジェクトがドラッグされた場合においても、指定位置の移動に伴いコマンドＳＷ２−４−２によるコマンド指示が継続していれば、オブジェクトの情報を移動後の指定位置に対応した状態で維持する。
そして、情報処理装置３、即ち、予め定められた情報処理装置３に付随する操作領域までオブジェクトがドラッグされたら、情報処理装置３までドラッグされたことを示す情報が追加される。そして、当該情報及びコマンドＳＷ２−４−２によるコマンド指示の継続の確認がされると、情報処理装置３に登録された処理、即ち、プリントアウト処理の情報が対応されて、オブジェクトがプリントアウトされることとなる。

以上のように、本実施形態の情報処理システムでは、画像表示装置１に表示されたオブジェクトを指示具２によりドラッグして画像表示装置１の表示領域外の情報処理装置３（本例ではプリンタ）まで移動するという直感的動作で、該オブジェクトのプリントアウトを行うことができる。即ち、画像表示装置１と、その表示領域外に設置された情報処理装置３との間において、情報処理装置３に対する操作及びコマンド指示を直感的な簡易な方法で可能とするユーザインタフェース環境を提供することが可能となる。
ここで、本情報処理システムは、操作者が手元で操作する指示具２から照射されるスポット７により、画像表示装置１と情報処理装置３とが設置された空間上にユーザインタフェース環境を形成する、複数の表示手段を必要としない非常に簡易な構成である。また、作業領域についても制限を受けない。よって、オフィス用途であっても、家庭用途であっても容易に利用することができ、利便性に優れる。

また、例えば、情報処理装置３としてのプリンタが会議室内に複数配置されており、それらがモノクロ高速機種や高性能カラー対応機種であった場合には、それらも含めて情報処理システムを構成してもよい。この場合、操作者は画像表示装置１からドラッグした情報を、用途やランニングコスト等の目的に応じて、必要とする処理に対応する情報処理装置に対して指示具２により指示すればよい。

また、情報処理装置３は、もちろんプリンタに限定されるものではなく、ＦＡＸや複写機、或いは、それらの複合機であって操作者がその装置に向かって指示するだけで、それがどのような処理を要求しているかが直感的に明確なものであればよい。

また、以上の説明において、指示具２からのコマンド指示及びその指示からの情報に関しての作用に関しては、必ずしも指示具２からのスイッチに限るものではない。例えば、一定時間、同一座標、或いは同一領域内に指定位置を留めた場合に決定動作のコマンド操作ありと判断するようにしてもよい。

（第２の実施の形態）
第１の実施の形態では、画像撮像部２−６を指示具２に内蔵した構成を示した。この場合、実際に指定したスポット近傍のみを撮像するので、常に装置全体を撮像する場合に比べて必要とされる撮像範囲が狭い光学系でよい。従って、画像撮像部２−６の撮像視野範囲に影響を受けない設置範囲の情報処理装置３に対しても指示を行うことができる。しかし、画像撮像部２−６、画像信号処理部２−７、指定位置演算部２−８を指示具２に内蔵することにより、指示具２の構成が複雑になり、指示具２の寸法が大きくなり、重量が大きくなってしまう。

そこで、第２の実施の形態では、上記問題を避けるために、図８に示すように、指示具２の内部ではなく、単体の独立画像撮像部１２を別に設けている。これにより、指示具２の軽量化、小型化を図ることができる。なお、第２の実施の形態に係る情報処理システムの第１の実施の形態と共通する部分については、説明を省略する。

第２の実施の形態において、独立画像撮像部１２は、不図示の撮像部と、画像信号処理部と、指定位置演算部とで構成される。この独立画像撮像部１２は、指示の対象となる画像表示装置１、情報処理装置３がすべて撮像範囲に収まるように光学系が調整される。

また、指定位置演算部は、演算処理制御部６に接続される。撮影画像が指示具２による指定位置により変化せず固定であることは、第１の実施形態の指示具２内蔵の場合と異なるが、内部処理は基本的に指示具２内蔵の場合と同様の動作を行う。また、各識別マーカ４に、識別情報と、前記と同様に画像表示装置１の中心部を原点とし、画像表示装置１の表示面に平行なＸＺ座標系における座標情報とを予めインプットしておくことは指示具２内蔵の場合と同様である。

また、独立画像撮像部１２は、指示の対象となる画像表示装置１、情報処理装置３がすべて撮像範囲に収まるので、識別マーカ４は、指示具２内蔵の場合と比べて数を少なくすることができる。しかし、少なくとも処理の対象となる情報処理装置３に対しては、識別マーカ４を装着する必要があり、指定位置演算部では、指定位置が情報処理装置３の識別マーカ４近傍に来た場合に、当該情報処理装置３への処理の指示であると認識できるようにする。そして、オブジェクトに対し当該情報処理装置３に対応した処理を行うようにする。

また、指定位置演算部では、指示具２の可視光発光部２−１から照射された可視光のスポット７を輝度の変化により検出し、予め既知の座標情報がインプットされた識別マーカ４に対する相対位置関係により絶対的な指定位置のＸＺ座標値を演算する。

第１の実施の形態では、識別マーカ４の位置検出に基づき指定位置を撮像視野範囲９の中心値として演算し、スポット７の検出は、あくまで、その演算座標の補正用として用いた。一方、第２の実施の形態では、スポット７の位置を指定位置として検出するので、座標検出精度がスポット７の検出精度に大きく依存する。従って、スポット７の検出をより確かにするために、指示具２に可視光発光部２−１とは、別に例えば赤外光発光部を設けてもよい。この場合、ほぼ可視光と同様の位置に赤外光スポットを照射し、撮像部に赤外光透過フィルターを装着してよりＳ/Ｎの高い指定位置座標演算をするようにする。

（第３の実施の形態）
第１の実施の形態においては、情報処理装置３への操作者の指示具２による遠隔操作により、その情報処理装置３に予め登録された処理を行う例を述べた。以下に説明する第３の実施の形態では、情報処理装置３本体の外装、操作パネルの操作ボタン等において、更に、その情報処理装置に対する細分化した処理を対応させた領域を予め設定して、その細分化された領域と対応する処理を演算処理制御部６にインプットしておく。これにより、操作者が、対象とする情報処理装置３の大まかな位置を指定するのみならず、更にその領域の中で細分化された領域を指定することにより、細かな処理を実行可能に構成した。以下、第３の実施の形態に係る情報処理システムの動作を図９に示すフローチャートを用いて説明する。なお、情報処理システムの構成は第１の実施の形態と同様であるため、その説明は省略する。

図９に示すフローチャートにおける操作者の概略動作は、図７で説明した動作と同様である。即ち、操作者がプリントアウトしようとする画像表示装置１に示されたオブジェクトを指定して、画像表示装置１の表示領域外までドラッグさせ、更に、指示具２から照射されたスポットを頼りに所望の情報処理装置３まで移動させる動作である。

なお、図９のフローチャートにおけるステップＳ９０１〜Ｓ９０７の処理は、図７のフローチャートにおけるステップＳ７０１〜Ｓ７０７と同様の処理であるためその説明は省略する。以下、ステップＳ９０８以降の処理について説明する。

ステップＳ９０８においては、第１の実施の形態と同様に、指定位置が予め登録された情報処理装置３の大まか操作領域内の座標であると判断し、情報処理装置３の予め登録された処理、つまり、プリントアウトに関連する処理の情報を指定位置に対応させる。なお、ここではステップＳ９０７におけるオブジェクトの座標領域内の座標であった場合の説明は省く。

次に、ステップＳ９０９においては、すぐにそのままプリントアウトの処理に移行するのではなく、一旦、指定位置に基本的なプリントアウトの処理の情報を対応させた状態を維持して、次の具体的な処理がなされる場合に備えて待機する。換言すれば、印刷設定入力待ち状態である。具体的には、単純な一枚の等倍のプリントアウトのみでなく、そのプリントアウトに関連する、様々な処理、例えば、プリント枚数、両面・片面、拡大・縮小等の出力形態等の処理に関わるルーチンを呼び出す。更には、命令があればすぐに印刷設定を伴った処理ができる状態で待機をする。

そして、ステップＳ９１０において、一定時間以内に、更に、近傍の細分化された領域が指定されたか否かを判断する。

ここで、細分化された領域は、上記の通り、外装、操作パネルの操作ボタン等であり、操作者から可視光を照射してスポット７により指定できるように、その形状、寸法を考慮した表示部分として情報処理装置３であるプリンタに設けられる。なお、その表示部分は、一定の印刷表示、固定ボタンによるもののみならず、その情報処理装置３に設けられた、例えば液晶、或いは、有機ＥＬ等で表示される操作パネルの操作ボタン・メニューでもよく、その都度の操作手順により変化する形態でもよい。

ステップＳ９１０において、一定時間内に、細分化された領域に対する操作者からの指定が無ければ、ステップＳ９１１において、通常のプリントアウトの処理を実行する。即ち、他のプリントに関する細かい処理に対応する領域に指示具２による座標移動及びコマンドＳＷ２−４−２によるコマンド指示が検出されなければ、操作領域の情報処理装置３におけるもっとも基本的（典型的）な処理を実行する。つまり、この場合には、等倍のプリントアウトを一枚実行する処理を行う。

一方、ステップＳ９１０において、近傍の細分化された操作領域に指示具２による座標移動及びコマンドＳＷ２−４−２によるコマンド指示が検出されれば、ステップＳ９１２において具体的な処理を行う。即ち、ネットワーク回線８を通して情報処理装置３に印刷設定を伴った処理の指令を与え、待機していたその細かい処理、例えばプリント枚数、両面・片面、拡大・縮小等の出力形態等の印刷設定を伴うプリントアウトの処理を実行する。これにより、更に細かい印刷設定を伴う具体的処理を遠隔操作によって指示することができる。

以上で説明した細かい設定を伴う具体的処理を行う別の方法を説明する。ここで説明する方法では、一旦、情報処理装置３の操作領域を指定して基本的な処理を指定位置に対応させて、次の具体的な処理の準備をして待機するところ（ステップＳ９０９）までは同じ処理をさせる。そして、それから先の細かな印刷設定は、操作者が直接行うようにする。この場合、操作者は、情報処理装置３の待機中に実際にその情報処理装置３のところまで行き、その情報処理装置３の操作ボタン、操作パネルを通常の操作と同様に操作するようにする。このように、プリントアウトの処理の場合においては、指示具２により操作者がプリントアウトしようとする画像表示装置１に示されたオブジェクトを指定して、画像表示装置１の外の領域、更に、プリンタまでドラッグさせる動作と、それ以後の、細かい印刷設定のためのプリンタに対する直接的な操作とを組み合わせた形態としても良い。

或いは、更に、指示具２に多様なメニューボタンが表示できる操作パネル部（入出力一体型タッチパネル）を備えるようにしてもよい。この場合も、一旦、情報処理装置３の操作領域を指定して基本的な処理を指定位置に対応させて、次の具体的な処理の準備をして待機するところ（ステップＳ９０９）まで同じである。そして、その待機状態で、演算処理制御部６から、無線通信部５を通じて指示具無線通信部２−５に対して、対象とする情報処理装置３がプリンタであり、プリントアウトの処理を実行させようとしている状態であることを示す情報を送信する。そして、指示具２では受け取った情報に基づいて、コマンド制御部２−３により操作パネル部にそのプリンタ固有の操作ボタン（メニュー）を表示する。これにより、操作者は、プリント枚数、両面・片面、拡大・縮小等の出力形態等の具体的なコマンドをその個別のボタン（或いはタッチパネル領域）を押して設定するようにする。その後、設定された印刷設定の情報が、コマンド制御部２−３から指示具無線通信部２−５を経て発信され、無線通信部５で受信し、演算処理制御部６で印刷設定の情報が認識され、それに対応した処理を実行するように情報処理装置３に指令するようにする。

以上のように、本実施形態に係る情報処理システムにおいては、画像表示装置１に表示されたオブジェクトを指示具２によりドラッグして情報処理装置３（本例ではプリンタ）まで移動することで、該オブジェクトのプリントアウトを行うことができる。更には、情報処理装置３において、プリントアウトに関する更に細かい処理を対応させた領域を予め設定しておくことで、オブジェクトを細かい印刷設定を伴った状態でプリントアウトすることができる。即ち、本実施形態では、画像表示装置１と、その表示領域外に設置された情報処理装置３との間において、情報処理装置３に対する操作及びコマンド指示を直感的な簡易な方法で可能とし、より利便性を向上させたユーザインタフェース環境を提供することができる。

（第４の実施形態）
以上の実施の形態で説明した座標の演算方法の他に指示具２に高感度ＧＰＳ、角速度センサ、或いは、加速度センサ、角度センサ等を内蔵し、前記光学的な座標演算以外の方法で指定位置を演算してもよい。また、他の絶対検出手段と、この角度検出手段とを組み合わせた座標演算方法を用いてもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の第１の実施の形態に係る情報処理システムの構成を示す図である。 本発明の第１の実施の形態に係る情報処理システムの指示具の構成を示す図である。 本発明の第１の実施の形態に係る情報処理システムの指示具の撮像範囲を説明するための図である。 本発明の実施の形態に係る情報処理システムの指示具による指定位置の座標演算を説明するための図である。 本発明の実施の形態に係る情報処理システムの指示具による指定位置の座標演算を説明するための図である。 本発明の第１の実施の形態に係る情報処理システムの指示具における処理を説明するためのフローチャートである。 本発明の第１の実施の形態に係る情報処理システムの演算処理制御部における処理を説明するためのフローチャートである。 本発明の第２の実施の形態に係る情報処理システムの構成を示す図である。 本発明の第３の実施の形態に係る情報処理システムの演算処理制御部における処理を説明するためのフローチャートである。

符号の説明

１ 画像表示装置
２ 指示具
２−１ 可視光発光部
２−２ 照射制御部
２−３ コマンド制御部
２−４ 制御スイッチ
２−４−１ 照射スイッチ
２−４−２ コマンドスイッチ
２−５ 指示具無線通信部
２−６ 画像撮像部
２−７ 画像信号処理部
２−８ 指定位置演算部
３ 情報処理装置
４、４−１、４−２ 識別マーカ
５ 無線通信部
６ 演算処理制御部
７ スポット
８ ネットワーク回線
１２ 独立画像撮像部

Claims (9)

1. 画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置とを含み、前記画像表示装置が表示するオブジェクトを処理するための情報処理システムであって、
   前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示手段と、
   前記指示手段で指定した位置を演算する座標演算手段と、
   前記座標演算手段の演算結果と、前記指示手段で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御手段とを備えたことを特徴とする情報処理システム。
2. 前記指示手段で指定した位置を照射する照射手段を備えたことを特徴とする請求項１に記載の情報処理システム。
3. 前記照射手段で照射された位置を含むように前記空間を撮像する撮像手段を備え、
   前記座標演算手段は、前記撮像手段で撮像した画像から前記指示手段で指定した位置を演算することを特徴とする請求項２に記載の情報処理システム。
4. 前記指示手段と、前記照射手段と、前記撮像手段とが一体で構成されることを特徴とする請求項３に記載の情報処理システム。
5. 前記オブジェクトを前記指示手段で指定してコマンドによる指示を行い、前記画像表示装置の表示領域内から前記情報処理装置まで座標移動を行うことで、前記情報処理装置は前記オブジェクトを処理する、或いは、前記オブジェクトに対する処理待ち状態となることを特徴とする請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記情報処理装置において予め定められた領域に前記座標移動を行うことで、前記情報処理装置は、前記予め定められた領域に応じた処理を行うことを特徴とする請求項５に記載の情報処理システム。
7. 前記情報処理装置はプリンタの機能を有し、前記オブジェクトを前記指示手段で指定してコマンドによる指示を行い、前記画像表示装置の表示領域内から前記情報処理装置まで座標移動を行うことで、前記情報処理装置は前記オブジェクトのプリントアウトを実行する、或いは、前記オブジェクトに対する印刷設定入力待ち状態となることを特徴とする請求項５又は６に記載の情報処理システム。
8. 画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置と、前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示具とを用いて、前記画像表示装置が表示するオブジェクトを処理するための情報処理方法であって、
   前記指示具で指定した位置を演算する座標演算工程と、
   前記座標演算工程の演算結果と、前記指示具で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御工程とを有することを特徴とする情報処理方法。
9. 画像表示装置と、前記画像表示装置にネットワークを介して接続した情報処理装置と、前記画像表示装置と前記情報処理装置とが含まれる空間上の任意の位置を指定し、コマンドによる指示をする指示具とを用いて、前記画像表示装置が表示するオブジェクトを処理するためのコンピュータプログラムであって、
   前記指示具で指定した位置を演算する座標演算処理と、
   前記座標演算処理の演算結果と、前記指示具で指示したコマンドとに応じて、前記画像表示装置及び前記情報処理装置のうち少なくともいずれか一方に予め定められた処理を実行させる制御処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images