JP2004348577A - 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 - Google Patents
情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 Download PDFInfo
- Publication number
- JP2004348577A JP2004348577A JP2003146594A JP2003146594A JP2004348577A JP 2004348577 A JP2004348577 A JP 2004348577A JP 2003146594 A JP2003146594 A JP 2003146594A JP 2003146594 A JP2003146594 A JP 2003146594A JP 2004348577 A JP2004348577 A JP 2004348577A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- information
- image information
- pointing device
- display image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】複数のポインティング装置を用いて同じ表示画像上をポインティング操作する際、不正なポインティング操作を防止する。
【解決手段】情報処理装置（ＰＣ）１と、このＰＣ１に保持された情報を表示画像２３上に表示可能なプロジェクタ２１と、表示画像２３上の任意の位置を指示する複数のポインティング装置３ａ，３ｂとを有する情報表示システムであって、複数のポインティング装置３ａ，３ｂは、ポインティング装置３ａ，３ｂそれぞれが自身をＰＣ１に登録するに必要な処理をその処理機能の１つとして行うポインティング操作参加手段３６を有し、ＰＣ１は、ポインティング装置３ａ，３ｂのポインティング操作参加手段３６からの情報に基づいて当該ポインティング装置３ａ，３ｂの認証可否を判定して認証可と判定した場合に当該ポインティング装置３ａ，３ｂを登録する処理をその処理機能の１つとして行うポインティング操作受付手段１５を有する。
【選択図】 図１
【解決手段】情報処理装置（ＰＣ）１と、このＰＣ１に保持された情報を表示画像２３上に表示可能なプロジェクタ２１と、表示画像２３上の任意の位置を指示する複数のポインティング装置３ａ，３ｂとを有する情報表示システムであって、複数のポインティング装置３ａ，３ｂは、ポインティング装置３ａ，３ｂそれぞれが自身をＰＣ１に登録するに必要な処理をその処理機能の１つとして行うポインティング操作参加手段３６を有し、ＰＣ１は、ポインティング装置３ａ，３ｂのポインティング操作参加手段３６からの情報に基づいて当該ポインティング装置３ａ，３ｂの認証可否を判定して認証可と判定した場合に当該ポインティング装置３ａ，３ｂを登録する処理をその処理機能の１つとして行うポインティング操作受付手段１５を有する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ポインティング位置の座標情報の取得が可能な情報表示システムおよび情報表示システムにおけるポインティング装置制御方法に係わり、特に複数のポインティング装置を用いて同じ表示画面上のポインティング操作の可能な情報表示システムおよび情報表示システムにおけるポインティング装置制御方法に関する。
【０００２】
【従来技術】
画像表示装置の１つとして、最近ではプロジェクタが広く用いられるようになってきている。このプロジェクタによって投影された投影画面上の任意位置の座標をこのプロジェクタを接続する情報処理機器（たとえばパーソナルコンピュータ）が取得する方法としては、ポインティングを行う手段（指示棒、レーザポインタなど）の他に、投影画面を撮像するための固定カメラや光学センサが必要であり、情報表示システムが大掛かりなものとなるため、汎用性という点では問題がある。
【０００３】
この問題を解決するために、従来から様々な提案がなされている。たとえば、特開平６−３０８８７９号公報の「光学式ポインティングシステム」（以下、従来技術１という）、特開２００１−１４８０２５号公報の「位置検出装置及びその方法、平面姿勢検出装置及びその方法」（以下、従来技術２という）、特開２００１−１６６８８１号公報の「ポインティング装置及びその方法」（以下、従来技術３という）、特開２００１−３２５０６９号公報の「位置検出装置およびその方法」（以下、従来技術４という）などが挙げられる。
【０００４】
従来技術１は、表示画面上に発光素子を設けて、この発行素子の発光する光を指示器（この指示器がポインティング装置としての役目をなす）に設けられた光電変換素子で受光し、光電変換素子の出力信号から指示器の軸の方向を算出し、その軸方向に対応する位置にポインタマークを表示させるものであるが、位置検出のために表示画面に１個以上の発光素子を設けなければならない。
【０００５】
また、従来技術２，３，４は、撮像手段（カメラ）をポインティング装置として用いており、表示画像の特徴的な画像を撮影して、その特徴的な形状から座標を取得するものである。このため、カメラで撮影する画像に特徴的な形状が含まれている必要があり、たとえば、投影スクリーンの矩形であるとか、表示画像に表示された幾何学的図形をカメラで撮影する必要がある。
【０００６】
また、従来技術４は、表示画面上の各位置にマーカとなるオブジェクトをいくつか配置しなければならず、画像本来の内容とは関係のないものまで表示されることになる。また、これら各従来技術２，３，４は、指示位置を絶対座標として取得するものであり、相対座標として取得することについては考慮されていない。
【０００７】
また、以上の従来技術１から４は、ポインティング装置が１つであることを想定したポインティング位置検出について述べられたものである。しかし、プロジェクタを用いた会議やプレゼンテーションでは、その会議やプレゼンテーションに参加している複数の参加者が、表示画面上の任意の位置を同時に指示できるようにすることも望まれている。
【０００８】
このように、複数の参加者が１つの表示画面上の任意の位置を同時に指示できるようにした画像表示システムとして、たとえば、特開平７−２００１６０号公報の「情報提供装置及び情報表示装置」（以下、従来技術５という）、特開平７−２６１９１３号公報の「情報表示方法及び情報表示装置」（以下、従来技術６という）、特開平８−９５１５７号公報の「表示装置」（以下、従来技術７という）などがある。
【０００９】
【特許文献１】
特開平６−３０８８７９号公報
【特許文献２】
特開２００１−１４８０２５号公報
【特許文献３】
特開２００１−１６６８８１号公報
【特許文献４】
特開２００１−３２５０６９号公報
【特許文献５】
特開平７−２００１６０号公報
【特許文献６】
特開７−２６１９１３号公報
【特許文献７】
特開８−９５１５７号公報
【００１０】
【発明が解決しようとする課題】
従来技術１から４は、上述したように、複数のポインティング装置によるポインティング操作についての対応は考慮されてない。これに対して、従来技術５から７は、複数のポインティング装置によるポインティング操作を可能としているが、これら従来技術は、複数のポインティング装置によってポインティング操作を行う際のアクセス制御手段を持っていないため、たとえば、部外者などが会議やプレゼンテーションの妨害や混乱を目的として、不正なポインティング操作を行うといったことも可能となる。
【００１１】
また、これら従来技術５から７は、個々のポインティング装置が発するポインタマークは、個々のポインティング装置ごとに異ならせることは可能であっても、そのポインタマークは、個々のポインティング装置の物理的な構造に依存した固定的なものであるため、個々のポインティング装置においてそれを使用するユーザが好みのポインタマークを設定したり選択したりすることはできない。
【００１２】
また、複数のポインティング装置の使用が可能であると、たとえば、複数のポインティング装置によって表示画面上の同位置がポインティングされた場合、個々のポインティング装置から発せされたポインタマークが重畳することとなるが、このような複数のポインタマークの重畳を判別するための複雑な処理が必要となる。
【００１３】
また、このとき、同じポインタマークを持つポインティング装置が使用されると、それを識別できず、たとえば、他の参加者が持つポインティング装置のポインタマークと同じポインタマークを持つポインティング装置を予め用意しておき、他の参加者になりすましてポインティングをするといった不正なポインティングも可能となるといった問題もある。
【００１４】
また、従来技術５から７で用いられているポインティング装置は、レーザポインタであり、レーザ光によってポインティングするだけであるので、そのポインティング位置でのコマンド入力やその位置におけるデータの編集などを容易に行うことはできない。
【００１５】
そこで本発明は、同一表示画面上において複数のポインティング装置によるポインティング操作を行う際、不正なポインティング操作を防止するとともに、複数のポインティング装置による円滑なポインティング操作を可能とし、かつ、それぞれのポインティング位置でのコマンド入力を可能とする情報表示システムおよび情報表示システムにおけるポインティング装置制御方法を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上述した目的を達成するために、本発明の情報表示システムは、情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムであって、前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するに必要な処理をその処理機能の１つとして行うポインティング操作参加手段を有し、前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理機能の１つとして行うポインティング操作受付手段を有することを特徴としている。
【００１７】
このように、複数のポインティング装置で同じ表示画面上をポインティング操作可能とする情報表示システムとする際、複数のポインティング装置では、パーソナルコンピュータなどの情報処理装置側に対し自身を登録するための処理を行い、情報処理装置側では個々のポインティング装置に対して認証可否判定を行った上で認証可とされたポインティング装置のみを登録するようにしているので、部外者などが勝手にポインティングするというような不正なポインティング操作を未然に防止することができる。これによって、会議やプレゼンテーションなどを行う場での不正や混乱を防止することができ、会議やプレゼンテーションを円滑に進行させることができる。
【００１８】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、当該ポインティング装置固有の識別情報を発行することが好ましい。
【００１９】
このように、認証されたポインティング装置それぞれに対して識別情報（ＩＤ）を発行することによって、個々のポインティング装置をこのＩＤで適正に管理することができる。
【００２０】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、個々のポインティング装置ごとに異なるポインタマークを割り当てるポインタマーク割り当て処理を行うことが好ましい。
【００２１】
これによって、個々のポインティング装置ごとに異なるポインタマークを割り当てることができるので、どのポインティング装置がどこを指示しているかが容易に把握でき、会議やプレゼンテーションでポインティング装置が多数使用されるような場合、会議やプレゼンテーションを円滑に進行させることができる。
【００２２】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置ごとにそのポインティング装置が行うポインティング操作実行用のポインティングタスクを生成することが好ましい。
【００２３】
このように、ポインティング装置ごとのポインティングタスクが生成されることによって、ポインティング装置ごとに独立したポインティング操作を実行することができる。
【００２４】
また、上述の各情報表示システムにおいて、前記複数のポインティング装置の指示位置が重複する場合、予め設定された規則に基づく優先度を設定し、その複数のポインティング装置から発せられるそれぞれのポインタマークのうちの優先度の最も高いポインタマークのみを当該座標位置で表示させることが好ましい。
【００２５】
このようなポインタマークの表示制御を行うことによって、複数のポインタマークの指示位置が重複しても、いずれかのポインタマークをその指示位置で表示させることができ、しかも、予め設定された規則に基づく優先度を設定し、優先度の最も高いポインタマークのみを当該座標位置で表示させる制御を行うので、複数のポインティング装置を操作するそれぞれのユーザの納得の行くポインタマーク表示制御を行うことができる。
【００２６】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置それぞれが指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成とすることが好ましい。
【００２７】
これは、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムであり、このような構成とすることによって、上述した不正なポインティング操作を防止するなどといった効果に加えて、表示画像上に特徴的な形状やマーカなどを特別に設けたり、特徴的な画像を同時に撮影するといったことをする必要がなく、単に、指示位置を含むように撮影するだけで指示位置を容易かつ正確に行うことができ、これにより、多数のポインティング装置を用いポインティング操作を行う場合の対応が容易なものとなる。
【００２８】
また、この場合、指示座標特定は、情報報処理装置側で行っている。指示座標特定手段を情報処理装置側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができ、また、ポインティング装置側に、指示座標特定に必要な（たとえば画像処理用の）ハードウエアやソフトウエアを搭載する必要がないといったことが挙げられ、さらに、ポインティング装置よりも情報処理装置の方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像演算処理も容易かつ高速に行うことができ、高精度な座標特定が可能となるといった利点もある。
【００２９】
このように、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理を情報処理装置側で行う場合においては、前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置が指示する指示座標を特定する指示座標特定処理と、前記表示画像上の当該特定された指示座標上にポインタマークを合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３０】
これにより、処理能力の高い情報処理装置側で指示座標の特定を行うことができ、高速でかつ高精度な座標特定処理が可能となる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３１】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、前記認証可とされたポインティング装置の指示座標特定手段で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成とすることも可能である。
【００３２】
これは、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標特定手段をポインティング装置側で行うものであり、このように、指示座標特定手段をポインティング装置側で行う利点は、情報処理装置側から見てポインティング装置を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、情報処理装置側では特に複雑な処理を行う必要が無く、情報処理装置側の演算量を削減できるので、ポインティング装置が多数用いられる状況において情報処理装置側の負担を軽減することができる。
【００３３】
このように、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理をポインティング装置側で行う場合においては、前記ポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３４】
これにより、情報処理装置側では、指示座標の特定処理を行わなくてすむので、情報処理装置側の演算量を削減でき、特に、ポインティング装置が多数用いられる状況においては、情報処理装置側の負担を軽減することができる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３５】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、当該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、前記表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、そのポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像情報生成手段とを有する構成とすることも可能である。
【００３６】
これは、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムであり、指示位置を相対座標として取得する場合は、ポインティング装置による撮影対象は表示画面上でなくてもよいので、撮影場所の制約が少なく、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置をパーソナルコンピュータのマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【００３７】
このように、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理をポインティング装置側で行う場合においては、前記ポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で算出された指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、当該ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３８】
これにより、情報処理装置側では、指示座標の特定処理を行わなくてすむので、情報処理装置側の演算量を削減でき、特に、ポインティング装置が多数用いられる状況においては、情報処理装置側の負担を軽減することができる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３９】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、ある所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置の撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像と前記ポインティング装置の撮影手段から得られた現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像生成手段とを有する構成とすることも可能である。
【００４０】
これは、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標移動ベクトル算出を情報処理装置側で行うようにしたものであり、このように、指示座標移動ベクトル算出を情報処理装置側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができる。また、ポインティング装置側に、指示座標移動ベクトルを算出するのに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置として、一般的な携帯情報機器を用いることができる。また、ポインティング装置よりも情報処理装置の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行え、高精度な指示座標移動ベクトルの算出が可能となる。
【００４１】
このように、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理を情報処理装置側で行う場合においては、情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記指示座標移動ベクトルを算出する指示座標移動ベクトル算出処理と、この指示座標移動ベクトル算出処理で算出された指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００４２】
これにより、処理能力の高い情報処理装置側で指示座標位置の特定が行うことができ、高速でかつ高精度な座標特定処理が可能となる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００４３】
また、本発明の情報表示システムにおけるポインティング装置制御方法は、情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムにおけるポインティング装置制御方法であって、前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するための処理を行うステップをその処理手順に含み、前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理手順に含むことを特徴としている。
【００４４】
このように、複数のポインティング装置で同じ表示画面上をポインティング操作可能とする情報表示システムとする際、複数のポインティング装置では情報処理装置側に対し自身を登録するための処理を行い、情報処理装置側では個々のポインティング装置に対して認証可否判定を行った上で認証可とされたポインティング装置のみを登録するようにしているので、部外者などが勝手にポインティングするというような不正なポインティング操作を未然に防止することができる。これによって、会議やプレゼンテーションなどを行う場での不正や混乱を防止することができ、会議やプレゼンテーションを円滑に進行させることができる。
【００４５】
なお、この情報表示システムにおけるポインティング装置制御方法において、前記認証可とされたポインティング装置に対し、当該ポインティング装置固有の識別情報を発行することが好ましい。
【００４６】
また、この情報表示システムにおけるポインティング装置制御方法において、前記認証可とされたポインティング装置に対し、個々のポインティング装置ごとに異なるポインタマークを割り当てるポインタマーク割り当て処理を行うことが好ましい。
【００４７】
また、この情報表示システムにおけるポインティング装置制御方法において、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置ごとにそのポインティング装置が行うポインティング操作実行用のポインティングタスクを生成することが好ましい。
【００４８】
また、この情報表示システムにおけるポインティング装置制御方法において、前記複数のポインティング装置が指示した座標位置が重複する場合、予め設定された規則に基づく優先度を設定し、その複数のポインティング装置から発せられるそれぞれのポインタマークのうちの優先度の最も高いポインタマークのみを当該座標位置で表示させることが好ましい。
【００４９】
【発明の実施の形態】
以下、本発明の実施形態について説明する。この実施形態では、情報表示装置としてはプロジェクタおよび壁面ないしスクリーンを用いるものとし、このプロジェクタを情報処理装置としてのパーソナルコンピュータ（以下ではＰＣという）に接続して、当該ＰＣ上のデータをプロジェクタによって壁面やスクリーン上に投影し、その投影された画像に対して複数のポインティング装置で任意の位置を指定し、その指定された位置の座標情報を取得してその座標上にポインタマークを表示する例について説明する。
【００５０】
また、ポインティング装置としては、画像を撮影する撮影機能とそれによって得られた画像情報をネットワークやＰＣに送信可能な通信機能を有する携帯用情報端末機器（たとえば、カメラ付き携帯電話機、通信機能を有したディジタルスチルカメラ、通信機能を有したディジタルビデオカメラなど）を用いるものとする。また、本発明では、プロジェクタによって投影された表示画像上の任意の位置を複数のポインティング装置で指示できるものとしているが、この実施形態では、説明をわかり易くするため、ポインティング装置は特別な場合を除いて２つである場合について説明する。
【００５１】
なお、本発明は、指示位置を絶対座標として取得することも可能であり、また、相対座標として取得することも可能であるので、指示位置を絶対座標として取得する例を実施形態１、指示位置を相対座標として取得する例を実施形態２として説明する。
【００５２】
〔実施形態１〕
図１はこの実施形態１を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、情報処理装置としてのＰＣ１、このＰＣ１から出力される情報を表示する情報表示装置２、この情報表示装置２で表示された画像上の任意の位置を指示する２つのポインティング装置３ａ，３ｂからなる。
【００５３】
なお、ポインティング装置３ａ，３ｂとしては、上述したように、撮影機能と通信機能を有した携帯用情報端末（通信機能を有したディジタルスチルカメラ、カメラ付き携帯電話機、通信機能を有したディジタルビデオカメラなど）を用いるものとするが、この実施形態では、ポインティング装置３ａは通信機能を有したディジタルスチルカメラ、ポインティング装置３ｂはカメラ付き携帯電話機であるとして説明する。
【００５４】
ＰＣ１は、表示すべき画像の画像情報を記憶する表示画像情報記憶手段１１、現時点において表示すべき画像情報を生成するとともにポインタマークを表示画像上の指示された座標位置に合成する機能を有する表示画像情報生成手段１２、ポインティング装置３ａ，３ｂで指示された座標（ポインタマークを表示したりコマンドを入力したりする座標）を特定する指示座標特定手段１３、ポインティング装置３ａ，３ｂの認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理機能の１つとして行うポインティング操作受付手段１５を有している。
【００５５】
このポインティング操作受付手段１５は、ポインティング装置３ａ，３ｂに対してこれらポインティング装置３ａ，３ｂがその会議やプレゼンテーションなどで使用されるポインティング装置として正当なポインティング装置であるか否かを判定する認証判定機能と、正当なポインティング装置であると判定された場合は、そのポインティング装置を認証されたポインティング装置とし、識別情報としてのＩＤを発行する機能と、その認証されたポインティング装置に対してポインタマークの割り当て（これについての詳細は後述する）を行う機能と、認証されたポインティング装置ごとにそのポインティング装置が行うポインティング操作を実行するためのポインティングタスク（これについての詳細は後述する）を生成する機能と、ポインティング装置からのポインティング操作情報を受け取り、ＩＤに基づいてどのポインティング装置からの操作指示であるかを判定する機能とを有している。
【００５６】
また、情報表示装置２は、画像情報を投影するプロジェクタ２１と、画像情報が投影されるスクリーン２２から構成されている。
【００５７】
また、ポインティング装置３ａ，３ｂは、ファインダやディスプレイ画面などの視準手段３１、この視準手段３１で設定された所定範囲の画像を撮影する撮影手段３２、ＰＣ１への登録や登録完了後にＰＣ１から与えられたＩＤをポインティング操作情報に付加してＰＣ１に出力する機能を有するポインティング操作参加手段３６を有している。
【００５８】
これらポインティング装置３ａ，３ｂからＰＣ１に対して送信される情報は、無線ＬＡＮ、赤外線通信、電話回線などを利用したネットワークなど何らかの通信手段によって送信できるようになっている。
【００５９】
このような構成において、ポインティング装置３ａ，３ｂで指示した位置にそれぞれのポインタマークを表示させる具体的な処理手順について説明する。まずは、図２を参照しながら、本発明の全体の処理手順を説明する。なお、この処理は複数のポインティング装置（この場合、ポインティング装置３ａ，３ｂ）で共通の処理であり、個々のポインティング装置３ａ，３ｂのポインティング操作参加手段３６とＰＣ１のポインティング操作受付手段１５との間で行われる。
【００６０】
ポインティング装置３ａ，３ｂのそれぞれのポインティング操作参加手段３６は、まず、認証およびＩＤ発行要求を送信する（ステップＳ１）。このとき、ポインティング操作受付手段１５が認証のためのパスワードを必要とする場合は、必要に応じて、そのパスワード情報を認証およびＩＤ発行要求に加えて送信するようにしてもよい。
【００６１】
この認証およびＩＤ発行要求がポインティング装置３ａ，３ｂからＰＣ１側に送信されると、ＰＣ１では、個々のポインティング装置３ａ，３ｂに対する認証可否判断を何らかの基準に基づいて行う（ステップＳ２）。この認証可否の判断は、人間が行ってもよいし、パスワード合否などの判断基準を予め設定しておき、ポインティング操作受付手段１５がその判断基準を参照することで、自動的に判断するようにしてもよい。
【００６２】
そして、その認証可否判断の結果、不可であれば、認証不可を示す通知を発行してそれを該当するポインティング装置に送信する（ステップＳ３）。この認証不可通知を受け取ったポインティング装置のユーザは、認証およびＩＤ要求を再試行するか否かを判断し（ステップＳ４）、再試行する場合は、認証不可となった原因などを調べて、原因がわかればそれを修正した上で、ステップＳ１に戻って、認証およびＩＤ要求を送信する。なお、再試行しない場合は、それ以降の処理の実行を行わないようにする。認証不可となって再試行を行わない場合は、そのポインティング装置からのそれ以上の操作指示要求は、ＰＣ１側では受け付けないようにする。
【００６３】
一方、上述のステップＳ２における認証可否判断の結果、認証可であると判定された場合は、その認証可とされたポインティング装置を特定するための固有な識別情報であるＩＤを生成して、そのＩＤを認証可通知とともに、該当するポインティング装置に送信する（ステップＳ５）。
【００６４】
このようにして、ＰＣ１側からＩＤが認証可通知とともに該当するポインティング装置に送られてくると（ここでは、ポインティング装置３ａ，３ｂはともにそれぞれのＩＤと認証通知が送られてきたものとする）、これらポインティング装置３ａ，３ｂでは、送られてきたＩＤを取得する（ステップＳ６）。
【００６５】
以上、ステップＳ１からステップＳ６までの処理は、ポインティング装置３ａ，３ｂが適正であるか否かを判定する認証処理であり、この認証処理の終了した（認証可とされてＩＤの発行された）ポインティング装置３ａ，３ｂを認証済みポインティング装置と呼ぶ。このような認証処理が終了すると、今度は、その認証済みのポインティング装置３ａ，３ｂとＰＣ１との間でポインタマーク割り当て処理を行う（ステップＳ７）。
【００６６】
このポインタマーク割り当て処理は、認証済みのポインティング装置３ａ，３ｂに対して、ポインティング装置３ａ，３ｂごとに異なるポインタマークを割り当てるもので、これについては後に詳細に説明する。
【００６７】
このポインタマーク割り当て処理が終了すると、個々のポインティング装置３ａ，３ｂによるポインティング操作の実行を可能とするためのポインティングタスクを、発行したＩＤごと（認証済みポインティング装置ごと）に生成し（ステップＳ８）、これによって、そのポインティング装置３ａ，３ｂはＰＣ１への登録が完了する（ステップＳ９）。なお、ステップＳ８にて生成されるポインティングタスクについては後に説明する。
【００６８】
以上のようにして、ポインティング装置３ａ，３ｂのＰＣ１への登録が完了すると、これらポインティング装置３ａ，３ｂからはポインティング操作（所定位置をポインティングする操作だけでなくコマンド入力などの操作を含む）が可能となる。
【００６９】
これによって、ポインティング装置３ａ，３ｂでポインティング操作を行うと（ステップＳ１０）、取得したＩＤがその操作指示情報に付加されて（ステップＳ１１）、ＰＣ１に送信され、ＰＣ１では送られてきたＩＤを確認し（ステップＳ１２）、そのＩＤが適正であれば、そのＩＤに対応して生成されたポインティングタスクを実行する（ステップＳ１３）。また、ＩＤを確認した結果、適正でないと判定された場合は、ポインティングタスクの実行は行わない（ステップＳ１４）。
【００７０】
なお、上述の説明では、ポインティング装置は２つ（ポインティング装置３ａ，３ｂ）として説明したが、ポインティング装置は３個以上であってもよいことは勿論であり、その場合、個々のポインティング装置について図２で示したと同様の処理を行えばよい。
【００７１】
次に、図２のステップＳ７で示したポインタマークの割り当て処理について、図３、図４、図５を参照しながら説明する。このポインタマークの割り当て処理は、認証済みポインティング装置（この場合、ポインティング装置３ａ，３ｂ）に対してＰＣ１のポインティング操作受付手段１５が行うもので、会議やプレゼンテーションなどに用いられる複数のポインティング装置に対してそれぞれ異なったポインタマークが割り当てられる。
【００７２】
そのポインタマークの割り当ての仕方として、ここでは、３つの割り当て方法を例にとって説明し、図３の割り当て方法を第１のポインタマーク割り当て方法、図４の割り当て方法を第２のポインタマーク割り当て方法、図５の割り当て方法を第３のポインタマーク割り当て方法とする。なお、ここでも、ポインティング装置はポインティング装置３ａ，３ｂの２つであるとして説明する。
【００７３】
まず、第１のポインタマーク割り当て方法について図３を参照しながら説明する。ＰＣ１側には、割り当て可能なポインタマークとして、たとえば、この図３に示すような複数種類のポインタマーク（説明の都合上、これらポインタマークに対して図示の上から順にＭ１，Ｍ２，Ｍ３，・・・という符号を付す）を記憶手段（たとえば表示画像情報記憶手段１１）が保持している。
【００７４】
そして、図２で説明した認証処理が終了したあと、認証済みポインティング装置３ａ，３ｂに対して、ＰＣ１側で設定された対応付け規則（たとえば、認証処理の終了順にポインタマークＭ１から順に割り当てるなど）に基づいて、すでに発行したＩＤ（発行済みＩＤ）に各ポインタマークＭ１，Ｍ２，・・・を割り当てることで、ＩＤ／ポインタマーク対応テーブルを作成する。そのＩＤ／ポインタマーク対応テーブルの内容は、たとえば、図３で示すように、ポインタマークＭ１に対しては発行済みＩＤ「○×○×」、ポインタマークＭ２に対しては発行済みＩＤ「×××△」というように、それぞれのポインタマークＭ１，Ｍ２，Ｍ３，・・・と発行済みＩＤとの対応付けがなされたものとなっている。
【００７５】
このように、それぞれの発行済みＩＤに対するポインタマークＭ１，Ｍ２，Ｍ３，・・・の割り当てを終了すると、それぞれのポインティング装置３ａ，３ｂに対し、その割り当て結果を割り当て通知として送信する。
【００７６】
ポインティング装置３ａ，３ｂでは、それぞれポインティング操作参加手段３６が、ＰＣ１からの割り当て通知を受け取ると、その割り当てられたポインタマークを自分の視準手段３１に表示させる。たとえば、この図３の例では、ポインティング装置３ａは、取得したＩＤが「○×○×」であって、ポインタマークＭ１が割り当てられ、ポインティング装置３ｂは、取得したＩＤが「×××△」であって、ポインタマークＭ２が割り当てられているので、ポインティング装置３ａの視準手段３１には、ポインタマークＭ１の画像が表示され、ポインティング装置３ｂの視準手段３１には、ポインタマークＭ２の画像が表示される。
【００７７】
このポインティング装置の視準手段３１で、そのポインティング装置に割り当てられたポインタマークを表示させる処理は、必須要件ではないが、これを行うことによって、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザは、自分の使用するポインティング装置にはどのようなポインタマークが割り当てられたかを容易に確認することができるので便利である。
【００７８】
この第１のポインタマーク割り当て方法は、ＰＣ１側であらかじめ決められた規則に基づき、認証済みポインティング装置に対して機械的にポインタマークを割り当て、それをそれぞれのポインティング装置に通知する処理を行えばよいので、ポインティング装置を使用するそれぞれのユーザが好みのポインタマークを選ぶことはできないものの、ＰＣ１と各ポインティング装置３ａ，３ｂとの間でのポインタマーク割り当て処理に必要な通信データ量を最小限にとどめることができ、ポインタマーク割り当て処理の負荷を非常に軽くすることができるのが利点である。
【００７９】
次に、第２のポインタマーク割り当て方法について図４を参照しながら説明する。この第２のポインタマーク割り当て方法においても、ＰＣ１側には、割り当て可能なポインタマークとして、たとえば、図３で示したと同様の複数種類のポインタマークＭ１，Ｍ２，Ｍ３，・・・を記憶手段（たとえば表示画像情報記憶手段１１）が保持している。そして、この第２のポインタマーク割り当て方法は、これら各ポインタマークＭ１，Ｍ２，Ｍ３，・・・に対して、それぞれ固有のポインタマーク識別符号（この図４の例では、「００１」、「００２」、・・・など）が付されている。
【００８０】
そして、このような様々なポインタマークがあることを認証済みポインティング装置（この例ではポインティング装置３ａ，３ｂ）に対し通知し、ポインティング装置３ａ，３ｂ側では、その中からいずれかのポインタマークを選択する。
【００８１】
なお、複数種類のポインタマークがあることを個々のポインティング装置３ａ，３ｂに通知し、その中からそれぞれのユーザが選択する方法としては、ＰＣ１側が複数のポインタマークの全てまたはその中から幾つかを選んで、それを個々のポインティング装置３ａ，３ｂに送信し、ポインティング装置３ａ，３ｂ側では、送信されてきたポインタマークを自身の視準手段３１に表示させて、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザがその中から自分の好みのポインタマークを選ぶ（上述したポインタマーク識別符号を指定する）といった方法や、スクリーン２２上に複数種類のポインタマークを表示させておき、その中からそれぞれのユーザが選択する（上述したポインタマーク識別符号を指定する）といった方法がある。
【００８２】
このようにして、それぞれのポインティング装置３ａ，３ｂ側で、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザが自分の好みのポインタマークを選択し、そのポインタマーク選択情報をＰＣ１側に送信すると、ＰＣ１では、それぞれのポインティング装置３ａ，３ｂからのポインタマーク選択情報に基づいて、そのポインタマークの使用が可能であるか否かの判定（すでに他のポインティング装置で使用されているか否かの判定など）を行い、使用が可能であれば、それぞれのポインティング装置３ａ，３ｂにポインタマーク割り当て通知を発行するとともに、ポインタマークの識別符号と発行済みのＩＤ（個々のポインティング装置に与えられたＩＤ情報）とを対応付けたＩＤ／ポインタマーク識別符号対応テーブルを作成する。
【００８３】
この図４の例では、識別符号「００１」のポインタマークＭ１は「○×○×」のＩＤ（ポインティング装置３ａが取得したＩＤ）に対応付けられ、識別符号「００２」のポインタマークＭ２は「×××△」のＩＤ（ポインティング装置３ｂが取得したＩＤ）に対応付けられた例が示されている。
【００８４】
このようにして、認証済みの個々のポインティング装置にポインタマークが割り当てられると、その割り当て結果がそれぞれのポインティング装置の視準手段３１に表示される。この図４の例では、ポインティング装置３ａの視準手段３１には、ポインタマークＭ１の識別符号「００１」が表示され、ポインティング装置３ｂの視準手段３１には、ポインタマークＭ２の識別符号「００２」が表示された例が示されている。なお、このとき、それぞれの視準手段３１には、識別符号とともにそれに対応するポインタマークの画像を表示させるようにしてもよい。
【００８５】
この第２のポインタマーク割り当て方法は、ＰＣ１側と各ポインティング装置３ａ，３ｂとの間でのポインタマーク割り当て処理に必要な通信データ量は、上述の第１のポインタマーク割り当て方法に比べるとやや増えるが、各ポインティング装置３ａ，３ｂにおいて、それを使用するユーザがポインタマークを限られた範囲ではあるが選択することができるという利点がある。
【００８６】
次に、第３のポインタマーク割り当て方法について図５を参照しながら説明する。この第３のポインタマーク割り当て方法は、それぞれのポインティング装置側で１個以上のポインタマークをそれぞれのポインティング装置が持つ記憶手段（図５ではポインタマーク記憶手段３７としている）に保持しておき、その中からそのポインティング装置を使用するユーザが好みのポインタマークを選択し、選択したポインタマークに対応するポインタマーク画像に当該ポインティング装置のＩＤを付加したものをポインタマーク登録情報としてＰＣ１側に送信するものである。
【００８７】
このとき、そのポインタマーク記憶手段３７から読み出したポインタマークは、視準手段３１に表示させ、それをユーザが確認した後にＰＣ１側に送信することが好ましい。
【００８８】
ＰＣ１側では、それぞれのポインティング装置３ａ，３ｂから送られてきたポインタマークを自身の記憶手段（表示画像情報記憶手段１１など）に記憶し、そのポインタマークの使用が可能であるか否かの判定（すでに他のポインティング装置で使用されているか否かの判定など）を行い、使用が可能であれば、それぞれのポインティング装置３ａ，３ｂにポインタマーク割り当て通知を発行するとともに、そのポインタマークと当該ポインティング装置のＩＤとを対応付けしたＩＤ／ポインタマーク対応テーブルを作成する。
【００８９】
この図５のＩＤ／ポインタマーク対応テーブルでは、ポインタマークＭ１は「○×○×」のＩＤ（ポインティング装置３ａに対して発行した発行済みＩＤ）に対応つけられ、ポインタマークＭ２は「×××△」のＩＤ（ポインティング装置３ｂに対して発行した発行済みＩＤ）に対応付けられた例が示されている。
【００９０】
この第３のポインタマーク割り当て方法は、各ポインティング装置３ａ，３ｂを使用するユーザが独自のポインタマークを種々用意しておき、その中から好みのポインタマークを選択できることが大きな特徴である。
【００９１】
以上、図２で説明した本発明の全体的な処理のステップＳ９までの処理について詳述した。次に、図２におけるステップ１０以降の処理、すなわち、複数のポインティング装置（ここではポインティング装置３ａ，３ｂ）を用いての、スクリーン２２上に表示された表示画像のポインティング操作について詳細に説明する。
【００９２】
ＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報は、このＰＣ１を操作する操作者の操作によって読み出され、読み出された表示画像情報は表示画像情報生成手段１２によって、プロジェクタ２１で表示処理が可能となるような表示画像情報生成処理がなされたのち、プロジェクタ２１に送られ、プロジェクタ２１によってスクリーン２２（図６参照）などに投影される。
【００９３】
図６はプロジェクタ２１によってスクリーン２２に投影された表示画像２３上の任意の位置を２つのポインティング装置３ａ，３ｂ（この図６の例において、ポインティング装置３ａは通信機能付きのディジタルスチルカメラ（以下では単にディジタルカメラという）、ポインティング装置３ｂはカメラ付き携帯電話機（以下では単に携帯電話機という）で指示する例を示すものである。
【００９４】
この図６からもわかるように、ポインティング装置３ａでは、スクリーン２２上に投影された表示画像２３上の任意の位置Ｐａ（図中、白丸で示されている）を含むように撮影する。また、ポインティング装置３ｂでは、スクリーン２２上に投影された表示画像２３上の任意の位置Ｐｂ（図中、白丸で示されている）を含むように撮影する。
【００９５】
これら任意の位置Ｐａ，Ｐｂは、スクリーン２２に投影された表示画像２３上においてポインタマークＭ１，Ｍ２を表示しようとする位置であり、以下、これを指示位置Ｐａ，Ｐｂという。
【００９６】
そして、ポインティング装置３ａの視準手段３１（ディジタルカメラのディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐａが位置するようにして撮影する。なお、表示画像２３上に示されている破線枠Ａａはこのポインティング装置３ａの視準手段３１で設定される撮影可能範囲（一般にはディスプレイ画面の表示範囲）であり、この破線枠Ａａで囲まれた範囲が１回の撮影で撮影可能な範囲となる。同様に、ポインティング装置３ｂの視準手段３１（携帯電話機のディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐｂが位置するようにして撮影する。なお、表示画像２３上に示されている破線枠Ａｂはこのポインティング装置３ｂの視準手段３１で設定される撮影可能範囲であり、この破線枠Ａｂで囲まれた範囲が１回の撮影で撮影可能な範囲となる。
【００９７】
このようにして、ポインティング装置３ａやポインティング装置３ｂを用いて、指示位置Ｐａ，Ｐｂをその視準手段３１すなわち撮影可能範囲Ａａ，Ａｂの中央部に位置させた状態で撮影を行うと、それぞれの撮影画像情報はポインティング操作参加手段３６に渡され、ポインティング操作参加手段３６では、自身に付与されたＩＤ情報をそれぞれの撮影画像情報に付加し、そのＩＤ情報の付加された撮影画像情報を通信手段を介してＰＣ１に送信する。
【００９８】
なお、この図６においては、ポインティング装置３ａは、接続ケーブル６を用いＵＳＢやＩＥＥＥ１３９４などのインタフェースによってＰＣ１に情報伝送する例が示され、ポインティング装置３ｂは、基地局４からインタネット５を介してＰＣ１に情報伝送する例が示されている。
【００９９】
図７はポインティング装置３ａ，３ｂ側の上述したポインティング操作処理を説明するフローチャートであるが、この処理はポインティング装置３ａ，３ｂで共通であるので、ここでは、ポインティング装置３ａを例にとって説明する。
【０１００】
まず、視準手段３１で設定される撮影可能範囲Ａａの中央部に指示位置Ｐａが位置するようにして撮影し（ステップＳ２１）、撮影画像情報を取得し（ステップＳ２２）、その撮影画像情報に自身のＩＤを付加して（ステップＳ２３）、ＰＣ１に送信する（ステップＳ２４）。
【０１０１】
なお、この図７におけるステップＳ２１，Ｓ２２の処理は、ポインティング位置を指示して、その指示座標位置を特定するための撮影画像情報を取得する操作であるが、ポインティング操作としては、これだけではなく、その指示座標位置におけるコマンド入力のための操作がある。
【０１０２】
このコマンド入力操作は、まず、ユーザがコマンド入力を行い（ステップＳ２５）、そのコマンドがコマンド情報として取得される（ステップＳ２６）。そして、取得されたコマンドに対して、自身に付与されたＩＤを付加（ステップＳ２３）したのちに、ＰＣ１への送信を行う（ステップＳ２４）。このコマンド入力操作については後に説明する。
【０１０３】
一方、ＰＣ１では図８に示すように、ＩＤの付加された撮影画像情報（またはコマンド入力情報）をポインティング操作受付手段１５で受信すると（ステップＳ３０）、ポインティング装置を特定するためにＩＤを抽出し（ステップＳ３１）、そのポインティング装置が認証済みのポインティング装置であるか否かを判定する認証確認を行う（ステップＳ３２）。この認証確認の結果、認証不可であるとの判定がなされた場合には、それ以降の操作指示は受け付けないようにするが、認証可であるとの判定がなされると、ステップＳ３１で抽出されたＩＤに対応するポインティングタスクに処理が移る。なお、同図では特に明記していないが、ステップＳ３２はそれぞれのＩＤに対応するポインティングタスクに処理を移すためのＩＤスイッチとしての役割も兼ねている。このように、ポインティングタスクは、個々のポインティング装置ごとに生成・実行されるもので、個々のポインティング装置に付与されたＩＤによって管理される。
【０１０４】
このポインティングタスクの処理手順は、図８からもわかるように、まず、受信した情報が撮影画像情報／コマンドであるかを調べ（ステップＳ３３）、撮影画像情報である場合には、撮影画像情報の取得を行い（ステップＳ３４）、その取得した撮影画像情報を用いて指示座標特定手段１３が指示座標特定処理を行う（ステップＳ３５）。この指示座標特定処理によって指示座標が特定されると、表示画像情報生成手段１２は、その特定された指示座標を取得し（ステップＳ３６）、現在表示されている表示画像の指示座標（ステップＳ３６で取得された指示座標）上にそのポインティング装置３ａに割り当てられたポインタマークＭ１を表示させる表示画像情報生成処理を行う（ステップＳ３７）。
【０１０５】
また、上述のステップＳ３３において、受信した情報がコマンドである場合には、そのコマンドを取得し（ステップＳ３８）、当該コマンドに対するコマンド処理を行って（ステップＳ３９）、その処理結果を表示画像上のその時点におけるポインタマーク指示座標位置に反映させる（ステップＳ４０）。
【０１０６】
なお、指示座標の特定とコマンド入力をほぼ同時に行うことも可能であり、その場合は、撮影画像情報とコマンドを取得して、撮影画像情報を用いた指示座標特定処理を行って、現在表示中の表示画像上におけるその特定された指示座標にポインタマークを合成して表示させる処理を行う（ステップＳ３４〜Ｓ３７）。一方、取得されたコマンドについてはコマンド処理を行い、その処理結果をステップＳ３７で生成された表示画像上のポインタマーク指示座標位置に反映させる処理を行う（ステップＳ３８〜Ｓ４０）。
【０１０７】
図９は図８のステップＳ３５の処理、すなわち、ＰＣ１の指示座標特定手段１３が行う指示座標特定処理手順を示すもので、ポインティング装置（ポインティング装置３ａとする）から送信された撮影画像情報を取得すると（ステップＳ４１）、まず、歪や明るさなど各種の補正処理、さらに、拡大／縮小など各種の前処理を行い（ステップＳ４２）、その前処理された撮影画像情報からテンプレート画像情報を生成する（ステップＳ４３）。このテンプレート画像情報は、ステップＳ４２で行われる前処理によって表示画像情報とのマッチングを調べるのに適した解像度となっている。
【０１０８】
そして、そのテンプレート画像情報がスクリーン２２上に表示されている表示画像２３全体の内のどの部分に対応するのかを判定するためには、そのテンプレート画像情報と、表示画像情報記憶手段１１に記憶されている表示画像情報のうちの撮影時点で表示された表示画像に対応する表示画像情報とを用いてテンプレートマッチングなどの画像認識処理を行えばよい。（ステップＳ４４）。
【０１０９】
そして、テンプレート画像情報が撮影時点で表示された表示画像に対応する表示画像情報のどの部分に対応するのかが判定されると、その判定された部分の中央部が指示位置Ｐａであるとしてその指示位置Ｐａに対応する座標を指示座標として抽出する（ステップＳ４５）。
【０１１０】
このようにして、指示座標特定手段１３によって指示位置Ｐａに対応する指示座標が得られると、その指示座標上にポインタマークＭ１を合成して表示する（図６参照）。これによって、スクリーン２２上に投影された表示画像２３上の指示位置ＰａにはＰＣ１上で生成されたポインタマークＭ１が表示される。
【０１１１】
なお、上述の処理手順において、そのテンプレート画像情報と表示画像情報記憶手段１１に記憶されている表示画像情報のうち、現時点で表示されている表示画像に対応する表示画像情報とのパターンマッチングを行う際、撮影画像に他のポインティング装置のポインタマークが入ってしまう場合がある。
【０１１２】
これは、たとえば、ポインティング装置３ａによって、ある指示位置を含む範囲を撮影しようとするとき、ポインティング装置３ｂのポインタマークＭ２がその撮影領域内に存在するような場合であり、このような場合、撮影画像（ポインタマークＭ１が含まれる）と表示画像情報記憶手段１１に記憶されている表示画像情報のうちの現時点で表示されている表示画像に対応する表示画像情報とのパターンマッチングを行っても、指示座標特定がうまくいかない可能性がある。
【０１１３】
そこで、ポインティング装置３ａ，３ｂによって、ある画像領域を撮影する際、そのポインティング装置３ａ，３ｂからの撮影画像情報に撮影時のタイムスタンプ情報を付加してＰＣ１に送信する。一方、ＰＣ１でも、撮影時と同一時刻の表示画像情報を、タイムスタンプ情報を付加して保存しておく。そして、同時刻のタイムスタンプ情報の付加された両者の画像を用いてパターンマッチングを行う。
【０１１４】
これによって、たとえば、ポインティング装置３ａによって、ある表示領域を撮影した際、その領域内に他のポインティング装置３ｂのポインタマークＭ２が存在していても、ＰＣ１で保存されている同時刻の表示画像情報は、ポインタマークＭ２の合成されている表示画像情報であるので、両者ともに同じ位置にポインタマークＭ２が存在するため、適正なパターンマッチングを行うことができる。
【０１１５】
図１０は図８のステップＳ３７の処理、すなわち、スクリーン２２上に投影されている表示画像２３上の指示位置にポインタマークを表示させる処理手順を説明するフローチャートであり、上述の図９に示す処理によって、たとえば、ポインティング装置３ａのポインティング操作に対応した指示座標が特定されると、その指示座標を取得し（ステップＳ５１）、そのポインティング装置３ａに割り当てられたポインタマークＭ１に対応するポインタマーク画像情報を読み出す（ステップＳ５２）。
【０１１６】
このポインタマーク画像情報の読み出しは、たとえば、図３のポインタマーク割り当て方法によってポインタマークの割り当てがなされているとすれば、この図３に示すＩＤ／ポインタマーク対応テーブルを参照することによって、対応するポインタマーク画像情報の読み出しを行う。なお、このポインタマーク画像情報はたとえば、表示画像情報記憶手段１１に保持されている。
【０１１７】
そして、その読み出されたポインタマーク画像情報が、現時点での表示画像に対応する表示画像情報の所定座標（図９によって特定された指示座標）に合成され（ステップＳ５３）、その指示座標にポインタマークの付加された表示画像情報が生成される（ステップＳ５４）。
【０１１８】
これによって、たとえば、図６で示すように、スクリーン２２上に投影されている表示画像２３には、この場合、ポインティング装置３ａで指示した指示位置ＰａにポインタマークＭ１が表示される。
【０１１９】
以上は主にポインティング装置３ａによる指示座標位置特定動作についての説明であるが、ポインティング装置３ｂによる指示座標特定動作もポインティング装置３ｂの視準手段（ディジタルカメラのディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐｂが位置するようにして撮影するだけで、あとは、ポインティング装置３ａの場合と同様の処理によって、その指示位置Ｐｂには、このポインティング装置３ｂに割り当てられたポインタマークＭ２を表示させることができる。
【０１２０】
このように、スクリーン２２上に投影されている表示画像２３上のある位置を指示したい場合、複数のポインティング装置（この実施形態では、ポインティング装置３ａ，３ｂ）で指示したい位置（指示位置Ｐａ，Ｐｂ）がそれぞれのポインティング装置３ａ，３ｂの視準手段（ディスプレイ画面）３１の中心に位置するようにして、その部分の画像を撮影するだけで、表示画像の指示位置Ｐａ，Ｐｂに、ポインティング装置３ａに割り当てられたポインタマークＭ１とポインティング装置３ｂに割り当てられたポインタマークＭ２を表示させることができる。
【０１２１】
また、複数のポインティング装置３ａ，３ｂによって指示されることによって得られた座標位置で、ＰＣ１に対して何らかのコマンドを与えると、ＰＣ１ではそのコマンドに対応した処理を行って、その結果を当該座標位置上で反映させることもできる。以下、このコマンド入力操作とその結果を反映させる処理について説明する。
【０１２２】
図１１はこのコマンド入力操作とその結果を反映させる処理を実現するための構成図であり、図１で示した構成図に対して、ポインティング装置３ａ，３ｂにはそれぞれコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図１と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。
【０１２３】
コマンド処理手段１４は、ポインティング装置３ａ，３ｂから与えられコマンドに対応した処理を実行するものである。
【０１２４】
図１２はスクリーン２２上に投影された表示画像２３のあるポインティング位置（ここでは、ポインティング装置３ｂによって指示された指示座標位置であるとする）にそのポインティング装置３ｂからコマンド入力を行って、そのコマンドに対する処理結果が反映された例を示すもので、この図１２の例では、ポインティング装置３ｂからのコマンドは、基地局４からインタネット５などを介してＰＣ１に送信される例が示されている。
【０１２５】
この例では、ポインティング装置３ｂから出力されたコマンドとしては、「Ｈｅｌｌｏ」という単語を、そのポインティング装置３ｂで指示した指示位置Ｐｂに表示させるというものである。すなわち、前述したような手順によって、ポインタマークＭ２の指示座標を取得する処理を行い、その結果得られたポインタマークＭ２の指示座標上において、「Ｈｅｌｌｏ」という単語を表示させるコマンドを発生することで、ＰＣ１側ではそのコマンドを受け取り、その時点におけるポインタマークの指示座標上に「Ｈｅｌｌｏ」を表示させるというものである。
【０１２６】
このようなポインタマークＭ２の指示座標上でのコマンド実行処理は、ポインタマークＭ２の指示座標をＰＣ１が把握できるために可能となるものである。
【０１２７】
図１３は図１２に対して他のコマンド入力例であり、この図１３の場合は、数値をポインタマークの指示座標上で表示させる例を示すもので、この場合は、ポインティング装置３ｂからコマンドとしての数値入力を行うことで、ＰＣ１側ではたとえば表計算アプリケーションが働いてそのコマンドに対する処理を実行し、その処理結果が指定座標に表示される。
【０１２８】
なお、図１２および図１３ではポインティング装置３ｂからのコマンド入力操作について説明したが、ポインティング装置３ａについても、コマンド入力手段を有していれば同様に実施することができる。
【０１２９】
以上説明したように、この実施形態１では、複数のポインティング装置（ここでは、ポインティング装置３ａ，３ｂ）によって、スクリーン２２に表示されている表示画像２３上を同時にポインティング操作することが可能となるが、これを利用することによって、たとえば、図１４に示すように、あるアプリケーションのあるプロセスが実行されているとき、複数のユーザの共同作業によるデータ編集などが可能となる。
【０１３０】
この図１４の例では、３人のユーザがそれぞれポインティング装置を１つずつ用いて（これまでの説明で用いたポインティング装置３ａ、ポインティング装置３ｂの他に、図示されていないポインティング装置３ｃを用いるものとする）、データ編集を行う例であり、それぞれのポインティング装置３ａ，３ｂ，３ｃに割り当てられたポインタマークＭ１，Ｍ２、Ｍ３が表示画像２３上に表示され、その指示位置で、たとえば、データ入力やデータの移動などのデータ編集作業を共同で行う例である。
【０１３１】
この図１４は、複数のポインティング装置で同じプロセスのデータ編集を共同で行う例であるが、複数のポインティング装置ごとにそれぞれが異なるアプリケーションを実行している場合やアプリケーション自体は同種であっても異なるプロセスを実行している場合がある。
【０１３２】
たとえば、図１５のように、スクリーン２２に表示されている表示画像２３上で３つのアプリケーションＡ１，Ａ２，Ａ３の情報が表示領域Ｗ１，Ｗ２，Ｗ３に表示されていて、アプリケーションＡ１はポインティング装置３ａによって指示操作され、アプリケーションＡ２はポインティング装置３ｂによって指示操作され、アプリケーションＡ３はポインティング装置３ｃによって指示操作されているとする。
【０１３３】
このような状況において、アプリケーションＡ１について操作指示しているポインティング装置３ａのポインタマークＭ１が、自分の操作指示領域（表示領域Ｗ１）から外れて他のポインティング装置３ｂ，３ｃの操作指示領域（表示領域Ｗ２，Ｗ３）に入って、その領域Ｗ２，Ｗ３を操作指示するそれぞれのユーザの意図しない操作（コマンド入力操作を含む）がなされるのは問題である。したがって、それぞれのポインティング装置３ａ，３ｂ，３ｃの操作指示領域内に他のポインティング装置のポインタマークが入り込むことができないような排他制御を行うのが好ましい。
【０１３４】
その具体的な処理としては、たとえば、自分の操作指示領域外の表示領域をポインティングできないようにしたり、自分の操作指示領域からポインタマークが出ないようにするといったことが挙げられる。
【０１３５】
また、操作指示領域から外れた領域でのポインティング操作だけでなく、「電源を切る」などシステムに多大な影響を与える箇所でのコマンド実行操作も行えないようにすることが必要である。ただし、ルート権限を与えるような制度を設ければ、それが与えられたポインティング装置を使用するユーザのみが、そのようなコマンド実行を可能とするといったことはできるようにしておく。
【０１３６】
また、複数のポインティング装置（ここではポインティング装置３ａ，３ｂ）で１つの表示画像２３上をポインティング操作する際、複数のポインティング装置の指示位置が重複するような場合もある。たとえば、図６の例で説明すると、指示位置ＰｂにあったポインタマークＭ２がポインタマークＭ１の指示位置Ｐａまで移動したような場合などがあり、その場合、２つのポインティング装置３ａ，３ｂから発せられたそれぞれのポインタマークＭ１，Ｍ２が重複することになる。このように、異なるポインティング装置３ａ，３ｂに対応するそれぞれのポインタマークＭ１，Ｍ２が重複する場合は、重複するポインタマークの表示制御を行う必要がある。この複数のポインティング装置の指示位置が重複する場合のポインタマーク表示制御について以下に説明する。
【０１３７】
このポインタマーク表示制御は、基本的には、ポインタマークの重複を許す制御とポインタマークの重複を許さない制御がある。
【０１３８】
ポインタマークの重複を許す制御というのは、たとえば、当初からある座標位置を指示しているポインタマークに対し、他の座標位置にあるポインタマークが重複する座標位置に移動してきた場合、一方のポインタマークを他方のポインタマークに重ねて表示したり、どちらかのポインタマークを消去するといった制御である。
【０１３９】
また、ポインタマークの重複を許さない制御というのは、たとえば、一方のポインタマークの移動に伴って、その移動してきた一方のポインタマークが当初からその位置にある他方のポインタマークを押しのけてその一方のポインタマークを当該座標位置に表示させたり、移動してくるポインタマークを当初からある座標位置を指示しているポインタマークの座標位置まで移動させることができないようにするといった制御である。
【０１４０】
これらポインタマークの重複を許す制御またはポインタマークの重複を許さない制御を行うに際して、それぞれのポインタマークに優先度を設定する。その優先度としては、▲１▼重複する座標位置に当初から存在するポインタマークの優先度を、その座標位置にまで移動してくるポインタマークよりも高くする、▲２▼重複する座標位置まで移動してくるポインタマークの優先度を、当初からその座標位置に存在するポインタマークよりも高くする、▲３▼複数のポインティング装置のポインタマークに対し始めから優先度を設定しておくというようなことが考えられる。
【０１４１】
図１６（ａ）〜（ｄ）はポインタマークの重複を許す制御またはポインタマークの重複を許さない制御の具体例を説明する図である。
【０１４２】
ポインタマークの重複を許す制御として、たとえば、図１６（ａ）に示すように、当初からある座標位置を指示しているポインタマーク（このポインタマークは説明の都合上、図３〜図５で示したポインタマークのうちのポインタマークＭ６を用いるものとする）が存在するとし、そのポインタマークＭ６の座標位置にポインタマークＭ１が移動してきた場合において、上述の▲３▼が適用されたとする。ここで、ポインタマークＭ１がポインタマークＭ６よりも優先度が高く設定されているとすれば、この場合は、ポインタマークＭ１をポインタマークＭ６の上に重ねて表示したりポインタマークＭ６を消去したりするが、ここでは、図１６（ｂ）に示すように、優先度の低いポインタマークＭ６を消去してそのポインタマークＭ６の指示座標位置にポインタマークＭ１のみを表示する。
【０１４３】
なお、この例において、▲２▼が適用された場合は、重複する座標位置まで移動してくるポインタマークＭ１の優先度が、当初からその座標位置に存在するポインタマークＭ６よりも高いので、▲３▼が適用された場合と同様、図１６（ｂ）のような処理がなされるが、▲１▼が適用された場合は、重複する座標位置に当初から存在するポインタマークの優先度が、その座標位置にまで移動してくるポインタマークよりも高いので、ここでは図示しないが、ポインタマークＭ１が消去されるなどしてポインタマークＭ６のみがその座標位置に表示されることになる。
【０１４４】
また、ポインタマークの重複を許さない制御として、たとえば、図１６（ａ）に示すように、当初からある座標位置を指示しているポインタマークＭ６に、ポインタマークＭ１が重複する座標位置に移動してきた場合において、上述の▲３▼が適用されたとする。ここで、ポインタマークＭ１がポインタマークＭ４よりも優先度が高く設定されているとすれば、この場合は、図１６（ｃ）に示すように、ポインタマークＭ１がポインタマークＭ６を矢印ａ方向へ押しのける制御がなされて、ポインタマークＭ６の当初の指示座標位置にポインタマークＭ１のみが表示される。
【０１４５】
なお、この例の場合、▲２▼が適用された場合は、重複する座標位置まで移動してくるポインタマークの優先度が、当初からその座標位置に存在するポインタマークよりも高いので、▲３▼が適用された場合と同様、図１６（ｃ）のような処理がなされるが、▲１▼が適用された場合は、重複する座標位置に当初から存在するポインタマークの優先度が、その座標位置にまで移動してくるポインタマークよりも高いので、たとえば、図１６（ｄ）に示すように、ポインタマークＭ１の移動がポインタマークＭ６の座標位置の手前で止められるような制御がなされ、ポインタマークＭ１は、ポインタマークＭ６の指示座標位置にまで到達することができない。
【０１４６】
以上説明したように、この実施形態１によれば、複数のポインティング装置を用いる場合、使用するポインティング装置ごとに、認証およびＩＤ情報の付加処理を行い、認証済みのポインティング装置のみがポインティング操作を可能としているので、不正なポインティング操作などの問題の発生を確実に防止できる。
【０１４７】
また、認証済みのポインティング装置ごとに異なったポインタマークが割り当てられるので、１つの表示画面上に多数のポインティング装置でポインティングしたとき、どのポインティング装置がどこを指示しているかが容易に確認できる。
【０１４８】
なお、この実施形態１では、ポインティング装置３ａとしてはディジタルカメラ、ポインティング装置３ｂとしては携帯電話機を用いた例で説明したが、ポインティング装置としては、ディジタルスチルカメラや携帯電話機だけでなく、通信機能を有するディジタルビデオカメラなどでも同様に実施可能であることは勿論である。
【０１４９】
また、この実施形態１では、各種のポインタマークに対するポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３ａ，３ｂ側）に保持されていてもよく、その保持場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにしてもよい。
【０１５０】
なお、この実施形態１では、指示座標特定手段１３はＰＣ１側に設けられ、ＰＣ１側で指示座標特定処理を行う例について説明したが、この指示座標特定手段１３をポインティング装置３ａ，３ｂ側に設けるようにして、ポインティング装置３ａ，３ｂ側で指示座標特定処理を行うようにしてもよい。この場合、ポインティング装置３ａ，３ｂの指示座標特定手段１３がＰＣ１側の表示画像情報記憶手段１１から現時点で表示されている表示画像を読み出して、表示画像に対する指示座標特定処理を行い、それによって特定された指示座標をＰＣ１側（表示画像情報生成手段１２）へ送るようにする。
【０１５１】
このように、指示座標特定処理はＰＣ１側でなく、ポインティング装置３ａ，３ｂ側で行うこともできる。なお、指示座標特定処理をポインティング装置３ａ，３ｂ側で行う場合は、ＰＣ１のポインティング操作受付手段１５で生成されるポインティングタスクにおける指示座標特定処理（図８のステップＳ３５）は不要となる。したがって、この場合、図８のステップＳ３６の指示座標取得は、ポインティング装置３ａ，３ｂ側で行われた指示座標特定処理により得られた指示座標を取得することになる。
【０１５２】
なお、すでに述べたが、指示座標特定手段１３をＰＣ１側に設けてＰＣ１側で指示座標特定処理を行う利点は、ポインティング装置３ａ，３ｂでは撮影画像情報を単にＰＣ１に送信するだけであり、ポインティング装置３ａ，３ｂでの演算量を少なくすることができる。また、ポインティング装置３ａ，３ｂ側に、指示座標特定に必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３ａ，３ｂとして、一般的な携帯情報機器を用いることができる。また、ポインティング装置３ａ，３ｂよりもＰＣ１の方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像演算処理も容易かつ高速に行うことができ、高精度な座標特定が可能となる。
【０１５３】
一方、指示座標特定手段１３をポインティング装置３ａ，３ｂ側に設けて、ポインティング装置３ａ，３ｂ側で指示座標特定処理を行う利点は、ＰＣ１側から見てポインティング装置３ａ，３ｂを単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３ａ，３ｂ）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１５４】
〔実施形態２〕
この実施形態２は指示位置を相対座標として取得する例である。この実施形態２においても実施形態１と同様、画像表示装置であるプロジェクタ２１をＰＣ１に接続して、当該ＰＣ１上のデータをプロジェクタ２１によってスクリーン２２上に投影し、そのスクリーン２２上に投影された表示画像２３に対して、複数のポインティング装置で任意の位置を指定し、その指定された位置にそれぞれのポインティング装置に割り当てられたポインタマークを表示する例について説明する。
【０１５５】
図１７はこの実施形態２を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、実施形態１と同様に、ＰＣ１、このＰＣ１に接続されたプロジェクタ２１、プロジェクタ２１で投影された表示画像上の任意の位置を指示する複数のポインティング装置（この実施形態２でもポインティング装置３ａ，３ｂとする）からなる。なお、ポインティング装置３ａはこの実施形態２においてもディジタルカメラ、ポインティング装置３ｂは携帯電話機であるものとして説明する。
【０１５６】
この実施形態２においては、ＰＣ１は表示すべき画像の画像データを記憶する表示画像情報記憶手段１１、現時点において表示すべき画像データを生成するともに、それぞれのポインティング装置３ａ，３ｂに割り当てられたポインタマークＭ１，Ｍ２を表示画像２３上の指示された位置に合成する機能を有する表示画像情報生成手段１２を有している。
【０１５７】
また、ポインティング装置３ａ，３ｂは、視準手段３１と、この視準手段３１で設定される撮影可能範囲の画像を撮影する撮影手段３２と、指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段３３と、１フレーム分の撮影画像から得られた特徴画像を記憶するフレームバッファとしての撮影画像情報記憶手段３４と、ポインティング操作参加手段３６とを有している。なお、このポインティング装置３ａ，３ｂからの情報は、無線ＬＡＮ、赤外線通信、電話回線を利用したネットワークなど何らかの通信手段によってＰＣ１に送信可能となっている。
【０１５８】
この実施形態２では指示位置を相対座標として取得する方式であるので、ポインティング装置３ａ，３ｂを動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよい。このため、ポインティング装置３ａ，３ｂはどこを撮影してもよく、たとえば、図１８に示すようにスクリーン２２に投影された表示画像２３から外れた場所を撮影するようにしてもよい。
【０１５９】
次に、この実施形態２の具体的なポインティング操作について図１９のフローチャートを参照しながら説明する。まず、ポインティング操作に先立ち、使用するポインティング装置の認証処理や認証されたポインティング装置に対してポインタマークの割り当てなどの一連の処理を行うが、この一連の処理は、前述の実施形態１の説明で用いた図２の処理手順に従って行えばよいので、ここでは、その説明は省略する。
【０１６０】
ここで、ポインティング装置３ａ，３ｂはともに認証可とされてＩＤ情報が付与されたものとし、また、それぞれのポインタマークとして、ポインティング装置３ａにはポインタマークＭ１が割り当てられ、ポインティング装置３ｂにはポインタマークＭ２が割り当てられたとする。なお、このポインタマークの割り当てについても、実施形態１の説明で用いた図３、図４、図５のいずれかの方法によって行えるのでその説明は省略する。
【０１６１】
今、スクリーン２２上にはＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報のうちのある表示画像情報がプロジェクタ２１に送られて、その表示画像２３がスクリーン２２上に投影されているものとする。
【０１６２】
この状態で、ポインティング装置３ａ，３ｂによるポインティング操作を行う。 まず、ポインティング装置３ａの撮影機能を用いて任意の場所を撮影する（ステップＳ６１）。なお、この撮影は図１８に示すように表示画像の外側でもよく、この図１８では、表示画像２３の外側の破線枠Ａａ０を撮影しており、そのときのポインタマークＭ１は、表示画像２３中のある位置Ｐａ０を指示しているものとする。
【０１６３】
同様に、ポインティング装置３ｂの撮影機能を用いて任意の場所を撮影する。この場合も、図１８に示すように表示画像の外側を撮影してもよい。この図１８では、表示画像２３の外側の破線枠Ａｂ０を撮影しており、そのときのポインタマークＭ２は、表示画像２３中のある位置Ｐｂ０を指示しているものとする。
【０１６４】
次に、ポインティング装置３ａ，３ｂで次のフレーム（図１８の実線枠Ａａ１，Ａｂ１）を撮影し、先に撮影した直前のフレームと比較することで、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトル算出処理を行う（ステップＳ６２）。この指示座標移動ベクトルの算出には、動画符号化の一方式であるＭＰＥＧなどで用いられる動き補償予測の技術を応用することができる。
【０１６５】
そして、この指示座標移動ベクトル算出処理によって得られた指示座標移動ベクトルを取得し（ステップＳ６３）、その指示座標移動ベクトルにＩＤを付加して（ステップＳ６４）、ＰＣ１に送信する（ステップＳ６５）。
【０１６６】
なお、この図１９におけるステップＳ６１，Ｓ６２の処理は、指示座標移動ベクトルを算出するための処理であるが、ポインティング装置が行うポインティング操作としては、これだけではなく、実施形態１で説明したように、その指示座標位置におけるコマンド入力のための操作がある。このコマンド入力操作は、まず、ユーザがコマンド入力を行い（ステップＳ６６）、そのコマンドがコマンド情報として取得される（ステップＳ６７）。そして、このコマンドに対しても、自身に付与されたＩＤを付加（ステップＳ６４）したのちに、ＰＣ１への送信を行う（ステップＳ６５）。
【０１６７】
一方、ＰＣ１では、図２０に示すように、ＩＤ情報の付加された指示座標移動ベクトル情報をポインティング操作受付手段１５で受信すると（ステップＳ７０）、ポインティング装置を特定するためにＩＤを抽出し（ステップＳ７１）、認証済みのポインティング装置であるか否かを判定する認証確認を行う（ステップＳ７２）。この認証確認の結果、認証不可であるとの判定がなされた場合には、それ以降の操作指示は受け付けないようにするが、認証可であるとの判定がなされると、ステップＳ７１で抽出されたＩＤに対応するポインティングタスクが実行される。なお、図８においても説明したように、この場合も、ステップＳ７２（図８ではステップＳ３２）はそれぞれのＩＤに対応するポインティングタスクに処理を移すためのＩＤスイッチとしての役割も兼ねている。このように、ポインティングタスクは、個々のポインティング装置ごとに生成・実行されるもので、個々のポインティング装置に付与されたＩＤによって管理される。
【０１６８】
ポインティングタスクの処理手順は、図２０からもわかるように、まず、受信した情報が指示座標移動ベクトル／コマンドであるかを調べ（ステップＳ７３）、指示座標移動ベクトルである場合には、その指示座標移動ベクトルの取得を行い（ステップＳ７４）、表示画像情報生成手段１２は、その指示座標移動ベクトルによって求められる指示座標上にそのポインティング装置に割り当てられたポインタマークを表示させる表示画像生成処理を行う（ステップＳ７５）。
【０１６９】
また、上述のステップＳ７３において、受信した情報がコマンドである場合には、そのコマンドを取得し（ステップＳ７６）、当該コマンドに対するコマンド処理を行って（ステップＳ７７）、その処理結果を表示画像情報生成手段１２で生成されたポインタマーク指示座標位置に反映させる（ステップＳ７８）。
【０１７０】
なお、この場合も実施形態１の図８で説明したように、指示座標の特定とコマンド入力をほぼ同時に行うことも可能である。
【０１７１】
図２１は図１９におけるステップＳ６１とＳ６２の処理をより詳細に説明するフローチャートであり、ここでは、ポインティング装置３ａを例にとって説明する。
【０１７２】
まず、ポインティング装置３ａの撮影機能を用いて任意の場所（図１８に示すように表示画像の外側でもよい）を撮影し（ステップＳ８１）、得られた撮影画像情報に対し、歪や明るさなどの補正処理、さらには、特徴点抽出のための２値化処理などを前処理として行い（ステップＳ８２）、特徴画像情報を取得する（ステップＳ８３）。
【０１７３】
そして、この特徴画像情報を撮影画像情報記憶手段３４に保持されている１フレーム前の特徴画像情報と比較し、たとえば、動画符号化の一方式であるＭＰＥＧなどで用いられる動き補償予測の技術を応用して指示座標移動ベクトルを算出し（ステップＳ８４）、それを指示座標移動ベクトルとして出力（ステップＳ８５）するとともに、上述のステップＳ８３で得られた特徴画像情報を、新たな１フレーム前の特徴画像情報として撮影画像情報記憶手段３４に書き込むことで特徴画像情報の更新を行う（ステップＳ８６）。そして、ポインティング装置３ａの移動が続いていればステップＳ８１に戻る。
【０１７４】
このようにして、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトルが算出されると、その算出された指示座標移動ベクトルに対応する分だけ離れた位置にポインタマークＭ１を表示させる。
【０１７５】
なお、ポインティング装置３ａで撮影した撮影画像が、最初の撮影画像であって、１フレーム前の特徴画像が得られていない場合には、その最初の撮影画像によって得られた特徴画像が撮影画像情報記憶手段３４に保存され、２番目以降の撮影操作を待ち、２番目の撮影によって特徴画像が得られると、その特徴画像と特徴画像記憶手段に保持されている１フレーム前（最初の撮影画像によって得られた特徴画像）とを比較し、指示座標移動ベクトルを求め、その２番目の撮影によって得られた特徴画像を１フレーム前の特徴画像として撮影画像情報記憶手段３４に書き込むことで記憶内容を更新する。
【０１７６】
このようにして、指示座標移動ベクトルが求められると、図１８に示すように、スクリーン２２に投影された表示画像２３上のポインタマークＭ１を現在の指示位置Ｐａ０を基点に、算出された指示座標移動ベクトルに対応する分だけ離れた位置Ｐａ１に表示させる。
【０１７７】
図２２はスクリーン２２上に投影されている表示画像２３上の指示位置にポインタマークを合成して表示させる処理手順を説明するフローチャートであり、図１０で示した実施形態１における処理に対して、上述の図２１で説明した処理手順によって求められた指示座標移動ベクトルと現時点の指示座標とを用いて、ポインタマークＭを表示すべき指示座標を求める処理が加わっている。
【０１７８】
すなわち、指示位置を相対座標として取得する場合は、現在位置からどの方向へどれだけ移動させるかのベクトル量（指示座標移動ベクトル）が求められるだけであるので、まず、現在のポインタマークの指示座標と、算出された指示座標移動ベクトルを取得し（ステップＳ９１）、取得された現在の座標位置と指示座標移動ベクトルとから、新たに指示された指示座標を求める（ステップＳ９２）。
【０１７９】
たとえば、ポインティング装置３ａのポインティング操作に対応した指示座標が求められたとすると、その指示座標を取得し（ステップＳ９３）、そのポインティング装置３ａに割り当てられたポインタマークＭ１に対応するポインタマーク画像情報を読み出す（ステップＳ９４）。このポインタマーク画像情報の読み出しは、たとえば、図３のポインタマーク割り当て方法によってポインタマークの割り当てがなされているとすれば、この図３に示すＩＤ／ポインタマーク対応テーブルを参照することによって、対応するポインタマーク画像情報の読み出しを行う。なお、このポインタマーク画像情報はたとえば、表示画像情報記憶手段１１に保持されている。
【０１８０】
そして、その読み出されたポインタマーク画像情報が、現時点での表示画像に対応する表示画像情報の所定座標（ステップＳ９３で取得された指示座標）に合成され（ステップＳ９５）、その指示座標にポインタマークの付加された表示画像情報が生成される（ステップＳ９６）。
【０１８１】
これによって、たとえば、図１８で示すように、スクリーン２２に投影された表示画像２３上のポインタマークＭ１を現在の指示位置Ｐａ０を基点に、算出された指示座標移動ベクトルに対応する分だけ離れた位置Ｐａ１に表示させることができる。
【０１８２】
ここでの説明はポインティング装置３ａを例にとって説明したが、ポインティング装置３ｂにおいても同様に実施することができる。
【０１８３】
このように、実施形態２では、ポインティング装置３ａ，３ｂを動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよいので、ポインティング装置３ａ，３ｂ側ではスクリーン２２上に投影された表示画像でなく、他の場所を撮影してもよい。すなわち、ポインティング装置３ａ，３ｂをＰＣなどに接続されたマウスのように使うことができることから、使い勝手のよいものとなる。なお、この実施形態２の場合、ポインティング装置３ａ，３ｂは動画像の取得が可能なものの方がより都合がよいが、静止画のみを入力するカメラであってもよいことは勿論である。
【０１８４】
また、この実施形態２においても、ポインティング装置３ａ，３ｂとしてディジタルカメラや携帯電話機を用いた例で説明したが、これらに限られるものではなく、通信機能を有したディジタルビデオカメラなどでも同様に実施可能であることは勿論である。また、それぞれのポインタマークに対応するポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、実施形態１でも述べたように、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３ａ，３ｂ側）に保存されていてもよく、その保存場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにすることもできる。
【０１８５】
このように、実施形態２では、ポインティング装置３ａ，３ｂでの撮影対象とする画像はプロジェクタ２１から投影されている表示画像２３でなくてもよいので、撮影場所の制約を少なくすることができる。これによって、たとえば、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置３ａ，３ｂをＰＣ１のマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【０１８６】
また、指示位置を相対座標として取得する場合は、相対座標を求めるための指示座標移動ベクトル算出に必要な情報として、ＰＣ１側に保存されている表示画像情報を必要としないので、指示座標移動ベクトル算出の演算はポインティング装置３ａ，３ｂ側だけで行うことができる。
【０１８７】
このように、指示座標移動ベクトル算出を行う際に、表示画像情報を必要としないということは、表示画像情報をポインティング装置３ａ，３ｂ側にロードするといった処理を行う必要がなく、また、ポインティング装置３ａ，３ｂで算出された指示座標移動ベクトルだけをＰＣ１側に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができる。
【０１８８】
ところで、この実施形態２も実施形態１で説明したと同様に、ポインティング装置３ａ，３ｂによって指示されることによって得られた指示座標位置で、ＰＣ１に対して何らかのコマンドを与え、ＰＣ１ではそのコマンドに対応した処理を行って、その結果をポインタマーク位置で反映させることもできる。
【０１８９】
図２３はこのコマンド入力操作とその結果を反映させる処理を実現するための構成図であり、図１７で示した構成図に対して、ポインティング装置３ａ，３ｂにはそれぞれコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図１７と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。
【０１９０】
このような構成におけるコマンド処理は、前述の実施形態１の図１２や図１３で説明したと同様に実施できるのでここではその説明は省略する。
【０１９１】
なお、この実施形態２では、指示座標移動ベクトル算出処理は、ポインティング装置３ａ，３ｂ側で行うようにしているが、この指示座標移動ベクトル算出処理はＰＣ１側で行うこともできる。この場合、ＰＣ１側に指示座標移動ベクトル算出手段３３と撮影画像情報記憶手段３４を設け、ポインティング装置３からの撮影画像情報を撮影画像情報記憶手段３４で保持し、その撮影画像情報を用いて指示座標移動ベクトル算出手段３３が指示座標移動ベクトルを算出する。その指示座標移動ベクトル算出処理は上述したと同様の手順で行うことができる。
【０１９２】
このように、指示座標移動ベクトル算出は、ポインティング装置３ａ，３ｂではなく、ＰＣ１側で行うこともできる。なお、この場合、ＰＣ１のポインティング操作受付手段１５で生成されるポインティングタスク（図２０参照）には、ステップＳ７４（指示座標移動ベクトル取得）の前段の処理として、ポインティング装置３ａ，３ｂ側からの撮影画像情報をＰＣ１側に設けられた撮影画像情報記憶手段３４に保持する処理と、その撮影画像情報記憶手段３４から処理対象となる撮影画像情報を取得し、その撮影画像情報に基づいて指示座標を特定する処理としての指示座標移動ベクトル算出処理が加わる。
【０１９３】
なお、指示座標移動ベクトル算出をポインティング装置３ａ，３ｂ側で行う利点は、すでに述べたが、ポインティング装置３ａ，３ｂで算出された指示座標移動ベクトル情報だけを情報処理装置側に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができるといった利点の他に、ＰＣ１側から見てポインティング装置３ａ，３ｂを単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３ａ，３ｂ）からＰＣ１に対して単に相対座標情報（指示座標移動ベクトル情報）が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１９４】
一方、指示座標移動ベクトル算出をＰＣ１側で行う利点は、ポインティング装置３ａ，３ｂでは、撮影画像情報を単にＰＣに送信するだけであり、ポインティング装置３での演算量を少なくすることができる。また、ポインティング装置３ａ，３ｂ側に、指示座標移動ベクトルを算出するに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３ａ，３ｂとして、一般的な携帯情報機器を用いることができる。また、ポインティング装置３ａ，３ｂよりもＰＣ１の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行え、高精度な指示座標移動ベクトルの算出が可能となる。
【０１９５】
また、この実施形態２においても、実施形態１で説明したように、複数のポインティング装置（ここでは、ポインティング装置３ａ，３ｂ）によって、たとえば、図１４に示すように、表示画面上であるアプリケーションのあるプロセスが実行されているとき、複数のユーザの共同作業によるデータ編集などが可能となる。
【０１９６】
また、複数のポインティング装置ごとにそれぞれ異なるアプリケーションを実行している場合やアプリケーション自体は同種であっても異なるプロセスを実行している場合があるが、その場合の対処については、実施形態１の図１５によって説明したと同様の対処を行えばよい。
【０１９７】
また、複数のポインティング装置で１つの表示画像上をポインティング操作する際、異なるポインティング装置の指示位置が重複するような場合についても、実施形態１の図１６（ａ）〜（ｄ）により説明したと同様の処理を行うことができる。
【０１９８】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述の各実施形態における複数のポインティング装置（実施形態１，２においてはポインティング装置３ａ，３ｂ）とＰＣ１との接続は、それぞれ異なった通信手段を用いた例が示されているが、図２４に示すように、共通の通信手段を用いるものであってもよい。この図２４の例では、ポインティング装置３ａ，３ｂは、ともにカメラ付き携帯電話機である場合が示されており、両者ともに、基地局４からインタネット５経由でＰＣ１に接続された例である。なお、この図２４は指示位置を絶対座標として取得する例であるが、相対座標として取得する場合についても同様である。
【０１９９】
また、上述の実施形態１では２つのポインティング装置がともに指示位置を絶対座標として取得する場合、実施形態２では２つのポインティング装置がともに指示位置を相対座標として取得する場合であったが、図２５に示すように、一方のポインティング装置（この図２５ではポインティング装置３ａ）は指示位置を絶対座標として取得し、他方のポインティング装置（この図２５ではポインティング装置３ｂ）は指示位置を相対座標として取得するというようにすることもできる。
【０２００】
また、前述の各実施形態では、複数のポインティング装置として、ポインティング装置３ａ，３ｂの２つを用いた例について説明したが、ポインティング装置は、もっと多数であってもよいことは勿論である。
【０２０１】
また、前述の各実施形態では、プレゼンテーション会場などにおいて、プロジェクタによってスクリーン上に投影された表示画像に対するポインティング操作について説明したが、これ以外にもたとえばガンシューティングなどの各種ゲームにも応用可能である。
【０２０２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態１（指示位置を絶対座標として取得する場合）に係わる情報表示システムの構成図である。
【図２】本発明の実施形態１，２の全体的な処理の流れを説明する図である。
【図３】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第１のポインタマーク割り当て方法）を説明する図である。
【図４】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第２のポインタマーク割り当て方法）を説明する図である。
【図５】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第３のポインタマーク割り当て方法）を説明する図である。
【図６】本発明の実施形態１において複数のポインティング装置を用いてのポインティング操作する例を示す図である。
【図７】本発明の実施形態１におけるポインティング装置側のポインティング操作時の処理手順を説明するフローチャートである。
【図８】本発明の実施形態２における情報処理装置（ＰＣ）側の処理手順を説明するフローチャートである。
【図９】図８における指示座標特定手段が行う指示座標特定処理を説明するフローチャートである。
【図１０】図８における表示画像情報生成手段が行う表示画像情報生成処理を説明するフローチャートである。
【図１１】実施形態１において指定位置を絶対座標として取得し、その際乃至そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【図１２】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された一例を示す図である。
【図１３】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された他の例を示す図である。
【図１４】表示画面上である１つのアプリケーションの中のあるプロセスが実行されているとき、複数のユーザがそれぞれのポインティング装置を用いて共同作業を行う例を説明する図である。
【図１５】表示画面上で異なったアプリケーションをそれぞれのユーザがそれぞれのポインティング装置を用いて作業を行う例を説明する図である。
【図１６】複数のポインティング装置で１つの表示画像上をポインティング操作する際、異なるポインティング装置の指示位置が重複するような場合のポインタマーク表示制御を説明する図である。
【図１７】本発明の実施形態２（指示位置を相対座標として取得する場合）に係わる情報表示システムの構成図である。
【図１８】本発明の実施形態２において複数のポインティング装置を用いてのポインティング操作する例を示す図である。
【図１９】本発明の実施形態２におけるポインティング装置側のポインティング操作時の処理手順を説明するフローチャートである。
【図２０】本発明の実施形態２における情報処理装置（ＰＣ）側の処理手順を説明するフローチャートである。
【図２１】図１９におけるステップＳ６１，Ｓ６２をより詳細に説明するフローチャートである。
【図２２】図２０における表示画像情報生成手段が行う表示画像情報生成処理を説明するフローチャートである。
【図２３】実施形態２において指定位置を絶対座標として取得し、その際乃至そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【図２４】複数のポインティング装置を用いてポインティング操作を行う例において、ポインティング装置と情報処理装置（ＰＣ）との間を共通の通信手段で接続した例を示す図である
【図２５】複数のポインティング装置を用いてポインティング操作を行う例において、指示位置を絶対座標として取得するポインティング装置と相対座標として取得するポインティング装置を混在させた例を示す図である。
【符号の説明】
１ 情報処理装置（ＰＣ）、２ 情報表示装置、３ａ ポインティング装置（通信機能付きのディジタルスチルカメラ）、３ｂ ポインティング装置（カメラ付き携帯電話機）、４ 携帯電話の基地局、５ インタネット、６ 接続ケーブル、１１ 表示画像情報記憶手段、１２ 表示画像情報生成手段、１３ 指示座標特定手段、１４ コマンド処理手段、１５ ポインティング操作受付手段、２１ プロジェクタ、２２ スクリーン、２３ 表示画像、３１ 視準手段、３２撮影手段、３３ 指示座標移動ベクトル算出手段、３４ 撮影画像情報記憶手段、３５ コマンド入力手段、３６ ポインティング操作参加手段、３７ ポインタマーク記憶手段
【発明の属する技術分野】
本発明は、ポインティング位置の座標情報の取得が可能な情報表示システムおよび情報表示システムにおけるポインティング装置制御方法に係わり、特に複数のポインティング装置を用いて同じ表示画面上のポインティング操作の可能な情報表示システムおよび情報表示システムにおけるポインティング装置制御方法に関する。
【０００２】
【従来技術】
画像表示装置の１つとして、最近ではプロジェクタが広く用いられるようになってきている。このプロジェクタによって投影された投影画面上の任意位置の座標をこのプロジェクタを接続する情報処理機器（たとえばパーソナルコンピュータ）が取得する方法としては、ポインティングを行う手段（指示棒、レーザポインタなど）の他に、投影画面を撮像するための固定カメラや光学センサが必要であり、情報表示システムが大掛かりなものとなるため、汎用性という点では問題がある。
【０００３】
この問題を解決するために、従来から様々な提案がなされている。たとえば、特開平６−３０８８７９号公報の「光学式ポインティングシステム」（以下、従来技術１という）、特開２００１−１４８０２５号公報の「位置検出装置及びその方法、平面姿勢検出装置及びその方法」（以下、従来技術２という）、特開２００１−１６６８８１号公報の「ポインティング装置及びその方法」（以下、従来技術３という）、特開２００１−３２５０６９号公報の「位置検出装置およびその方法」（以下、従来技術４という）などが挙げられる。
【０００４】
従来技術１は、表示画面上に発光素子を設けて、この発行素子の発光する光を指示器（この指示器がポインティング装置としての役目をなす）に設けられた光電変換素子で受光し、光電変換素子の出力信号から指示器の軸の方向を算出し、その軸方向に対応する位置にポインタマークを表示させるものであるが、位置検出のために表示画面に１個以上の発光素子を設けなければならない。
【０００５】
また、従来技術２，３，４は、撮像手段（カメラ）をポインティング装置として用いており、表示画像の特徴的な画像を撮影して、その特徴的な形状から座標を取得するものである。このため、カメラで撮影する画像に特徴的な形状が含まれている必要があり、たとえば、投影スクリーンの矩形であるとか、表示画像に表示された幾何学的図形をカメラで撮影する必要がある。
【０００６】
また、従来技術４は、表示画面上の各位置にマーカとなるオブジェクトをいくつか配置しなければならず、画像本来の内容とは関係のないものまで表示されることになる。また、これら各従来技術２，３，４は、指示位置を絶対座標として取得するものであり、相対座標として取得することについては考慮されていない。
【０００７】
また、以上の従来技術１から４は、ポインティング装置が１つであることを想定したポインティング位置検出について述べられたものである。しかし、プロジェクタを用いた会議やプレゼンテーションでは、その会議やプレゼンテーションに参加している複数の参加者が、表示画面上の任意の位置を同時に指示できるようにすることも望まれている。
【０００８】
このように、複数の参加者が１つの表示画面上の任意の位置を同時に指示できるようにした画像表示システムとして、たとえば、特開平７−２００１６０号公報の「情報提供装置及び情報表示装置」（以下、従来技術５という）、特開平７−２６１９１３号公報の「情報表示方法及び情報表示装置」（以下、従来技術６という）、特開平８−９５１５７号公報の「表示装置」（以下、従来技術７という）などがある。
【０００９】
【特許文献１】
特開平６−３０８８７９号公報
【特許文献２】
特開２００１−１４８０２５号公報
【特許文献３】
特開２００１−１６６８８１号公報
【特許文献４】
特開２００１−３２５０６９号公報
【特許文献５】
特開平７−２００１６０号公報
【特許文献６】
特開７−２６１９１３号公報
【特許文献７】
特開８−９５１５７号公報
【００１０】
【発明が解決しようとする課題】
従来技術１から４は、上述したように、複数のポインティング装置によるポインティング操作についての対応は考慮されてない。これに対して、従来技術５から７は、複数のポインティング装置によるポインティング操作を可能としているが、これら従来技術は、複数のポインティング装置によってポインティング操作を行う際のアクセス制御手段を持っていないため、たとえば、部外者などが会議やプレゼンテーションの妨害や混乱を目的として、不正なポインティング操作を行うといったことも可能となる。
【００１１】
また、これら従来技術５から７は、個々のポインティング装置が発するポインタマークは、個々のポインティング装置ごとに異ならせることは可能であっても、そのポインタマークは、個々のポインティング装置の物理的な構造に依存した固定的なものであるため、個々のポインティング装置においてそれを使用するユーザが好みのポインタマークを設定したり選択したりすることはできない。
【００１２】
また、複数のポインティング装置の使用が可能であると、たとえば、複数のポインティング装置によって表示画面上の同位置がポインティングされた場合、個々のポインティング装置から発せされたポインタマークが重畳することとなるが、このような複数のポインタマークの重畳を判別するための複雑な処理が必要となる。
【００１３】
また、このとき、同じポインタマークを持つポインティング装置が使用されると、それを識別できず、たとえば、他の参加者が持つポインティング装置のポインタマークと同じポインタマークを持つポインティング装置を予め用意しておき、他の参加者になりすましてポインティングをするといった不正なポインティングも可能となるといった問題もある。
【００１４】
また、従来技術５から７で用いられているポインティング装置は、レーザポインタであり、レーザ光によってポインティングするだけであるので、そのポインティング位置でのコマンド入力やその位置におけるデータの編集などを容易に行うことはできない。
【００１５】
そこで本発明は、同一表示画面上において複数のポインティング装置によるポインティング操作を行う際、不正なポインティング操作を防止するとともに、複数のポインティング装置による円滑なポインティング操作を可能とし、かつ、それぞれのポインティング位置でのコマンド入力を可能とする情報表示システムおよび情報表示システムにおけるポインティング装置制御方法を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上述した目的を達成するために、本発明の情報表示システムは、情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムであって、前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するに必要な処理をその処理機能の１つとして行うポインティング操作参加手段を有し、前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理機能の１つとして行うポインティング操作受付手段を有することを特徴としている。
【００１７】
このように、複数のポインティング装置で同じ表示画面上をポインティング操作可能とする情報表示システムとする際、複数のポインティング装置では、パーソナルコンピュータなどの情報処理装置側に対し自身を登録するための処理を行い、情報処理装置側では個々のポインティング装置に対して認証可否判定を行った上で認証可とされたポインティング装置のみを登録するようにしているので、部外者などが勝手にポインティングするというような不正なポインティング操作を未然に防止することができる。これによって、会議やプレゼンテーションなどを行う場での不正や混乱を防止することができ、会議やプレゼンテーションを円滑に進行させることができる。
【００１８】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、当該ポインティング装置固有の識別情報を発行することが好ましい。
【００１９】
このように、認証されたポインティング装置それぞれに対して識別情報（ＩＤ）を発行することによって、個々のポインティング装置をこのＩＤで適正に管理することができる。
【００２０】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、個々のポインティング装置ごとに異なるポインタマークを割り当てるポインタマーク割り当て処理を行うことが好ましい。
【００２１】
これによって、個々のポインティング装置ごとに異なるポインタマークを割り当てることができるので、どのポインティング装置がどこを指示しているかが容易に把握でき、会議やプレゼンテーションでポインティング装置が多数使用されるような場合、会議やプレゼンテーションを円滑に進行させることができる。
【００２２】
また、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置ごとにそのポインティング装置が行うポインティング操作実行用のポインティングタスクを生成することが好ましい。
【００２３】
このように、ポインティング装置ごとのポインティングタスクが生成されることによって、ポインティング装置ごとに独立したポインティング操作を実行することができる。
【００２４】
また、上述の各情報表示システムにおいて、前記複数のポインティング装置の指示位置が重複する場合、予め設定された規則に基づく優先度を設定し、その複数のポインティング装置から発せられるそれぞれのポインタマークのうちの優先度の最も高いポインタマークのみを当該座標位置で表示させることが好ましい。
【００２５】
このようなポインタマークの表示制御を行うことによって、複数のポインタマークの指示位置が重複しても、いずれかのポインタマークをその指示位置で表示させることができ、しかも、予め設定された規則に基づく優先度を設定し、優先度の最も高いポインタマークのみを当該座標位置で表示させる制御を行うので、複数のポインティング装置を操作するそれぞれのユーザの納得の行くポインタマーク表示制御を行うことができる。
【００２６】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置それぞれが指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成とすることが好ましい。
【００２７】
これは、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムであり、このような構成とすることによって、上述した不正なポインティング操作を防止するなどといった効果に加えて、表示画像上に特徴的な形状やマーカなどを特別に設けたり、特徴的な画像を同時に撮影するといったことをする必要がなく、単に、指示位置を含むように撮影するだけで指示位置を容易かつ正確に行うことができ、これにより、多数のポインティング装置を用いポインティング操作を行う場合の対応が容易なものとなる。
【００２８】
また、この場合、指示座標特定は、情報報処理装置側で行っている。指示座標特定手段を情報処理装置側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができ、また、ポインティング装置側に、指示座標特定に必要な（たとえば画像処理用の）ハードウエアやソフトウエアを搭載する必要がないといったことが挙げられ、さらに、ポインティング装置よりも情報処理装置の方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像演算処理も容易かつ高速に行うことができ、高精度な座標特定が可能となるといった利点もある。
【００２９】
このように、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理を情報処理装置側で行う場合においては、前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置が指示する指示座標を特定する指示座標特定処理と、前記表示画像上の当該特定された指示座標上にポインタマークを合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３０】
これにより、処理能力の高い情報処理装置側で指示座標の特定を行うことができ、高速でかつ高精度な座標特定処理が可能となる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３１】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、前記認証可とされたポインティング装置の指示座標特定手段で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する構成とすることも可能である。
【００３２】
これは、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標特定手段をポインティング装置側で行うものであり、このように、指示座標特定手段をポインティング装置側で行う利点は、情報処理装置側から見てポインティング装置を単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、情報処理装置側では特に複雑な処理を行う必要が無く、情報処理装置側の演算量を削減できるので、ポインティング装置が多数用いられる状況において情報処理装置側の負担を軽減することができる。
【００３３】
このように、ポインティング装置による指示位置を絶対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理をポインティング装置側で行う場合においては、前記ポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３４】
これにより、情報処理装置側では、指示座標の特定処理を行わなくてすむので、情報処理装置側の演算量を削減でき、特に、ポインティング装置が多数用いられる状況においては、情報処理装置側の負担を軽減することができる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３５】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、当該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、前記表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、そのポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像情報生成手段とを有する構成とすることも可能である。
【００３６】
これは、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムであり、指示位置を相対座標として取得する場合は、ポインティング装置による撮影対象は表示画面上でなくてもよいので、撮影場所の制約が少なく、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置をパーソナルコンピュータのマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【００３７】
このように、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理をポインティング装置側で行う場合においては、前記ポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で算出された指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、当該ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００３８】
これにより、情報処理装置側では、指示座標の特定処理を行わなくてすむので、情報処理装置側の演算量を削減でき、特に、ポインティング装置が多数用いられる状況においては、情報処理装置側の負担を軽減することができる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００３９】
また、上述した情報表示システムにおいて、前記ポインティング装置は、前記ポインティング操作参加手段に加えて、ある所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置の撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像と前記ポインティング装置の撮影手段から得られた現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像生成手段とを有する構成とすることも可能である。
【００４０】
これは、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標移動ベクトル算出を情報処理装置側で行うようにしたものであり、このように、指示座標移動ベクトル算出を情報処理装置側で行う利点は、ポインティング装置では、撮影画像情報を単に情報処理装置に送信するだけであり、ポインティング装置での演算量を少なくすることができる。また、ポインティング装置側に、指示座標移動ベクトルを算出するのに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置として、一般的な携帯情報機器を用いることができる。また、ポインティング装置よりも情報処理装置の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行え、高精度な指示座標移動ベクトルの算出が可能となる。
【００４１】
このように、ポインティング装置による指示位置を相対座標として取得可能とする情報表示システムにおいて、指示座標の特定処理を情報処理装置側で行う場合においては、情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記指示座標移動ベクトルを算出する指示座標移動ベクトル算出処理と、この指示座標移動ベクトル算出処理で算出された指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることが好ましい。
【００４２】
これにより、処理能力の高い情報処理装置側で指示座標位置の特定が行うことができ、高速でかつ高精度な座標特定処理が可能となる。また、このポインティングタスクにはコマンドを実行するコマンド処理が含まれるので、ポインティング装置によって表示画像上の任意の位置を指示したあと、その指示位置に文字を入力させたり、表示内容を修正したりすることも可能となり、単に、ポインティング位置を指示するだけでなく、表示内容の編集・修正操作も可能となる。すなわち、これはコンピュータの遠隔操作をも可能とするということである。
【００４３】
また、本発明の情報表示システムにおけるポインティング装置制御方法は、情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムにおけるポインティング装置制御方法であって、前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するための処理を行うステップをその処理手順に含み、前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理手順に含むことを特徴としている。
【００４４】
このように、複数のポインティング装置で同じ表示画面上をポインティング操作可能とする情報表示システムとする際、複数のポインティング装置では情報処理装置側に対し自身を登録するための処理を行い、情報処理装置側では個々のポインティング装置に対して認証可否判定を行った上で認証可とされたポインティング装置のみを登録するようにしているので、部外者などが勝手にポインティングするというような不正なポインティング操作を未然に防止することができる。これによって、会議やプレゼンテーションなどを行う場での不正や混乱を防止することができ、会議やプレゼンテーションを円滑に進行させることができる。
【００４５】
なお、この情報表示システムにおけるポインティング装置制御方法において、前記認証可とされたポインティング装置に対し、当該ポインティング装置固有の識別情報を発行することが好ましい。
【００４６】
また、この情報表示システムにおけるポインティング装置制御方法において、前記認証可とされたポインティング装置に対し、個々のポインティング装置ごとに異なるポインタマークを割り当てるポインタマーク割り当て処理を行うことが好ましい。
【００４７】
また、この情報表示システムにおけるポインティング装置制御方法において、上述の各情報表示システムにおいて、前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置ごとにそのポインティング装置が行うポインティング操作実行用のポインティングタスクを生成することが好ましい。
【００４８】
また、この情報表示システムにおけるポインティング装置制御方法において、前記複数のポインティング装置が指示した座標位置が重複する場合、予め設定された規則に基づく優先度を設定し、その複数のポインティング装置から発せられるそれぞれのポインタマークのうちの優先度の最も高いポインタマークのみを当該座標位置で表示させることが好ましい。
【００４９】
【発明の実施の形態】
以下、本発明の実施形態について説明する。この実施形態では、情報表示装置としてはプロジェクタおよび壁面ないしスクリーンを用いるものとし、このプロジェクタを情報処理装置としてのパーソナルコンピュータ（以下ではＰＣという）に接続して、当該ＰＣ上のデータをプロジェクタによって壁面やスクリーン上に投影し、その投影された画像に対して複数のポインティング装置で任意の位置を指定し、その指定された位置の座標情報を取得してその座標上にポインタマークを表示する例について説明する。
【００５０】
また、ポインティング装置としては、画像を撮影する撮影機能とそれによって得られた画像情報をネットワークやＰＣに送信可能な通信機能を有する携帯用情報端末機器（たとえば、カメラ付き携帯電話機、通信機能を有したディジタルスチルカメラ、通信機能を有したディジタルビデオカメラなど）を用いるものとする。また、本発明では、プロジェクタによって投影された表示画像上の任意の位置を複数のポインティング装置で指示できるものとしているが、この実施形態では、説明をわかり易くするため、ポインティング装置は特別な場合を除いて２つである場合について説明する。
【００５１】
なお、本発明は、指示位置を絶対座標として取得することも可能であり、また、相対座標として取得することも可能であるので、指示位置を絶対座標として取得する例を実施形態１、指示位置を相対座標として取得する例を実施形態２として説明する。
【００５２】
〔実施形態１〕
図１はこの実施形態１を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、情報処理装置としてのＰＣ１、このＰＣ１から出力される情報を表示する情報表示装置２、この情報表示装置２で表示された画像上の任意の位置を指示する２つのポインティング装置３ａ，３ｂからなる。
【００５３】
なお、ポインティング装置３ａ，３ｂとしては、上述したように、撮影機能と通信機能を有した携帯用情報端末（通信機能を有したディジタルスチルカメラ、カメラ付き携帯電話機、通信機能を有したディジタルビデオカメラなど）を用いるものとするが、この実施形態では、ポインティング装置３ａは通信機能を有したディジタルスチルカメラ、ポインティング装置３ｂはカメラ付き携帯電話機であるとして説明する。
【００５４】
ＰＣ１は、表示すべき画像の画像情報を記憶する表示画像情報記憶手段１１、現時点において表示すべき画像情報を生成するとともにポインタマークを表示画像上の指示された座標位置に合成する機能を有する表示画像情報生成手段１２、ポインティング装置３ａ，３ｂで指示された座標（ポインタマークを表示したりコマンドを入力したりする座標）を特定する指示座標特定手段１３、ポインティング装置３ａ，３ｂの認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理機能の１つとして行うポインティング操作受付手段１５を有している。
【００５５】
このポインティング操作受付手段１５は、ポインティング装置３ａ，３ｂに対してこれらポインティング装置３ａ，３ｂがその会議やプレゼンテーションなどで使用されるポインティング装置として正当なポインティング装置であるか否かを判定する認証判定機能と、正当なポインティング装置であると判定された場合は、そのポインティング装置を認証されたポインティング装置とし、識別情報としてのＩＤを発行する機能と、その認証されたポインティング装置に対してポインタマークの割り当て（これについての詳細は後述する）を行う機能と、認証されたポインティング装置ごとにそのポインティング装置が行うポインティング操作を実行するためのポインティングタスク（これについての詳細は後述する）を生成する機能と、ポインティング装置からのポインティング操作情報を受け取り、ＩＤに基づいてどのポインティング装置からの操作指示であるかを判定する機能とを有している。
【００５６】
また、情報表示装置２は、画像情報を投影するプロジェクタ２１と、画像情報が投影されるスクリーン２２から構成されている。
【００５７】
また、ポインティング装置３ａ，３ｂは、ファインダやディスプレイ画面などの視準手段３１、この視準手段３１で設定された所定範囲の画像を撮影する撮影手段３２、ＰＣ１への登録や登録完了後にＰＣ１から与えられたＩＤをポインティング操作情報に付加してＰＣ１に出力する機能を有するポインティング操作参加手段３６を有している。
【００５８】
これらポインティング装置３ａ，３ｂからＰＣ１に対して送信される情報は、無線ＬＡＮ、赤外線通信、電話回線などを利用したネットワークなど何らかの通信手段によって送信できるようになっている。
【００５９】
このような構成において、ポインティング装置３ａ，３ｂで指示した位置にそれぞれのポインタマークを表示させる具体的な処理手順について説明する。まずは、図２を参照しながら、本発明の全体の処理手順を説明する。なお、この処理は複数のポインティング装置（この場合、ポインティング装置３ａ，３ｂ）で共通の処理であり、個々のポインティング装置３ａ，３ｂのポインティング操作参加手段３６とＰＣ１のポインティング操作受付手段１５との間で行われる。
【００６０】
ポインティング装置３ａ，３ｂのそれぞれのポインティング操作参加手段３６は、まず、認証およびＩＤ発行要求を送信する（ステップＳ１）。このとき、ポインティング操作受付手段１５が認証のためのパスワードを必要とする場合は、必要に応じて、そのパスワード情報を認証およびＩＤ発行要求に加えて送信するようにしてもよい。
【００６１】
この認証およびＩＤ発行要求がポインティング装置３ａ，３ｂからＰＣ１側に送信されると、ＰＣ１では、個々のポインティング装置３ａ，３ｂに対する認証可否判断を何らかの基準に基づいて行う（ステップＳ２）。この認証可否の判断は、人間が行ってもよいし、パスワード合否などの判断基準を予め設定しておき、ポインティング操作受付手段１５がその判断基準を参照することで、自動的に判断するようにしてもよい。
【００６２】
そして、その認証可否判断の結果、不可であれば、認証不可を示す通知を発行してそれを該当するポインティング装置に送信する（ステップＳ３）。この認証不可通知を受け取ったポインティング装置のユーザは、認証およびＩＤ要求を再試行するか否かを判断し（ステップＳ４）、再試行する場合は、認証不可となった原因などを調べて、原因がわかればそれを修正した上で、ステップＳ１に戻って、認証およびＩＤ要求を送信する。なお、再試行しない場合は、それ以降の処理の実行を行わないようにする。認証不可となって再試行を行わない場合は、そのポインティング装置からのそれ以上の操作指示要求は、ＰＣ１側では受け付けないようにする。
【００６３】
一方、上述のステップＳ２における認証可否判断の結果、認証可であると判定された場合は、その認証可とされたポインティング装置を特定するための固有な識別情報であるＩＤを生成して、そのＩＤを認証可通知とともに、該当するポインティング装置に送信する（ステップＳ５）。
【００６４】
このようにして、ＰＣ１側からＩＤが認証可通知とともに該当するポインティング装置に送られてくると（ここでは、ポインティング装置３ａ，３ｂはともにそれぞれのＩＤと認証通知が送られてきたものとする）、これらポインティング装置３ａ，３ｂでは、送られてきたＩＤを取得する（ステップＳ６）。
【００６５】
以上、ステップＳ１からステップＳ６までの処理は、ポインティング装置３ａ，３ｂが適正であるか否かを判定する認証処理であり、この認証処理の終了した（認証可とされてＩＤの発行された）ポインティング装置３ａ，３ｂを認証済みポインティング装置と呼ぶ。このような認証処理が終了すると、今度は、その認証済みのポインティング装置３ａ，３ｂとＰＣ１との間でポインタマーク割り当て処理を行う（ステップＳ７）。
【００６６】
このポインタマーク割り当て処理は、認証済みのポインティング装置３ａ，３ｂに対して、ポインティング装置３ａ，３ｂごとに異なるポインタマークを割り当てるもので、これについては後に詳細に説明する。
【００６７】
このポインタマーク割り当て処理が終了すると、個々のポインティング装置３ａ，３ｂによるポインティング操作の実行を可能とするためのポインティングタスクを、発行したＩＤごと（認証済みポインティング装置ごと）に生成し（ステップＳ８）、これによって、そのポインティング装置３ａ，３ｂはＰＣ１への登録が完了する（ステップＳ９）。なお、ステップＳ８にて生成されるポインティングタスクについては後に説明する。
【００６８】
以上のようにして、ポインティング装置３ａ，３ｂのＰＣ１への登録が完了すると、これらポインティング装置３ａ，３ｂからはポインティング操作（所定位置をポインティングする操作だけでなくコマンド入力などの操作を含む）が可能となる。
【００６９】
これによって、ポインティング装置３ａ，３ｂでポインティング操作を行うと（ステップＳ１０）、取得したＩＤがその操作指示情報に付加されて（ステップＳ１１）、ＰＣ１に送信され、ＰＣ１では送られてきたＩＤを確認し（ステップＳ１２）、そのＩＤが適正であれば、そのＩＤに対応して生成されたポインティングタスクを実行する（ステップＳ１３）。また、ＩＤを確認した結果、適正でないと判定された場合は、ポインティングタスクの実行は行わない（ステップＳ１４）。
【００７０】
なお、上述の説明では、ポインティング装置は２つ（ポインティング装置３ａ，３ｂ）として説明したが、ポインティング装置は３個以上であってもよいことは勿論であり、その場合、個々のポインティング装置について図２で示したと同様の処理を行えばよい。
【００７１】
次に、図２のステップＳ７で示したポインタマークの割り当て処理について、図３、図４、図５を参照しながら説明する。このポインタマークの割り当て処理は、認証済みポインティング装置（この場合、ポインティング装置３ａ，３ｂ）に対してＰＣ１のポインティング操作受付手段１５が行うもので、会議やプレゼンテーションなどに用いられる複数のポインティング装置に対してそれぞれ異なったポインタマークが割り当てられる。
【００７２】
そのポインタマークの割り当ての仕方として、ここでは、３つの割り当て方法を例にとって説明し、図３の割り当て方法を第１のポインタマーク割り当て方法、図４の割り当て方法を第２のポインタマーク割り当て方法、図５の割り当て方法を第３のポインタマーク割り当て方法とする。なお、ここでも、ポインティング装置はポインティング装置３ａ，３ｂの２つであるとして説明する。
【００７３】
まず、第１のポインタマーク割り当て方法について図３を参照しながら説明する。ＰＣ１側には、割り当て可能なポインタマークとして、たとえば、この図３に示すような複数種類のポインタマーク（説明の都合上、これらポインタマークに対して図示の上から順にＭ１，Ｍ２，Ｍ３，・・・という符号を付す）を記憶手段（たとえば表示画像情報記憶手段１１）が保持している。
【００７４】
そして、図２で説明した認証処理が終了したあと、認証済みポインティング装置３ａ，３ｂに対して、ＰＣ１側で設定された対応付け規則（たとえば、認証処理の終了順にポインタマークＭ１から順に割り当てるなど）に基づいて、すでに発行したＩＤ（発行済みＩＤ）に各ポインタマークＭ１，Ｍ２，・・・を割り当てることで、ＩＤ／ポインタマーク対応テーブルを作成する。そのＩＤ／ポインタマーク対応テーブルの内容は、たとえば、図３で示すように、ポインタマークＭ１に対しては発行済みＩＤ「○×○×」、ポインタマークＭ２に対しては発行済みＩＤ「×××△」というように、それぞれのポインタマークＭ１，Ｍ２，Ｍ３，・・・と発行済みＩＤとの対応付けがなされたものとなっている。
【００７５】
このように、それぞれの発行済みＩＤに対するポインタマークＭ１，Ｍ２，Ｍ３，・・・の割り当てを終了すると、それぞれのポインティング装置３ａ，３ｂに対し、その割り当て結果を割り当て通知として送信する。
【００７６】
ポインティング装置３ａ，３ｂでは、それぞれポインティング操作参加手段３６が、ＰＣ１からの割り当て通知を受け取ると、その割り当てられたポインタマークを自分の視準手段３１に表示させる。たとえば、この図３の例では、ポインティング装置３ａは、取得したＩＤが「○×○×」であって、ポインタマークＭ１が割り当てられ、ポインティング装置３ｂは、取得したＩＤが「×××△」であって、ポインタマークＭ２が割り当てられているので、ポインティング装置３ａの視準手段３１には、ポインタマークＭ１の画像が表示され、ポインティング装置３ｂの視準手段３１には、ポインタマークＭ２の画像が表示される。
【００７７】
このポインティング装置の視準手段３１で、そのポインティング装置に割り当てられたポインタマークを表示させる処理は、必須要件ではないが、これを行うことによって、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザは、自分の使用するポインティング装置にはどのようなポインタマークが割り当てられたかを容易に確認することができるので便利である。
【００７８】
この第１のポインタマーク割り当て方法は、ＰＣ１側であらかじめ決められた規則に基づき、認証済みポインティング装置に対して機械的にポインタマークを割り当て、それをそれぞれのポインティング装置に通知する処理を行えばよいので、ポインティング装置を使用するそれぞれのユーザが好みのポインタマークを選ぶことはできないものの、ＰＣ１と各ポインティング装置３ａ，３ｂとの間でのポインタマーク割り当て処理に必要な通信データ量を最小限にとどめることができ、ポインタマーク割り当て処理の負荷を非常に軽くすることができるのが利点である。
【００７９】
次に、第２のポインタマーク割り当て方法について図４を参照しながら説明する。この第２のポインタマーク割り当て方法においても、ＰＣ１側には、割り当て可能なポインタマークとして、たとえば、図３で示したと同様の複数種類のポインタマークＭ１，Ｍ２，Ｍ３，・・・を記憶手段（たとえば表示画像情報記憶手段１１）が保持している。そして、この第２のポインタマーク割り当て方法は、これら各ポインタマークＭ１，Ｍ２，Ｍ３，・・・に対して、それぞれ固有のポインタマーク識別符号（この図４の例では、「００１」、「００２」、・・・など）が付されている。
【００８０】
そして、このような様々なポインタマークがあることを認証済みポインティング装置（この例ではポインティング装置３ａ，３ｂ）に対し通知し、ポインティング装置３ａ，３ｂ側では、その中からいずれかのポインタマークを選択する。
【００８１】
なお、複数種類のポインタマークがあることを個々のポインティング装置３ａ，３ｂに通知し、その中からそれぞれのユーザが選択する方法としては、ＰＣ１側が複数のポインタマークの全てまたはその中から幾つかを選んで、それを個々のポインティング装置３ａ，３ｂに送信し、ポインティング装置３ａ，３ｂ側では、送信されてきたポインタマークを自身の視準手段３１に表示させて、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザがその中から自分の好みのポインタマークを選ぶ（上述したポインタマーク識別符号を指定する）といった方法や、スクリーン２２上に複数種類のポインタマークを表示させておき、その中からそれぞれのユーザが選択する（上述したポインタマーク識別符号を指定する）といった方法がある。
【００８２】
このようにして、それぞれのポインティング装置３ａ，３ｂ側で、そのポインティング装置３ａ，３ｂを使用するそれぞれのユーザが自分の好みのポインタマークを選択し、そのポインタマーク選択情報をＰＣ１側に送信すると、ＰＣ１では、それぞれのポインティング装置３ａ，３ｂからのポインタマーク選択情報に基づいて、そのポインタマークの使用が可能であるか否かの判定（すでに他のポインティング装置で使用されているか否かの判定など）を行い、使用が可能であれば、それぞれのポインティング装置３ａ，３ｂにポインタマーク割り当て通知を発行するとともに、ポインタマークの識別符号と発行済みのＩＤ（個々のポインティング装置に与えられたＩＤ情報）とを対応付けたＩＤ／ポインタマーク識別符号対応テーブルを作成する。
【００８３】
この図４の例では、識別符号「００１」のポインタマークＭ１は「○×○×」のＩＤ（ポインティング装置３ａが取得したＩＤ）に対応付けられ、識別符号「００２」のポインタマークＭ２は「×××△」のＩＤ（ポインティング装置３ｂが取得したＩＤ）に対応付けられた例が示されている。
【００８４】
このようにして、認証済みの個々のポインティング装置にポインタマークが割り当てられると、その割り当て結果がそれぞれのポインティング装置の視準手段３１に表示される。この図４の例では、ポインティング装置３ａの視準手段３１には、ポインタマークＭ１の識別符号「００１」が表示され、ポインティング装置３ｂの視準手段３１には、ポインタマークＭ２の識別符号「００２」が表示された例が示されている。なお、このとき、それぞれの視準手段３１には、識別符号とともにそれに対応するポインタマークの画像を表示させるようにしてもよい。
【００８５】
この第２のポインタマーク割り当て方法は、ＰＣ１側と各ポインティング装置３ａ，３ｂとの間でのポインタマーク割り当て処理に必要な通信データ量は、上述の第１のポインタマーク割り当て方法に比べるとやや増えるが、各ポインティング装置３ａ，３ｂにおいて、それを使用するユーザがポインタマークを限られた範囲ではあるが選択することができるという利点がある。
【００８６】
次に、第３のポインタマーク割り当て方法について図５を参照しながら説明する。この第３のポインタマーク割り当て方法は、それぞれのポインティング装置側で１個以上のポインタマークをそれぞれのポインティング装置が持つ記憶手段（図５ではポインタマーク記憶手段３７としている）に保持しておき、その中からそのポインティング装置を使用するユーザが好みのポインタマークを選択し、選択したポインタマークに対応するポインタマーク画像に当該ポインティング装置のＩＤを付加したものをポインタマーク登録情報としてＰＣ１側に送信するものである。
【００８７】
このとき、そのポインタマーク記憶手段３７から読み出したポインタマークは、視準手段３１に表示させ、それをユーザが確認した後にＰＣ１側に送信することが好ましい。
【００８８】
ＰＣ１側では、それぞれのポインティング装置３ａ，３ｂから送られてきたポインタマークを自身の記憶手段（表示画像情報記憶手段１１など）に記憶し、そのポインタマークの使用が可能であるか否かの判定（すでに他のポインティング装置で使用されているか否かの判定など）を行い、使用が可能であれば、それぞれのポインティング装置３ａ，３ｂにポインタマーク割り当て通知を発行するとともに、そのポインタマークと当該ポインティング装置のＩＤとを対応付けしたＩＤ／ポインタマーク対応テーブルを作成する。
【００８９】
この図５のＩＤ／ポインタマーク対応テーブルでは、ポインタマークＭ１は「○×○×」のＩＤ（ポインティング装置３ａに対して発行した発行済みＩＤ）に対応つけられ、ポインタマークＭ２は「×××△」のＩＤ（ポインティング装置３ｂに対して発行した発行済みＩＤ）に対応付けられた例が示されている。
【００９０】
この第３のポインタマーク割り当て方法は、各ポインティング装置３ａ，３ｂを使用するユーザが独自のポインタマークを種々用意しておき、その中から好みのポインタマークを選択できることが大きな特徴である。
【００９１】
以上、図２で説明した本発明の全体的な処理のステップＳ９までの処理について詳述した。次に、図２におけるステップ１０以降の処理、すなわち、複数のポインティング装置（ここではポインティング装置３ａ，３ｂ）を用いての、スクリーン２２上に表示された表示画像のポインティング操作について詳細に説明する。
【００９２】
ＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報は、このＰＣ１を操作する操作者の操作によって読み出され、読み出された表示画像情報は表示画像情報生成手段１２によって、プロジェクタ２１で表示処理が可能となるような表示画像情報生成処理がなされたのち、プロジェクタ２１に送られ、プロジェクタ２１によってスクリーン２２（図６参照）などに投影される。
【００９３】
図６はプロジェクタ２１によってスクリーン２２に投影された表示画像２３上の任意の位置を２つのポインティング装置３ａ，３ｂ（この図６の例において、ポインティング装置３ａは通信機能付きのディジタルスチルカメラ（以下では単にディジタルカメラという）、ポインティング装置３ｂはカメラ付き携帯電話機（以下では単に携帯電話機という）で指示する例を示すものである。
【００９４】
この図６からもわかるように、ポインティング装置３ａでは、スクリーン２２上に投影された表示画像２３上の任意の位置Ｐａ（図中、白丸で示されている）を含むように撮影する。また、ポインティング装置３ｂでは、スクリーン２２上に投影された表示画像２３上の任意の位置Ｐｂ（図中、白丸で示されている）を含むように撮影する。
【００９５】
これら任意の位置Ｐａ，Ｐｂは、スクリーン２２に投影された表示画像２３上においてポインタマークＭ１，Ｍ２を表示しようとする位置であり、以下、これを指示位置Ｐａ，Ｐｂという。
【００９６】
そして、ポインティング装置３ａの視準手段３１（ディジタルカメラのディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐａが位置するようにして撮影する。なお、表示画像２３上に示されている破線枠Ａａはこのポインティング装置３ａの視準手段３１で設定される撮影可能範囲（一般にはディスプレイ画面の表示範囲）であり、この破線枠Ａａで囲まれた範囲が１回の撮影で撮影可能な範囲となる。同様に、ポインティング装置３ｂの視準手段３１（携帯電話機のディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐｂが位置するようにして撮影する。なお、表示画像２３上に示されている破線枠Ａｂはこのポインティング装置３ｂの視準手段３１で設定される撮影可能範囲であり、この破線枠Ａｂで囲まれた範囲が１回の撮影で撮影可能な範囲となる。
【００９７】
このようにして、ポインティング装置３ａやポインティング装置３ｂを用いて、指示位置Ｐａ，Ｐｂをその視準手段３１すなわち撮影可能範囲Ａａ，Ａｂの中央部に位置させた状態で撮影を行うと、それぞれの撮影画像情報はポインティング操作参加手段３６に渡され、ポインティング操作参加手段３６では、自身に付与されたＩＤ情報をそれぞれの撮影画像情報に付加し、そのＩＤ情報の付加された撮影画像情報を通信手段を介してＰＣ１に送信する。
【００９８】
なお、この図６においては、ポインティング装置３ａは、接続ケーブル６を用いＵＳＢやＩＥＥＥ１３９４などのインタフェースによってＰＣ１に情報伝送する例が示され、ポインティング装置３ｂは、基地局４からインタネット５を介してＰＣ１に情報伝送する例が示されている。
【００９９】
図７はポインティング装置３ａ，３ｂ側の上述したポインティング操作処理を説明するフローチャートであるが、この処理はポインティング装置３ａ，３ｂで共通であるので、ここでは、ポインティング装置３ａを例にとって説明する。
【０１００】
まず、視準手段３１で設定される撮影可能範囲Ａａの中央部に指示位置Ｐａが位置するようにして撮影し（ステップＳ２１）、撮影画像情報を取得し（ステップＳ２２）、その撮影画像情報に自身のＩＤを付加して（ステップＳ２３）、ＰＣ１に送信する（ステップＳ２４）。
【０１０１】
なお、この図７におけるステップＳ２１，Ｓ２２の処理は、ポインティング位置を指示して、その指示座標位置を特定するための撮影画像情報を取得する操作であるが、ポインティング操作としては、これだけではなく、その指示座標位置におけるコマンド入力のための操作がある。
【０１０２】
このコマンド入力操作は、まず、ユーザがコマンド入力を行い（ステップＳ２５）、そのコマンドがコマンド情報として取得される（ステップＳ２６）。そして、取得されたコマンドに対して、自身に付与されたＩＤを付加（ステップＳ２３）したのちに、ＰＣ１への送信を行う（ステップＳ２４）。このコマンド入力操作については後に説明する。
【０１０３】
一方、ＰＣ１では図８に示すように、ＩＤの付加された撮影画像情報（またはコマンド入力情報）をポインティング操作受付手段１５で受信すると（ステップＳ３０）、ポインティング装置を特定するためにＩＤを抽出し（ステップＳ３１）、そのポインティング装置が認証済みのポインティング装置であるか否かを判定する認証確認を行う（ステップＳ３２）。この認証確認の結果、認証不可であるとの判定がなされた場合には、それ以降の操作指示は受け付けないようにするが、認証可であるとの判定がなされると、ステップＳ３１で抽出されたＩＤに対応するポインティングタスクに処理が移る。なお、同図では特に明記していないが、ステップＳ３２はそれぞれのＩＤに対応するポインティングタスクに処理を移すためのＩＤスイッチとしての役割も兼ねている。このように、ポインティングタスクは、個々のポインティング装置ごとに生成・実行されるもので、個々のポインティング装置に付与されたＩＤによって管理される。
【０１０４】
このポインティングタスクの処理手順は、図８からもわかるように、まず、受信した情報が撮影画像情報／コマンドであるかを調べ（ステップＳ３３）、撮影画像情報である場合には、撮影画像情報の取得を行い（ステップＳ３４）、その取得した撮影画像情報を用いて指示座標特定手段１３が指示座標特定処理を行う（ステップＳ３５）。この指示座標特定処理によって指示座標が特定されると、表示画像情報生成手段１２は、その特定された指示座標を取得し（ステップＳ３６）、現在表示されている表示画像の指示座標（ステップＳ３６で取得された指示座標）上にそのポインティング装置３ａに割り当てられたポインタマークＭ１を表示させる表示画像情報生成処理を行う（ステップＳ３７）。
【０１０５】
また、上述のステップＳ３３において、受信した情報がコマンドである場合には、そのコマンドを取得し（ステップＳ３８）、当該コマンドに対するコマンド処理を行って（ステップＳ３９）、その処理結果を表示画像上のその時点におけるポインタマーク指示座標位置に反映させる（ステップＳ４０）。
【０１０６】
なお、指示座標の特定とコマンド入力をほぼ同時に行うことも可能であり、その場合は、撮影画像情報とコマンドを取得して、撮影画像情報を用いた指示座標特定処理を行って、現在表示中の表示画像上におけるその特定された指示座標にポインタマークを合成して表示させる処理を行う（ステップＳ３４〜Ｓ３７）。一方、取得されたコマンドについてはコマンド処理を行い、その処理結果をステップＳ３７で生成された表示画像上のポインタマーク指示座標位置に反映させる処理を行う（ステップＳ３８〜Ｓ４０）。
【０１０７】
図９は図８のステップＳ３５の処理、すなわち、ＰＣ１の指示座標特定手段１３が行う指示座標特定処理手順を示すもので、ポインティング装置（ポインティング装置３ａとする）から送信された撮影画像情報を取得すると（ステップＳ４１）、まず、歪や明るさなど各種の補正処理、さらに、拡大／縮小など各種の前処理を行い（ステップＳ４２）、その前処理された撮影画像情報からテンプレート画像情報を生成する（ステップＳ４３）。このテンプレート画像情報は、ステップＳ４２で行われる前処理によって表示画像情報とのマッチングを調べるのに適した解像度となっている。
【０１０８】
そして、そのテンプレート画像情報がスクリーン２２上に表示されている表示画像２３全体の内のどの部分に対応するのかを判定するためには、そのテンプレート画像情報と、表示画像情報記憶手段１１に記憶されている表示画像情報のうちの撮影時点で表示された表示画像に対応する表示画像情報とを用いてテンプレートマッチングなどの画像認識処理を行えばよい。（ステップＳ４４）。
【０１０９】
そして、テンプレート画像情報が撮影時点で表示された表示画像に対応する表示画像情報のどの部分に対応するのかが判定されると、その判定された部分の中央部が指示位置Ｐａであるとしてその指示位置Ｐａに対応する座標を指示座標として抽出する（ステップＳ４５）。
【０１１０】
このようにして、指示座標特定手段１３によって指示位置Ｐａに対応する指示座標が得られると、その指示座標上にポインタマークＭ１を合成して表示する（図６参照）。これによって、スクリーン２２上に投影された表示画像２３上の指示位置ＰａにはＰＣ１上で生成されたポインタマークＭ１が表示される。
【０１１１】
なお、上述の処理手順において、そのテンプレート画像情報と表示画像情報記憶手段１１に記憶されている表示画像情報のうち、現時点で表示されている表示画像に対応する表示画像情報とのパターンマッチングを行う際、撮影画像に他のポインティング装置のポインタマークが入ってしまう場合がある。
【０１１２】
これは、たとえば、ポインティング装置３ａによって、ある指示位置を含む範囲を撮影しようとするとき、ポインティング装置３ｂのポインタマークＭ２がその撮影領域内に存在するような場合であり、このような場合、撮影画像（ポインタマークＭ１が含まれる）と表示画像情報記憶手段１１に記憶されている表示画像情報のうちの現時点で表示されている表示画像に対応する表示画像情報とのパターンマッチングを行っても、指示座標特定がうまくいかない可能性がある。
【０１１３】
そこで、ポインティング装置３ａ，３ｂによって、ある画像領域を撮影する際、そのポインティング装置３ａ，３ｂからの撮影画像情報に撮影時のタイムスタンプ情報を付加してＰＣ１に送信する。一方、ＰＣ１でも、撮影時と同一時刻の表示画像情報を、タイムスタンプ情報を付加して保存しておく。そして、同時刻のタイムスタンプ情報の付加された両者の画像を用いてパターンマッチングを行う。
【０１１４】
これによって、たとえば、ポインティング装置３ａによって、ある表示領域を撮影した際、その領域内に他のポインティング装置３ｂのポインタマークＭ２が存在していても、ＰＣ１で保存されている同時刻の表示画像情報は、ポインタマークＭ２の合成されている表示画像情報であるので、両者ともに同じ位置にポインタマークＭ２が存在するため、適正なパターンマッチングを行うことができる。
【０１１５】
図１０は図８のステップＳ３７の処理、すなわち、スクリーン２２上に投影されている表示画像２３上の指示位置にポインタマークを表示させる処理手順を説明するフローチャートであり、上述の図９に示す処理によって、たとえば、ポインティング装置３ａのポインティング操作に対応した指示座標が特定されると、その指示座標を取得し（ステップＳ５１）、そのポインティング装置３ａに割り当てられたポインタマークＭ１に対応するポインタマーク画像情報を読み出す（ステップＳ５２）。
【０１１６】
このポインタマーク画像情報の読み出しは、たとえば、図３のポインタマーク割り当て方法によってポインタマークの割り当てがなされているとすれば、この図３に示すＩＤ／ポインタマーク対応テーブルを参照することによって、対応するポインタマーク画像情報の読み出しを行う。なお、このポインタマーク画像情報はたとえば、表示画像情報記憶手段１１に保持されている。
【０１１７】
そして、その読み出されたポインタマーク画像情報が、現時点での表示画像に対応する表示画像情報の所定座標（図９によって特定された指示座標）に合成され（ステップＳ５３）、その指示座標にポインタマークの付加された表示画像情報が生成される（ステップＳ５４）。
【０１１８】
これによって、たとえば、図６で示すように、スクリーン２２上に投影されている表示画像２３には、この場合、ポインティング装置３ａで指示した指示位置ＰａにポインタマークＭ１が表示される。
【０１１９】
以上は主にポインティング装置３ａによる指示座標位置特定動作についての説明であるが、ポインティング装置３ｂによる指示座標特定動作もポインティング装置３ｂの視準手段（ディジタルカメラのディスプレイ画面）で設定される撮影可能範囲の中央部に指示位置Ｐｂが位置するようにして撮影するだけで、あとは、ポインティング装置３ａの場合と同様の処理によって、その指示位置Ｐｂには、このポインティング装置３ｂに割り当てられたポインタマークＭ２を表示させることができる。
【０１２０】
このように、スクリーン２２上に投影されている表示画像２３上のある位置を指示したい場合、複数のポインティング装置（この実施形態では、ポインティング装置３ａ，３ｂ）で指示したい位置（指示位置Ｐａ，Ｐｂ）がそれぞれのポインティング装置３ａ，３ｂの視準手段（ディスプレイ画面）３１の中心に位置するようにして、その部分の画像を撮影するだけで、表示画像の指示位置Ｐａ，Ｐｂに、ポインティング装置３ａに割り当てられたポインタマークＭ１とポインティング装置３ｂに割り当てられたポインタマークＭ２を表示させることができる。
【０１２１】
また、複数のポインティング装置３ａ，３ｂによって指示されることによって得られた座標位置で、ＰＣ１に対して何らかのコマンドを与えると、ＰＣ１ではそのコマンドに対応した処理を行って、その結果を当該座標位置上で反映させることもできる。以下、このコマンド入力操作とその結果を反映させる処理について説明する。
【０１２２】
図１１はこのコマンド入力操作とその結果を反映させる処理を実現するための構成図であり、図１で示した構成図に対して、ポインティング装置３ａ，３ｂにはそれぞれコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図１と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。
【０１２３】
コマンド処理手段１４は、ポインティング装置３ａ，３ｂから与えられコマンドに対応した処理を実行するものである。
【０１２４】
図１２はスクリーン２２上に投影された表示画像２３のあるポインティング位置（ここでは、ポインティング装置３ｂによって指示された指示座標位置であるとする）にそのポインティング装置３ｂからコマンド入力を行って、そのコマンドに対する処理結果が反映された例を示すもので、この図１２の例では、ポインティング装置３ｂからのコマンドは、基地局４からインタネット５などを介してＰＣ１に送信される例が示されている。
【０１２５】
この例では、ポインティング装置３ｂから出力されたコマンドとしては、「Ｈｅｌｌｏ」という単語を、そのポインティング装置３ｂで指示した指示位置Ｐｂに表示させるというものである。すなわち、前述したような手順によって、ポインタマークＭ２の指示座標を取得する処理を行い、その結果得られたポインタマークＭ２の指示座標上において、「Ｈｅｌｌｏ」という単語を表示させるコマンドを発生することで、ＰＣ１側ではそのコマンドを受け取り、その時点におけるポインタマークの指示座標上に「Ｈｅｌｌｏ」を表示させるというものである。
【０１２６】
このようなポインタマークＭ２の指示座標上でのコマンド実行処理は、ポインタマークＭ２の指示座標をＰＣ１が把握できるために可能となるものである。
【０１２７】
図１３は図１２に対して他のコマンド入力例であり、この図１３の場合は、数値をポインタマークの指示座標上で表示させる例を示すもので、この場合は、ポインティング装置３ｂからコマンドとしての数値入力を行うことで、ＰＣ１側ではたとえば表計算アプリケーションが働いてそのコマンドに対する処理を実行し、その処理結果が指定座標に表示される。
【０１２８】
なお、図１２および図１３ではポインティング装置３ｂからのコマンド入力操作について説明したが、ポインティング装置３ａについても、コマンド入力手段を有していれば同様に実施することができる。
【０１２９】
以上説明したように、この実施形態１では、複数のポインティング装置（ここでは、ポインティング装置３ａ，３ｂ）によって、スクリーン２２に表示されている表示画像２３上を同時にポインティング操作することが可能となるが、これを利用することによって、たとえば、図１４に示すように、あるアプリケーションのあるプロセスが実行されているとき、複数のユーザの共同作業によるデータ編集などが可能となる。
【０１３０】
この図１４の例では、３人のユーザがそれぞれポインティング装置を１つずつ用いて（これまでの説明で用いたポインティング装置３ａ、ポインティング装置３ｂの他に、図示されていないポインティング装置３ｃを用いるものとする）、データ編集を行う例であり、それぞれのポインティング装置３ａ，３ｂ，３ｃに割り当てられたポインタマークＭ１，Ｍ２、Ｍ３が表示画像２３上に表示され、その指示位置で、たとえば、データ入力やデータの移動などのデータ編集作業を共同で行う例である。
【０１３１】
この図１４は、複数のポインティング装置で同じプロセスのデータ編集を共同で行う例であるが、複数のポインティング装置ごとにそれぞれが異なるアプリケーションを実行している場合やアプリケーション自体は同種であっても異なるプロセスを実行している場合がある。
【０１３２】
たとえば、図１５のように、スクリーン２２に表示されている表示画像２３上で３つのアプリケーションＡ１，Ａ２，Ａ３の情報が表示領域Ｗ１，Ｗ２，Ｗ３に表示されていて、アプリケーションＡ１はポインティング装置３ａによって指示操作され、アプリケーションＡ２はポインティング装置３ｂによって指示操作され、アプリケーションＡ３はポインティング装置３ｃによって指示操作されているとする。
【０１３３】
このような状況において、アプリケーションＡ１について操作指示しているポインティング装置３ａのポインタマークＭ１が、自分の操作指示領域（表示領域Ｗ１）から外れて他のポインティング装置３ｂ，３ｃの操作指示領域（表示領域Ｗ２，Ｗ３）に入って、その領域Ｗ２，Ｗ３を操作指示するそれぞれのユーザの意図しない操作（コマンド入力操作を含む）がなされるのは問題である。したがって、それぞれのポインティング装置３ａ，３ｂ，３ｃの操作指示領域内に他のポインティング装置のポインタマークが入り込むことができないような排他制御を行うのが好ましい。
【０１３４】
その具体的な処理としては、たとえば、自分の操作指示領域外の表示領域をポインティングできないようにしたり、自分の操作指示領域からポインタマークが出ないようにするといったことが挙げられる。
【０１３５】
また、操作指示領域から外れた領域でのポインティング操作だけでなく、「電源を切る」などシステムに多大な影響を与える箇所でのコマンド実行操作も行えないようにすることが必要である。ただし、ルート権限を与えるような制度を設ければ、それが与えられたポインティング装置を使用するユーザのみが、そのようなコマンド実行を可能とするといったことはできるようにしておく。
【０１３６】
また、複数のポインティング装置（ここではポインティング装置３ａ，３ｂ）で１つの表示画像２３上をポインティング操作する際、複数のポインティング装置の指示位置が重複するような場合もある。たとえば、図６の例で説明すると、指示位置ＰｂにあったポインタマークＭ２がポインタマークＭ１の指示位置Ｐａまで移動したような場合などがあり、その場合、２つのポインティング装置３ａ，３ｂから発せられたそれぞれのポインタマークＭ１，Ｍ２が重複することになる。このように、異なるポインティング装置３ａ，３ｂに対応するそれぞれのポインタマークＭ１，Ｍ２が重複する場合は、重複するポインタマークの表示制御を行う必要がある。この複数のポインティング装置の指示位置が重複する場合のポインタマーク表示制御について以下に説明する。
【０１３７】
このポインタマーク表示制御は、基本的には、ポインタマークの重複を許す制御とポインタマークの重複を許さない制御がある。
【０１３８】
ポインタマークの重複を許す制御というのは、たとえば、当初からある座標位置を指示しているポインタマークに対し、他の座標位置にあるポインタマークが重複する座標位置に移動してきた場合、一方のポインタマークを他方のポインタマークに重ねて表示したり、どちらかのポインタマークを消去するといった制御である。
【０１３９】
また、ポインタマークの重複を許さない制御というのは、たとえば、一方のポインタマークの移動に伴って、その移動してきた一方のポインタマークが当初からその位置にある他方のポインタマークを押しのけてその一方のポインタマークを当該座標位置に表示させたり、移動してくるポインタマークを当初からある座標位置を指示しているポインタマークの座標位置まで移動させることができないようにするといった制御である。
【０１４０】
これらポインタマークの重複を許す制御またはポインタマークの重複を許さない制御を行うに際して、それぞれのポインタマークに優先度を設定する。その優先度としては、▲１▼重複する座標位置に当初から存在するポインタマークの優先度を、その座標位置にまで移動してくるポインタマークよりも高くする、▲２▼重複する座標位置まで移動してくるポインタマークの優先度を、当初からその座標位置に存在するポインタマークよりも高くする、▲３▼複数のポインティング装置のポインタマークに対し始めから優先度を設定しておくというようなことが考えられる。
【０１４１】
図１６（ａ）〜（ｄ）はポインタマークの重複を許す制御またはポインタマークの重複を許さない制御の具体例を説明する図である。
【０１４２】
ポインタマークの重複を許す制御として、たとえば、図１６（ａ）に示すように、当初からある座標位置を指示しているポインタマーク（このポインタマークは説明の都合上、図３〜図５で示したポインタマークのうちのポインタマークＭ６を用いるものとする）が存在するとし、そのポインタマークＭ６の座標位置にポインタマークＭ１が移動してきた場合において、上述の▲３▼が適用されたとする。ここで、ポインタマークＭ１がポインタマークＭ６よりも優先度が高く設定されているとすれば、この場合は、ポインタマークＭ１をポインタマークＭ６の上に重ねて表示したりポインタマークＭ６を消去したりするが、ここでは、図１６（ｂ）に示すように、優先度の低いポインタマークＭ６を消去してそのポインタマークＭ６の指示座標位置にポインタマークＭ１のみを表示する。
【０１４３】
なお、この例において、▲２▼が適用された場合は、重複する座標位置まで移動してくるポインタマークＭ１の優先度が、当初からその座標位置に存在するポインタマークＭ６よりも高いので、▲３▼が適用された場合と同様、図１６（ｂ）のような処理がなされるが、▲１▼が適用された場合は、重複する座標位置に当初から存在するポインタマークの優先度が、その座標位置にまで移動してくるポインタマークよりも高いので、ここでは図示しないが、ポインタマークＭ１が消去されるなどしてポインタマークＭ６のみがその座標位置に表示されることになる。
【０１４４】
また、ポインタマークの重複を許さない制御として、たとえば、図１６（ａ）に示すように、当初からある座標位置を指示しているポインタマークＭ６に、ポインタマークＭ１が重複する座標位置に移動してきた場合において、上述の▲３▼が適用されたとする。ここで、ポインタマークＭ１がポインタマークＭ４よりも優先度が高く設定されているとすれば、この場合は、図１６（ｃ）に示すように、ポインタマークＭ１がポインタマークＭ６を矢印ａ方向へ押しのける制御がなされて、ポインタマークＭ６の当初の指示座標位置にポインタマークＭ１のみが表示される。
【０１４５】
なお、この例の場合、▲２▼が適用された場合は、重複する座標位置まで移動してくるポインタマークの優先度が、当初からその座標位置に存在するポインタマークよりも高いので、▲３▼が適用された場合と同様、図１６（ｃ）のような処理がなされるが、▲１▼が適用された場合は、重複する座標位置に当初から存在するポインタマークの優先度が、その座標位置にまで移動してくるポインタマークよりも高いので、たとえば、図１６（ｄ）に示すように、ポインタマークＭ１の移動がポインタマークＭ６の座標位置の手前で止められるような制御がなされ、ポインタマークＭ１は、ポインタマークＭ６の指示座標位置にまで到達することができない。
【０１４６】
以上説明したように、この実施形態１によれば、複数のポインティング装置を用いる場合、使用するポインティング装置ごとに、認証およびＩＤ情報の付加処理を行い、認証済みのポインティング装置のみがポインティング操作を可能としているので、不正なポインティング操作などの問題の発生を確実に防止できる。
【０１４７】
また、認証済みのポインティング装置ごとに異なったポインタマークが割り当てられるので、１つの表示画面上に多数のポインティング装置でポインティングしたとき、どのポインティング装置がどこを指示しているかが容易に確認できる。
【０１４８】
なお、この実施形態１では、ポインティング装置３ａとしてはディジタルカメラ、ポインティング装置３ｂとしては携帯電話機を用いた例で説明したが、ポインティング装置としては、ディジタルスチルカメラや携帯電話機だけでなく、通信機能を有するディジタルビデオカメラなどでも同様に実施可能であることは勿論である。
【０１４９】
また、この実施形態１では、各種のポインタマークに対するポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３ａ，３ｂ側）に保持されていてもよく、その保持場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにしてもよい。
【０１５０】
なお、この実施形態１では、指示座標特定手段１３はＰＣ１側に設けられ、ＰＣ１側で指示座標特定処理を行う例について説明したが、この指示座標特定手段１３をポインティング装置３ａ，３ｂ側に設けるようにして、ポインティング装置３ａ，３ｂ側で指示座標特定処理を行うようにしてもよい。この場合、ポインティング装置３ａ，３ｂの指示座標特定手段１３がＰＣ１側の表示画像情報記憶手段１１から現時点で表示されている表示画像を読み出して、表示画像に対する指示座標特定処理を行い、それによって特定された指示座標をＰＣ１側（表示画像情報生成手段１２）へ送るようにする。
【０１５１】
このように、指示座標特定処理はＰＣ１側でなく、ポインティング装置３ａ，３ｂ側で行うこともできる。なお、指示座標特定処理をポインティング装置３ａ，３ｂ側で行う場合は、ＰＣ１のポインティング操作受付手段１５で生成されるポインティングタスクにおける指示座標特定処理（図８のステップＳ３５）は不要となる。したがって、この場合、図８のステップＳ３６の指示座標取得は、ポインティング装置３ａ，３ｂ側で行われた指示座標特定処理により得られた指示座標を取得することになる。
【０１５２】
なお、すでに述べたが、指示座標特定手段１３をＰＣ１側に設けてＰＣ１側で指示座標特定処理を行う利点は、ポインティング装置３ａ，３ｂでは撮影画像情報を単にＰＣ１に送信するだけであり、ポインティング装置３ａ，３ｂでの演算量を少なくすることができる。また、ポインティング装置３ａ，３ｂ側に、指示座標特定に必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３ａ，３ｂとして、一般的な携帯情報機器を用いることができる。また、ポインティング装置３ａ，３ｂよりもＰＣ１の方が一般的に処理能力が高いので、より高速に座標特定などの処理が行え、複雑な画像演算処理も容易かつ高速に行うことができ、高精度な座標特定が可能となる。
【０１５３】
一方、指示座標特定手段１３をポインティング装置３ａ，３ｂ側に設けて、ポインティング装置３ａ，３ｂ側で指示座標特定処理を行う利点は、ＰＣ１側から見てポインティング装置３ａ，３ｂを単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３ａ，３ｂ）に対して表示画像情報を送信しさえすれば、デバイスからは絶対座標情報が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１５４】
〔実施形態２〕
この実施形態２は指示位置を相対座標として取得する例である。この実施形態２においても実施形態１と同様、画像表示装置であるプロジェクタ２１をＰＣ１に接続して、当該ＰＣ１上のデータをプロジェクタ２１によってスクリーン２２上に投影し、そのスクリーン２２上に投影された表示画像２３に対して、複数のポインティング装置で任意の位置を指定し、その指定された位置にそれぞれのポインティング装置に割り当てられたポインタマークを表示する例について説明する。
【０１５５】
図１７はこの実施形態２を説明するに必要な構成要素を示す図であり、その構成要素を大きく分けると、実施形態１と同様に、ＰＣ１、このＰＣ１に接続されたプロジェクタ２１、プロジェクタ２１で投影された表示画像上の任意の位置を指示する複数のポインティング装置（この実施形態２でもポインティング装置３ａ，３ｂとする）からなる。なお、ポインティング装置３ａはこの実施形態２においてもディジタルカメラ、ポインティング装置３ｂは携帯電話機であるものとして説明する。
【０１５６】
この実施形態２においては、ＰＣ１は表示すべき画像の画像データを記憶する表示画像情報記憶手段１１、現時点において表示すべき画像データを生成するともに、それぞれのポインティング装置３ａ，３ｂに割り当てられたポインタマークＭ１，Ｍ２を表示画像２３上の指示された位置に合成する機能を有する表示画像情報生成手段１２を有している。
【０１５７】
また、ポインティング装置３ａ，３ｂは、視準手段３１と、この視準手段３１で設定される撮影可能範囲の画像を撮影する撮影手段３２と、指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段３３と、１フレーム分の撮影画像から得られた特徴画像を記憶するフレームバッファとしての撮影画像情報記憶手段３４と、ポインティング操作参加手段３６とを有している。なお、このポインティング装置３ａ，３ｂからの情報は、無線ＬＡＮ、赤外線通信、電話回線を利用したネットワークなど何らかの通信手段によってＰＣ１に送信可能となっている。
【０１５８】
この実施形態２では指示位置を相対座標として取得する方式であるので、ポインティング装置３ａ，３ｂを動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよい。このため、ポインティング装置３ａ，３ｂはどこを撮影してもよく、たとえば、図１８に示すようにスクリーン２２に投影された表示画像２３から外れた場所を撮影するようにしてもよい。
【０１５９】
次に、この実施形態２の具体的なポインティング操作について図１９のフローチャートを参照しながら説明する。まず、ポインティング操作に先立ち、使用するポインティング装置の認証処理や認証されたポインティング装置に対してポインタマークの割り当てなどの一連の処理を行うが、この一連の処理は、前述の実施形態１の説明で用いた図２の処理手順に従って行えばよいので、ここでは、その説明は省略する。
【０１６０】
ここで、ポインティング装置３ａ，３ｂはともに認証可とされてＩＤ情報が付与されたものとし、また、それぞれのポインタマークとして、ポインティング装置３ａにはポインタマークＭ１が割り当てられ、ポインティング装置３ｂにはポインタマークＭ２が割り当てられたとする。なお、このポインタマークの割り当てについても、実施形態１の説明で用いた図３、図４、図５のいずれかの方法によって行えるのでその説明は省略する。
【０１６１】
今、スクリーン２２上にはＰＣ１の表示画像情報記憶手段１１に記憶されている表示画像情報のうちのある表示画像情報がプロジェクタ２１に送られて、その表示画像２３がスクリーン２２上に投影されているものとする。
【０１６２】
この状態で、ポインティング装置３ａ，３ｂによるポインティング操作を行う。 まず、ポインティング装置３ａの撮影機能を用いて任意の場所を撮影する（ステップＳ６１）。なお、この撮影は図１８に示すように表示画像の外側でもよく、この図１８では、表示画像２３の外側の破線枠Ａａ０を撮影しており、そのときのポインタマークＭ１は、表示画像２３中のある位置Ｐａ０を指示しているものとする。
【０１６３】
同様に、ポインティング装置３ｂの撮影機能を用いて任意の場所を撮影する。この場合も、図１８に示すように表示画像の外側を撮影してもよい。この図１８では、表示画像２３の外側の破線枠Ａｂ０を撮影しており、そのときのポインタマークＭ２は、表示画像２３中のある位置Ｐｂ０を指示しているものとする。
【０１６４】
次に、ポインティング装置３ａ，３ｂで次のフレーム（図１８の実線枠Ａａ１，Ａｂ１）を撮影し、先に撮影した直前のフレームと比較することで、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトル算出処理を行う（ステップＳ６２）。この指示座標移動ベクトルの算出には、動画符号化の一方式であるＭＰＥＧなどで用いられる動き補償予測の技術を応用することができる。
【０１６５】
そして、この指示座標移動ベクトル算出処理によって得られた指示座標移動ベクトルを取得し（ステップＳ６３）、その指示座標移動ベクトルにＩＤを付加して（ステップＳ６４）、ＰＣ１に送信する（ステップＳ６５）。
【０１６６】
なお、この図１９におけるステップＳ６１，Ｓ６２の処理は、指示座標移動ベクトルを算出するための処理であるが、ポインティング装置が行うポインティング操作としては、これだけではなく、実施形態１で説明したように、その指示座標位置におけるコマンド入力のための操作がある。このコマンド入力操作は、まず、ユーザがコマンド入力を行い（ステップＳ６６）、そのコマンドがコマンド情報として取得される（ステップＳ６７）。そして、このコマンドに対しても、自身に付与されたＩＤを付加（ステップＳ６４）したのちに、ＰＣ１への送信を行う（ステップＳ６５）。
【０１６７】
一方、ＰＣ１では、図２０に示すように、ＩＤ情報の付加された指示座標移動ベクトル情報をポインティング操作受付手段１５で受信すると（ステップＳ７０）、ポインティング装置を特定するためにＩＤを抽出し（ステップＳ７１）、認証済みのポインティング装置であるか否かを判定する認証確認を行う（ステップＳ７２）。この認証確認の結果、認証不可であるとの判定がなされた場合には、それ以降の操作指示は受け付けないようにするが、認証可であるとの判定がなされると、ステップＳ７１で抽出されたＩＤに対応するポインティングタスクが実行される。なお、図８においても説明したように、この場合も、ステップＳ７２（図８ではステップＳ３２）はそれぞれのＩＤに対応するポインティングタスクに処理を移すためのＩＤスイッチとしての役割も兼ねている。このように、ポインティングタスクは、個々のポインティング装置ごとに生成・実行されるもので、個々のポインティング装置に付与されたＩＤによって管理される。
【０１６８】
ポインティングタスクの処理手順は、図２０からもわかるように、まず、受信した情報が指示座標移動ベクトル／コマンドであるかを調べ（ステップＳ７３）、指示座標移動ベクトルである場合には、その指示座標移動ベクトルの取得を行い（ステップＳ７４）、表示画像情報生成手段１２は、その指示座標移動ベクトルによって求められる指示座標上にそのポインティング装置に割り当てられたポインタマークを表示させる表示画像生成処理を行う（ステップＳ７５）。
【０１６９】
また、上述のステップＳ７３において、受信した情報がコマンドである場合には、そのコマンドを取得し（ステップＳ７６）、当該コマンドに対するコマンド処理を行って（ステップＳ７７）、その処理結果を表示画像情報生成手段１２で生成されたポインタマーク指示座標位置に反映させる（ステップＳ７８）。
【０１７０】
なお、この場合も実施形態１の図８で説明したように、指示座標の特定とコマンド入力をほぼ同時に行うことも可能である。
【０１７１】
図２１は図１９におけるステップＳ６１とＳ６２の処理をより詳細に説明するフローチャートであり、ここでは、ポインティング装置３ａを例にとって説明する。
【０１７２】
まず、ポインティング装置３ａの撮影機能を用いて任意の場所（図１８に示すように表示画像の外側でもよい）を撮影し（ステップＳ８１）、得られた撮影画像情報に対し、歪や明るさなどの補正処理、さらには、特徴点抽出のための２値化処理などを前処理として行い（ステップＳ８２）、特徴画像情報を取得する（ステップＳ８３）。
【０１７３】
そして、この特徴画像情報を撮影画像情報記憶手段３４に保持されている１フレーム前の特徴画像情報と比較し、たとえば、動画符号化の一方式であるＭＰＥＧなどで用いられる動き補償予測の技術を応用して指示座標移動ベクトルを算出し（ステップＳ８４）、それを指示座標移動ベクトルとして出力（ステップＳ８５）するとともに、上述のステップＳ８３で得られた特徴画像情報を、新たな１フレーム前の特徴画像情報として撮影画像情報記憶手段３４に書き込むことで特徴画像情報の更新を行う（ステップＳ８６）。そして、ポインティング装置３ａの移動が続いていればステップＳ８１に戻る。
【０１７４】
このようにして、指示座標移動ベクトル算出手段３３によって指示座標移動ベクトルが算出されると、その算出された指示座標移動ベクトルに対応する分だけ離れた位置にポインタマークＭ１を表示させる。
【０１７５】
なお、ポインティング装置３ａで撮影した撮影画像が、最初の撮影画像であって、１フレーム前の特徴画像が得られていない場合には、その最初の撮影画像によって得られた特徴画像が撮影画像情報記憶手段３４に保存され、２番目以降の撮影操作を待ち、２番目の撮影によって特徴画像が得られると、その特徴画像と特徴画像記憶手段に保持されている１フレーム前（最初の撮影画像によって得られた特徴画像）とを比較し、指示座標移動ベクトルを求め、その２番目の撮影によって得られた特徴画像を１フレーム前の特徴画像として撮影画像情報記憶手段３４に書き込むことで記憶内容を更新する。
【０１７６】
このようにして、指示座標移動ベクトルが求められると、図１８に示すように、スクリーン２２に投影された表示画像２３上のポインタマークＭ１を現在の指示位置Ｐａ０を基点に、算出された指示座標移動ベクトルに対応する分だけ離れた位置Ｐａ１に表示させる。
【０１７７】
図２２はスクリーン２２上に投影されている表示画像２３上の指示位置にポインタマークを合成して表示させる処理手順を説明するフローチャートであり、図１０で示した実施形態１における処理に対して、上述の図２１で説明した処理手順によって求められた指示座標移動ベクトルと現時点の指示座標とを用いて、ポインタマークＭを表示すべき指示座標を求める処理が加わっている。
【０１７８】
すなわち、指示位置を相対座標として取得する場合は、現在位置からどの方向へどれだけ移動させるかのベクトル量（指示座標移動ベクトル）が求められるだけであるので、まず、現在のポインタマークの指示座標と、算出された指示座標移動ベクトルを取得し（ステップＳ９１）、取得された現在の座標位置と指示座標移動ベクトルとから、新たに指示された指示座標を求める（ステップＳ９２）。
【０１７９】
たとえば、ポインティング装置３ａのポインティング操作に対応した指示座標が求められたとすると、その指示座標を取得し（ステップＳ９３）、そのポインティング装置３ａに割り当てられたポインタマークＭ１に対応するポインタマーク画像情報を読み出す（ステップＳ９４）。このポインタマーク画像情報の読み出しは、たとえば、図３のポインタマーク割り当て方法によってポインタマークの割り当てがなされているとすれば、この図３に示すＩＤ／ポインタマーク対応テーブルを参照することによって、対応するポインタマーク画像情報の読み出しを行う。なお、このポインタマーク画像情報はたとえば、表示画像情報記憶手段１１に保持されている。
【０１８０】
そして、その読み出されたポインタマーク画像情報が、現時点での表示画像に対応する表示画像情報の所定座標（ステップＳ９３で取得された指示座標）に合成され（ステップＳ９５）、その指示座標にポインタマークの付加された表示画像情報が生成される（ステップＳ９６）。
【０１８１】
これによって、たとえば、図１８で示すように、スクリーン２２に投影された表示画像２３上のポインタマークＭ１を現在の指示位置Ｐａ０を基点に、算出された指示座標移動ベクトルに対応する分だけ離れた位置Ｐａ１に表示させることができる。
【０１８２】
ここでの説明はポインティング装置３ａを例にとって説明したが、ポインティング装置３ｂにおいても同様に実施することができる。
【０１８３】
このように、実施形態２では、ポインティング装置３ａ，３ｂを動かした移動方向・移動量（指示座標移動ベクトル）を取得できればよいので、ポインティング装置３ａ，３ｂ側ではスクリーン２２上に投影された表示画像でなく、他の場所を撮影してもよい。すなわち、ポインティング装置３ａ，３ｂをＰＣなどに接続されたマウスのように使うことができることから、使い勝手のよいものとなる。なお、この実施形態２の場合、ポインティング装置３ａ，３ｂは動画像の取得が可能なものの方がより都合がよいが、静止画のみを入力するカメラであってもよいことは勿論である。
【０１８４】
また、この実施形態２においても、ポインティング装置３ａ，３ｂとしてディジタルカメラや携帯電話機を用いた例で説明したが、これらに限られるものではなく、通信機能を有したディジタルビデオカメラなどでも同様に実施可能であることは勿論である。また、それぞれのポインタマークに対応するポインタマーク画像情報は、ＰＣ１の表示画像情報記憶手段１１に保持されている例で説明したが、実施形態１でも述べたように、このポインタマーク画像情報は他の場所（たとえば、ポインティング装置３ａ，３ｂ側）に保存されていてもよく、その保存場所からポインタマーク画像情報を読み出して、それをＰＣ１に転送するようにすることもできる。
【０１８５】
このように、実施形態２では、ポインティング装置３ａ，３ｂでの撮影対象とする画像はプロジェクタ２１から投影されている表示画像２３でなくてもよいので、撮影場所の制約を少なくすることができる。これによって、たとえば、広いプレゼンテーション会場などで多くの人によってポインティングを行うような場合に使い勝手のよいものとなる。また、ポインティング装置３ａ，３ｂをＰＣ１のマウスの感覚で使うことができるので、ポインティング操作がやり易いことも特徴の１つである。
【０１８６】
また、指示位置を相対座標として取得する場合は、相対座標を求めるための指示座標移動ベクトル算出に必要な情報として、ＰＣ１側に保存されている表示画像情報を必要としないので、指示座標移動ベクトル算出の演算はポインティング装置３ａ，３ｂ側だけで行うことができる。
【０１８７】
このように、指示座標移動ベクトル算出を行う際に、表示画像情報を必要としないということは、表示画像情報をポインティング装置３ａ，３ｂ側にロードするといった処理を行う必要がなく、また、ポインティング装置３ａ，３ｂで算出された指示座標移動ベクトルだけをＰＣ１側に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができる。
【０１８８】
ところで、この実施形態２も実施形態１で説明したと同様に、ポインティング装置３ａ，３ｂによって指示されることによって得られた指示座標位置で、ＰＣ１に対して何らかのコマンドを与え、ＰＣ１ではそのコマンドに対応した処理を行って、その結果をポインタマーク位置で反映させることもできる。
【０１８９】
図２３はこのコマンド入力操作とその結果を反映させる処理を実現するための構成図であり、図１７で示した構成図に対して、ポインティング装置３ａ，３ｂにはそれぞれコマンド入力手段３５が設けられ、ＰＣ１にはコマンド処理手段１４が設けられている点が異なるだけで、それ以外の構成要素は図１７と同様であるので、同一部分には同一符号を付すことによって、それらの説明は省略する。
【０１９０】
このような構成におけるコマンド処理は、前述の実施形態１の図１２や図１３で説明したと同様に実施できるのでここではその説明は省略する。
【０１９１】
なお、この実施形態２では、指示座標移動ベクトル算出処理は、ポインティング装置３ａ，３ｂ側で行うようにしているが、この指示座標移動ベクトル算出処理はＰＣ１側で行うこともできる。この場合、ＰＣ１側に指示座標移動ベクトル算出手段３３と撮影画像情報記憶手段３４を設け、ポインティング装置３からの撮影画像情報を撮影画像情報記憶手段３４で保持し、その撮影画像情報を用いて指示座標移動ベクトル算出手段３３が指示座標移動ベクトルを算出する。その指示座標移動ベクトル算出処理は上述したと同様の手順で行うことができる。
【０１９２】
このように、指示座標移動ベクトル算出は、ポインティング装置３ａ，３ｂではなく、ＰＣ１側で行うこともできる。なお、この場合、ＰＣ１のポインティング操作受付手段１５で生成されるポインティングタスク（図２０参照）には、ステップＳ７４（指示座標移動ベクトル取得）の前段の処理として、ポインティング装置３ａ，３ｂ側からの撮影画像情報をＰＣ１側に設けられた撮影画像情報記憶手段３４に保持する処理と、その撮影画像情報記憶手段３４から処理対象となる撮影画像情報を取得し、その撮影画像情報に基づいて指示座標を特定する処理としての指示座標移動ベクトル算出処理が加わる。
【０１９３】
なお、指示座標移動ベクトル算出をポインティング装置３ａ，３ｂ側で行う利点は、すでに述べたが、ポインティング装置３ａ，３ｂで算出された指示座標移動ベクトル情報だけを情報処理装置側に送信すればよいので、ポインティング装置３とＰＣ１との間で、情報量の多い画像情報の授受の必要がなくなり、両者間の通信負荷を軽くすることができるといった利点の他に、ＰＣ１側から見てポインティング装置３ａ，３ｂを単なるデバイスとしてみなすことができる。すなわち、そのデバイス（ポインティング装置３ａ，３ｂ）からＰＣ１に対して単に相対座標情報（指示座標移動ベクトル情報）が送信されてくるので、ＰＣ１側では特に複雑な処理を行う必要が無く、画像処理のための複雑なハードウエアやソフトウエアを搭載する必要がなくなり、かつ、ＰＣ１側の演算量を削減できる。
【０１９４】
一方、指示座標移動ベクトル算出をＰＣ１側で行う利点は、ポインティング装置３ａ，３ｂでは、撮影画像情報を単にＰＣに送信するだけであり、ポインティング装置３での演算量を少なくすることができる。また、ポインティング装置３ａ，３ｂ側に、指示座標移動ベクトルを算出するに必要なハードウエアやソフトウエアを搭載する必要がない。したがって、ポインティング装置３ａ，３ｂとして、一般的な携帯情報機器を用いることができる。また、ポインティング装置３ａ，３ｂよりもＰＣ１の方が一般的に処理能力が高いので、より高速に指示座標移動ベクトル算出処理が行え、高精度な指示座標移動ベクトルの算出が可能となる。
【０１９５】
また、この実施形態２においても、実施形態１で説明したように、複数のポインティング装置（ここでは、ポインティング装置３ａ，３ｂ）によって、たとえば、図１４に示すように、表示画面上であるアプリケーションのあるプロセスが実行されているとき、複数のユーザの共同作業によるデータ編集などが可能となる。
【０１９６】
また、複数のポインティング装置ごとにそれぞれ異なるアプリケーションを実行している場合やアプリケーション自体は同種であっても異なるプロセスを実行している場合があるが、その場合の対処については、実施形態１の図１５によって説明したと同様の対処を行えばよい。
【０１９７】
また、複数のポインティング装置で１つの表示画像上をポインティング操作する際、異なるポインティング装置の指示位置が重複するような場合についても、実施形態１の図１６（ａ）〜（ｄ）により説明したと同様の処理を行うことができる。
【０１９８】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述の各実施形態における複数のポインティング装置（実施形態１，２においてはポインティング装置３ａ，３ｂ）とＰＣ１との接続は、それぞれ異なった通信手段を用いた例が示されているが、図２４に示すように、共通の通信手段を用いるものであってもよい。この図２４の例では、ポインティング装置３ａ，３ｂは、ともにカメラ付き携帯電話機である場合が示されており、両者ともに、基地局４からインタネット５経由でＰＣ１に接続された例である。なお、この図２４は指示位置を絶対座標として取得する例であるが、相対座標として取得する場合についても同様である。
【０１９９】
また、上述の実施形態１では２つのポインティング装置がともに指示位置を絶対座標として取得する場合、実施形態２では２つのポインティング装置がともに指示位置を相対座標として取得する場合であったが、図２５に示すように、一方のポインティング装置（この図２５ではポインティング装置３ａ）は指示位置を絶対座標として取得し、他方のポインティング装置（この図２５ではポインティング装置３ｂ）は指示位置を相対座標として取得するというようにすることもできる。
【０２００】
また、前述の各実施形態では、複数のポインティング装置として、ポインティング装置３ａ，３ｂの２つを用いた例について説明したが、ポインティング装置は、もっと多数であってもよいことは勿論である。
【０２０１】
また、前述の各実施形態では、プレゼンテーション会場などにおいて、プロジェクタによってスクリーン上に投影された表示画像に対するポインティング操作について説明したが、これ以外にもたとえばガンシューティングなどの各種ゲームにも応用可能である。
【０２０２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態１（指示位置を絶対座標として取得する場合）に係わる情報表示システムの構成図である。
【図２】本発明の実施形態１，２の全体的な処理の流れを説明する図である。
【図３】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第１のポインタマーク割り当て方法）を説明する図である。
【図４】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第２のポインタマーク割り当て方法）を説明する図である。
【図５】本発明の実施形態１，２に係わるポインタマーク割り当て処理（第３のポインタマーク割り当て方法）を説明する図である。
【図６】本発明の実施形態１において複数のポインティング装置を用いてのポインティング操作する例を示す図である。
【図７】本発明の実施形態１におけるポインティング装置側のポインティング操作時の処理手順を説明するフローチャートである。
【図８】本発明の実施形態２における情報処理装置（ＰＣ）側の処理手順を説明するフローチャートである。
【図９】図８における指示座標特定手段が行う指示座標特定処理を説明するフローチャートである。
【図１０】図８における表示画像情報生成手段が行う表示画像情報生成処理を説明するフローチャートである。
【図１１】実施形態１において指定位置を絶対座標として取得し、その際乃至そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【図１２】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された一例を示す図である。
【図１３】コマンド入力を行って、そのコマンドに対する処理の実行結果が指定座標位置に表示された他の例を示す図である。
【図１４】表示画面上である１つのアプリケーションの中のあるプロセスが実行されているとき、複数のユーザがそれぞれのポインティング装置を用いて共同作業を行う例を説明する図である。
【図１５】表示画面上で異なったアプリケーションをそれぞれのユーザがそれぞれのポインティング装置を用いて作業を行う例を説明する図である。
【図１６】複数のポインティング装置で１つの表示画像上をポインティング操作する際、異なるポインティング装置の指示位置が重複するような場合のポインタマーク表示制御を説明する図である。
【図１７】本発明の実施形態２（指示位置を相対座標として取得する場合）に係わる情報表示システムの構成図である。
【図１８】本発明の実施形態２において複数のポインティング装置を用いてのポインティング操作する例を示す図である。
【図１９】本発明の実施形態２におけるポインティング装置側のポインティング操作時の処理手順を説明するフローチャートである。
【図２０】本発明の実施形態２における情報処理装置（ＰＣ）側の処理手順を説明するフローチャートである。
【図２１】図１９におけるステップＳ６１，Ｓ６２をより詳細に説明するフローチャートである。
【図２２】図２０における表示画像情報生成手段が行う表示画像情報生成処理を説明するフローチャートである。
【図２３】実施形態２において指定位置を絶対座標として取得し、その際乃至そのあと、その指定座標上でコマンドを実行可能とするための構成図である。
【図２４】複数のポインティング装置を用いてポインティング操作を行う例において、ポインティング装置と情報処理装置（ＰＣ）との間を共通の通信手段で接続した例を示す図である
【図２５】複数のポインティング装置を用いてポインティング操作を行う例において、指示位置を絶対座標として取得するポインティング装置と相対座標として取得するポインティング装置を混在させた例を示す図である。
【符号の説明】
１ 情報処理装置（ＰＣ）、２ 情報表示装置、３ａ ポインティング装置（通信機能付きのディジタルスチルカメラ）、３ｂ ポインティング装置（カメラ付き携帯電話機）、４ 携帯電話の基地局、５ インタネット、６ 接続ケーブル、１１ 表示画像情報記憶手段、１２ 表示画像情報生成手段、１３ 指示座標特定手段、１４ コマンド処理手段、１５ ポインティング操作受付手段、２１ プロジェクタ、２２ スクリーン、２３ 表示画像、３１ 視準手段、３２撮影手段、３３ 指示座標移動ベクトル算出手段、３４ 撮影画像情報記憶手段、３５ コマンド入力手段、３６ ポインティング操作参加手段、３７ ポインタマーク記憶手段
Claims (14)
- 情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムであって、
前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するに必要な処理をその処理機能の１つとして行うポインティング操作参加手段を有し、
前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理機能の１つとして行うポインティング操作受付手段を有する、
ことを特徴とする情報表示システム。 - 前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、当該ポインティング装置固有の識別情報を発行することを特徴とする請求項１記載の情報表示システム。
- 前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置に対し、個々のポインティング装置ごとに異なるポインタマークを割り当てるポインタマーク割り当て処理を行うことを特徴とする請求項１または２記載の情報表示システム。
- 前記情報処理装置のポインティング操作受付手段は、前記認証可とされたポインティング装置ごとにそのポインティング装置が行うポインティング操作実行用のポインティングタスクを生成することを特徴とする請求項１から３のいずれかに記載の情報表示システム。
- 前記複数のポインティング装置の指示位置が重複する場合、予め設定された規則に基づく優先度を設定し、その複数のポインティング装置から発せられるそれぞれのポインタマークのうちの優先度の最も高いポインタマークのみを当該座標位置で表示させることを特徴とする請求項１から４のいずれかに記載の情報表示システム。
- 前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果から前記ポインティング装置それぞれが指示しようとする位置の座標を指示座標として特定する指示座標特定手段と、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上の前記指示座標特定手段で特定された指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする請求項１から５のいずれかに記載の情報表示システム。 - 前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置が指示する指示座標を特定する指示座標特定処理と、前記表示画像上の当該特定された指示座標上にポインタマークを合成して表示させる表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることを特徴とする請求項６記載の情報表示システム。
- 前記ポインティング装置は、前記ポインティング操作参加手段に加えて、前記表示画像上で指示しようとする位置を含む所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段からの撮影画像情報を受け取り、その撮影画像情報が撮影時点での表示画像に対応する表示画像情報のどの部分に対応するかを判定し、その判定結果からこのポインティング装置が指示しようとする位置の座標を指示座標として特定する指示座標特定手段とを有し、
前記情報処理装置は、前記ポインティング操作受付手段に加えて、表示すべき画像に対する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、前記認証可とされたポインティング装置の指示座標特定手段で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする請求項１から５のいずれかに記載の情報表示システム。 - 前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で特定された前記表示画像上の指示座標にポインタマークを合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることを特徴とする請求項８記載の情報表示システム。
- 前記ポインティング装置は、前記ポインティング操作参加手段に加えて、当該ポインティング装置で撮影しようとする任意の範囲を撮影してその範囲に対応する撮影画像情報を出力可能な撮影手段と、この撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像情報と前記現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段とを有し、
前記情報処理装置は、前記ポインティング操作受付手段に加えて、前記表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、そのポインティング装置で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする請求項１から５のいずれかに記載の情報表示システム。 - 前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記ポインティング装置で算出された指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることを特徴とする請求項１０記載の情報表示システム。
- 前記ポインティング装置は、前記ポインティング操作参加手段に加えて、ある所定範囲を撮影してその所定範囲に対応する撮影画像情報を出力可能な撮影手段を有し、
前記情報処理装置は、前記ポインティング操作受付手段に加えて、このポインティング操作受付手段で認証可とされたポインティング装置の撮影手段による撮影位置と撮影角度の少なくとも一方を変化させあるいは変化させること無く複数回撮影することによって得られる現時点でのフレームよりも時間的に前のフレームの撮影画像情報を記憶する撮影画像情報記憶手段と、この撮影画像情報記憶手段に記憶された撮影画像と前記ポインティング装置の撮影手段から得られた現時点でのフレームの撮影画像情報とを比較して、その比較結果から指示座標移動ベクトルを算出する指示座標移動ベクトル算出手段と、表示すべき画像に対応する画像情報を記憶する表示画像情報記憶手段と、この表示画像情報記憶手段に記憶された画像情報を表示画像情報として生成するとともに、その表示画像上において現時点で表示されているあるポインティング装置のポインタマークを、前記指示座標移動ベクトル算出手段で算出された前記指示座標移動ベクトルに対応する分だけ離れた位置で当該表示画像に合成して表示する表示画像情報生成手段とを有する、
ことを特徴とする請求項１から５のいずれかに記載の情報表示システム。 - 前記情報処理装置のポインティング操作受付手段が前記ポインティングタスクを生成する場合、そのポインティングタスクには、前記指示座標移動ベクトルを算出する指示座標移動ベクトル算出処理と、この指示座標移動ベクトル算出処理で算出された前記指示座標移動ベクトルに基づいて得られる座標上で前記ポインタマークを前記表示画像に合成して表示する表示画像生成処理と、前記ポインティング装置により指示された座標上で入力されたコマンドを実行するコマンド処理とが含まれることを特徴とする請求項１２記載の情報表示システム。
- 情報処理装置と、この情報処理装置に保持された情報を表示画面上に表示可能な情報表示装置と、この情報表示装置によって表示された表示画像上の任意の位置を指示する複数のポインティング装置とを有する情報表示システムにおけるポインティング装置制御方法であって、
前記複数のポインティング装置は、個々のポインティング装置において、自身を前記情報処理装置に登録するための処理を行うステップをその処理手順に含み、
前記情報処理装置は、前記ポインティング装置のポインティング操作参加手段からの情報に基づいて当該ポインティング装置の認証可否を判定して認証可と判定した場合に当該ポインティング装置を登録する処理をその処理手順に含む、
ことを特徴とする情報表示システムにおけるポインティング装置制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003146594A JP2004348577A (ja) | 2003-05-23 | 2003-05-23 | 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003146594A JP2004348577A (ja) | 2003-05-23 | 2003-05-23 | 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004348577A true JP2004348577A (ja) | 2004-12-09 |
Family
ID=33533404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003146594A Withdrawn JP2004348577A (ja) | 2003-05-23 | 2003-05-23 | 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004348577A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090795A (ja) * | 2006-10-05 | 2008-04-17 | Denso Corp | 車載マルチカーソルシステム |
| JP2009048616A (ja) * | 2007-08-14 | 2009-03-05 | Fuji Xerox Co Ltd | ビデオカメラをポインティング装置として使用するときの画面上のカーソルの動的制御方法、システム、およびプログラム |
| JP2015057746A (ja) * | 2014-12-25 | 2015-03-26 | シャープ株式会社 | 画像表示システムの制御方法及び制御装置 |
| JP2015129999A (ja) * | 2014-01-06 | 2015-07-16 | 日本電信電話株式会社 | 属性制御装置および属性制御方法 |
| JP2015228144A (ja) * | 2014-06-02 | 2015-12-17 | 株式会社ミツトヨ | 情報入出力装置、情報入出力方法及び位置計測装置 |
| JP2016103109A (ja) * | 2014-11-27 | 2016-06-02 | 富士通株式会社 | 表示装置、表示方法及び表示プログラム |
| JP2017021629A (ja) * | 2015-07-13 | 2017-01-26 | 凸版印刷株式会社 | ポインタ制御装置、ポインタ制御方法、プログラム、及びポインタ制御システム |
| US10712841B2 (en) | 2017-03-22 | 2020-07-14 | Casio Computer Co., Ltd. | Display control device, display control system, display control method, and storage medium having stored thereon display control program |
-
2003
- 2003-05-23 JP JP2003146594A patent/JP2004348577A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090795A (ja) * | 2006-10-05 | 2008-04-17 | Denso Corp | 車載マルチカーソルシステム |
| JP2009048616A (ja) * | 2007-08-14 | 2009-03-05 | Fuji Xerox Co Ltd | ビデオカメラをポインティング装置として使用するときの画面上のカーソルの動的制御方法、システム、およびプログラム |
| JP2015129999A (ja) * | 2014-01-06 | 2015-07-16 | 日本電信電話株式会社 | 属性制御装置および属性制御方法 |
| JP2015228144A (ja) * | 2014-06-02 | 2015-12-17 | 株式会社ミツトヨ | 情報入出力装置、情報入出力方法及び位置計測装置 |
| JP2016103109A (ja) * | 2014-11-27 | 2016-06-02 | 富士通株式会社 | 表示装置、表示方法及び表示プログラム |
| JP2015057746A (ja) * | 2014-12-25 | 2015-03-26 | シャープ株式会社 | 画像表示システムの制御方法及び制御装置 |
| JP2017021629A (ja) * | 2015-07-13 | 2017-01-26 | 凸版印刷株式会社 | ポインタ制御装置、ポインタ制御方法、プログラム、及びポインタ制御システム |
| US10712841B2 (en) | 2017-03-22 | 2020-07-14 | Casio Computer Co., Ltd. | Display control device, display control system, display control method, and storage medium having stored thereon display control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100841281B1 (ko) | 전자 회의 시스템, 전자 회의 제어 장치, 정보 단말 기기,전자 회의 지원 방법 | |
| US6243103B1 (en) | Panoramic image generation in digital photography | |
| US8760399B2 (en) | Display system, display device and display method | |
| US20170180680A1 (en) | Object following view presentation method and system | |
| US20060098174A1 (en) | Image output apparatus and control method thereof, and image output system | |
| JP4710734B2 (ja) | ポインティング装置、ポインティング位置検出方法及びプログラム | |
| JP2007208741A (ja) | 遠隔指示システム及び遠隔指示方法 | |
| JP4736381B2 (ja) | 撮像装置及び方法、監視システム、プログラム並びに記録媒体 | |
| JP2004348577A (ja) | 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法 | |
| CN102025912B (zh) | 图像拍摄系统、设备和方法以及信息处理设备 | |
| JP6635573B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| JP6237028B2 (ja) | 投影装置、投影方法及び情報処理システム | |
| JP2023121636A (ja) | 情報処理システム、通信システム、画像共有方法、プログラム | |
| JP7439398B2 (ja) | 情報処理装置、プログラム及び情報処理システム | |
| JP4839858B2 (ja) | 遠隔指示システム及び遠隔指示方法 | |
| CN114866749B (zh) | 设定方法和记录介质 | |
| JP2004021542A (ja) | 画像処理装置、撮影端末、及び画像処理システム | |
| JP7390978B2 (ja) | アノテーション支援装置および方法 | |
| JP4507665B2 (ja) | 電話機位置情報の登録方法 | |
| JP2004194203A (ja) | 撮影システム、情報処理装置及びその処理方法、並びにプログラム | |
| JP2017198945A (ja) | 投影装置、投影装置の制御方法、プログラム | |
| JP2017085234A (ja) | 携帯端末、プロジェクター、投写システム、投写システムの制御方法およびプログラム | |
| JP5533201B2 (ja) | 撮像画像表示装置、撮像画像表示システム、制御方法、撮像画像表示方法およびプログラム。 | |
| JP2023168896A (ja) | 表示端末、通信システム、表示方法、通信方法、及びプログラム | |
| CN117750189A (zh) | 一种图像获取方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060801 |