JP2016103078A - 座標検出システム、情報処理装置、方法およびプログラム - Google Patents

Abstract

【課題】発光型指示装置および非発光型指示物体をそれぞれ検出し、これらの位置を算出することができる座標検出システム、情報処理装置、方法およびプログラムを提供すること。【解決手段】本発明の座標検出システムは、複数の領域に分割される表示装置と、表示装置の周辺部に設置される複数の検出装置と、表示装置上における発光型指示装置および非発光型指示物体の位置座標を算出する情報処理装置とを備える。情報処理装置は、発光型指示装置が表示装置の或る領域に存在する場合に、当該或る領域に光を照射する発光装置を点灯させず、表示装置の他の領域に光を照射する発光装置を点灯させる。情報処理装置は、発光型指示装置が放射した光または発光装置の光を受光して生成された撮影画像を用いて、発光型指示装置および非発光型指示物体の位置座標を算出する。【選択図】図１

Description

本発明は、ユーザが発光型指示装置および非発光型指示物体を用いて指示した位置を検出する座標検出システムに関し、より詳細には、発光型指示装置および非発光型指示物体をそれぞれ検出して、これらの位置を算出する座標検出システム、情報処理装置、方法およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、ＰＣ等の情報処理装置が提供する画像を表示すると共に、ユーザが指示した表示画面上の位置を算出可能な座標検出システムが利用されている。

このような座標検出システムの一例として、特許文献１は、ユーザが指示部材を用いて指示した位置に描画画像を表示装置に表示する光学式座標入力装置を開示する。この光学式座標入力装置では、光学式座標入力装置の周辺部に設置された入射光検出部が、発光型指示部材が発する光や反射型指示部材の反射光を検知し、これらの光の入射角に基づいて指示部材の位置座標を算出する。

しかしながら、特許文献１が開示する光学式座標入力装置では、ユーザが発光型指示部材または反射型指示部材の一方を選択的に使用して描画を指示できるものの、ユーザが発光型指示装置および非発光型指示物体を同時に使用する場合、発光型指示装置および非発光型指示物体をそれぞれ検出できず、これらの位置を算出することができないという問題があった。

本発明は上述した課題を解決するものであり、発光型指示装置および非発光型指示物体をそれぞれ検出し、これらの位置を算出することができる座標検出システム、情報処理装置、方法およびプログラムを提供することを目的とする。

本発明の座標検出システムは、複数の領域に分割される表示装置と、表示装置の周辺部に設置される複数の検出装置と、表示装置上における発光型指示装置および非発光型指示物体の位置座標を算出する情報処理装置とを備える。情報処理装置は、発光型指示装置が表示装置の或る領域に存在する場合に、当該或る領域に光を照射する発光装置を点灯させず、表示装置の他の領域に光を照射する発光装置を点灯させる。情報処理装置は、発光型指示装置が放射した光または発光装置の光を受光して生成された撮影画像を用いて、発光型指示装置および非発光型指示物体の位置座標を算出する。

本発明の座標検出システムは、発光型指示装置および非発光型指示物体をそれぞれ検出し、これらの位置を算出することができる。

本発明の座標検出システムを示す図。 情報処理装置１１０のハードウェア構成を示す図。 情報処理装置１１０の機能構成を示す図。 情報処理装置１１０の動作モードの変化の様子を示す状態遷移図。 情報処理装置１１０が実行する処理の一実施形態を示すフローチャート。 情報処理装置１１０が実行する処理の別の実施形態を示すフローチャート。 情報処理装置１１０が実行する処理の他の実施形態を示すフローチャート。 情報処理装置１１０が実行する処理の他の実施形態を示すフローチャート。 検出装置１１２ａ〜１１２ｄの検出範囲を示す図。

図１は、本発明の座標検出システム１００を示す。座標検出システム１００は、発光型指示装置１３０および非発光型指示物体１４０を検出して、これらの位置を算出するシステムであり、情報処理装置１１０と、画像提供装置１２０と、発光型指示装置１３０と、非発光型指示物体１４０とを含む。

情報処理装置１１０は、画像提供装置１２０が提供する画像を表示させると共に、発光型指示装置１３０または非発光型指示物体１４０の位置を算出し、ユーザが描画を指示した画像の表示や表示装置１１１に表示される画像オブジェクトの選択等を可能にする装置である。情報処理装置１１０は、表示装置１１１と、検出装置１１２ａ〜１１２ｄと、反射材１１３とを備える。

表示装置１１１は、種々の画像を表示する手段である。表示装置１１１には、例えば、ユーザが発光型指示装置１３０または非発光型指示物体１４０を用いて描画を指示した画像や画像提供装置１２０が提供する画像、種々の画像オブジェクトを含むＧＵＩ等が表示される。図１に示す実施形態では、表示装置１１１は、情報処理装置１１０と一体的に構成されるが、他の実施形態では、表示装置１１１を情報処理装置１１０とは別個の装置として構成してもよい。

検出装置１１２ａ〜１１２ｄは、情報処理装置１１０の制御下で表示装置１１１に光を照射すると共に、表示装置１１１の表面を撮影して撮影画像を生成する装置である。検出装置１１２ａ〜１１２ｄは、赤外線等の光を放射するＬＥＤ等の発光装置と、イメージセンサ等の個体撮影素子を備える撮影装置とを備える。検出装置１１２ａ〜１１２ｄは、表示装置１１１の周辺部に設置され、一定時間毎（例えば、５０〜２００回／秒）にイメージセンサを一定時間露光させて、定期的に撮影画像を生成する。

図９に示すように、検出装置１１２ａ，１１２ｂは、表示装置１１１の垂直方向の中心線から左側の領域を含む範囲を照射および撮影可能である。一方、検出装置１１２ｃ，１１２ｄは、表示装置１１１の右側領域を含む範囲を照射および撮影可能である。このため、例えば、ユーザが発光型指示装置１３０を左側領域から中心線を超えて右側領域に急速に移動させた場合でも、検出装置１１２ａ，１１２ｂは、中心線を超えた直後の発光型指示装置１３０を撮影して検知することができる。

本実施形態では、４つの検出装置１１２ａ〜１１２ｄが表示装置１１１の上部に設置されるが、他の実施形態では、検出装置１１２ａ〜１１２ｄを表示装置１１１の下部に設置してもよい。また、本実施形態では、表示装置１１１の表面を左側領域と右側領域に２分割し、４つの撮影装置で表示装置１１１の表面を撮影するが、他の実施形態では、表示装置１１１の表面を任意の数の領域に分割し、領域の数に対応する数の撮影装置で各領域を撮影するようにしてもよい。１つの領域について１組の撮影装置、すなわち、２つの撮影装置を用意することが好適である。

なお、本実施形態では、発光装置および撮影装置が検出装置１１２ａ〜１１２ｄと一体的に構成されるが、他の実施形態では、発光装置および撮影装置を別個の独立した装置として構成してもよい。

反射材１１３は、入射光を再帰的に反射可能な部材である。反射材１１３は、発光装置が照射した光を再帰的に反射する。このため、検出装置１１２ａ〜１１２ｄは、それぞれ発光装置が照射した光を受光することができる。例えば、検出装置１１２ａの発光装置が光を照射した場合、その光は反射材１１３によって再帰的に反射して検出装置１１２ａに戻る。

図１に示す実施形態では、発光装置が表示装置１１１の上部に設置されるため、当該部以外の周辺部（すなわち、下部および側部）に反射材１１３が設置される。発光装置が表示装置１１１の下部に設置される実施形態では、当該部以外の周辺部（すなわち、上部および側部）に反射材１１３が設置される。

発光型指示装置１３０は、表示装置１１１上の位置を指示する装置であり、発光型指示装置１３０は、発光部と、接触検知部と、通信部とを備えている。発光部は、発光型指示装置１３０の先端部に位置し、任意の波長の光を照射する手段である。

接触検知部は、発光型指示装置１３０の先端部と他の物体との接触および非接触を検知する手段である。接触検知部は、発光型指示装置１３０の先端部が物体に接触すると、接触した旨を示す信号（以下、「タッチ信号」とする。）を生成し、通信部に送信する。一方、接触検知部は、発光型指示装置１３０の先端部が接触していた物体から離れると、接触が終了した旨を示す信号（以下、「デタッチ信号」とする。）を生成し、通信部に送信する。

通信部は、情報処理装置１１０とデータ通信を行う手段である。通信部は、接触検知部からタッチ信号およびデタッチ信号を受信すると、これらの信号を無線通信によって情報処理装置１１０に送信する。

非発光型指示物体１４０は、表示装置１１１上の位置を指示する非発光型の物体である。非発光型指示物体１４０として、図１に示すような器具や人間の手等の任意の物体を採用することができる。

画像提供装置１２０は、表示装置１１１に表示すべき画像を提供する情報処理装置である。画像提供装置１２０は、画像提供装置１２０の表示部に表示される画像を情報処理装置１１０に提供する。図１に示す実施形態では、画像提供装置１２０は、有線によって画像を提供するが、他の実施形態では、無線通信に画像を情報処理装置１１０に提供してもよい。

図２は、情報処理装置１１０のハードウェア構成を示す図である。以下、図２を参照して、情報処理装置１１０のハードウェア機能について説明する。

情報処理装置１１０は、ＣＰＵ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ソリッドステートドライブ（ＳＳＤ）２０３と、画像受信部２０４と、通信部２０５と、検出装置コントローラ２０６と、ＧＰＵ２０７と、ディスプレイコントローラ２０８とを備える。

ＣＰＵ２００は、本発明のプログラムを実行するプロセッサである。ＲＯＭ２０１は、ブートプログラム等のデータが保存される不揮発性メモリである。ＲＡＭ２０２は、プログラムの実行空間を提供する不揮発性メモリである。ＳＳＤ２０３は、本発明のプログラム等のデータが保存される不揮発性メモリである。ＣＰＵ２００は、種々のＯＳの下で本発明のプログラムをＳＳＤ２０３から取得し、ＲＡＭ２０２に展開して実行することにより、後述する機能を情報処理装置１１０上で実現する。

画像受信部２０４は、画像提供装置１２０が送信した画像を受信する装置である。通信部２０５は、発光型指示装置１３０とデータ通信を行う装置である。通信部２０５は、発光型指示装置１３０からタッチ信号やデタッチ信号を受信すると、その旨をＣＰＵ２００に通知する。

検出装置コントローラ２０６は、検出装置１１２ａ〜１１２ｄを制御する手段である。本実施形態では、検出装置コントローラ２０６は、ＣＰＵ２００の制御下で検出装置１１２ａ〜１１２ｄの発光装置の点灯および消灯を制御する。

ＧＰＵ２０７は、ＣＰＵ２００の制御下でディスプレイコントローラ２０８を制御するプロセッサである。ディスプレイコントローラ２０８は、表示装置１１１を制御する手段である。ディスプレイコントローラ２０８は、ユーザが描画を指示した画像や画像提供装置１２０が提供する画像、種々の画像オブジェクトを含むＧＵＩ等を表示装置１１１に表示させる。

図３は、情報処理装置１１０の機能構成を示す図である。以下、図３を参照して、情報処理装置１１０の機能について説明する。

情報処理装置１１０は、制御部３００と、撮影画像取得部３０１と、信号受信部３０２と、位置座標算出部３０３と、発光制御部３０４と、描画部３０５とを有する。本実施形態では、これらの手段はＲＡＭ２０２に展開されるプログラムとして実装されるが、他の実施形態では、これらの手段をＡＳＩＣ等の半導体集積回路によって実現してもよい。

制御部３００は、情報処理装置１１０の全体制御を行う手段である。制御部３００は、撮影画像取得部３０１、位置座標算出部３０３、発光制御部３０４、描画部３０５、検出装置１１２ａ〜１１２ｄおよび表示装置１１１を制御して、後述する機能を実現する。

撮影画像取得部３０１は、検出装置１１２ａ〜１１２ｄが生成した撮影画像を取得する手段である。信号受信部３０２は、発光型指示装置１３０が送信したタッチ信号およびデタッチ信号を受信する手段である。信号受信部３０２は、タッチ信号およびデタッチ信号を受信すると、その旨を制御部３００に通知する。

位置座標算出部３０３は、検出装置１１２ａ〜１１２ｄが生成した撮影画像を用いて発光型指示装置１３０および非発光型指示物体１４０の位置座標を算出する手段である。非発光型指示物体１４０の位置座標を算出する場合、位置座標算出部３０３は、検出装置１１２ａ〜１１２ｄの発光装置が照射した光の反射光が写し出されている撮影画像を用いて、非発光型指示物体１４０の非発光型指示物体１４０の位置座標を算出する。

より詳細には、例えば、非発光型指示物体１４０によって検出装置１１２ａの発光装置が照射した光の反射光が遮られた場合、検出装置１１２ａの撮影画像には、非発光型指示物体１４０によって遮られた反射光が写らず、その他の反射光が写ることになる。同様に、検出装置１１２ｂの撮影画像には、非発光型指示物体１４０によって遮られた反射光が写らず、その他の反射光が写ることになる。

位置座標算出部３０３は、検出装置１１２ａの撮影画像に含まれる暗部（すなわち、非発光型指示物体１４０によって生じる暗部）の位置から、検出装置１１２ａと検出装置１１２ｂとが成す直線と、検出装置１１２ａと非発光型指示物体１４０とを結ぶ直線との角度を算出することができる。同様に、検出装置１１２ｂの撮影画像に含まれる暗部の位置から、検出装置１１２ａと検出装置１１２ｂとが成す直線と、検出装置１１２ｂと非発光型指示物体１４０とを結ぶ直線との角度を算出することができる。

ここで、検出装置１１２ａと検出装置１１２ｂとの位置座標は既知であるため、位置座標算出部３０３は、三角測量の原理に基づき、これらの角度と検出装置１１２ａおよび検出装置１１２ｂの位置座標から、表示装置１１１上の非発光型指示物体１４０の位置座標を算出することができる。

一方、発光型指示装置１３０の位置座標を算出する場合、位置座標算出部３０３は、発光型指示装置１３０が照射した光が写し出されている撮影画像を用いて、非発光型指示物体１４０の非発光型指示物体１４０の位置座標を算出する。

より詳細には、発光型指示装置１３０が表示装置１１１に接触する場合、検出装置１１２ａ〜１１２ｄの撮影画像には、発光型指示装置１３０が照射した光が写し出される。位置座標算出部３０３は、例えば、検出装置１１２ａの撮影画像に含まれる明部（すなわち、発光型指示装置１３０の発光部によって生じる明部）の位置から、検出装置１１２ａと検出装置１１２ｂとが成す直線と、検出装置１１２ａと発光型指示装置１３０とを結ぶ直線との角度を算出することができる。同様に、検出装置１１２ｂの撮影画像に含まれる明部の位置から、検出装置１１２ａと検出装置１１２ｂとが成す直線と、検出装置１１２ｂと発光型指示装置１３０とを結ぶ直線との角度を算出することができる。

ここで、検出装置１１２ａと検出装置１１２ｂとの位置座標は既知であるため、位置座標算出部３０３は、三角測量の原理に基づき、これらの角度と検出装置１１２ａおよび検出装置１１２ｂの位置座標から、表示装置１１１上の発光型指示装置１３０の位置座標を算出することができる。

発光制御部３０４は、検出装置１１２ａ〜１１２ｄの発光装置を制御する手段である。発光制御部３０４は、制御部３００の制御下で検出装置コントローラ２０６に対し、検出装置１１２ａ〜１１２ｄの発光装置の点灯または消灯させる。

描画部３０５は、発光型指示装置１３０や非発光型指示物体１４０の位置座標に基づいて、描画画像を生成する手段である。描画部３０５は、これらの位置座標が示す２点を結ぶ画素の値を所定の値に変更して描画画像を生成する。

図４は、情報処理装置１１０の動作モードの変化の様子を示す状態遷移図である。以下、図４を参照して、発光型指示装置１３０の接触や非接触、位置によって変化する情報処理装置１１０の動作モードの遷移について説明する。

表示装置１１１の領域を２分割する実施形態では、非発光型指示物体１４０を検知するシングル検知モード、表示装置１１１の左側領域に位置する非発光型指示物体１４０と、右側領域に位置する発光型指示装置１３０とを同時に検知可能なデュアル検知モード（以下、「第１のデュアル検知モード」とする。）、表示装置１１１の左側領域の発光型指示装置１３０と右側領域の非発光型指示物体１４０とを同時に検知可能なデュアル検知モード（以下、「第２のデュアル検知モード」とする。）の３つの動作モードを採用する。

非発光型指示物体１４０を検知するシングル検知モードでは、全ての検出装置１１２ａ〜１１２ｄの発光装置が点灯される。表示装置１１１に発光型指示装置１３０が接触すると、発光型指示装置１３０は、タッチ信号を情報処理装置１１０に送信する。

情報処理装置１１０は、発光型指示装置１３０からタッチ信号を受信すると、全ての検出装置１１２ａ〜１１２ｄの発光装置を一旦消灯させる。そして、情報処理装置１１０は、検出装置１１２ａ〜１１２ｄの撮影画像から発光型指示装置１３０の位置座標を算出して発光型指示装置１３０の位置を特定する。発光型指示装置１３０が表示装置１１１の右側領域に位置すれば、情報処理装置１１０は、第１のデュアル検知モードに移行し、発光型指示装置１３０が表示装置１１１の左側領域に位置すれば、第２のデュアル検知モードに移行する。

第１のデュアル検知モードでは、情報処理装置１１０は、表示装置１１１の左側領域に光を照射する発光装置を点灯させ、左側領域における非発光型指示物体１４０を検知可能な状態にする。一方、情報処理装置１１０は、表示装置１１１の右側領域に光を照射する発光装置を消灯させたままにし、右側領域における発光型指示装置１３０を検知可能な状態にする。すなわち、情報処理装置１１０は、右側領域における発光型指示装置１３０と、左側領域における非発光型指示物体１４０とを同時に検知可能な状態になる。

第２のデュアル検知モードでは、情報処理装置１１０は、表示装置１１１の右側領域に光を照射する発光装置を点灯させ、右側領域における非発光型指示物体１４０を検知可能な状態にする。一方、情報処理装置１１０は、表示装置１１１の左側領域に光を照射する発光装置を消灯させたままにし、左側領域における発光型指示装置１３０を検知可能な状態にする。すなわち、情報処理装置１１０は、左側領域における発光型指示装置１３０と、右側領域における非発光型指示物体１４０とを同時に検知可能な状態になる。

動作モードが第１のデュアル検知モードの場合に、発光型指示装置１３０が右側領域から左側領域に移動すると、情報処理装置１１０は、第２のデュアル検知モードに移行し、表示装置１１１の右側領域に光を照射する発光装置を点灯させると共に、左側領域に光を照射する発光装置を消灯させる。これにより、情報処理装置１１０は、左側領域における発光型指示装置１３０と、右側領域における非発光型指示物体１４０とを同時に検知可能な状態になる。

動作モードが第２のデュアル検知モードの場合に、発光型指示装置１３０が左側領域から右側領域に移動すると、情報処理装置１１０は、第１のデュアル検知モードに移行し、表示装置１１１の左側領域に光を照射する発光装置を点灯させると共に、右側領域に光を照射する発光装置を消灯させる。これにより、情報処理装置１１０は、右側領域における発光型指示装置１３０と、左側領域における非発光型指示物体１４０とを同時に検知可能な状態になる。

動作モードが第１のデュアル検知モードまたは第２のデュアル検知モードの場合に発光型指示装置１３０からデタッチ信号を受信すると、情報処理装置１１０は、全ての検出装置１１２ａ〜１１２ｄの発光装置を点灯させ、シングル検知モードに移行する。

表示装置１１１の領域を３以上の領域に分割する実施形態では、当該領域の数に対応する検知モードを採用することができる。例えば、表示装置１１１の領域を３つに分割する実施形態では、シングル検知モードと、３つのデュアル検知モードとを採用する。

図５は、本発明の情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、発光型指示装置１３０からタッチ信号またはデタッチ信号を受信したときに情報処理装置１１０が実行する処理について説明する。

図５に示すステップＳ５００〜ステップＳ５０３の処理は、発光型指示装置１３０からタッチ信号を受信したときに情報処理装置１１０が実行する処理である。当該処理はステップＳ５００から開始し、ステップＳ５０１で制御部３００が、発光制御部３０４に対し、全ての検出装置１１２ａ〜１１２ｄの発光装置を消灯させる。ステップＳ５０２では、発光型指示装置１３０が接触した旨を示すタッチフラグをＯＮに設定し、ステップＳ５０３で処理が終了する。

図５に示すステップＳ５０４〜ステップＳ５０７の処理は、発光型指示装置１３０からデタッチ信号を受信したときに情報処理装置１１０が実行する処理である。当該処理はステップＳ５０４から開始し、ステップＳ５０５で制御部３００が、発光制御部３０４に対し、全ての検出装置１１２ａ〜１１２ｄの発光装置を点灯させる。ステップＳ５０６では、発光型指示装置１３０の接触が終了した旨を示すデタッチフラグをＯＮに設定し、ステップＳ５０７で処理が終了する。

図６は、本発明の情報処理装置が実行する処理の別の実施形態を示すフローチャートである。以下、図６を参照して、非発光型指示物体を検知するシングル検知モードの情報処理装置１１０が実行する処理について説明する。

図６に示す処理は、情報処理装置１１０の動作モードがシングル検知モードである場合に定期的に実行される。図６に示す処理は、ステップＳ６００から開始し、ステップＳ６０１で撮影画像取得部３０１が、検出装置１１２ａ〜１１２ｄから撮影画像を取得する。ステップＳ６０２では、制御部３００が、情報処理装置１１０の記憶装置に保持されているタッチフラグを参照し、タッチフラグがＯＮであるか否か判断する。

タッチフラグがＯＦＦである場合（ｎｏ）、すなわち、発光型指示装置１３０が情報処理装置１１０に接触していない場合、ステップＳ６０３に処理が分岐する。ステップＳ６０３では、位置座標算出部３０３が、ステップＳ６０１で取得した撮影画像から非発光型指示物体の位置座標を算出し、ステップＳ６１１で処理が終了する。

一方、タッチフラグがＯＮである場合（ｙｅｓ）、すなわち、発光型指示装置１３０が情報処理装置１１０に接触した場合、ステップＳ６０４に処理が分岐する。ステップＳ６０４では、制御部３００は、タッチフラグをＯＦＦに設定する。ステップＳ６０５では、位置座標算出部３０３は、ステップＳ６０１で取得した撮影画像から発光型指示装置の位置座標を算出する。ステップＳ６０６では、制御部３００は、発光型指示装置の位置座標が示す発光型指示装置１３０の位置を判断する。

発光型指示装置１３０の位置が表示装置１１１の右側領域に属する場合、ステップＳ６０７に処理が分岐する。ステップＳ６０７では、情報処理装置１１０は、第１のデュアル検知モードに移行する。ステップＳ６０８では、制御部３００は、発光制御部３０４に対し、左側領域を照射する撮影装置の発光装置を点灯させ、ステップＳ６１１で処理が終了する。

一方、発光型指示装置１３０の位置が表示装置１１１の左側領域に属する場合、ステップＳ６０９に処理が分岐する。ステップＳ６０９では、情報処理装置１１０は、第２のデュアル検知モードに移行する。ステップＳ６１０では、制御部３００は、発光制御部３０４に対し、右側領域を照射する撮影装置の発光装置を点灯させ、ステップＳ６１１で処理が終了する。

図７は、本発明の情報処理装置が実行する処理の他の実施形態を示すフローチャートである。図７に示す処理は、情報処理装置１１０の動作モードが第１のデュアル検知モードである場合に定期的に実行される。図７に示す処理は、検出装置１１２ａ〜１１２ｄから撮影画像を生成する頻度（例えば、５０〜２００回／秒）に応じた頻度で実行することが好適である。以下、図７を参照して、第１のデュアル検知モードの情報処理装置１１０が実行する処理について説明する。

図７に示す処理は、ステップＳ７００から開始し、ステップＳ７０１で撮影画像取得部３０１が、検出装置１１２ａ〜１１２ｄから撮影画像を取得する。ステップＳ７０２では、制御部３００が、情報処理装置１１０の記憶装置に保持されているデタッチフラグを参照し、デタッチフラグがＯＮであるか否か判断する。

デタッチフラグがＯＮである場合（ｙｅｓ）、すなわち、発光型指示装置１３０の接触が終了した場合、ステップＳ７０３に処理が分岐する。ステップＳ７０３では、制御部３００は、デタッチフラグをＯＦＦに設定する。ステップＳ７０４では、情報処理装置１１０は、シングル検知モードに移行し、ステップＳ７１０で処理が終了する。

デタッチフラグがＯＦＦである場合（ｎｏ）、すなわち、発光型指示装置１３０の接触が継続している場合、ステップＳ７０５に処理が分岐する。ステップＳ７０５では、位置座標算出部３０３が、ステップＳ７０１で取得した検出装置１１２ｃ，１１２ｄの撮影画像、すなわち、表示装置１１１の右側領域が含まれる撮影画像から発光型指示装置の位置座標を算出する。ステップＳ７０６では、制御部３００は、発光型指示装置の位置座標が示す発光型指示装置１３０の位置を判断する。

本実施形態では、発光型指示装置１３０が中心線を超えて移動した場合に、発光型指示装置１３０の位置座標に基づいて当該発光型指示装置の位置を判断するが、他の実施形態では、中心線を超える直前の発光型指示装置１３０の位置座標から当該発光型指示装置の移動速度（ベクトル量）を算出し、その当該発光型指示装置の位置を予測し、動作モードを第１の検知モードから第２の検知モードに移行させてもよい。

発光型指示装置１３０の位置が表示装置１１１の左側領域に属する場合、ステップＳ７０７に処理が分岐する。ステップＳ７０７では、制御部３００は、動作モードを第２のデュアル検知モードに移行させる。ステップＳ７０８では、制御部３００は、発光制御部３０４に対し、左側領域を照射する撮影装置の発光装置を消灯させると共に、右側領域を照射する撮影装置の発光装置を点灯させ、ステップＳ７１０で処理が終了する。

一方、発光型指示装置１３０の位置が表示装置１１１の右側領域に属する場合、ステップＳ７０９に処理が分岐する。ステップＳ７０９では、制御部３００は、ステップＳ７０１で取得した検出装置１１２ａ，１１２ｂの撮影画像、すなわち、表示装置１１１の左側領域が含まれる撮影画像から非発光型指示物体の位置座標を算出し、ステップＳ７１０で処理が終了する。

図８は、本発明の情報処理装置が実行する処理の他の実施形態を示すフローチャートである。図８に示す処理は、情報処理装置１１０の動作モードが第２のデュアル検知モードである場合に定期的に実行される。図８に示す処理は、検出装置１１２ａ〜１１２ｄから撮影画像を生成する頻度（例えば、５０〜２００回／秒）に応じた頻度で実行することが好適である。以下、図８を参照して、第２のデュアル検知モードの情報処理装置１１０が実行する処理について説明する。

図８に示す処理は、ステップＳ８００から開始し、ステップＳ８０１で撮影画像取得部３０１が、検出装置１１２ａ〜１１２ｄから撮影画像を取得する。ステップＳ８０２では、制御部３００が、情報処理装置１１０の記憶装置に保持されているデタッチフラグを参照し、デタッチフラグがＯＮであるか否か判断する。

デタッチフラグがＯＮである場合（ｙｅｓ）、すなわち、発光型指示装置１３０の接触が終了した場合、ステップＳ８０３に処理が分岐する。ステップＳ８０３では、制御部３００は、デタッチフラグをＯＦＦに設定する。ステップＳ８０４では、情報処理装置１１０は、シングル検知モードに移行させ、ステップＳ８１１で処理が終了する。

デタッチフラグがＯＦＦである場合（ｎｏ）、すなわち、発光型指示装置１３０の接触が継続している場合、ステップＳ８０５に処理が分岐する。ステップＳ８０５では、位置座標算出部３０３が、ステップＳ８０１で取得した検出装置１１２ａ，１１２ｂの撮影画像、すなわち、表示装置１１１の左側領域が含まれる撮影画像から発光型指示装置の位置座標を算出する。ステップＳ８０６では、制御部３００は、発光型指示装置の位置座標が示す発光型指示装置１３０の位置を判断する。

発光型指示装置１３０の位置が表示装置１１１の右側領域に属する場合、ステップＳ８０７に処理が分岐する。ステップＳ８０７では、情報処理装置１１０は、第１のデュアル検知モードに移行する。ステップＳ８０８では、制御部３００は、発光制御部３０４に対し、右側領域を照射する撮影装置の発光装置を消灯させると共に、左側領域を照射する撮影装置の発光装置を点灯させ、ステップＳ８１０で処理が終了する。

一方、発光型指示装置１３０の位置が表示装置１１１の左側領域に属する場合、ステップＳ８０９に処理が分岐する。ステップＳ８０９では、制御部３００は、ステップＳ８０１で取得した検出装置１１２ｃ，１１２ｄの撮影画像、すなわち、表示装置１１１の右側領域が含まれる撮影画像から非発光型指示物体の位置座標を算出し、ステップＳ８１０で処理が終了する。

これまで本発明の特定の実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要素を変更若しくは削除し、または上述した実施形態の構成要素に他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１００…座標検出システム、１１０…情報処理装置、１１１…表示装置、１１１ａ，１１２ｂ，１１２ｃ，１１２ｄ…検出装置、１１３…反射材、１２０…画像提供装置、１３０…発光型指示装置、１４０…非発光型指示物体

特許第４０６７８６１号

Claims (10)

1. 表示装置の周辺に存在する発光型指示装置および非発光型指示物体を検出して、前記発光型指示装置および非発光型指示物体の前記表示装置に対する位置を算出する座標検出システムであって、
   前記表示装置の周辺部に設置され、前記表示装置に光を照射する複数の発光装置と、
   前記表示装置の周辺部に設置され、前記発光型指示装置の発する光または前記発光装置の発する光を受光して撮影画像を生成する複数の撮影装置と、
   前記複数の撮影装置それぞれによって生成された複数の撮影画像を用いて、前記発光型指示装置および前記非発光型指示物体の位置座標を算出する位置算出手段と、
   前記表示装置への前記発光型指示装置の接触を示す通知を受信する受信手段と、
   前記受信手段によって前記通知を受信した際に、前記位置算出手段によって算出された前記発光型指示装置の位置座標に基づいて、前記発光装置それぞれの発光を制御する発光制御手段と
   を備える座標検出システム。
2. 前記複数の発光装置は、前記表示装置の複数の領域に対応するように設置され、
   前記発光制御手段は、前記発光型指示装置が接触する表示装置の領域に応じて前記発光装置の発光を制御すること特徴とする、請求項１に記載の座標検出システム。
3. 前記発光制御手段は、前記発光型指示装置が接触する表示装置の領域に対応する発光装置を消灯し、それ以外の領域に対応する発光装置を点灯させることを特徴とする、請求項１または２に記載の座標検出システム。
4. 表示装置の周辺に存在する発光型指示装置および非発光型指示物体を検出して、前記発光型指示装置および非発光型指示物体の前記表示装置に対する位置を算出する座標検出システムが実行する方法であって、
   前記座標検出システムは、
   前記表示装置の周辺部に設置され、前記表示装置に光を照射する複数の発光装置と、
   前記表示装置の周辺部に設置され、前記発光型指示装置の発する光または前記発光装置の発する光を受光して撮影画像を生成する複数の撮影装置とを備え、
   前記座標検出システムが、
   前記複数の撮影装置それぞれによって生成された複数の撮影画像を用いて、前記発光型指示装置および前記非発光型指示物体の位置座標を算出するステップと、
   前記表示装置への前記発光型指示装置の接触を示す通知を受信するステップと、
   前記通知を受信した際に、前記算出された前記発光型指示装置の位置座標に基づいて、前記発光装置それぞれの発光を制御するステップと
   を含む、方法。
5. 前記複数の発光装置は、前記表示装置の複数の領域に対応するように設置され、
   前記発光装置の発光を制御するステップは、前記発光型指示装置が接触する表示装置の領域に応じて前記発光装置の発光を制御するステップを含む、請求項４に記載の方法。
6. 前記発光装置の発光を制御するステップは、前記発光型指示装置が接触する表示装置の領域に対応する発光装置を消灯し、それ以外の領域に対応する発光装置を点灯させるステップを含む、請求項４または５に記載の方法。
7. 表示装置の周辺に存在する発光型指示装置および非発光型指示物体の前記表示装置に対する位置座標を算出する情報処理装置であって、
   前記表示装置の周辺部に設置され前記表示装置に光を照射する複数の発光装置の光、または前記発光型指示装置の発する光を受光して生成された撮影画像を用いて、前記発光型指示装置および前記非発光型指示物体の位置座標を算出する位置算出手段と、
   前記表示装置への前記発光型指示装置の接触を示す通知を受信する受信手段と、
   前記受信手段によって前記通知を受信した際に、前記位置算出手段によって算出された前記発光型指示装置の位置座標に基づいて、前記発光装置それぞれの発光を制御する発光制御手段と
   を備える、情報処理装置。
8. 前記複数の発光装置は、前記表示装置の複数の領域に対応するように設置され、
   前記発光制御手段は、前記発光型指示装置が接触する表示装置の領域に応じて前記発光装置の発光を制御すること特徴とする、請求項７に記載の情報処理装置。
9. 前記発光制御手段は、前記発光型指示装置が接触する表示装置の領域に対応する発光装置を消灯し、それ以外の領域に対応する発光装置を点灯させることを特徴とする、請求項７または８に記載の情報処理装置。
10. 表示装置の周辺に存在する発光型指示装置および非発光型指示物体の前記表示装置に対する位置座標を算出する情報処理装置に対し、
    前記表示装置の周辺部に設置され前記表示装置に光を照射する複数の発光装置の光、または前記発光型指示装置の発する光を受光して生成された撮影画像を用いて、前記発光型指示装置および前記非発光型指示物体の位置座標を算出するステップと、
    前記表示装置への前記発光型指示装置の接触を示す通知を受信するステップと、
    前記通知を受信した際に、前記算出された前記発光型指示装置の位置座標に基づいて、前記発光装置それぞれの発光を制御するステップと
    を実行させるプログラム。