JP2004362231A - ポインタマーク表示制御方法およびポインタマーク表示制御装置 - Google Patents
ポインタマーク表示制御方法およびポインタマーク表示制御装置 Download PDFInfo
- Publication number
- JP2004362231A JP2004362231A JP2003159365A JP2003159365A JP2004362231A JP 2004362231 A JP2004362231 A JP 2004362231A JP 2003159365 A JP2003159365 A JP 2003159365A JP 2003159365 A JP2003159365 A JP 2003159365A JP 2004362231 A JP2004362231 A JP 2004362231A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- pointer mark
- mark
- display
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークが重複しないように表示制御する。
【解決手段】表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマーク同士が重複状態で表示されるのを回避させるためのポインタマーク表示制御装置40として、2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段43と、このポインタマーク重複判定手段43によってポインタマーク重複状態となるとの判定がなされると、ポインタマークがポインタマーク重複状態で表示されるのを回避させるポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段44とを有する。
【選択図】 図7
【解決手段】表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマーク同士が重複状態で表示されるのを回避させるためのポインタマーク表示制御装置40として、2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段43と、このポインタマーク重複判定手段43によってポインタマーク重複状態となるとの判定がなされると、ポインタマークがポインタマーク重複状態で表示されるのを回避させるポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段44とを有する。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、複数のポインティングデバイスを使用して表示画面上を指示する際、複数のポインティングデバイスの各々に対応する各々のポインタマーク同士が重複状態で表示されるのを回避するポインタマーク表示制御方法およびポインタマーク表示制御装置に関する。
【0002】
【従来の技術】
プロジェクタを用いてスクリーンなどに情報を投影して会議を行ったり、通信回線を用いて離れた場所で、表示画面を共有しながら会議を行ったりすることが一般的に行われている。この場合、会議やプレゼンテーションをより効率的に進行させるため、表示画面上に複数のポインタマークを表示させて、これら複数のポインタマークによって所望とする位置を指示できるようにすることも望まれている。
【0003】
表示画面上に複数のポインタマークを表示させる場合、複数のポインタマークが同じ座標値あるいは近接した座標値を指示する状況がしばしば発生する。このように、2つのポインタマークが同じ座標値あるいは近接した座標値を指示すると、一方のポインタマークが他方のポインタマークにオーバレイして、オーバレイされたポインタマークの一部または全部が見えなくなるということが起こる。
【0004】
このように、ポインタマーク同士の重複によって、ポインタマークの一部または全部が見えなくなるのは、状況によっては避けたい場合もあり、それに対処するためには、ポインタマーク同士の重複が生じた場合、オーバレイされたポインタマークの一部または全部が見えなくなるのを防ぐようなポインタマーク表示制御処理を行う必要がある。
【0005】
このようなポインタマーク同士の重複に対処するための技術の一例として、たとえば、特開平2001−157184号公報に記載の「画面共有端末装置とその表示方法」がある。
【0006】
この従来技術は、表示画面上に異なる方向から指示する細長いポインタマークを表示するようにし、しかも、そのポインタマークを半透明もしくは輪郭のみからなる画像とし、それによって、ポインタマーク同士が重なりあっても、それぞれのポインタマークを明確に区別できるようにしたものである。
【0007】
【特許文献1】
特開平2001−157184号公報
【0008】
【発明が解決しようとする課題】
上述した従来技術は、複数のポインタマークの重複時において、重複したポインタマークを区別しやすくすることは可能であるが、複数のポインタマークの重複を許すことを前提にしたポインタマーク表示制御であるため、たとえ、それぞれのポインタマークを半透明にしたり、輪郭のみを表示させるようにしたとしても、結局は複数のポインタマークが重なり合うことになるので、複数のポインタマークが一箇所に集中したような場合、個々のポインタマークを瞬時に識別しにくいという問題がある。
【0009】
また、ポインタマークの重複に対しては、それぞれのポインタマークが同一座標値や近接した座標値を指示した場合だけでなく、複数のポインタマークが同じ機能指示領域(たとえば、アイコンなどコマンド入力を行うことのできるある一定範囲の領域)を同時に指示する状況に対しても何らかの対処を行う必要がある。
【0010】
すなわち、複数のポインタマークが同じ機能指示領域を同時に指示することが可能となると、どの操作者によってそのコマンド入力がなされたかが不明となるなど、状況によっては好ましくない場合もある。また、その機能指示領域から数値などのデータ入力ができるようなシステムでは、複数の操作者によって矛盾したデータ入力がなされるおそれもあり、会議などの進行の妨げとなることも考えられる。
【0011】
なお、複数のポインティングデバイスによる同じ機能指示領域での矛盾したコマンド入力などを回避させる従来技術としては、たとえば、それぞれのポインティングデバイスに対して、ポインティング操作権を設定し、このポインティング操作権の付与されたポインティングデバイスのみが、ある時点でのポインティング操作やコマンド入力を可能とするといったポインティング操作制御を行う技術が従来から提案されているが、この技術では、会議やプレゼンテーションにおいて、同時に複数のポインティングデバイスを用いて自由にポインティング操作することができないため、活発な論議が阻害されるおそれもある。
【0012】
そこで本発明は、複数のポインティングデバイスを用いて表示画面上をポインティング操作する際、複数のポインティングデバイスの各々に対応する各々のポインタマークがポインタマーク重複状態で表示されるのを回避する制御を行い、それによって、複数のポインティングデバイスによる柔軟性のあるポインティング操作を可能とするポインタマーク表示制御方法およびポインタマーク表示制御装置を提供することを目的としている。
【0013】
【課題を解決するための手段】
上述の目的を達成するために本発明のポインタマーク表示制御方法は、ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御方法であって、そのポインタマーク表示制御処理は、前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定し、ポインタマーク重複状態となるとの判定がなされた場合は、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態で表示されるのを回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成することを特徴としている。
【0014】
これによって、複数のポインティングデバイスを用い、その複数のポインティングデバイスの各々に対応する各々のポインタマークによって、ある表示画面上の所定位置をポインティング操作するような場合、複数のポインティングデバイスで同じ位置をポインティング操作するような状況が発生しても、その位置でそれぞれのポインタマークが重複することがなくなり、ポインティングデバイスとポインタマークとの対応付けを容易に行うことができる。これにより、たとえば、プロジェクタなどを用いた会議などにおいて、多数の会議参加者がそれぞれのポインティングデバイスを用いて表示画面上を指示しながら会議を進行させるような場合、どのポインティングデバイス(どの会議参加者)がどこを指示しているのかが容易にわかり、会議を円滑に進行させることができる。
【0015】
このようなポインタマーク表示制御方法において、前記ポインタマーク重複状態は、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態であることが好ましい。
【0016】
ここで、複数のポインタマーク同士が表示画面上の同じ位置に存在するというのは、たとえば、複数のポインタマークが同じ座標値を指示している状態であり、また、複数のポインタマーク同士が表示画面上のそれぞれ近接した位置に存在するというのは、たとえば、複数のポインタマークが近接した座標値を指示している状態であり、このように、複数のポインタマークが同じ座標値を指示した場合だけでなく、複数のポインタマークが近接した座標値を指示した場合にも、ポインタマーク重複表示回避処理が行われるので、ポインタマーク全体が重なる場合だけでなく、その一部が重なり合う状態をも防止することができる。
【0017】
さらに、複数のポインタマークが同一機能指示領域を指示した場合にも、ポインタマーク重複表示回避処理を行うことができる。この複数のポインタマークが同一機能指示領域を指示した場合というのは、たとえば、アイコンなどコマンド入力を行うことのできる領域を複数のポインタマークが同時に指示する状態となった場合である。
【0018】
このように、複数のポインタマークが同じ機能指示領域を指示した場合にも、ポインタマーク重複表示回避処理を行うことができるので、複数の操作者によって、同じ機能指示領域から同時にコマンド入力され、どの操作者によってそのコマンド入力がなされたかが不明となるのを確実に防止することができ、また、矛盾したコマンドが入力されることも防止することができる。
【0019】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理は、重複状態となるポインタマークのうちの少なくとも1つのものについて、表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理とすることが好ましい。
【0020】
これによって、同じ箇所に複数のポインタマークが集中したような場合にも、それぞれのポインタマークを容易に識別することができる。
【0021】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行うことが好ましい。
【0022】
このように、それぞれのポインタマークに設定された優先度に基づいて、ポインタマーク重複表示回避処理を行うことによって、会議などで複数の会議参加者がそれぞれのポインティングデバイスを操作するような場合、ポインタマークが同じ位置を指示したときでも、その優先度に沿ったポインタマーク重複表示回避処理がなされるので、それぞれの会議参加者間でのトラブルなどの発生を未然に防止することができ、円滑な会議進行がなされる。
【0023】
また、このポインタマーク表示制御方法において、優先度に基づいたポインタマーク重複表示回避処理は、優先度の最も高いポインタマーク以外のポインタマークに対し表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理であることが好ましい。
【0024】
これによって、優先度の最も高いポインタマークのみがある位置を指示することができるので、複数のポインタマークの重複を確実に防止することができる。
【0025】
また、このポインタマーク表示制御方法において、前記表示画面上の位置を制御する処理は、優先度の高いポインタマークが優先度の低いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークによって優先度の低いポインタマークを押しのける処理とすることができる。
【0026】
これにより、複数のポインタマークの重複を確実に防止することができ、優先度の高いポインタマークのみが所望とする位置を指示することができるので、特に、機能指示領域などでコマンド入力するような場合に有効なものとなる。
【0027】
また、このポインタマーク表示制御方法において、前記表示画面上の位置を制御する処理は、優先度の低いポインタマークが優先度の高いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークが、優先度の低いポインタマークの移動をある位置で阻止する処理としてもよい。
【0028】
これによっても、上述したように、複数のポインタマークの重複を確実に防止することができ、優先度の高いポインタマークのみが所望とする位置を指示することができるので、特に、機能指示領域などでコマンド入力するような場合に有効なものとなる。
【0029】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態を視覚的に表現可能な表示を付加することも可能である。
【0030】
これによって、複数のポインタマークが重複しそうになった場合に、ポインタマーク重複表示回避処理対象の複数のポインタマークに対し、どのようなポインタマーク重複表示回避処理が施されているかが視覚的によくわかる。また、操作者に遊び心を持たせることができ、会議などで用いることによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0031】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態をそのポインティングデバイスを操作する操作者に触覚、聴覚の少なくとも一方の感覚として伝達可能とすることも可能である。
【0032】
これにより、複数のポインタマークが重複しそうになった場合に、ポインタマーク重複表示回避処理時において、ポインタマーク重複表示回避処理対象の複数のポインタマークの動作が触覚や聴覚などの感覚として操作者に伝わるので、ポインタマーク重複表示回避処理対象の複数のポインタマークに対し、どのようなポインタマーク重複表示回避処理が施されているかがよくわかる。また、上述同様、操作者に遊び心を持たせることができ、会議などで用いることによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0033】
また、本発明のポインタマーク表示制御装置は、ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御装置であって、このポインタマーク表示制御装置は、前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段と、このポインタマーク重複判定手段によってポインタマーク重複状態となるとの判定がなされると、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複表示されるのを回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段と有することを特徴としている。
【0034】
これによって、複数のポインティングデバイスを用い、これら複数のポインティングデバイスの各々に対応する各々のポインタマークによって、ある表示画面上の所定位置をポインティング操作するような場合、複数のポインティングデバイスで同じ位置をポインティング操作するような状況が発生しても、その位置でそれぞれのポインタマークが重複することがなくなり、ポインティングデバイスとポインタマークとの対応付けを容易に行うことができる。これにより、たとえば、プロジェクタなどを用いた会議などにおいて、多数の会議参加者がそれぞれのポインティングデバイスを用いて表示画面上を指示しながら会議を進行させるような場合、どのポインティングデバイス(どの会議参加者)がどこを指示しているのかが容易にわかり、会議を円滑に進行させることができる。
【0035】
また、このポインタマーク表示制御装置は、その構成要素として、2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段と、このポインタマーク重複判定手段によってポインタマーク重複状態となるとの判定がなされると、そのポインタマークが重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段を持つことで実現できるので、情報表示システムなどに容易に適用することができる。
【0036】
また、このポインタマーク表示制御装置においても、上述のポインタマーク表示制御方法と同様、前記ポインタマーク重複状態は、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態であることが好ましい。
【0037】
また、このポインタマーク表示制御装置において、ポインタマーク重複表示回避処理は、重複状態となるポインタマークの表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理とすることが好ましい。
【0038】
また、このポインタマーク表示制御方法において、ポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行うことが好ましい。
【0039】
また、このポインタマーク表示制御装置において、優先度に基づいたポインタマーク重複表示回避処理は、優先度の最も高いポインタマーク以外のポインタマークに対し前記表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理を行うことが好ましい。
【0040】
また、このポインタマーク表示制御装置において、表示画面上の位置を制御する処理は、優先度の高いポインタマークが優先度の低いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークによって優先度の低いポインタマークを押しのける処理とすることができる。
【0041】
また、このポインタマーク表示制御装置において、前記表示画面上の位置を制御する処理は、優先度の低いポインタマークが優先度の高いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークが、優先度の低いポインタマークの移動をある位置で阻止する処理としてもよい。
【0042】
また、このポインタマーク表示制御装置において、ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態を視覚的に表現可能な表示を付加することもできる。
【0043】
また、このポインタマーク表示制御装置において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態をそのポインティングデバイスを操作する操作者に触覚、聴覚の少なくとも一方の感覚として伝達可能とすることもできる。
【0044】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明のポインタマーク表示制御方法およびポインタマーク表示制御装置の両方の説明を含むものである。
【0045】
図1は本発明のポインタマーク表示制御方法を説明する図であり、まずは、この図1を参照しながら本発明が行うポインタマーク表示制御処理の概略について説明する。なお、この図1は表示画面1上に複数のポインティングデバイス(ここでは図示されていない)の各々に対応する矢印型の複数のポインタマーク(2つのポインタマークM1,M2とする)が表示され、これらポインタマークM1,M2は、対応するポインティングデバイスによって、表示画面1上の任意の位置(座標値)を指示できるようになっているとともに、その位置からコマンド入力が可能となっているものとする。
【0046】
なお、ここでのコマンド入力としては、たとえば、アイコンをクリックして他のアプリケーションを画面上に開いたり、そのポインティング位置に存在するデータを他の場所に移動させたり、そのポインティング位置からデータ入力を行ったりデータ修正を行ったりするというような処理である。
【0047】
今、これら2つのポインタマークM1,M2のうち、一方のポインタマークM1が図1(a)のような位置P1(これを初期位置とし、その座標値を(x1,y1)とする)に存在し、この初期位置P1から、たとえば、矢印A方向、すなわち、他方のポインタマークM2の存在する位置P2(その座標値を(x2,y2)とする)の方向に移動して行くことを考える。
【0048】
このように、一方のポインタマーク(この例ではポインタマークM1)が他方のポインタマーク(この例ではポインタマークM2)の位置P2方向に移動して来た場合のポインタマーク表示制御処理の具体例について以下に説明する。なお、本発明は、一方のポインタマーク(この例ではポインタマークM2)が他方のポインタマーク(この例ではポインタマークM1)の存在する位置P1に向かって移動した場合も、両者が重複した状態で表示されないようなポインタマーク重複表示回避処理をポインタマーク表示制御処理の1つとして行うことを特徴の1つとしている。このポインタマーク重複表示回避処理については後に詳細に説明する。
【0049】
また、このポインタマーク重複表示回避処理が実行されるのは、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態となった場合である。
【0050】
ここで、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態というのは、たとえば、2つのポインタマークが同じ座標値を指示することによって、それぞれのポインタマークが殆ど重なり合うような状態となった場合などであり、また、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態というのは、たとえば、2つのポインタマークがそれぞれ近接した座標値を指示することによってそれぞれのポインタマークが接触したり部分的に重なり合うような状態となった場合などである。
【0051】
また、同一機能指示領域というのは、あるコマンド入力の可能な限られた領域であり、たとえば、ある1つのアイコンの表示領域などがそれに相当し、この1つのアイコンなどに複数のポインタマークが指示した場合も、ポインタマーク重複表示回避処理を行うことができる。
【0052】
なお、本発明では、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態をまとめてポインタマーク重複状態という表現を用いるものとし、2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避する処理をポインタマーク重複表示回避処理と呼んでいる。
【0053】
このポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行う。
【0054】
その優先度としては、▲1▼当初からある位置に存在するポインタマークの優先度を、その位置またはその近傍に移動してくるポインタマークよりも高くする、▲2▼ある位置に移動してくるポインタマークの優先度を、当初からその位置またはその近傍に存在するポインタマークよりも高くする、▲3▼複数のポインティングデバイスに対し始めから優先度を設定しておく、▲4▼ポインタマークが多種設定されている場合には、それぞれのポインタマークの種類に対し始めから優先度を設定しておく、▲5▼複数のポインタマークのそれぞれが有しているパラメータ(移動速度、占有画素数、形状、色等)を1つ以上組み合わせて構成した評価関数を、各ポインタマークごとに計算し、その値の大小によって各ポインタマークの優先度を決定する方法(評価関数の値の大きいほうが優先度が高い等)もある。
【0055】
なお、▲3▼の複数のポインティングデバイスに対し、始めから優先度を設定する場合は、たとえば、ポインティングデバイスの種類、情報処理装置などへの接続順序、接続ポートの種類などによって、予め優先度を設定しておいてもよく、また、たとえば、会議であればその会議の議長役などが、ポインティングデバイスの優先度を設定することも可能である。
【0056】
また、▲4▼は単純にポインタマークの各種類によって予め優先度が設定されている場合である。
【0057】
また、▲5▼の各ポインタマークごとに評価関数を計算し、その値によって優先度を決定する方法の場合の評価関数の例としては、単に各ポインタマークの表示画面上での占有画素数とする方法、または各ポインタマークの移動速度とする方法、更には、力学の分野でいうところの「運動エネルギ」の概念を模した表現としての「占有画素数×移動速度の2乗」のような式を用いる方法などが考えられる。なお、ここで挙げた幾つかの評価関数の例は、いずれも人間の物理的な感覚に適合した表現であり、各ポインティングデバイスの操作者にとって納得しやすい優先度の決定方法であるといえる。
【0058】
ここで、図1(a),(b)に示すように、ポインタマークM1がその初期位置P1から、矢印A方向に移動し、ポインタマークM2の当初からの位置P2に極めて近い位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に到達し、そのままでは、ポインタマークM1とポインタマークM2は重なり合う状態(ポインタマーク重複状態)となるものとする。
【0059】
このとき、上述の▲3▼が適用されているものとし、その優先度設定として、ポインタマークM1を発しているポインティングデバイスがポインタマークM2を発しているポインティングデバイスよりも優先度が高く設定されているとする。
【0060】
このように、ポインタマークM1が移動することによって、ポインタマークM1とポインタマークM2がポインタマーク重複状態となると、この図1(b)に示すように、ポインタマークM1がポインタマークM2を矢印a方向へ押しのけて、ポインタマークM2をポインタマークM1に重ならない位置P2’(その座標値を(x2’,y2’)とする)に移すようなポインタマーク重複表示回避処理がなされる。
【0061】
これによって、ポインタマークM1は、ポインタマークM2の当初の位置P2の近傍の位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に表示される。
【0062】
この位置P1’は、ポインタマークM2が当初から指示している位置P2にきわめて近接した位置であるため、もし、ポインタマークM2がその位置P2に留まっていれば、ポインタマークM1がポインタマークM2に重なり合ってポインタマーク重複状態となるが、この図1(b)に示すように、優先度の高いポインタマークM1がポインタマークM2を押しのけることによって、ポインタマークM1とM2は重複しない位置(ポインタマークM1は位置P1’、ポインタマークM2は位置P2’)でそれぞれ表示される。
【0063】
なお、この例の場合、もし、▲2▼が適用されているとすれば、移動してくるポインタマークM1の優先度が、当初からその位置に存在するポインタマークM2よりも高いので、上述の▲3▼が適用された場合と同様の処理がなされるが、▲1▼が適用されている場合は、当初からその位置に存在するポインタマークM2の優先度が、その位置にまで移動してくるポインタマークM1よりも高いので、たとえば、図1(c)に示すように、ポインタマークM1の移動がポインタマークM2の位置P2の手前の位置P1’(その座標値を(x1’,y1’)とする)で阻止されるようなポインタマーク重複表示回避処理がなされ、ポインタマークM1は、ポインタマークM2の位置P2またはその近傍位置までに到達することができず、ポインタマーク重複状態で表示されるのを回避することができる。
【0064】
なお、ポインタマークM1の移動がポインタマークM2の位置の手前で阻止されるようなポインタマーク重複表示回避処理としては、ポインタマークM1の移動がポインタマークM2によって阻まれてそれ以上移動できないようにする処理や、ポインタマークM1がポインタマークM2に近づくと、ポインタマークM2がポインタマークM1を跳ね返すような処理などが考えられる。
【0065】
ところで、ポインタマーク重複表示回避処理は、複数のポインタマークが重なり合わないようにするだけでなく、上述したように、複数のポインタマークが同一機能指示領域を指示した場合にも行われるようにすることができる。したがって、図1(b)の例では、ポインタマークM1の到達しようとする位置P1’が、ある機能指示領域内であれば、ポインタマークM2はその機能指示領域を外れた位置まで押しのけられるようなポインタマーク重複表示回避処理がなされ、また、図1(c)の例では、ポインタマークM2がその機能指示領域内に入る前の位置でそれ以上の移動を阻止するようなポインタマーク重複表示回避処理がなされる。
【0066】
以上のようなポインタマーク重複表示回避処理を行うことによって、ポインタマーク重複状態で表示されるのを回避することができるが、ポインタマーク重複状態で表示されるのを回避するためのポインタマーク重複表示回避処理としては、これ以外に図1(d)に示すようなポインタマーク重複表示回避処理もある。
【0067】
この図1(d)は、たとえば、▲1▼の優先度設定、つまり、当初からある位置に存在するポインタマークの優先度を、その位置の方向に移動してくるポインタマークよりも高くするという設定がなされている場合の制御であり、この場合、ポインタマークM1がポインタマークM2の当初の位置P2(その座標値を(xb,yb)とする)に向かって移動し、位置P2に極めて近い位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に到達したとき、ポインタマークM1をその座標値(x2±Δx,y2±Δy)を中心に所定角度回転させた状態で表示させる。
【0068】
この実施の形態ではポインタマークM1は、矢印型としているので、この矢印の先端部の座標値、すなわち、ポインタマークM1の位置P1’の座標値(x2±Δx,y2±Δy)を中心として、時計方向にほぼ60度回転させて表示する例が示されている。なお、所定角度回転させるのではなく、この矢印を左右反転、すなわち、矢印の先端部の座標値(x2±Δx,y2±Δy)を通る表示画面1上のy軸方向(図示の上下方向)の直線を中心として折り返した位置に表示させるようにしてもよい。これによって、本来、重なり合うはずの2つのポインタマークM1,M2が、重なり合わないようにすることができる。
【0069】
なお、この図1(d)において、ポインタマークM1がポインタマークM2よりも優先度が高いものと設定されている場合は、ポインタマークM1の移動に伴って、ポインタマークM2を、上述同様、その先端を中心として、両者が重ならないような方向に回転させるなどのポインタマーク重複表示回避処理を行えばよい。
【0070】
このようなポインタマーク重複表示回避処理としては、これら以外に、たとえば、優先度の低いポインタマークを縮小表示したり、優先度の低いポインタマークの種類を変えてそれぞれのポインタマークが重なり合わないような形状に変更するといったことも可能である。
【0071】
以上、図1(a)〜(d)によって、一方のポインタマークM1が他方のポインタマークM2に向かって移動することによるポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理の一例について説明した。
【0072】
このようなポインタマーク重複表示回避処理を行うことによって、本来、複数のポインタマークがポインタマーク重複状態で表示されてしまう状況において、それらのポインタマークがポインタマーク重複状態で表示されるのを回避することができる。それによって、どのポインティングデバイスがどこを指示しているかが容易にわかる。
【0073】
このように、本発明では、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態など、2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避することができる。
【0074】
これによって、2つ以上のポインタマークが同じ座標値を指示した場合や2つ以上のポインタマークが近接した座標値を指示した場合でも、それぞれのポインタマーク全体が殆ど重なり合った状態で表示されたり、また、一部が重なり合ったり、接触した状態で表示されるのを防止することができ、多数のポインタマークが一箇所に集中したような場合でも、それぞれのポインタマークを容易に識別することができる。
【0075】
また、2つ以上のポインタマークが重なり合うか否かに関係なく、同一機能指示領域を指示した場合でも、その機能指示領域内を指示できるのは、優先度のもっとも高いポインタマークのみであるので、どのポインタマーク(どの操作者)によってコマンド入力操作がなされたかを容易に確認することができ、また、矛盾したコマンド操作などが行われるのを未然に防止することができる。
【0076】
次に、上述のようなポインタマーク重複表示回避処理を行ったあと、移動してきたポインタマーク(上述の例では、ポインタマークM1)が、その位置を去って、他の位置に移動した場合について説明する。これは、たとえば、図1(b)を例にとれば、ポインタマークM1がこの図1(b)で示した位置P1’に到達したあと、さらに他の位置に移動した場合であり、このような場合、押しのけられたポインタマークM2をどのようにするかついて図2を参照しながら以下に説明する。
【0077】
図2(a)は図1(b)と同じ状態、つまり、ポインタマークM1によってポインタマークM2が押しのけられた状態を示す図であり、この状態では、ポインタマークM1は、座標値(x2±Δx,y2±Δy)の位置P1’にあり、ポインタマークM2は、座標値(x2’,y2’)の位置P2’に移されている。
【0078】
このような状態において、ポインタマークM1が図2(b)に示すように、左方向(矢印B方向)にほぼ水平移動し、位置P1’から十分に離れた位置P1’’(その座標値を(x1’’,y1’’)とする)に移動したとする。
【0079】
このように、ポインタマークM2を押しのけたポインタマークM1が、その後、その押しのけた位置から十分離れた位置にまで去って、ポインタマークM2が元の位置P2に戻れる状態となった場合は、この図2(b)に示すように、そのポインタマークM2を矢印a’方向に動かして元の位置に復帰させることも可能であり、また、図2(c)に示すように、ポインタマークM2が元の位置P2に戻らず、押しのけられた位置P2’にそのまま留まらせることも可能である。
【0080】
また、図1で説明したようなポインタマーク重複表示回避処理を行う際、ポインタマーク重複表示回避処理対象となるそれぞれのポインタマークが、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的にわかるような表示(この例ではアニメーション表示)を付加することもできる。
【0081】
図3はそのアニメーション表示の付加例を説明する図であり、図3(a)は、一方のポインタマーク(ポインタマークM1とする)が矢印A方向に移動してきて、当初からある位置に存在する他方のポインタマーク(ポインタマークM2とする)を押しのけようとする際、ポインタマークM1が汗をかきながら懸命にポインタマークM2を押しのけようとしている様子を示すものである。なお、図中、m1はアニメーション表示として付加された汗を表すマークである。
【0082】
また、図3(b)は、図3(a)と同様、ポインタマークM1がポインタマークM2を押しのけようとする場合であるが、この図3(b)では、ポインタマークM2が、ポインタマークM1に押しのけられそうになって、焦って汗をかいている様子を示すものである。
【0083】
これら図3(a),(b)は、図1(b)のポインタマーク重複表示回避処理に対応するもので、図1(b)において、この図3(a)または(b)のようなアニメーション表示を付加することで、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2が、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかる。また、操作者がそのアニメーション表示を見ることによって、現在、どのようなポインタマーク重複表示回避処理がなされているかを知ることができる。
【0084】
また、図3(c)は、一方のポインタマークM1が矢印A方向に移動してきて、当初からある座標値を指示している他方のポインタマークM2に重複しそうになったとき、ポインタマークM2はポインタマークM1のそれ以上の移動を阻止しようと精一杯頑張り、一方、ポインタマークM1は汗をかきながら懸命に押しのけようとしている様子を示すものである。なお、図中、m2はアニメーション表示として付加された移動を阻止しようと精一杯頑張っている様子を表すマークである。
【0085】
この図3(c)は、図1(c)のポインタマーク重複表示回避処理に対応するもので、図1(c)において、この図3(c)のようなアニメーション表示を付加することで、上述同様、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2が、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかる。また、図3(a),(b)の場合と同様に、操作者がそのアニメーション表示を見ることによって、現在、どのようなポインタマーク重複表示回避処理がなされているかを知ることができる。
【0086】
また、図3(d)は、ポインタマークM1が矢印A方向に移動し、ポインタマークM2がそれと反対方向(矢印B方向)に移動して、ある座標値で衝突した様子を示すものである。なお、図中、m3はアニメーション表示として付加された衝突を表すマークである。なお、このように、2つ以上のポインタマークが衝突する状況となった場合も、図1で説明したように、優先度の高いポインタマークが優先度の低いポインタマークを押しのけたり、跳ね返したりするようなポインタマーク重複表示回避処理がなされる。
【0087】
この図3(a)〜(d)で説明したように、そのときの状況に応じたポインタマーク重複表示回避処理を行う際、それぞれのポインタマーク重複表示回避処理に対応したアニメーション表示を行うことで、ポインタマーク重複表示回避処理対象となっているポインタマークが、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかり、それによって、現在、どのようなポインタマーク重複表示回避処理がなされているかということもよくわかる。また、操作者に遊び心を持たせることができるので、これを会議システムなどに適用することによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0088】
上述の図3で説明した例は、一方のポインタマークが他方のポインタマークを押しのけるポインタマーク重複表示回避処理、一方のポインタマークが他方のポインタマークに近づくのを阻止するポインタマーク重複表示回避処理、ポインタマーク同士が同じ位置に異なる方向から移動する際のポインタマーク重複表示回避処理を視覚的にわかり易くするためのものであるが、これらのポインタマーク重複表示回避処理が行われる際、そのポインタマーク重複表示回避処理を操作者に触覚や聴覚として伝えるようにすることもできる。
【0089】
図4はポインタマーク重複表示回避処理を操作者に触覚として伝えることを可能とした情報表示システムの全体構成を概略的に示す図であり、情報処理装置としてのパーソナルコンピュータ(以下ではPCという)30に蓄積された情報をプロジェクタなどの表示装置31によって、表示媒体の1つであるスクリーン32に投影し、表示画像の表示された表示画面1上を2つのポインタマークM1,M2でポインティング操作可能とする例が示されている。
【0090】
なお、これら2つのポインタマークM1,M2のうち、ポインタマークM1はPC30に接続された一方のポインティングデバイス(この図4ではポインティングデバイスはマウスであるとして説明する)21で操作可能となっており、ポインタマークM2はPC30に接続された他方のポインティングデバイス(同じくマウスの例が示されている)22で操作可能となっている。
【0091】
このような情報表示システムにおいて、ここでは、図3(d)とほぼ同様の例、すなわち、2つのポインタマークM1,M2が、表示画面1上のある位置で衝突する場合を例にとって説明する。
【0092】
この情報表示システムで用いられるポインティングデバイス21,22(この図4の例では、マウス21,22という)は、ポインティング操作を行う際、その操作に対応するマウスの動作を触覚(たとえば、2つのマウス21,22のポインタマークM1,M2が接近しつつあることを表す触覚、それぞれのポインタマークM1,M2が衝突したことを表す触覚など)として操作者に伝えることができるものであるとする。このようなマウスは、たとえば、図5のような構成とすることによって実現できる。
【0093】
この種のマウスは、図5に示されるように、通常のマウスとしての機能を行うポインティング操作機能部81と、ポインティング操作に対する何らかの反応としてのリアクション動作を行うリアクション動作機能部82からなり、ポインティング操作機能部81は、x軸方向移動量検出手段811、y軸方向移動量検出手段812、これらx軸方向移動量検出手段811、y軸方向移動量検出手段812からの移動量検出情報やクリックボタンによるクリック操作情報を情報処理装置(図4ではPC30)に送信する送信手段813を有した構成となっている。
【0094】
一方、リアクション動作機能部82は、リアクション動作部821、このリアクション動作部821を駆動制御する駆動制御部822、情報処理装置(PC30)から送られてくるポインタマーク重複状態を示すポインタマーク重複状態フラグ信号やそのポインタマーク重複状態フラグ信号に基づいて発せられるリアクション動作部を駆動するための信号を受信する受信部823などを有している。
【0095】
なお、リアクション動作部821は、マウスに振動を発生させたり、マウスの動きに制動力を与えたり、マウスをある方向にわずかに移動させたりすることができるような手段が設けられている。
【0096】
たとえば、振動を発生させる手段としては、図6(a)に示すように、回転軸101に偏心カム102を取りつけたモータ103をマウス内に組み込むことで実現でき、これによって、ポインタマーク同士の衝突などポインタマーク重複状態が発生した場合、モータ103を回転させることでマウスに振動Vを生じさせることができる。
【0097】
また、マウスの動きに制動力を与えたり、ある方向にわずかに移動させる手段としては、たとえば、図6(b)に示すように、マウス内のボール105に接触してボール105の回転に連動して回転し、その回転をロータリエンコーダに伝える働きをする円柱状のローラ106の中心軸107を、モータ108の回転軸109に連結するような構成とすることで実現できる。なお、図6では、モータ108の回転軸109とローラ106の中心軸107は、直接的に連結された例が示されているが、両者間には何らかの動作伝達機構が介在されていてもよい。そして、通常時は、モータ108は非動作状態となっていて、その回転軸109はフリーで回転可能となっている。
【0098】
このような構成において、ポインタマーク重複状態となると、モータ108が回転駆動され、その回転力が回転軸109を介してローラ106の中心軸107に伝達されるようになり、それによって、ボール105には、モータ108に対する駆動制御に応じた回転力が伝達されるようになる。
【0099】
そのときのモータ108に対する駆動制御としては、たとえば、ポインタマークの動きが阻止される場合には、それ以上ポインタマークが動かないようにマウスの動きに制動力を与えるような駆動制御が行われ、また、ポインタマークが押しのけられる場合には、押しのけられる方向にマウスをわずかに動かすような駆動制御が行われる。
【0100】
このようなマウス、すなわち、ポインティング操作に対応するマウスの動作を触覚として操作者に伝えることができるマウス21,22を用いることによって、この図4に示すように、たとえば、2つのポインタマークM1,M2が衝突した場合、それぞれのマウス21,22では、ポインタマークM1,M2が衝突したことを表す振動Vをそれぞれのマウス21,22に発生させることができ、また、ここでは図示されていないが、ポインタマークM1,M2が衝突しそうになると、それぞれのマウスあるいはいずれかのマウスに制動力が働き、操作者にポインティング操作に対応するマウスの動作を触覚として伝えることができる。
【0101】
それによって、それぞれのマウス21,22を操作する操作者は、ポインタマークM1,M2が衝突したことや近接状態となったことが、表示画面1上におけるポインタマークM1,M2の動きからだけではなく手に伝わる触覚からもわかる。
【0102】
なお、このマウスは、振動を発生させたり制動力を発生させたりするだけではなく、リアクション動作部としてスピーカや圧電ブザーなどを設けることによって、アラーム音を発生させることも可能であり、それによって、ポインタマーク重複状態をマウスの動作により聴覚によって操作者に伝えることができる。また、発光素子を設けてその発光素子を点灯あるいは点滅制御させることも可能である。
【0103】
また、このようなポインタマークの重複状態をマウスの動作によって触覚あるいは聴覚として操作者に伝える処理と、図3で説明した視覚的に操作者に伝える処理を組み合わせることもできることは勿論であり、それによって、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2の動作がよくわかり、現在、どのようなポインタマーク重複表示回避処理がなされているかが、より一層、わかりやすくなる。
【0104】
なお、これら、ポインタマーク同士の近接や衝突を感触として操作者に伝えたり音として操作者に伝えたりする場合、近接や衝突を表現するのはマウスなどのポインティングデバイスでなくてもよく、それらを何らかの形(他の外部装置等)で操作者に伝達可能とすればよい。
【0105】
図7は本発明のポインタマーク表示制御装置を備えた情報表示システムを説明する図であり、この情報表示システムは、大きく分けると、情報処理装置としてのPC30、このPC30に接続された複数のポインティングデバイス21,22,・・・,2n、表示装置31を有した構成となっている。
【0106】
PC30は、本発明のポインタマーク表示制御装置40が組み込まれているとともに、それぞれのポインティングデバイス21,22,・・・,2n対応に設けられ、指示座標値の取得などを行うポインティングデバイスドライバPD1,PD2,・・・,PDnが設けられている。
【0107】
ポインタマーク表示制御装置40は、それぞれのポインティングデバイス21,22,・・・,2nに対応するポインタマークを記憶するポインタマーク記憶手段41、表示装置31で表示すべき画像を画像記憶手段(図示せず)などから取得する表示画像取得手段42、各ポインティングデバイスドライバPD1,PD2,・・・,PDnからの情報(対応するポインティングデバイス21,22,・・・,2nの指示座標情報など)とポインタマーク記憶手段41に記憶されているそれぞれのポインティングデバイス21,22,・・・,2n対応のポインタマークとに基づいて、どのポインタマークとどのポインタマークがポインタマーク重複状態となるかを判定するポインタマーク重複判定手段43、このポインタマーク重複判定手段43によってポインタマーク重複状態となるとの判定がなされると、そのポインタマークが重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段44を有した構成となっている。
【0108】
この図7に示されたポインティングデバイス21,22,・・・,2nは、マウス、タッチパッド、ペンタブレット、トラックボールなど特に限定されるものではない。また、表示装置31は、たとえば、PCやゲーム機などのディスプレイ画面上に画像を表示させる形式であってもよく、また、プロジェクタなどによってスクリーンなどに画像を投影する形式であってもよい。
【0109】
このように構成された情報表示システムにおけるポインタマーク表示制御の全体的な処理手順を図8により説明する。
図8において、ステップS1は、それぞれのポインタマーク(ポインティングデバイス21,22,・・・,2nに対応するポインタマーク)が移動したあとの新たな指示座標を求める処理であり、この処理は、上述の図7の構成においては、ポインティングデバイスドライバPD1,PD2,・・・,PDnによって行われるものとする。
【0110】
このステップS1における新たな指示座標を求める処理(ポインタマークが移動したあとの新たな指示座標を求める処理)は、それぞれのポインタマークの現在の指示座標D1と、それぞれのポインタマークのx軸およびy軸方向の移動量を示す指示座標移動ベクトルD2を対応するそれぞれのポインティングデバイスから取得し、これらのそれぞれのポインタマークの現在の指示座標D1とそれぞれのポインタマークの指示座標移動ベクトルD2からそれぞれのポインタマークの新たな指示座標D3を求めるものである。ここで、それぞれのポインタマークの現在の指示座標D1、それぞれのポインタマークの指示座標移動ベクトルD2、それぞれのポインタマークの新たな指示座標D3およびポインタマーク画像D4は、対応するポインタマークの個数(ここではn個)分、それぞれの情報として記憶されているものとする。
【0111】
そして、ポインタマーク記憶手段41に記憶されているそれぞれのポインタマーク画像を取得し(ステップS2)、それらの取得したポインタマーク画像D4とステップS1で求められたそれぞれのポインタマークごとの新たな指示座標D3とからポインタマーク重複状態判定処理を行う(ステップS3)。このステップS3の処理内容については後述する。なお、ステップS1で求められた新たな指示座標D3によってポインタマークの現在の指示座標D1が更新される。
【0112】
このステップS3を行ったあと、ポインタマーク重複状態であるか否かの判定結果により、次以降の処理を分岐させる(ステップS4)。仮にポインタマーク重複状態であれば、どのポインタマークの表示を優先するかの表示優先順位をそれぞれのポインタマークごとに求め(ステップS5)、その優先順位に従ったポインタマーク重複表示回避処理をそれぞれのポインタマークごとに行い(ステップS6)、表示画像取得手段42から取得された表示すべき画像にポインタマークの重畳された表示画像生成を行って(ステップS7)、それを表示させる(ステップS8)。また、ステップS4において、ポインタマーク重複状態でなければ、そのまま、ステップS7に進む。
【0113】
この図8に示した処理手順を具体的に説明する。たとえば、ポインティングデバイス21に対応付けられたポインタマーク(これをポインタマークM1とする)が、ポインティングデバイス22に対応付けられたポインタマーク(これをポインタマークM2とする)の位置に向かって移動したとする。これは、図1で説明したのと同じ状況である。なお、この場合、ポインタマークM1の優先度がポインタマークM2よりも高く設定されているものとする。
【0114】
ここで、ポインタマークM1とポインタマークM2とがポインタマーク重複状態となると、ポインタマーク重複判定手段43がそれらのポインタマーク重複状態を検出し、その情報(ポインタマークM1とポインタマークM2が重複していること、およびそれぞれのポインタマークの座標位置と重複状況等)をポインタマーク重畳画像生成手段44に渡す。なお、このポインタマーク同士の重複判定は、種々考えられるが、たとえば、次のようにして行うことができる。
【0115】
図9はポインタマーク同士の重複判定をそれぞれのポインタマークの外接矩形を用いて判断する例について説明する図であり、この図9によってポインタマーク重複判定の一例について説明する。ここでは、図9(a),(b)に示すような形状のポインタマークの重複判定について説明し、図9(a)に示すポインタマークをこの説明ではポインタマークMa、図9(b)に示すポインタマークをこの説明ではポインタマークMbする。
【0116】
まず、このような2つのポインタマークMa,Mbそれぞれに、図9(c),(d)に示すような外接矩形Ka,Kbを設定する。そして、これら各外接矩形Ka,Kbを一意に定義するための対角線上の2点の座標を求める。なお、この対角線上の2点の座標としては、この場合、x,y座標上における外接矩形のそれぞれx軸方向、y軸方向の最大値と最小値の座標とする。
【0117】
なお、この図9では、x軸については、図示の右方向へ行くほど座標を示す数値が大となり、y軸については図示の下方向に行くほど座標を示す数値が大となるものとしているので、ポインタマークMaの外接矩形Kaでは、点Pa1の座標(xa1,ya1)がx軸方向およびy軸方向の最小値、点Pa2の座標(xa2,ya2)がx軸方向およびy軸方向の最大値となる。同様に、ポインタマークMbの外接矩形Kbでは、Pb1の座標(xb1,yb1)がx軸方向およびY軸方向の最小値、Pb2の座標(xb2,yb2)がx軸方向およびy軸方向の最大値となる。このように、それぞれの外接矩形Ka,Kbを一意に定義することのできる対角線上の2点として、外接矩形Kaでは対角線上の2点Pa1,Pa2を求め、外接矩形Kbでは対角線上の2点Pb1,Pb2を求める。
【0118】
そして、これら2つの外接矩形Ka,Kbが重なっているか否かを判定し、外接矩形Kaと外接矩形Kbが重なっていれば、2つのポインタマークMa,Mbはポインタマーク重複状態であると判定する。
【0119】
この2つの外接矩形Ka,Kbが重なっているか否かの判定は、外接矩形Kaと外接矩形Kbがx軸方向で重なっているか否かを判定するとともに、y軸方向で重なっているか否かを判定し、x軸方向とy軸方向で共に重なっていれば、2つの外接矩形Ka,Kbは重なっていると判定される。この外接矩形kaと外接矩形Kbがx軸方向で重なっているか否かを判定するとともに、y軸方向で重なっているかを判定するには、図10に示すような方法で行うことができる。
【0120】
この図10において、Xaは外接矩形Kaのx軸方向に沿った1つの辺を表し、Xbは外接矩形Kbの同じくx軸方向に沿った1つの辺を表している。そして、辺Xaの先端および終端のx軸上の位置Xah、Xatと、辺Xbの先端および終端のx軸上の位置Xbh、Xbtにおいて、Xat<Xbhであれば、2つの辺Xa,Xbは重ならないと判定することができる。仮にXbh<Xatであれば、今度はXahとXbtを比較する。ここでXbt<Xahであれば2つの辺Xa,Xbは重ならないと判定することができる。反対にXah<Xbtであれば2つの辺Xa,Xbは重なると判定することができる。
【0121】
これをy軸方向に沿った外接矩形Ka,Kbのそれぞれの辺Ya,Yb(図10では示されていない)についても行い、x軸方向とy軸方向でそれぞれの辺Xa,XbおよびYa,Ybが共に重なっていると判定された場合は、2つの外接矩形Ka,Kbは重なっていると判定することができる。
【0122】
たとえば、図11(a)の場合は、それぞれのy軸方向に沿った辺Ya,Ybは、y軸方向では重なっていると判定されるが、それぞれのx軸方向に沿った辺Xa,Xbは、x軸方向では重なっていないと判定されるので、この場合は、2つの外接矩形Ka,Kbは重なっていないと判定される。一方、図11(b)の場合は、それぞれのx軸方向に沿った辺Xa,Xbおよびそれぞれのy軸方向に沿った辺Ya,Ybは、x軸方向およびy軸方向それぞれで重なっていると判定されるので、この場合は、2つの外接矩形Ka,Kbは重なっていると判定される。
【0123】
以上のようにして、外接矩形Ka,Kbの重なりを判定することができ、外接矩形Ka,Kbが重なっている場合には、ここでは、それぞれのポインタマークMa,Mbも重なっていると判定する。なお、図11(b)では、外接矩形Ka,Kbそのものは重なり合っているが、それぞれのポインタマークMa,Mbは重なり合ってはなく、近接した位置にあって接触した状態であるが、この実施の形態では、ポインタマーク同士が接触状態にある場合もポインタマーク重複状態であるとしている。
【0124】
なお、ポインタマーク同士が重複している否かの判定は、この図9から図11で説明した方法に限られるものではないことは勿論である。また、接触状態までをも含めてポインタマーク重複状態とするか否かなど、どのような状態をポインタマーク重複状態とするかは予め設定しておけばよく、それに応じたポインタマーク重複判定を行えばよい。
【0125】
ポインタマーク重畳画像生成手段44では、ポインタマーク重複判定手段43によって、ポインタマークM1,M2がポインタマーク重複状態となるとの判定がなされると、それぞれのポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成する。
【0126】
すなわち、このポインタマーク重畳画像生成手段44は、ポインタマーク重複判定手段43から、ポインタマークM1,M2が重複状態となるとの判定結果を受け取ると、まず、図1(a)〜(d)で説明したようなポインタマーク重複表示回避処理を行い、その後、そのポインタマークの重複が回避された状態となったそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を表示装置31に出力する。
【0127】
なお、図7ではポインタマーク表示制御装置40、すなわち、ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44などは、PC30側が持つ例で説明したが、このポインタマーク表示制御装置40は、プロジェクタなどの表示装置31側が持つようにしてもよい。この場合、ポインティングデバイスドライバPD1,PD2,・・・,PDnも表示装置31に持たせ、複数のポインティングデバイス21,22,・・・,2nは、その表示装置31に直接接続されるような構成とする。
【0128】
図12は表示画面を共有して離れた場所で会議を行うことを可能とする遠隔会議システムなどに本発明を適用した例を示すものである。この図12は、たとえば、ネットワーク51を介して接続された情報処理装置としてのPC301,PC302と、これらPC301,PC302に接続されたプロジェクタなどの表示装置311,312を有し、表示媒体の1つであるスクリーン321,322上の表示画面11,12をポインタマークによって指示しながら会議を進行させて行く例である。
【0129】
なお、この図12の例では、PC301側には2個のポインティングデバイス21,22(2個ともマウスである例が示されている)が接続され、PC302側にも2個のポインティングデバイス23,24(一方がマウスであり、他方がペンタブレットである例が示されている)が接続されている。
【0130】
また、PC301側のポインティングデバイス21に対応するポインタマークはM1、ポインティングデバイス22に対応するポインタマークはM2であるとし、PC302側のポインティングデバイス23に対応するポインタマークはM3、ポインティングデバイス24に対応するポインタマークはM4であるとする。
【0131】
このように、この図12では、PC301,PC302それぞれに2個ずつのポインティングデバイス(ポインティングデバイス21,22とポインティングデバイス23,24)を接続して、それぞれのポインティングデバイス21,22,23,24対応のポインタマークM1,M2,M3,M4を、表示画面11,12上に表示させているが、これを実現するためには、PC301、PC302は、複数個のポインティングデバイスを接続可能とするための接続インタフェース部と、それぞれのポインティングデバイスごとのポインタマークを表示画面11,12上に表示可能とするソフトウエアなどが搭載されていることが必要である。
【0132】
また、PC301に接続されたポインティングデバイス21,22の各々に対応する各々のポインタマークM1,M2は、表示装置311によって映し出される表示画面11上の任意の位置の指示が可能であるとともに、他方の表示装置312によって映し出される表示画面12上の任意の位置(表示画面11上の指示位置と同じ位置)の指示が可能である。同様に、PC302に接続されたポインティングデバイス23,24の各々に対応する各々のポインタマークM3,M4は、表示装置312によって映し出される表示画面12上の任意の位置の指示が可能であるとともに、他方の表示装置311によって映し出される表示画面11上の任意の位置(表示画面12上の指示位置と同じ位置)の指示が可能である。
【0133】
このように、互いに離れた場所で、それぞれが表示画面を共有してそれぞれの会議参加者が自分のポインティングデバイスによって、表示画面11,12上の任意の位置を指示しながら会議を進行することができる。
【0134】
図13は図12を実現するに必要な構成要素をブロック図化した一例を示すもので、PC301,PC302は、ネットワーク(この図13では図示されていない)を介して相互に情報授受を行うための送信手段61と受信手段62をそれぞれ有するとともに、自身に接続される複数のポインティングデバイス21,22,・・・,2n(図12ではポインティングデバイスはそれぞれ2個ずつとした例が示されているが、図13ではポインティングデバイスはn個設けられた例が示されている)に対応するポインティングデバイスドライバPD1,PD2,・・・,PDnをそれぞれ有している。
【0135】
また、この図13では、図7で説明したポインタマーク表示制御装置40、すなわち、ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44などは、PC301,PC302とは別に用意されたサーバ70に持たせるようにしている。
【0136】
したがって、この図13のように、サーバ70は、図示しないネットワークを通じて、PC301,PC302と情報の授受を可能とするための送信手段71と受信手段72を有し、PC301,PC302のそれぞれの送信手段61から、図示しないネットワーク経由で送られてくる座標情報などを受信手段72が受け取って、それをポインタマーク重複判定手段43に渡す。
【0137】
また、このサーバ70のポインタマーク重畳画像生成手段44で作成されたポインタマーク重畳画像は、送信手段71から図示しないネットワークを介してPC301,PC302のそれぞれの受信手段62に送信され、そのポインタマーク重畳画像を受け取ったPC301,PC302では、そのポインタマーク重畳画像を自身に接続された表示装置311,312に渡す。
【0138】
なお、サーバ70におけるポインタマーク重複判定手段43やポインタマーク重畳画像生成手段44の動作については、図7で説明したのでここでは省略する。
【0139】
なお、このサーバ70は、この図13に示したように、PC301,PC302とは別に用意されるものであってもよいが、PC301またはPC302のいずれかがこのサーバ機能を持つようにしてもよい。
【0140】
たとえば、PC301がサーバ機能を持つ場合は、PC301がポインタマーク表示制御装置40(ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44)を有する。
【0141】
そして、PC301では、自身に接続されたポインティングデバイス21,22,・・・,2nによるポインティング操作に対する座標情報を、対応するポインティングデバイスドライバから取得して、それをポインタマーク重複判定手段43に渡し、ポインタ重複判定処理を行い、その判定結果に基づいてポインタマーク重畳画像生成手段44がポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を自身に接続された表示装置311に渡すとともに、送信手段61から図示しないネットワーク介してPC302側に送信する。PC302では、PC301側から送信されてきたポインタマーク重畳画像を自身の受信手段62で受け取り、それを自身に接続された表示装置312に渡す。
【0142】
一方、PC302側でのポインティング操作(PC302に接続されたポインティングデバイス21,22,・・・,2nによるポインティング操作)に対する座標情報(この座標情報は、対応するポインティングデバイスドライバから出力される)は、自身の送信手段61から図示しないネットワークを介してPC301側に送信され、それをPC301の受信手段62が受け取って、ポインタマーク重複判定手段43に渡し、ポインタ重複判定処理を行い、その判定結果に基づいてポインタマーク重畳画像生成手段44がポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を自身に接続された表示装置311に渡すとともに、送信手段61から図示しないネットワーク介してPC302側に送信して、PC302ではそれを自身の受信手段62で受け取ったのちに、自身に接続された表示装置312に渡す。
【0143】
このような遠隔会議システムを構築することによって、離れた場所にいる複数の会議参加者が、それぞれの表示画面11,12上でポインティング操作することができる。このとき、複数のポインタマークM1,M2,M3,M4のうち2つ以上のポインタマークが同じ座標値に指示されたり、同じ機能領域に指示されたりするポインタマーク重複状態となることがあるが、このようなポインタマーク重複状態となっても、前述したようなポインタマーク重複表示回避処理がなされることによって、ポインタマーク重複状態での表示を回避することができる。
【0144】
このような遠隔会議を行う際、前述した優先度などは予め設定しておき、それぞれの会議参加者がその優先度を知った上でポインティング操作することで、それぞれの会議参加者間でのトラブルなどの発生を未然に防止することができ、円滑な会議進行がなされる。
【0145】
なお、図12および図13では、離れた場所にある2箇所で会議を行う例が示されているが、3箇所以上で会議を行う場合であっても同様に実施することができる。
【0146】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、複数のポインタマークは、矢印型のポインタマークを用い、それぞれが異なった模様などを有する例で説明したが、ポインタマークは矢印型だけではなく、様々な種類のものを使用することができることは勿論である。また、それぞれの操作者が自分のポインタマークをその動きなどから把握できれば、複数のポインタマークはすべて同じであってもよい。
【0147】
また、前述の実施の形態では、ポインタマーク重複表示回避処理として、重複状態となるポインタマークの表示画面上での位置を変更するような処理、すなわち、優先度の高いポインタマークが優先度の低いポインタマークを押しのける処理(図1(b)参照)、優先度の高いポインタマークにより、優先度の低いポインタマークが所望とする位置に達することができないようにその移動を阻止するような処理(図1(c)参照)、ポインタマークの指示方向を変更させるような処理(図1(d)参照)について説明したが、これ以外にも種々の処理が存在する。
【0148】
たとえば、一方(優先度の低い方)のポインタマークの形状を優先度の高いポインタマークと容易に識別できるような形状に変更させる処理、一方(優先度の低い方)のポインタマークの色を優先度の高いポインタマークと容易に識別できるような色に変更させる処理、一方(優先度の低い方)のポインタマークの大きさを優先度の高いポインタマークと容易に識別できるように小さくする処理などが考えられる。また、これら(図1で説明したものを含む)を組み合わせるようにしてもよい。
【0149】
また、前述の実施の形態では、主に、プロジェクタなどの表示装置とPCなどの情報処理装置を組み合わせてなる会議システムなどに本発明を適用する例で説明したが、このような会議システム以外のたとえば複数のポインタマークが表示されるゲーム機などにも適用できる。
【0150】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【図1】本発明のポインタマーク表示制御方法におけるポインタマーク重複表示回避処理を説明する図である。
【図2】図1に示すポインタマーク重複表示回避処理において、一方のポインタマークが他方のポインタマークを押しのける制御を行った場合、押しのけたポインタマークがその位置を去ったあとの押しのけられたポインタマークの処理について説明する図である。
【図3】図1に示すポインタマーク重複表示回避処理を行う際、ポインタマーク重複表示回避処理対象となるそれぞれのポインタマークにアニメーション表示を付加した例を示す図である。
【図4】図1に示すポインタマーク重複表示回避処理を行う際、ポインティングデバイスとしてポインティング操作に対するリアクション動作を行うマウスを用いた場合の情報表示システムの概略構成を示す図である。
【図5】図4で示したマウスの構成例を示す図である。
【図6】図5で示したリアクション動作部の具体例を示す図である。
【図7】本発明のポインタマーク表示制御装置を組み込んだ情報表示システムの構成を説明するブロック図である。
【図8】図7で示した情報表示システムにおけるポインタマーク表示制御の全体的な処理の流れを説明するフローチャートである。
【図9】ポインタ重複状態判定を説明するためにポインタマークに外接矩形を設定する例を説明する図である。
【図10】2つの外接矩形の重なりを判定する例を説明する図である。
【図11】図10の重なり判定によってポインタマークの重複判定を行う例を説明する図である。
【図12】本発明を適用した遠隔会議システムを説明する図である。
【図13】図12で示した遠隔会議システムの構成をブロック図化して示す図である。
【符号の説明】
1,11,12 表示画面、21,22,・・・,2n ポインティングデバイス、30,301,302 情報処理装置(PC)、31,311,312 表示装置、32,321,322 表示媒体(スクリーン)、40 ポインタマーク表示制御装置、41 ポインタマーク記憶手段、42 表示画像取得手段、43 ポインタマーク重複判定手段、44 ポインタマーク重畳画像生成手段、61,71 送信手段、62,72 受信手段、70 サーバ、M1,M2,M3,M4 ポインタマーク
【発明の属する技術分野】
本発明は、複数のポインティングデバイスを使用して表示画面上を指示する際、複数のポインティングデバイスの各々に対応する各々のポインタマーク同士が重複状態で表示されるのを回避するポインタマーク表示制御方法およびポインタマーク表示制御装置に関する。
【0002】
【従来の技術】
プロジェクタを用いてスクリーンなどに情報を投影して会議を行ったり、通信回線を用いて離れた場所で、表示画面を共有しながら会議を行ったりすることが一般的に行われている。この場合、会議やプレゼンテーションをより効率的に進行させるため、表示画面上に複数のポインタマークを表示させて、これら複数のポインタマークによって所望とする位置を指示できるようにすることも望まれている。
【0003】
表示画面上に複数のポインタマークを表示させる場合、複数のポインタマークが同じ座標値あるいは近接した座標値を指示する状況がしばしば発生する。このように、2つのポインタマークが同じ座標値あるいは近接した座標値を指示すると、一方のポインタマークが他方のポインタマークにオーバレイして、オーバレイされたポインタマークの一部または全部が見えなくなるということが起こる。
【0004】
このように、ポインタマーク同士の重複によって、ポインタマークの一部または全部が見えなくなるのは、状況によっては避けたい場合もあり、それに対処するためには、ポインタマーク同士の重複が生じた場合、オーバレイされたポインタマークの一部または全部が見えなくなるのを防ぐようなポインタマーク表示制御処理を行う必要がある。
【0005】
このようなポインタマーク同士の重複に対処するための技術の一例として、たとえば、特開平2001−157184号公報に記載の「画面共有端末装置とその表示方法」がある。
【0006】
この従来技術は、表示画面上に異なる方向から指示する細長いポインタマークを表示するようにし、しかも、そのポインタマークを半透明もしくは輪郭のみからなる画像とし、それによって、ポインタマーク同士が重なりあっても、それぞれのポインタマークを明確に区別できるようにしたものである。
【0007】
【特許文献1】
特開平2001−157184号公報
【0008】
【発明が解決しようとする課題】
上述した従来技術は、複数のポインタマークの重複時において、重複したポインタマークを区別しやすくすることは可能であるが、複数のポインタマークの重複を許すことを前提にしたポインタマーク表示制御であるため、たとえ、それぞれのポインタマークを半透明にしたり、輪郭のみを表示させるようにしたとしても、結局は複数のポインタマークが重なり合うことになるので、複数のポインタマークが一箇所に集中したような場合、個々のポインタマークを瞬時に識別しにくいという問題がある。
【0009】
また、ポインタマークの重複に対しては、それぞれのポインタマークが同一座標値や近接した座標値を指示した場合だけでなく、複数のポインタマークが同じ機能指示領域(たとえば、アイコンなどコマンド入力を行うことのできるある一定範囲の領域)を同時に指示する状況に対しても何らかの対処を行う必要がある。
【0010】
すなわち、複数のポインタマークが同じ機能指示領域を同時に指示することが可能となると、どの操作者によってそのコマンド入力がなされたかが不明となるなど、状況によっては好ましくない場合もある。また、その機能指示領域から数値などのデータ入力ができるようなシステムでは、複数の操作者によって矛盾したデータ入力がなされるおそれもあり、会議などの進行の妨げとなることも考えられる。
【0011】
なお、複数のポインティングデバイスによる同じ機能指示領域での矛盾したコマンド入力などを回避させる従来技術としては、たとえば、それぞれのポインティングデバイスに対して、ポインティング操作権を設定し、このポインティング操作権の付与されたポインティングデバイスのみが、ある時点でのポインティング操作やコマンド入力を可能とするといったポインティング操作制御を行う技術が従来から提案されているが、この技術では、会議やプレゼンテーションにおいて、同時に複数のポインティングデバイスを用いて自由にポインティング操作することができないため、活発な論議が阻害されるおそれもある。
【0012】
そこで本発明は、複数のポインティングデバイスを用いて表示画面上をポインティング操作する際、複数のポインティングデバイスの各々に対応する各々のポインタマークがポインタマーク重複状態で表示されるのを回避する制御を行い、それによって、複数のポインティングデバイスによる柔軟性のあるポインティング操作を可能とするポインタマーク表示制御方法およびポインタマーク表示制御装置を提供することを目的としている。
【0013】
【課題を解決するための手段】
上述の目的を達成するために本発明のポインタマーク表示制御方法は、ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御方法であって、そのポインタマーク表示制御処理は、前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定し、ポインタマーク重複状態となるとの判定がなされた場合は、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態で表示されるのを回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成することを特徴としている。
【0014】
これによって、複数のポインティングデバイスを用い、その複数のポインティングデバイスの各々に対応する各々のポインタマークによって、ある表示画面上の所定位置をポインティング操作するような場合、複数のポインティングデバイスで同じ位置をポインティング操作するような状況が発生しても、その位置でそれぞれのポインタマークが重複することがなくなり、ポインティングデバイスとポインタマークとの対応付けを容易に行うことができる。これにより、たとえば、プロジェクタなどを用いた会議などにおいて、多数の会議参加者がそれぞれのポインティングデバイスを用いて表示画面上を指示しながら会議を進行させるような場合、どのポインティングデバイス(どの会議参加者)がどこを指示しているのかが容易にわかり、会議を円滑に進行させることができる。
【0015】
このようなポインタマーク表示制御方法において、前記ポインタマーク重複状態は、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態であることが好ましい。
【0016】
ここで、複数のポインタマーク同士が表示画面上の同じ位置に存在するというのは、たとえば、複数のポインタマークが同じ座標値を指示している状態であり、また、複数のポインタマーク同士が表示画面上のそれぞれ近接した位置に存在するというのは、たとえば、複数のポインタマークが近接した座標値を指示している状態であり、このように、複数のポインタマークが同じ座標値を指示した場合だけでなく、複数のポインタマークが近接した座標値を指示した場合にも、ポインタマーク重複表示回避処理が行われるので、ポインタマーク全体が重なる場合だけでなく、その一部が重なり合う状態をも防止することができる。
【0017】
さらに、複数のポインタマークが同一機能指示領域を指示した場合にも、ポインタマーク重複表示回避処理を行うことができる。この複数のポインタマークが同一機能指示領域を指示した場合というのは、たとえば、アイコンなどコマンド入力を行うことのできる領域を複数のポインタマークが同時に指示する状態となった場合である。
【0018】
このように、複数のポインタマークが同じ機能指示領域を指示した場合にも、ポインタマーク重複表示回避処理を行うことができるので、複数の操作者によって、同じ機能指示領域から同時にコマンド入力され、どの操作者によってそのコマンド入力がなされたかが不明となるのを確実に防止することができ、また、矛盾したコマンドが入力されることも防止することができる。
【0019】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理は、重複状態となるポインタマークのうちの少なくとも1つのものについて、表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理とすることが好ましい。
【0020】
これによって、同じ箇所に複数のポインタマークが集中したような場合にも、それぞれのポインタマークを容易に識別することができる。
【0021】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行うことが好ましい。
【0022】
このように、それぞれのポインタマークに設定された優先度に基づいて、ポインタマーク重複表示回避処理を行うことによって、会議などで複数の会議参加者がそれぞれのポインティングデバイスを操作するような場合、ポインタマークが同じ位置を指示したときでも、その優先度に沿ったポインタマーク重複表示回避処理がなされるので、それぞれの会議参加者間でのトラブルなどの発生を未然に防止することができ、円滑な会議進行がなされる。
【0023】
また、このポインタマーク表示制御方法において、優先度に基づいたポインタマーク重複表示回避処理は、優先度の最も高いポインタマーク以外のポインタマークに対し表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理であることが好ましい。
【0024】
これによって、優先度の最も高いポインタマークのみがある位置を指示することができるので、複数のポインタマークの重複を確実に防止することができる。
【0025】
また、このポインタマーク表示制御方法において、前記表示画面上の位置を制御する処理は、優先度の高いポインタマークが優先度の低いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークによって優先度の低いポインタマークを押しのける処理とすることができる。
【0026】
これにより、複数のポインタマークの重複を確実に防止することができ、優先度の高いポインタマークのみが所望とする位置を指示することができるので、特に、機能指示領域などでコマンド入力するような場合に有効なものとなる。
【0027】
また、このポインタマーク表示制御方法において、前記表示画面上の位置を制御する処理は、優先度の低いポインタマークが優先度の高いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークが、優先度の低いポインタマークの移動をある位置で阻止する処理としてもよい。
【0028】
これによっても、上述したように、複数のポインタマークの重複を確実に防止することができ、優先度の高いポインタマークのみが所望とする位置を指示することができるので、特に、機能指示領域などでコマンド入力するような場合に有効なものとなる。
【0029】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態を視覚的に表現可能な表示を付加することも可能である。
【0030】
これによって、複数のポインタマークが重複しそうになった場合に、ポインタマーク重複表示回避処理対象の複数のポインタマークに対し、どのようなポインタマーク重複表示回避処理が施されているかが視覚的によくわかる。また、操作者に遊び心を持たせることができ、会議などで用いることによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0031】
また、このポインタマーク表示制御方法において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態をそのポインティングデバイスを操作する操作者に触覚、聴覚の少なくとも一方の感覚として伝達可能とすることも可能である。
【0032】
これにより、複数のポインタマークが重複しそうになった場合に、ポインタマーク重複表示回避処理時において、ポインタマーク重複表示回避処理対象の複数のポインタマークの動作が触覚や聴覚などの感覚として操作者に伝わるので、ポインタマーク重複表示回避処理対象の複数のポインタマークに対し、どのようなポインタマーク重複表示回避処理が施されているかがよくわかる。また、上述同様、操作者に遊び心を持たせることができ、会議などで用いることによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0033】
また、本発明のポインタマーク表示制御装置は、ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御装置であって、このポインタマーク表示制御装置は、前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段と、このポインタマーク重複判定手段によってポインタマーク重複状態となるとの判定がなされると、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複表示されるのを回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段と有することを特徴としている。
【0034】
これによって、複数のポインティングデバイスを用い、これら複数のポインティングデバイスの各々に対応する各々のポインタマークによって、ある表示画面上の所定位置をポインティング操作するような場合、複数のポインティングデバイスで同じ位置をポインティング操作するような状況が発生しても、その位置でそれぞれのポインタマークが重複することがなくなり、ポインティングデバイスとポインタマークとの対応付けを容易に行うことができる。これにより、たとえば、プロジェクタなどを用いた会議などにおいて、多数の会議参加者がそれぞれのポインティングデバイスを用いて表示画面上を指示しながら会議を進行させるような場合、どのポインティングデバイス(どの会議参加者)がどこを指示しているのかが容易にわかり、会議を円滑に進行させることができる。
【0035】
また、このポインタマーク表示制御装置は、その構成要素として、2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段と、このポインタマーク重複判定手段によってポインタマーク重複状態となるとの判定がなされると、そのポインタマークが重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段を持つことで実現できるので、情報表示システムなどに容易に適用することができる。
【0036】
また、このポインタマーク表示制御装置においても、上述のポインタマーク表示制御方法と同様、前記ポインタマーク重複状態は、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態であることが好ましい。
【0037】
また、このポインタマーク表示制御装置において、ポインタマーク重複表示回避処理は、重複状態となるポインタマークの表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理とすることが好ましい。
【0038】
また、このポインタマーク表示制御方法において、ポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行うことが好ましい。
【0039】
また、このポインタマーク表示制御装置において、優先度に基づいたポインタマーク重複表示回避処理は、優先度の最も高いポインタマーク以外のポインタマークに対し前記表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理を行うことが好ましい。
【0040】
また、このポインタマーク表示制御装置において、表示画面上の位置を制御する処理は、優先度の高いポインタマークが優先度の低いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークによって優先度の低いポインタマークを押しのける処理とすることができる。
【0041】
また、このポインタマーク表示制御装置において、前記表示画面上の位置を制御する処理は、優先度の低いポインタマークが優先度の高いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークが、優先度の低いポインタマークの移動をある位置で阻止する処理としてもよい。
【0042】
また、このポインタマーク表示制御装置において、ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態を視覚的に表現可能な表示を付加することもできる。
【0043】
また、このポインタマーク表示制御装置において、前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態をそのポインティングデバイスを操作する操作者に触覚、聴覚の少なくとも一方の感覚として伝達可能とすることもできる。
【0044】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明のポインタマーク表示制御方法およびポインタマーク表示制御装置の両方の説明を含むものである。
【0045】
図1は本発明のポインタマーク表示制御方法を説明する図であり、まずは、この図1を参照しながら本発明が行うポインタマーク表示制御処理の概略について説明する。なお、この図1は表示画面1上に複数のポインティングデバイス(ここでは図示されていない)の各々に対応する矢印型の複数のポインタマーク(2つのポインタマークM1,M2とする)が表示され、これらポインタマークM1,M2は、対応するポインティングデバイスによって、表示画面1上の任意の位置(座標値)を指示できるようになっているとともに、その位置からコマンド入力が可能となっているものとする。
【0046】
なお、ここでのコマンド入力としては、たとえば、アイコンをクリックして他のアプリケーションを画面上に開いたり、そのポインティング位置に存在するデータを他の場所に移動させたり、そのポインティング位置からデータ入力を行ったりデータ修正を行ったりするというような処理である。
【0047】
今、これら2つのポインタマークM1,M2のうち、一方のポインタマークM1が図1(a)のような位置P1(これを初期位置とし、その座標値を(x1,y1)とする)に存在し、この初期位置P1から、たとえば、矢印A方向、すなわち、他方のポインタマークM2の存在する位置P2(その座標値を(x2,y2)とする)の方向に移動して行くことを考える。
【0048】
このように、一方のポインタマーク(この例ではポインタマークM1)が他方のポインタマーク(この例ではポインタマークM2)の位置P2方向に移動して来た場合のポインタマーク表示制御処理の具体例について以下に説明する。なお、本発明は、一方のポインタマーク(この例ではポインタマークM2)が他方のポインタマーク(この例ではポインタマークM1)の存在する位置P1に向かって移動した場合も、両者が重複した状態で表示されないようなポインタマーク重複表示回避処理をポインタマーク表示制御処理の1つとして行うことを特徴の1つとしている。このポインタマーク重複表示回避処理については後に詳細に説明する。
【0049】
また、このポインタマーク重複表示回避処理が実行されるのは、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態となった場合である。
【0050】
ここで、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態というのは、たとえば、2つのポインタマークが同じ座標値を指示することによって、それぞれのポインタマークが殆ど重なり合うような状態となった場合などであり、また、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態というのは、たとえば、2つのポインタマークがそれぞれ近接した座標値を指示することによってそれぞれのポインタマークが接触したり部分的に重なり合うような状態となった場合などである。
【0051】
また、同一機能指示領域というのは、あるコマンド入力の可能な限られた領域であり、たとえば、ある1つのアイコンの表示領域などがそれに相当し、この1つのアイコンなどに複数のポインタマークが指示した場合も、ポインタマーク重複表示回避処理を行うことができる。
【0052】
なお、本発明では、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態をまとめてポインタマーク重複状態という表現を用いるものとし、2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避する処理をポインタマーク重複表示回避処理と呼んでいる。
【0053】
このポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行う。
【0054】
その優先度としては、▲1▼当初からある位置に存在するポインタマークの優先度を、その位置またはその近傍に移動してくるポインタマークよりも高くする、▲2▼ある位置に移動してくるポインタマークの優先度を、当初からその位置またはその近傍に存在するポインタマークよりも高くする、▲3▼複数のポインティングデバイスに対し始めから優先度を設定しておく、▲4▼ポインタマークが多種設定されている場合には、それぞれのポインタマークの種類に対し始めから優先度を設定しておく、▲5▼複数のポインタマークのそれぞれが有しているパラメータ(移動速度、占有画素数、形状、色等)を1つ以上組み合わせて構成した評価関数を、各ポインタマークごとに計算し、その値の大小によって各ポインタマークの優先度を決定する方法(評価関数の値の大きいほうが優先度が高い等)もある。
【0055】
なお、▲3▼の複数のポインティングデバイスに対し、始めから優先度を設定する場合は、たとえば、ポインティングデバイスの種類、情報処理装置などへの接続順序、接続ポートの種類などによって、予め優先度を設定しておいてもよく、また、たとえば、会議であればその会議の議長役などが、ポインティングデバイスの優先度を設定することも可能である。
【0056】
また、▲4▼は単純にポインタマークの各種類によって予め優先度が設定されている場合である。
【0057】
また、▲5▼の各ポインタマークごとに評価関数を計算し、その値によって優先度を決定する方法の場合の評価関数の例としては、単に各ポインタマークの表示画面上での占有画素数とする方法、または各ポインタマークの移動速度とする方法、更には、力学の分野でいうところの「運動エネルギ」の概念を模した表現としての「占有画素数×移動速度の2乗」のような式を用いる方法などが考えられる。なお、ここで挙げた幾つかの評価関数の例は、いずれも人間の物理的な感覚に適合した表現であり、各ポインティングデバイスの操作者にとって納得しやすい優先度の決定方法であるといえる。
【0058】
ここで、図1(a),(b)に示すように、ポインタマークM1がその初期位置P1から、矢印A方向に移動し、ポインタマークM2の当初からの位置P2に極めて近い位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に到達し、そのままでは、ポインタマークM1とポインタマークM2は重なり合う状態(ポインタマーク重複状態)となるものとする。
【0059】
このとき、上述の▲3▼が適用されているものとし、その優先度設定として、ポインタマークM1を発しているポインティングデバイスがポインタマークM2を発しているポインティングデバイスよりも優先度が高く設定されているとする。
【0060】
このように、ポインタマークM1が移動することによって、ポインタマークM1とポインタマークM2がポインタマーク重複状態となると、この図1(b)に示すように、ポインタマークM1がポインタマークM2を矢印a方向へ押しのけて、ポインタマークM2をポインタマークM1に重ならない位置P2’(その座標値を(x2’,y2’)とする)に移すようなポインタマーク重複表示回避処理がなされる。
【0061】
これによって、ポインタマークM1は、ポインタマークM2の当初の位置P2の近傍の位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に表示される。
【0062】
この位置P1’は、ポインタマークM2が当初から指示している位置P2にきわめて近接した位置であるため、もし、ポインタマークM2がその位置P2に留まっていれば、ポインタマークM1がポインタマークM2に重なり合ってポインタマーク重複状態となるが、この図1(b)に示すように、優先度の高いポインタマークM1がポインタマークM2を押しのけることによって、ポインタマークM1とM2は重複しない位置(ポインタマークM1は位置P1’、ポインタマークM2は位置P2’)でそれぞれ表示される。
【0063】
なお、この例の場合、もし、▲2▼が適用されているとすれば、移動してくるポインタマークM1の優先度が、当初からその位置に存在するポインタマークM2よりも高いので、上述の▲3▼が適用された場合と同様の処理がなされるが、▲1▼が適用されている場合は、当初からその位置に存在するポインタマークM2の優先度が、その位置にまで移動してくるポインタマークM1よりも高いので、たとえば、図1(c)に示すように、ポインタマークM1の移動がポインタマークM2の位置P2の手前の位置P1’(その座標値を(x1’,y1’)とする)で阻止されるようなポインタマーク重複表示回避処理がなされ、ポインタマークM1は、ポインタマークM2の位置P2またはその近傍位置までに到達することができず、ポインタマーク重複状態で表示されるのを回避することができる。
【0064】
なお、ポインタマークM1の移動がポインタマークM2の位置の手前で阻止されるようなポインタマーク重複表示回避処理としては、ポインタマークM1の移動がポインタマークM2によって阻まれてそれ以上移動できないようにする処理や、ポインタマークM1がポインタマークM2に近づくと、ポインタマークM2がポインタマークM1を跳ね返すような処理などが考えられる。
【0065】
ところで、ポインタマーク重複表示回避処理は、複数のポインタマークが重なり合わないようにするだけでなく、上述したように、複数のポインタマークが同一機能指示領域を指示した場合にも行われるようにすることができる。したがって、図1(b)の例では、ポインタマークM1の到達しようとする位置P1’が、ある機能指示領域内であれば、ポインタマークM2はその機能指示領域を外れた位置まで押しのけられるようなポインタマーク重複表示回避処理がなされ、また、図1(c)の例では、ポインタマークM2がその機能指示領域内に入る前の位置でそれ以上の移動を阻止するようなポインタマーク重複表示回避処理がなされる。
【0066】
以上のようなポインタマーク重複表示回避処理を行うことによって、ポインタマーク重複状態で表示されるのを回避することができるが、ポインタマーク重複状態で表示されるのを回避するためのポインタマーク重複表示回避処理としては、これ以外に図1(d)に示すようなポインタマーク重複表示回避処理もある。
【0067】
この図1(d)は、たとえば、▲1▼の優先度設定、つまり、当初からある位置に存在するポインタマークの優先度を、その位置の方向に移動してくるポインタマークよりも高くするという設定がなされている場合の制御であり、この場合、ポインタマークM1がポインタマークM2の当初の位置P2(その座標値を(xb,yb)とする)に向かって移動し、位置P2に極めて近い位置P1’(その座標値を(x2±Δx,y2±Δy)とする)に到達したとき、ポインタマークM1をその座標値(x2±Δx,y2±Δy)を中心に所定角度回転させた状態で表示させる。
【0068】
この実施の形態ではポインタマークM1は、矢印型としているので、この矢印の先端部の座標値、すなわち、ポインタマークM1の位置P1’の座標値(x2±Δx,y2±Δy)を中心として、時計方向にほぼ60度回転させて表示する例が示されている。なお、所定角度回転させるのではなく、この矢印を左右反転、すなわち、矢印の先端部の座標値(x2±Δx,y2±Δy)を通る表示画面1上のy軸方向(図示の上下方向)の直線を中心として折り返した位置に表示させるようにしてもよい。これによって、本来、重なり合うはずの2つのポインタマークM1,M2が、重なり合わないようにすることができる。
【0069】
なお、この図1(d)において、ポインタマークM1がポインタマークM2よりも優先度が高いものと設定されている場合は、ポインタマークM1の移動に伴って、ポインタマークM2を、上述同様、その先端を中心として、両者が重ならないような方向に回転させるなどのポインタマーク重複表示回避処理を行えばよい。
【0070】
このようなポインタマーク重複表示回避処理としては、これら以外に、たとえば、優先度の低いポインタマークを縮小表示したり、優先度の低いポインタマークの種類を変えてそれぞれのポインタマークが重なり合わないような形状に変更するといったことも可能である。
【0071】
以上、図1(a)〜(d)によって、一方のポインタマークM1が他方のポインタマークM2に向かって移動することによるポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理の一例について説明した。
【0072】
このようなポインタマーク重複表示回避処理を行うことによって、本来、複数のポインタマークがポインタマーク重複状態で表示されてしまう状況において、それらのポインタマークがポインタマーク重複状態で表示されるのを回避することができる。それによって、どのポインティングデバイスがどこを指示しているかが容易にわかる。
【0073】
このように、本発明では、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態など、2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避することができる。
【0074】
これによって、2つ以上のポインタマークが同じ座標値を指示した場合や2つ以上のポインタマークが近接した座標値を指示した場合でも、それぞれのポインタマーク全体が殆ど重なり合った状態で表示されたり、また、一部が重なり合ったり、接触した状態で表示されるのを防止することができ、多数のポインタマークが一箇所に集中したような場合でも、それぞれのポインタマークを容易に識別することができる。
【0075】
また、2つ以上のポインタマークが重なり合うか否かに関係なく、同一機能指示領域を指示した場合でも、その機能指示領域内を指示できるのは、優先度のもっとも高いポインタマークのみであるので、どのポインタマーク(どの操作者)によってコマンド入力操作がなされたかを容易に確認することができ、また、矛盾したコマンド操作などが行われるのを未然に防止することができる。
【0076】
次に、上述のようなポインタマーク重複表示回避処理を行ったあと、移動してきたポインタマーク(上述の例では、ポインタマークM1)が、その位置を去って、他の位置に移動した場合について説明する。これは、たとえば、図1(b)を例にとれば、ポインタマークM1がこの図1(b)で示した位置P1’に到達したあと、さらに他の位置に移動した場合であり、このような場合、押しのけられたポインタマークM2をどのようにするかついて図2を参照しながら以下に説明する。
【0077】
図2(a)は図1(b)と同じ状態、つまり、ポインタマークM1によってポインタマークM2が押しのけられた状態を示す図であり、この状態では、ポインタマークM1は、座標値(x2±Δx,y2±Δy)の位置P1’にあり、ポインタマークM2は、座標値(x2’,y2’)の位置P2’に移されている。
【0078】
このような状態において、ポインタマークM1が図2(b)に示すように、左方向(矢印B方向)にほぼ水平移動し、位置P1’から十分に離れた位置P1’’(その座標値を(x1’’,y1’’)とする)に移動したとする。
【0079】
このように、ポインタマークM2を押しのけたポインタマークM1が、その後、その押しのけた位置から十分離れた位置にまで去って、ポインタマークM2が元の位置P2に戻れる状態となった場合は、この図2(b)に示すように、そのポインタマークM2を矢印a’方向に動かして元の位置に復帰させることも可能であり、また、図2(c)に示すように、ポインタマークM2が元の位置P2に戻らず、押しのけられた位置P2’にそのまま留まらせることも可能である。
【0080】
また、図1で説明したようなポインタマーク重複表示回避処理を行う際、ポインタマーク重複表示回避処理対象となるそれぞれのポインタマークが、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的にわかるような表示(この例ではアニメーション表示)を付加することもできる。
【0081】
図3はそのアニメーション表示の付加例を説明する図であり、図3(a)は、一方のポインタマーク(ポインタマークM1とする)が矢印A方向に移動してきて、当初からある位置に存在する他方のポインタマーク(ポインタマークM2とする)を押しのけようとする際、ポインタマークM1が汗をかきながら懸命にポインタマークM2を押しのけようとしている様子を示すものである。なお、図中、m1はアニメーション表示として付加された汗を表すマークである。
【0082】
また、図3(b)は、図3(a)と同様、ポインタマークM1がポインタマークM2を押しのけようとする場合であるが、この図3(b)では、ポインタマークM2が、ポインタマークM1に押しのけられそうになって、焦って汗をかいている様子を示すものである。
【0083】
これら図3(a),(b)は、図1(b)のポインタマーク重複表示回避処理に対応するもので、図1(b)において、この図3(a)または(b)のようなアニメーション表示を付加することで、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2が、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかる。また、操作者がそのアニメーション表示を見ることによって、現在、どのようなポインタマーク重複表示回避処理がなされているかを知ることができる。
【0084】
また、図3(c)は、一方のポインタマークM1が矢印A方向に移動してきて、当初からある座標値を指示している他方のポインタマークM2に重複しそうになったとき、ポインタマークM2はポインタマークM1のそれ以上の移動を阻止しようと精一杯頑張り、一方、ポインタマークM1は汗をかきながら懸命に押しのけようとしている様子を示すものである。なお、図中、m2はアニメーション表示として付加された移動を阻止しようと精一杯頑張っている様子を表すマークである。
【0085】
この図3(c)は、図1(c)のポインタマーク重複表示回避処理に対応するもので、図1(c)において、この図3(c)のようなアニメーション表示を付加することで、上述同様、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2が、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかる。また、図3(a),(b)の場合と同様に、操作者がそのアニメーション表示を見ることによって、現在、どのようなポインタマーク重複表示回避処理がなされているかを知ることができる。
【0086】
また、図3(d)は、ポインタマークM1が矢印A方向に移動し、ポインタマークM2がそれと反対方向(矢印B方向)に移動して、ある座標値で衝突した様子を示すものである。なお、図中、m3はアニメーション表示として付加された衝突を表すマークである。なお、このように、2つ以上のポインタマークが衝突する状況となった場合も、図1で説明したように、優先度の高いポインタマークが優先度の低いポインタマークを押しのけたり、跳ね返したりするようなポインタマーク重複表示回避処理がなされる。
【0087】
この図3(a)〜(d)で説明したように、そのときの状況に応じたポインタマーク重複表示回避処理を行う際、それぞれのポインタマーク重複表示回避処理に対応したアニメーション表示を行うことで、ポインタマーク重複表示回避処理対象となっているポインタマークが、そのときに行われているポインタマーク重複表示回避処理によってどのような状態となっているかが視覚的によくわかり、それによって、現在、どのようなポインタマーク重複表示回避処理がなされているかということもよくわかる。また、操作者に遊び心を持たせることができるので、これを会議システムなどに適用することによって、場の雰囲気を和らげ、会議などを円滑に進行させる効果もある。
【0088】
上述の図3で説明した例は、一方のポインタマークが他方のポインタマークを押しのけるポインタマーク重複表示回避処理、一方のポインタマークが他方のポインタマークに近づくのを阻止するポインタマーク重複表示回避処理、ポインタマーク同士が同じ位置に異なる方向から移動する際のポインタマーク重複表示回避処理を視覚的にわかり易くするためのものであるが、これらのポインタマーク重複表示回避処理が行われる際、そのポインタマーク重複表示回避処理を操作者に触覚や聴覚として伝えるようにすることもできる。
【0089】
図4はポインタマーク重複表示回避処理を操作者に触覚として伝えることを可能とした情報表示システムの全体構成を概略的に示す図であり、情報処理装置としてのパーソナルコンピュータ(以下ではPCという)30に蓄積された情報をプロジェクタなどの表示装置31によって、表示媒体の1つであるスクリーン32に投影し、表示画像の表示された表示画面1上を2つのポインタマークM1,M2でポインティング操作可能とする例が示されている。
【0090】
なお、これら2つのポインタマークM1,M2のうち、ポインタマークM1はPC30に接続された一方のポインティングデバイス(この図4ではポインティングデバイスはマウスであるとして説明する)21で操作可能となっており、ポインタマークM2はPC30に接続された他方のポインティングデバイス(同じくマウスの例が示されている)22で操作可能となっている。
【0091】
このような情報表示システムにおいて、ここでは、図3(d)とほぼ同様の例、すなわち、2つのポインタマークM1,M2が、表示画面1上のある位置で衝突する場合を例にとって説明する。
【0092】
この情報表示システムで用いられるポインティングデバイス21,22(この図4の例では、マウス21,22という)は、ポインティング操作を行う際、その操作に対応するマウスの動作を触覚(たとえば、2つのマウス21,22のポインタマークM1,M2が接近しつつあることを表す触覚、それぞれのポインタマークM1,M2が衝突したことを表す触覚など)として操作者に伝えることができるものであるとする。このようなマウスは、たとえば、図5のような構成とすることによって実現できる。
【0093】
この種のマウスは、図5に示されるように、通常のマウスとしての機能を行うポインティング操作機能部81と、ポインティング操作に対する何らかの反応としてのリアクション動作を行うリアクション動作機能部82からなり、ポインティング操作機能部81は、x軸方向移動量検出手段811、y軸方向移動量検出手段812、これらx軸方向移動量検出手段811、y軸方向移動量検出手段812からの移動量検出情報やクリックボタンによるクリック操作情報を情報処理装置(図4ではPC30)に送信する送信手段813を有した構成となっている。
【0094】
一方、リアクション動作機能部82は、リアクション動作部821、このリアクション動作部821を駆動制御する駆動制御部822、情報処理装置(PC30)から送られてくるポインタマーク重複状態を示すポインタマーク重複状態フラグ信号やそのポインタマーク重複状態フラグ信号に基づいて発せられるリアクション動作部を駆動するための信号を受信する受信部823などを有している。
【0095】
なお、リアクション動作部821は、マウスに振動を発生させたり、マウスの動きに制動力を与えたり、マウスをある方向にわずかに移動させたりすることができるような手段が設けられている。
【0096】
たとえば、振動を発生させる手段としては、図6(a)に示すように、回転軸101に偏心カム102を取りつけたモータ103をマウス内に組み込むことで実現でき、これによって、ポインタマーク同士の衝突などポインタマーク重複状態が発生した場合、モータ103を回転させることでマウスに振動Vを生じさせることができる。
【0097】
また、マウスの動きに制動力を与えたり、ある方向にわずかに移動させる手段としては、たとえば、図6(b)に示すように、マウス内のボール105に接触してボール105の回転に連動して回転し、その回転をロータリエンコーダに伝える働きをする円柱状のローラ106の中心軸107を、モータ108の回転軸109に連結するような構成とすることで実現できる。なお、図6では、モータ108の回転軸109とローラ106の中心軸107は、直接的に連結された例が示されているが、両者間には何らかの動作伝達機構が介在されていてもよい。そして、通常時は、モータ108は非動作状態となっていて、その回転軸109はフリーで回転可能となっている。
【0098】
このような構成において、ポインタマーク重複状態となると、モータ108が回転駆動され、その回転力が回転軸109を介してローラ106の中心軸107に伝達されるようになり、それによって、ボール105には、モータ108に対する駆動制御に応じた回転力が伝達されるようになる。
【0099】
そのときのモータ108に対する駆動制御としては、たとえば、ポインタマークの動きが阻止される場合には、それ以上ポインタマークが動かないようにマウスの動きに制動力を与えるような駆動制御が行われ、また、ポインタマークが押しのけられる場合には、押しのけられる方向にマウスをわずかに動かすような駆動制御が行われる。
【0100】
このようなマウス、すなわち、ポインティング操作に対応するマウスの動作を触覚として操作者に伝えることができるマウス21,22を用いることによって、この図4に示すように、たとえば、2つのポインタマークM1,M2が衝突した場合、それぞれのマウス21,22では、ポインタマークM1,M2が衝突したことを表す振動Vをそれぞれのマウス21,22に発生させることができ、また、ここでは図示されていないが、ポインタマークM1,M2が衝突しそうになると、それぞれのマウスあるいはいずれかのマウスに制動力が働き、操作者にポインティング操作に対応するマウスの動作を触覚として伝えることができる。
【0101】
それによって、それぞれのマウス21,22を操作する操作者は、ポインタマークM1,M2が衝突したことや近接状態となったことが、表示画面1上におけるポインタマークM1,M2の動きからだけではなく手に伝わる触覚からもわかる。
【0102】
なお、このマウスは、振動を発生させたり制動力を発生させたりするだけではなく、リアクション動作部としてスピーカや圧電ブザーなどを設けることによって、アラーム音を発生させることも可能であり、それによって、ポインタマーク重複状態をマウスの動作により聴覚によって操作者に伝えることができる。また、発光素子を設けてその発光素子を点灯あるいは点滅制御させることも可能である。
【0103】
また、このようなポインタマークの重複状態をマウスの動作によって触覚あるいは聴覚として操作者に伝える処理と、図3で説明した視覚的に操作者に伝える処理を組み合わせることもできることは勿論であり、それによって、ポインタマーク重複表示回避処理対象となっているポインタマークM1,M2の動作がよくわかり、現在、どのようなポインタマーク重複表示回避処理がなされているかが、より一層、わかりやすくなる。
【0104】
なお、これら、ポインタマーク同士の近接や衝突を感触として操作者に伝えたり音として操作者に伝えたりする場合、近接や衝突を表現するのはマウスなどのポインティングデバイスでなくてもよく、それらを何らかの形(他の外部装置等)で操作者に伝達可能とすればよい。
【0105】
図7は本発明のポインタマーク表示制御装置を備えた情報表示システムを説明する図であり、この情報表示システムは、大きく分けると、情報処理装置としてのPC30、このPC30に接続された複数のポインティングデバイス21,22,・・・,2n、表示装置31を有した構成となっている。
【0106】
PC30は、本発明のポインタマーク表示制御装置40が組み込まれているとともに、それぞれのポインティングデバイス21,22,・・・,2n対応に設けられ、指示座標値の取得などを行うポインティングデバイスドライバPD1,PD2,・・・,PDnが設けられている。
【0107】
ポインタマーク表示制御装置40は、それぞれのポインティングデバイス21,22,・・・,2nに対応するポインタマークを記憶するポインタマーク記憶手段41、表示装置31で表示すべき画像を画像記憶手段(図示せず)などから取得する表示画像取得手段42、各ポインティングデバイスドライバPD1,PD2,・・・,PDnからの情報(対応するポインティングデバイス21,22,・・・,2nの指示座標情報など)とポインタマーク記憶手段41に記憶されているそれぞれのポインティングデバイス21,22,・・・,2n対応のポインタマークとに基づいて、どのポインタマークとどのポインタマークがポインタマーク重複状態となるかを判定するポインタマーク重複判定手段43、このポインタマーク重複判定手段43によってポインタマーク重複状態となるとの判定がなされると、そのポインタマークが重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段44を有した構成となっている。
【0108】
この図7に示されたポインティングデバイス21,22,・・・,2nは、マウス、タッチパッド、ペンタブレット、トラックボールなど特に限定されるものではない。また、表示装置31は、たとえば、PCやゲーム機などのディスプレイ画面上に画像を表示させる形式であってもよく、また、プロジェクタなどによってスクリーンなどに画像を投影する形式であってもよい。
【0109】
このように構成された情報表示システムにおけるポインタマーク表示制御の全体的な処理手順を図8により説明する。
図8において、ステップS1は、それぞれのポインタマーク(ポインティングデバイス21,22,・・・,2nに対応するポインタマーク)が移動したあとの新たな指示座標を求める処理であり、この処理は、上述の図7の構成においては、ポインティングデバイスドライバPD1,PD2,・・・,PDnによって行われるものとする。
【0110】
このステップS1における新たな指示座標を求める処理(ポインタマークが移動したあとの新たな指示座標を求める処理)は、それぞれのポインタマークの現在の指示座標D1と、それぞれのポインタマークのx軸およびy軸方向の移動量を示す指示座標移動ベクトルD2を対応するそれぞれのポインティングデバイスから取得し、これらのそれぞれのポインタマークの現在の指示座標D1とそれぞれのポインタマークの指示座標移動ベクトルD2からそれぞれのポインタマークの新たな指示座標D3を求めるものである。ここで、それぞれのポインタマークの現在の指示座標D1、それぞれのポインタマークの指示座標移動ベクトルD2、それぞれのポインタマークの新たな指示座標D3およびポインタマーク画像D4は、対応するポインタマークの個数(ここではn個)分、それぞれの情報として記憶されているものとする。
【0111】
そして、ポインタマーク記憶手段41に記憶されているそれぞれのポインタマーク画像を取得し(ステップS2)、それらの取得したポインタマーク画像D4とステップS1で求められたそれぞれのポインタマークごとの新たな指示座標D3とからポインタマーク重複状態判定処理を行う(ステップS3)。このステップS3の処理内容については後述する。なお、ステップS1で求められた新たな指示座標D3によってポインタマークの現在の指示座標D1が更新される。
【0112】
このステップS3を行ったあと、ポインタマーク重複状態であるか否かの判定結果により、次以降の処理を分岐させる(ステップS4)。仮にポインタマーク重複状態であれば、どのポインタマークの表示を優先するかの表示優先順位をそれぞれのポインタマークごとに求め(ステップS5)、その優先順位に従ったポインタマーク重複表示回避処理をそれぞれのポインタマークごとに行い(ステップS6)、表示画像取得手段42から取得された表示すべき画像にポインタマークの重畳された表示画像生成を行って(ステップS7)、それを表示させる(ステップS8)。また、ステップS4において、ポインタマーク重複状態でなければ、そのまま、ステップS7に進む。
【0113】
この図8に示した処理手順を具体的に説明する。たとえば、ポインティングデバイス21に対応付けられたポインタマーク(これをポインタマークM1とする)が、ポインティングデバイス22に対応付けられたポインタマーク(これをポインタマークM2とする)の位置に向かって移動したとする。これは、図1で説明したのと同じ状況である。なお、この場合、ポインタマークM1の優先度がポインタマークM2よりも高く設定されているものとする。
【0114】
ここで、ポインタマークM1とポインタマークM2とがポインタマーク重複状態となると、ポインタマーク重複判定手段43がそれらのポインタマーク重複状態を検出し、その情報(ポインタマークM1とポインタマークM2が重複していること、およびそれぞれのポインタマークの座標位置と重複状況等)をポインタマーク重畳画像生成手段44に渡す。なお、このポインタマーク同士の重複判定は、種々考えられるが、たとえば、次のようにして行うことができる。
【0115】
図9はポインタマーク同士の重複判定をそれぞれのポインタマークの外接矩形を用いて判断する例について説明する図であり、この図9によってポインタマーク重複判定の一例について説明する。ここでは、図9(a),(b)に示すような形状のポインタマークの重複判定について説明し、図9(a)に示すポインタマークをこの説明ではポインタマークMa、図9(b)に示すポインタマークをこの説明ではポインタマークMbする。
【0116】
まず、このような2つのポインタマークMa,Mbそれぞれに、図9(c),(d)に示すような外接矩形Ka,Kbを設定する。そして、これら各外接矩形Ka,Kbを一意に定義するための対角線上の2点の座標を求める。なお、この対角線上の2点の座標としては、この場合、x,y座標上における外接矩形のそれぞれx軸方向、y軸方向の最大値と最小値の座標とする。
【0117】
なお、この図9では、x軸については、図示の右方向へ行くほど座標を示す数値が大となり、y軸については図示の下方向に行くほど座標を示す数値が大となるものとしているので、ポインタマークMaの外接矩形Kaでは、点Pa1の座標(xa1,ya1)がx軸方向およびy軸方向の最小値、点Pa2の座標(xa2,ya2)がx軸方向およびy軸方向の最大値となる。同様に、ポインタマークMbの外接矩形Kbでは、Pb1の座標(xb1,yb1)がx軸方向およびY軸方向の最小値、Pb2の座標(xb2,yb2)がx軸方向およびy軸方向の最大値となる。このように、それぞれの外接矩形Ka,Kbを一意に定義することのできる対角線上の2点として、外接矩形Kaでは対角線上の2点Pa1,Pa2を求め、外接矩形Kbでは対角線上の2点Pb1,Pb2を求める。
【0118】
そして、これら2つの外接矩形Ka,Kbが重なっているか否かを判定し、外接矩形Kaと外接矩形Kbが重なっていれば、2つのポインタマークMa,Mbはポインタマーク重複状態であると判定する。
【0119】
この2つの外接矩形Ka,Kbが重なっているか否かの判定は、外接矩形Kaと外接矩形Kbがx軸方向で重なっているか否かを判定するとともに、y軸方向で重なっているか否かを判定し、x軸方向とy軸方向で共に重なっていれば、2つの外接矩形Ka,Kbは重なっていると判定される。この外接矩形kaと外接矩形Kbがx軸方向で重なっているか否かを判定するとともに、y軸方向で重なっているかを判定するには、図10に示すような方法で行うことができる。
【0120】
この図10において、Xaは外接矩形Kaのx軸方向に沿った1つの辺を表し、Xbは外接矩形Kbの同じくx軸方向に沿った1つの辺を表している。そして、辺Xaの先端および終端のx軸上の位置Xah、Xatと、辺Xbの先端および終端のx軸上の位置Xbh、Xbtにおいて、Xat<Xbhであれば、2つの辺Xa,Xbは重ならないと判定することができる。仮にXbh<Xatであれば、今度はXahとXbtを比較する。ここでXbt<Xahであれば2つの辺Xa,Xbは重ならないと判定することができる。反対にXah<Xbtであれば2つの辺Xa,Xbは重なると判定することができる。
【0121】
これをy軸方向に沿った外接矩形Ka,Kbのそれぞれの辺Ya,Yb(図10では示されていない)についても行い、x軸方向とy軸方向でそれぞれの辺Xa,XbおよびYa,Ybが共に重なっていると判定された場合は、2つの外接矩形Ka,Kbは重なっていると判定することができる。
【0122】
たとえば、図11(a)の場合は、それぞれのy軸方向に沿った辺Ya,Ybは、y軸方向では重なっていると判定されるが、それぞれのx軸方向に沿った辺Xa,Xbは、x軸方向では重なっていないと判定されるので、この場合は、2つの外接矩形Ka,Kbは重なっていないと判定される。一方、図11(b)の場合は、それぞれのx軸方向に沿った辺Xa,Xbおよびそれぞれのy軸方向に沿った辺Ya,Ybは、x軸方向およびy軸方向それぞれで重なっていると判定されるので、この場合は、2つの外接矩形Ka,Kbは重なっていると判定される。
【0123】
以上のようにして、外接矩形Ka,Kbの重なりを判定することができ、外接矩形Ka,Kbが重なっている場合には、ここでは、それぞれのポインタマークMa,Mbも重なっていると判定する。なお、図11(b)では、外接矩形Ka,Kbそのものは重なり合っているが、それぞれのポインタマークMa,Mbは重なり合ってはなく、近接した位置にあって接触した状態であるが、この実施の形態では、ポインタマーク同士が接触状態にある場合もポインタマーク重複状態であるとしている。
【0124】
なお、ポインタマーク同士が重複している否かの判定は、この図9から図11で説明した方法に限られるものではないことは勿論である。また、接触状態までをも含めてポインタマーク重複状態とするか否かなど、どのような状態をポインタマーク重複状態とするかは予め設定しておけばよく、それに応じたポインタマーク重複判定を行えばよい。
【0125】
ポインタマーク重畳画像生成手段44では、ポインタマーク重複判定手段43によって、ポインタマークM1,M2がポインタマーク重複状態となるとの判定がなされると、それぞれのポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態の回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成する。
【0126】
すなわち、このポインタマーク重畳画像生成手段44は、ポインタマーク重複判定手段43から、ポインタマークM1,M2が重複状態となるとの判定結果を受け取ると、まず、図1(a)〜(d)で説明したようなポインタマーク重複表示回避処理を行い、その後、そのポインタマークの重複が回避された状態となったそれぞれのポインタマークを表示すべき画像に重畳させたポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を表示装置31に出力する。
【0127】
なお、図7ではポインタマーク表示制御装置40、すなわち、ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44などは、PC30側が持つ例で説明したが、このポインタマーク表示制御装置40は、プロジェクタなどの表示装置31側が持つようにしてもよい。この場合、ポインティングデバイスドライバPD1,PD2,・・・,PDnも表示装置31に持たせ、複数のポインティングデバイス21,22,・・・,2nは、その表示装置31に直接接続されるような構成とする。
【0128】
図12は表示画面を共有して離れた場所で会議を行うことを可能とする遠隔会議システムなどに本発明を適用した例を示すものである。この図12は、たとえば、ネットワーク51を介して接続された情報処理装置としてのPC301,PC302と、これらPC301,PC302に接続されたプロジェクタなどの表示装置311,312を有し、表示媒体の1つであるスクリーン321,322上の表示画面11,12をポインタマークによって指示しながら会議を進行させて行く例である。
【0129】
なお、この図12の例では、PC301側には2個のポインティングデバイス21,22(2個ともマウスである例が示されている)が接続され、PC302側にも2個のポインティングデバイス23,24(一方がマウスであり、他方がペンタブレットである例が示されている)が接続されている。
【0130】
また、PC301側のポインティングデバイス21に対応するポインタマークはM1、ポインティングデバイス22に対応するポインタマークはM2であるとし、PC302側のポインティングデバイス23に対応するポインタマークはM3、ポインティングデバイス24に対応するポインタマークはM4であるとする。
【0131】
このように、この図12では、PC301,PC302それぞれに2個ずつのポインティングデバイス(ポインティングデバイス21,22とポインティングデバイス23,24)を接続して、それぞれのポインティングデバイス21,22,23,24対応のポインタマークM1,M2,M3,M4を、表示画面11,12上に表示させているが、これを実現するためには、PC301、PC302は、複数個のポインティングデバイスを接続可能とするための接続インタフェース部と、それぞれのポインティングデバイスごとのポインタマークを表示画面11,12上に表示可能とするソフトウエアなどが搭載されていることが必要である。
【0132】
また、PC301に接続されたポインティングデバイス21,22の各々に対応する各々のポインタマークM1,M2は、表示装置311によって映し出される表示画面11上の任意の位置の指示が可能であるとともに、他方の表示装置312によって映し出される表示画面12上の任意の位置(表示画面11上の指示位置と同じ位置)の指示が可能である。同様に、PC302に接続されたポインティングデバイス23,24の各々に対応する各々のポインタマークM3,M4は、表示装置312によって映し出される表示画面12上の任意の位置の指示が可能であるとともに、他方の表示装置311によって映し出される表示画面11上の任意の位置(表示画面12上の指示位置と同じ位置)の指示が可能である。
【0133】
このように、互いに離れた場所で、それぞれが表示画面を共有してそれぞれの会議参加者が自分のポインティングデバイスによって、表示画面11,12上の任意の位置を指示しながら会議を進行することができる。
【0134】
図13は図12を実現するに必要な構成要素をブロック図化した一例を示すもので、PC301,PC302は、ネットワーク(この図13では図示されていない)を介して相互に情報授受を行うための送信手段61と受信手段62をそれぞれ有するとともに、自身に接続される複数のポインティングデバイス21,22,・・・,2n(図12ではポインティングデバイスはそれぞれ2個ずつとした例が示されているが、図13ではポインティングデバイスはn個設けられた例が示されている)に対応するポインティングデバイスドライバPD1,PD2,・・・,PDnをそれぞれ有している。
【0135】
また、この図13では、図7で説明したポインタマーク表示制御装置40、すなわち、ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44などは、PC301,PC302とは別に用意されたサーバ70に持たせるようにしている。
【0136】
したがって、この図13のように、サーバ70は、図示しないネットワークを通じて、PC301,PC302と情報の授受を可能とするための送信手段71と受信手段72を有し、PC301,PC302のそれぞれの送信手段61から、図示しないネットワーク経由で送られてくる座標情報などを受信手段72が受け取って、それをポインタマーク重複判定手段43に渡す。
【0137】
また、このサーバ70のポインタマーク重畳画像生成手段44で作成されたポインタマーク重畳画像は、送信手段71から図示しないネットワークを介してPC301,PC302のそれぞれの受信手段62に送信され、そのポインタマーク重畳画像を受け取ったPC301,PC302では、そのポインタマーク重畳画像を自身に接続された表示装置311,312に渡す。
【0138】
なお、サーバ70におけるポインタマーク重複判定手段43やポインタマーク重畳画像生成手段44の動作については、図7で説明したのでここでは省略する。
【0139】
なお、このサーバ70は、この図13に示したように、PC301,PC302とは別に用意されるものであってもよいが、PC301またはPC302のいずれかがこのサーバ機能を持つようにしてもよい。
【0140】
たとえば、PC301がサーバ機能を持つ場合は、PC301がポインタマーク表示制御装置40(ポインタマーク記憶手段41、表示画像取得手段42、ポインタマーク重複判定手段43、ポインタマーク重畳画像生成手段44)を有する。
【0141】
そして、PC301では、自身に接続されたポインティングデバイス21,22,・・・,2nによるポインティング操作に対する座標情報を、対応するポインティングデバイスドライバから取得して、それをポインタマーク重複判定手段43に渡し、ポインタ重複判定処理を行い、その判定結果に基づいてポインタマーク重畳画像生成手段44がポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を自身に接続された表示装置311に渡すとともに、送信手段61から図示しないネットワーク介してPC302側に送信する。PC302では、PC301側から送信されてきたポインタマーク重畳画像を自身の受信手段62で受け取り、それを自身に接続された表示装置312に渡す。
【0142】
一方、PC302側でのポインティング操作(PC302に接続されたポインティングデバイス21,22,・・・,2nによるポインティング操作)に対する座標情報(この座標情報は、対応するポインティングデバイスドライバから出力される)は、自身の送信手段61から図示しないネットワークを介してPC301側に送信され、それをPC301の受信手段62が受け取って、ポインタマーク重複判定手段43に渡し、ポインタ重複判定処理を行い、その判定結果に基づいてポインタマーク重畳画像生成手段44がポインタマーク重畳画像を生成し、そのポインタマーク重畳画像を自身に接続された表示装置311に渡すとともに、送信手段61から図示しないネットワーク介してPC302側に送信して、PC302ではそれを自身の受信手段62で受け取ったのちに、自身に接続された表示装置312に渡す。
【0143】
このような遠隔会議システムを構築することによって、離れた場所にいる複数の会議参加者が、それぞれの表示画面11,12上でポインティング操作することができる。このとき、複数のポインタマークM1,M2,M3,M4のうち2つ以上のポインタマークが同じ座標値に指示されたり、同じ機能領域に指示されたりするポインタマーク重複状態となることがあるが、このようなポインタマーク重複状態となっても、前述したようなポインタマーク重複表示回避処理がなされることによって、ポインタマーク重複状態での表示を回避することができる。
【0144】
このような遠隔会議を行う際、前述した優先度などは予め設定しておき、それぞれの会議参加者がその優先度を知った上でポインティング操作することで、それぞれの会議参加者間でのトラブルなどの発生を未然に防止することができ、円滑な会議進行がなされる。
【0145】
なお、図12および図13では、離れた場所にある2箇所で会議を行う例が示されているが、3箇所以上で会議を行う場合であっても同様に実施することができる。
【0146】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、複数のポインタマークは、矢印型のポインタマークを用い、それぞれが異なった模様などを有する例で説明したが、ポインタマークは矢印型だけではなく、様々な種類のものを使用することができることは勿論である。また、それぞれの操作者が自分のポインタマークをその動きなどから把握できれば、複数のポインタマークはすべて同じであってもよい。
【0147】
また、前述の実施の形態では、ポインタマーク重複表示回避処理として、重複状態となるポインタマークの表示画面上での位置を変更するような処理、すなわち、優先度の高いポインタマークが優先度の低いポインタマークを押しのける処理(図1(b)参照)、優先度の高いポインタマークにより、優先度の低いポインタマークが所望とする位置に達することができないようにその移動を阻止するような処理(図1(c)参照)、ポインタマークの指示方向を変更させるような処理(図1(d)参照)について説明したが、これ以外にも種々の処理が存在する。
【0148】
たとえば、一方(優先度の低い方)のポインタマークの形状を優先度の高いポインタマークと容易に識別できるような形状に変更させる処理、一方(優先度の低い方)のポインタマークの色を優先度の高いポインタマークと容易に識別できるような色に変更させる処理、一方(優先度の低い方)のポインタマークの大きさを優先度の高いポインタマークと容易に識別できるように小さくする処理などが考えられる。また、これら(図1で説明したものを含む)を組み合わせるようにしてもよい。
【0149】
また、前述の実施の形態では、主に、プロジェクタなどの表示装置とPCなどの情報処理装置を組み合わせてなる会議システムなどに本発明を適用する例で説明したが、このような会議システム以外のたとえば複数のポインタマークが表示されるゲーム機などにも適用できる。
【0150】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【図1】本発明のポインタマーク表示制御方法におけるポインタマーク重複表示回避処理を説明する図である。
【図2】図1に示すポインタマーク重複表示回避処理において、一方のポインタマークが他方のポインタマークを押しのける制御を行った場合、押しのけたポインタマークがその位置を去ったあとの押しのけられたポインタマークの処理について説明する図である。
【図3】図1に示すポインタマーク重複表示回避処理を行う際、ポインタマーク重複表示回避処理対象となるそれぞれのポインタマークにアニメーション表示を付加した例を示す図である。
【図4】図1に示すポインタマーク重複表示回避処理を行う際、ポインティングデバイスとしてポインティング操作に対するリアクション動作を行うマウスを用いた場合の情報表示システムの概略構成を示す図である。
【図5】図4で示したマウスの構成例を示す図である。
【図6】図5で示したリアクション動作部の具体例を示す図である。
【図7】本発明のポインタマーク表示制御装置を組み込んだ情報表示システムの構成を説明するブロック図である。
【図8】図7で示した情報表示システムにおけるポインタマーク表示制御の全体的な処理の流れを説明するフローチャートである。
【図9】ポインタ重複状態判定を説明するためにポインタマークに外接矩形を設定する例を説明する図である。
【図10】2つの外接矩形の重なりを判定する例を説明する図である。
【図11】図10の重なり判定によってポインタマークの重複判定を行う例を説明する図である。
【図12】本発明を適用した遠隔会議システムを説明する図である。
【図13】図12で示した遠隔会議システムの構成をブロック図化して示す図である。
【符号の説明】
1,11,12 表示画面、21,22,・・・,2n ポインティングデバイス、30,301,302 情報処理装置(PC)、31,311,312 表示装置、32,321,322 表示媒体(スクリーン)、40 ポインタマーク表示制御装置、41 ポインタマーク記憶手段、42 表示画像取得手段、43 ポインタマーク重複判定手段、44 ポインタマーク重畳画像生成手段、61,71 送信手段、62,72 受信手段、70 サーバ、M1,M2,M3,M4 ポインタマーク
Claims (10)
- ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御方法であって、そのポインタマーク表示制御処理は、
前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定し、ポインタマーク重複状態となるとの判定がなされた場合は、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避させるポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態で表示されるのを回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成する、
ことを特徴とするポインタマーク表示制御方法。 - 前記ポインタマーク重複状態は、2つ以上のポインタマークが表示画面上の同じ位置に存在することによってそれぞれのポインタマークが重なり合う状態、2つ以上のポインタマークが表示画面上の近接した位置に存在することによってそれぞれのポインタマークが接触または重なり合う状態、2つ以上のポインタマークが表示画面上の同一機能指示領域を指示した状態の少なくとも1つの状態であることを特徴とする請求項1記載のポインタマーク表示制御方法。
- 前記ポインタマーク重複表示回避処理は、重複状態となるポインタマークのうちの少なくとも1つのものについて、表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理であることを特徴とする請求項1または2記載のポインタマーク表示制御方法。
- 前記ポインタマーク重複表示回避処理を行う際、それぞれのポインタマークに優先度を設定し、その優先度に基づいたポインタマーク重複表示回避処理を行うことを特徴とする請求項1から3のいずれかに記載のポインタマーク表示制御方法。
- 前記優先度に基づいたポインタマーク重複表示回避処理は、優先度の最も高いポインタマーク以外のポインタマークに対し表示画面上の位置、形状、色、指示方向、大きさのうち少なくとも1つの要素を制御する処理であることを特徴とする請求項4記載のポインタマーク表示制御方法。
- 前記表示画面上の位置を制御する処理は、優先度の高いポインタマークが優先度の低いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークによって優先度の低いポインタマークを押しのける処理であることを特徴とする請求項5記載のポインタマーク表示制御方法。
- 前記表示画面上の位置を制御する処理は、優先度の低いポインタマークが優先度の高いポインタマークと重複状態になる位置に移動しようとする場合、優先度の高いポインタマークが、優先度の低いポインタマークの移動をある位置で阻止する処理であることを特徴とする請求項5記載のポインタマーク表示制御方法。
- 前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態を視覚的に表現可能な表示を付加することを特徴とする請求項1から7のいずれかに記載のポインタマーク表示制御方法。
- 前記ポインタマーク重複表示回避処理を行う際、そのポインタマーク重複表示回避処理対象となる2つ以上のポインタマークの当該ポインタマーク重複表示回避処理に対するポインタマークの状態をそのポインティングデバイスを操作する操作者に触覚、聴覚の少なくとも一方の感覚として伝達可能とすることを特徴とする請求項1から8のいずれかに記載のポインタマーク表示制御方法。
- ある表示画面上で複数のポインティングデバイスの各々に対応する各々のポインタマークのうち2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク表示制御装置であって、このポインタマーク表示制御装置は、
前記2つ以上のポインタマークがポインタマーク重複状態となるか否かを判定するポインタマーク重複判定手段と、
このポインタマーク重複判定手段によってポインタマーク重複状態となるとの判定がなされると、前記2つ以上のポインタマークがポインタマーク重複状態で表示されるのを回避するポインタマーク重複表示回避処理を行い、そのポインタマーク重複状態で表示されるのを回避されたそれぞれのポインタマークを、表示すべき画像に重畳させたポインタマーク重畳画像を生成するポインタマーク重畳画像生成手段と、
を有することを特徴とするポインタマーク表示制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159365A JP2004362231A (ja) | 2003-06-04 | 2003-06-04 | ポインタマーク表示制御方法およびポインタマーク表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159365A JP2004362231A (ja) | 2003-06-04 | 2003-06-04 | ポインタマーク表示制御方法およびポインタマーク表示制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004362231A true JP2004362231A (ja) | 2004-12-24 |
Family
ID=34052448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003159365A Withdrawn JP2004362231A (ja) | 2003-06-04 | 2003-06-04 | ポインタマーク表示制御方法およびポインタマーク表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004362231A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010041360A (ja) * | 2008-08-05 | 2010-02-18 | Brother Ind Ltd | 表示制御装置及びそれに用いるリモコン並びにテレビ会議システム。 |
JP2010170354A (ja) * | 2009-01-23 | 2010-08-05 | Seiko Epson Corp | 共有情報表示装置、共有情報表示方法およびコンピュータプログラム |
-
2003
- 2003-06-04 JP JP2003159365A patent/JP2004362231A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010041360A (ja) * | 2008-08-05 | 2010-02-18 | Brother Ind Ltd | 表示制御装置及びそれに用いるリモコン並びにテレビ会議システム。 |
US8334890B2 (en) | 2008-08-05 | 2012-12-18 | Brother Kogyo Kabushiki Kaisha | Display control apparatus, remote control that transmits information to display control apparatus, and video conference system |
JP2010170354A (ja) * | 2009-01-23 | 2010-08-05 | Seiko Epson Corp | 共有情報表示装置、共有情報表示方法およびコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10642567B2 (en) | Multiplatform based experience generation | |
CN113853575A (zh) | 具有滑动菜单的人工现实系统 | |
US11003307B1 (en) | Artificial reality systems with drawer simulation gesture for gating user interface elements | |
US11809685B2 (en) | Information interaction method and apparatus, storage medium, and electronic apparatus | |
KR101678880B1 (ko) | 가상 키보드 출력 장치 및 제어 방법 | |
TW202105133A (zh) | 在人工實境環境中使用周邊裝置的虛擬使用者介面 | |
CN107469354B (zh) | 补偿声音信息的视觉方法及装置、存储介质、电子设备 | |
US8584026B2 (en) | User interface for orienting new users to a three dimensional computer-generated virtual environment | |
JP2019502178A (ja) | 拡張および/または仮想現実環境におけるテレポーテーション | |
JP2004318460A (ja) | データ処理装置 | |
US20200387286A1 (en) | Arm gaze-driven user interface element gating for artificial reality systems | |
US10921879B2 (en) | Artificial reality systems with personal assistant element for gating user interface elements | |
JPH0478919A (ja) | カーソル移動制御装置 | |
US11043192B2 (en) | Corner-identifiying gesture-driven user interface element gating for artificial reality systems | |
KR20190059726A (ko) | 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법 | |
WO2016194601A1 (ja) | ユーザ入力の操作性を向上させるプログラム、ゲームシステム、電子装置、サーバ及びゲーム制御方法 | |
JP2004362231A (ja) | ポインタマーク表示制御方法およびポインタマーク表示制御装置 | |
TWI744589B (zh) | 視訊互動系統 | |
JP2016225875A (ja) | 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム | |
EP2454647B2 (en) | System, method and computer program for operating a plurality of computing devices | |
EP3908907B1 (en) | Techniques for multi-finger typing in mixed-reality | |
WO2020154971A1 (en) | Electronic device and control method therefor | |
WO2024089890A1 (ja) | 遠隔操作システムおよび遠隔操作方法 | |
US11875465B2 (en) | Virtual reality data-processing device, system and method | |
KR20200080818A (ko) | 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070806 |