JP2004013314A - Position measuring input support device - Google Patents

Position measuring input support device Download PDF

Info

Publication number
JP2004013314A
JP2004013314A JP2002163024A JP2002163024A JP2004013314A JP 2004013314 A JP2004013314 A JP 2004013314A JP 2002163024 A JP2002163024 A JP 2002163024A JP 2002163024 A JP2002163024 A JP 2002163024A JP 2004013314 A JP2004013314 A JP 2004013314A
Authority
JP
Japan
Prior art keywords
input
light source
space
input space
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002163024A
Other languages
Japanese (ja)
Inventor
Yasunori Oda
黄田 保憲
Hiroyuki Hotta
堀田 宏之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2002163024A priority Critical patent/JP2004013314A/en
Publication of JP2004013314A publication Critical patent/JP2004013314A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To remarkably improve operability for measuring a position without requiring additional cost. <P>SOLUTION: A light source 402 is attached to a finger, and a switch 403 is pushed by the other finger under the light source. When pushing the switch, a three-dimensional position of a light emitting point is recorded at that time. Here, a user pushes a click by bringing the light source to the four corners for making a plane in a space so as to become parallel to an image screen of a personal computer to the ground surface for defining four points 404. Then, the personal computer calculates a rectangular solid surrounded from a rectangle 405 and lines 406 made when lowering a perpendicular to a plane including an image screen (existing vertically to the ground surface) of the personal computer and a plane including the personal computer from the four corners of the rectangle, and treats the area as a command recognizing area. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、位置測定用入力支援装置に係り、特に、ポインタ等の位置の測定を行う技術に関する位置測定用入力支援装置に関する。例えば、ラップトップ型パーソナルコンピュータに代表されるモバイル機器の操作において、マウスをはじめとするポインタの操作性を凌駕するとともに、バリアフリーを実現するポインティング装置に用いて好適な位置測定用入力支援装置である。
【0002】
【従来の技術】
従来、パソコン等におけるポインティング装置には、マウスをはじめとしてトラックボールやジョイスティックの類やシート状の各種デバイスが存在している。これらの操作性に関する報告によれば、位置を合わせ込む速度や正確性などにおいてマウスが最も優れているため、モバイル環境であっても操作性を優先させる場合にはマウスを付加する必要があるとされている。
【0003】
しかし、今後更に、使用するモバイル環境は多様性を増し、また、文字や絵の入力の必要性も高まってくることから、マウス以外の操作性の良いポインティングを行うことが重要となってきている。更に、バリアフリーの観点からも、マウスやペンの操作が困難な場面が多く見られるため、これを解決する新規入力デバイスの発明が急務となっている。
【0004】
近年のマウスは赤外線を使ってワイヤレスになっているが、マウスはパソコンからある一定の距離内で、かつ赤外線が読める向きが限定されている。またブルーツースと呼ばれる無線システムでマウスをパソコンにつなぐものが市場に出始めているが、いずれにせよ、マウスはその動きが特定平面に限られていることには変わりがない。
【0005】
マウス代替品として、例えば、WACOM製の位置入力タブレットのように、専用のタブレットを用いて平面上の位置を測定したり、実開平5−25525号公報に記載されているように、2次元半導体センサ(PSD)とレンズを用いて平面上の位置を測定する技術が存在する。このタブレットにおいてペンがマウスの代替手段として使われているが、その動きは特定平面に限られている。
【0006】
空中で使う3Dマウスでその中にオートジャイロを保持して、ある時点からのマウスの3次元向きを追跡できるようにしたものがある(米国Gyropoint Technology社のGyropoint)。これは、このマウスを対象とする画面にむけて、手の向きを変えることによってポインタの位置を変えることができるようにしたものである。しかし、この製品はそのマウスの平行移動に対して全く反応しない。
【0007】
また、株式会社サイヴァ―ス社によるStereo Labeling Cameraでは、赤外線の発光体を使い(1つは物体に反射材を使う反射型であり、もう1つは物体に発光体をつけた発光型である。)、センサーとしてCMOSを直線上にならべて、発光体までの距離を3次元測量の原理を用いて測るものが存在する。この装置の精度は距離1mで1mm程度の誤差、距離3mで9mmの誤差が生じる。しかしこのくらいの精度で人の体に複数の発光体をつけるなどしてその動きを捉える(モーションキャプチャー)には充分である。残念ながら数十万円の価格がし、普及が限定される。
【0008】
ライブボードなどは、画面上のアイコンの位置を電磁誘導ペンの位置を検出し、また東芝(eBeam(商品))やコクヨ(mimio(商品))の類似システムでは超音波などを使い、ペンのボード上の2次元位置を決定し文字入力を行う。
【0009】
一方、特開平10−9812号公報に記載されているように、入力デバイスからの光を光電変換素子(PD)をL字型に組み合わせた装置で測定することによって、小型・低価格で光源の位置を測定する技術が存在する。この装置ではマウスに対応する光源は手先につけられ、3次元空間上を自由に移動させることができる。
【0010】
【発明が解決しようとする課題】
WACOM製の位置入力タブレットは表示画面の下に表示画面よりも広い面積のタブレットを必要とするため小型化において不利であり、また、表示画面のみを交換することは不可能である。さらに、そのタブレットそのものを常に携帯しなければならない不便さをもつ。
【0011】
また、ペンをタブレット表面で動かす必要があるため、上肢不自由者にとっては使用困難な場合がある。更に、電磁誘導方式を用いているため低価格化には限界があるという問題がある。
【0012】
次に、実開平5−25525号公報に関しては、空間の任意の領域でのポインティングが可能となるという利点がある。しかし、高価なPSDを使用するため低価格化が著しいモバイル機器のポインティング装置としては不十分であると判断され実用化には至っていない。
【0013】
一方、特開平10−9812公報においては、ポインタまたはマウスとしてのどちらかの使用方法を選択する必要があった。つまり、カーソルを常時動かすというポインタとしての使用方法と、マウスとしてカーソルを必要な時のみ動かすという使用方法とを切り替えたい場合には、別途スイッチ等を設けて切り替える必要があり手間がかかっていた。
【0014】
スイッチを用いない方法として、空中で特定の動作を行うなどの必要があり、初心者であってもその動作を憶えなければ操作できない状況であった。更に、スクロール機能は考慮されていなかったので別途スクロール手段を設けなくてはならなかった。
【0015】
また、切り替わった事を知る手がかりも無かったため、実際に操作をしてみてはじめて正しいか間違いかを確認できるという状態であった。また、現行のマウスは2次元平面上にその動きを拘束され、ディスプレー上にある3次元仮想物体を操作するには、不自然な操作を強いられていたのは否めない。
【0016】
これらの状況は、それまで連続して行っていた思考を中断させることとなり、ユーザに余計なストレスを与えていた。
【0017】
本発明は、上述した課題を解決するために提案されたものであり、コストをかけることなく、位置測定のための操作性を飛躍的に向上させることができる位置測定用入力支援装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
本発明は、特開平10−9812号公報に記載された技術などを利用して、上述した課題を解決した。
【0019】
請求項1記載の発明は、光源の位置を認識する認識手段と、前記認識手段により認識された光源の位置に基づいて、3次元の連続する閉入力空間及び開入力空間の少なくとも一方を定義する定義手段と、を有している。
【0020】
したがって、請求項1記載の発明によれば、光源の位置を用いることで、3次元の連続する閉入力空間及び開入力空間の少なくとも1つを定義することができる。
【0021】
請求項2記載の発明は、請求項1記載の発明において、複数の光源の位置を各々同時に認識する。
【0022】
したがって、請求項2記載の発明によれば、認識手段によって複数の光源の位置を同時に認識することで、3次元の連続する閉入力空間及び開入力空間の少なくとも1つを定義することができる。
【0023】
請求項3記載の発明は、光源が入力空間の中にある場合と光源が入力空間の外にある場合とに応じて、五感の少なくとも1つに訴える刺激手段を有している。
【0024】
したがって、請求項3記載の発明によれば、光源が3次元空間上の入力空間の中にある場合と外にある場合を区別して五感の少なくとも1つに訴えることで、光源が入力空間内にある場合と外にある場合をユーザに確実に認識させることができる。
【0025】
請求項4記載の発明は、光源の位置が入力空間内にあり、かつ所定の操作が行われたときに、光源の位置の移動に応じて前記入力空間を移動させる入力空間移動手段を有している。
【0026】
したがって、請求項4記載の発明によれば、卓上マウスのように入力空間が限定されず、表示装置と入力を分離して。任意に入力空間を定義することができる。
【0027】
請求項5記載の発明は、光源が入力空間内にある時に、前記入力空間の境界から光源までの距離に応じて、五感の少なくとも1つに訴える刺激手段を有している。
【0028】
したがって、請求項5記載の発明によれば、ユーザに予め光源が入力領域の境界に近いかを知らせるので、ユーザの不用意な動きを軽減して、使い勝手を向上させることができる。
【0029】
請求項6記載の発明は、光源が異なる入力閉空間を通過したときに生じる時系列パターンに基づいてコマンドを形成するコマンド形成手段を有している。
【0030】
したがって、請求項6記載の発明によれば、入力閉空間を光源が通過することによって生じる時系列パターンに基づいて制御装置へのコマンドを形成することで、例えば識別情報やパスワードを設定することができる。
【0031】
請求項7記載の発明は、請求項6記載の発明において、光源の時系列の座標位置を記録する記録手段と、前記記録手段により記録された座標位置の前記入力閉空間内での変化に応じて、前記コマンド形成手段により形成されたコマンドを実行するコマンド実行手段と、を更に有している。
【0032】
したがって、請求項7記載の発明によれば、光源の時系列の座標位置の変化に応じてコマンドを実行することにより、ユーザは自由にコマンドを設計することができる。
【0033】
請求項8記載の発明は、請求項6記載の発明において、前記光源の3次元軌跡を認識する認識手段と、前記認識手段により認識された3次元軌跡を対応するコマンドへ変換する変換手段と、を更に有している。
【0034】
したがって、請求項8記載の発明によれば、光源の移動に伴って生じる3次元の軌跡を認識し、認識された3次元の軌跡を対応するコマンドへ変換することにより、光源の3次元軌跡と対応するコマンドを予め定義しておけば、ユーザは容易にコマンドを設計することができる。
【0035】
請求項9記載の発明は、複数の光源と、複数の所定の光源が各々所定の3次元領域にあるときに、所定のコマンドを生成するコマンド生成手段と、を有している。
【0036】
したがって、請求項9記載の発明によれば、複数の所定の光源が各々所定の3次元領域にあるときに所定のコマンドを生成することにより、例えば、所定のユーザの承認がない場合には他のユーザが勝手に使用するのを防止することができる。
【0037】
請求項10記載の発明は、複数の光源と、所定の光源によって所定の3次元領域で行われる入力行為と、他の光源によって前記所定の3次元領域及び他の3次元領域の少なくとも一方で行われる入力行為とを認識する認識手段と、前記認識手段により認識されたときに、所定のコマンドを生成するコマンド生成手段と、を有している。
【0038】
したがって、請求項10記載の発明によれば、所定の光源によって所定の3次元領域で行われる入力行為と、他の光源によって前記所定の3次元領域及び他の3次元領域の少なくとも一方で行われる入力行為とを認識したときに、所定のコマンドを形成することにより、例えば、所定のユーザの承認がない場合には他のユーザが勝手に使用することを防止することができる。また、複数の所定のユーザの承認があった場合に限り、所定のプロセスを働かせたり、又は所定のプロセスを終了させることもできる。
【0039】
請求項11記載の発明は、第1の特定の連続入力空間と第2の連続する連続入力空間との集合算を行う集合算手段を有している。
【0040】
したがって、請求項11記載の発明によれば、異なる連続入力領域の集合算を行うことができる。
【0041】
請求項12記載の発明は、第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分があるとき、両者を併合する入力空間を新たに生成する第1の入力空間生成手段と、第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、その共通部分を新たな入力空間として生成する第2の入力空間生成手段と、第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、第1の連続入力空間から共通部分を除いた入力空間を新たに生成する第3の入力空間生成手段と、第2の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、第2の連続入力空間から共通部分を除いた入力空間を新たに生成する第4の入力空間生成手段と、新たに連続入力空間が定義されたとき、全空間からその連続空間を除いた入力空間を新たに生成する第5の入力空間生成手段と、第1の連続入力空間とそれに共通部分のない第2の連続入力空間を合わせた不連続空間を新たな入力空間として生成する第6の入力空間生成手段と、を有している。なお、第1の連続空間と第2の連続空間が共通部分はないが接している場合には、両者を合わせたものは一つの連続空間になる場合がある。
【0042】
したがって、請求項12記載の発明によれば、入力空間を増やす場合であっても、最初からやり直すことなく、容易に第1の入力空間と第2の入力空間を1つの入力空間として取り扱うことができる。
【0043】
請求項13記載の発明は、3次元の複数の入力空間の各々に対応する複数の表示装置と、光源が所定の入力空間にあるときに、前記所定の入力空間に対応する表示装置のカーソルを移動させるカーソル移動手段と、を有している。
【0044】
したがって、請求項13記載の発明によれば、複数の表示装置に対して1つのポインタを使用することができる。
【0045】
請求項14記載の発明は、請求項13記載の発明において、前記複数の入力領域の各々に異なる入力形態を設定する入力形態設定手段を更に有している。
【0046】
したがって、請求項14記載の発明によれば、複数の入力領域で異なる入力形態をもつことができ、ユーザは入力形態を意識することなく、光源を異なる入力領域間で移動させることができる。
【0047】
請求項15記載の発明は、請求項13記載の発明において、2つの光源を結ぶ直線と1つ以上の連続入力空間とが交点を持つときに、前記交点を有する連続入力空間を選択する選択手段を更に有している。
【0048】
したがって、請求項15記載の発明によれば、2つの光源を結ぶ直線と1つ以上の連続入力空間と交点を持つときにその連続入力空間を選択することにより、例えば、1つのポインタで複数のコンピュータ端末やディスプレイを選択して操作することができる。
【0049】
請求項16記載の発明は、異なる波長をもつ1つ以上の光源と、前記光源の光量を所定のパターンで変化させる光量変化手段と、を有している。
【0050】
したがって、請求項16記載の発明によれば、光源を所定のパターンで変化させることにより、光で読み取ることができる識別情報を形成することができる。
【0051】
請求項17記載の発明は、所定のパターンで、かつ波長の異なる光を発生する1つ以上の光源と、前記複数の光源で発生された光のうち、各々異なる波長の光のみを反射する複数の反射手段と、前記複数の反射手段により反射された光が前記所定パターンであるときに、前記複数の反射手段により反射された光の中に所定の波長の光があるか否かを検出する検出手段と、を有している。
【0052】
したがって、請求項17記載の発明によれば、複数の反射手段により反射された光が所定パターンであるときに、複数の反射手段により反射された光の中に所定の波長の光があるか否かを検出することにより、光で読み取ることができる識別情報を形成することができる。
【0053】
請求項18記載の発明は、光源と、前記光源の3次元位置を測定する測定手段と、前記測定手段で測定された光源の3次元位置に応じて、カーソルの輝度を変化させる輝度変化手段と、を有することを特徴とする。
【0054】
したがって、請求項18記載の発明によれば、光源の3次元位置に応じてカーソルの輝度を変化させることにより、光源までの距離をユーザの視覚に訴えることができる。
【0055】
請求項19記載の発明は、光源と、前記光源の3次元位置を測定する測定手段と、前記測定手段で測定された光源の3次元位置の変化に応じて、画面上のカーソルの位置変化の時間遅れを変化させる変化手段と、を有している。
【0056】
したがって、請求項19記載の発明によれば、光源の3次元位置の変化に応じてカーソルの画面上での位置変化の時間遅れを変化させることにより、光源までの距離をユーザに訴えることができる。
【0057】
請求項20記載の発明は、光源と、前記光源の3次元位置を測定する測定手段と、前記測定手段で測定された光源の3次元位置に応じて、聴覚を刺激する聴覚刺激手段と、を有している。
【0058】
したがって、請求項20記載の発明によれば、光源までの距離をユーザの聴覚に訴えることができる。
【0059】
請求項21記載の発明は、請求項18記載の発明において、前記測定手段で測定された光源の3次元位置に応じて、カーソルの複製の数を変化させて、前記複製をカーソルが表示されている近傍に表示させる制御を行う第1の表示制御手段を更に有している。
【0060】
したがって、請求項21記載の発明によれば、光源の3次元位置に応じてカーソルの複製の数を変化させ、複製をカーソルが表示されている近傍に表示させることにより、光源までの距離をユーザの視覚に訴えることができる。
【0061】
請求項22記載の発明は、請求項21記載の発明において、カーソルの複製をカーソル表示位置の近傍に表示させると共に、光源の位置に応じて前記複製を回転させて表示させる制御を行う第2の表示制御手段を更に有している。
【0062】
したがって、請求項22記載の発明によれば、カーソルの複製をカーソルが表示されている近傍に光源の位置に応じて回転表示させることにより、光源までの距離をユーザの視覚に訴えることができる。
【0063】
請求項23記載の発明は、請求項20記載の発明において、前記測定手段で測定された光源の3次元位置に応じて、嗅覚を刺激する嗅覚刺激手段を更に有している。
【0064】
したがって、請求項23記載の発明によれば、光源までの距離をユーザの嗅覚に訴えることができる。
【0065】
請求項24記載の発明は、請求項4記載の発明において、仮想空間内の仮想物体に対する回転軸を定義する回転軸定義手段と、前記回転軸定義手段で定義された回転軸に対して前記仮想物体を回転させる回転手段と、を更に有している。
【0066】
したがって、請求項24記載の発明によれば、仮想空間における仮想物体をより現実の感覚で移動回転させることができる。
【0067】
【発明の実施の形態】
以下、本発明の第1乃至第13の実施の形態について図面を参照しながら詳細に説明する。
【0068】
[第1の実施の形態]
図1を参照しながら説明する。
【0069】
まず、初めに連続する領域を定義するためのモードに入っているものとする。これは例えば、ソフトでもってパソコンに組み込んでおく。特にこのモードでは光源が発光しており、その発光を認識するセンサーが稼動中である。
【0070】
光源402は指に付けられており、その下に他の指でスイッチ403を押すようになっている。スイッチを押せば、その時点での発光点の3次元の位置が記録される。もちろんキーボードからあるキーを打つことによって記録せよというコマンドが発せられたとしても良い。ただキーボードを利用する方法では光源の位置がパソコン画面から十分遠い場合にはキーボードを打ちにいく操作が面倒になる。
【0071】
いくつの点を認識させれば良いかは連続する領域の定義のしかたによる。ここでは、ユーザは4つの点404を定義するようにする。すなわち、ユーザは地表に対しパソコンの画面と平行になるように空間に平面を作るように四隅に光源をもっていき、クリックを押す。
【0072】
すると、パソコンは4点404から定義された矩形405とパソコンの画面(地表に対して垂直にあるものとする。)を含む平面、および矩形の四隅からパソコンを含む平面に垂線をおろしたときにできる垂線406から囲まれた直方体計算し、その領域をコマンド認識領域として扱う。
【0073】
この領域定義モードでは4つの点が認識された時点で自動的に直方体が定義付けされる。パソコンが置かれている平面をデフォールトとすると、上2点だけでも充分である。なお、最後の点を決定するには、先ほどのスイッチをダブルクリックしたり、パソコンの特定のキーボードを打つことによってその最後を認識させるようにしても良い。最後の確認がなされた後、パソコン内部にはこの直方体を入力領域としてそのパラメタ−やその他の属性がリストに登録される。新しく定義される入力領域はそのパラメターが順次このリストに追加される。
【0074】
この直方体が出来た後、光源がこの直方体の外か中かを判断するモードに入る。そして、同時に画面上に円状のアイコン407が設定される。このアイコンはもし光源がこの直方体の中にあれば、ある特定の輝度または色相をもつものとする。例えば、赤などが良い例である。そして、光源が外にあれば、黄色や黄緑など赤に対して区別できかつ判断が自然にできるような色を選ぶ。
【0075】
これができるのはこのプロセスの中で、上記直方体を構成する6面を表す方程式が記録されているからである。光源の長方体の内外を調べるのは光源の位置と6面との位置関係で決まり、3次元コンピュータグラフィックスなどで用いられている標準の手法を用いれば良い。
【0076】
光源の直方体の内外において、画面上に円状アイコンの色などが変わるので、ユーザにとって視覚でもってその位置を知ることができる。ユーザは光源を直方体の内外に繰り返し出し入れすることによって、光源の長方体の内外の状態を時系列にそって表現することができる。これは0を外、1を内と対応させれば、(もちろんある一定の時間内に行うルールを作ったもとで)簡単な01パターンを作ったことになり、ある特定の01パターンに対してある特定のコマンド(パソコンに対するコマンド)を決めてやれば簡単なコンピュータ入力装置ができたことになる。また、パスワードとして使えることは言うまでも無い。
【0077】
したがって、パソコン画面から離れた3次元空間上に連続領域を定義することができ、また光源がその連続領域内にある時と、そうでないときを区別することができる。
【0078】
なお、本実施の形態では、光源402は1つであるものとして説明したが、予め複数の光源が設けられてもよい。また、アイコン407の輝度や色相等を変えてユーザの視覚に訴える例について説明したが、ユーザのその他の五感に訴えるようにしてもよい。
【0079】
[第2の実施の形態]
位置測定用入力支援装置において、光源の3次元上の位置が認識される。そのような3次元位置測定用入力支援装置の例として、特開平10−9812号公報に記載された技術を利用することができる。
【0080】
図2はその原理を説明する図である。この装置は90度角で接するフォトダイオード202,203に対し、光源から2つのダイオードからなる角を繋いだ線分が両ダイオードから構成される角度の間にあるような発散光源からの光の量、即ちそれぞれのフォトダイオードで受け取る光量の比は、光源206とフォトダイオードの接点201を結ぶ線分を考えたとき、その線分とそれぞれのフォトダイオードでから構成される角度の比(205/204)に比例することから光源の向きが計算できることを利用している。なお、このフォトダイオードを複数のセンサーからなるCCDやCMOSセンサーで置きかえることも可能である。
【0081】
図3はノートパソコン100においてそのようなセンサー101を装着していることを表している。ユーザの指の上に光源102を、それに付随していわゆる左クリックが103で示されている。光源の電源は電池や電線を通して得られるものとする。
【0082】
光源の位置はたとえばディスプレー装置のある特定位置、たとえば左上角や画面中央を原点として測られる。パソコンにはカーソルを制御する手段があり、また画面上に現れるカーソルの形状を定義するデータがある。
【0083】
したがって、ユーザが良く使う領域(例えば画面から10cmないし25cmくらいの距離の領域)では通常のパソコンのようにカーソルは1つしか現れないが、光源がその0−10cmの距離にあるときには、図4に示すように、もとのカーソルの近傍に2つのカーソルを表示するようにする(303)。一方、光源が画面から25cm以上のところではもとのカーソルの近傍に4つのカーソルを表示するようにする(305)。このような表示方法によりユーザは画面から適切な位置に光源を戻すよう促されたことになり、使い勝手が向上する。複製されたカーソルが単に距離に比例するのではなく(もちろんそのようにしても良い。)、適切な距離から離れるに従ってその数が増すようにした工夫で使い勝手が向上する。
【0084】
カーソルの複製の数は画面からの距離に応じて変わるある変数を決めるようにしても良い。それをリストにしてカーソルの位置変化に応じてその変数をとりだし、カーソルを表示する装置にそれを送るようにしても良い。画面からの光源の距離に応じて、複製カーソルのもとのカーソルからの距離を変化させることも可能である。
【0085】
さらに、複製は1つだけにして、もとのカーソルの近傍を回転させるようにしてもよい。この場合、光源の画面からの距離に応じてその回転数や回転速度を変化させるようにしてユーザに距離感を提供することができる。
【0086】
したがって、この場合光源が画面に近づいたり302遠ざかったり304するにしたがって、カーソルの数が変わって画面の現れる(303、305)ことになる。このようにしてユーザは自分がもっている光源の画面からの位置をカーソルの数の変化でもって確かめることができ、その使い勝手が向上する。なお、ここで通常の距離として画面から10cmから25cmと述べたがもちろんこれは他の距離でもよく、それぞれのユーザによって異なるようにして良い。
【0087】
さらに、上記では光源の画面からの距離に応じて画面上のカーソルの大きさを変化させたが、大きさのほかにその形状や色などのいわゆるカーソルの形状属性を距離に応じて変化させることも可能である。
【0088】
また、カーソルそのものではなく、音など光源の画面からの距離に応じて変化させることも目が不自由な者にとっても好適である。例えば、距離に応じてメロディーを変えるとか、或いは、周波数を変えることも可能である。或いは、カーサーの輝度の変化の周期を距離に応じて変化させるようにしても良い。
【0089】
光源が画面からかなり離れたところでは、カーソルが認識しにくい場合も生じる。この場合、画面全体のバックグランドの色を距離に応じて変化させるということも好適である。
【0090】
また、カーソル以外の形状やアイコンが距離に応じて現れるようにしたり、距離そのものを画面上の表示するようにしても良い。その距離も棒状のインジケータで表現することも可能であり、またそのインジケータの色を距離に応じて連続的に変えることも可能である。また、距離に応じて周期を変えながらフラッシュ・ライトを点滅させるようにしても目の不自由な方にとっても好適である。同様に画面に現れるカーソルや形状を距離に応じて周期を変えて回転させたり、振幅運動させたりすることもできる。振幅させるのも形状が一定で位置が振幅して変わる場合もあるが、形状の大きさが周期的に変わるようにしても良い。
【0091】
さらに、眼の不自由な方に対しては、振動子をポケットの中にいれてもらい、光源が領域内にある時に、パソコン側から、ブルーツースなど無線を通じてその振動子を(距離に応じて)振動させるようにしても良い。
【0092】
距離感を得るための手法として光源のディスプレーからの距離に応じて、光源の動きの速さに対して、カーソルの動きを光源がディスプレーに近いときは早く、遠い時は遅くするようにしても距離感をユーザが知ることができる。これらの手法はその応用と状況によって取り入れることが肝要である。
【0093】
盲人が自分の立っているところや光源がある位置がどこかを知るために、光源がある入力領域に入ったときに、ある香りを発生させることによって自分の位置を知らしむようにすることも可能である。部屋ごとに光源認識装置があるとして、各部屋ごとにことなるにおいやメロディーは提供することは眼の不自由な人にとって自分がどの部屋にいるかが容易に分かり好適である。認識装置あるいはその他の基準点からの距離に応じて香りの強さを変えることもある程度の距離感を利用者に与えることになり効果が見られる。
【0094】
したがって、光源のディスプレーからの距離に応じて、五感に訴える形でユーザにフィードバックをかけることができる。
【0095】
[第3の実施の形態]
本実施の形態では、定義空間をドラッグ・アンド・ドロップすることについて説明する。
【0096】
図5に示すように、このシステムにおいて閉空間がすでに定義されているものとする。また、ドラッグ・アンド・ドロップのモードに入っているものとする。対象閉空間は点1505を含むパソコン画面と平行な長方形1504と対応するパソコン画面、及びそのパソコン画面を含む平面上に長方形1504の4角からおろした垂線及びその垂線が交わる点1506を含む4点から定義される。
【0097】
光源1502にはいわゆるパソコンの左クリックボタン1503もついているものとする。手を動かして光源を閉空間にいれる。するとディスプレー上の光源が閉空間に入っていることが表示される(アイコン1507)。ここではこの特定アイコンの色が明るくなることでそれが表現されているものとする。
【0098】
左クリック1503をある一定時間押したままにすると、ちょうどパソコンの場合おなじように閉空間をドラッグすることの開始を表す。ここで利用者は光源を左クリックボタンを押したまま、任意の位置にもっていく。センサは常に光源の位置を検出している。したがって光源の位置の閉空間内での相対的位置も決まっている。そして移動のあと左クリックボタン1502を外すと、前記閉空間が現在の光源の位置1512とドラッグが始まったときの光源の位置1502との差分だけ平行移動させられる。これをドロップと呼ぶことにする。ドロップが行われたとき、閉空間は光源の位置のドラックが始まったときの光源の閉空間に対する関係が保持されたように平行移動が行われる。
【0099】
したがって、この操作が終わったとき、閉空間を表す例えば角の座標1506・1505が光源の差分だけ平行移動したように更新され1511・1509となる。平面1504は平面1510に平行移動させられている。もちろんドラッグしている間もある一定時間ごとに光源の位置を計算してドラッグの始まった光源の位置との差分で対象とする閉空間を表す座標を逐次更新するようにしても良い(ディスプレー上に現在の矩形位置を縮小表記しドラッグの様子を表現できればなお良い)。なおこのドラッグの間、光源が入力矩形に入っているので、アイコン1507はハイライトされたままとなっている。
【0100】
したがって、予め決められた空間の位置と任意の場所に移動することができ、ディスプレーと入力空間を分離されることが可能となる。したがって、例えばベッドに横たわってパソコンを利用する場合、自分の手元にそのような入力空間を定義することができ、パソコンを自分のベッドの上に置かなくてすみ、パソコンの入力の利便性が増す。
【0101】
[第4の実施の形態]
図6を参照しながら説明する。
【0102】
パソコン画面手前に矩形を定義することで直方体領域R0が定義されているものとする。ここでRNは全空間SからR0を除いたものである。この直方体は6つの平面方程式で定義づけられるが、そのうちの1つは画面を含む平面Rである。平面A0とパソコン画面側のRでもって直方体領域R0は囲まれているものとする。
【0103】
画面の中心から手前に垂直な垂線がx座標軸に対応している。各平面は
a・x+b・y+c・z=q
であらわされる。
【0104】
ここで、a,b,c,qは特定の平面に固有な定数である。これらの平面の内、パソコンの画面に平行な平面を選ぶ。これをA0と呼ぶ。ユーザは今この平面より手前、パソコンの画面と反対側にいるとする。するとこの平面からユーザ側3cmにある平面は
a・(x+3)+b・y+c・z=q
であらわされ、これをA1と呼ぶ。
【0105】
逆にパソコンの画面側3cmにある平面は
a・(x−3)+b・y+c・z=q
であらわされる。これをA2と呼ぶ。
【0106】
A2とA0で囲まれた直方体をR2,A0とA1で囲まれた領域をR1と呼ぶことにする。R0からR2を除いた直方体領域をR3と呼ぶことにする。仕上がって、第2の実施の形態で述べたように領域R3,R2,R1、そしてRNはパソコン画面からX座標が増す方向にならんでいることになる。なお、RNは正確にはS−ROだが、ここでは直方体R0の画面A0に垂直な平面が常識的にユーザ側に延長されたと考えた四面に囲まれたRNの部分をさす。
【0107】
第2の実施の形態ではR0とRNに対応する色を決めて、光源がその領域にあるときに領域に対応する色が画面のアイコン上に現れるようにした。R3にはR0と同じ色相を、RNは前の実施の形態で直方体R0の外側を表す色相を、R2とR1にはR0とRNの間の色相の内2つを選び距離に応じて順番に色相が自然に変わるように選ぶ。別の方法として光源がR2からR1にある場合連続的に色相を画面からの距離に応じて変化させるようにしても良い。
【0108】
したがって、ユーザに前もって光源が入力領域の境界から近いかどうかを知らせて、使い勝手が良くなる。特に不用意な動きを軽減できる。
【0109】
[第5の実施の形態]
図7を参照しながら説明する。
【0110】
光源がユーザが自由に設定した異なる領域を通過することによって生じる領域名の時系列3次元位置パターンをパソコン入力へのコマンドとして使う。このような方法は、特開2001−306235号公報(特願2000−117615号)に記載されている。しかし、そこではそのようなパターンを決める複数の閉領域は予め決められていて、変更が出来なかった。
【0111】
さらに、同じ領域にいてもこの装置では光源に3次元の位置が認識されているのでそれから時系列パターンを次にようにして構成することができる。
【0112】
すなわち、ある特定直方体入力領域R0を考える。この直方体領域は画面に対してその左右2つの面が平行であるとする。この領域内に光源をもった指があったとする。この指をある特定の時間内に画面に向かって数回近づけたり遠ざけたりする。
【0113】
例えば、ここでは3回指を前後させたとする。最後はもとの位置(大体でよい)このとき光源が一回の前後運動である特定の最小長より動いたとする。そうすることによって光源の位置の時系列が認識される。パソコンではこの光源の位置の時系列を常に保存しているので、絶えずある特定の間隔で、ある特定の時間を窓としてその間の光源の位置の時系列パターンを観察していることになる。そしてそこに3回の距離の遠近のパターンが近いところから始まって近いところで終わったことが観察されたとする。即ち、図7でABABABAである。このパターンは近遠近遠近遠である(近い遠いは画面からの距離で測る。)。
【0114】
光源の初期の位置から始めて次に画面の方に近づき、またもとに戻すという操作を繰り返すことによって先のパターンと逆のパターン、遠近遠近遠近を作ることもできる。このパターンが認識されたとき、例えば、VRML(Virtual Reality Modeling Language)の物体を仮想空間で自分から遠くにもってくる操作をするコマンドとして使える。
【0115】
ここまでの説明では画面に対してと書いたが、画面に限らず、入力連続空間(通常閉空間)を決める平面、曲面に対する光源の相対的位置に対してパターンを決めるようにしても良い。例えばこの定義に従えば、矩形閉空間を決める相対する2平面に対する光源の位置関係から、左右左右、右左右左右左、上下上下、下上下上などが容易に定義され、それぞれのパターンの常識的に対応するコマンドがさらに定義される。
【0116】
したがって、ユーザが自由にコマンドを設計できる。
【0117】
[第6の実施の形態]
上述した図7を参照しながら説明する。
【0118】
特定領域、例えば、602とパソコン画面を含む平面601で定義された連続する直方体領域R0は画面の手前に定義されているものとする。ユーザAの持っている光源を光源Aとする。またユーザBの光源を光源Bとする。ここではユーザBはいわゆる意味でのスーパーユーザであり、最初に光源Aと光源Bが同時にR0内で認識されない限り、ユーザAはこの領域を利用するパソコンが利用できないようにする。
【0119】
光源Aと光源Bはそれぞれ異なり、固体に固有の波長の光(赤外線も含む)を発するとなお好適である。光源の光にフィルターをかけて、特定光源が見えやすくするようにしても良い。複数の光源を区別するには周波数を変える方法、位相を変える方法、パルスのパターンを変えるなど様様な方法が考えられる。
【0120】
上記では同一の領域を考えたが、一般にある特定の複数の光源がある特定の領域に、また別の特定の複数の光源が別の特定領域にあるとき、それをある特定のコマンドとして認識するようにしても好適である。単純例としてある特定領域にある光源の数によってある特定のコマンドを定義する場合などが考えられる。
【0121】
これまでは、複数の光源が単にある特定の領域にあることだけを考えたが、さらにこれを発展させて、各光源が特定の入力コマンドを実行したときのみ、すなわち複数のコマンドが実質同時に実行されたときのみ、ある別のコマンドが実行されるようにしても良い。
【0122】
例えば、複数のユーザのうち過半数がパソコンの基本ソフトあるいはアプリケーションソフトを終わらせるように各光源を使って指示した時のみ(そのような指示の仕方は別の実施の形態で述べる。)該当するソフトを終わらせるようにするなどである。具体的にパソコン教室で先生の光源と生徒の光源の両方がパソコンを終わらせるコマンドを送った場合のみパソコンを終わらせるというような場合である。
【0123】
したがって、ある特定ユーザ(スーパーユーザ)の承認がなければ、パソコンを使えない状態となり、パソコンの不正使用を防げる。複数のユーザのもとでしかある特定のプロセスが動かせないように、あるいは終わらせることが出来ないようになる。
【0124】
[第7の実施の形態]
図8を参照しながら説明する。
【0125】
パソコン画面手前の3次元空間を適当な平面702で分断して生成される2つの背反領域A,Bに対して、光源を交互に出し入れすることにより、その光源のある領域の名前からなる時系列パターンができる。そのパターンをコマンドやID,あるいはパスワードとして定義することが可能である。もちろん各領域に光源が滞在する時間をも前記時系列パターンに含めても良い。この場合、滞在時間が区別できるよう充分その最低滞在時間などを設定しておく必要がある。光源703と704は2つの開空間(背反領域AとB、ただし共通領域はない。)を移動する光源を表している。
【0126】
これらのパターンに対してユーザが五感で認識できるような形でフィードバックをかけることも好適である。
【0127】
したがって、IDやパスワードを設定することができる。
【0128】
[第8の実施の形態]
図9を参照しながら説明する。
【0129】
すでに特定の直方体入力領域が画面の手前に定義されている(1311)ものとする。(点線および平面1310で囲まれた領域)図9(A)において、この領域内に光源を持っていき、例えば、光源を3回オンオフを特定の時間内に繰り返す。さらに、別のコマンドを定義する。例えば、このモードで光源を2回上下に振ると現在ある領域に別の領域を付加することを意味したとする。
【0130】
このコマンドの後、光源が新たな連続領域を定義するモードになっとことを意味する。したがってその後、実線で表された矩形領域1313を例えば第2の実施の形態のように指定したとする。この場合、光源が最初の領域1311でディスプレーに近いところの平面をまず定義する。この場合光源が領域1311の中にあることを確認するようにしても良い。すると領域指定が終わるやいなや、即ち1313のディスプレーから遠い側の平面が定義されるやいなや、2つの領域の集合和1314が定義される。特に前に定義して連続閉空間をカバーするように新しい連続閉空間を定義すると、後者が前者を包含する関係であるときは、前の定義は消滅し新たに連続空間が定義される。
【0131】
なお、図9(B)に示すように、2つの領域が連続しない場合、エラーメッセージを画面に出すようにする。なお、2つの連続しない領域を同領域とみなすことも可能である。
【0132】
2回目のコマンドが2回下上にする操作はここでは集合差分をとるコマンドとする。図9(C)において、新たに連続領域1332が入力された後、初めからある連続領域1331から共通部分1334取り除き、取り除かれた集合差の領域を改めてR(1333)として定義しなおす。
【0133】
このように集合算ができるようにする理由は、直方体を決めている平面や辺などをピックアップして新たに定義しなおすことがこの3次元入力装置では比較的難しいことと、また、直方体の集合算で行ったほうがやり易いからである。
【0134】
図9(B)は集合和、集合差の両方の場合に適応され、第1の入力領域と第2の入力領域が共通領域を持たないならば、エラーが起こることを示している。
【0135】
同様なコマンドとして共通部分1334をとることも考えられる。集合操作コマンドのモードで例えば、上記上下または下上の操作の替わりに平面上で円弧を2回描くようにしても良い。ここまでで述べてきた光源のオンオフや、その後の集合算のコマンドとしての上下、下上、円弧はその限りではなく、ユーザが納得するコマンドを定義するようにするのが好適である。
【0136】
図9(B)を用いて1333と1332の共有部分空間として1334を定義することを述べる。これは2種類の光源に対して両方が使える空間を表す。あるいはグループで使う場合に個人の空間を大きな共有空間に定義する場合に有効である。このコマンド・モードでは1333と1332を定義するとその共通連続空間1334が生成される。
【0137】
他の集合算もこれまでの説明と同様に定義できるので省略する。なお、複数の連続しない空間を1つの属性共有する空間としてあつかうには、改めてそれを定義するモードを設ける。その場合、図9(B)において、第1の入力空間と第2の入力空間が1つの入力空間として扱われる。
【0138】
したがって、入力領域の集合算が可能になる。特に領域を増やす場合に最初からやりなおす必要がなくなる。
【0139】
[第9の実施の形態]
図10を参照しながら説明する。
【0140】
現状では1つのディスプレーで表示されているものを同時に他のディスプレーで表示することは可能である。これは単にディスプレーへの信号を他のディスプレーに送れば良いことである。この場合最初の画面にでているポインターも他の画面に現れるのは当然である。
【0141】
同様に各3次元立体空間にあるポインターが入ったことは、第2の実施の形態のように決定づけられる。このシステムでは光源が異なった仮想領域に入るたびに、領域に入ったことを示すアイコンの色が異なるようにする。即ち、各ディスプレーは各領域に対応するアイコンがあると仮定すると、異なる仮想領域毎に異なるアイコンを定義してあり、光源がある領域に入ると対応するアイコンの色が変わるようにする。これらのアイコンは対応する領域が分かるように対応付けることも好適である。
【0142】
図8では左領域Aと右領域Bが定義されている。光源がどちらに入るかでディスプレー上のアイコンの色が変わるように設定する。あるいは2つのアイコンを用意しておき、光源がどちらかの領域にある時、対応するアイコンがハイライトされるように設定しても良い。
【0143】
例えば、図10に示すように、1つのディスプレーに複数の光源認識領域が定義されていたとする。それぞれのアイコンにカーソル用、画面手前などといった言葉をつけることも可能であるし、それぞれ異なったモードに設定される。領域1442はキーボートのモード、領域1443はスクロールのモード、空中の領域1441ポインターのモードが設定される。スクロール・モードやキーボード・モードでは光源の位置がパソコンが置いてある平面から数mm以内にあるとする。キーボード・モードではソフトのキーボードがディスプレー上に表れ、光源の位置に対応するキーがハイライトされる。
【0144】
それら複数のアイコンが実際の複数の仮想領域の位置関係を反映させるようにディスプレーに描かれる(1444)ことも必要である。
【0145】
したがって、1つのポインターが複数のディスプレーに対して利用することができる。複数の領域が異なるモードで存在することが可能で、ユーザーはそれを意識することなく、光源を領域間で移動させる。従って、従来のマウスのように、各モードにおいて頭の切り替えを図る必要がなくなり、思考の中断が軽減される。
【0146】
[第10の実施の形態]
本実施の形態では、3次元入力の認識と擬似正規化を説明する。
【0147】
3次元での光源の軌跡を任意の入力コマンドとして利用できる。このシステムは時系列にそって3次元座標がある一定間隔(例えば0.01秒)で記録をとっている。システムは任意の時点から遡ってある時刻までの時間を1つのウインドウとして常にその記録をチェックしている。
【0148】
例えば図11に示すように、光源が2秒以内に光源802の上下運動803をしたとする。すると代表的な点をとり(全部のデータでも良い)その点が直線を構成しているか確認する。またその直線が描かれる方向、その繰り返しを検出する。例えば、上下運動(その復路も考慮に入れて)2回をある特定時間で確認するなら、画面にあるVRLMで記述されているオブジェクトを下方にある一定量動かせというコマンドとして解釈させるようにする。また別の例として同じ平面上で弧状または半円を描く操作をする。この操作はVRLMなどの物体をその方向にある物体の中心を基準に一定量まわせ(x−y平面に対して)ということと解釈させる。
【0149】
軌跡を認識する方法の一例を図11、図12、図13を参照しながら説明する。
【0150】
先の例のように、システムは任意の地点から過去に遡って、例えば2秒間の間、その3次元軌跡が何であったかを認識する。この過去2秒間は上記記録の行われるすべての時点から始まって行っている。すべての過去2秒間の内、1つでも弧状が認識されたならば、ただちにその時点で弧状に対応するコマンドを処理するものとする。光源の上下運動を確認するためのパラメターは上下運動(水平線に垂直な通常のY軸方向)の最小の距離901と上下運動が横(水平線と同じ通常のx軸方向)にぶれることなくある一定の距離902内に収まることである。
【0151】
同様に半円弧を認識するには円弧の始点101と終点102を結ぶ線から円弧は弧の端103まで充分な最低距離104があること、101や102にくる光源の位置が2−3回ともある特定の位置内にあることなどである。
【0152】
なお、これらのパラメターは予め設定しておいても良いが、コマンド生成モードというのを設け、ユーザが自由に設定できるようにしても好適である。
【0153】
したがって、任意の3次元形状をコマンドとして登録することができ、各ユーザ毎のカスタムメイドのコマンドを利用することができる。
【0154】
[第11の実施の形態]
特に面白いパターンとして半円弧を地表と平行な平面上でくり返すことにより、VRMLの物体を回転させることも可能である。その半円弧の始まりの位置と光源がユーターンする位置との時系列関係から回転する方向を自然な解釈で定義することができる。また、描かれた半円弧は平面や垂直方向のみならず、平面に対してある角度で描くことも可能である。したがって、そこから定義されるVRMLの平面基準点に対する回転平面の角度を自然に定義づけすることができる。もちろん回転の方向付けも平面における場合と同様に決定できる。半円弧ではなく、円弧を描いて上記と同様なことも可能である。
【0155】
ここからこれまでの3次元軌跡コマンドを利用してVRMLのオブジェクトを従来のように2次元上に拘束されたマウスではなく、3次元の動きでごく自然に動かすことができるのを説明する。
【0156】
図14に示すように、コンピュータ上に仮想空間1605とその中に仮想3次元物体1602があったとする。この物体に対応してパソコン画面手前にその仮想空間と相似の入力閉空間1606を設定する。相似の程度は、まずユーザに第1の実施の形態で説明したような3次元矩形空間を設定させることに始まる。VRML動作モードでこれを設定すると、パソコン内の仮想空間1605とこの3次元入力空間1606を対比させて、その比率(各3軸方向への比率も含む)を求める。従って、対象とする3次元仮想物体1602(以下物体Aと呼ぶ)もその比に対応して、3次元矩形空間内に1603として定義することができる。ここで3次元入力空間内にできた物体1603を物体Bと呼ぶことにする。
【0157】
物体Bはこれまで定義してきた閉空間とその性質においてことなる。即ち、この空間は固定されていなく、光源が中にある時に、あるコマンドの後、光源と物体Bの相対的位置が固定され、光源が3次元入力空間内を移動するに対応して移動が可能である(第3の実施の形態参照)。
【0158】
ここで、移動には平行移動と回転移動が考えられる。平行移動の場合は、光源の動きにつれて、物体Bが動く場合であり、この場合回転がないので、物体Bの3次元矩形空間との相対的方向は変わらないが位置だけが変化する。なお、物体Bが入力3次元空間からはみ出る場合はエラー・メッセージなどだして操作を繰り返しさせる。
【0159】
一方、回転移動の場合、細かく言うと2つの回転移動がある。1つは回転軸が物体Bを通過する場合であり、もう1つは回転軸が物体Bを交わらない場合である。
【0160】
回転軸が物体Bを通過する場合、ユーザ定義の回転軸や予め回転軸を物体のいわゆる中心を通るように設定しておくことができる。回転軸を設定する場合はまず光源を物体Bの外にもっていき(コンピュータディスプレー上でそれはフィードバックがかかり確認できる。)、任意の直線1604を定義することによって設定できる。直線の始まりと終わりはクリックなどを行って設定する。もちろん直線を定義するときに、物体Bと交点ができる場合はエラーメッセージを出させて、操作を繰り返させるようにしても良い。逆に、回転軸がBを通るように設定する場合に、定義した直線がBと交点を持たない場合はエラーメッセージを出させて、これも操作を繰り返させる。
【0161】
同様にVRMLでは視点を変えるという操作があるが、これはVRML上の常識的に考えられる水平面を考え、その水平面に対応する水平面を3次元入力空間内で設定する。そして後者の平面を光源で動かす(水平面に垂直なY軸方向)ことによって、視点の変化を与えることができる(視点はこの水平面に対して固定されていると考える。)。
【0162】
フィードバックの方法として光源の位置(それを動かす指も入れて良い。)をVRML上の反映させることができる。これはコンピュータ内の仮想空間とパソコン外の3次元入力空間が対応しているので、コンピュータ・グラフィックのテクニックなどを使い実現できる。
【0163】
VRMLにおけるズームの動作はこの装置では次のように行う。入力空間で光源を物体Bの外に置く、光源を画面から垂直な方向に対して(z軸)画面から見て遠近遠近、または近遠近遠などと動かして、ズームやパンを行う。
【0164】
したがって、VRMLなどの仮想空間における仮想物体をより現実の感覚で移動回転が可能になる。
【0165】
[第12の実施の形態]
図15を参照しながら説明する。
【0166】
ここでは初めに第1の実施の形態のコマンド認識領域の直方体が2つ定義されているものとする。画面の3次元情報は予め決められても良いし、またユーザが後で定義するようにしても良い。簡単のため、それぞれの直方体を定義する平面群を画面A(全部で6面ある)と画面B(全部で6面ある)と呼ぶことにする。また2つの直方体は同一の平面上にあるが重なりはないものとする(1104)。光源はこれまでの説明で使われてきたように、1つの拡散光ではなく、2つの拡散光1102,1103があるものとし、その拡散光は1つの線分上にあるようにペンや棒1101などの上に物理的に固定されているものとする。
【0167】
これまで説明したように、このシステムでは光源が認識されると、その3次元位置も求められる。2つに光源があるので、その2つの光源を結ぶ線分の方程式が求められる。さらに、その方程式と上記画面Aと画面Bとの交点を求めることができる。それぞれの画面は重なりがないのでそれぞれの画面との交点があるかどうかは背反事象である。すなわち交点がもとまった時点でその画面が選択できたことになり、以後の入力にその画面を使われるようになる。なお、どちらの画面にも上記線分が交わらないことも当然ある。
【0168】
より具体的応用例として、パソコン教室が行われているとする。するとインストラクターは特定のパソコンだけを起動させたい、あるいはインストラクタのポインターを見せたいといった場合、そのパソコンを指定するのに、1つ1つしていたのでは大変である。その場合、各パソコン前に定義された矩形ボックスを一括してポインタで選択できると便利である。
【0169】
したがって、1つのポインターで複数のコンピュータ端末やディスプレーを操作することができる。
【0170】
[第13の実施の形態]
図16を参照しながら説明する。
【0171】
複数の光源(ここでは4つの光源とする)1206を用意し、それぞれの光源は異なる波長をもつようにし、またある一定間隔で定期的にそれらの光源が順番に発光を繰り返すようにする。4つの光源の代りに、1つの光源で4種類の波長に対応するフィルターを順番に光源の前に置くようにしても良い。
【0172】
シール1201など(例えば2×2cm)に4つ光源の波長に反射する同サイズの反射板1202,1203,1204,1205を装着する。シールそのものはどの波長でも反射しない物質でできているものとする。ある特定の波長の反射板があればその波長の反射が確認できるので、4つ反射板をシールに装着するかどうかで、ここでは2×2×2×2=16通りのバターンができ、IDとして利用することができる。図16では左下の反射板1205が無い状態を点線の円で表していて、他の3つの反射板は存在する。ここで上記2×2cmは1つの例であって、反射板からの反射光が充分観察できる大きさを決めることによっていくらでも反射板の大きさを小さくでき、よってシールの大きさも小さくできる。
【0173】
このシールを指や手の甲その他の場所に貼り付けて使用する。人の肩の場所に貼り付けて、入り口を通過した時に光をあてて、その人のIDを読み取るようにすることも可能である。
【0174】
【発明の効果】
本発明によれば、コストをかけることなく、位置測定のための操作性を飛躍的に向上させることができる。
【図面の簡単な説明】
【図1】入力領域を定義することの説明図である。
【図2】距離認識装置の原理図である。
【図3】距離認識装置と光源の構成図である。
【図4】複製カーソルの数が光源の位置により変化することを説明する図である。
【図5】入力領域の移動を説明する図である。
【図6】入力領域の境界付近における距離感のフィードバックを説明する図である。
【図7】入力領域に2つの光源がある図である。
【図8】2つの入力領域がある図である。
【図9】入力領域の集合算を説明する図である。
【図10】モードの異なる入力領域の説明図である。
【図11】3次元入力を説明する図である。
【図12】3次元入力を説明する図である。
【図13】3次元入力を説明する図である。
【図14】3次元仮想体を動かすことを説明する図である。
【図15】複数の入力領域を選択することの説明図である。
【図16】波長の異なる複数の反射板の図である。
【符号の説明】
R 入力境界領域でディスプレーの平面と重なる平面
A0 入力境界領域でディスプレーと反対側の平面
A2 入力領域でA0に近い平面
A1 入力外領域でA0に近い平面
R1 閉領域
R2 閉領域
R3 閉領域
R0 R2とR3の和集合
RN 開領域
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a position measurement input support device, and more particularly to a position measurement input support device related to a technique for measuring a position of a pointer or the like. For example, in the operation of a mobile device represented by a laptop personal computer, the operability of a pointer such as a mouse surpasses the operability, and a position measurement input support device suitable for use as a pointing device that realizes barrier-free operation. is there.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, pointing devices for personal computers and the like include a mouse, a trackball, a joystick, and various sheet-like devices. According to reports on these operability, the mouse is the best in terms of speed and accuracy of positioning, so it is necessary to add a mouse if priority is given to operability even in a mobile environment. Have been.
[0003]
However, in the future, the use of mobile environments will increase in variety and the need for input of characters and pictures will also increase, so it is important to perform pointing with good operability other than mouse. . Furthermore, from the viewpoint of barrier-free, there are many situations where it is difficult to operate a mouse or a pen, and there is an urgent need to invent a new input device that solves this.
[0004]
In recent years, mice have been wireless using infrared light, but the mouse is limited within a certain distance from a personal computer and the direction in which infrared light can be read is limited. In addition, a wireless system called Bluetooth that connects a mouse to a personal computer has begun to appear on the market, but in any case, the movement of the mouse is still limited to a specific plane.
[0005]
As a mouse substitute, for example, a position on a plane is measured by using a dedicated tablet such as a position input tablet manufactured by WACOM, or a two-dimensional semiconductor as described in Japanese Utility Model Application Laid-Open No. 5-25525. There is a technique for measuring a position on a plane using a sensor (PSD) and a lens. The pen is used as an alternative to a mouse in this tablet, but its movement is limited to a specific plane.
[0006]
There is a 3D mouse used in the air, in which an autogyro is held so that the three-dimensional orientation of the mouse from a certain point in time can be tracked (Gyropoint of Gyropoint Technology, USA). This allows the position of the pointer to be changed by changing the direction of the hand toward the screen targeting the mouse. However, this product does not respond at all to the translation of the mouse.
[0007]
The Stereo Labeling Camera by Cyverse Inc. uses an infrared light emitter (one is a reflection type using a reflective material on an object, and the other is a light emission type using a light emitter on an object). .), There is a sensor in which CMOS is arranged on a straight line and the distance to the light emitter is measured using the principle of three-dimensional surveying. The accuracy of this device has an error of about 1 mm at a distance of 1 m and an error of 9 mm at a distance of 3 m. However, it is enough to capture the movement (motion capture) by attaching a plurality of luminous bodies to the human body with such accuracy. Unfortunately, it costs hundreds of thousands of yen, and its spread is limited.
[0008]
The live board etc. detects the position of the icon on the screen by the position of the electromagnetic induction pen, and the similar system of Toshiba (eBeam (product)) and KOKUYO (mimio (product)) uses ultrasonic wave etc. The upper two-dimensional position is determined and characters are input.
[0009]
On the other hand, as described in Japanese Patent Application Laid-Open No. Hei 10-9812, light from an input device is measured with an apparatus in which photoelectric conversion elements (PDs) are combined in an L-shape, so that the light source can be made compact and inexpensive. Techniques exist for measuring position. In this device, the light source corresponding to the mouse is attached to the hand and can be freely moved in a three-dimensional space.
[0010]
[Problems to be solved by the invention]
The WACOM position input tablet requires a tablet having a larger area below the display screen than the display screen, which is disadvantageous in miniaturization, and it is impossible to replace only the display screen. Furthermore, it has the inconvenience of always carrying the tablet itself.
[0011]
Further, since the pen needs to be moved on the surface of the tablet, it may be difficult for a person with a disability to use the upper limb. Further, there is a problem that the cost reduction is limited because the electromagnetic induction method is used.
[0012]
Next, Japanese Utility Model Laid-Open Publication No. 5-25525 has an advantage that pointing can be performed in an arbitrary region of the space. However, it has been determined that the use of an expensive PSD is insufficient as a pointing device for a mobile device whose cost has been remarkably reduced, and has not been put to practical use.
[0013]
On the other hand, in Japanese Unexamined Patent Publication No. Hei 10-9812, it is necessary to select a method of using either a pointer or a mouse. In other words, when it is desired to switch between a method of using the pointer as a pointer that always moves the cursor and a method of moving the cursor as a mouse only when necessary, it is necessary to provide a separate switch or the like, and it is troublesome.
[0014]
As a method that does not use a switch, it is necessary to perform a specific operation in the air, and even a beginner cannot operate without recognizing the operation. Furthermore, since the scroll function was not considered, a separate scroll means had to be provided.
[0015]
In addition, there was no clue to know that the switch was made, so it was only after actually performing the operation that the correct or incorrect state could be confirmed. In addition, the movement of the current mouse is restricted on a two-dimensional plane, and it is undeniable that an unnatural operation was forced to operate a three-dimensional virtual object on the display.
[0016]
These situations interrupted the thinking that had been performed continuously until then, and added extra stress to the user.
[0017]
The present invention has been proposed to solve the above-described problem, and provides a position measurement input support device that can dramatically improve operability for position measurement without increasing costs. The purpose is to.
[0018]
[Means for Solving the Problems]
The present invention has solved the above-mentioned problem by utilizing the technology described in Japanese Patent Application Laid-Open No. 10-9812.
[0019]
According to the first aspect of the present invention, a recognition unit for recognizing a position of a light source and at least one of a three-dimensional continuous closed input space and an open input space are defined based on the position of the light source recognized by the recognition unit. Definition means.
[0020]
Therefore, according to the first aspect of the present invention, it is possible to define at least one of a three-dimensional continuous closed input space and an open input space by using the position of the light source.
[0021]
According to a second aspect of the present invention, in the first aspect, the positions of the plurality of light sources are simultaneously recognized.
[0022]
Therefore, according to the second aspect of the present invention, at least one of a three-dimensional continuous closed input space and an open input space can be defined by simultaneously recognizing the positions of a plurality of light sources by the recognition means.
[0023]
The invention according to claim 3 has a stimulating means for appealing to at least one of the five senses according to the case where the light source is inside the input space and the case where the light source is outside the input space.
[0024]
Therefore, according to the third aspect of the present invention, by distinguishing between the case where the light source is in the input space in the three-dimensional space and the case where it is outside and appealing to at least one of the five senses, the light source is located in the input space. It is possible to make the user surely recognize the case and the case outside.
[0025]
The invention according to claim 4 has input space moving means for moving the input space in accordance with the movement of the position of the light source when the position of the light source is in the input space and a predetermined operation is performed. ing.
[0026]
Therefore, according to the fourth aspect of the invention, the input space is not limited as in the case of a desktop mouse, and the display device and the input are separated. The input space can be arbitrarily defined.
[0027]
The invention according to claim 5 has stimulating means for appealing to at least one of the five senses according to the distance from the boundary of the input space to the light source when the light source is in the input space.
[0028]
Therefore, according to the fifth aspect of the present invention, the user is notified in advance whether the light source is close to the boundary of the input area, so that careless movement of the user can be reduced and usability can be improved.
[0029]
The invention according to claim 6 has command forming means for forming a command based on a time series pattern generated when the light source passes through different input closed spaces.
[0030]
Therefore, according to the invention described in claim 6, by forming a command to the control device based on a time series pattern generated by the light source passing through the input closed space, for example, identification information and a password can be set. it can.
[0031]
According to a seventh aspect of the present invention, in the invention of the sixth aspect, a recording unit that records a time-series coordinate position of the light source, and the coordinate position recorded by the recording unit changes according to a change in the input closed space. Command execution means for executing the command formed by the command formation means.
[0032]
Therefore, according to the invention described in claim 7, the user can freely design the command by executing the command according to the change of the time-series coordinate position of the light source.
[0033]
The invention according to claim 8 is the invention according to claim 6, wherein a recognizing means for recognizing the three-dimensional trajectory of the light source, a converting means for converting the three-dimensional trajectory recognized by the recognizing means into a corresponding command, Is further provided.
[0034]
Therefore, according to the eighth aspect of the present invention, the three-dimensional trajectory generated by the movement of the light source is recognized, and the recognized three-dimensional trajectory is converted into a corresponding command, thereby obtaining the three-dimensional trajectory of the light source. If the corresponding command is defined in advance, the user can easily design the command.
[0035]
The invention according to claim 9 has a plurality of light sources and a command generation means for generating a predetermined command when each of the plurality of predetermined light sources is in a predetermined three-dimensional area.
[0036]
Therefore, according to the ninth aspect of the present invention, when a plurality of predetermined light sources are each in a predetermined three-dimensional area, a predetermined command is generated. Can be prevented from being used without permission.
[0037]
According to a tenth aspect of the present invention, a plurality of light sources, an input action performed in a predetermined three-dimensional region by a predetermined light source, and at least one of the predetermined three-dimensional region and another three-dimensional region are performed by another light source. A recognition unit that recognizes an input action to be performed; and a command generation unit that generates a predetermined command when recognized by the recognition unit.
[0038]
Therefore, according to the tenth aspect of the present invention, an input action performed in a predetermined three-dimensional area by a predetermined light source and at least one of the predetermined three-dimensional area and another three-dimensional area are performed by another light source. By forming a predetermined command when recognizing the input action, for example, when there is no approval of the predetermined user, it is possible to prevent another user from using the device without permission. Also, only when a plurality of predetermined users approve, a predetermined process can be activated or the predetermined process can be terminated.
[0039]
According to an eleventh aspect of the present invention, there is provided a set calculating means for performing a set calculation of a first specific continuous input space and a second continuous continuous input space.
[0040]
Therefore, according to the eleventh aspect, it is possible to perform a set operation of different continuous input areas.
[0041]
According to the twelfth aspect of the invention, when another input space is newly defined when the first continuous input space is defined, an input space for merging the two is newly generated when both have a common part. When the first input space generating means and the first continuous input space are defined, another input space is newly defined. If both of them have a common part, the common part is replaced with a new input space. When a second input space generating means for generating the first continuous input space and a first continuous input space are defined, another input space is newly defined. And a third input space generating means for newly generating an input space excluding a common part from, and when another input space is newly defined when a second continuous input space is defined, a common part is formed between the two. When there is a second continuous input space Fourth input space generating means for newly generating an input space excluding a common portion, and fifth input space generating means for newly generating an input space excluding the continuous space from the entire space when a new continuous input space is defined. And a sixth input space generating means for generating, as a new input space, a discontinuous space obtained by combining the first continuous input space and the second continuous input space having no common part with the first continuous input space. are doing. When the first continuous space and the second continuous space have no common part but are in contact with each other, the combination of the two may be one continuous space.
[0042]
Therefore, according to the twelfth aspect, even when the input space is increased, the first input space and the second input space can be easily handled as one input space without starting over. it can.
[0043]
According to a thirteenth aspect of the present invention, a plurality of display devices corresponding to the plurality of three-dimensional input spaces and a cursor of the display device corresponding to the predetermined input space when the light source is located in the predetermined input space. Cursor moving means for moving.
[0044]
Therefore, according to the thirteenth aspect, one pointer can be used for a plurality of display devices.
[0045]
The invention according to claim 14 is the invention according to claim 13, further comprising an input mode setting means for setting a different input mode in each of the plurality of input areas.
[0046]
Therefore, according to the fourteenth aspect, a plurality of input areas can have different input forms, and the user can move the light source between different input areas without being conscious of the input forms.
[0047]
According to a fifteenth aspect, in the invention according to the thirteenth aspect, when a straight line connecting two light sources and one or more continuous input spaces have an intersection, the selection means selects the continuous input space having the intersection. Is further provided.
[0048]
Therefore, according to the fifteenth aspect, by selecting a continuous input space when there is an intersection with a straight line connecting two light sources and one or more continuous input spaces, for example, a plurality of pointers can be obtained by one pointer. A computer terminal or a display can be selected and operated.
[0049]
The invention according to claim 16 includes one or more light sources having different wavelengths, and light amount changing means for changing the light amount of the light sources in a predetermined pattern.
[0050]
Therefore, according to the sixteenth aspect, by changing the light source in a predetermined pattern, it is possible to form identification information that can be read by light.
[0051]
The invention according to claim 17, wherein one or more light sources that generate light of different wavelengths in a predetermined pattern, and a plurality of light sources that reflect only light of different wavelengths among the light generated by the plurality of light sources are provided. When the light reflected by the plurality of reflecting means has the predetermined pattern, it is detected whether or not the light reflected by the plurality of reflecting means has light of a predetermined wavelength. Detecting means.
[0052]
Therefore, according to the seventeenth aspect, when the light reflected by the plurality of reflecting means has a predetermined pattern, the light reflected by the plurality of reflecting means includes light of a predetermined wavelength. By detecting this, identification information that can be read by light can be formed.
[0053]
The invention according to claim 18 is a light source, measuring means for measuring the three-dimensional position of the light source, and luminance changing means for changing the luminance of the cursor according to the three-dimensional position of the light source measured by the measuring means. , Is characterized by having.
[0054]
Therefore, according to the eighteenth aspect, by changing the brightness of the cursor according to the three-dimensional position of the light source, the distance to the light source can be appealed to the user's vision.
[0055]
According to a nineteenth aspect of the present invention, there is provided a light source, measuring means for measuring a three-dimensional position of the light source, and a change in a position of a cursor on a screen according to a change in the three-dimensional position of the light source measured by the measuring means. Changing means for changing the time delay.
[0056]
Therefore, according to the nineteenth aspect, the distance to the light source can be appealed to the user by changing the time delay of the position change of the cursor on the screen according to the change in the three-dimensional position of the light source. .
[0057]
According to a twentieth aspect of the present invention, a light source, a measuring means for measuring a three-dimensional position of the light source, and a hearing stimulating means for stimulating hearing according to the three-dimensional position of the light source measured by the measuring means are provided. Have.
[0058]
Therefore, according to the twentieth aspect, the distance to the light source can be appealed to the user's hearing.
[0059]
According to a twenty-first aspect of the present invention, in the eighteenth aspect of the present invention, the number of replicas of the cursor is changed according to the three-dimensional position of the light source measured by the measuring means, so that the cursor is displayed. And a first display control unit for performing control for displaying the image in the vicinity of the vehicle.
[0060]
Therefore, according to the twenty-first aspect, the number of cursor duplicates is changed according to the three-dimensional position of the light source, and the duplicates are displayed near the position where the cursor is displayed, so that the distance to the light source can be changed by the user. You can appeal to the sight of.
[0061]
According to a twenty-second aspect of the present invention, in the invention of the twenty-first aspect, a control is provided for displaying a copy of the cursor near the cursor display position and rotating and displaying the copy in accordance with the position of the light source. It further has display control means.
[0062]
Therefore, according to the invention described in claim 22, the distance to the light source can be appealed to the user's vision by rotating and displaying the duplicate of the cursor near the position where the cursor is displayed, according to the position of the light source.
[0063]
The invention according to claim 23 is the invention according to claim 20, further comprising olfactory stimulating means for stimulating olfaction according to the three-dimensional position of the light source measured by the measuring means.
[0064]
Therefore, according to the twenty-third aspect, the distance to the light source can be appealed to the user's sense of smell.
[0065]
The invention according to claim 24 is the invention according to claim 4, wherein a rotation axis defining means for defining a rotation axis for the virtual object in the virtual space, and the virtual axis defined with respect to the rotation axis defined by the rotation axis defining means. Rotating means for rotating the object.
[0066]
Therefore, according to the invention described in claim 24, it is possible to move and rotate the virtual object in the virtual space with a more realistic feeling.
[0067]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, first to thirteenth embodiments of the present invention will be described in detail with reference to the drawings.
[0068]
[First Embodiment]
This will be described with reference to FIG.
[0069]
First, it is assumed that a mode for defining a continuous area is entered first. This is, for example, incorporated in a personal computer with software. In particular, in this mode, the light source emits light, and the sensor that recognizes the light emission is operating.
[0070]
The light source 402 is attached to a finger, and the switch 403 is pressed by another finger under the light source 402. When the switch is pressed, the three-dimensional position of the light emitting point at that time is recorded. Of course, a command to record by pressing a certain key from the keyboard may be issued. However, in the method using a keyboard, if the position of the light source is far enough from the PC screen, the operation of hitting the keyboard becomes troublesome.
[0071]
The number of points to be recognized depends on the definition of a continuous area. Here, the user defines four points 404. That is, the user holds the light sources at the four corners so as to form a plane in space so as to be parallel to the screen of the personal computer with respect to the ground surface, and presses the click.
[0072]
Then, when the PC draws perpendiculars to the plane containing the rectangle 405 defined from the four points 404 and the screen of the PC (it is assumed to be perpendicular to the ground) and the plane containing the PC from the four corners of the rectangle, A rectangular parallelepiped surrounded by a possible perpendicular 406 is calculated, and the area is treated as a command recognition area.
[0073]
In this area definition mode, a rectangular parallelepiped is automatically defined when four points are recognized. If the plane on which the personal computer is placed is the default, only the top two points are sufficient. In order to determine the last point, the last point may be recognized by double-clicking the switch or hitting a specific keyboard of the personal computer. After the final confirmation, the parameters and other attributes are registered in a list inside the personal computer with the rectangular solid as an input area. Newly defined input fields have their parameters added to this list sequentially.
[0074]
After the rectangular parallelepiped is formed, a mode is entered for determining whether the light source is outside or inside the rectangular parallelepiped. At the same time, a circular icon 407 is set on the screen. This icon shall have a certain brightness or hue if the light source is within this cuboid. For example, red is a good example. If the light source is outside, a color that can be distinguished from red, such as yellow or yellow-green, and that can be judged naturally is selected.
[0075]
This is possible because the equations describing the six faces that make up the cuboid are recorded during this process. The inside and outside of the rectangular shape of the light source is determined by the positional relationship between the light source position and the six surfaces, and a standard method used in three-dimensional computer graphics or the like may be used.
[0076]
Since the color of the circular icon changes on the screen inside and outside the rectangular parallelepiped of the light source, the position can be visually recognized by the user. By repeatedly putting the light source in and out of the rectangular parallelepiped, the user can express the state inside and outside the rectangular parallelepiped of the light source in time series. In this case, if 0 corresponds to outside and 1 corresponds to inside, a simple 01 pattern is created (of course, based on a rule that is performed within a certain time), and there is a certain 01 pattern for a specific 01 pattern If a specific command (command for a personal computer) is determined, a simple computer input device is created. Needless to say, it can be used as a password.
[0077]
Therefore, a continuous area can be defined in a three-dimensional space remote from the personal computer screen, and it is possible to distinguish between when the light source is within the continuous area and when it is not.
[0078]
In the present embodiment, the number of light sources 402 is described as one, but a plurality of light sources may be provided in advance. Also, an example has been described in which the luminance, hue, and the like of the icon 407 are changed to appeal to the user's visual sense, but may be appealed to the user's other five senses.
[0079]
[Second embodiment]
In the position measurement input support device, the three-dimensional position of the light source is recognized. As an example of such an input support device for three-dimensional position measurement, a technique described in Japanese Patent Application Laid-Open No. 10-9812 can be used.
[0080]
FIG. 2 is a diagram for explaining the principle. In this device, the amount of light from a divergent light source is such that photodiodes 202 and 203 are in contact with each other at a 90-degree angle, and a line connecting the angles formed by the two diodes from the light source is between the angles formed by the two diodes. That is, when considering the line segment connecting the light source 206 and the contact 201 of the photodiode, the ratio of the amount of light received by each photodiode is the ratio of the angle formed by the line segment and each photodiode (205/204). ) Is used because the direction of the light source can be calculated because it is proportional to The photodiode can be replaced by a CCD or CMOS sensor comprising a plurality of sensors.
[0081]
FIG. 3 shows that such a sensor 101 is mounted on the notebook computer 100. A light source 102 is shown on the user's finger, with a so-called left click 103 associated therewith. The power source of the light source shall be obtained through batteries and electric wires.
[0082]
The position of the light source is measured with a specific position of the display device, for example, an upper left corner or the center of the screen as an origin. The personal computer has a means for controlling the cursor, and data for defining the shape of the cursor appearing on the screen.
[0083]
Therefore, only one cursor appears in an area frequently used by the user (for example, an area at a distance of about 10 cm to 25 cm from the screen) as in a normal personal computer, but when the light source is at the distance of 0 to 10 cm, FIG. As shown in (3), two cursors are displayed near the original cursor (303). On the other hand, when the light source is at least 25 cm from the screen, four cursors are displayed near the original cursor (305). With such a display method, the user is prompted to return the light source to an appropriate position from the screen, and usability is improved. The usability is improved by devising that the number of the duplicated cursors is not simply proportional to the distance (of course, it may be so), but increases as the distance from the appropriate distance increases.
[0084]
The number of cursor duplicates may determine a variable that varies with distance from the screen. It is also possible to list the variables and take out the variables according to the change in the position of the cursor, and send them to a device that displays the cursor. It is also possible to change the distance of the duplicate cursor from the original cursor according to the distance of the light source from the screen.
[0085]
Further, only one copy may be made to rotate around the original cursor. In this case, it is possible to provide the user with a sense of distance by changing the number of rotations or the rotation speed according to the distance of the light source from the screen.
[0086]
Therefore, in this case, the number of cursors changes and the screen appears (303, 305) as the light source approaches or moves away from the screen. In this way, the user can confirm the position of the light source he has from the screen by changing the number of cursors, and the usability is improved. Note that, here, the normal distance is described as 10 cm to 25 cm from the screen, but this may of course be another distance, and may be different for each user.
[0087]
Furthermore, in the above, the size of the cursor on the screen is changed according to the distance of the light source from the screen, but in addition to the size, the so-called cursor shape attribute such as its shape and color is changed according to the distance. Is also possible.
[0088]
In addition, it is preferable for a person who is visually impaired to change according to the distance of the light source such as a sound from the screen instead of the cursor itself. For example, the melody can be changed according to the distance, or the frequency can be changed. Or you may make it change the period of the change of the brightness | luminance of a cursor according to distance.
[0089]
When the light source is far away from the screen, the cursor may not be easily recognized. In this case, it is also preferable to change the background color of the entire screen according to the distance.
[0090]
Further, a shape or an icon other than the cursor may appear according to the distance, or the distance itself may be displayed on the screen. The distance can also be represented by a bar-shaped indicator, and the color of the indicator can be changed continuously according to the distance. Even if the flash light is made to blink while changing the cycle according to the distance, it is also suitable for the visually impaired. Similarly, a cursor or a shape appearing on the screen can be rotated at a different cycle in accordance with the distance, or can be amplitude-moved. The amplitude may be changed and the position may be changed by amplitude while the shape is constant. However, the size of the shape may be changed periodically.
[0091]
In addition, for those who are visually impaired, have the vibrator be placed in the pocket and when the light source is in the area, the vibrator (depending on the distance) from the personal computer side through wireless such as Bluetooth. You may make it vibrate.
[0092]
As a technique for obtaining a sense of distance, the cursor moves faster when the light source is closer to the display and slower when it is farther from the display, depending on the distance of the light source from the display. The user can know the sense of distance. It is imperative that these techniques be incorporated depending on their application and circumstances.
[0093]
It is also possible for a blind person to know his position by generating a certain scent when entering the input area with a light source to know where he is standing and where the light source is located It is. Assuming that there is a light source recognition device for each room, it is preferable to provide different odors and melodies for each room because it is easy for a person who is blind to know which room they are in. Changing the intensity of the scent according to the distance from the recognition device or another reference point also gives the user a certain sense of distance, which is effective.
[0094]
Therefore, according to the distance of the light source from the display, feedback can be given to the user in a manner that appeals to the five senses.
[0095]
[Third Embodiment]
In the present embodiment, a description will be given of dragging and dropping a definition space.
[0096]
As shown in FIG. 5, it is assumed that a closed space has already been defined in this system. It is also assumed that the mode is the drag and drop mode. The target closed space is a PC screen corresponding to a rectangle 1504 parallel to the PC screen including the point 1505, and four points including a perpendicular drawn from four corners of the rectangle 1504 and a point 1506 where the perpendicular intersects on a plane including the PC screen. Is defined from
[0097]
The light source 1502 is also provided with a so-called left click button 1503 of a personal computer. Move your hand to put the light source in a closed space. Then, it is displayed that the light source on the display is in the closed space (icon 1507). Here, it is assumed that the color of this specific icon is expressed by being brightened.
[0098]
Holding down the left click 1503 for a certain period of time indicates the start of dragging a closed space just as in the case of a personal computer. Here, the user moves the light source to an arbitrary position while holding down the left click button. The sensor always detects the position of the light source. Therefore, the relative position of the position of the light source in the closed space is also determined. When the left click button 1502 is released after the movement, the closed space is moved in parallel by the difference between the current light source position 1512 and the light source position 1502 when dragging starts. This is called a drop. When the drop is performed, the closed space is translated so that the relationship of the light source to the closed space when the dragging of the position of the light source starts is maintained.
[0099]
Therefore, when this operation is completed, the coordinates of the corners 1506 and 1505 representing the closed space are updated to be 1511 and 1509 as if they were translated in parallel by the difference between the light sources. Plane 1504 has been translated to plane 1510. Of course, even during the dragging, the position of the light source may be calculated at regular intervals, and the coordinates representing the target closed space may be sequentially updated with the difference from the position of the light source at which the dragging has started. It is even better if the current rectangle position can be reduced to represent the state of dragging.) During this drag, the icon 1507 remains highlighted because the light source is in the input rectangle.
[0100]
Accordingly, the display and the input space can be moved to a predetermined space position and an arbitrary position, and the display and the input space can be separated. Therefore, for example, when using a personal computer lying on a bed, such an input space can be defined at hand, so that the personal computer does not have to be placed on the user's bed, and the convenience of inputting the personal computer increases. .
[0101]
[Fourth Embodiment]
This will be described with reference to FIG.
[0102]
It is assumed that a rectangular parallelepiped region R0 is defined by defining a rectangle in front of the personal computer screen. Here, RN is the total space S excluding R0. This rectangular solid is defined by six plane equations, one of which is a plane R including a screen. It is assumed that the rectangular parallelepiped region R0 is surrounded by the plane A0 and the R on the screen side of the personal computer.
[0103]
A perpendicular line perpendicular to the center of the screen corresponds to the x coordinate axis. Each plane is
a · x + by · y + c · z = q
It is represented by
[0104]
Here, a, b, c, and q are constants specific to a specific plane. Of these planes, choose a plane that is parallel to the screen of the personal computer. This is called A0. Assume that the user is now on the opposite side of the screen of the personal computer before this plane. Then, a plane 3cm away from this plane on the user side is
a ・ (x + 3) + by ・ ccz = q
This is called A1.
[0105]
Conversely, the plane 3 cm on the screen side of the personal computer is
a * (x-3) + by * c * z = q
It is represented by This is called A2.
[0106]
A rectangular parallelepiped surrounded by A2 and A0 is called R2, and a region surrounded by A0 and A1 is called R1. The rectangular parallelepiped region excluding R0 from R2 will be referred to as R3. After finishing, as described in the second embodiment, the regions R3, R2, R1, and RN are arranged in the direction in which the X coordinate increases from the personal computer screen. Note that RN is exactly S-RO, but here, it refers to a portion of RN surrounded by four planes considered to have a plane perpendicular to the screen A0 of the rectangular parallelepiped R0 extended to the user side in a common sense.
[0107]
In the second embodiment, the colors corresponding to R0 and RN are determined, and when the light source is in the area, the color corresponding to the area appears on the icon on the screen. R3 has the same hue as R0, RN has the hue representing the outside of the rectangular parallelepiped R0 in the previous embodiment, and R2 and R1 have two of the hues between R0 and RN selected in order according to the distance. Choose so that the hue changes naturally. As another method, when the light source is from R2 to R1, the hue may be continuously changed according to the distance from the screen.
[0108]
Therefore, the user is notified in advance whether the light source is close to the boundary of the input area, and the usability is improved. In particular, careless movement can be reduced.
[0109]
[Fifth Embodiment]
This will be described with reference to FIG.
[0110]
A time-series three-dimensional position pattern of the area name generated when the light source passes through different areas freely set by the user is used as a command to the personal computer input. Such a method is described in JP-A-2001-306235 (Japanese Patent Application No. 2000-117615). However, there are a plurality of closed regions that determine such a pattern, which cannot be changed.
[0111]
Further, even in the same area, since the three-dimensional position is recognized by the light source in this apparatus, a time-series pattern can be formed as follows.
[0112]
That is, a specific rectangular parallelepiped input region R0 is considered. It is assumed that the left and right surfaces of this rectangular parallelepiped region are parallel to the screen. It is assumed that a finger having a light source exists in this area. The finger is moved toward and away from the screen several times within a certain time.
[0113]
For example, it is assumed here that the finger is moved back and forth three times. Finally, it is assumed that the light source has moved from a specific minimum length, which is a single back and forth movement, at the original position (approximately). By doing so, the time series of the position of the light source is recognized. Since the time series of the position of the light source is always stored in the personal computer, the time series pattern of the position of the light source between the light source is constantly observed at a specific interval at a specific time. Then, it is assumed that it is observed that three patterns of distance in the distance start and end at a short distance. That is, it is ABABABA in FIG. This pattern is near-far-far-far-far-far (close-far is measured by distance from the screen).
[0114]
By repeating the operation of starting from the initial position of the light source, then approaching the screen, and then returning to the original position, a pattern opposite to the previous pattern, that is, a perspective pattern can be created. When this pattern is recognized, it can be used, for example, as a command to perform an operation of bringing an object of VRML (Virtual Reality Modeling Language) far from the user in the virtual space.
[0115]
In the description so far, it is described that the light source is for the screen. However, the pattern is not limited to the screen but may be a pattern for the relative position of the light source with respect to a plane or a curved surface that determines the continuous input space (normally closed space). For example, according to this definition, the left, right, left, right, left, right, left, up, down, up, down, up, down, up, etc. are easily defined from the positional relationship of the light source with respect to two opposing planes that determine the rectangular closed space. Are further defined.
[0116]
Therefore, the user can freely design the command.
[0117]
[Sixth Embodiment]
This will be described with reference to FIG.
[0118]
It is assumed that a continuous rectangular parallelepiped region R0 defined by a specific region, for example, 602 and a plane 601 including a personal computer screen is defined in front of the screen. The light source of the user A is assumed to be a light source A. The light source of user B is light source B. Here, the user B is a super user in a so-called sense, and unless the light source A and the light source B are recognized at the same time in R0 at first, the user A makes the personal computer using this area unavailable.
[0119]
The light source A and the light source B are different from each other, and it is more preferable that the light source A emits light (including infrared light) having a wavelength unique to the solid. The light of the light source may be filtered to make the specific light source more visible. In order to distinguish a plurality of light sources, a method of changing a frequency, a method of changing a phase, a method of changing a pulse pattern, and the like can be considered.
[0120]
In the above, the same area is considered, but generally, when a specific light source is in a specific area and another specific light source is in another specific area, it is recognized as a specific command. It is preferable to do so. As a simple example, a case where a specific command is defined based on the number of light sources in a specific area can be considered.
[0121]
Until now, we only considered that multiple light sources were in a specific area, but we have further developed this so that only when each light source executes a specific input command, that is, multiple commands execute substantially simultaneously. Only when the command is executed, another command may be executed.
[0122]
For example, only when a majority of a plurality of users instructs to terminate the basic software or application software of the personal computer using each light source (the manner of such an instruction will be described in another embodiment). And so on. Specifically, the personal computer is terminated only when both the teacher's light source and the student's light source send a command to terminate the personal computer in the personal computer classroom.
[0123]
Therefore, unless a specific user (super user) is approved, the personal computer cannot be used, and illegal use of the personal computer can be prevented. A particular process can only be run or terminated under multiple users.
[0124]
[Seventh Embodiment]
This will be described with reference to FIG.
[0125]
A light source is alternately put into and taken out of two contradictory regions A and B generated by dividing the three-dimensional space in front of the personal computer screen by an appropriate plane 702, so that a time series consisting of the name of the region where the light source is located A pattern can be made. The pattern can be defined as a command, ID, or password. Of course, the time during which the light source stays in each area may be included in the time-series pattern. In this case, it is necessary to sufficiently set the minimum stay time and the like so that the stay time can be distinguished. Light sources 703 and 704 represent light sources that move in two open spaces (reverse areas A and B, but no common area).
[0126]
It is also preferable to give feedback to these patterns in such a way that the user can recognize them with the five senses.
[0127]
Therefore, an ID and a password can be set.
[0128]
[Eighth Embodiment]
This will be described with reference to FIG.
[0129]
It is assumed that a specific rectangular parallelepiped input area has already been defined in front of the screen (1311). (Area Surrounded by Dotted Lines and Plane 1310) In FIG. 9A, the light source is brought into this area, and for example, the light source is turned on and off three times within a specific time. In addition, another command is defined. For example, if the light source is shaken up and down twice in this mode, it means that another area is added to the current area.
[0130]
After this command, it means that the light source is in a mode to define a new continuous area. Therefore, it is assumed that the rectangular area 1313 represented by the solid line is designated thereafter, for example, as in the second embodiment. In this case, a plane where the light source is close to the display in the first area 1311 is first defined. In this case, it may be confirmed that the light source is in the area 1311. Then, as soon as the area designation is completed, that is, as soon as a plane farther from the display 1313 is defined, a set sum 1314 of the two areas is defined. In particular, if a new continuous closed space is defined so as to cover the continuous closed space defined earlier, when the latter has a relation including the former, the previous definition disappears and a new continuous space is defined.
[0131]
As shown in FIG. 9B, when two areas are not continuous, an error message is displayed on the screen. It should be noted that two discontinuous areas can be regarded as the same area.
[0132]
The operation in which the second command lowers and raises the command twice is a command for obtaining a set difference. In FIG. 9C, after the continuous area 1332 is newly input, the common part 1334 is removed from the continuous area 1331 from the beginning, and the removed set difference area is defined again as R (1333).
[0133]
The reason why the set calculation can be performed in this way is that it is relatively difficult with this three-dimensional input device to pick up the planes and sides that determine the rectangular parallelepiped and newly define them. This is because it is easier to do the calculation.
[0134]
FIG. 9B is applied to both the set sum and the set difference, and shows that an error occurs if the first input area and the second input area do not have a common area.
[0135]
It is also conceivable to take a common part 1334 as a similar command. In the mode of the set operation command, for example, an arc may be drawn twice on a plane in place of the above-mentioned operation of up, down, or down. The upper and lower, upper and lower, and circular arcs as commands for turning on and off the light source and the subsequent set calculation described above are not limited thereto, and it is preferable to define commands that the user can understand.
[0136]
The definition of 1334 as a shared subspace of 1333 and 1332 will be described with reference to FIG. This represents a space that can be used for both types of light sources. It is also effective when defining a personal space as a large shared space when used in a group. In this command mode, when 1333 and 1332 are defined, a common continuous space 1334 is generated.
[0137]
The other set operations can be defined in the same manner as described above, and will not be described. In order to treat a plurality of discontinuous spaces as a space sharing one attribute, a mode for defining the space is provided anew. In that case, in FIG. 9B, the first input space and the second input space are treated as one input space.
[0138]
Therefore, the set operation of the input area can be performed. In particular, when increasing the area, it is not necessary to start over.
[0139]
[Ninth embodiment]
This will be described with reference to FIG.
[0140]
At present, what is displayed on one display can be simultaneously displayed on another display. This simply means sending a signal to one display to another display. In this case, it is natural that the pointer on the first screen also appears on the other screens.
[0141]
Similarly, the entry of the pointer in each three-dimensional solid space is determined as in the second embodiment. In this system, each time the light source enters a different virtual area, the color of the icon indicating that the light source has entered is different. That is, assuming that each display has an icon corresponding to each area, a different icon is defined for each different virtual area, and when the light source enters a certain area, the color of the corresponding icon changes. It is also preferable that these icons are associated so that the corresponding area can be recognized.
[0142]
In FIG. 8, a left area A and a right area B are defined. Set the color of the icon on the display to change depending on which light source enters. Alternatively, two icons may be prepared so that when the light source is located in one of the areas, the corresponding icon is highlighted.
[0143]
For example, assume that a plurality of light source recognition areas are defined on one display as shown in FIG. It is also possible to give each icon a word such as for the cursor, near the screen, etc., and each is set to a different mode. An area 1442 sets a keyboard mode, an area 1443 sets a scroll mode, and an air area 1441 pointer mode. In the scroll mode or the keyboard mode, it is assumed that the position of the light source is within a few mm from the plane on which the personal computer is placed. In keyboard mode, the soft keyboard appears on the display and the key corresponding to the position of the light source is highlighted.
[0144]
It is also necessary that the plurality of icons be drawn on the display (1444) so as to reflect the actual positional relationship of the plurality of virtual areas.
[0145]
Thus, one pointer can be used for multiple displays. Multiple regions can exist in different modes, and the user moves the light source between the regions without being aware of it. Therefore, unlike the conventional mouse, it is not necessary to switch the head in each mode, and the interruption of thinking is reduced.
[0146]
[Tenth embodiment]
In the present embodiment, recognition of three-dimensional input and pseudo-normalization will be described.
[0147]
The trajectory of the light source in three dimensions can be used as an arbitrary input command. In this system, three-dimensional coordinates are recorded at a certain interval (for example, 0.01 second) in a time series. The system always checks the record as a window from a certain point in time to a certain point in time.
[0148]
For example, as shown in FIG. 11, it is assumed that the light source makes a vertical movement 803 of the light source 802 within two seconds. Then, a representative point is taken (all data may be used), and it is confirmed whether the point forms a straight line. Further, the direction in which the straight line is drawn and the repetition thereof are detected. For example, if two vertical movements (considering the return path) are confirmed at a specific time, an object described by VRLM on the screen is interpreted as a command to move the object downward by a certain amount. As another example, an operation of drawing an arc or a semicircle on the same plane is performed. This operation causes an object such as a VRLM to be interpreted as causing a certain amount of rotation (with respect to the xy plane) based on the center of the object in that direction.
[0149]
An example of a method for recognizing a trajectory will be described with reference to FIGS. 11, 12, and 13. FIG.
[0150]
As in the previous example, the system recognizes what the three-dimensional trajectory was from any point back in the past, eg, for two seconds. In the past two seconds, the recording is started from all the points at which the recording is performed. If at least one arc is recognized in the last two seconds, the command corresponding to the arc is immediately processed at that time. The parameters for confirming the vertical movement of the light source include a minimum distance 901 of the vertical movement (normal Y-axis direction perpendicular to the horizontal line) and a certain distance without vertical movement (horizontal x-axis direction same as the horizontal line). Is within the distance 902 of FIG.
[0151]
Similarly, in order to recognize a semicircular arc, the arc must have a sufficient minimum distance 104 from the line connecting the start point 101 and the end point 102 of the arc to the end 103 of the arc. For example, being within a certain location.
[0152]
Although these parameters may be set in advance, it is preferable that a command generation mode is provided so that the user can freely set the parameters.
[0153]
Therefore, an arbitrary three-dimensional shape can be registered as a command, and a custom-made command for each user can be used.
[0154]
[Eleventh embodiment]
It is also possible to rotate a VRML object by repeating a semicircular arc as a particularly interesting pattern on a plane parallel to the ground surface. The rotation direction can be defined by a natural interpretation from the time series relationship between the position of the start of the semicircular arc and the position where the light source makes a U-turn. Further, the drawn semicircular arc can be drawn not only in a plane or a vertical direction but also at an angle with respect to the plane. Therefore, the angle of the rotation plane with respect to the plane reference point of VRML defined therefrom can be naturally defined. Of course, the direction of rotation can be determined in the same manner as in the case of a plane. It is also possible to draw a circular arc instead of a semicircular arc and do the same as above.
[0155]
A description will now be given of how a VRML object can be moved very naturally using a three-dimensional motion, instead of a mouse constrained two-dimensionally as in the related art, using the three-dimensional trajectory command thus far.
[0156]
As shown in FIG. 14, it is assumed that there is a virtual space 1605 on the computer and a virtual three-dimensional object 1602 therein. An input closed space 1606 similar to the virtual space is set in front of the personal computer screen corresponding to this object. The degree of similarity starts when the user first sets a three-dimensional rectangular space as described in the first embodiment. When this is set in the VRML operation mode, the virtual space 1605 in the personal computer is compared with the three-dimensional input space 1606, and the ratio (including the ratio in each of the three axial directions) is obtained. Accordingly, the target three-dimensional virtual object 1602 (hereinafter, referred to as object A) can be defined as 1603 in the three-dimensional rectangular space corresponding to the ratio. Here, the object 1603 formed in the three-dimensional input space is referred to as an object B.
[0157]
The object B differs in the closed space and its properties defined so far. That is, this space is not fixed, and when the light source is inside, after a certain command, the relative position between the light source and the object B is fixed, and the light source moves in accordance with the movement in the three-dimensional input space. It is possible (see the third embodiment).
[0158]
Here, the movement may be a parallel movement or a rotational movement. In the case of the parallel movement, the object B moves as the light source moves. In this case, since there is no rotation, the relative direction of the object B with respect to the three-dimensional rectangular space does not change, but only the position changes. When the object B protrudes from the input three-dimensional space, the operation is repeated with an error message or the like.
[0159]
On the other hand, in the case of the rotational movement, there are two rotational movements in detail. One is when the rotation axis passes through the object B, and the other is when the rotation axis does not cross the object B.
[0160]
When the rotation axis passes through the object B, the rotation axis defined by the user or the rotation axis can be set in advance so as to pass through the so-called center of the object. When the rotation axis is set, first, the light source is taken out of the object B (it can be confirmed by feedback on a computer display), and it can be set by defining an arbitrary straight line 1604. The start and end of the straight line are set by clicking. Of course, when defining a straight line, if an intersection with the object B is formed, an error message may be issued and the operation may be repeated. Conversely, when the rotation axis is set to pass through B, if the defined straight line does not have an intersection with B, an error message is output and the operation is repeated.
[0161]
Similarly, in VRML, there is an operation of changing the viewpoint. In this operation, a common horizontal plane on VRML is considered, and a horizontal plane corresponding to the horizontal plane is set in the three-dimensional input space. Then, by moving the latter plane with the light source (Y-axis direction perpendicular to the horizontal plane), it is possible to change the viewpoint (the viewpoint is considered to be fixed with respect to this horizontal plane).
[0162]
As a feedback method, the position of the light source (a finger that moves the light source may be inserted) can be reflected on the VRML. Since this corresponds to the virtual space inside the computer and the three-dimensional input space outside the personal computer, it can be realized using computer graphic techniques.
[0163]
In this apparatus, the zoom operation in VRML is performed as follows. A light source is placed outside the object B in the input space, and the light source is moved in a direction perpendicular to the screen (z-axis) as viewed from the screen in a near-far-far-far or near-far-far-far direction to perform zooming and panning.
[0164]
Therefore, a virtual object in a virtual space such as VRML can be moved and rotated with a more realistic feeling.
[0165]
[Twelfth embodiment]
This will be described with reference to FIG.
[0166]
Here, it is assumed that two rectangular parallelepipeds of the command recognition area according to the first embodiment are defined first. The three-dimensional information of the screen may be determined in advance, or may be defined later by the user. For the sake of simplicity, a plane group defining each rectangular parallelepiped will be referred to as a screen A (having a total of six planes) and a screen B (having a total of six planes). It is also assumed that the two rectangular parallelepipeds are on the same plane but do not overlap (1104). As described above, the light source is not one diffused light but two diffused lights 1102 and 1103, and the diffused light is a pen or a stick 1101 as if it were on one line segment. It is assumed that it is physically fixed on the above.
[0167]
As described above, in this system, when a light source is recognized, its three-dimensional position is also determined. Since there are two light sources, an equation for a line segment connecting the two light sources is obtained. Further, the intersection between the equation and the screens A and B can be obtained. Since each screen does not overlap, it is a contradiction whether there is an intersection with each screen. That is, when the intersection is obtained, the screen can be selected, and the screen can be used for subsequent input. It should be noted that the line segments do not intersect on either screen.
[0168]
As a more specific application example, it is assumed that a personal computer classroom is held. Then, if the instructor wants to start only a specific personal computer or wants to show the pointer of the instructor, it is difficult to specify each personal computer individually. In such a case, it is convenient if the rectangular boxes defined in front of each personal computer can be selected collectively with the pointer.
[0169]
Therefore, a plurality of computer terminals and displays can be operated with one pointer.
[0170]
[Thirteenth embodiment]
This will be described with reference to FIG.
[0171]
A plurality of light sources (here, four light sources) 1206 are prepared, each light source has a different wavelength, and the light sources periodically emit light at regular intervals at certain intervals. Instead of four light sources, filters corresponding to four wavelengths with one light source may be arranged in front of the light sources in order.
[0172]
Reflectors 1202, 1203, 1204, and 1205 of the same size that reflect the wavelengths of four light sources are mounted on a seal 1201 (for example, 2 × 2 cm). The seal itself shall be made of a material that does not reflect at any wavelength. If there is a reflector of a specific wavelength, reflection of that wavelength can be confirmed. Therefore, here, 2 × 2 × 2 × 2 = 16 patterns can be performed depending on whether or not four reflectors are attached to the seal. Can be used as In FIG. 16, the state without the lower left reflector 1205 is represented by a dotted circle, and there are three other reflectors. Here, the above 2 × 2 cm is one example, and the size of the reflector can be reduced as much as possible by determining a size that allows the reflected light from the reflector to be sufficiently observed, so that the size of the seal can also be reduced.
[0173]
Use this sticker by sticking it on your finger, back of hand, or other place. It is also possible to attach the device to a person's shoulder and shine light when passing through the entrance to read the person's ID.
[0174]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the operability for position measurement can be drastically improved without adding cost.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of defining an input area.
FIG. 2 is a principle diagram of a distance recognition device.
FIG. 3 is a configuration diagram of a distance recognition device and a light source.
FIG. 4 is a diagram illustrating that the number of duplicate cursors changes depending on the position of a light source.
FIG. 5 is a diagram illustrating movement of an input area.
FIG. 6 is a diagram illustrating feedback of a sense of distance near a boundary of an input area.
FIG. 7 is a diagram showing two light sources in an input area.
FIG. 8 is a diagram having two input areas.
FIG. 9 is a diagram illustrating a set operation of an input area.
FIG. 10 is an explanatory diagram of input areas in different modes.
FIG. 11 is a diagram illustrating three-dimensional input.
FIG. 12 is a diagram illustrating three-dimensional input.
FIG. 13 is a diagram illustrating three-dimensional input.
FIG. 14 is a diagram illustrating moving a three-dimensional virtual body.
FIG. 15 is an explanatory diagram of selecting a plurality of input areas.
FIG. 16 is a diagram of a plurality of reflectors having different wavelengths.
[Explanation of symbols]
R plane that overlaps the display plane in the input boundary area
A0 plane opposite to the display in the input boundary area
A2 plane near A0 in the input area
A1 plane outside the input area and close to A0
R1 closed area
R2 closed area
R3 closed area
Union of R0 R2 and R3
RN open area

Claims (24)

光源の位置を認識する認識手段と、
前記認識手段により認識された光源の位置に基づいて、3次元の連続する閉入力空間及び開入力空間の少なくとも一方を定義する定義手段と、
を有する位置測定用入力支援装置。
Recognition means for recognizing the position of the light source;
Definition means for defining at least one of a three-dimensional continuous closed input space and open input space based on the position of the light source recognized by the recognition means,
An input support device for position measurement having:
前記認識手段は、複数の光源の位置を各々同時に認識する請求項1記載の位置測定用入力支援装置。The position measurement input support device according to claim 1, wherein the recognition unit simultaneously recognizes the positions of the plurality of light sources. 光源が入力空間の中にある場合と光源が入力空間の外にある場合とに応じて、五感の少なくとも1つに訴える刺激手段
を有する位置測定用入力支援装置。
An input support device for position measurement, comprising stimulating means for appealing to at least one of the five senses depending on whether the light source is inside the input space or outside the input space.
光源の位置が入力空間内にあり、かつ所定の操作が行われたときに、光源の位置の移動に応じて前記入力空間を移動させる入力空間移動手段
を有する位置測定用入力支援装置。
An input support device for position measurement, comprising input space moving means for moving the input space in accordance with the movement of the position of the light source when the position of the light source is in the input space and a predetermined operation is performed.
光源が入力空間内にある時に、前記入力空間の境界から光源までの距離に応じて、五感の少なくとも1つに訴える刺激手段
を有する位置測定用入力支援装置。
An input support device for position measurement, comprising: stimulating means for appealing to at least one of the five senses according to a distance from a boundary of the input space to the light source when the light source is in the input space.
光源が異なる入力閉空間を通過したときに生じる時系列パターンに基づいてコマンドを形成するコマンド形成手段
を有する位置測定用入力支援装置。
An input support device for position measurement, comprising command forming means for forming a command based on a time series pattern generated when a light source passes through different input closed spaces.
光源の時系列の座標位置を記録する記録手段と、
前記記録手段により記録された座標位置の前記入力閉空間内での変化に応じて、前記コマンド形成手段により形成されたコマンドを実行するコマンド実行手段と、
を更に有する請求項6記載の位置測定用入力支援装置。
Recording means for recording a time-series coordinate position of the light source;
Command execution means for executing a command formed by the command formation means according to a change in the coordinate position recorded by the recording means in the input closed space,
The input support device for position measurement according to claim 6, further comprising:
前記光源の3次元軌跡を認識する認識手段と、
前記認識手段により認識された3次元軌跡を対応するコマンドへ変換する変換手段と、
を更に有する請求項6記載の位置測定用入力支援装置。
Recognition means for recognizing a three-dimensional trajectory of the light source;
Conversion means for converting the three-dimensional trajectory recognized by the recognition means into a corresponding command;
The input support device for position measurement according to claim 6, further comprising:
複数の光源と、
複数の所定の光源が各々所定の3次元領域にあるときに、所定のコマンドを生成するコマンド生成手段と、
を有する位置測定用入力支援装置。
Multiple light sources,
Command generating means for generating a predetermined command when each of the plurality of predetermined light sources is in a predetermined three-dimensional area;
An input support device for position measurement having:
複数の光源と、
所定の光源によって所定の3次元領域で行われる入力行為と、他の光源によって前記所定の3次元領域及び他の3次元領域の少なくとも一方で行われる入力行為とを認識する認識手段と、
前記認識手段により認識されたときに、所定のコマンドを生成するコマンド生成手段と、
を有する位置測定用入力支援装置。
Multiple light sources,
Recognition means for recognizing an input action performed in a predetermined three-dimensional area by a predetermined light source and an input action performed in at least one of the predetermined three-dimensional area and another three-dimensional area by another light source;
Command generation means for generating a predetermined command when recognized by the recognition means,
An input support device for position measurement having:
第1の連続入力空間と第2の連続入力空間との集合算を行う集合算手段
を有する位置測定用入力支援装置。
An input support device for position measurement, comprising a set calculating means for performing a set calculation of a first continuous input space and a second continuous input space.
第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分があるとき、両者を併合する入力空間を新たに生成する第1の入力空間生成手段と、
第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、その共通部分を新たな入力空間として生成する第2の入力空間生成手段と、
第1の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、第1の連続入力空間から共通部分を除いた入力空間を新たに生成する第3の入力空間生成手段と、
第2の連続入力空間が定義されている時に、別の入力空間を新たに定義すると、その両者に共通部分がある時、第2の連続入力空間から共通部分を除いた入力空間を新たに生成する第4の入力空間生成手段と、
新たに連続入力空間が定義されたとき、全空間からその連続空間を除いた入力空間を新たに生成する第5の入力空間生成手段と、
第1の連続入力空間とそれに共通部分のない第2の連続入力空間を合わせた不連続空間を新たな入力空間として生成する第6の入力空間生成手段と、
を有する位置測定用入力支援装置。
When another input space is newly defined when the first continuous input space is defined, a first input space generating means for newly generating an input space for merging the two when there is a common part between the two. When,
When another input space is newly defined when the first continuous input space is defined, when both have a common part, a second input space generating means for generating the common part as a new input space When,
If another input space is newly defined when the first continuous input space is defined, when both have a common part, a new input space is generated by removing the common part from the first continuous input space. A third input space generating means,
If another input space is newly defined when the second continuous input space is defined, if both have a common part, a new input space is generated by removing the common part from the second continuous input space. A fourth input space generating means,
A fifth input space generating means for newly generating an input space obtained by removing the continuous space from the entire space when a new continuous input space is defined;
Sixth input space generating means for generating, as a new input space, a discontinuous space in which the first continuous input space and the second continuous input space having no common part are combined,
An input support device for position measurement having:
3次元の複数の入力空間の各々に対応する複数の表示装置と、
光源が所定の入力空間にあるときに、前記所定の入力空間に対応する表示装置のカーソルを移動させるカーソル移動手段と、
を有する位置測定用入力支援装置。
A plurality of display devices corresponding to each of a plurality of three-dimensional input spaces;
When the light source is in a predetermined input space, cursor moving means for moving a cursor of the display device corresponding to the predetermined input space,
An input support device for position measurement having:
前記複数の入力領域の各々に異なる入力形態を設定する入力形態設定手段
を更に有する請求項13記載の位置測定用入力支援装置。
14. The position measurement input support device according to claim 13, further comprising an input mode setting unit configured to set a different input mode in each of the plurality of input areas.
2つの光源を結ぶ直線と1つ以上の連続入力空間とが交点を持つときに、前記交点を有する連続入力空間を選択する選択手段
を更に有する請求項13記載の位置測定用入力支援装置。
14. The input support device for position measurement according to claim 13, further comprising a selection unit that selects a continuous input space having the intersection when a straight line connecting two light sources and one or more continuous input spaces have an intersection.
異なる波長をもつ1つ以上の光源と、
前記光源の光量を所定のパターンで変化させる光量変化手段と、
を有する位置測定用入力支援装置。
One or more light sources having different wavelengths;
Light amount changing means for changing the light amount of the light source in a predetermined pattern,
An input support device for position measurement having:
所定のパターンで、かつ波長の異なる光を発生する1つ以上の光源と、
前記複数の光源で発生された光のうち、各々異なる波長の光のみを反射する複数の反射手段と、
前記複数の反射手段により反射された光が前記所定パターンであるときに、前記複数の反射手段により反射された光の中に所定の波長の光があるか否かを検出する検出手段と、
を有する位置測定用入力支援装置。
One or more light sources that generate light of different wavelengths in a predetermined pattern,
Of the light generated by the plurality of light sources, a plurality of reflection means that reflects only light of different wavelengths,
When the light reflected by the plurality of reflection means is the predetermined pattern, detection means for detecting whether there is light of a predetermined wavelength in the light reflected by the plurality of reflection means,
An input support device for position measurement having:
光源と、
光源の3次元位置を測定する測定手段と、
前記測定手段で測定された光源の3次元位置に応じて、カーソルの輝度を変化させる輝度変化手段と、
を有する位置測定用入力支援装置。
A light source,
Measuring means for measuring the three-dimensional position of the light source;
Brightness change means for changing the brightness of the cursor according to the three-dimensional position of the light source measured by the measurement means;
An input support device for position measurement having:
光源と、
前記光源の3次元位置を測定する測定手段と、
前記測定手段で測定された光源の3次元位置の変化に応じて、画面上のカーソルの位置変化の時間遅れを変化させる変化手段と、
を有する位置測定用入力支援装置。
A light source,
Measuring means for measuring a three-dimensional position of the light source;
Changing means for changing a time delay of a position change of a cursor on a screen according to a change in a three-dimensional position of the light source measured by the measuring means;
An input support device for position measurement having:
光源と、
前記光源の3次元位置を測定する測定手段と、
前記測定手段で測定された光源の3次元位置に応じて、聴覚を刺激する聴覚刺激手段と、
を有する位置測定用入力支援装置。
A light source,
Measuring means for measuring a three-dimensional position of the light source;
Auditory stimulating means for stimulating hearing according to the three-dimensional position of the light source measured by the measuring means;
An input support device for position measurement having:
前記測定手段で測定された光源の3次元位置に応じて、カーソルの複製の数を変化させて、前記複製をカーソルが表示されている近傍に表示させる制御を行う第1の表示制御手段
を更に有する請求項18記載の位置測定用入力支援装置。
A first display control means for changing the number of duplicates of the cursor according to the three-dimensional position of the light source measured by the measuring means, and performing control for displaying the duplicates near the position where the cursor is displayed; The input support device for position measurement according to claim 18, comprising:
カーソルの複製をカーソル表示位置の近傍に表示させると共に、光源の位置に応じて前記複製を回転させて表示させる制御を行う第2の表示制御手段
を更に有する請求項21記載の位置測定用入力支援装置。
22. The position measurement input support according to claim 21, further comprising second display control means for displaying a copy of the cursor in the vicinity of the cursor display position and performing control to rotate and display the copy in accordance with the position of the light source. apparatus.
前記測定手段で測定された光源の3次元位置に応じて、嗅覚を刺激する嗅覚刺激手段
を更に有する請求項20記載の位置測定用入力支援装置。
21. The position measurement input support device according to claim 20, further comprising an olfactory stimulating means for stimulating olfaction according to the three-dimensional position of the light source measured by the measuring means.
仮想空間内の仮想物体に対する回転軸を定義する回転軸定義手段と、
前記回転軸定義手段で定義された回転軸に対して前記仮想物体を回転させる回転手段と、
を更に有する請求項4記載の位置測定用入力支援装置。
Rotation axis definition means for defining a rotation axis for a virtual object in the virtual space;
Rotation means for rotating the virtual object with respect to the rotation axis defined by the rotation axis definition means,
The input support device for position measurement according to claim 4, further comprising:
JP2002163024A 2002-06-04 2002-06-04 Position measuring input support device Pending JP2004013314A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002163024A JP2004013314A (en) 2002-06-04 2002-06-04 Position measuring input support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002163024A JP2004013314A (en) 2002-06-04 2002-06-04 Position measuring input support device

Publications (1)

Publication Number Publication Date
JP2004013314A true JP2004013314A (en) 2004-01-15

Family

ID=30431608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002163024A Pending JP2004013314A (en) 2002-06-04 2002-06-04 Position measuring input support device

Country Status (1)

Country Link
JP (1) JP2004013314A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293103A (en) * 2004-03-31 2005-10-20 Alpine Electronics Inc Space input system
JP2006323454A (en) * 2005-05-17 2006-11-30 Fuji Xerox Co Ltd Three-dimensional instruction input system, three-dimensional instruction input device, three-dimensional instruction input method, and program
JP2007132744A (en) * 2005-11-09 2007-05-31 Toshiba Tec Corp Position detection system
JP2007536652A (en) * 2004-05-05 2007-12-13 スマート テクノロジーズ ユーエルシーエス Apparatus and method for detecting a pointer corresponding to a touch surface
WO2009147758A1 (en) * 2008-06-03 2009-12-10 島根県 Image recognition device, operation judgment method, and program
JP2010108500A (en) * 2008-10-29 2010-05-13 Korea Electronics Telecommun User interface device for wearable computing environmental base, and method therefor
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
WO2011018901A1 (en) * 2009-08-12 2011-02-17 島根県 Image recognition device, operation determination method, and program
JP2011081506A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Video display device and method of controlling display thereof
US7970204B2 (en) 2006-08-30 2011-06-28 Fujifilm Corporation Image processing device having image sensors that pick up an object that carries out an instructing action
JP2011187086A (en) * 2011-06-27 2011-09-22 Toshiba Corp Video reproduction device and video reproduction method
JP2013505433A (en) * 2009-09-18 2013-02-14 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Arrangement for determining the longitudinal position of the stopper
CN103513790A (en) * 2012-06-19 2014-01-15 昆达电脑科技(昆山)有限公司 Method for generating cursor in deflection position on basis of mobile device
JP2014170339A (en) * 2013-03-04 2014-09-18 Mitsubishi Electric Corp Information display control device, information display device, and information display control method
JP2018163668A (en) * 2018-05-14 2018-10-18 株式会社ユピテル Electronic information system and program thereof

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293103A (en) * 2004-03-31 2005-10-20 Alpine Electronics Inc Space input system
JP2007536652A (en) * 2004-05-05 2007-12-13 スマート テクノロジーズ ユーエルシーエス Apparatus and method for detecting a pointer corresponding to a touch surface
JP2006323454A (en) * 2005-05-17 2006-11-30 Fuji Xerox Co Ltd Three-dimensional instruction input system, three-dimensional instruction input device, three-dimensional instruction input method, and program
JP2007132744A (en) * 2005-11-09 2007-05-31 Toshiba Tec Corp Position detection system
US7970204B2 (en) 2006-08-30 2011-06-28 Fujifilm Corporation Image processing device having image sensors that pick up an object that carries out an instructing action
WO2009147758A1 (en) * 2008-06-03 2009-12-10 島根県 Image recognition device, operation judgment method, and program
WO2009148064A1 (en) * 2008-06-03 2009-12-10 島根県 Image recognizing device, operation judging method, and program
JP2010015553A (en) * 2008-06-03 2010-01-21 Shimane Pref Gov Image recognition device, manipulation determination method, and program
KR101227610B1 (en) * 2008-06-03 2013-02-07 시마네켄 Image recognizing apparatus, operation judging method, and computer-readable recording medium for recording program therefor
JP2010108500A (en) * 2008-10-29 2010-05-13 Korea Electronics Telecommun User interface device for wearable computing environmental base, and method therefor
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
JP2011039844A (en) * 2009-08-12 2011-02-24 Shimane Prefecture Image recognition device, operation decision method and program
JP4701424B2 (en) * 2009-08-12 2011-06-15 島根県 Image recognition apparatus, operation determination method, and program
CN102473041A (en) * 2009-08-12 2012-05-23 岛根县 Image recognition device, operation determination method, and program
WO2011018901A1 (en) * 2009-08-12 2011-02-17 島根県 Image recognition device, operation determination method, and program
US8890809B2 (en) 2009-08-12 2014-11-18 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
US9535512B2 (en) 2009-08-12 2017-01-03 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
JP2013505433A (en) * 2009-09-18 2013-02-14 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Arrangement for determining the longitudinal position of the stopper
JP2011081506A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Video display device and method of controlling display thereof
JP2011187086A (en) * 2011-06-27 2011-09-22 Toshiba Corp Video reproduction device and video reproduction method
CN103513790A (en) * 2012-06-19 2014-01-15 昆达电脑科技(昆山)有限公司 Method for generating cursor in deflection position on basis of mobile device
JP2014170339A (en) * 2013-03-04 2014-09-18 Mitsubishi Electric Corp Information display control device, information display device, and information display control method
JP2018163668A (en) * 2018-05-14 2018-10-18 株式会社ユピテル Electronic information system and program thereof

Similar Documents

Publication Publication Date Title
CN110603509B (en) Joint of direct and indirect interactions in a computer-mediated reality environment
JP6116064B2 (en) Gesture reference control system for vehicle interface
Jankowski et al. Advances in interaction with 3D environments
JP6074170B2 (en) Short range motion tracking system and method
JP2004013314A (en) Position measuring input support device
Bruder et al. Arch-explore: A natural user interface for immersive architectural walkthroughs
US5670987A (en) Virtual manipulating apparatus and method
CN114080585A (en) Virtual user interface using peripheral devices in an artificial reality environment
KR101711619B1 (en) Remote control of computer devices
CN100447723C (en) Controller involving manipulation of virtual objects on a multi-contact touch screen
US9513716B2 (en) Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
EP3283938B1 (en) Gesture interface
KR101705924B1 (en) Spatial, Multi-Modal Control Device for Use with Spatial Operating System
JP2013037675A5 (en)
US11244511B2 (en) Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device
Shiratuddin et al. Non-contact multi-hand gestures interaction techniques for architectural design in a virtual environment
CN103529942A (en) Touchless gesture-based input
KR20140114913A (en) Apparatus and Method for operating sensors in user device
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
KR20140068855A (en) Adaptive tracking system for spatial input devices
JP4172307B2 (en) 3D instruction input device
JP2007323660A (en) Drawing device and drawing method
Gallotti et al. v-Glove: A 3D virtual touch interface
US20140359536A1 (en) Three-dimensional (3d) human-computer interaction system using computer mouse as a 3d pointing device and an operation method thereof
KR101513343B1 (en) Method for controlling motions of an object in a 3-dimensional virtual environment