JP2012079328A - ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム - Google Patents

３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム Download PDF

Info

Publication number
JP2012079328A
JP2012079328A JP2011254231A JP2011254231A JP2012079328A JP 2012079328 A JP2012079328 A JP 2012079328A JP 2011254231 A JP2011254231 A JP 2011254231A JP 2011254231 A JP2011254231 A JP 2011254231A JP 2012079328 A JP2012079328 A JP 2012079328A
Authority
JP
Japan
Prior art keywords
dimensional
pointer
input pen
pen
pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011254231A
Other languages
English (en)
Other versions
JP5230787B2 (ja
Inventor
Atsushi Nakahira
篤 中平
Takafumi Suzuki
尚文 鈴木
Daisuke Ochi
大介 越智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011254231A priority Critical patent/JP5230787B2/ja
Publication of JP2012079328A publication Critical patent/JP2012079328A/ja
Application granted granted Critical
Publication of JP5230787B2 publication Critical patent/JP5230787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

【課題】操作者が３次元GUI上の３次元空間内の任意の位置にあるポインタやオブジェクトを、効率的に、かつ直感的に３次元操作することを可能とする。
【解決手段】３次元ポインティング方法が開示される。本発明の３次元ポインティング方法では、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする。また、本発明の３次元ポインティング方法では、前記入力ペンの筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて表示装置に表示する。
【選択図】図１

Description

本発明は、３次元ポインティングを行うための技術に関し、特に、ペン型の操作部を備える入力装置を用いて表示装置に表現された３次元空間内のポインティングを行う技術に関するものである。また、本発明は、表示装置に表現される３次元空間上に配置（表示）されたオブジェクトをポインタで３次元的にポインティングするための技術に関するものである。更に、本発明は、３次元空間に配置して表示したオブジェクトの選択あるいは３次元空間に配置して表示したオブジェクトをポインティングするための３次元表示の制御技術に関するものである。
近年、PC（パーソナル・コンピュータ）の演算性能の著しい向上や処理速度の高速化、またグラフィック機能の強化などに伴い、GUI（グラフィカル・ユーザ・インタフェース）は、その表示、機能、操作のどれもがこれまで以上に複雑化し、操作者が目的の動作を実行させるにあたって、それらが足枷となって効率的な操作を妨げていることが多々ある。
そのような状態を改善するべく考え出されたのが、３次元空間を用いて情報を呈示、操作することである。これはしばしば３次元GUIなどと呼ばれ、３次元空間に３次元的にオブジェクトを配置し、それを所定の入力デバイスを用いて操作するという仕組みである。この３次元GUIの他にも３次元空間内で設計などを行うCADやCGなどにおいても同様の仕組みを用いることがあるが、同様の３次元のオブジェクトを操作、ポインティングするという観点から、ここからは３次元GUIを例にとって話を進めることにする。この３次元GUIを用いると、これまで２次元上に並べて、もしくは重ねて配置していたオブジェクトを３次元的に配置することが可能となり、作業スペースを効率的に使うことができる。また、われわれを取り巻いている実世界は３次元空間であるがゆえに、GUIを３次元化することで2次元のGUIよりも直感的に扱うことができるGUIとなる。
ここでこの３次元GUIを操作する過程において必要となってくる課題の１つに、様々な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティックなどを用いて、ポインタの奥行き移動に必要な新たな機能を付加することで３次元空間内のポインティングを実現していた。しかし、これらは操作者が入力デバイスを用いて操作を行う空間と実際にポインタが表示されている空間が異なるため、操作者にそれらの空間の間の意識的な対応付けという余分な動作が必要な上、奥行き移動に対する機能付加などによって操作自体が複雑になってしまうなどの欠点があった。
さらに３次元GUIを操作する過程において必要となってくる課題の一つとして、３次元空間内にあるオブジェクトの操作がある。これまでは、PHANToM（SensAble Technologies, Inc.）やSPIDER（たとえば、非特許文献１を参照）といった３次元の入力デバイスを用いて３次元空間内のオブジェクト操作を行うこともあったが、先のポインティングの問題と同様に、操作者が入力デバイスを用いて操作を行う空間と実際にポインタが表示されている空間が異なるため、操作者にそれらの空間を意識的に対応付けなければならないという余分な作業が必要な上、アームや固定ワイヤーが存在するため操作者の操作できる空間には制限があり、空間を広げるためにはどうしても装置を大掛かりにせざるを得なかった。さらに、上記デバイスはデバイスとしてはまだまだ一般に普及しておらず、人々が使うには馴染み深いデバイスとはいえなかった。
一方、我々に馴染み深い形態を持つデバイスとして、ペン型の入力デバイスがある。近年、これまでの２次元のGUIなどのポインティングやオブジェクト操作によく用いられるものとして、ペンタブレットがある。なかでも電磁誘導方式のペンタブレット（たとえば、特許文献１を参照）は、その装置の簡易さゆえに携帯性があること、画面を直接ペンでポインティング可能なこと、取得できる情報（２次元位置や筆圧、ペンの筐体の角度、ペンが備えるボタン、ホイール等の状態など）の豊富さなどからマウスに変わる入力デバイスとして、PCやPDA（Personal Digital Assistant）、さらに近年では携帯電話などにも搭載されつつある。
しかし、２次元入力デバイスとして広く使われているペンタブレット（ペン型入力デバイス）が３次元の入力デバイスとして使われた例は多くない。１つの例として、ペンの傾きや３次元的な位置を取得可能なペン型デバイスを宙で手に持ち、ペンの先にある表示装置内に仮想的にペン先（ポインタ）を表示させ、仮想的に表示されたペン先をポインタとして使って３次元空間内のポインティングを実現する試みがあった（たとえば、特許文献２を参照）。この方法では、操作者が操作を行う空間と実際にポインタ表示がある空間は離れているものの、仮想的に表示されたペン先があたかも自分のペンの一部であるように感じられる点では従来の技術を凌駕している。しかし、操作者はペン型の入力デバイスを宙で手に持たなければならないため、疲労の観点から長時間のポインティング作業には適さない。また、手が宙に浮いているがゆえに手の位置が一点に定まりづらく、操作者の目的の位置にペン先を保持できないという大きな欠点があった。つまり、操作者が入力デバイスを用いて操作を行う空間と、実際にポインタやオブジェクトが表示されている空間が異なるため、操作者にそれらの空間を意識的に対応付けなければならないという余分な作業が必要であった。ゆえに、このシステムを用いてオブジェクトの細かい操作などをすることなどは実質的に困難であった。
以上のようなことから、これまでの２次元のGUIよりも実世界に近い３次元GUIを、実世界と同じような感覚でポインティングやオブジェクト操作ができ、装置構成も簡素で、さらに操作者が疲れることなく効率的に、正確に３次元空間をポインティングかつオブジェクト操作ができ、ポインティングしたオブジェクトの加工、編集なども容易にできるような３次元ポインティング方法および３次元オブジェクト操作方法が求められている。
次に、３次元空間におけるポインタの表示に関する背景技術を説明する。前述したように、これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの３次元空間内の移動を実現している。また、ポインタの奥行き方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、空間内の奥にあるオブジェクトのポインティングを行っていた（たとえば、非特許文献２を参照。）。つまり、３次元空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。
しかしながら、これらの方法の多くは、３次元空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示されていても、それが一体どの奥行き位置にあり、どこをポインティングしているかを、操作者が知覚（認識）できなくなることがしばしばあった。
この問題を解決するために、たとえば、ポインタ付近に奥行き位置の変わらないｘｙｚ軸などを表すリファレンスなどを表示して奥行き位置を知覚しやすくする方法がある（たとえば、特許文献３を参照。）。しかしながら、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。また、リファレンスは、実世界のものをポインティングするときに現れることはない。そのため、リファレンスを表示するという方法は、実世界と同じような感覚でGUIを操作しようとする観点からみた場合、最適な方法とは言い難い。
以上のことから、３次元GUIを実世界と同じような感覚で操作するために、３次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に認識できる効率的なポインティング方法が求められていた。
従来の３次元GUIでのポインタを用いたポインティング作業では、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に認識することが難しいという点に問題がある。
次に、３次元空間におけるポインタの表示に関する更なる背景技術を説明する。
コンピュータのGUIとして広く用いられている例として、机上のイメージをコンピュータの表示画面上に模したデスクトップメタファが知られている。現在、コンピュータの多くはこのデスクトップ画面を中核としたユーザインタフェースを用いている。デスクトップ画面は１９８０年代の後半から製品化されているが、コンピュータの処理能力や表示装置の高性能化により、２次元のデスクトップ画面は細かなグラフィック表現が採用されている、と同時に、高機能化し、見栄えも華やかになり、立体的な視覚効果も多様化してきている。さらに、最近ではデスクトップを３次元空間に広げ、アイコンやウィンドウなどのオブジェクトを３次元的に配置する試みも提案されている（たとえば、非特許文献３を参照。）。
３次元デスクトップでは、従来の２次元の平面的な空間に加え、奥行き方向の自由度が広がるため、アイコンやウィンドウの配列を機能的に行うことができる利点がある。しかし、デスクトップが３次元化されても、ポインタを用いたポインティングは依然、２次元の動きに制約されている。このため、奥行き方向の自由度を完全に利用することが困難となっている。
これに対して、ポインタを３次元的に動かす試みも考えられているが、３次元空間内にオブジェクトを配置した中でポインタが３次元的に動く場合、ポインタが手前にあるオブジェクトの陰に隠れてしまい、ポインタを見失ってしまう問題があった。
デスクトップインタフェースにおいては、利用者が常にポインタの位置を認識することが不可欠である。２次元GUIでは、ポインタが常に最前面に表示されるのが一般的であるが、ポインタの背後のオブジェクトの色が、ポインタ自身の色と同じ場合には、ポインタとオブジェクトを区別することが困難となり、ポインタがどこを指し示しているかを認識することが難しくなる。このような問題を回避するため、ポインタは、２種類以上の色を用いていることが一般的である。ポインタの色が、たとえば、白に縁取られた黒色である場合、背面の色が白色であれば黒色部分によりポインティング場所を明確に認識でき、背面の色が黒色の場合は縁取られた白色によりポインティング場所を明確に認識できる。このように、デスクトップインタフェースでは、ポインタがどこの場所を指し示しているかを、常に明確に操作者に認識させることが必要であり、従来のデスクトップでも上述のような工夫が施されていた。
そして、３次元デスクトップにおいても、ポインタの場所を常に操作者から明確に認識させることは必須であるが、３次元空間の性質上、操作者から見て、あるオブジェクトの裏（奥）側にあたる位置にポインタを移動させた場合、ポインタがそのオブジェクトに隠れてしまって、操作者がポインタの位置を見失うという問題が生じる。そのため、どこをポインティングしているかを認識することが困難であり、結果として、オブジェクトの選択ができないという、デスクトップインタフェースにおいて致命的な問題が起きている。このように、デスクトップを３次元化してもポインタの動きを３次元化することが難しく、デスクトップを３次元化する利点を十分に利用できていないという問題が３次元デスクトップにはあった。
つまり、従来の３次元デスクトップ等の表示装置上に表現された３次元空間では、３次元空間内でポインタを移動させたときに、ポインタがオブジェクトの裏側に隠れてしまい、操作者がポインタの位置を認識できなくなるという問題があった。
また、ポインタがあるオブジェクトの裏に隠れて認識できないのと同様に、従来の３次元デスクトップ等の表示装置上に表現された３次元空間では、あるオブジェクト（手前のオブジェクト）の裏に別のオブジェクト（奥のオブジェクト）がある場合、奥のオブジェクトを直接認識することができない。そのため、奥のオブジェクトの位置を認識したり、操作したりするときには、手前のオブジェクトを移動させる、あるいは表示領域を小さくしたり非表示の状態にしたりするという操作が必要である。また、手前のオブジェクトの表示領域を小さくしたり非表示の状態にしたりするという操作をした場合、手前のオブジェクトの表示内容を認識するためには、表示領域をもとの大きさに戻したり表示状態に復帰させたりするという操作が必要である。そのため、操作者の利便性が悪いという問題点もある。
特開平５−０７３２０８号公報 特開平６−７５６９３号公報 特開平８−２４８９３８号公報
Y. Hirata and M. Sato, "3-Dimensional Interface Device for Virtual Work Space," Proc. of the 1992 IEEE/RSJ Int. Conf. on IROS, 2, pp.889-896, 1992. 渡邊恵太，安村通晃，「RUI: Realizable User Interface − カーソルを用いた情報リアライゼーション」，ヒューマンインタフェースシンポジウム２００３論文集，２００３年，ｐ．５４１−５４４ George Robertson, 他７名, "The Task Gallery: A 3D Window Manage", Proceedings of CHI2000, 1-6 APRIL 2000, pp.494-501
本発明の第１の目的は、操作者が３次元GUI上の３次元空間内の任意の位置にあるポインタやオブジェクトを、できるだけ小規模で、操作者が慣れ親しんだデバイスを用いて、疲れることなく効率的に、さらに直感的に３次元操作をすることが可能な３次元ポインティングの技術を提供することにある。
本発明の第２の目的は、３次元GUIでのポインタを用いたポインティングにおいて、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に認識することが可能なポインティングの技術を提供することにある。
本発明の第３の目的は、表示装置上に表現された３次元空間内のポインタを３次元的に動かした場合に、ポインタが他のオブジェクトの裏（奥）側にあたる位置に移動したときも、ポインタの位置を容易に認識することが可能な技術を提供することにある。また、本発明の第３の目的は、更に、表示装置上に表現された３次元空間内で、手前に表示されたオブジェクトの裏に隠れている別のオブジェクトの認識や操作を容易にし、操作者の利便性を向上させることが可能な技術を提供することにある。
上記第１の目的は、あらかじめ定められた検出面上を入力ペンのペン先で指し示した時の、指し示した位置の２次元的な座標と、入力ペンのペン先にかかる圧力である筆圧と、入力ペンの軸と前記検出面がなす角度である入力ペンの傾き角と、入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上に３次元ポインタを表示させ、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法によっても達成できる。
また、第１の目的は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作と、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上に３次元ポインタを表示させ、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手段の操作に応じて、前記３次元ポインタの、前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法によっても達成できる。
上記の構成において、前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することができる。
また、前記３次元ポインタで前記３次元空間に表示されたオブジェクトをポインティングしているときに、当該オブジェクトを選択または掴むための操作がなされると、前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示することとしてもよい。
また、前記３次元空間に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に表示し、前記２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けるようにしてもよい。
また、前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させるようにしてもよい。
また、本発明は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点に前記生成したポインタを表示させてポインティングさせる３次元ポインティング装置であって、前記入力ペンからの２次元的な座標および前記筆圧の情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置および回転角度を算出するポインタ位置／回転角度算出手段と、前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、前記ポインタ位置／回転角度算出手段は、前記入力ペンの筆圧に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、前記入力情報取得手段は、前記２次元的な座標および前記筆圧の情報に加え、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とを取得し、前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角と前記入力ペンの方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置として構成することもできる。
前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することとしてもよい。
更に本発明は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点にポインタを表示させてポインティングさせる３次元ポインティング装置であって、前記入力ペンからの２次元的な座標と、前記入力ペンのペン先の接触の有無または前記入力ペンの操作手段の操作の情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した情報に基づいて、前記入力ペンのペン先で指し示し続けた時間、または前記操作手段が操作された量を算出する入力情報処理手段と、前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置を算出するポインタ位置／回転角度算出手段と、前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、前記ポインタ位置／回転角度算出手段は、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、前記入力情報取得手段は、さらに前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角の情報と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角の情報とを取得し、前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角および方位角に基づき、前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置としても構成できる。
前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じてペン先の長さが短くなる構造を有し、前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することとしてもよい。
また、本発明は、上記の各３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラムとして構成することもできる。
第２の目的は、３次元空間を表現することが可能な表示装置の前記３次元空間内に表示されたポインタを、前記３次元空間内で移動させて、前記３次元空間内の所望の点をポインティングさせる３次元ポインティング方法であって、前記ポインタを、前記表示装置の３次元空間の奥行き方向に直交する２次元平面内で移動または回転させるとともに、前記奥行き方向に移動させるステップ１と、前記ポインタのポインティングを行う点およびその近傍であるポインティングを行う部分を除く前記ポインタ上のあらかじめ定められた１点の前記奥行き方向の位置、前記ポインタの形状、およびサイズを一定に保ったまま、前記ポインタのポインティングを行う部分を前記奥行き方向に移動させるステップ２と、前記ステップ１およびステップ２で移動させたポインタを、前記表示装置に表示させるステップ３とを有することを特徴とする３次元ポインティング方法により達成できる。
上記の３次元ポインティング方法において、前記ステップ２は、前記ポインタを、前記ポインタの表面上または内部の点を除く、あらかじめ定められた中心点または中心軸を中心として回転させることとしてもよい。
また、第２の目的は、３次元空間を表現することが可能な表示装置の前記３次元空間内に表示されたポインタを、前記３次元空間内で移動させて、前記３次元空間内の所望の点をポインティングさせる３次元ポインティング方法であって、前記ポインタを、前記表示装置の３次元空間の奥行き方向に直交する２次元平面内で移動または回転させるとともに、前記奥行き方向に移動させるステップ１と、前記ポインタのポインティングを行う部分を除く前記ポインタ上のあらかじめ定められた１点の前記奥行き方向の位置を一定に保ち、かつ、前記ポインタの形状、およびサイズを変形させながら、前記ポインタのポインティングを行う部分を前記奥行き方向に移動させるステップ４と、前記ステップ１およびステップ４で移動させたポインタを、前記表示装置に表示させるステップ３とを有することを特徴とする３次元ポインティング方法によっても達成できる。
上記の３次元ポインティング方法において、前記ステップ４は、前記ポインタを、前記ポインタの表面上または内部の点を除く、あらかじめ定められた中心点または中心軸を中心として回転させることとしてもよい。また、前記ポインタを回転させる前記中心点または中心軸が、前記ポインタが回転する際の回転角度に応じて移動することとしてもよい。
また、前記ポインタは、前記奥行き方向の位置、前記２次元平面内の位置、形状、およびサイズが一定である第１の部分と、少なくとも前記奥行き方向の位置が変化する第２の部分と、前記第１の部分と第２の部分とを連結する第３の部分からなり、前記ステップ４は、前記ポインタの、前記第２の部分を前記奥行き方向に移動させることとしてもよい。また、前記ステップ４は、前記３次元ポインタの、前記第２の部分の前記２次元平面内の位置、または形状、またはサイズを変化させつつ、前記第２の部分を前記奥行き方向に移動させることとしてもよい。
前記ポインタを奥行き方向に移動させたときに、前記ポインタの一部分が前記表示装置の表現可能な３次元空間の外にはみ出した場合は、前記表示装置の表現可能な前記２次元平面のうち、前記はみ出した部分に近接する２次元平面に、前記はみ出した部分を射影して、もしくは折り曲げて表示させることとしてもよい。
前記ステップ３は、前記ポインタとともに、前記奥行き方向の位置が一定である参照用ポインタを前記表示装置に表示させることとしてもよい。
また、本発明は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタを表示させ、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングさせる３次元ポインティング装置であって、前記入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示位置および変形量を算出するポインタ位置／変形量算出手段と、前記ポインタ位置／変形量算出手段で算出された表示位置に表示するポインタを生成するポインタ生成手段と、前記ポインタ位置／変形量算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタがポインティングしている点にオブジェクトがあるか否かを判定するポインティング判定手段と、前記ポインティング判定手段でポインティングしているオブジェクトがあると判定された場合に、オブジェクトをポインティングされている状態に変化させるオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴とする３次元ポインティング装置として構成することができる。また、本発明は、上記３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラムとして構成することもできる。
第３の目的は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示しておき、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御方法であって、前記入力情報に基づいて前記ポインタの表示位置を算出するステップ１と、前記ステップ１で算出した表示位置に前記ポインタを表示させるステップ２と、前記ステップ１で算出した前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定し、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化して表示させるステップ３とを有することを特徴とする３次元表示制御方法により達成できる。
上記３次元表示制御方法のステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記ポインタと重なるオブジェクトのみを透明化して表示させることとしてもよい。
また、前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記入力装置からのあらかじめ定められた入力情報に基づいて特定もしくは選択されたオブジェクトを除く、他のオブジェクトを透明化して表示させることとしてもよい。
また、前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトと前記ポインタの奥行き方向の距離に応じて、前記オブジェクトの透明度を変化させ、前記オブジェクトと前記ポインタの奥行き方向の距離が大きいほど透明度を大きくして表示させることとしてもよい。
また、前記ステップ３は、前記ポインタがポインティングしている点と重なるオブジェクト上の点を中心とした任意の形状の領域内のみを透明化して表示させることとすることもできる。前記透明化する任意の形状は、前記ポインタと前記オブジェクトの奥行き方向の距離の大きさに応じて変化し、前記奥行き方向の距離が大きいほど前記任意の形状が大きくなることとしてもよい。
更に、前記ステップ３は、前記ポインタが一定時間の間静止している場合は、前記透明化したオブジェクトを透明化する前の不透明な状態に戻して表示させるステップを有することとしてもよい。
また、本発明は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示させ、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御装置であって、前記入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示位置を算出するポインタ位置算出手段と、前記ポインタ位置算出手段で算出された表示位置に表示するポインタを生成するポインタ生成手段と、前記ポインタ位置算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定するとともに、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化するか否かを判定するオブジェクト変更判定手段と、前記表示装置に表示させるオブジェクトの生成、およびオブジェクト変更判定手段で透明化すると判定されたオブジェクトの透明化を行うオブジェクト生成／透明化手段と、前記ポインタ生成手段で生成されたポインタ、および前記オブジェクト生成／透明化手段で生成されたオブジェクトまたは透明化されたオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴とする３次元表示制御装置として構成することもできる。また、本発明は、上記３次元表示制御装置の各手段の処理を、コンピュータに実行させる３次元表示制御プログラムとして構成することもできる。
第１の目的を達成するための発明によれば、入力ペンのペン先の位置と、筆圧もしくは前記入力ペンのペン先で指し示し続けた時間または前記入力ペンの操作手段（ボタン、ホイール、スライドバーなど）の操作によって得られた情報と、前記入力ペンの傾きや方位などの情報を反映させたポインタを生成し、前記表示装置に表示させることで、前記表示装置に表現された３次元空間内の任意の点をポインティングする。このとき、前記入力ペンは、たとえば、ペンタブレットの操作ペン（電子ペン）や、タッチパネルを操作するスタイラスなどのペンであり、ペン先をあらかじめ定められた検出面上に接触させた状態で操作することができる。そのため、正確なポインティング操作が容易であり、長時間のポインティング操作による疲労を軽減できる。
また、前記ペンタブレットの検出手段（デジタイザ）を前記表示装置の表示面と重ね合わせたり、前記タッチパネルを用いたりすることで、前記入力ペンを前記表示装置の表示面上に接触させてポインティング操作をすることができる。そのため、より正確で、直感的な３次元ポインティング操作が可能となる。
また、前記入力ペンの傾き角、方位角、軸周りの回転角の変化を反映させて位置、向きを変化させたポインタを生成するときに、前記ポインタの変化に合わせて前記オブジェクトの位置、向きを変化させたオブジェクトを生成し、表示させることで、前記オブジェクトの位置や向きを変化させるための特殊な操作を取得する必要がなく、操作者の利便性が向上する。
また、前記オブジェクトをポインティングしているときに、当該オブジェクトに対する操作または編集あるいは加工を開始するための操作をすることで、前記ポインティングされたオブジェクトの、２次元GUI的な操作、編集、加工といった処理が可能な状態、つまり、これまでの２次元GUI上のオブジェクトを、ペン型の入力装置を用いて操作可能な状態にすることができる。そのため、３次元オブジェクトの加工を、これまでの２次元GUIにおける操作と変わらない操作で実現可能である。ゆえに操作者は、オブジェクトを加工するための新たな３次元操作を習得する必要がない。さらに、２次元GUI的な操作、編集、加工などの処理が終了した後、オブジェクトを再度、３次元オブジェクトとして扱えるようにすることで、前記２次元GUIにおける操作（処理）が終了した後、前記オブジェクトを、再び操作者の望む３次元位置に容易に移動できる。
第２の目的を達成するための発明によれば、ポインタ上のある１点の奥行き位置を一定に保ちながら前記ポインタのポインティングを行う部分の奥行き位置を変えることで、前記ポインタがポインティングしている部分の奥行き方向の変化を認識させる。このとき、操作者は、前記ポインタの奥行き位置が一定に保たれた部分と前記ポインティングしている部分の状態からポインティングされている奥行き位置を正確に、かつ直感的に認識することができる。
また、前記ポインティングしている部分を奥行き方向に移動させる場合に、前記ポインタを回転させる方法によると、前記ポインタが回転するごとに前記ポインタの奥行き方向の傾きが変わり、ポインティングされている奥行き位置を容易に認識することができる。またこのとき、前記ポインタを回転させる前記中心点または中心軸は、固定されていてもよいし、前記ポインタが回転する際の回転角度に応じて移動するようにしていてもよい。
また、ポインタが前記第１の部分、第２の部分、第３の部分を備える構成では、前記ポインティングしている部分のみが奥行き方向に折れ曲がったポインタとなる。そのため、前記第１の部分、第２の部分、第３の部分の状態から、ポインティングされている奥行き位置を容易に認識することができる。またこのとき、前記第２の部分の前記２次元平面内の位置、または形状、またはサイズを変化させつつ、前記第２の部分を前記奥行き方向に移動させることで、奥行き位置の正確な認識が可能となる。
第３の目的を達成するための発明によれば、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化して表示させる。そのため、前記ポインタを３次元的に移動させたときに、前記ポインタが、前記ポインタより手前にあるオブジェクトに隠れて見えなくなるということがない。そのため、前記ポインタが、あるオブジェクトの裏側にあたる位置に移動した場合でも前記ポインタの位置を容易に認識できる。また、前記ポインタよりも手前のオブジェクトを透明化することで、前記透明化されたオブジェクトの裏側に隠れている別のオブジェクトの位置を容易に認識でき、ポインティングすることができる。また、前記ポインタを手前に移動させることで透明化されていたオブジェクトがもとの不透明な状態の表示に戻るので、前記透明化されているオブジェクトの表示内容も容易に認識することができる。またさらに、このようなオブジェクトの透明化、不透明化を、前記ポインタの奥行き方向の移動によって制御することができるので、前記ポインタの操作者の利便性が向上する。
また、前記ポインタよりも手前であっても、選択された状態のオブジェクトは透明化しないようにすることで、選択されたオブジェクトの認識が容易になる。また、前記ポインタからの奥行き方向の距離が大きいオブジェクトほど透明度を大きくすることで、前記ポインタの奥行き位置や、前記ポインタの近傍にあるオブジェクトを容易に認識することができる。
また、前記ポインタがポインティングしている点と重なる点を中心として、円形または楕円形、あるいは多角形等の任意の形状の領域内のみを透明化することで、前記オブジェクト全体が透明化されることを防げ、透明化、不透明化の切り替えが連続的に行われる場合などの、視覚的な煩わしさを低減することができる。
更に、前記ポインタが静止して一定時間が経過した場合に、前記透明化したオブジェクトをもとの不透明な状態に戻して表示させることにより、前記ポインタを透明化したオブジェクトよりも手前まで移動させなくても、前記透明化したオブジェクトの表示内容を認識することができ、操作者の利便性がさらに向上する。
第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１の実施の形態のポインティング方法を実現するシステムの構成例を示す図である。 第１及び第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１及び第２の実施の形態の３次元ポインティング方法の原理を説明するための図である。 第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−１の３次元ポインティング方法を説明するための模式図であり、本実施例１−１の３次元ポインティング方法の処理手順を示すフロー図である。 実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。 実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。 実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。 実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−３、２−３の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−３、２−３の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 本発明による実施例１−３の３次元ポインティング方法を説明するための模式図であり、本実施例１−３の３次元ポインティング方法の処理手順を示すフロー図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、実施例１−５、２−５で用いる表示装置（DFD）の原理を説明する図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、実施例１−５、２−５で用いる表示装置（DFD）の原理を説明する図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−５の３次元ポインティング方法を説明するための模式図であり、本実施例１−５の３次元ポインティング方法の処理手順を示すフロー図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６の３次元ポインティング方法を説明するための模式図であり、本実施例１−６の３次元ポインティング方法の処理手順を示すフロー図である。 実施例１−６の３次元ポインティング方法を説明するための模式図であり、実施例１−６の３次元ポインティング方法の処理手順の変形例を示すフロー図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−７の３次元ポインティング方法を説明するための模式図であり、実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 実施例１−７の３次元ポインティング方法を説明するための模式図であり、実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。 第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第２の実施の形態のポインティング方法を実現するシステムの構成例を示す図である。 第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第２の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 実施例２−１の３次元ポインティング方法を説明するための模式図であり、実施例２−１の３次元ポインティング方法の処理手順を示すフロー図である。 実施例２−２の３次元ポインティング方法を説明するための模式図であり、本実施例２−２の３次元ポインティング方法の処理手順を示すフロー図である。 実施例２−３の３次元ポインティング方法を説明するための模式図であり、本実施例２−３の３次元ポインティング方法の処理手順を示すフロー図である。 実施例２−５の３次元ポインティング方法を説明するための模式図であり、本実施例２−５の３次元ポインティング方法の処理手順を示すフロー図である。 実施例２−６の３次元ポインティング方法を説明するための模式図であり、本実施例２−６の３次元ポインティング方法の処理手順を示すフロー図である。 実施例２−７の３次元ポインティング方法を説明するための模式図であり、本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 実施例２−７の３次元ポインティング方法を説明するための模式図であり、本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。 第３の実施の形態の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。 実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタの操作方法を説明する図である。 実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 実施例３−１の３次元ポインティング方法を説明するための模式図であり、図５２の３次元空間内の変化の斜視図である。 実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタよりも手前にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 実施例３−１の３次元ポインティング方法を説明するための模式図であり、本実施例３−１の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。 ポインタの形状の変形例を示す模式図であり、三角形状のポインタを示す図である。 ポインタの形状の変形例を示す模式図であり、人の手の形状のポインタを示す図である。 ポインタの形状の変形例を示す模式図であり、雫形状のポインタを示す図である。 ポインタの形状の変形例を示す模式図であり、十字形状のポインタを示す図である。 本実施例３−１の３次元ポインティング方法においてリファレンスを表示させる例を示す図である。 本実施例３−１の３次元ポインティング方法の変形例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 本実施例３−１の３次元ポインティング方法の第１の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 本実施例３−１の３次元ポインティング方法の第２の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、システムの構成例を示す図である。 本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、DFDの動作原理を説明する図である。 本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、DFDの動作原理を説明する図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。 本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。 実施例３−２の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 実施例３−２の３次元ポインティング方法を説明するための模式図であり、本実施例３−２の３次元ポインティング方法で問題となる点を説明する図である。 実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６８Ａに示した問題点を解決する方法の一例を説明する図である。 実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６８Ｂに示した解決方法の変形例を説明する図である。 本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、回転の中心となる点が３次元空間内で固定されている場合の例を示す図である。 本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、回転の中心となる点が３次元空間内で移動する場合の例を示す図である。 実施例３−３の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。 実施例３−３の３次元ポインティング方法を説明するための模式図であり、図７１の３次元空間内の変化の斜視図である。 実施例３−３の３次元ポインティング方法を説明するための模式図であり、実施例３−３の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。 本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。 本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。 本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。 本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、それぞれポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。 本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。 第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。 第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。 第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。 第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、第４の実施の形態の３次元表示制御方法が適用されるコンピュータシステムの概略構成を示す図である。 第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、３次元空間を表現できる表示装置（DFD）の動作原理を説明する図である。 第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、表示装置上に表現された３次元空間の一例を示す正面図および右側面図である。 第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、表示装置上に表現された３次元空間の一例を示す斜視図（鳥瞰図）である。 第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、ポインタの操作方法の一例を示す図である。 実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法と比較するための従来の表示制御方法を説明する３次元空間の様子を示す図である。 本実施例４−１の３次元表示制御方法を実現するための装置における処理手順を示すフロー図である。 本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、応用例を適用した場合の３次元空間の変化の様子を示す図である。 本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、応用例を実現するための装置における処理手順を示すフロー図である。 実施例４−２の３次元表示方法を説明するための模式図であり、本実施例４−２の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 ４−２の３次元表示方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。 実施例４−２の３次元表示方法を説明するための模式図であり、本実施例４−２の３次元表示方法を実現するための装置における処理手順を示すフロー図である。 実施例４−３の３次元表示制御方法を説明するための模式図であり、本実施例４−３の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 実施例４−３の３次元表示制御方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。 実施例４−３の３次元表示制御方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。 実施例４−４の３次元表示制御方法を説明するための模式図であり、本実施例４−４の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 実施例４−４の３次元表示制御方法を説明するための模式図であり、本実施例４−４の３次元表示方法を実現するための装置における処理手順を示すフロー図である。 実施例４−５の３次元表示制御方法を説明するための模式図であり、オブジェクトの選択方法を示す図である。 実施例４−５の３次元表示制御方法を説明するための模式図であり、本実施例４−５の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。 実施例４−５の３次元表示制御方法を説明するための模式図であり、本実施例４−５の３次元表示方法を実現するための装置における処理手順を示すフロー図である。
以下、本発明の第１〜第４の実施の形態を説明する。なお、特に断りのない限り、図面における符号は各実施の形態において独立に付されたものとする。
（第１の実施の形態）
まず、本発明の第１の実施の形態について説明する。第１の実施の形態は本発明の第１の目的に対応するものである。
本発明の第１の実施の形態の３次元ポインティング方法は、３次元表示が可能な表示装置に表現された３次元空間上のオブジェクトを、ペン形の入力装置を用いてポインティングしたり、前記ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン形の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をするペン形の操作手段（以下、入力ペンという）と、前記入力ペンのペン先の位置、筆圧、軸の向き等の情報を検出する検出手段からなる。そして、第１の実施の形態の３次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向き等を決定し、前記表示装置に表現された３次元空間上に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された３次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
また、第１の実施の形態の３次元ポインティング方法では、前記入力ペンの筆圧を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された３次元空間内の一点をポインティングできるようにする。またこのとき、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、操作者は、前記表示装置に表現された３次元空間上に表示されたポインタがあたかも自身が持つ入力ペンのペン先の一部と感じることができ、３次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
また、第１の実施の形態の３次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、２次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記２次元GUI上のオブジェクトを操作することが可能な状態にする。またこのとき、前記オブジェクト編集・加工といった操作が終了した後、前記オブジェクトを再度３次元オブジェクトとして扱い、操作者の望む３次元位置に移動できるようにする。このようにすることで、３次元オブジェクトの操作を、既存のペン形の入力装置を用いたこれまでの２次元GUIにおける操作と変わらない操作で実現でき、前記操作者は、オブジェクトの操作をするための、３次元的な入力ペンの操作を新たに習得しなくてもよい。
図１乃至図３は、第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、図１は第１の実施の形態の３次元ポインティング方法を実現するシステムの構成例を示す図、図２は第１の実施の形態の３次元ポインティング方法の原理を説明するための図、図３は第１の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
図１において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置／回転角度算出手段、１０３はポインタ生成手段、１０４はポインティング判定手段、１０５はオブジェクト生成手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図２において、２０１Ｐは入力ペンのペン先、２０１Ｘは入力ペンの筐体の軸である。また、図３において、２０１は入力ペン、２０１Ａはコイル、２０１Ｂは回転角検出用のコイル、２０１Ｃは筆圧感知部である。
第１の実施の形態の３次元ポインティング方法は、たとえば、PC等のシステム制御装置に接続された前記ペン形の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された３次元空間上にあるポインタやポインティングされたオブジェクトを３次元的に操作するときに適用して好ましいポインティング方法である。
システム制御装置１は、図１に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度等を算出するポインタ位置／回転角度算出手段１０２と、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいたポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段１０４と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成するオブジェクト生成手段１０５と、前記ポインタ生成手段１０３で生成されたポインタや、前記オブジェクト生成手段１０５で生成されたオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図１に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段１０７や、前記処理制御手段１０７による処理で用いるデータ等が記憶された記憶手段１０８を備える。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段１０１は、前記取得した情報を前記処理制御手段１０７に渡し、取得した情報に応じた処理を前記システム制御装置１に実行させる。そのため、前記表示制御手段１０６は、前記ポインタや前記オブジェクトのほかに、前記システム制御装置１（処理制御手段１０７）で実行中の処理の内容や、処理の結果を前記表示手段３に表示させることもできる手段である。
また、前記入力装置２は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つペン形の操作手段（入力ペン）と、前記入力ペンのペン先の位置、ペン先にかかる圧力（筆圧）、前記入力ペンの傾き、方位、回転角等の情報を検出する検出面を持つ検出手段からなる。
図２に示すように、前記検出手段の検出面上に、前記表示装置３に表現される３次元空間と対応するデカルト座標系ＸＹＺをとり、前記デカルト座標系ＸＹＺのＸＹ平面が検出面とすると、前記検出手段は、前記検出面（ＸＹ平面）に前記入力ペンのペン先２０１Ｐが接触したときに、ペン先２０１Ｐの座標（ｘ，ｙ）、入力ペンの筐体の軸２０１Ｘの方位α（たとえば０度≦α＜３６０度），傾きβ（たとえば０度≦β≦９０度），軸周りの回転γ（たとえば０度≦γ＜３６０度）の各角度、ペンの筆圧等の情報を検出する。
前記ペン先２０１Ｐの座標、前記入力ペンの筐体の軸２０１Ｘの方位α，傾きβ，軸周りの回転γ，筆圧等の情報を検出することが可能な入力装置２の構成は、たとえば、参照文献１（三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.）や参照文献２（株式会社WACOM製intuos2のカタログ）等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸２０１Ｘの軸周りの回転γの角度については、前記参照文献１や参照文献２に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図３に示すように、前記入力ペン２０１の内部の、前記参照文献１に記載されている座標指示器のコイル２０１Ａと平行に、前記軸周りの回転γを検出するためのコイル２０１Ｂをもう一つ加え、筆圧感知部２０１Ｃにおいて両コイル２０１Ａ，２０１Ｂの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想到でき、実現することは可能である。ただし、本実施形態の３次元ポインティング方法で使用する前記入力ペン２０１は、図３に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
また、前記入力装置２は、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように３次元オブジェクトを２次元平面に射影した形で表現して表示する２次元表示装置でもよく、HMD（Head Mount Display）やDFD（Depth Fused 3D）（DFDの詳細については後述する）のように３次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置３は、前記操作者が、表示されたポインタやオブジェクトを３次元的に知覚することが可能であればどのような表示装置でもよい。
また、前記入力装置２の検出手段と前記表示装置３は、一体型の形態を取ることも可能である（たとえば、特開平5-073208号公報を参照。）。前記入力装置２として、電磁誘導方式のペンタブレットを用いる場合、前記検出手段（デジタイザ）は、前記表示装置３の表示面と重ね合わせ、前記表示装置３と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置３の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置３が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置２の検出手段と前記表示装置３の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置３が一体的になっていなくともよい。
［実施例１−１］
図４Ａ乃至図７は、本発明による実施例１−１の３次元ポインティング方法を説明するための模式図であり、図４Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図４Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図５Ａ，図５Ｂ，図５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図６Ａ，図６Ｂ，図６Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図、図７は本実施例１−１の３次元ポインティング方法の処理手順を示すフロー図である。なお、図６Ａ，図６Ｂ，図６Ｃはそれぞれ、図５Ａ，図５Ｂ，図５Ｃと対応する図である。
本実施例１−１の３次元ポインティング方法は、前記入力ペン２０１の筆圧を変えることで３次元空間内の操作者からみて奥行き方向にあるオブジェクトをポインティングする方法である。
本実施例１−１では、前記入力装置２には電磁誘導方式のペンタブレット、前記３次元空間を表示できる表示装置３には液晶ディスプレイを用いることとする。また、前記入力装置２の検出手段（デジタイザ）は前記液晶ディスプレイ３の表示面と重ね合わせており、表示画面上で直接入力ペンを操作し、ポインティングが行えるものとする。また、前記入力装置２および前記表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例１−１では、図４Ａおよび図４Ｂに示すように、前記液晶ディスプレイ３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２が３次元空間３０１内のｚ＜０の位置に配置されているとする。また、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
また、本実施例１−１では、前記３次元空間３０１のｚ＝０のＸＹ平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置２の検出手段の検出面であるとする。
このとき、前記操作者が、図５Ａおよび図６Ａに示すように、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先２０１Ｐの位置（座標）や筆圧等を検出する。このとき、前記システム制御装置１では、前記入力情報取得手段１０１により前記検出手段が検出した前記ペン先２０１Ｐの位置（座標）や筆圧等の情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置（たとえば、入力ペンの軸の３次元空間における延長線上の位置）に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図５Ａおよび図６Ａに示したように、前記表示装置３に表現された３次元空間３０１上に、前記ペン先２０１Ｐの位置および筆圧を反映したポインタ３０３が表示される。
また、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させた後、たとえば、図５Ｂおよび図６Ｂ、あるいは図５Ｃおよび図６Ｃに示すように、前記入力ペン２０１を前記液晶ディスプレイ３の表示面に押しつけるようにして筆圧を高くすると、前記システム制御装置１の前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３では、前記筆圧の高さに応じた形状のポインタを生成させる。このとき、たとえば、前記筆圧の高さに応じて矢印形のポインタが長くなるようにしておけば、前記表示装置３に表現された３次元空間３０１上のポインタ３０３は、筆圧を高くすることにより、図５Ｂおよび図６Ｂに示したように、図５Ａおよび図６Ａに示したポインタよりも長くなる。また、さらに筆圧を高くすれば、図５Ｃおよび図６Ｃに示したように、前記ポインタ３０３がさらに長くなる。
このようなポインタ３０３の表示を、前記操作者が前記入力ペン２０１に筆圧を加える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかも加えた筆圧によってポインタが３次元奥行き方向（ｚ＜０）に伸びていくように感じることが可能である。また、図示は省略するが、前記システム制御装置１のポインティング判定手段１０４により前記ポインタ３０３（ポインタの先）が目的のオブジェクト３０２をポインティングできたと判定されたときに、前記オブジェクト生成手段１０５でオブジェクト３０２の色を変え、前記３次元空間３０１上に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記操作者に、３次元奥行き方向（ｚ＜０）にあるオブジェクト３０２をポインティングできたことを知らせることが可能である。
また、たとえば、図５Ｂおよび図６Ｂ、あるいは図５Ｃおよび図６Ｃに示したように、一度筆圧を高くしてポインタ３０３を３次元奥行き方向（ｚ＜０）に傾けて表示させた後、筆圧を低くした場合、前記ポインタ３０３を、筆圧を反映させた奥行き位置まで戻してもよいし、低くする前の奥行き位置に固定させておいてもよい。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図７に示したような、ステップ４０１からステップ４０６の処理を実行すればよい。前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にポインタ３０３およびオブジェクト３０２を表示させておく（ステップ４０１）。またこのとき、前記ポインタ３０３は、任意の位置に表示させておく。また、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）や筆圧等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）や筆圧等の情報を取得する（ステップ４０２）。本実施例１−１の３次元ポインティング方法では、前記ペン先２０１Ｐの位置（座標）と筆圧の情報が取得できればよいので、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）と筆圧の情報のみを取得してもよいが、前記検出手段では、前記ペン先２０１Ｐの位置（座標）と筆圧のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等も検出可能である。そのため、前記ペン先２０１Ｐの位置（座標）と筆圧の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得してもよい。
前記入力情報取得手段１０１で前記検出手段からの情報を取得したら、次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と筆圧の情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する（ステップ４０３）。本実施例１−１の３次元ポインティング方法の場合、前記ステップ４０３では、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と比例する長さを算出する。
前記ステップ４０３の処理がすんだら、次に、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２での算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０４）。
また、前記ステップ４０４の処理と並行して、前記ポインティング判定手段１０４において、前記ポインタ位置／回転角度算出手段１０２で算出した３次元空間のＸＹ平面上の位置（座標）および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う（ステップ４０５）。このとき、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。そしてその後、前記ステップ４０２に戻り、次の入力情報を取得するまで待機する。
前記システム制御装置１において、以上のような処理を行うことにより、図５Ａ，図５Ｂ，図５Ｃに示したようなポインタの表示制御が可能となる。
以上説明したように、本実施例１−１の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および筆圧に関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例１−１で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例１−１では、前記入力ペン２０１の筆圧の高さに応じて長さが変わる前記ポインタ３０３を表示させたが、これに限らず、たとえば、長さではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をするポインタや、３次元奥行き方向（ｚ＜０）の傾きが変化するポインタのように、３次元奥行き方向（ｚ＜０）をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、筆圧の高さに比例させてもよいし、筆圧の高さの累乗あるいは累乗根に比例させてもよい。
なお、本実施例１−１では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−１では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
図８Ａ〜Ｄは、本実施例１−１の３次元ポインティング方法の変形例を説明するための模式図であり、図８Ａ，図８Ｂ，図８Ｃ，図８Ｄはそれぞれ表示するポインタの形状を示す図である。
本実施例１−１では、前記ポインタ３０３として、たとえば、図８Ａに示すように、平板状の矢印型のポインタ３０３ａを用いたが、前記ポインタ３０３の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄ等が考えられる。また、図示は省略するが、図８Ｃに示した円錐型のポインタ３０３ｃに類似した多角錘型のポインタであってもよい。
また、本実施例１−１では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例１−１では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例１−１では、前記表示装置３に表現される３次元空間の座標系を図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−１では、前記入力ペン２０１の筆圧に注目したが、これに後述する入力ペン２０１の傾きβと軸周りの回転γの要素も加え、ポインタの傾きや回転も操作できるようにしてもかまわない。
［実施例１−２］
図９Ａ〜図１０Ｃは、本発明による実施例１−２の３次元ポインティング方法を説明するための模式図であり、図９Ａ，図９Ｂ，図９Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１０Ａ，図１０Ｂ，図１０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図１０Ａ，図１０Ｂ，図１０Ｃはそれぞれ、図９Ａ，図９Ｂ，図９Ｃと対応する図であるとする。
本実施例１−２の３次元ポインティング方法は、前記入力ペン２０１の向きを変えることで３次元空間内の操作者からみて奥行き方向にあるオブジェクトをさまざまな方向からポインティングする方法である。
本実施例１−２では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
本実施例１−２の３次元ポインティング方法では、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３に表現された３次元空間３０１のＸＹ平面（ｚ＝０）の任意の１点におくと、前記システム制御装置１は、前記入力情報手段１０１により、前記検出手段（デジタイザ）が検出した前記入力ペン２０１のペン先２０１の位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ、筆圧等の情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置（たとえば、入力ペンの軸の３次元空間における延長線上の位置）に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図９Ａおよび図１０Ｂに示したようなポインタ３０３が表示される。
また、前記操作者が、前記入力ペン２０１の向きを、たとえば、前記筆圧をほぼ一定の状態で、図９Ｂおよび図１０Ｂ、あるいは図１０Ｃおよび図１０Ｃに示したような向きに変えたとすると、前記ポインタ位置／回転角度算出手段１０２およびポインタ生成手段１０３では、前記入力ペン２０１の新たな方位α，傾きβ，軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成させる。そして、前記表示制御手段１０６から前記表示装置３に、新たに生成したポインタ表示用の信号を送ると、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したようなポインタ３０３が表示される。
このようなポインタ３０３の表示を、前記操作者が入力ペン２０１の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先２０１Ｐの延長線上にポインタ３０３が傾いて表示されるように感じることが可能である。また、図示は省略するが、前記ポインティング判定手段１０４により前記ポインタ３０３（ポインタの先）が目的のオブジェクトをポインティングできたときに、前記オブジェクト生成手段１０５でそのオブジェクトの色を変え、前記３次元空間３０１上に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記操作者に、３次元奥行き方向（ｚ＜０）にあるオブジェクトをポインティングできたことを知らせることが可能である。
またさらに、図示は省略するが、前記操作者が、前記入力ペン２０１の向きを変えるとともに、筆圧を変えた場合は、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３において、たとえば、前記ポインタの向きに加え、前記実施例１−１で説明したような筆圧の高さに比例した長さを算出し、その算出結果を反映したポインタを生成することができる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置において、図７に示したような、ステップ４０１からステップ４０６の処理を実行すればよいので、詳細な説明は省略する。
ただし、本実施例１−２のように、前記入力ペン２０１の向きを前記ポインタに反映させる場合、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）と筆圧のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得する必要がある。
また、前記ステップ４０３では、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と比例する長さに加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出する必要がある。
前記システム制御装置１において、以上のような処理を行うことにより、図９Ａ，図９Ｂ，図９Ｃに示したようなポインタの表示制御が可能となる。
以上説明したように、本実施例１−２の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および筆圧に加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）および筆圧と対応する奥行き位置、ならびに前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出し、算出した位置および奥行き位置を、算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例１−２で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例１−２では、ポインタの傾き、方位、回転が前記入力ペン２０１の傾き、方位、回転にそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をしたり、ポインタの傾きが３次元奥行き方向（ｚ＜０）に変化したりすることで、３次元奥行き方向（ｚ＜０）をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン２０１の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン２０１の傾き、方位、回転のいずれかが累乗あるいは累乗根に比例するようにしてもよい。
なお、本実施例１−２では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−２では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例１−２では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例１−２では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例１−２では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−２では、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに注目したが、これに実施例１−１で説明した入力ペン２０１の筆圧の要素を加えることで、より直感的なポインティングが可能となる。
［実施例１−３］
図１１乃至図１３は、本発明による実施例１−３の３次元ポインティング方法を説明するための模式図であり、図１１は入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１２は入力ペンで操作したときの３次元空間内の様子を示す正面図、図１３は本実施例１−３の３次元ポインティング方法の処理手順を示すフロー図である。
前記実施例１−１および実施例１−２では、前記入力装置２の入力ペン２０１の操作にあわせて、前記表示装置３に表現された３次元空間３０１上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
しかしながら、前記実施例１−１および実施例１−２のような方法で前記３次元空間３０１上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例１−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、前記入力ペン２０１を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。
実施例１−３では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例１−３では、前記３次元空間３０１上のオブジェクトをポインティングする方法については、前記実施例１−１や実施例１−２で説明したような方法でよいので、説明は省略する。
このとき、たとえば、前記実施例１−１や実施例１−２と同様の方法によって、図１１および図１２に示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記入力ペン２０１に設けられているボタン２０１Ｄを押す等の前記オブジェクト３０２をつかむ操作を行う。そして、前記入力ペン２０１のボタン２０１Ｄを押し、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で前記入力ペン２０１を所望の位置に移動させた後、前記ボタン２０１Ｄを離す等の前記オブジェクト３０２を離す操作を行うと、図１１および図１２に示したように、前記入力ペン２０１の移動に追従して前記オブジェクト３０２が３次元空間３０１内を移動する。このようにするとオブジェクトを元の位置から３次元空間内の目的の位置にまで移動させることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記入力ペン２０１の位置（座標）、筆圧、入力ペン２０１の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン２０１Ｄが押されていることを示す情報を取得する。そして、前記システム制御装置１は、前記ボタン２０１Ｄが押されていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の移動に追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置において、図１３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。
なお、図１３において、ステップ４０１からステップ４０６までの処理は、前記３次元空間３０１上のオブジェクト３０２をポインティングするまでの処理であり、図７に示した処理のステップ４０１からステップ４０６までの処理と同じである。このステップ４０１からステップ４０６までの処理は、前記実施例１−１または実施例１−２で説明した通りでよいので、詳細な説明は省略する。
本実施例の３次元ポインティング方法では、前記システム制御装置１は、前記ステップ４０６でポインティングしているオブジェクトの色を変えて表示させた後、前記ステップ４０２に戻らず、図１３に示すように、オブジェクトがポインティングされた状態で前記入力ペン２０１のボタン２０１Ｄが押されているか否かの判定をする（ステップ４０７）。この判定は、たとえば、前記入力情報取得手段１０１において、前記ボタン２０１Ｄが押されていることを示す情報を取得したか否かで判定する。そして、前記ボタン２０１Ｄが押されていなければ、前記ステップ４０２に戻り、次の入力情報を取得するまで待機する。
一方、前記ボタン２０１Ｄが押されていれば、前記入力情報取得手段１０１において、ポインタに関する情報を取得する（ステップ４０８）。このとき取得する情報は、前記実施例１−１や実施例１−２で説明した、前記入力ペン２０１のペン先２０１Ｐの位置（座標）、筆圧、入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報である。
前記ステップ４０８で前記ポインタに関する情報を取得したら、前記ポインタ位置／回転角度算出手段１０２において、取得した情報に基づくポインタの位置、向き、長さ等を算出するとともに、前記オブジェクトの位置、向きを算出する（ステップ４０９）。前記ポインタの位置、向き、長さ等の算出は、前記実施例１−１や実施例１−２で説明した通りであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ４０９で算出したポインタの位置でも保存されるような位置、向きを算出する。
そして、前記ステップ４０９でポインタの位置、向き、長さ等と前記オブジェクトの位置、向きを算出したら、前記ポインタ生成手段１０３で算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段１０５で算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段１０６から前記表示装置３に送り、ポインタおよびオブジェクトを表示させる（ステップ４１０）。
前記ステップ４１０でポインタおよびオブジェクトを表示させたら、前記ステップ４０７に戻り、前記入力ペン２０１のボタン２０１Ｄが押された状態が続いていれば、前記ステップ４０８からステップ４１０までの処理を繰り返す。そして、前記操作者が前記ボタン２０１Ｄを離した時点で、前記ポインタおよびオブジェクトの移動操作が終了する。
前記システム制御装置１において、以上のような処理を行うことにより、図１１および図１２に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
以上説明したように、本実施例１−３の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペンの移動にあわせて、平行移動させることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例１−３で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例１−３では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例１−３では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例１−３では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例１−３では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−３では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図１３に示したステップ４０７では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
［実施例１−４］
図１４Ａ〜図１５Ｃは、本発明による実施例１−４の３次元ポインティング方法を説明するための模式図であり、図１４Ａ，図１４Ｂ，図１４Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１５Ａ，図１５Ｂ，図１５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図１５Ａ，図１５Ｂ，図１５Ｃはそれぞれ、図１４Ａ，図１４Ｂ，図１４Ｃと対応する図であるとする。
前記実施例１−３では、前記表示装置３で表現された３次元空間３０１上のオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を平行移動させることが可能な３次元ポインティング方法について説明した。
しかしながら、前記表示装置３で表現された３次元空間３０１上では、前記実施例１−３で説明したような単純なオブジェクトの平行移動だけでなく、３次元空間３０１を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例１−４では、オブジェクトをポインティングした後、続けて前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。
本実施例１−４では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例１−４では、前記３次元空間３０１上のオブジェクトをポインティングする方法については、前記実施例１−１や実施例１−２で説明したような方法でよいので、説明は省略する。
このとき、前記実施例１−１や実施例１−２と同様の方法によって、たとえば、図１４Ａおよび図１５Ａに示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記入力ペン２０１に設けられているボタン２０１Ｄを押す等の前記オブジェクト３０２を掴む操作をする。そして、前記入力ペン２０１のボタン２０１Ｄを押し、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で前記入力ペン２０１を所望の向きにすると、図１４Ｂおよび図１５Ｂ、あるいは図１４Ｃおよび図１５Ｃに示したように、前記入力ペン２０１の向きの変化に追従して前記オブジェクト３０２が３次元空間３０１内で奥行き方向に傾く。このようにするとオブジェクト３０２を前記３次元空間３０１上で任意の向きに傾けることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記入力ペン２０１の位置（座標）、筆圧、入力ペン２０１の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン２０１Ｄが押されていることを示す情報を取得する。そして、前記システム制御装置１は、前記ボタン２０１Ｄが押されていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の向きの変化を追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、たとえば、図１３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。
ただし、前記ステップ４０９で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
前記システム制御装置１において、以上のような処理を行うことにより、図１４Ａ，図１４Ｂ，図１４Ｃに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
以上説明したように、本実施例１−４の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペン２０１の向きの変化に合わせて、同一ＸＹ平面内で回転させたり、奥行き方向に傾けることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例１−４で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例１−４では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−４では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例１−４では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例１−４では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例１−４では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−４では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図１３に示したステップ４０７では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例１−４では、前記ポインティングされたオブジェクト３０２を同一ＸＹ平面内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例１−３で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
［実施例１−５］
図１６Ａ乃至図２０は、本発明による実施例１−５の３次元ポインティング方法を説明するための模式図であり、図１６Ａ、Ｂは本実施例１−５で用いる表示装置（DFD）の原理を説明する図、図１７Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図１７Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１９Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図、図２０は本実施例１−５の３次元ポインティング方法の処理手順を示すフロー図である。なお、図１９Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄはそれぞれ、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄと対応する図であるとする。
前記実施例１−３および実施例１−４では、前記実施例１−１や実施例１−２で説明した方法で前記表示装置３に表現された３次元空間３０１内にあるオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２をＸＹ平面内で移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な３次元ポインティング方法について説明した。しかしながら、前記３次元空間３０１内にあるオブジェクト３０２をポインティング後、前記操作者が続けて行いたい操作には、前記オブジェクト３０２の移動や回転だけでなく、編集や変形等の、これまでの２次元GUI的な操作もある。前記２次元GUI的な操作を行う場合、前記実施例１−３および実施例１−４で説明した方法では、たとえば、前記操作者から見て前記３次元空間３０１の奥（遠方）にあるオブジェクトをポインティングし、操作したい場合、前記オブジェクトがポインティングされた状態を維持するために、前記操作者は、筆圧を高くした状態で前記入力ペン２０１を操作しなければならない。そこで、本実施例１−５では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを２次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む３次元位置に戻すような操作が可能な３次元ポインティング方法について説明する。
また、本実施例１−５では、前記入力装置２は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記３次元空間を表現可能な表示装置３としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
前記DFDは、たとえば、図１６Ａ、Ｂに示すように、２枚あるいはそれ以上の複数枚の表示面を、観察者（操作者）から見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の２通りに分けられる。前記DFDの詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFDの簡単な動作原理のみを説明する。
ここでは図１６Ａ，Ｂに示すように、２枚の表示面３Ａ，３Ｂが重ね合わさっているとする。このとき、前記ポインタ３０２およびオブジェクト３０３は、前記２枚の表示面３Ａ，３Ｂの間の３次元空間内に奥行き位置を反映して表示される。
前記DFDに表示される前記ポインタ３０２やオブジェクト３０３は、たとえば、図１６Ａに示すように、操作者から見て手前の表示面３Ａおよび奥の表示面３Ｂの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面３Ａのオブジェクト３０３Ａを輝度ＬＡ、前記奥の表示面３Ｂのオブジェクト３０３Ｂを輝度ＬＢで表示すると、前記３次元空間内の、前記手前の表示面３Ａからの距離と前記奥の表示面３Ｂからの距離の比がＬＢ：ＬＡの奥行き位置にオブジェクト３０３が表示されているように見える。
また、たとえば、図１６Ｂに示すように、１つのオブジェクト３０３の表示領域の中で輝度を連続的に変化させることで、１つのオブジェクト３０３を奥行き方向に傾けて表示させることもできる。図１６Ｂに示した例では、前記手前の表示面３Ａのオブジェクト３０３Ａの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面３Ｂのオブジェクト３０３Ｂの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト３０３を観察することができる。
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面３Ａのオブジェクト３０３Ａを表示している領域の各点（画素）の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面３Ａと奥の表示面３Ｂの間の任意の奥行き位置に前記ポインタ３０２やオブジェクト３０３の立体像を表示することができる。
一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表現する前記３次元空間を２次元平面に射影して表示する処理が必要であるが、前記DFDのような３次元表示装置の場合、前記３次元空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、前記システム制御装置１にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表示する前記３次元空間を２次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。
また、前記表示装置３として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力手段（ペンタブレット）２の検出手段（デジタイザ）を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔｚの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記ペンの位置・傾き・方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置・傾き・方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例１−５でも電磁誘導方式のペンタブレット２の検出手段とDFDの表示面は重ね合わさっているとする。
また、本実施例１−５では、前記DFD３の表示面は２枚であるとし、図１７Ａおよび図１７Ｂに示すように、前記DFD３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２を３次元空間３０１内のｚ＜０の位置に配置されているとする。また、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
また、本実施例１−５では、前記操作者から見て手前にある表示面をｚ＝０とし、前記手前にある表示面が、前記入力装置２の検出手段の検出面であるとする。
前記操作者が、たとえば、前記実施例１−１や実施例１−２で説明した方法で、図１８Ａおよび図１９Ａに示すように、前記３次元空間３０１上に立体的に表示されたオブジェクト３０２をポインティングしたとする。そして、前記操作者が、前記オブジェクト３０２の色の変化等で前記オブジェクト３０２がポインティングされていることを確認し、たとえば、前記入力ペン２０１に設けられたボタン２０１Ｄを１回押下すると、前記ポインティングされたオブジェクト３０２は、たとえば、図１８Ｂおよび図１９Ｂに示すように、前記DFDの手前の表示面に２次元物体として表示され、ポインタ３０３が消える。図１８Ａでは、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトとして表示されているが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの手前の表示面に投影像として像を表示する。
ここで操作者は、前記オブジェクト３０２上で、たとえば文字を書く等の目的の操作を、２次元GUIの操作として行う。そして、２次元GUIの操作が終了した後、再度入力ペン２０１についたボタン２０１Ｄを押下すと、ポインタ３０３が再び現れ、前記実施例１−３や実施例１−４で説明したような手順で、たとえば、図１８Ｃおよび図１９Ｃ、あるいは図１８Ｄおよび図１９Ｄに示すように、操作者の望む３次元位置にオブジェクト３０２を移動したり、奥行き方向に傾けさせたりできるようになる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図２０に示したような、ステップ４０１からステップ４１５の処理を実行すればよい。前記システム制御装置１では、まず、前記実施例１−１や実施例１−２で説明したステップ４０１からステップ４０６までの処理を行い、前記表示装置３に表現された３次元空間３０１上のオブジェクト３０２をポインティングする。そして、前記ステップ４０６でポインティングされたオブジェクト３０２の色を変えて表示させたら、次に、図２０に示したように、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを押すなどの、前記ポインティングされたオブジェクト３０２を２次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する（ステップ４１１）。そして、前記２次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
一方、２次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置３に表現された３次元空間３０１上に表示されたポインタ３０３を非表示にし、前記ポインティングされたオブジェクト３０２の射影を操作者から見て一番近い表示面に表示する（ステップ４１２，ステップ４１３）。前記ステップ４１２およびステップ４１３の処理が実行されることで、前記オブジェクト３０２の２次元GUI的な操作・編集・加工が可能な状態になる。
２次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４１４）。また、前記ステップ４１４の処理の後は、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを再び押すなどの、２次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する（ステップ４１５）。このとき、２次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ４１４に戻り、他の２次元GUI的な操作・編集・加工を受け付け、実行する。
一方、２次元GUI的な操作・編集・加工を終了するための操作が行われた場合、２次元GUI的な操作を行うモードから、前記実施例１−１から実施例１−４で説明したような３次元的なポインティング操作を行うモードに戻る。そして、図２０に示したように、最初に行われるステップ４０１からステップ４０６までの処理と同等のステップ４０１'からステップ４０６'までの処理を行い、目的のオブジェクトをポインティングする。
そして、前記ステップ４０６'でポインティングされたオブジェクトの色を変えて表示した後は、たとえば、前記入力ペン２０１のボタン２０１Ｄを押すなどの操作をして、前記実施例１−３や実施例１−４で説明したステップ４０７からステップ４１０の処理を行うことで、前記ポインティングされたオブジェクト３０２の３次元的な移動操作、回転操作、傾ける（変形させる）操作が可能となる。
前記システム制御装置１において、以上のような処理を行うことにより、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄのようなポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
以上説明したように、本実施例１−５の３次元ポインティング方法によれば、前記入力ペン２０１の操作だけで、前記実施例１−１から実施例１−４で説明したようなポインタの３次元的な表示制御およびオブジェクトの３次元的な移動等の操作に加え、前記オブジェクトの２次元GUI的な操作・編集・加工を行うことが可能である。そのため、操作者は、オブジェクトの２次元GUI的な操作・編集・加工を行うための新たな３次元操作を習得する必要がない。
また、本実施例１−５の３次元ポインティング方法では、前記入力ペン２０１のボタン２０１Ｄを押すなどの特定の動作をすることで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報は、前記オブジェクトの２次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして２次元GUI的な操作・編集・加工を行う場合に、前記入力ペン２０１の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
また、本実施例１−５では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−５では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例１−１から実施例１−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例１−５では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
また、本実施例１−５では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−５では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図２０に示したステップ４０７，ステップ４１１，ステップ４１５では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例１−５では、前記オブジェクト３０２に直接編集を行う例として、たとえば、図１８Ｃに示したように「Ａ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
［実施例１−６］
図２１Ａ乃至図２７は、本発明による実施例１−６の３次元ポインティング方法を説明するための模式図であり、図２１Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図２１Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｂ，図２３Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図２４Ａ，図２４Ｂ，図２４Ｃ，図２５Ａ，図２５Ｂ，図２５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図、図２６は本実施例１−６の３次元ポインティング方法の処理手順を示すフロー図、図２７は本実施例１−６の３次元ポインティング方法の処理手順の変形例を示すフロー図である。なお、図２４Ａ，図２４Ｂ，図２４Ｃはそれぞれ、図２２Ａ，図２２Ｂ，図２２Ｃと対応する図であり、図２５Ａ，図２５Ｂ，図２５Ｃはそれぞれ、図２３Ａ，図２３Ｂ，図２３Ｃと対応する図である。
本実施例１−６の３次元ポインティング方法は、前記実施例１−５で説明した３次元ポインティング方法の応用例の１つであり、３次元空間３０１内にあるオブジェクト３０２を前記実施例１−１や実施例１−２の方法でポインティングした後、前記ポインティングされたオブジェクト３０２を操作者が操作しやすい位置、すなわちこれまでの２次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が操作を行うと、前記オブジェクト３０２が操作者からみて３次元の奥行き方向に３次元奥行き方向にある他オブジェクトに干渉するまで移動し、他オブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。
本実施例１−６では、前記実施例１−５と同様に、前記入力装置２として電磁誘導式のペンタブレットを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
また、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）は、前記表示装置（DFD）３の表示面と重ね合わせ一体的に設けられているとする。
また、本実施例１−６の３次元ポインティング方法を説明するに当たって、たとえば、図２１Ａおよび図２１Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空間３０１の中に、座標系ＸＹＺを設定し、オブジェクト３０２とウィンドウ３０４を３次元空間３０１内のｚ＜０の位置に配置した場合を例に挙げる。
このとき、前記オブジェクト３０２の操作をしたい操作者は、まず、図２２Ａおよび図２４Ａに示すように、前記実施例１−１や実施例１−２で説明した方法で前記オブジェクト３０２をポインティングする。そして、前記オブジェクト３０２の色の変化等によりポインティングされたことを確認し、たとえば、前記入力ペン２０１に設けられたボタン２０１Ｄを１回押すと、図２２Ｂおよび図２４Ｂに示すように、前記ポインティングされたオブジェクト３０２が前記DFDの手前の表示面に２次元物体として表示され、ポインタ３０３が消える。本実施例１−６では、オブジェクト３０２がｚ方向に厚みのないオブジェクトであるが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの前面の表示装置に投影像として３次元像を表示する。
このように前記オブジェクト３０２の表示方法が変わると、前記３次元空間３０１上で２次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン２０１で、たとえば、図２２Ｃおよび図２４Ｃに示すように、前記オブジェクト３０２上に文字を書く等の目的の操作を２次元GUIの操作として行うことができる。そして、前記操作者が続けて、図２３Ａおよび図２５Ａに示すように、前記オブジェクト３０２を所望の位置まで２次元的な操作で移動させた後、たとえば、前記入力ペン２０１のボタン２０１を１回押すと、図２３Ｂおよび図２５Ｂに示すように、前記オブジェクト３０２は、前記操作者からみて３次元奥行き方向（ｚ＜０）に、ウィンドウ３０４と干渉するまで移動する。このとき、前記オブジェクト３０２の前記３次元奥行き方向のｚ座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト３０２が前記ウィンドウ３０４と干渉すると、前記オブジェクト３０２に対して、前記ウィンドウ３０４の持つ属性として、ウィンドウ上に移動する動作が実行される。
また、図２３Ｂおよび図２５Ｂに示したように、前記オブジェクト３０２を自動的に３次元奥行き方向（ｚ＜０）に移動させる代わりに、たとえば、前記実施例１−５で説明したように、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を操作することで、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させ、前記ウィンドウ３０４と干渉位置まで移動させることも可能である。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図２６に示したような、ステップ４０１からステップ４０６，ステップ４１１からステップ４１９までの処理を実行すればよい。このとき、前記システム制御装置１では、まず、前記実施例１−１や実施例１−２で説明したステップ４０１からステップ４０６までの処理を行い、前記表示装置３に表現された３次元空間３０１上のオブジェクト３０２をポインティングする。そして、前記ステップ４０６でポインティングされたオブジェクト３０２の色を変えて表示させたら、次に、図２６に示したように、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを押すなどの、前記ポインティングされたオブジェクト３０２を２次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する（ステップ４１１）。そして、前記２次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
一方、２次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置３に表現された３次元空間３０１上に表示されたポインタ３０３を非表示にし、前記ポインティングされたオブジェクト３０２の射影を操作者から見て一番近い表示面に表示する（ステップ４１２，ステップ４１３）。前記ステップ４１２およびステップ４１３の処理が実行されることで、前記オブジェクト３０２の２次元GUI的な操作・編集・加工が可能な状態になる。
２次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４１４）。また、前記ステップ４１４の処理の後は、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを再び押すなどの、２次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する（ステップ４１５）。このとき、２次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ４１４に戻り、他の２次元GUI的な操作・編集・加工を受け付け、実行する。
一方、２次元GUI的な操作・編集・加工を終了するための操作が行われた場合、２次元GUI的な操作を行うモードから、前記実施例１−１から実施例１−４で説明したような３次元的なポインティング操作を行うモードに戻る。そして、図２６に示したように、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させていく（ステップ４１６）。
また、前記ステップ４１６により前記オブジェクト３０２を３次元奥行き方向に移動させている間、前記システム制御装置１では、たとえば、前記ウィンドウ３０４のような、前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かの判定を行う（ステップ４１７）。そして、干渉するオブジェクトがある場合、干渉した時点で前記オブジェクト３０２の３次元奥行き方向への移動を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４１８）。
一方、前記オブジェクト３０２と干渉する他のオブジェクトがない場合は、前記オブジェクト３０２をあらかじめ定められた奥行き位置、たとえば、前記ステップ４１１以降の処理を行う前と同じ奥行き位置まで移動させて表示する（ステップ４１９）。
前記システム制御装置１において、図２６に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｂのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
また、図２６に示した処理手順では、前記ステップ４１５の後、すなわち前記２次元GUI操作が可能な状態から３次元的なポインティング操作が可能な状態に戻った後、ステップ４１６のように自動的に前記オブジェクト３０２を奥行き方向に移動させているが、これに限らず、前記操作者が、前記実施例１−３や実施例１−４で説明した方法で、前記入力ペン２０１を操作しながら前記オブジェクト３０２を奥行き方向に移動させるようにしてもよい。このようなポインティング方法の場合、前記システム制御装置１では、図２７に示したように、前記ステップ４０１からステップ４１５，ステップ４１７，ステップ４１８，ステップ４２０，ステップ４２１の処理を実行すればよい。
前記DFD３に表現された３次元空間３０１上のオブジェクト３０２をポインティングし、２次元GUI的な操作を行うまでの処理（ステップ４０１からステップ４０６，ステップ４１１からステップ４１５）は、図２６に示した処理手順の処理と同じ処理を行えばよいので説明は省略する。
そして、前記ステップ４１５で、たとえば、前記入力ペン２０１のボタン２０１Ｄを１回押すなどの２次元GUI操作が可能な状態から３次元ポインティング操作が可能な状態に戻る操作を確認した後は、前記実施例１−１や実施例１−２で説明したような手順（ステップ４０２'からステップ４０６'）で前記オブジェクト３０２をポインティングさせる。
前記ステップ４０２'からステップ４０６'により目的のオブジェクト３０２をポインティングしたら、次に、前記入力ペン２０１のボタン２０１Ｄを押されているか否かを確認する（ステップ４０７）。そして、前記入力ペン２０１のボタン２０１Ｄが押されていることを確認したら、続けて、前記入力ペン２０１の操作に合わせ、前記実施例１−３や実施例１−４で説明したようなステップ４０８からステップ４１０の処理を行い、前記オブジェクト３０２を３次元的に移動させたり、回転あるいは変形させたりする。
また、前記システム制御装置１では、前記ステップ４０８からステップ４１０の処理を行い、前記オブジェクト３０２を３次元的に移動させたり、回転あるいは変形させている間、前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かを調べる（ステップ４１７）。そして、干渉する他のオブジェクトがある場合、たとえば、前記干渉する他のオブジェクトの色を変えて表示する（ステップ４２０）。またこのとき、同時に、前記干渉する他のオブジェクトの色を変えて表示するとともに、前記入力ペン２０１のボタン２０１Ｄが押された状態であるか確認する。そして、前記ボタン２０１Ｄが押されている状態であれば、前記ステップ４０８からの処理を続け、前記オブジェクト３０２の３次元的な移動、回転あるいは変形を続ける。
一方、前記干渉する他のオブジェクトの色を変えて表示した時点で、前記ボタン２０１Ｄを離していれば、その時点で前記オブジェクト３０２の移動、回転あるいは変形を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４１８）。
前記システム制御装置１において、図２７に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｃのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
以上説明したように、本実施例１−６の３次元ポインティング方法によれば、３次元空間３０１内にあるオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を操作者が操作しやすい位置まで自動的に移動させ、これまでの２次元GUI操作により目的の編集、加工等を行うとともに、目的の編集、加工が終了した後に、前記オブジェクト３０２が操作者からみて３次元の奥行き方向に移動させるとともに、移動させたオブジェクト３０２と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト３０２の状態を変化させることができる。
また、本実施例１−６の３次元ポインティング方法では、前記入力ペン２０１のボタン２０１Ｄを押すなどの特定の動作をすることで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報は、前記オブジェクトの２次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして２次元GUI的な操作・編集・加工を行う場合に、前記入力ペン２０１の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
また、本実施例１−６では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−６では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例１−１から実施例１−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例１−６では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
また、本実施例１−６では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例１−６では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図２０に示したステップ４０７，ステップ４１１，ステップ４１５では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例１−６では、前記オブジェクト３０２に直接編集を行う例として、たとえば、図２２Ｃに示したように「Ｂ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
また、本実施例１−６では、前記他のオブジェクトの例としてウィンドウ３０４を挙げ、前記ウィンドウ３０４と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、たとえば、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
図２８Ａ乃至図３２Ｃは、本実施例１−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、図２８Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図２８Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図２９Ａ，図２９Ｂ，図３０Ａ，図３０Ｂ，図３０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３１Ａ，図３１Ｂ，図３２Ａ，図３２Ｂ，図３２Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図である。なお、図３１Ａ，図３１Ｂはそれぞれ、図２９Ａ，図２９Ｂと対応する図であり、図３２Ａ，図３２Ｂ，図３２Ｃはそれぞれ、図３０Ａ，図３０Ｂ，図３０Ｃと対応する図であるとする。
本実施例１−６の３次元ポインティング方法では、前述のように、オブジェクト３０２をウィンドウ３０４に移動させるだけでなく、たとえば、オブジェクト３０２をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図２８Ａおよび図２８Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空３０１間の中に、座標系ＸＹＺを設定し、オブジェクト３０２とゴミ箱３０５が３次元空間３０１内のｚ＜０の位置に配置された場合を例に挙げ、前記オブジェクト３０２の削除手順について説明する。
前記オブジェクト３０２を削除したい操作者は、まず、図２９Ａおよび図３１Ａに示すように、前記入力ペン２０１を操作して削除したいオブジェクト３０２をポインティングする。そして、前記削除したいオブジェクト３０２をポインティングした状態で、たとえば、前記入力ペン２０１のボタン２０１Ｄを１回押すなどの特定の操作をすると、図２９Ｂおよび図３１Ｂに示すように、前記ポインティングされたオブジェクト３０２が、前記手前の表示面に移動し、２次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図３０Ａおよび図３２Ａに示したように、前記ポインティングしたオブジェクト３０２をゴミ箱３０５上まで移動させ、再び前記入力ペン２０１のボタン２０１Ｄを１回押すなどの特定の操作をすると、前記２次元GUI操作が可能な状態から、３次元ポインティングが可能な状態に戻る。そして、前記システム制御装置１で行われる処理が、図２６に示したような手順である場合は、３次元ポインティングが可能な状態に戻った後、前記オブジェクト３０２が自動的に３次元奥行き方向（ｚ＜０）に移動し、前記ゴミ箱３０５と干渉した時点で、図３０Ｂおよび図３２Ｂに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
一方、前記システム制御装置１で行われる処理が、図２７に示したような手順である場合は、前記３次元ポインティングが可能な状態に戻った後、前記操作者が前記入力ペン２０１を操作して前記オブジェクト３０２を前記３次元奥行き方向に移動させる。そして、前記オブジェクト３０２が前記ゴミ箱と干渉した時点で、図３０Ｃおよび図３２Ｃに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
このように、本実施例１−６の３次元ポインティング方法は、前記オブジェクト３０２と干渉したオブジェクトが、前記オブジェクト３０２に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
［実施例１−７］
図３３乃至図３６Ｃは、本発明による実施例１−７の３次元ポインティング方法を説明するための模式図であり、図３３および図３４は本実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図、図３５Ａ，図３５Ｂ，図３５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３６Ａ，図３６Ｂ，図３６Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図３６Ａ，図３６Ｂ，図３６Ｃはそれぞれ、図３５Ａ，図３５Ｂ，図３５Ｃと対応する図であるとする。
本実施例１−７では、前記実施例１−１から実施例１−６で説明したような３次元ポインティング方法を実施するときに用いる入力ペンとして、ペン先２０１Ｐが筆圧の高さに応じて入力ペン２０１の筐体内に押し込まれる構造の入力ペンを用いた場合のポインティング方法について説明する。
本実施例１−７で用いる入力ペン２０１は、たとえば、図３３に示すように、筐体の内部にバネ２０１Ｅが入っており、操作者が前記入力ペン２０１に筆圧を加えた場合に、圧力検知手段２０１Ｆが、前記バネ２０１Ｅの反発力から圧力を感知する構造を持っているとする。なお、前記入力ペン２０１の構成は、図３３に示したような構成に限らず、たとえば、図３４に示すように、空気圧式のピストン２０１Ｇを用い、空気圧感知部２０１Ｈにおいて、加えられた圧力を感知する構造であってもよい。図３３または図３４に示したような構造の入力ペン２０１で感知された圧力は、前記システム制御装置１で演算処理され、たとえば、操作者が加えた圧力に比例した長さのポインタ３０３が表示装置３に表示される。
本実施例１−７では、図３３または図３４に示したような構成の入力ペン２０１を用いて前記表示装置３に表現された３次元空間のポインティングを行う場合の例として、前記実施例１−１で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせているとする。
このとき、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３のＸＹ平面（ｚ＝０）の任意の１点におくと、たとえば、図３５Ａおよび図３６Ａに示すように、前記液晶ディスプレイ３の３次元空間３０１上に、円錐型等の前記入力ペン２０１のペン先２０１Ｐの形状を反映した形状のポインタが表示される。
そして、前記操作者が、前記入力ペン２０１の筆圧を高くしていくと、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｄに示したように、前記入力ペン２０１の筆圧の高さに応じて表示される前記ポインタ３０３の大きさが変わる。この前記ポインタ３０３の大きさの制御は、前記実施例１−１で説明したような手順で行えばよいので、詳細な説明は省略する。
このとき、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｄに示したように、円錐型の前記ポインタ３０３の大きさを、前記入力ペン２０１のペン先２０１Ｐの筐体に押し込まれる長さと比例させることで、たとえば、前記実施例１−１で説明したような方法と比べて、前記ポインタ３０３が前記ペン先２０１Ｐの一部であるという視覚的効果がさらに高くなると考えられる。
また、本実施例１−７では、ペン先が凹む構造の入力ペン２０１の例として、図３３および図３４に示したように、バネと空気圧を用いた機構の入力ペンを挙げたが、同様の効果が得られるのであれば他の機構の入力ペンであってもよい。また、ペンの筐体の内部に圧力検知部２０１Ｆ、空気圧検知部２０１Ｈを設ける代わりに、たとえば、ペン先２０１Ｐが凹んだ移動量を測る機構を備えるなど、同様の効果が得られるのであれば、他の機構の入力ペンであってもよい。
また、本実施例１−７では、前記実施例１−１で説明した３次元ポインティング方法を実施する場合を例に挙げたが、これに限らず、前記実施例１−２から実施例１−６で説明したようなポインティング方法を実施する場合にも、図３３および図３４に示したような構成の入力ペン２０１を用いることができるのは言うまでもない。
［実施例１−８］
図３７Ａ乃至図４０Ｃは、本発明による実施例１−８の３次元ポインティング方法を説明するための模式図であり、図３７Ａ，図３７Ｂ，図３７Ｃ，図３８Ａ，図３８Ｂ，図３８Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３９Ａ，図３９Ｂ，図３９Ｃ，図４０Ａ，図４０Ｂ，図４０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図である。なお、図３９Ａ，図３９Ｂ，図３９Ｃはそれぞれ、図３７Ａ，図３７Ｂ，図３７Ｃと対応する図であり、図４０Ａ，図４０Ｂ，図４０Ｃはそれぞれ、図３８Ａ，図３８Ｂ，図３８Ｃと対応する図であるとする。
本実施例１−８では、前記実施例１−１から実施例１−６で説明したような３次元ポインティング方法の具体的な利用シーンとして、３次元表示が可能な表示画面と、ペンタブレットの検出手段を内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。本実施例１−８では、前記入力ペン２０１を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例１−１から実施例１−７で説明した手順と同じでよいため、詳細な説明は省略する。
このとき、前記操作者は、前記実施例１−７で説明したような、ペン先２０１Ｐが筐体内に押し込まれる入力ペン２０１を用い、たとえば、図３７Ａおよび図３９Ａに示したような、前記リモコンの３次元空間３０１に表示されたオブジェクトを操作する。まず、たとえば、図３７Ｂおよび図３９Ｂに示すように、前記操作者は、前記入力ペン２０１を操作して再生ボタン３０２ａをポインティングすると、前記再生ボタン３０２ａが押された状態の表示に切り替わり、音楽の生成が開始される。
また、たとえば、図３７Ｃおよび図３９Ｃに示すように、前記入力ペン２０１を操作してボリュームのつまみ３０２ｂをポインティングし、たとえば、前記入力ペン２０１のボタン２０１Ｄを押しながら前記つまみ３０２ｂを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
また、ボリュームを上げたり下げたりする場合は、図３７Ｃおよび図３９Ｃに示したような操作に限らず、たとえば、図３８Ａおよび図４０Ａに示すように、前記つまみ３０２ｂの中心付近で前記つまみ３０２ｂをポインティングした後、前記入力ペン２０１を軸周りに回転させることで、前記つまみ３０２ｂを回転させ、ボリュームを上げたり下げたりすることもできる。
また、たとえば、図３８Ｂおよび図４０Ｂに示すように、再生中の音楽に関する情報が表示されている領域３０２ｃを前記入力ペン２０１でポインティングしたときに、図３８Ｃおよび図４０Ｃに示すように、前記領域３０２ｃが２次元的な表示に切り替わり、２次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域３０２ｃに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
このように、前記実施例１−１から実施例１−６の３次元ポインティング方法を利用することで、３次元空間３０１の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
また、本実施例１−８では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン２０１における操作と関連づけられる操作であれば、どのような操作でも可能である。
また、本実施例においては、トラック番号の入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン２０１で選択するような入力方法でもよい。
また、前記３次元ポインティング装置は、前記３次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図１に示したように、PC等のコンピュータ（システム制御装置）と、前記コンピュータに前記各実施例で説明したような３次元ポインティング方法を実行させる３次元ポインティングプログラムによって実現することもできる。この場合、前記３次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的，電気的，光学的のいずれの記録媒体に記録されていてもよい。また、前記３次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は第１の実施の形態と同様に本発明の第１の目的に対応するものである。第１の実施の形態は、入力ペンの筆圧もしくは傾き等に応じてポインタを制御するものであるのに対し、第２の実施の形態は、入力ペンのペン先の接触時間もしくは入力ペンに取り付けられた操作手段の操作量等に応じてポインタを制御するものである。第１の実施の形態と第２の実施の形態とではポインタを制御するための入力ペンの操作内容が異なるが、実現しようとしていることは同一であるので、適宜第１の実施の形態の図面を参照して第２の実施の形態の説明を行う。
第２の実施の形態の３次元ポインティング方法は、３次元表示が可能な表示装置に表現された３次元空間上のオブジェクトを、ペン型の入力装置（手段）を用いてポインティングしたり、ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン型の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をする入力ペン（電子ペン）と、前記入力ペンのペン先の接触の有無、位置、軸の向き、前記入力ペンが備える操作手段の操作情報などの情報を検出する検出手段からなる。そして、本実施形態の３次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向きなどを決定し、前記表示装置に表現された３次元空間に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された３次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
また、本実施の形態の３次元ポインティング方法では、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作の状況を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された３次元空間内の一点をポインティングできるようにする。また、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、前記操作者は、前記表示装置に表現された３次元空間上に表示されたポインタが、あたかも自身が持つ入力ペンのペン先の一部と感じることができ、３次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
また、本実施の形態の３次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴む操作を行うことで、前記オブジェクトを２次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記２次元GUI上のオブジェクトを操作することが可能な状態にする。また、前記オブジェクトの編集、加工といった処理（操作）が終了した後、前記オブジェクトを再度３次元オブジェクトとして扱い、操作者の望む３次元位置に移動できるようにする。このようにすることで、３次元オブジェクトの操作を、既存のペン型の入力装置を用いたこれまでの２次元GUIにおける操作と変わらない操作で実現できる。そのため、前記操作者は、たとえば、前記オブジェクトを操作するための、前記３次元的な入力ペンの操作を新たに習得しなくてもよい。
図４１は本実施の形態の３次元ポインティング方法を実現するシステムの構成例を示す図である。図４１において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置／回転角度算出手段、１０３はポインタ生成手段、１０４はポインティング判定手段、１０５はオブジェクト生成手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図４２は本実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。図４２において、２０１は入力ペン、２０１Ａはコイル、２０１Ｂは回転角検出用のコイル、２０１Ｄは操作手段（ボタン）、２０１Ｄ1，２０１Ｄ2はシーソー型ボタンまたはホイールあるいはスライド型のバー、２０１Ｄ3は押しボタンである。なお、以下の説明では、特に記述がない限り、２０１Ｄ1，２０１Ｄ2はシーソー型ボタン、２０１Ｄ3は押しボタンであるとする。また、当然ながら、前記入力ペン２０１は、同様の機能を果たすのであれば、前記の機構に限らない。
本実施の形態の３次元ポインティング方法は、たとえば、PCなどのシステム制御装置に接続された前記ペン型の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された３次元空間上にあるポインタや、前記ポインタでポインティングされたオブジェクトを３次元的に操作するときに適用して好ましいポインティング方法である。
前記システム制御装置１は、たとえば、図４１に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいて入力装置２で指し示し続けた時間や、前記入力装置２が備える操作手段の操作情報（ボタンが押されている時間や回数）を算出する入力情報処理手段１０９と、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度などを算出するポインタ位置／回転角度算出手段１０２と、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいたポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段１０４と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成したりするオブジェクト生成手段１０５と、前記ポインタ生成手段１０３で生成したポインタや、前記オブジェクト生成手段１０５で生成したオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図４１に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段１０７や、前記処理制御手段１０７による処理で用いるデータなどが記憶された記憶手段１０８を備える。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段１０１は、前記取得した情報を前記処理制御手段１０７に渡し、取得した情報に応じた処理を前記システム制御装置１に実行させる。そのため、前記表示制御手段１０６は、前記ポインタや前記オブジェクトの他に、前記システム制御装置１（処理制御手段１０７）で実行中の処理の内容や、処理の結果を前記表示装置３に表示させることもできる手段であるとする。
また、前記入力装置２は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つ入力ペン（電子ペン）と、前記入力ペンのペン先の接触の有無、位置、前記入力ペンが備えるボタンなどの操作手段の状態、前記入力ペンの傾き、方位、回転角などの情報を検出する検出面をもつ検出手段からなるとする。
第１の実施の形態と同様に、前記検出手段の検出面上に図２に示すように、前記表示装置３に表現される３次元空間と対応するデカルト座標系ＸＹＺをとり、前記デカルト座標系ＸＹＺのＸＹ平面が検出面とすると、前記検出手段は、前記検出面（ＸＹ平面）に前記入力ペンのペン先２０１Ｐが接触したときに、ペン先２０１Ｐの接触の有無、接触位置の座標（ｘ，ｙ）、入力ペンの筐体の軸２０１Ｘの方位α（たとえば０度≦α＜３６０度），傾きβ（たとえば０度≦β≦９０度），軸周りの回転γ（たとえば０度≦γ＜３６０度）の各角度の情報を検出する。
第１の実施の形態と同様に、前記入力ペンのペン先２０１Ｐの接触の有無、接触位置の座標（ｘ，ｙ）、前記入力ペンの筐体の軸２０１の方位α，傾きβ，軸周りの回転γなどの情報を検出することが可能な入力装置２の構成は、たとえば、参照文献１（三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.）や参照文献２（株式会社WACOM製intuos2のカタログ）等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸２０１Ｘの軸周りの回転γの角度については、前記参照文献１や参照文献２に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図４２に示すように、前記入力ペン２０１の内部の、前記参照文献１に記載されている座標指示器のコイル２０１Ａと平行に、前記軸周りの回転γを検出するためのコイル２０１Ｂをもう一つ加え、両コイル２０１Ａ，２０１Ｂの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想像でき、実現することは可能である。ただし、本実施の形態の３次元ポインティング方法で使用する前記入力ペン２０１は、図４２に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
また、前記入力装置２は、たとえば、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように３次元オブジェクトを２次元平面に射影した形で表現して表示する２次元表示装置でもよく、HMD（Head Mount Display）やDFDのように３次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置３は、前記操作者が、表示されたポインタやオブジェクトを３次元的に知覚することが可能であればどのような表示装置でもよい。
また、前記入力装置２の検出手段と前記表示装置３は、一体型の形態を取ることも可能である（たとえば、特開平5-073208号公報を参照。）。前記入力装置２として、たとえば、電磁誘導方式のペンタブレットを用いる場合、前記検出手段（デジタイザ）は、前記表示装置３の表示面と重ね合わせ、前記表示装置３と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置３の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置３が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置２の検出手段と前記表示装置３の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置３が一体的になっていなくともよい。
［実施例２−１］
次に、実施例２−１を説明する。実施例２−１は、実施例１−１と同様にオブジェクトを選択または掴む場合の実施例であり、実施例１−１の図４〜６を用いて説明する。また、図４３を参照して実施例２−１の処理手順を説明する。なお、図５Ｂ、図６Ｂ、Ｃにおいて入力ペンに圧力を加える方向の矢印が記載されているが、本実施例２−１ではこの矢印はないものとする。
本実施例２−１の３次元ポインティング方法は、前記入力ペン２０１のペン先２０１Ｐを前記検出手段の検出面に接触させ、シーソー型ボタン２０１Ｄ1，２０１Ｄ2を用いて、３次元空間内の操作者から見て奥行き方向にあるオブジェクトをポインティングし、さらに押しボタン２０１Ｄ3を用いてオブジェクトを選択または掴む方法である。
本実施例２−１では、前記入力装置２には電磁誘導方式のペンタブレット、前記３次元空間を表示できる表示装置３には液晶ディスプレイを用いることとする。また、前記入力装置２の検出手段（デジタイザ）は前記液晶ディスプレイ３の表示面と重ね合わせており、表示画面上で直接入力ペンを操作してポインティング、さらに選択または掴む操作が行えるものとする。また、前記入力装置２および前記表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例２−１では、実施例１−１と同様に、図４Ａおよび図４Ｂに示すように、前記液晶ディスプレイ３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２が３次元空間３０１内のｚ＜０の位置に配置されているとする。またこのとき、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
また、本実施例２−１では、前記３次元空間３０１のｚ＝０のＸＹ平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置２の検出手段の検出面であるとする。
前記操作者が、たとえば、図５Ａおよび図６Ａに示すように、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先２０１Ｐの位置（座標）を検出する。次に、前記システム制御装置１では、ペン先２０１Ｐが接触した状態でシーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されたことを判定し、さらに、前記入力情報取得手段１０１により前記検出手段が検出した前記ペン先２０１Ｐの位置（座標）などの情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図５Ａおよび図６Ａに示したように、前記表示装置３に表現された３次元空間３０１上に、前記ペン先２０１Ｐが接触した状態で前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押された時間（または回数）を反映したポインタ３０３が表示される。
また、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させたままの状態で、さらに前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかを押すと、前記システム制御装置１の入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３では、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかを押していた時間（または回数）に応じた形状のポインタを生成させる。このとき、たとえば、前記シーソー型ボタン２０１Ｄ1が押されていた時間（または回数）に比例して矢印形のポインタが長くなるようにしておけば、前記シーソー型ボタン２０１Ｄ1を押す時間（または回数）を長く（または多く）することにより、図５Ｂおよび図６Ｂに示したように、前記ポインタ３０３が図５Ａおよび図６Ａに示したポインタよりも長くなる。また、前記シーソー型ボタン２０１Ｄ1をさらに長時間押し続ける（または多数回押す）と、図５Ｃおよび図６Ｃに示したように、前記ポインタ３０３がさらに長くなる。
一方、たとえば、前記シーソー型ボタン２０１Ｄ2が押された時間（または回数）に応じて前記矢印形のポインタが短くなるようにしておけば、前記シーソー型ボタン２０１Ｄ2を押す時間（または回数）を長く（または多く）することにより、図５Ｃおよび図６Ｃに示したような長いポインタが、図５Ｂおよび図６Ｂに示すように短くなる。また、前記シーソー型ボタン２０１Ｄ2をさらに長時間押し続ける（または多数回押す）と、図５Ａおよび図６Ａに示したように、前記ポインタ３０３がさらに短くなる。
このようなポインタ３０３の表示を、前記操作者が前記入力ペン２０１を接触させ、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2を押すのとほぼ同時に連続的（または所定の段階的）に行われるようにすることで、前記操作者は、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2を押した時間（または回数）によって前記ポインタ３０３が３次元奥行き方向（ｚ＜０）に伸びていくように感じることが可能である。なお、前記ポインタ３０３の長さの最大値と最小値は、操作者が設定できるようにしておいてもよいし、あらかじめシステムで設定しておいてもよい。また、図示は省略するが、前記ポインタ３０３の先が目的のオブジェクト３０２の近辺（たとえば10ピクセルの範囲内）をポインティングしたところで、前記オブジェクト生成手段１０５によりオブジェクト３０２の色を変えるなどの処理を行うことによって、操作者にオブジェクト３０２をポインティングしていることを伝える。このときに、操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を押したとすると、前記システム制御装置１のポインティング判定手段１０４がオブジェクト３０２に対して選択または掴む操作がなされたと判定し、前記オブジェクトの色を変えた状態を維持する。また、前記入力ペン２０１のペン先２０１Ｐを前記検出面から離した（浮かせた）場合に、前記ペン先２０１Ｐを離した（浮かせた）時間に応じて、前記ポインタ３０３を、ペン先２０１Ｐを前記検出面から離す（浮かせる）直前の状態から一定の速度で短くしてもよいし、ペン先を前記検出面から離す（浮かせる）直前の状態に固定させておいてもよい。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。つまり、前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にオブジェクト３０２を表示させておく（ステップ４０１）。またこのとき、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）等の、前記入力ペン２０１の状態を表す情報を取得する（ステップ４０２）。本実施例２−１の３次元ポインティング方法では、前記ペン先２０１Ｐの位置（座標）の情報が取得できればよいので、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）の情報のみを取得してもよいが、前記検出手段では、前記ペン先２０１Ｐの位置（座標）のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等も検出可能である。そのため、前記ペン先２０１Ｐの位置（座標）の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得してもよい。
次に、前記入力情報処理手段１０９により、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されているか否かを判定し、いずれかが押されているかの情報を出力する。この処理は、たとえば、図４３に示したように、まず、前記ボタン２０１Ｄ1が押されているか否かを判定し（ステップ４０３ａ）、押されている場合はその情報を前記ポインタ位置／回転角度算出手段１０２に出力する（ステップ４０４ａ）。また、前記ボタン２０１Ｄ1が押されていない場合は、前記ボタン２０１Ｄ2が押されているか否かを判定し（ステップ４０３ｂ）、押されている場合はその情報を前記ポインタ位置／回転角度算出手段１０２に出力する（ステップ４０４ｂ）。
次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されているか否かの情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する（ステップ４０５）。本実施例２−１の３次元ポインティング方法の場合、前記ステップ４０５では、前記ペン先２０１Ｐの位置（座標）と対応する、前記表示装置３に表現された３次元空間３０１のＸＹ平面上の位置（座標）と、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されていた時間（または回数）に比例する長さを算出する。
なお、本実施例２−１のように、前記入力ペン２０１のペン先２０１Ｐの位置（座標）の情報のみを用い、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ４０５において、前記ポインタの向きを算出する必要はない。
前記ステップ４０５の算出処理がすんだら、次に、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から前記生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。
また、前記システム制御装置１では、前記ステップ４０６の処理と並行して、前記ポインティング判定手段１０４において、前記ポインタ位置／回転角度算出手段１０２で算出した３次元空間のＸＹ平面上の位置（座標）および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う（ステップ４０７）。前記ステップ４０７の判定は、たとえば、図４３に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かで判定する。なお、図４３では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。ポインティングしているオブジェクトがあるか否かの判定は、第１の実施の形態でもここで説明した方法で行うことが可能である。そして、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から前記生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０８）。またさらに、前記ポインティング判定手段１０４において、前記入力ペン２０１の押しボタン２０１Ｄ3が押されたかどうかの判定を行う（ステップ４０９）。そして、前記押しボタン２０１Ｄ3が押された場合には、前記ポインティングしているオブジェクト３０２を選択、または掴むことができる（ステップ４１０）。また、前記押しボタン２０１Ｄ3が押されていない場合は、前記ステップ４０２に戻り、次の入力情報を取得する。
前記システム制御装置１において、以上のような処理を行うことにより、図５Ａ，図５Ｂ，図５Ｃに示したようなポインタ３０３の表示制御が可能となる。
なお、前記ステップ４０１からステップ４０６の処理がすでに行われた状態、すなわち前記ポインタが前記表示装置３に表示された状態で、前記ステップ４０５により前記ポインタの長さを算出する場合、たとえば、前記入力情報処理手段１０９から前記ボタン２０１Ｄ1が押されていることを示す情報が入力されたときには、前記ポインタ位置／回転角度算出手段１０２は、前記ポインタの長さを所定の長さだけ長くするようにする。また、前記入力情報処理手段１０９から前記ボタン２０１Ｄ2が押されていることを示す情報が入力されたときには、前記ポインタ位置／回転角度算出手段１０２は、前記ポインタの長さを所定の長さだけ短くするようにする。このような処理ループを繰り返し実行することによって、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に対応する長さのポインタを表示することが可能となる。
以上説明したように、本実施例２−１の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および検出手段の検出面に関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。またさらに、前記入力ペン２０１の押しボタン２０１Ｄ3が押されているか否かを判定することで、前記ポインタでポインティングしたオブジェクトを選択または掴むこともできる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例２−１で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペン２０１の操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例２−１では、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に応じて長さが変わるポインタ３０３を表示させたが、これに限らず、たとえば、長さではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をするポインタや、３次元奥行き方向（ｚ＜０）の傾きが変化するポインタのように、３次元奥行き方向（ｚ＜０）をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、シーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に比例させてもよいし、押された時間（または回数）の累乗あるいは累乗根などに比例させてもよい。
なお、本実施例２−１では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−１では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、本実施例２−１では、前記ポインタ３０３の先が目的のオブジェクト３０２の近辺にあるかどうかの判定を、前記ポインタ３０３の先から10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。
本実施例２−１においても、実施例１−１と同様に、ポインタの形状を図８Ａ，図８Ｂ，図８Ｃ，図８Ｄに示すように様々な形状のポインタを採用することができる。
本実施例２−１では、前記ポインタ３０３として、たとえば、図８Ａに示すように、平板状の矢印型のポインタ３０３ａを生成し、表示させているが、前記ポインタ３０３の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄ等が考えられる。また、図示は省略するが、図８Ｃに示した円錐型のポインタ３０３ｃに類似した多角錘型のポインタであってもよい。
また、本実施例２−１では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例２−１では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例２−１では、前記表示装置３に表現される３次元空間の座標系を、図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元空間が表現できるのであれば３次元の原点はどこにとってもよい。また、座標系もデカルト座標系である必要はなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−１では、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に注目したが、これに前記入力ペン２０１の方位α、傾きβ、軸周りの回転γの要素も加え、ポインタの方位や傾き、回転も操作できるようにしても構わない。
［実施例２−２］
次に、実施例２−２の３次元ポインティング方法を説明する。本実施例２−２では、実施例１−２と同様に、前記入力ペン２０１の向きを変えることで、３次元空間内の操作者からみて奥行き方向にあるオブジェクトを、さまざまな方向からポインティングする方法について、図９Ａ〜図１０Ｃを参照して説明する。また、本実施例の処理手順を図４４を参照して説明する
本実施例２−２においても、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−１で説明したとおりであるとする。ただし、本実施例２−２では、入力方法の別の形態として、前記実施例２−１で用いた前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2や押しボタン２０１Ｄ3を利用せず、前記入力ペン２０１のペン先２０１Ｐを前記検出面から離したか否かの操作に基づき前記オブジェクトをポインティングし、さらにポインティングしたオブジェクトを選択または掴むことのできる入力方法を用いる。
本実施例２−２の３次元ポインティング方法では、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３に表現された３次元空間３０１のＸＹ平面（ｚ＝０）の任意の１点におくと、前記システム制御装置１は、前記入力情報取得手段１０１により、前記検出手段（デジタイザ）が検出した前記入力ペン２０１のペン先２０１Ｐの位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等の情報を取得する。またこのとき、前記入力情報処理手段１０９が、前記入力ペン２０１のペン先２０１Ｐが前記検出面に接触している時間を算出する。またさらに、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３が、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置に表示させるポインタを生成する。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図９Ａおよび図１０Ｂに示したようなポインタ３０３が表示される。
また、前記操作者が、前記入力ペン２０１の向きを、たとえば、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したような向きに変えたとすると、前記ポインタ位置／回転角度算出手段１０２およびポインタ生成手段１０３では、前記入力ペン２０１の新たな方位α，傾きβ，軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成する。そして、前記表示制御手段１０６から前記表示装置３に、新たに生成したポインタ表示用の信号を送ると、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したようなポインタ３０３が表示される。
このようなポインタ３０３の表示を、前記操作者が入力ペン２０１の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先２０１Ｐの延長線上にポインタ３０３が傾いて表示されるように感じることが可能である。
また、このようなポインタ３０３の表示方法では、たとえば、前記入力ペン２０１のペン先２０１Ｐと前記検出面との接触の有無と、接触時間によって、前記ポインタ３０３の長さを調節できる。たとえば、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記検出面に接触させ、操作者がある時間内（たとえば、0.5秒以内）にペン先２０１Ｐを前記検出面から離して再度接触させる操作（タップ操作）を行うと、前記ポインタ３０３の長さが伸び始める。そして、前記前記ポインタ３０３の長さが伸びている間にタップ操作を再び行うと、前記ポインタ３０３の伸びが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ３０３の長さが変化していないときに前記タップ操作を行うと、さらに前記ポインタ３０３を伸ばすことが可能となる。また、前記操作者が前記タップ操作を２回連続して行う操作（ダブルタップ操作）を行うと、前記ポインタ３０３の長さが縮み始める。そして、前記ポインタ３０３の長さが縮んでいる間にタップ操作を行うと、前記ポインタ３０３の縮みが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ３０３の長さが変化していないときに前記ダブルタップ操作を行うと、さらに前記ポインタ３０３を縮めることが可能となる。
この一連の前記ポインタ３０３の伸縮操作中に、前記ポインタ３０３（ポインタの先）がオブジェクト３０２の近辺（たとえば、10ピクセルの範囲内）に到達したときに、前記システム制御装置１のオブジェクト生成手段１０５で当該オブジェクトの色を変え、前記表示装置３に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記ポインタ３０３の長さが変化していない状態で、かつ、オブジェクト３０２を選択またはつかめる状態であることを、前記操作者に知らせることができる。そして、前記オブジェクト３０２の色が変化して選択または掴める状態が、たとえば、0.5秒以上続けば、前記操作者は、前記オブジェクト３０２を選択、または掴むことができる。
またさらに、図示は省略するが、前記操作者が、前記操作中に前記入力ペン２０１の向きを変えた場合は、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３において、たとえば、前記ポインタの向きに加え、前記入力ペン２０１の向きを変える直前のポインタの長さを反映したポインタを生成することができる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４４に示したような処理を実行すればよい。このとき、前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にオブジェクト３０２を表示させるとともに、ポインタの状態を表す変数ｓをｓ＝０に設定する（ステップ４０１）。前記ポインタの状態を表す変数ｓは、たとえば、ｓ＝０はポインタの長さが変化していない状態または表示されていない状態を表し、ｓ＝１はポインタの長さが伸びつつある状態を表し、ｓ＝−１はポインタの長さが縮みつつある状態を表すものとする。またこのとき、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）等の、前記入力ペン２０１の状態を表す情報を取得する（ステップ４０２）。なお、本実施例２−２の場合、前記ステップ２では、前記ペン先２０１Ｐの位置（座標）の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報などの前記入力ペンの向きを示す情報を取得する。
次に、前記入力情報処理手段１０９により、前記ポインタの状態を表す変数ｓおよび前記入力ペン２０１のペン先２０１Ｐと前記検出面との接触状況から、前記ポインタの長さを変化させるか否かを判定し、その情報を出力する。この処理は、たとえば、図４４に示したように、まず、前記変数ｓがｓ＝０であり、かつ、前記タップ操作が行われたか確認し（ステップ４０３ｃ）、ｓ＝０で前記タップ操作が行われた場合は、前記変数ｓをｓ＝１に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｃ）。また、ｓ≠０またはタップ操作を行っていない場合は、前記変数ｓがｓ＝０であり、かつ、前記ダブルタップ操作が行われたか確認し（ステップ４０３ｄ）、ｓ＝０で前記ダブルタップ操作が行われた場合は、前記変数ｓをｓ＝−１に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｄ）。また、ｓ≠０またはダブルタップ操作を行っていない場合は、前記タップ操作が行われたか確認し（ステップ４０３ｅ）、ｓ≠０で前記タップ操作が行われた場合は、前記変数ｓをｓ＝０に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｅ）。
次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と、前記ポインタの状態を表す変数ｓの値を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出し（ステップ４０５）、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から前記生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。本実施例２−２の場合、前記ステップ４０５では、前記ペン先２０１Ｐの位置（座標）と対応する、前記表示装置３に表現された３次元空間３０１のＸＹ平面上の位置（座標）と、前記タップ操作またはダブルタップ操作を行った後の、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例する長さを算出する。またこのとき、前記ポインタの長さは、たとえば、前記変数ｓがｓ＝１に設定されている場合は、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例して長くなるように算出し、前記変数ｓがｓ＝−１に設定されている場合は、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例して短くなるように算出する。また、前記変数ｓがｓ＝０の場合は、前記タップ操作またはダブルタップ操作が行われる直前の長さとする。
またこのとき、前記システム制御装置１では、前記ステップ４０６の処理と並行して、前記実施例２−１で説明したステップ４０７およびステップ４０８の処理を行う。前記ステップ４０７は、たとえば、図４４に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かを判定する。なお、図４４では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。そして、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から前記生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０８）。またさらに、前記ポインティング判定手段１０４において、たとえば、前記変数ｓがｓ＝０であり、かつ、前記オブジェクトをポインティングしている状態が0.5秒以上続いたかどうかの判定を行う（ステップ４０９'）。そして、ｓ＝０でポインティングしている状態が0.5秒以上続いている場合には、前記ポインティングしているオブジェクト３０２を選択、または掴むことができる（ステップ４１０）。また、前記ｓ≠０またはポインティングしている時間が0.5秒未満の場合は、前記ステップ４０２に戻り、次の入力情報を取得する。なお、前記オブジェクトをポインティングしている状態の持続時間に関しては、0.5秒以上に限らず、他の時間であってもよい。
前記システム制御装置１において、以上のような処理を行うことにより、図９Ａ，図９Ｂ，図９Ｃに示したようなポインタの表示制御が可能となる。
なお、図４３、図４４に示した処理手順は、第１の実施の形態における図７で示した処理手順に対応するものである。図４３、図４４では処理内容をより詳細に記載している。
以上説明したように、本実施例２−２の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および前記検出面との接触の有無に加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）および前記入力ペン２０１のペン先と前記検出面の接触時間と対応する奥行き位置、ならびに前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出し、算出した位置および奥行き位置、ならびに算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができ、さらにポインティングしたオブジェクトを選択、または掴むことが可能となる。
また、前記入力ペン２０１に、前記ポインタの奥行き位置を変える操作、あるいは指し示す方向を変える操作を行うためのボタン等の操作手段を設ける必要が無いため、前記入力装置２として、従来の一般的なペンタブレットと入力ペンを流用することが可能である。さらに、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができ、操作者の疲労を軽減することができる。
また、本実施例２−２で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例２−２では、ポインタの方位、傾き、軸周りの回転が前記入力ペン２０１の方位α、傾きβ、軸周りの回転γにそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をしたり、ポインタの傾きが３次元奥行き方向（ｚ＜０）に変化したりすることで、３次元奥行き方向（ｚ＜０）をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン２０１の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン２０１の傾き、方位、回転のいずれかが累乗あるいは累乗根等に比例するようにしてもよい。
なお、本実施例２−２では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−２では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、本実施例２−２では、前記入力ペン２０１の操作の一例として前記ペン先２０１Ｐと検出面の接触の有無を挙げたが、同様の効果が得られるのであればこの限りではない。たとえば、前記入力ペン２０１が備えるボタンが押された時間（または回数）、ホイールの回転量や回転方向、スライドバーの移動量や移動方向によって前記ポインタ３０３の長さを変化させてもよい。また、前記ポインタ３０３の長さの最大値と最小値は、操作者が設定できるようにしてもよいし、あらかじめシステム制御装置１で設定しておいてもよい。
また、本実施例２−２では、前記ポインタ３０３（ポインタの先）が目的のオブジェクト３０２の近辺にあるかどうかの判定を10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。同様に、前記ステップ４０９'におけるポインティングしている時間の長さに関しても、システムの管理者や操作者が任意に設定、変更することが可能である。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例２−２では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例２−２では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例２−２では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−２では、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに注目したが、前記実施例２−１と同様、必ずしもそれらの要素をすべて用いる必要はなく、たとえば、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γは利用せず、単に奥行き位置を変えるだけであってもよいし、前記入力ペン２０１の方位αおよび傾きβだけを用いてもよい。
［実施例２−３］
次に、実施例２−３について説明する。
前記実施例２−１および実施例２−２では、前記入力装置２の入力ペン２０１の操作にあわせて、前記表示装置３に表現された３次元空間３０１上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
しかしながら、前記実施例２−１および実施例２−２のような方法で前記３次元空間３０１上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例２−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、前記オブジェクトを選択または掴み、さらに、前記入力ペン２０１を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。ここでは、実施例１−３で用いた図１１、１２を参照して説明する。また、本実施例の処理手順を図４５を参照して説明する。なお、図４５に示す処理手順は、第１の実施の形態における図１３に示す処理手順に対応するものである。
本実施例２−３では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例２−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例２−１や実施例２−２で説明したような方法でよいので、説明は省略する。
前記実施例２−１や実施例２−２と同様の方法によって、たとえば、図１１および図１２に示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２の色の変化などで前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記実施例２−１や実施例２−２の方法を用いて前記ポインティングしているオブジェクト３０２を選択、または掴む操作を行う。そして、前記オブジェクト３０２を選択または掴んだ状態であり、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で、前記入力ペン２０１を所望の位置に移動させると、図１１および図１２に示すように、前記入力ペン２０１の移動に追従して前記オブジェクト３０２が３次元空間３０１内を移動する。そして、図示は省略するが、前記入力ペン２０１を所望の位置に移動させた後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの所定の操作を行うと、前記オブジェクト３０２の位置が確定し、前記入力ペン２０１を移動させたりペン先２０１Ｐを検出面から離したりした後も、その位置にオブジェクト３０２が表示される。このようにすると、前記オブジェクト３０２を元の位置から３次元空間内の目的の位置にまで移動させることができる。
このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記実施例２−１や実施例２−２で説明した前記オブジェクトを選択または掴む操作に必要な情報とともに、たとえば、前記押しボタン２０１Ｄ3が押されているという情報を取得する。そして、前記システム制御装置１は、前記オブジェクトを選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の移動に追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４５に示したような処理を実行すればよい。なお、図４５における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
本実施例２−３の３次元ポインティング方法では、前記システム制御装置１は、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）を行った後、前記入力情報取得手段１０１で前記ポインタに関する情報を取得する（ステップ４２１）。前記ステップ４２１で取得する情報は、前記入力ペン２０１のペン先２０１Ｐの位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γなどの情報である。
前記ステップ４２１で前記入力ペン２０１の状態を表す情報を取得したら、次に、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２において、取得した情報に基づくポインタ３０３の位置、向き、長さ等を算出するとともに、前記オブジェクト３０２の位置、向きを算出する（ステップ４２２）。前記ポインタの位置、向き、長さ等の算出は、前記実施例２−１や実施例２−２で説明したとおりであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と、前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ４２２で算出したポインタの位置でも保存されるような位置、向きを算出する。
なお、前記実施例２−１のように、前記入力ペン２０１のペン先２０１Ｐの位置（座標）の情報のみを用い、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ４２２において、前記ポインタの向きを算出する必要はない。また、本実施例２−３のように、前記オブジェクト３０２の移動が平行移動のみである場合、前記オブジェクトの向きは常に一定としてオブジェクトの表示を行うため、前記ステップ４２２において前記オブジェクトの向きを算出する必要はない。
そして、前記ステップ４２２で前記ポインタ３０３の位置、向き、長さ等と、前記オブジェクト３０２の位置、向きを算出したら、前記ポインタ生成手段１０３で前記算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段１０５で前記算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段１０６から前記表示装置３に送り、前記ポインタおよびオブジェクトを表示させる（ステップ４２３）。
前記ステップ４２３で前記ポインタおよびオブジェクトを表示させたら、たとえば、前記入力情報処理手段１０９において、前記入力ペン２０１の押しボタン２０１Ｄ3が押されたか否かを判定し（ステップ４２４）、押されていない場合は、再び前記入力ペンの状態を取得し（ステップ４２１）、前記ステップ４２２およびステップ４２３の処理を続行する。一方、前記押しボタン２０１Ｄ3が１回押された場合は、前記オブジェクトの選択または掴んだ状態を解除するとともに、前記オブジェクト３０２の表示状態を、前記押しボタン２０１Ｄ3が押される直前の位置、向きに固定する（ステップ４２５）。そして、前記ポインタおよびオブジェクトの移動操作を終了する。
前記システム制御装置１において、以上のような処理を行うことにより、図１１および図１２に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
以上説明したように、本実施例２−３の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴み、前記入力ペンの移動にあわせて、前記オブジェクトを平行移動させることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングした後、選択または掴み、さらに移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例２−３で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングおよび移動が容易になり、かつ直感的なポインティングおよび移動が可能となる。
なお、本実施例２−３では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−３では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例２−３では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例２−３では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例２−３では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−３では、選択または掴んだオブジェクト３０２を、所望の位置まで移動させた後、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すことで、前記オブジェクトの移動操作を終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
[実施例２−４]
次に、実施例２−４について説明する。
前記実施例２−３では、前記表示装置３で表現された３次元空間３０１上のオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を選択、または掴み、前記オブジェクト３０２を平行移動させることが可能な３次元ポインティング方法について説明した。
しかしながら、前記表示装置３で表現された３次元空間３０１上では、前記実施例２−３で説明したような単純なオブジェクトの平行移動だけでなく、３次元空間３０１を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例２−４では、実施例１−４と同様に、オブジェクトをポインティングし、選択または掴んだ後、続けて前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。ここでは、実施例１−４で用いた図１４Ａ〜１５Ｃを参照して説明を行う。
本実施例２−４では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−２で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
また、本実施例２−４では、前記３次元空間３０１上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例２−１や実施例２−２で説明したような方法でよいので、説明は省略する。
前記実施例２−１や実施例２−２と同様の方法によって、たとえば、図１４Ａおよび図１５Ａに示すように、オブジェクト３０２をポインティングした後、前記オブジェクト３０２を選択または掴む。そして、前記オブジェクト３０２を選択または掴んだ状態で前記入力ペン２０１を所望の向きにすると、図１４Ｂおよび図１５Ｂ、あるいは図１４Ｃおよび図１５Ｃに示したように、前記入力ペン２０１の向きの変化に追従して前記オブジェクト３０２が３次元空間３０１内で奥行き方向に傾く。このようにするとオブジェクト３０２を前記３次元空間３０１上で任意の向きに傾けることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記実施例２−１や実施例２−２におけるオブジェクトの選択または掴む操作に必要な情報を取得する。そして、前記システム制御装置１は、前記実施例２−１や実施例２−２におけるオブジェクトの選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の向きの変化を追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、たとえば、図４５に示したような処理を実行すればよい。
ただし、本実施例２−４において、図１４Ａ〜Ｃに示したような操作を実行する場合、前記ステップ４２２で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
前記システム制御装置１において、以上のような処理を行うことにより、図１４Ａ，図１４Ｂ，図１４Ｃに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
以上説明したように、本実施例２−４の３次元ポインティング方法によれば、前記オブジェクトをポインティングし、選択または掴んだ後、前記オブジェクトを、前記入力ペン２０１の向きの変化に合わせて、３次元空間内で回転させたり、奥行き方向に傾けたりすることができる。
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例２−４で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例２−４では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−４では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
また、本実施例２−４では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例２−４では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
また、本実施例２−４では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−４では、前記実施例２−１または実施例２−２の方法により前記オブジェクト３０２を選択または掴み、移動させた後、たとえば、実施例２−３で説明したように前記入力ペン２０１の押しボタン２０１Ｄ3を押すことで前記オブジェクト３０２の移動操作を終了させるが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
また、本実施例２−４では、前記ポインティングされたオブジェクト３０２を３次元空間内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例２−３で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
[実施例２−５]
次に、実施例２−５を説明する。
前記実施例２−３および実施例２−４では、前記実施例２−１や実施例２−２で説明した方法で前記表示装置３に表現された３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴んだ後、前記ポインティングされたオブジェクト３０２を平行移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な３次元ポインティング方法について説明した。しかしながら、前記３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴んだ後、前記操作者が続けて行いたい操作には、前記オブジェクト３０２の移動や回転だけでなく、編集や変形等の、これまでの２次元GUI的な操作もある。そこで、本実施例２−５では、実施例１−５と同様に、前記オブジェクトを選択または掴んだ後、前記オブジェクトを２次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む３次元位置に戻すような操作が可能な３次元ポインティング方法について説明する。ここでは、実施例１−５で用いた図１６Ａ〜１９Ｄを参照して説明を行う。また、図４６を参照して本実施例２−５の処理手順を説明する。図４６に示す処理手順は、第１の実施の形態における図２０で示した処理手順に対応するものである。
また、本実施例２−５では、前記入力装置２は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記３次元空間を表現可能な表示装置３としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
前記DFDの原理は、図１６Ａ、Ｂを参照して実施例１−５で説明した通りである。本実施例においても、前記表示装置３として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔｚの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記入力ペンの位置、傾き、方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置、傾き、方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例２−５でも電磁誘導方式のペンタブレット２の検出手段とDFDの表示面は重ね合わさっているとする。
また、本実施例２−５では、前記DFD３の表示面は２枚であるとし、図１７Ａおよび図１７Ｂに示すように、前記DFD３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２を３次元空間３０１内のｚ＜０の位置に配置されているとする。またこのとき、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
また、本実施例２−５では、前記操作者から見て手前にある表示面３Ａをｚ＝０とし、前記手前にある表示面３Ａが、前記入力装置２の検出手段の検出面であるとする。
前記操作者が、たとえば、前記実施例２−１や実施例２−２で説明した方法で、図１８Ａおよび図１９Ａに示すように、前記３次元空間３０１上に立体的に表示されたオブジェクト３０２をポインティングしたとする。そして、前記オブジェクト３０２の色などが変化することにより前記オブジェクト３０２がポインティングされていることを確認した操作者は、たとえば、前記実施例２−１や実施例２−２の方法を用いて前記オブジェクト３０２を選択、または掴む操作を行う。これにより、前記ポインティングされたオブジェクト３０２は、たとえば、図１８Ｂおよび図１９Ｂに示すように、前記DFDの手前の表示面３Ａに２次元物体として表示され、ポインタ３０３が消える。図１８Ａでは、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトとして表示されているが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの手前の表示面３Ａに投影像として像を表示する。
ここで操作者は、前記オブジェクト３０２上で、たとえば文字を書く等の目的の操作を、２次元GUIの操作として行う。そして、２次元GUIの操作が終了した後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を押すと、ポインタ３０３が再び現れ、前記実施例２−３や実施例２−４で説明したような手順で、たとえば、図１８Ｃおよび図１９Ｃ、あるいは図１８Ｄおよび図１９Ｄに示すように、操作者の望む３次元位置にオブジェクト３０２を移動したり、奥行き方向に傾けさせたりできるようになる。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４６に示したような処理を実行すればよい。なお、図４６における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
本実施例２−５の３次元ポインティング方法では、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）が行われると、前記システム制御装置１は、２次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置３に表示しているポインタ３０３を非表示にし（ステップ４２６）、前記選択または掴んだオブジェクト３０２の射影を前記操作者から見て一番近い表示面３Ａに表示する（ステップ４２７）。これにより、前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になる。
前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４２８）。また、前記操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの、２次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する（ステップ４２９）。このとき、前記２次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の２次元GUI的な操作、編集、加工を受け付け、実行する。一方、２次元GUI的な操作、編集、加工を終了するための操作を行った場合は、２次元GUI的な操作を行うモードから、前記実施例２−３または実施例２−４で説明したような処理を行うモードに戻り、前記実施例２−３または実施例２−４で説明したような手順で前記オブジェクトを平行移動、回転、傾けるといった操作を行うことができる（ステップ４３０）。前記ステップ４３０は、前記実施例２−３または実施例２−４で説明した手順で処理を行えばよいので、詳細な説明は省略する。
前記システム制御装置１において、以上のような処理を行うことにより、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄのようなポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
以上説明したように、本実施例２−５の３次元ポインティング方法によれば、前記入力ペン２０１の操作だけで、前記実施例２−１から実施例２−４で説明したようなポインタの３次元的な表示制御およびオブジェクトの３次元的な移動等の操作に加え、前記オブジェクトの２次元GUI的な操作、編集、加工を行うことが可能である。そのため、操作者は、オブジェクトの２次元GUI的な操作、編集、加工を行うための新たな３次元操作を習得する必要がない。
また、本実施例２−５の３次元ポインティング方法では、前記実施例２−１または実施例２−２の方法により前記オブジェクトを選択、または掴むことで、３次元的なポインティングを行うモードから、前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報を、前記オブジェクトの２次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
また、本実施例２−５では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を、３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−５では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例２−１から実施例２−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例２−５では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げているが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
また、本実施例２−５では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−５では、前記入力ペン２０１の押しボタン２０１Ｄ3の操作で、前記２次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
また、本実施例２−５では、前記オブジェクト３０２に２次元GUI的な編集を行う例として、たとえば、図１８Ｃに示したように「Ａ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
[実施例２−６]
本実施例２−６の３次元ポインティング方法は、前記実施例２−５で説明した３次元ポインティング方法の応用例の１つであり、３次元空間３０１内にあるオブジェクト３０２を前記実施例２−１や実施例２−２の方法でポインティングし、選択または掴んだ後、前記オブジェクト３０２を操作者が操作しやすい位置、すなわちこれまでの２次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が諸操作を行うと、前記オブジェクト３０２が操作者からみて３次元奥行き方向にある他のオブジェクトに干渉するまで移動し、前記他のオブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。本実施例２−６では実施例１−６で用いた図２１Ａ〜２５Ｃを参照して説明を行う。また、本実施例２−６の処理手順を図４７を参照して説明する。図４７に示す処理手順は、第１の実施の形態における図２６で示した処理手順に対応するものである。
本実施例２−６では、前記実施例２−５と同様に、前記入力装置２として電磁誘導式のペンタブレットを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
また、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）は、前記表示装置（DFD）３の表示面と重ね合わせ一体的に設けられているとする。
また、本実施例２−６の３次元ポインティング方法を説明するにあたって、たとえば、図２１Ａおよび図２１Ｂに示すように、前記DFD３の２枚の表示面３Ａ，３Ｂの間に表現された３次元空間３０１の中に、座標系ＸＹＺを設定し、オブジェクト３０２とウィンドウ３０４を３次元空間３０１内のｚ＜０の位置に配置した場合を例に挙げる。
前記オブジェクト３０２の操作をしたい操作者は、まず、図２２Ａおよび図２４Ａに示すように、前記実施例２−１や実施例２−２で説明した方法で前記オブジェクト３０２をポインティングし、選択または掴む操作を行う。これにより、前記選択または掴んだオブジェクト３０２は、前記DFDの手前の表示面３Ａに２次元物体として表示され、前記ポインタ３０３が消える。本実施例２−６では、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトであるが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの前面の表示面３Ａに投影像として表示する。
このように、前記オブジェクト３０２の表示方法が変わると、前記３次元空間３０１上で２次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン２０１で、たとえば、図２２Ｃおよび図２４Ｃに示すように、前記オブジェクト３０２上に文字を書く等の目的の操作を２次元GUIの操作として行うことができる。そして、前記操作者が続けて、図２３Ａおよび図２５Ａに示すように、前記オブジェクト３０２を所望の位置まで２次元的な操作で移動させた後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すと、図２３Ｂおよび図２５Ｂに示すように、前記オブジェクト３０２は、前記操作者からみて３次元奥行き方向（ｚ＜０）に、ウィンドウ３０４と干渉するまで移動する。このとき、前記オブジェクト３０２の前記３次元奥行き方向のｚ座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト３０２が前記ウィンドウ３０４と干渉すると、前記オブジェクト３０２に対して、前記ウィンドウ３０４の持つ属性として、ウィンドウ上に移動する動作が実行される。
またこのとき、図２３Ｂおよび図２５Ｂに示したように、前記オブジェクト３０２を自動的に３次元奥行き方向（ｚ＜０）に移動させる代わりに、たとえば、前記実施例２−５で説明したように、前記入力ペン２０１の押しボタン２０１Ｄ3を押してから３次元的なオブジェクト操作モードに切り替えた上で、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させ、前記ウィンドウ３０４と干渉する位置まで移動させることも可能である。
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４７に示したような処理を実行すればよい。なお、図４７における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
本実施例２−６の３次元ポインティング方法では、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）が行われると、前記システム制御装置１は、２次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置３に表示しているポインタ３０３を非表示にし（ステップ４２６）、前記選択または掴んだオブジェクト３０２の射影を前記操作者から見て一番近い表示面３Ａに表示する（ステップ４２７）。これにより、前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になる。
前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４２８）。また、前記操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの、２次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する（ステップ４２９）。このとき、前記２次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の２次元GUI的な操作、編集、加工を受け付け、実行する。一方、２次元GUI的な操作、編集、加工を終了するための操作を行った場合は、２次元GUI的な操作を行うモードから、前記実施例２−１から実施例２−４で説明したような３次元的なポインティング操作を行うモードに戻る。これにより、前記システム制御装置１では、前記オブジェクト３０２の奥行き方向に、前記ウィンドウ３０４のような前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かの判定を行う（ステップ４３１）。そして、干渉する他のオブジェクトがある場合は、たとえば、図２３Ｂおよび図２５Ｂに示したように、前記他のオブジェクト（ウィンドウ３０４）に干渉するまで、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させて表示する（ステップ４３２）。そして、前記他のオブジェクトと干渉した時点で前記オブジェクト３０２の３次元奥行き方向への移動を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４３３）。
一方、前記オブジェクト３０２と干渉する他のオブジェクトがない場合は、前記オブジェクト３０２をあらかじめ定められた奥行き位置、たとえば、前記ステップ４２６以降の処理を行う直前と同じ奥行き位置まで移動させて表示する（ステップ４３４）。
前記システム制御装置１において、図４７に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２３Ｃ，図２３Ａ，図２３Ｂ，図２３Ｃのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
以上説明したように、本実施例２−６の３次元ポインティング方法によれば、３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴むことで、前記オブジェクト３０２を操作者が操作しやすい位置まで自動的に移動させ、これまでの２次元GUI操作により目的の操作、編集、加工等を行うとともに、前記目的の操作、編集、加工が終了した後に、前記オブジェクト３０２を操作者からみて３次元の奥行き方向に移動させるとともに、移動させたオブジェクト３０２と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト３０２の状態を変化させることができる。
また、本実施例２−６の３次元ポインティング方法では、前記オブジェクトを選択、または掴むことで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報を、前記オブジェクトの２次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
また、本実施例２−６では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を、３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−６では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例２−１から実施例２−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例２−６では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
また、本実施例２−６では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例２−６では、前記入力ペン２０１の押しボタン２０１Ｄ3の操作で、前記２次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
また、本実施例２−６では、前記オブジェクト３０２に２次元GUI的な編集を行う例として、たとえば、図２２Ｃに示したように「Ｂ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
また、本実施例２−６では、前記他のオブジェクトの例としてウィンドウ３０４を挙げ、前記ウィンドウ３０４と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、実施例１−６と同様に、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
以下、実施例１−６で用いた図２８Ａ〜図３２Ｃを参照して本実施例２−６の３次元ポインティング方法でオブジェクトを削除する方法について説明する。
本実施例２−６の３次元ポインティング方法では、前述のように、オブジェクト３０２をウィンドウ３０４に移動させるだけでなく、たとえば、オブジェクト３０２をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図２８Ａおよび図２８Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空３０１間の中に、座標系ＸＹＺを設定し、オブジェクト３０２とゴミ箱オブジェクト３０５が３次元空間３０１内のｚ＜０の位置に配置されて場合を例に挙げ、前記オブジェクト３０２の削除手順について説明する。
このとき、前記オブジェクト３０２を削除したい操作者は、まず、図２９Ａおよび図３１Ａに示すように、前記入力ペン２０１を操作して削除したいオブジェクト３０２をポインティングし、選択または掴む操作を行う。これにより、図２９Ｂおよび図３１Ｂに示すように、前記ポインティングされたオブジェクト３０２が、前記手前の表示面３Ａに移動し、２次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図３０Ａおよび図３２Ａに示したように、前記ポインティングしたオブジェクト３０２をゴミ箱オブジェクト３０５上まで移動させ、たとえば、前記入力ペン２０１のボタン２０１Ｄ3を１回押すなどの特定の操作をすると、前記２次元GUI操作が可能な状態から、３次元ポインティングが可能な状態に戻る。そして、前記システム制御装置１で行われる処理が、図４７に示したような手順である場合は、３次元ポインティングが可能な状態に戻った後、前記オブジェクト３０２が自動的に３次元奥行き方向（ｚ＜０）に移動し、前記ゴミ箱オブジェクト３０５と干渉した時点で、図３０Ｂおよび図３２Ｂに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
このように、本実施例２−６の３次元ポインティング方法は、前記オブジェクト３０２と干渉したオブジェクトが、前記オブジェクト３０２に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
[実施例２−７]
次に、実施例２−７について説明する。図４８および図４９は本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
本実施例２−７では、前記実施例２−１から実施例２−６で説明したような３次元ポインティング方法を実施するときに用いる入力ペン２０１として、前記入力ペン２０１が備えるホイールの回転量、またはスライドバーの移動量に応じて、ペン先２０１Ｐが入力ペン２０１の筐体内に出入りする構造の入力ペンを用いた場合のポインティング方法について説明する。
本実施例２−７で用いる入力ペン２０１は、たとえば、図４８に示すように、筐体２０１Ｅに付属したホイール２０１Ｄが、ペン先２０１Ｐの内部に設けられたギア（またはネジ）部２０１Ｆと直結しており、前記ホイール２０１Ｄを回転させると、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むようになっている。また、図４８に示したような構成に限らず、たとえば、図４９に示すように、前記スライドバー２０１Ｄが、ペン先２０１Ｐの内部に設けられたギア（またはネジ）部２０１Ｆと内部ギア（またはネジ）を介してつながっており、前記スライドバー２０１Ｄを移動させると、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むようになっていてもよい。なお、図４８および図４９は前記入力ペン２０１の構成例であり、図４８および図４９に示した入力ペンのように、前記ホイールまたはスライドバー２０１Ｄを回転または移動させることで、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むような構成であれば、どのような構造であってもよい。
以下、本実施例２−７におけるポインティング方法を実施例１−７で用いた図３５Ａ〜図３６Ｃを参照して説明する。
本実施例２−７では、図４８または図４９に示したような構成の入力ペン２０１を用いて前記表示装置３に表現された３次元空間のポインティングを行う場合の例として、前記実施例２−１で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせているとする。
このとき、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３のＸＹ平面（ｚ＝０）の任意の１点におくと、たとえば、図３５Ａおよび図３６Ａに示すように、前記液晶ディスプレイ３の３次元空間３０１上に、円錐型等の前記入力ペン２０１のペン先２０１Ｐの形状を反映した形状のポインタ３０３が表示される。
そして、前記操作者が、前記入力ペン２０１のホイール２０１Ｄを回転させる（またはスライドバー２０１Ｄを移動させる）と、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｃに示したように、前記入力ペン２０１のホイール２０１Ｄの回転量（またはスライドバー２０１Ｄの移動量）に応じて、表示される前記ポインタ３０３の長さが変わる。
このとき、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｃに示したように、円錐型の前記ポインタ３０３の大きさを、前記入力ペン２０１のペン先２０１Ｐの筐体に押し込まれる量と比例させることで、たとえば、前記実施例２−１で説明したような方法と比べて、前記ポインタ３０３が前記ペン先２０１Ｐの一部であるという視覚的効果がさらに高くなる。
また、本実施例２−７では、前記実施例２−１で説明した３次元ポインティング方法を実施する場合を例に挙げたが、たとえば、ペン先２０１Ｐの検出面との接触の有無を検出し、電動機構によって、前記ペン先２０１Ｐの筐体２０１Ｅ内への出入りを制御する構成の入力ペンを用いれば、前記実施例２−２で説明したように、前記ペン先２０１Ｐの検出面との接触の有無によってポインティングを行うことも可能であることはもちろんである。
[実施例２−８]
次に、実施例２−８について説明する。実施例２−８では、実施例１−８と同様の具体的利用シーンについて説明する。ここでは、実施例１−８で用いた図３７Ａ〜図４０Ｃを参照して説明を行う。
本実施例２−８では、前記実施例２−１から実施例２−７で説明したような３次元ポインティング方法の具体的な利用シーンとして、３次元表示が可能な表示画面と、ペンタブレットの検出手段とを内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。このとき、前記入力ペン２０１を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例２−１から実施例２−７で説明した手順と同じでよいため、詳細な説明は省略する。
本実施例２−８では、前記操作者は、前記実施例２−７で説明したような、ペン先２０１Ｐが筐体内に押し込まれる入力ペン２０１を用い、たとえば、図３７Ａおよび図３９Ａに示したような、前記リモコンの３次元空間３０１に表示されたオブジェクトを操作する。まず、たとえば、図３７Ｂおよび図３９Ｂに示すように、前記操作者は、前記入力ペン２０１を操作して再生ボタン３０２ａをポインティングすると、前記再生ボタン３０２ａが押された状態の表示に切り替わり、音楽の再生が開始される。
また、たとえば、図３７Ｃおよび図３９Ｃに示すように、前記入力ペン２０１を操作してボリュームのつまみ３０２ｂをポインティングし、たとえば、前記入力ペン２０１のボタン２０１Ｄを押しながら前記つまみ３０２ｂを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
また、ボリュームを上げたり下げたりする場合は、図３７Ｃおよび図３９Ｃに示したような操作に限らず、たとえば、図３８Ａおよび図４０Ａに示すように、前記つまみ３０２ｂの中心付近で前記つまみ３０２ｂをポインティングした後、前記入力ペン２０１を軸周りに回転させることで、前記つまみ３０２ｂを回転させ、ボリュームを上げたり下げたりすることもできる。
また、たとえば、図３８Ｂおよび図４０Ｂに示すように、再生中の音楽に関する情報が表示されている領域３０２ｃを前記入力ペン２０１でポインティングしたときに、図３８Ｃおよび図４０Ｃに示すように、前記領域３０２ｃが２次元的な表示に切り替わり、２次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域３０２ｃに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
このように、前記実施例２−１から実施例２−７の３次元ポインティング方法を利用することで、３次元空間３０１の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
また、本実施例２−８では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン２０１における操作と関連づけられる操作であれば、どのような操作でも可能である。
また、本実施例２−８においては、トラック番号を入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン２０１で選択するような入力方法でもよい。
また、前記各実施例で説明した３次元ポインティングを実現する３次元ポインティング装置は、前記３次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図４１に示したように、PC等のコンピュータ（システム制御装置１）と、前記コンピュータに前記各実施例で説明したような３次元ポインティング方法を実行させる３次元ポインティングプログラムによって実現することもできる。この場合、前記３次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的，電気的，光学的のいずれの記録媒体に記録されていてもよい。また、前記３次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は本発明の第２の目的に対応するものである。
第３の実施の形態の３次元ポインティング方法は、表示装置に表現された３次元空間内にポインタおよびオブジェクトを表示しておき、前記ポインタで３次元空間内の任意の一点をポインティングするために前記ポインタを奥行き方向に移動させる操作が行われた場合、前記ポインタの、ポインティングを行う部分とは異なる部分の奥行き位置、形状、サイズを一定に保った状態で、前記ポインティングを行う部分を奥行き方向に移動させる。そして、ポインティングを行う部分がポインティングしている３次元空間位置にオブジェクトがある場合、そのオブジェクトをポインティングされていることを示す状態に変えて表示させる。このようにすることで、前記ポインタの操作者が、ポインタの奥行き位置および前記ポインタがポインティングしている位置を容易に、かつ正確に認識できるようにした。
図５０は、本発明の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図５０において、１はポインティング装置（システム制御装置）、１０１は入力情報取得手段、１０２はポインティング位置／変形量算出手段、１０３はポインタ生成手段、１０４は表示制御手段、１０５はポインティング判定手段、１０６はオブジェクト生成手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。
第３の実施の形態の３次元ポインティング方法は、たとえば、前記PCのようなシステム制御装置に接続された表示装置に表現された３次元空間上にあるポインタを、前記システム制御装置に接続された入力装置を用いて３次元的に操作し、前記３次元空間上の任意の位置をポインティングするときに適用して好ましい３次元ポインティング方法である。
前記システム制御装置１は、たとえば、図５０に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの操作に関する情報（ポインタ操作情報）である場合に、前記入力情報に基づいてポインティングしている点の移動方向および移動量を算出した後ポインティング位置およびポインタの変形量を算出するポインティング位置／変形量算出手段１０２と、前記ポインティング位置／変形量算出手段１０２の算出結果に基づいてポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成されたポインタを前記表示装置３に表示させる表示制御手段１０４とを備える。また、前記システム制御装置１は、前記各手段に加え、たとえば、図５０に示したように、前記ポインティング位置／変形量算出手段１０２の算出結果に基づいて生成するポインタにポインティングされているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｘｙｚ座標にオブジェクトがあるか否かの判定をするポインティング判定手段１０５と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段１０６とを備える。
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図５０に示したように、前記各手段の他に、たとえば、処理制御手段１０７や記憶手段１０８を備えている。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタ操作情報とは異なる場合、前記処理制御手段１０７は取得した情報に応じた処理を実行する。
つまり、本実施の形態の３次元ポインティング方法は、特殊な３次元ポインティング装置を用いる必要はなく、図５０に示したような既存のシステム制御装置１を用いて実現することができる。
また、前記入力装置２は、たとえば、キーボードやマウスのように前記システム制御装置１（PC）に一般的に接続されている入力デバイスに限らず、ペンタブレットやジョイスティック（ジョイパッド）等の入力デバイスであってもよい。また、前記入力装置２で前記ポインタの操作をするときには、たとえば、マウス、あるいはキーボード等の１種類の入力デバイスで行ってもよいし、マウス操作とキーボード上の特定のキーの押下を組み合わせる等、２種類以上の入力デバイスで行ってもよい。またさらに、前記入力装置２は、たとえば、タッチパネルやペンタブレットのように前記表示装置３の表示面と一体化されていてもよい（たとえば、特開平5-73208号公報を参照。）。このような入力装置２の場合、ペンや指先などで前記表示装置３の表示画面に触れることで前記ポインタ操作情報を入力できる。
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような３次元オブジェクトを２次元平面に射影した形で表示する２次元表示装置でも、DFD（たとえば、特許第3022558号明細書や特許第3460671号明細書を参照）のような３次元立体像を表示することが可能な表示装置でもよい。つまり、前記表示装置３は、操作者（観察者）が、表示されたポインタやオブジェクトの位置や形状を３次元的に認識（知覚）することが可能であれば、どのような表示装置であってもよい。
[実施例３−１]
図５１乃至図５５は、本発明による実施例３−１の３次元ポインティング方法を説明するための模式図であり、図５１はポインタの操作方法を説明する図、図５２はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図５３は図５２の３次元空間内の変化の斜視図、図５４はポインタよりも手前にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図５５は本実施例３−１の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。なお、図５２は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図５３も上段、中段、下段に３通りの状態を示しており、それぞれ、図５２の上段、中段、下段の各状態の３次元空間内の様子を斜視図で示している。また、図５４も同様に、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
図５１において、１はシステム制御装置、２０１はキーボード、２０２はマウス、３は表示装置（２次元表示装置）、３０１は表示面、４はポインタである。
本実施例３−１では、図５１に示すように、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記表示装置３として液晶ディスプレイ等の２次元表示装置を用いた場合を例に挙げ、３次元ポインティング方法を説明する。
また、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面３０１から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４をＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４の形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。そして、前記矢印形のポインタ４でポインティングを行う部分を奥行き方向に移動させるときには、前記矢の先端の反対側の端の奥行き位置を一定に保ちながら前記矢の部分を奥行き方向に移動させて、前記ポインタ４を傾ける。
このような３次元ポインティング方法の一例として、図５２の上段および図５３の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５２の中段および図５３の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。なお、図５２の中段および図５３の中段では、前記ポインタのポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、かつ、前記ポインタ４の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図５２の中段および図５３の中段に示したように、＋Ｘ方向に移動している。
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢印の矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタ４の形状およびサイズを保ちながら回転させれば、前記ポインタ４の矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
ただし、本実施例３−１の３次元ポインティング方法は、図５２の中段および図５３の中段に示したようなポインタ４の傾けかたを特定するものではなく、後述のように、前記矢の先端の反対側の端の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
そして、図５２の中段および図５３の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを＋Ｚ方向に回したとする。このときも、前記ポインタ４は、たとえば、図５２の下段および図５３の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見てさらに奥の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに狭く表示される。この結果、前記操作者は、ポインタ４がさらに奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図５２の下段および図５３の下段に示したように、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図５２の下段および図５３の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタ４の奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
また、図５２および図５３では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−１の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
前記ポインタ４を手前（−Ｚ方向）に傾ける場合の一例として、図５４の上段に示すように、前記オブジェクト５の奥行き位置よりも奥に前記ポインタ４がある場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記ポインタの矢の先端部分が前記オブジェクトと重なって隠れているように見えるが、前記ポインタがポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５４の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Ｚの方向に移動し、矢の部分が操作者から見て手前の方向に傾く。なお、図５４の中段では、前記ポインタ４のポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、かつ、前記ポインタ４の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図５４の中段に示したように、＋Ｘ方向に移動している。
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が操作者から見て近くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が広く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも手前をポインティングしていることも認識できる。
そして、図５４の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回したとする。このときも、前記ポインタ４は、たとえば、図５４の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Ｚ方向に移動し、矢の部分が操作者から見てさらに手前の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに広く表示される。この結果、前記操作者は、ポインタ４がさらに奥行き方向（−Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに手前をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回すという操作を続けた結果、図５４の下段に示したように、前記ポインタのポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクトと同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図５４の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタ４の奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４を奥行き方向（＋Ｚ方向または−Ｚ方向）に傾けて表示させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に傾くように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた角度ずつ段階的に傾くように表示させてもよい。
このような本実施例３−１の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図５５に示したような、ステップ６０１からステップ６０８の処理を実行させればよい。このとき、前記システム制御装置１では、図５５に示すように、まず、前記表示制御手段１０４を用いて、前記表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。このとき、前記オブジェクト５は複数個表示されていてもよい。また、前記オブジェクト５およびポインタ４は、前記表示装置３で表現されている３次元空間内であれば、どの位置に表示されていてもよいとする。
次に、前記操作者が前記キーボード２０１やマウス２０２等の入力装置２を用いて入力した情報を前記入力情報取得手段１０１で取得する（ステップ６０２）。このとき、前記入力情報取得手段１０１で取得する入力情報は、前記ポインタ４の操作に関する情報（ポインタ操作情報）の他に、アプリケーション・ソフトの起動等の入力情報も取得するが、ここでは、前記ポインタ４の操作に関する情報を取得したとする。前記入力情報取得手段１０１で取得した入力情報は、前記ポインタ操作情報であるか否かの判定が行われ、前記入力情報が、たとえば、マウス２０２の移動情報（操作情報）や、ホイール２０２Ａの回転操作情報等の前記ポインタ操作情報である場合、前記入力情報取得手段１０１は、前記入力情報（ポインタ操作情報）を前記ポインティング位置／変形量算出手段１０２に渡し、ポインティング位置およびポインタの変形量を算出させる。
このとき、前記ポインティング位置／変形量算出手段１０２では、たとえば、まず、図５５に示したように、前記ポインタ操作情報に基づいて前記ポインタの移動方向、移動量等を算出する（ステップ６０３）。前記ステップ６０３では、たとえば、マウス本体の２次元的な移動方向や移動量の情報から、表示装置で表現する３次元空間のＸＹ平面内での前記ポインタ４の移動方向や移動量、あるいは回転角度等を算出する。
前記ステップ６０３において前記ポインタ４の移動方向、移動量等を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を移動させて表示させる（ステップ６０４）。前記ステップ６０４は、たとえば、前記ポインタ４のＸＹ平面内での移動方向、移動量等に基づいて前記ポインタ生成手段１０３で移動先のポインタ４を生成した後、前記表示制御手段１０４を利用して前記生成したポインタ４を前記表示装置３に表示させる。なお、前記ポインタ操作情報のなかに前記ポインタ４をＸＹ平面内で移動または回転させる情報が含まれていない場合、前記ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。
前記ポインティング位置／変形量算出手段１０２は、前記ステップ６０３の処理が終わると、前記ポインタ生成手段１０３および前記表示制御手段１０４に前記ステップ６０４の処理を行わせる一方で、前記ポインタ操作情報に基づいて前記ポインタ４の傾ける方向および傾ける量を算出する（ステップ６０５）。前記ステップ６０５において、前記傾ける方向は、たとえば、前記マウス２０２のホイール２０２Ａの回転方向の情報から決定する。また、傾ける量は、たとえば、前記マウス２０２のホイール２０２Ａの回転量から算出する。
前記ステップ６０５において前記ポインタ４の傾く方向および傾く量を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を傾けて表示する（ステップ６０６）。前記ステップ６０６は、たとえば、前記ポインタ４の傾ける量に基づいて前記ポインタ生成手段１０３でポインタ４を傾けさせた後、前記表示制御手段１０４を利用して、たとえば、図５２の中段および図５３の中段等に示したように傾けたポインタ４を前記表示装置３に表示させる。また、前記ポインタ操作情報のなかに前記ポインタ４をＺ軸方向に傾ける情報が含まれていない場合、前記ステップ６０６の操作は省略され、次のステップ６０７の処理が行われる。
また、前記ポインティング位置／変形量算出手段１０２は、前記ステップ６０３および前記ステップ６０６の処理を行った後、算出結果を前記ポインタ生成手段１０３に渡してポインタを生成させるとともに、前記ポインティング判定手段１０５にも算出結果を渡す。このとき、前記ポインティング判定手段１０５は、受け取った算出結果から、操作後のポインタ４がポインティングしているオブジェクトがあるか否か、すなわち、ポインタ４がポインティングしている点のｘｙｚ座標が、オブジェクトの表面上または内部の任意の点のｘｙｚ座標から予め定められた範囲内にあるか否かの判定をする（ステップ６０７）。このとき、ポインティングしているオブジェクトがなければ、ステップ６０２に戻り、次の入力情報（ポインタ操作情報）を取得するまで待機する。
また、ポインティングしているオブジェクトがある場合、前記ポインティング判定手段１０５は、前記オブジェクト生成手段１０６に、ポインティングされているオブジェクトの色を変えたオブジェクトを生成させ、前記表示制御手段１０４を利用して前記表示装置３に表示させる（ステップ６０８）。そして、色を変えたオブジェクトを表示させた後は、ステップ６０２に戻り、次の入力情報（ポインタ操作情報）を取得するまで待機する。
また、前述のような手順で前記ポインタ４を傾けて表示させた後、前記入力装置２から前記ポインタ４の操作に関する情報を取得し、たとえば、ＸＹ平面内で移動させる場合、前記ポインタ４の傾きを元に戻してから移動させてもよいし、前記ポインタ４を傾けたまま移動させてもよい。
また、図５５では省略しているが、前記入力情報取得手段１０１で前記ポインタ操作情報以外の入力情報を取得した場合、前記処理制御手段１０７は、取得した入力情報に応じた処理を実行する。このとき、前記ポインタ操作情報以外の入力情報としては、たとえば、前記ポインタ４でポインティングしたオブジェクト５と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段１０７は、前記入力情報に基づいて、前記オブジェクト５と関連づけられたソフトウェアの起動等の処理を行い、たとえば、前記オブジェクト生成手段１０５に、処理結果に関するオブジェクトを生成させ、前記表示制御手段１０４を用いて前記処理結果のオブジェクトを前記表示装置３に表示させる。
以上説明したように、本実施例３−１の３次元ポインティング方法によれば、前記ポインタ４の、ポインティングしている点（矢の先端）と反対側の端の奥行き位置を一定に保ちながら、前記ポインティングしている点を奥行き方向に傾けて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
また、前記ポインタ４の矢の先端の反対側の端の奥行き位置を保つとともに、前記ポインタ４全体の長さを保った状態で前記ポインタ４を奥行き方向に傾けてオブジェクト５のポインティングを行う方法では、前記ポインタ４の３次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
また、本実施例３−１の３次元ポインティング方法では、前記キーボードのコントロールキー２０１Ａとマウスのホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
図５６Ａ〜Ｄは、ポインタの形状の変形例を示す模式図であり、図５６Ａは三角形状のポインタを示す図、図５６Ｂは人の手の形状のポインタを示す図、図５６Ｃは雫形状のポインタを示す図、図５６Ｄは十字形状のポインタを示す図である。
本実施例３−１のような３次元ポインティング方法では、前記ポインタを奥行き方向に傾けたときの視覚的な形状の変化から、前記ポインタがポインティングしている点の奥行き位置を認識する。そのため、図５２の上段に示したような矢印形状のポインタ４に限らず、たとえば、図５６Ａに示すような三角形状のポインタ４Ａであってもよい。前記三角形状のポインタの場合、前記ポインタ４Ａの頂角をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、底辺の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
また、そのほかにも、たとえば、図５６Ｂに示すような人差し指でオブジェクトを指し示している人の手の形状のポインタ４Ｂ、図５６Ｃに示すような雫形状のポインタ、図５６Ｄに示すような十字形状のポインタ４Ｄであってもよい。前記人の手の形状のポインタ４Ｂの場合、たとえば、人差し指の先端をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、反対側（手首）の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記雫形状のポインタ４Ｃの場合、たとえば、頂角をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、反対側（円弧部）の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記十字形状のポインタ４Ｄの場合、たとえば、交点をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、交点から延びる４本の軸の１つの軸の端の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
また、前記オブジェクトも、本実施例３−１では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例３−１のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
図５７は、本実施例３−１の３次元ポインティング方法においてリファレンスを表示させる例を示す図である。
本実施例３−１のポインティング方法では、前記ポインタ４を奥行き方向に傾けたときの視覚的な形状の変化によって、前記ポインタ４の奥行き方向のポインティング位置を操作者に認識させる。しかしながら、同じ奥行き位置をポインティングした状態が長時間続くと、視覚的な形状の変化がないので、前記ポインタ４の奥行き方向のポインティング位置の認識が曖昧になる可能性がある。
そこで、たとえば、図５７に示したように、前記表示装置３に表示された３次元空間内に、前記３次元空間に設定するＸＹＺ座標系を反映したｘｙｚ座標軸（リファレンス）７を表示しておけば、前記ポインタ４の奥行き位置の変化がないときでも、前記ｘｙｚ座標軸を参照することで前記ポインタ４の奥行き方向の傾きの認識が容易になる。このとき、前記リファレンス７は、前記３次元空間上の特定の位置に固定しておいてもよいし、ポインタ４の移動にともなって移動し、ポインタ４が傾くときはその場で固定されていてもよい。また、前記リファレンス７は、前記表示装置３に表現されている３次元空間内であればどの位置に配置してもよく、前記操作者が配置位置を設定することも可能である。また、図５７では、リファレンス７としてｘｙｚ座標軸を表すような表示物を用いたが、これに限らず、前記操作者にポインタ４の傾きの度合いを認識させる指標となる表示物であればどのようなものであってもよく、たとえば、傾きが０（ＸＹ平面と平行）で、前記ポインタと相似形の半透明な表示物のようなものでもよい。
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４を奥行き方向に傾けるときに、たとえば、図５２の中段および図５３の中段に示したように、前記ポインタ４の矢の先端の反対側の端の奥行き位置を一定に保つとともに、前記ポインタ４の全体の長さ（形状、サイズ）を一定に保った状態で傾ける例を挙げたが、これに限らず、ポインタ全体の長さを変化させながら奥行き方向に傾けてオブジェクトのポインティングを行うようにすることも可能である。
図５８は、本実施例３−１の３次元ポインティング方法の変形例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図５８は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
本実施例３−１の３次元ポインティング方法では、たとえば、図５２の下段に示したように、前記ポインタ４の全体の長さ、形状等も一定に保った状態で奥行き方向に傾けて表示させている。そのため、ある奥行き位置にあるポインタ４でポインティングできるのは、前記ポインタ４の長さよりも奥行き方向の距離が近いオブジェクトに限られる。
本実施例３−１の３次元ポインティング方法は、たとえば、図５２の下段に示したようなポインタの傾けかたを限定するものではなく、前記ポインタの一端（矢の先端の反対側の端）の奥行き位置とポインタの先（矢の先端）の奥行き位置を比較することで、操作者がポインタの傾きを認識し、ポインティング位置を認識できるようにする方法である。つまり、ポインティングする部分とは異なる部分の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
本実施例３−１の３次元ポインティング方法において実現可能な、図５２の下段に示したようなポインタの傾けかたとは異なる傾けかたの一例として、図５８の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタおよびオブジェクトが表示されている場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタが重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５８の中段および図５８の下段に示したように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。またこのとき、前記矢の先端の反対側の端は、図５８の中段および図５８の下段に示したように、操作前の矢の先端の反対側の端と同じ３次元空間位置に固定されている。そして、たとえば、前記ポインタ４のポインティングしている点を＋Ｚ方向に移動させるときに、ＸＹ座標（ｘｐ，ｙｐ）を一定に保ったまま移動させるとすれば、前記ポインタ４は、ポインタ全体の長さを変化させながら奥行き方向に傾くことになる。
このような３次元ポインティング方法でも、前記ポインタ４の傾きを認識することは可能であり、図５２の下段に示したようなポインタの長さが変化しないポインティング方法の場合と同様の効果が得られる。またこの場合、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。なお、図５８の中段および図５８の下段に示したような場合、前記ポインタ４は、奥行き方向の傾きが変わるにつれて、長さ（サイズ）が変化するが、このような長さ（サイズ）の変更は、前記表示装置３に表現された３次元空間内にポインタ４を表示させる場合における、操作者に３次元的な立体感を提示するための心理的な描画手法として用いられるサイズの変更、すなわち操作者から見て奥にあるポインタを小さく表示したり、操作者から見て操作者に近い位置にあるポインタを大きく表示したりするような「表示上のサイズの変更」とは異なる。
また、本実施例３−１の３次元ポインティング方法では、図５２および図５３に示したように、前記ポインタ４を傾けて奥行き位置が異なるオブジェクトをポインティングする方法について説明したが、このとき、前記ポインタ４を傾けるだけでなく、図５９に示すように、前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよい。
図５９は、本実施例３−１の３次元ポインティング方法の第１の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図５９は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
本実施例３−１の３次元ポインティング方法の場合、たとえば、図５８に示したような方法にすることで、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。しかしながら、図５２の下段に示したようなポインタの傾けかたでも、たとえば、前記ポインタ４を、形状を保ったままＺ軸方向に並進移動させることで、前記ポインタ４とオブジェクト５の奥行き方向の距離を、ポインタ全体の長さより近づければ、前記表示装置３に表現された３次元空間内の全てのオブジェクトをポインティングすることが可能である。このとき、前記ポインタ４のＺ軸方向の並進移動は、前記キーボードのコントロールキー（Ctrlキー）２０１Ａとは別のキー、たとえば、シフトキー（Shiftキー）を押しながら前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタ４を３次元空間の＋Ｚ方向に並進移動させ、前記シフトキー（Shiftキー）を押しながら前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタ４を３次元空間の−Ｚ方向に並進移動させるようにすればよい。
このようなポインティング方法の一例として、図５９の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボード２０１のシフトキー（Shiftキー）を押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５９の中段に示すように、前記ポインタ４の形状、サイズを一定に保った状態で、＋Ｚ方向に並進移動し、前記ポインタ４とオブジェクト５の奥行き方向の距離が近くなる。
そして、図５９の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４は、たとえば、図５９の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。
このようにすれば、たとえば、前記表示装置３で表現されている３次元空間のＺ軸方向、すなわち奥行きが大きく（広く）、前記ポインタ４を傾けるだけではポインティングできないオブジェクトがある場合でも、図５９の中段に示したように、前記ポインタ４を奥行き方向に並進移動させることで、前記オブジェクト５をポインティングすることが可能になる。なお、図５９では、操作者から見て奥（＋Ｚ方向）に並進移動させる例を示したが、手前（−Ｚ方向）に並進移動させることもできることは言うまでもない。
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４をＺ軸方向に並進移動させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に移動するように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた距離ずつ段階的に移動するように表示させてもよい。
また、本実施例３−１の３次元ポインティング方法では、前記マウス２０２本体の２次元的な移動をＸＹ平面内でのポインタ４の移動に反映させ、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａとマウス２０２のホイール２０２Ａの回転操作の組み合わせを前記ポインタ４の奥行き方向の傾きに反映させている。また、図５９に示したポインティング方法では、前記キーボード２０１のシフトキー（Shiftキー）とマウス２０２のホイール２０１Ａの回転操作の組み合わせを前記ポインタ４の奥行き方向の並進移動に反映させている。このように、本実施例３−１の３次元ポインティング方法では、前記マウス２０２本体、およびキーボード２０１のキーとマウスのホイール２０２Ａの回転操作の組み合わせで前記３次元空間内のあらゆる点をポインティングすることが可能である。またさらに、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａやシフトキー（Shiftキー）以外のキーとマウスのホイール２０１Ａの回転操作の組み合わせることで、前記ポインタ４をＸＹ平面内で回転させることも可能である。このとき、前記ポインタ４のＸＹ平面内での回転は、前記キーボード２０１のコントロールキー（Ctrlキー）やシフトキー（Shiftキー）とは別のキー、たとえば、オルトキー（Altキー）を押しながら前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタ４を時計回りに回転させ、前記オルトキー（Altキー）を押しながら前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタ４を反時計回りに回転させるようにすればよい。
図６０は、本実施例３−１の３次元ポインティング方法の第２の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図６０は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
前記ポインタをＸＹ平面内で回転させるポインティング方法の一例として、図６０の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合を挙げる。
この状態から、前記操作者が、たとえば、前記キーボード２０１のオルトキー（Altキー）を押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図６０の中段に示すように、前記ポインタ４の形状を保った状態で、時計回りに９０度回転する。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタの矢の先端が重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
そして、図６０の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４は、たとえば、図６０の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。また、図示は省略するが、図６０の下段に示したような状態から、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４の傾きが大きくなり、前記ポインタ４の矢の先端（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達すると、前記オブジェクト５の色が変わり、ポインティングされていることが認識できる。
このように、前記ポインタ４のＸＹ平面内での回転操作も加わることで、前記オブジェクトを、あらゆる方向からポインティングすることが可能となり、より実空間に近い操作感で前記ポインタ４を操作することができるようになる。
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４をＸＹ平面内で回転させて表示させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に回転するように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた角度ずつ段階的に回転ように表示させてもよい。
また、本実施例３−１では、図５１に示したように、前記表示装置３として液晶ディスプレイ等の２次元表示装置を用いた場合を例に挙げたが、前記表示装置３としてDFDのような立体表示が可能な３次元表示装置を用いることで、より正確に、かつ直感的にポインタの奥行き位置を認識することが可能である。
図６１および図６２Ａ、Ｂは、本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、図６１はシステムの構成例を示す図、図６２Ａおよび図６２ＢはDFDの動作原理を説明する図である。
本実施例３−１の３次元ポインティング方法では、前記表示装置３は、３次元空間を表現することが可能であれば、どのような表示装置であっても構わないが、特に、DFDのような３次元表示装置（ディスプレイ）を用いることが好ましい。第１の実施の形態でも説明したように、前記DFDは、前記操作者（観察者）の視点から見て奥行き方向に重なる複数枚の表示面を備える表示装置である（たとえば特許第3022558号明細書や特許第3460671号明細書を参照）。
前記DFDの動作原理については第１の実施の形態で説明したとおりであるが、ここで再度説明する。説明を簡単にするために、図６１に示すように、２枚の表示面３０１Ａ，３０１Ｂが重ね合わさっているとする。このとき、前記ポインタ４およびオブジェクト５は、前記２枚の表示面３０１Ａ，３０１Ｂの間の３次元空間内に奥行き位置を反映して表示される。
前記DFDに表示される前記ポインタ４やオブジェクト５は、たとえば、図６２Ａに示すように、操作者から見て手前の表示面３０１Ａおよび奥の表示面３０１Ｂの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面３０１Ａのオブジェクト５Ａを輝度ＬＡ、前記奥の表示面３０１Ｂのオブジェクト５Ｂを輝度ＬＢで表示すると、前記３次元空間内の、前記手前の表示面３０１Ａからの距離と前記奥の表示面３０１Ｂからの距離の比がＬＢ：ＬＡの奥行き位置にオブジェクト５が表示されているように見える。
また、たとえば、図６２Ｂに示すように、１つのオブジェクト５の表示領域の中で輝度を連続的に変化させることで、１つのオブジェクト５を奥行き方向に傾けて表示させることもできる。図６２Ｂに示した例では、前記手前の表示面３０１Ａのオブジェクト５Ａの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面３０１Ｂのオブジェクト５Ｂの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト５を観察することができる。
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面３０１Ａのオブジェクト５Ａを表示している領域の各点（画素）の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面３０１Ａと奥の表示面３０１Ｂの間の任意の奥行き位置に前記ポインタ４やオブジェクト５の立体像を表示することができる。
表示装置としてDFDを用いている場合は、前記表示装置３に表示されるポインタ４の幅によって奥行きを認識するだけでなく、ポインタ４の奥行きが変わらない一端とポインタ４の先がある奥行き位置を比較することで、直感的、かつ、正確にポインタ４の奥行き位置が認識できる。また、DFDを用いる場合、DFDの手前の表示面、もしくは奥の表示面をポインタ４の奥行きが変わらない一端のある奥行き位置とすると、操作者は、より正確、かつ直感的にポインタ４の奥行き位置が認識できるという大きな効果がある。
また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表現する前記３次元空間を２次元平面に射影して表示する処理が必要であるが、前記DFDのような３次元表示装置の場合、前記３次元空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、前記ポインティング装置（システム制御装置１）にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表示する前記３次元空間を２次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。
また、図６１では、前記入力装置２としてキーボード２０１とペンタブレットを組み合わせて用いる場合を示しており、第１の実施の形態の技術を適用できる。すなわち、前記ペンタブレットは、検出手段（デジタイザ）２０３Ａ上で入力ペン（電子ペン）２０３Ｂを操作することにより、前記入力ペン２０３Ｂのペン先の動き、筆圧等を検出する入力デバイスである。そのため、たとえば、前記入力ペン２０３Ｂのペン先の動きをＸＩＹＩ平面内でのポインタ４の移動量、前記キーボード２０１のコントロールキー（Ctrlキー）を押しているときの筆圧の大きさを＋Ｚ方向の移動量、前記キーボード２０１のシフトキー（Shiftキー）を押しているときの筆圧の大きさを−Ｚ方向の移動量に反映させれば、前記マウス２０２を用いたときと同様の操作感で前記ポインタ４によるポインティングが可能となる。
また、第２の実施の形態の技術を適用することもできる。この場合、前記入力ペン２０３Ｂの筆圧の大きさの代わりに、たとえば、前記入力ペン２０３ｂで前記検出手段２０３Ａを押した回数に応じて前記ポインタ４の傾く量を決定する。
また、前記ペンタブレットの検出手段（デジタイザ）２０３Ａを前記表示装置３（DFD）の表示面３０１Ａ，３０１Ｂと重ね合わせれば、前記操作者は、前記表示面３０１Ａ，３０１Ｂ上で前記入力ペン２０３Ｂを操作し、ポインティングをすることができるので、操作者は、さらに正確、かつ直感的にポインタ４の奥行き位置を認識できる。
また、本実施例３−１の３次元ポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、前記表示装置３と一体化可能な入力装置を用いてポインティングする場合にも適している。前記タッチパネルの場合、たとえば、前記入力ペン２０３Ｂの代わりに操作者の指で前記表示装置３の画面に触れることで前記ポインタ４を操作することもできるので、前記入力ペン２０３Ｂを用いるペンタブレットよりも、より直感的に前記ポインタ４を操作することができる。
また、本実施例３−１の３次元ポインティング方法では、たとえば、図５２の下段等に示したように、前記ポインタ４を傾けるときに、ポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、前記ポインティングしている点が奥行き方向に延びる直線状の軌跡をたどる例を挙げて説明したが、これに限らず、前記ポインティングしている点が種々の軌跡をたどるように傾けてもよい。
図６３Ａ乃至図６６Ｂは、本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、図６３Ａ，図６３Ｂ，図６４Ａ，図６４Ｂはそれぞれ直線状の軌跡をたどる場合の応用例を示す図、図６５Ａ，図６５Ｂ，図６６Ａ，図６６Ｂはそれぞれ円弧状の軌跡をたどる場合の応用例を示す図である。
なお、図６３Ａ，図６３Ｂ，図６４Ａ，図６４Ｂ，図６５Ａ，図６５Ｂ，図６６Ａ，図６６Ｂの各図は、軌跡をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）を示している。
前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときには、図５２の下段等に示したようなＸＹ座標（ｘｐ，ｙｐ）を一定に保った移動に限らず、たとえば、図６３Ａに示すように、前記ポインティングしている点が＋Ｚ方向への移動に比例して＋Ｘ方向にも移動するような軌跡をたどるようにしてもよい。また逆に、図６３Ｂに示すように、前記ポインティングしている点が＋Ｚ方向への移動に比例して−Ｘ方向に移動するような軌跡をたどるようにしてもよい。また、図６３Ａおよび図６３Ｂでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図６４Ａおよび図６４Ｂに示すように、前記ポインタの一端の３次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記直線状の軌跡に限らず、たとえば、図６５Ａおよび図６５Ｂに示すように、３次元空間上のある点（ｘｐ，ｙｃ，ｚｃ）からｙ＝ｙｐのＸＺ平面内に半径ｒで描かれる円弧状の軌跡をたどるようにしてもよい。また、図６５Ａおよび図６５Ｂでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図６６Ａおよび図６６Ｂに示すように、前記ポインタの一端の３次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
[実施例３−２]
図６７乃至図６９は、本発明による実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６７はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図６８Ａは本実施例３−２の３次元ポインティング方法で問題となる点を説明する図、図６８Ｂは図６８Ａに示した問題点を解決する方法の一例を説明する図、図６９は図６８Ｂに示した解決方法の変形例を説明する図である。なお、図６７は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。なお、図６８Ａ，図６８Ｂ，図６９の各図は、本実施例３−２の特徴をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）のみを示している。
前記実施例３−１では、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とは異なる部分の奥行き位置を一定に保った状態で、前記ポインティングしている点があらかじめ定められた軌跡をたどるように、前記ポインタ４を奥行き方向に傾ける３次元ポインティング方法について説明した。そこで、本実施例３−２では、前記実施例３−１とは異なる傾けかたの例として、前記ポインタ４を３次元空間上のある点（ｘｃ，ｙｃ，ｚｃ）を中心とし、かつ、前記ポインタ４上の各点と前記中心の距離を一定に保った状態で回転させることで、前記ポインタ４の傾きを認識させ、かつ、ポインティングしている位置を認識させる３次元ポインティング方法について説明する。
なお、本実施例３−２の場合も、３次元ポインティング方法を実現させるシステム構成において、前記入力装置２には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図５１に示したように、キーボード２０１とマウス２０２を用いているとする。また、前記表示装置３も同様に、CRTや液晶ディスプレイ等の２次元表示装置、DFD等の３次元表示装置等の表示装置を用いることが可能であるが、図５１に示したように液晶ディスプレイ（２次元表示装置）を用いているとする。
また、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４をＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例３−２の３次元ポインティング方法では、前記ポインタの形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。
本実施例３−２における３次元ポインティング方法の一例として、図６７の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図６７の中段に示したように、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）に移動するように回転する。
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢印の矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
そして、図６７の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このときも、前記ポインタは、たとえば、図６７の下段に示したように、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）に移動するように回転する。この結果、前記操作者は、ポインタ４がさらに奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図６７の下段に示したように、前記ポインタ４のポインティングしている点（矢の先端）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図６７の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
しかしながら、本実施例３−２の３次元ポインティング方法の場合、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を角度θだけ回転させている。そのため、図６７の中段に示したように、前記ポインタ４を奥に傾けたときに、傾けた後のポインタ４の一部（矢の先端の反対側部分）の奥行き位置が、傾ける前の奥行き位置よりも手前になってしまう。このとき、前記ポインタの奥行き位置が十分に大きければ、傾けた後の前記ポインタの矢の先端の反対側の部分が前記表示装置３に表現された３次元空間内に存在し、表示させることができる。しかしながら、たとえば、図６８Ａに示すように、前記ポインタ４が表示面３０１上、言い換えると前記表示装置で表現されている３次元空間と前記操作者がいる実空間の境界面上またはその近傍に表示されていると、前記ポインタ４が回転して傾いたときに、前記ポインタ４の矢の先端の反対側の部分が前記表示装置３に表現された３次元空間の外側に出てしまい、表示することができない。そのため、前記ポインタ４の形状が、矢の先端の反対側の部分が欠けた形状になってしまうという問題がある。
そこで、本実施例３−２の３次元ポインティング方法では、前記ポインタ４を回転させて奥行き方向に傾けた結果、ポインティングを行わない一端が表示装置で表現できない空間にはみ出してしまう場合、図６８Ｂに示すように、ポインタ４のはみ出した部分を前記３次元空間のＸＹ平面に射影したポインタを生成し、表示させる。このようにすることで、前記３次元空間からはみ出した部分が欠けるのを防ぎ、ポインタの形状を保つことができる。
また、図６８Ｂに示したようにポインタ４のはみ出した部分を前記３次元空間のＸＹ平面に射影する代わりに、図６９に示すように、前記ポインタ４上の前記３次元空間の境界面３０１上の点を支点として、前記はみ出した部分を、前記３次元空間の境界面（ＸＹ平面）に折り曲げたポインタを生成し、表示させてもよい。
また、本実施例３−２の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図５５に示したような、ステップ６０１からステップ６０８の処理を実行させればよい。ただし、本実施例３−２の３次元ポインティング方法の場合、前記ポインタを傾けて表示させるステップ６０６では、前記ステップ６０５の算出結果に基づいてポインタを傾けたときに、前記３次元空間からはみ出す部分があるか否かを判定し、はみ出す部分がある場合は、はみ出した部分をＸＹ平面（境界面）に射影するか折り曲げるかの操作をしたポインタを生成し、前記表示装置３に表示させる。
また、図６７では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−２の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
以上説明したように、本実施例３−２の３次元ポインティング方法によれば、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を回転させて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
また、このようなポインタの傾けかたの場合、前記ポインタ４の３次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
また、本実施例３−２の３次元ポインティング方法では、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記キーボードのコントロールキー２０１Ａとマウスのホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置３も、液晶ディスプレイ等の２次元表示装置に限らず、DFDのような３次元表示装置であっても構わない。
また、本実施例３−２の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
また、前記オブジェクト５も、本実施例３−２では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例３−２のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
なお、本実施例において、回転の中心は本実施例に示した位置にあるとは限らず、表現されている３次元空間の内外であってもかまわないものとする。
また、本実施例３−２の３次元ポインティング方法の場合も、図６７に示したように、前記ポインタ４を回転させて傾けるだけでなく、図５９に示したように前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図６０に示したように前記ポインタ４をＸＹ平面内で回転させる操作が加わっていてもよい。
また、本実施例３−２の３次元表示方法では、前記ポインタを回転させる前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）は、図６７に示したような位置に限らず、任意の位置にとることができる。またこのとき、前記点（ｘｃ，ｙｃ，ｚｃ）の位置は、前記表示装置３に表現されている３次元空間内、あるいは３次元空間外のどちらであっても構わない。またさらに、前記点（ｘｃ，ｙｃ，ｚｃ）の位置は、固定しておく必要はなく、ポインタ４の回転に合わせて３次元空間内を移動させても構わない。
図７０Ａ、Ｂは、本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、図７０Ａは回転の中心となる点が３次元空間内で固定されている場合の例を示す図、図７０Ｂは回転の中心となる点が３次元空間内で移動する場合の例を示す図である。
本実施例３−２の３次元ポインティング方法は、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を回転させることで、前記ポインタ４を奥または手前に傾けて表示する。そのため、前記ポインタ４が奥または手前に傾いていることや、ポインティングしている奥行き位置が認識できれば、どのような回転のさせかたでもよい。
最もシンプルな回転方法は、図７０Ａに示したように、ある奥行き位置に表示されたポインタを回転させるために、中心となる点（ｘｃ，ｙｃ，ｚｃ）を設定したときに、その位置を固定した状態で前記ポインタを回転させる方法である。
しかしながら、本実施例３−２の３次元ポインティング方法は、このようなポインタの回転方法に限定されるものではなく、たとえば、図７０Ｂに示したように、ある奥行き位置に表示されたポインタ４を回転させるために、中心となる点（ｘｃ，ｙｃ，ｚｃ）を設定したときに、前記ポインタ４の回転にあわせて、前記点（ｘｃ，ｙｃ，ｚｃ）を＋Ｘ方向にΔｘずつ移動させてもよい。また、図示は省略するが、前記ポインタ４の回転にあわせて、前記点（ｘｃ，ｙｃ，ｚｃ）を−Ｘ方向に移動させてもよい。
[実施例３−３]
図７１乃至図７３は、本発明による実施例３−３の３次元ポインティング方法を説明するための模式図であり、図７１はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図７２は図７１の３次元空間内の変化の斜視図、図７３は本実施例３−３の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。なお、図７１は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図７２も上段、中段、下段に３通りの状態を示しており、それぞれ、図７１の上段、中段、下段の各状態の３次元空間内の様子を斜視図で示している。
前記実施例３−１や実施例３−２では、前記ポインタ４を奥行き方向に傾けることで、前記ポインタ４の、ポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変え、ポインティングしている奥行き位置の認識を容易、かつ正確にしている。このとき、前記ポインタ４のポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変えることで、ポインティングしている奥行き位置を認識するという観点で考えれば、前記実施例３−１や実施例３−２で説明したように、前記ポインタの全体の長さや形状を一定に保った状態で奥行き方向に傾けるだけでなく、前記ポインティングしている点の周辺のみを奥行き方向（＋Ｚ方向または−Ｚ方向）に移動させることでも、ポインティングしている奥行き位置の認識することは可能である。そこで、本実施例３−３ではポインティングしている点の周辺のみを奥行き方向（＋Ｚ方向または−Ｚ方向）に移動させる３次元ポインティング方法について説明する。
なお、本実施例３−３の場合も、３次元ポインティング方法を実現させるシステム構成において、前記入力装置２には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図５１に示したように、キーボード２０１とマウス２０２を用いているとする。また、前記表示装置３も同様に、CRTや液晶ディスプレイ等の２次元表示装置、DFD等の３次元表示装置等の表示装置を用いることが可能であるが、図５１に示したように液晶ディスプレイ（２次元表示装置）を用いているとする。
またこのとき、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面３０１から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４のＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４の形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。そして、奥行き方向のポインティングをするときには、前記矢の部分のみが奥行き方向（＋Ｚ方向または−Ｚ方向）に移動し、矢の先端の反対側の部分は奥行き位置を変えないようにする。また、前記矢の部分が奥行き方向に移動した場合、前記矢の部分と矢の先端の反対側の部分を接続して一体化することで、１つのポインタとして認識できるようにする。
本実施例３−３における３次元ポインティング方法の一例として、図７１の上段および図７２の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図７１の中段および図７２の中段、図７１の下段および図７２の下段に示すように、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）のある矢の部分のみが奥（＋Ｚ方向）に並進移動する。またこのとき、前記ポインタ４は、前記矢の部分と、奥行き位置が変わらない矢の先端の反対側の部分は、図７１の中段および図７２の中段に示したように接続されており、矢の部分と矢の先端の反対側の部分の間の軸部分が延びて折れ曲がったような形状になる。
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
また、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図７１の下段および図７２の下段に示すように、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図７１の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
このような本実施例３−３の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図７３に示したような、ステップ６０１からステップ６０４、ステップ６０７からステップ６０８、ステップ６０９からステップ６１０の処理を実行させればよい。なお、図７３に示したステップ６０１からステップ６０４、ステップ６０７からステップ６０８は、図５５に示した処理のステップ６０１からステップ６０４、ステップ６０７からステップ６０８と同じ処理でよいので、詳細な説明は省略する。
また、図７３に示したステップ６０９は、図５５に示した処理のステップ６０５に相当する処理を行うステップであり、本実施例３−３の３次元ポインティング方法の場合、前記ポインタ４のポインティングを行う部分（ポインティング部）の奥行き方向の移動方向（＋Ｚ方向または−Ｚ方向）、および移動量を算出する。
また、図７３に示したステップ６１０は、図５５に示した処理のステップ６０６に相当する処理を行うステップであり、本実施例３−３の３次元ポインティング方法の場合、前記ポインタ生成手段１０３には、前記ポインタ４をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタ４を生成させ、前記表示装置３に表示させる。
以上説明したように、本実施例３−３の３次元ポインティング方法によれば、前記ポインタをポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを表示させることで、前記ポインタの奥行き位置を正確に、かつ直感的に認識することができる。
また、本実施例３−３の３次元ポインティング方法を前記システム制御装置１（ポインティング装置）に実行させる場合、前記ポインタ生成手段１０３では、前記ポインタをポインティングしている部分としていない部分に分割する、前記ポインティングしている部分のみ奥行き方向の位置を変える、ポインティングしている部分としていない部分を連結して１つのポインタにするという、比較的単純な計算処理によりポインタを生成することができる。そのため、前記実施例３−１や実施例３−２のようにポインタ上の各点の座標を３次元的に変換するポインタの生成方法に比べ、ポインタ生成処理の負荷が低減し、高速かつなめらかに変化するポインタ表示が容易になる。
また、図７１では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−３の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
図７４Ａ〜Ｄは、本実施例３−３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、図７４Ａ，図７４Ｂ，図７４Ｃ，図７４ＤはそれぞれＹＺ平面側から見たポインタの連結方法を示す図である。
本実施例３−３の３次元ポインティング方法のように、奥行き位置が異なるポインティングしている部分としていない部分を連結して、１つのポインタ４にするときには、たとえば、図７１の下段や図７４Ａに示したように、平面で連結すると、前記システム制御装置１におけるポインタ生成処理が楽になる。しかしながら、本実施例３−３の３次元ポインティング方法は、このようなポインタの連結方法を限定するものではなく、図７４Ｂに示すように、連結部（折れ曲がり部）が曲面になっていてもよい。
また、ポインティングしている部分と連結部の接続のしかた、およびポインティングしていない部分と連結部の接続のしかたも、たとえば、図７４Ｃに示すように、ポインティングしている部分と連結部の接続はなめらかな接続にし、ポインティングしていない部分と連結部の接続は折り曲げた接続にしてもよい。また逆に、図７４Ｄに示すように、ポインティングしている部分と連結部の接続は折り曲げた接続にし、ポインティングしていない部分と連結部の接続はなめらかな接続にしてもよい。
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを生成し、表示させればよいので、前記各図に示したような連結方法に限らず、種々の連結方法を適用することが可能である。
図７５乃至図７８Ｂは、本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、図７５，図７６Ａ，図７６Ｂはそれぞれポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図、図７７Ａ，図７７Ｂ，図７８Ａ，図７８Ｂはそれぞれポインティングする部分の形状を変化させる場合の応用例を示す図である。なお、図７５，図７６Ａ，図７６Ｂ，図７７Ａ，図７７Ｂ，図７８Ａ，図７８Ｂの各図は、軌跡をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）を示している。
前記ポインティングしている部分を奥行き方向に移動させるときには、図７１の下段等に示したような、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が＋Ｚ方向への移動に比例して＋Ｘ方向に移動するような軌跡をたどるように移動させる移動に限らず、たとえば、図７５に示すように、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が＋Ｚ方向への移動に比例して−Ｘ方向に移動するような軌跡をたどるように移動させてもよい。
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、直線状の軌跡に限らず、たとえば、図７６Ａおよび図７６Ｂに示したように、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円弧状の軌跡をたどるように移動させてもよい。
また、図７１，図７５，図７６Ａおよび図７６Ｂでは、前記ポインティングしている部分を奥行き方向に移動させるときに、前記ポインティングしている部分の形状を一定に保ったまま移動させ、そのときのポインティングしている部分としていない部分の奥行き位置に応じて連結しているが、これに限らず、図７７Ａ，図７７Ｂ，図７８Ａ，および図７８Ｂに示すように、前記ポインティングしている部分としていない部分をＹＺ平面に平行な面で連結し、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を移動させるときの軌跡に応じて、前記ポインティングしている部分を拡大あるいは縮小したり、長さを変えたりしてもよい。
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
また、本実施例３−３の３次元ポインティング方法では、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記キーボード２０１のコントロールキー２０１Ａとマウス２０２のホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置３も、液晶ディスプレイ等の２次元表示装置に限らず、DFDのような３次元表示装置であっても構わない。
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、ポインティング部分を奥行き方向に移動させたときの移動方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
また、前記オブジェクトも、本実施例３−３では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイル矢実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例３−３のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４のポインティングを行う部分がどれくらい奥行き方向に移動したかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
また、本実施例３−３の３次元ポインティング方法の場合も、図７１に示したように、前記ポインタ４のポインティングを行う部分のみを奥行き方向に並進移動させる操作の他に、図５９に示したように前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図６０に示したように前記ポインタ４をＸＹ平面内で回転させる操作が加わっていてもよい。
また、前記各実施例で説明した３次元ポインティング方法を実行するポインティング装置は、前述のように、特殊な装置である必要はなく、たとえば、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、前記各実施例で説明した処理をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれの記録媒体に記録されていてもよい。また、前記プログラムは、各種記録媒体に記録して提供することも可能であるし、インターネット等のネットワークを通して提供することも可能である。
本第３の実施の形態で説明したポインティング技術と第１、第２の実施の形態における入力ペンを用いたポインタの制御技術とを組み合わせて実施することが可能である。図６１にはその一例が示されている。
また、第１、第２の実施の形態において図５Ａ〜図６Ｃを参照して説明した実施例では、ポインタの一部の奥行き位置を固定して奥行き方向にあるオブジェクトをポインティングするという本第３の実施の形態で説明したポインティング技術が適用されている。
第１、第２の実施の形態と第３の実施の形態とを組み合わせた更なる実施例を次に説明する。この実施例は、第１、第２の実施の形態において図５Ａ〜図６Ｃを参照して説明した実施例１−１、２−１の技術に、第３の実施の形態において図５２〜図６０を参照して説明したポインティングを行う点のｘ、ｙ座標を一定としてポインティングを行う技術を組み合わせた例である。
この例において、入力ペンを用いてポインタ操作を行う場合の３次元空間内のポインタの変化を示す正面図および右側面図を図７９Ａ〜Ｃに示す。図７９Ａ〜Ｃの座標のとり方、符号の付け方は第１、第２の実施の形態と同じである。また、使用する装置等の基本的な条件は実施例１−１、２−１と同じである。また、入力ペンの操作内容は第１、第２の実施の形態で説明した通りであり、入力ペンの筆圧、ペン先の接触時間、入力ペンに取り付けられた操作手段の操作量、入力ペンの傾き等によりポインタの制御が行われる。
ただし、本例では、第１、第２の実施の形態におけるポインタ位置／回転角度算出手段が、第３の実施の形態におけるポインティング位置／変形量算出手段での処理と同様にして、ポインティングを行う点のｘ、ｙ座標を一定としてポインタの位置、回転角度等を算出する。次に、図７９Ａ〜Ｃを参照して本例でのポインティング動作を説明する。
操作者が入力ペン２０１のペン先２０１Ｐを表示面に接触させ、ポインタが表示された後、図７９Ａに示す状態から、操作者がたとえば入力ペン２０１の操作を行う（筆圧を高くする、傾きを変える、入力ペン２０１に取り付けられた操作手段を操作する等）。この操作により、図７９Ｂ，図７９Ｃに示すように、ポインタ３０３の矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、矢の先端部分が−Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。ただし、矢の先端部分のＸＹ座標はペン先２０１ＰのＸＹ座標と同一であり一定である。
実施例１−１、２−１（図５Ａ〜６Ｃ）では、ペン先２０１Ｐの延長にポインタ３０３が存在するが、この場合、ペン先２０１Ｐの位置が変わらない場合でも、入力ペンを傾けることにより、ポインティングする位置（矢の先端部分）のｘ、ｙ座標が変更される。一方、第３の実施の形態を適用した図７９Ａ〜Ｃの例では、ポインティングする位置のｘ、ｙ座標は常にペン先２０１Ｐのｘ、ｙ座標と同じであり、奥行きだけが変化する。このとき、入力ペンの傾きに応じてポインタも回転するが、ポインティングする位置は変わらない。これにより、ポインティングする位置のｘ、ｙ座標をペン先の位置で決定し、奥行き位置を入力ペンの操作で制御することが可能となる。
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。第４の実施の形態は本発明の第３の目的に対応するものである。
第４の実施の形態の３次元表示制御方法では、表示装置上に表現された３次元空間内に表示されたポインタの位置を３次元的に変化させたときに、前記３次元空間の観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示する。このようにすることで前記観察者から見て、前記ポインタがあるオブジェクトの裏側にあたる移動した場合でも、前記ポインタの位置を認識できるようにした。また、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化することで、前記観察者から見て、あるオブジェクトの裏側に隠れている別のオブジェクトをポインティングするときに、手前のオブジェクトを移動させたり、非表示の状態にさせたりする操作をすることなしにポインティングできるようになり、前記観察者（前記ポインタの操作者）のポインティング操作が簡便になり、操作者の利便性が向上する。
また、第４の実施の形態の３次元表示制御方法では、前記観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示するときに、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化することで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
また、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化する代わりに、前記ポインタの操作に関する入力情報が一定時間入力されなかった場合に、透明化されたオブジェクトを透明化する前の不透明な状態の表示に戻すことで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
またさらに、第４の実施の形態のの３次元表示方法では、移動等の操作を行うために選択されたオブジェクトに関しては、前記ポインタの奥行き位置よりも手前に配置されていても、透明化しないことで、前記オブジェクトが選択された状態であることを認識できるようにした。
図８０乃至図８４は、本発明の第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、図８０は第４の実施の形態の３次元表示制御方法が適用されるコンピュータシステムの概略構成を示す図、図８１は３次元空間を表現できる表示装置（DFD）の動作原理を説明する図、図８２は表示装置上に表現された３次元空間の一例を示す正面図および右側面図、図８３は表示装置上に表現された３次元空間の一例を示す斜視図（鳥瞰図）、図８４はポインタの操作方法の一例を示す図である。
図８０において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置算出手段、１０３はポインタ生成手段、１０４はオブジェクト変更判定手段、１０５はオブジェクト生成／透明化手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図８１において、３０１Ａは観察者から見て手前の表示面、３０１Ｂは観察者から見て奥の表示面、４は観察者が認識するオブジェクト、４Ａは手前の表示面に表示されるオブジェクト、４Ｂは奥の表示面に表示されるオブジェクト、Ｐは観察者の視点である。また、図８２および図８３において、４０１はポインタ、４０２ａから４０２ｇはフォルダアイコン（オブジェクト）、４０３ａから４０３ｃはウィンドウ（オブジェクト）である。また、図８４において、２０１はマウス、２０１Ａはマウスのホイールである。
第４の実施の形態の３次元表示制御方法は、たとえば、PC等のシステム制御装置に接続された表示装置上に表現された３次元空間内に表示されたポインタをマウス等の入力装置で操作し、前記３次元空間内に表示されたオブジェクトのポインティング（選択）、移動、加工等の処理を行う場合の、前記ポインタおよびオブジェクトの表示を制御する方法である。なお、前記ポインタも前記オブジェクトの１種と考えることができるが、本明細書では、前記３次元空間内の任意の一点を指し示すためのオブジェクトをポインタとし、その他の、たとえば、アイコン、ウィンドウ、プルダウンメニュー等のオブジェクトと区別する。
このとき、前記システム制御装置１は、たとえば、図８０に示すように、前記入力装置２からの入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した情報がポインタの操作に関する情報（ポインタ操作情報）である場合に、前記ポインタ操作情報に基づいてポインタの表示位置を算出するポインタ位置算出手段１０２と、前記ポインタ位置算出手段１０２で算出された位置に表示するポインタを生成するポインタ生成手段１０３と、前記ポインタ位置算出手段１０２で算出された位置に基づいてオブジェクトの表示方法を変更するか否かを判定するオブジェクト変更判定手段１０４と、新たなオブジェクトの生成、またはすでに生成されているオブジェクトの透明化もしくは不透明化を行うオブジェクト生成／透明化手段１０５と、前記ポインタ生成手段１０３で生成されたポインタや、前記オブジェクト生成／透明化手段１０５で生成、または透明化もしくは不透明化されたオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
また、前記システム制御装置１では、前記ポインタの生成や、前記オブジェクトの生成、または透明化もしくは不透明化といった処理の他に、アプリケーションソフトの起動、操作といった処理も行うことができる。そのため、前記システム制御装置１には、図８０に示したように、前記入力装置２からの入力情報等に基づいて各処理を制御する処理制御手段１０７を備える。またさらに、前記システム制御装置１には、図８０に示したように、前記システム制御装置１の制御プログラム（OS）、前記アプリケーションソフトの実行プログラム、前記アプリケーションソフトを用いて処理をするデータ等を記憶保持する記憶手段１０８を備える。このとき、前記システム制御装置１では、前記入力情報取得手段１０１で取得した入力情報の内容を判別し、前記ポインタ操作情報である場合は、その情報を前記ポインタ位置算出手段１０３に渡し、ポインタの表示位置を算出する。一方、前記ポインタ操作情報以外の情報である場合はその情報を前記処理制御手段１０７に渡し、前記アプリケーションソフトの実行等の処理を行わせる。
また、前記表示装置３は、３次元空間を表現することが可能な表示装置（ディスプレイ）であれば、どのような装置でもよい。すなわち、前記表示装置は、たとえば、DFDのように立体映像を表示することが可能な３次元表示装置に限らず、一般的なCRTや液晶ディスプレイのような２次元表示装置でもよい。前記表示装置が前記DFDの場合、前記ポインタやオブジェクトを、それぞれの３次元位置に対応する奥行き位置に表示させることで前記ポインタやオブジェクトの配置を３次元的に知覚することができる。
前記DFDは、これまでにも説明したとおり、複数枚の表示面が、前記観察者の視点から見て奥行き方向に重なるように配置されている表示装置である。このとき、説明を簡単にするために、図８１に示すように、２枚の表示面３０１Ａ，３０１Ｂが重なっているとすると、前記ポインタやオブジェクトの像は、両方の表示面３０１Ａ，３０１Ｂに、前記観察者の視点Ｐから見て重なるように表示される。またこのとき、前記DFDが、たとえば、輝度変調型であれば、前記観察者の視点Ｐから見て手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度をＬＡ、奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度をＬＢとすると、前記観察者には、前記各表示面３０１Ａ，３０１Ｂの間であり、かつ前記手前の表示面３０１Ａからの距離と前記奥の表示面３０１Ｂからの距離の比がＬＢ：ＬＡとなるような奥行き位置に前記オブジェクト４が表示されているように見える。そのため、前記手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度ＬＡと、奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度ＬＢの比を変えることで、前記各表示面３０１Ａ，３０１Ｂの間の任意の奥行き位置にオブジェクト４を表示させることができる。また、図示は省略するが、前記手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度を、たとえば、図８１の紙面上方から紙面下方に向かうにつれて輝度が大きくなるように表示し、前記奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度を、たとえば、図８１の紙面下方から紙面上方に向かうにつれて輝度が大きくなるように表示すれば、前記オブジェクト４の上方が奥に傾いているように見える。
また、図示は省略するが、前記DFDが透過型の場合は、たとえば、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を大きくすれば、前記オブジェクト４が前記奥の表示面３０１Ｂの近傍に表示され、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を小さくすれば、前記オブジェクト４が前記手前の表示面３０１Ａの近傍に表示されているように見える。そのため、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を変えることで、前記各表示面３０１Ａ，３０１Ｂの間の任意の奥行き位置にオブジェクト４を表示させることができる。
また、前記表示装置３が前記液晶ディスプレイ等の２次元表示装置の場合は、たとえば、前記システム制御装置１内に設定された仮想３次元空間上で前記ポインタやオブジェクトを３次元的に配置した後、その状態を２次元の表示面に投影した画像を生成し、表示させることで、前記ポインタやオブジェクトの配置を３次元的に知覚することができる。
このような３次元空間を表現することが可能な表示装置３が接続されている前記システム制御装置１の場合、前記表示装置３上に、たとえば、図８２および図８３に示すように、ポインタ４０１や、フォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等のオブジェクトを３次元的に配置（表示）した３次元デスクトップを表示することができる。このとき、前記観察者（操作者）は、前記３次元デスクトップをGUIとして、前記システム制御装置１で実行可能なアプリケーションソフトを利用することができる。
このとき、前記手前の表示面３０１Ａと奥の表示面３０１Ｂの間の空間を３次元デスクトップ空間とし、たとえば、図８２および図８３に示したように、前記手前の表示面３０１Ａの奥行き位置がｚ＝０、表示面３０１Ａ，３０１ＢがＸＹ平面と平行であり、かつ、手前の表示面３０１Ａから奥の表示面３０１Ｂに向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとると、前記ポインタ４０１が指し示している位置は座標（ｘｐ，ｙｐ，ｚｐ）で特定される。そのため、前記入力装置２を用いて、前記ポインタ４０１が指し示している位置の座標（ｘｐ，ｙｐ，ｚｐ）を決定することで、前記ポインタ４０１を前記３次元デスクトップ空間内の任意の一点に移動させることができ、前記３次元デスクトップ空間内に配置されたフォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等のオブジェクトをポインティングできる。
また、前記ポインタを３次元的に移動させるため入力装置２には、たとえば、ホイール機能付きマウス（以下、マウスという）等の既存の入力装置を用いることができる。前記マウスを用いて前記ポインタを３次元的に移動させる場合、図８４に示すように、たとえば、机上等の平面上で前記マウス本体を動かしたときのＸＩ軸方向の移動量（＋ｘＩまたは−ｘＩ）を前記ポインタ４０１のＸ軸方向の移動量に反映させ、ＹＩ軸方向の移動量（＋ｙＩまたは−ｙＩ）を前記ポインタ４０１のＹ軸方向の移動量に反映させれば、前記ポインタ４０１のＸＹ座標（ｘｐ，ｙｐ）を決定することができる。そして、たとえば、前記マウス２０１のホイール２０１Ａの回転方向（＋ｚＩまたは−ｚＩ）と回転量を前記ポインタ４０１のＺ軸方向の移動量に反映させれば、前記ポインタ４０１の奥行き位置（Ｚ座標）ｚｐを決定することができる。
また、前記入力装置２は、前記マウスに限らず、たとえば、キーボードやペンタブレット等の入力装置を用いることも可能である。また、前記マウスとキーボードを組み合わせ、たとえば、前記キーボード上の特定のキーを押しながら前記ホイール２０１Ａを回転させたときの回転方向と移動量を前記ポインタ４０１のＺ軸方向の移動量に反映させてもよい。
なお、ポインタの３次元的位置に応じて他のオブジェクトの表示を制御するという本実施の形態は、第１〜第３の実施の形態にも適用できる。つまり、第１、第２の実施の形態であれば、入力ペンの操作によりポインタを移動させたときに、第４の実施の形態の技術を適用して他のオブジェクトの表示を制御する。また、第３の実施の形態であれば、ポインタで奥行き方向のポインティングを行う際に、ポインタの変形や移動に応じて他のオブジェクトの表示を制御する。
以下、前記入力装置として前記マウスを用い、前記表示装置としてDFDを用いた場合を例に挙げ、前記表示装置上に表現された３次元空間（３次元デスクトップ）内のポインタおよびオブジェクトの表示の制御方法について説明する。
[実施例４−１]
図８５乃至図８７は、実施例４−１の３次元表示制御方法を説明するための模式図であり、図８５および図８６は本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図８７は本実施例４−１の表示制御方法と比較するための従来の表示制御方法を説明する３次元空間の様子を示す図である。なお、図８５および図８６はそれぞれ、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
本実施例４−１では、たとえば、図８２および図８３に示したような３次元デスクトップ空間内に表示されたポインタ４０１を、図８４に示したような操作で３次元的に移動させ、前記３次元デスクトップ空間内の任意の一点をポインティングするときに、前記観察者（操作者）から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化する表示制御方法について説明する。
また、本実施例４−１では、説明を簡単にするために、たとえば、図８５の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図８５の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図８５の中段に示したように、前記ポインタ４０１が前記ウィンドウ４０３に近づく。そして、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ４０１が到達すると、前記ウィンドウ４０３がポインティングされた状態になり、たとえば、図８５の中段に示したように、前記ウィンドウ４０３の色を変える等、ポインティングされていることを示すような表示に変える。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図８５の下段に示したように、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記奥の表示面３０１Ｂに向かって移動を続ける。このとき、前記ウィンドウ４０３をすり抜けたポインタ４０１が、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
ただし、前記ポインタ４０１が前記ウィンドウ４０３をすり抜けると同時に、前記ポインタ４０１がすり抜けたウィンドウ４０３は、前記観察者から見て、前記ポインタ４０１の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置１は、図８５の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前に表示されるようになったウィンドウ４０３を透明化して表示させる。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
また、図８５の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前のウィンドウ４０３が透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に到達した時点で、図８５の中段に示したように、前記ウィンドウ４０３の表示がポインティングされていることを示すような表示に変わる。そして、前記ポインタ４０１をさらに前記手前の表示面３０１Ａ側に移動させ、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも手前に離れると、図８５の上段に示したように、前記ウィンドウ４０３の表示がもとの標準的な表示に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１を−ｚ（ｚ＜０）方向に移動させるだけで、透明化されている前記ウィンドウ４０３をもとの不透明な表示に戻すことができる。
また、図８５に示した例では、前記ポインタ４０１が前記ウィンドウ４０３と重なっており、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記ウィンドウ４０３の裏側にあたる位置に移動したときに前記ウィンドウ４０３が透明化されているが、これに限らず、たとえば、図８６の上段に示すように、前記ウィンドウ４０３等のオブジェクトと重なっていない位置で前記ポインタ４０１の奥行き位置を変えたときにも、前記ウィンドウ４０３を透明化できるようにすることもできる。この場合、図８６の上段に示したような状態で前記ポインタ４０１を奥の表示面３０１Ｂ側に移動させたときに、前記ポインタの奥行き位置ｚｐと前記ウィンドウ４０３の奥行き位置ｚｏの関係がｚｐ＞ｚｏになったら、図８６の中段に示すように、前記ウィンドウ４０３を透明化して表示させればよい。この結果、前記観察者（操作者）は、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に隠れているフォルダアイコン４０２ｂの位置を認識することができ、前記ポインタ４０１で前記フォルダアイコン４０２ｂを容易にポインティングすることができる。また、このようにすれば、たとえば、図８６の中段に示したような状態からさらに、前記ポインタ４０１を奥の表示面３０１Ｂ側に移動させたときに、前記ポインタ４０１の奥行き位置ｚｐと前記フォルダアイコン４０２ａの奥行き位置ｚｆの関係がｚｐ＞ｚｆになった時点で、図８６の下段に示すように、前記フォルダアイコン４０２ａが透明化される。そして、図８６の下段に示したような状態から、逆に、前記ポインタ４０１を手前の表示面３０１Ａ側に移動させれば、図８６の中段に示したような状態を経て、図８６の上段に示したような、もとの不透明なフォルダアイコン４０２ａおよびウィンドウ４０３が表示された状態に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１が前記ウィンドウ４０３の裏側にあたる位置に移動したときも前記ポインタ４０１の位置を認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
従来の３次元デスクトップ空間の表示制御方法では、たとえば、図８７に示すように、前記ポインタ４０１が前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に移動させると、前記ポインタ４０１は前記ウィンドウ４０３に隠れてしまい、前記観察者は前記ポインタ４０１の位置を認識することができない。そのため、従来の表示制御方法で、たとえば、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているオブジェクトの位置の認識、選択といった操作をするときには、前記ウィンドウ４０３を移動させる、または表示領域を小さくするあるいは非表示の状態にするといった操作を行わなければならなかった。そして、これらの操作を行った後、前記ウィンドウ４０３に表示されている内容を確認する場合は、前記ウィンドウ４０３をもとの位置に戻す、または表示領域を大きくするあるいは表示状態に戻すといった操作を行わなければならなかった。その結果、たとえば、図８２および図８３に示したような、フォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等の多数のオブジェクトが表示されている３次元デスクトップ空間で、前記観察者から見て奥に表示されているオブジェクトを選択する場合などには操作が煩雑になり、前記観察者（操作者）の利便性が悪い。
一方、本実施例４−１の表示制御方法では、前記ポインタ４０１を前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも手前のオブジェクトが透明化される。そのため、前記ポインタ４０１が透明化されたオブジェクトの裏側にあたる位置に移動したときも前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタを前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも手前のオブジェクトが透明化され、オブジェクトの裏側の状態を認識することができる。そのため、前記あるオブジェクトの裏側に隠れている別のオブジェクトを容易にポインティングすることができる。そして、前記ポインタ４０１を前記観察者から見て手前に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも奥になったオブジェクトが不透明な状態に戻り、透明化されているオブジェクトの表示内容を認識することができる。
このような本実施例４−１の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。
図８８は、本実施例４−１の３次元表示制御方法を実現するための装置における処理手順を示すフロー図である。
図８０に示したような構成の前記システム制御装置１において、図８５または図８６に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御をするときには、まず、図８８に示したように、前記表示装置３にポインタ４０１とオブジェクトを表示させておく（ステップ５０１）。そして、前記観察者（操作者）が前記マウス等の入力装置２を操作すると、前記入力情報取得手段１０１が前記入力装置２からの入力情報（操作情報）を取得する（ステップ５０２）。このとき、前記入力情報取得手段１０１で入力情報を取得すると、たとえば、前記入力情報取得手段１０１において、前記入力情報がポインタの操作に関する情報（ポインタ操作情報）であるか否かを判別（ステップ５０３）され、前記ポインタ操作情報でない場合は、前記処理制御手段１０７において、前記入力情報に応じた別の処理を実行する（ステップ５０４）。
一方、前記入力情報が前記ポインタ操作情報である場合、前記入力情報取得手段１０１は、前記入力情報を前記ポインタ位置算出手段１０２に渡し、ポインタの移動量を算出させ、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出させる（ステップ５０５）。
そして、前記ポインタ位置算出手段１０２は、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出したら、まず、前記ポインタ生成手段１０３に、前記新たな表示位置に表示させるポインタを生成させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５０６）。
また、前記ポインタ位置算出手段１０２は、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出したら、前記オブジェクト変更判定手段１０４に、ポインティングしているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｘｙｚ座標がオブジェクトの表面上または内部の任意の点のｘｙｚ座標から予め定められた範囲内にあるか否かと、ポインタの奥行き位置より手前にオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｚ座標より小さいｚ座標の点を表面上または内部に含むオブジェクトがあるか否かとを判定させる（ステップ５０７，ステップ５０９）。そして、前記ポインティングしているオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５でそのオブジェクトをポインティングされている状態に変更させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５０８）。また、前記ポインタの奥行き位置より手前にオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５で前記手前のオブジェクトをあらかじめ定められた透明度αに変更させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１０）。
なお、図８８に示した例では、先にポインティングしているオブジェクトがあるか否かを判定しているが、これに限らず、先にポインタの奥行き位置より手前にオブジェクトがあるか否かを判定してもよい。
前記システム制御装置１において、このような処理を実行することで、図８５または図８７に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
以上説明したように、本実施例４−１の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例４−１の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
また、本実施例４−１の３次元表示制御方法では、たとえば、図８６に示したように、前記観察者から見て前記ポインタと重なるか否かにかかわらず、前記ポインタの奥行き位置よりも手前に配置（表示）されるオブジェクトを透明化しているが、これに限らず、たとえば、前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化してもよい。
図８９および図９０は、本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、図８９は応用例を適用した場合の３次元空間の変化の様子を示す図、図９０は応用例を実現するための装置における処理手順を示すフロー図である。なお、図８９は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化する場合を説明するにあたって、まず、前記３次元デスクトップの表示状態が、図８９の上段に示すように、前記観察者から見て、前記ポインタ４０１が、前記ウィンドウ４０３の奥行き位置よりも手前にあるが、前記ウィンドウ４０３とは重なっていない状態になっているとする。この状態で、たとえば、前記ポインタ４０１を、前記観察者から見て奥の方向に移動させ、図８９の中段に示すように、前記ウィンドウ４０３の奥行き位置が前記ポインタ４０１の奥行き位置よりも手前になったとする。このとき、本実施例４−１の３次元表示制御方法では、図８６の中段に示したように、前記観察者から見て前記ポインタ４０１と前記ウィンドウ４０３が重なっているか否かにかかわらず、前記ウィンドウ４０３が透明化される。
しかしながら、図８９の中段に示したような表示状態の場合、前記ウィンドウ４０３を透明化しなくても、前記観察者は前記ポインタ４０１の位置を認識することができるので、前記ウィンドウ４０３を透明化する必要はない。
ただし、図８９の中段に示したような表示状態のときに、たとえば、前記ポインタ４０１を前記ウィンドウ４０３の裏側にあたる位置に移動させると、前記ウィンドウ４０３は通常の不透明な表示であるため、そのままでは、図８７に示したように、前記ポインタ４０１が前記ウィンドウ４０３の裏に隠れた状態になり、前記ポインタ４０１の位置を認識できなくなる。
そこで、図８９の下段に示したように、前記ポインタ４０１を移動させたときに、前記ポインタ４０１の奥行き位置よりも手前にあり、かつ、前記観察者から見て前記ポインタ４０１と重なるウィンドウ４０３がある場合は、そのウィンドウ４０３を透明化させる。このようにすることで、本実施例４−１の３次元表示制御方法と同様に、あるオブジェクトの裏側にあたる位置に移動したポインタを容易に認識できる。また、前記あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいは前記あるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等を容易にすることができる。
このような３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、図８８に示した処理手順におけるステップ５１０で、図９０に示したステップ５１０ａからステップ５１０ｃの処理を行えばよい。
つまり、前記オブジェクト変更手段１０４における、図８８に示したステップ５０９の判定で、前記ポインタ４０１の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成／透明化手段１０５でオブジェクトを透明化させる前に、まず、前記手前にあるオブジェクトの表示領域を確認する（ステップ５１０ａ）。
そして次に、前記手前にあるオブジェクトの中に、前記観察者から見てポインタ４０１と重なるオブジェクトがあるか否かを判定する（ステップ５１０ｂ）。前記ステップ５１０ｂは、たとえば、前記観察者から見て前記ポインタの表示位置（ｘｐ，ｙｐ）と重なる前記オブジェクトの奥行き位置でのＸＹ位置に、オブジェクトの一部（一点）が表示されているか否かを調べればよい。そして、重なっているオブジェクトがあると判定された場合は、そのオブジェクトを透明度αで前記表示装置３に表示させる（ステップ５１０ｃ）。
このようにすれば、前記ポインタ４０１の奥行き位置よりも手前にあっても、前記ポインタ４０１と重なっていないオブジェクトは通常の不透明な表示の状態を保つことができる。
本実施例４−１の３次元表示制御方法では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトは全て透明化されるので、透明化する必要がないオブジェクトも透明化されることがある。そして、透明化されているオブジェクトの表示内容を確認するときには、前記ポインタ４０１を観察者から見て手前の方向に移動させ、透明化されているオブジェクトを不透明な表示に戻さなければならない。
一方、図８９に示したような３次元表示制御方法では、前記ポインタ４０１が前記オブジェクトの裏側にあたる位置に移動したときに、前記ポインタ４０１を隠しているオブジェクトのみを透明化する。そのため、前記ポインタ４０１をオブジェクトと重ならない位置に表示させておけば、全てのオブジェクトが通常の不透明な表示であり、透明化する必要のあるオブジェクトのみを透明化することができる。このようにすると、透明化されているオブジェクトを不透明な表示に戻すときの操作がＸＹ平面内での２次元的な操作になり、本実施例４−１の３次元表示制御方法と比べ、操作の利便性が向上すると考えられる。
[実施例４−２]
図９１乃至図９３は、本発明による実施例４−２の３次元表示方法を説明するための模式図であり、図９１は本実施例４−２の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９２は透明度の決定方法の一例を示す図、図９３は本実施例４−２の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９１は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
本実施例４−２では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタからの距離に応じて透明度を変え、前記ポインタ４０１の奥行き位置や、前記ポインタ４０１の奥行き位置よりも手前であるが奥行き位置が近いオブジェクトの認識度を高くする表示制御方法について説明する。
また、本実施例４−２では、説明を簡単にするために、たとえば、図９１の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９１の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、前記ポインタ４０１の奥行き位置が、図９１の中段に示したように、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥になった場合、前記ウィンドウ４０３は透明化される。ただし、本実施例４−２の表示制御方法では、図９１の中段に示したように、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離（差）が小さいときには、前記ウィンドウ４０３を完全に透明にするのではなく、前記ウィンドウ４０３の裏側の状態が認識できる程度の透明度で前記ウィンドウ４０３を表示させる。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、図９１の下段に示したように、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離（差）が大きくなると、徐々に前記ウィンドウ４０３の透明度が高くなり、最終的には前記ウィンドウが完全に透明化される。このとき、前記ポインタ４０１の移動に合わせ、たとえば、図９１の下段に示したように、前記フォルダアイコン４０２ａも透明化するが、このとき、前記ポインタ４０１の奥行き位置と前記フォルダアイコン４０２ａの奥行き位置の距離は、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離に比べて小さいので、前記フォルダアイコン４０２ａは、前記ウィンドウ４０３の透明度よりも小さい透明度で表示される。
この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。またさらに、前記透明化されているオブジェクトの透明度から、前記ポインタ４０１の奥行き位置や、前記ポインタ４０１の奥行き位置よりも手前にあるが奥行き位置の近いオブジェクトを容易に認識することができる。
また、図９１の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前のウィンドウ４０３およびフォルダアイコン４０２ａが透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ４０１が前記フォルダアイコン４０２ａの奥行き位置に到達した時点で、図９１の中段に示したように、前記フォルダアイコン４０２ａの表示がもとの不透明な表示に変わる。このとき、前記ポインタ４０１と前記ウィンドウ４０３の奥行き方向の距離も小さくなるので、前記ウィンドウ４０３の透明度も小さくなる。そして、前記ポインタ４０１をさらに前記手前の表示面３０１Ａ側に移動させ、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置に到達すると、図９１の上段に示したように、前記ウィンドウ４０３の表示がもとの不透明な表示に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１を−ｚ（ｚ＜０）方向に移動させるだけで、透明化されている前記ウィンドウ４０３をもとの不透明な表示に戻すことができる。
また、前記オブジェクトの透明度αに関して、α＝０のとき完全に透明、α＝１のとき完全に不透明とすると、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときには、たとえば、図９２に実線で示したように、前記ポインタ４０１と前記手前にあるオブジェクトの奥行き方向の距離に比例してαが１から０の間を連続的に変化し、距離が最大、すなわち前記オブジェクトがDFDの手前の表示面３０１Ａに表示され、前記ポインタ４０１が奥の表示面３０１Ｂに表示されているような状態のときに完全に透明（α＝０）になるようにすればよい。また、図９２に波線で示したように、前記最大の距離よりも小さい距離Ｚｃでα＝０となるようにしておいてもよい。また、図示は省略するが、前記透明度αは、たとえば、距離の２乗に反比例して小さくなるようにしてもよい。
このような３次元表示制御方法を、図８０に示したシステム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。ただし、本実施例４−２の３次元表示制御方法の場合、図８８に示した処理手順におけるステップ５１０では、図９３に示したステップ５１０ｄからステップ５１０ｈの処理を行う。
つまり、本実施例４−２の３次元表示制御方法を実現するためには、前記オブジェクト変更判定手段１０４における、図８８に示したステップ５０９の判定で、前記ポインタ４０１の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成／透明化手段１０５でオブジェクトを透明化させる前に、まず、前記透明化するオブジェクトを１つ選択する（ステップ５１０ｄ）。
次に、前記選択したオブジェクトと前記ポインタ４０１の奥行き方向の距離を算出する（ステップ５１０ｅ）。そして、前記算出した奥行き方向の距離に基づいて前記選択したオブジェクトの透明度αを算出する（ステップ５１０ｆ）。
前記ステップ５１０ｆで前記選択したオブジェクトの透明度αを算出したら、前記オブジェクト生成／透明化手段１０５で算出した透明度のオブジェクトを生成させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１０ｇ）。
こうして、選択したオブジェクトを距離に応じた透明度αで表示させたら、他に透明化するオブジェクトあるいは透明度を変えるオブジェクトがあるか否かを判定（ステップ５１０ｈ）し、ある場合はステップ５１０ｄに戻ってステップ５１０ｄからステップ５１０ｇの処理を繰り返す。
前記システム制御装置１において、このような処理を実行することで、図９１に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
以上説明したように、本実施例４−２の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
また、本実施例４−２のように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ４０１と前記手前にあるオブジェクトの奥行き方向の距離の大きさに応じて、前記手前にあるオブジェクトの透明度を変えることで、前記ポインタ４０１の奥行き位置、あるいは前記ポインタ４０１の奥行き位置と近い奥行き位置にあるオブジェクトの認識が容易になる。
[実施例４−３]
図９４および図９５Ａ、Ｂは、本発明による実施例４−３の３次元表示制御方法を説明するための模式図であり、図９４は本実施例４−３の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９５Ａおよび図９５Ｂは透明度の決定方法の一例を示す図である。なお、図９４は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
本実施例４−３では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）を中心としたある範囲の内側のみを透明化し、オブジェクトの透明化、不透明化による視覚的な煩わしさを低減する表示制御方法について説明する。
また、本実施例４−３では、説明を簡単にするために、たとえば、図９４の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９４の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図９４の中段に示したように、前記ポインタ４０１が前記ウィンドウ４０３に近づく。そして、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ４０１が到達すると、前記ウィンドウ４０３がポインティングされた状態になり、たとえば、図９４の中段に示したように、前記ウィンドウ４０３の色を変える等、ポインティングされていることを示すような表示に変える。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図９４の下段に示したように、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記奥の表示面３０１Ｂに向かって移動を続ける。このとき、前記ウィンドウ４０３をすり抜けたポインタ４０１が、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
ただし、前記ポインタ４０１が前記ウィンドウ４０３をすり抜けると同時に、前記ポインタ４０１がすり抜けたウィンドウ４０３は、前記観察者から見て、前記ポインタ４０１の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置１は、図９４の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前に表示されるようになったウィンドウ４０３を透明化して表示させる。またこのとき、前記ウィンドウ４０３は、前記実施例４−１で説明したように前記ウィンドウ４０３全体を透明化するのではなく、たとえば、図９４の下段に示したように、前記ポインタ４０１のポインティング位置（たとえば矢印の先端）と重なる位置を中心とした半径ａの円内のみを透明化する。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。また、図９４の下段に示したように、前記ウィンドウ４０３のうち透明化、不透明化されるのは、前記ポインタ４０１と重なる領域の近傍のみである。そのため、たとえば、前記ポインタ４０１を奥行き方向に激しく移動させたときなどに、前記ウィンドウ４０３の一部だけが透明化、不透明化され、視覚的な煩わしさを低減することができる。
また、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）と重なる点を中心とした半径ａの円内のみを透明化する場合、たとえば、半径ａの円内は透明度α＝０（完全に透明）とし、半径ａの円の外側は透明度α＝１（完全に不透明）というようにデルタ関数的に透明度を変化させてもよいし、たとえば、図９５Ａに示すように、半径ａの円内は透明度α＝０（完全に透明）とし、半径ａの円の外側は距離に比例して徐々に透明度α＝１（完全に不透明）になるように変化させてもよい。また、そのほかにも、たとえば、図９５Ｂに示すように、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）と重なる点（中心）を透明度α＝０（完全に透明）とし、中心からの距離の２乗に比例して透明度が透明度α＝１（完全に不透明）になるように変化させてもよい。また、図示は省略するが、前記中心からの距離に応じてステップ関数的に透明度αが０から１になるように変化させてもよい。
また、前記半径ａが、前記ポインタ４０１とオブジェクトの奥行き方向の距離の大きさに比例して大きくなるようにしてもよい。このようにすれば、前記オブジェクト上で透明化されている領域の大きさによって、前記ポインタ４０１とオブジェクトの奥行き方向の距離を容易に推測することができる。
またさらに、前記オブジェクト上で透明化する領域は、図９４の下段に示したような半径ａの円領域に限らず、楕円（長円）領域、あるいは多角形領域など、予め定められた任意の形状であってもよい。
このような３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。ただし、本実施例４−３の３次元表示制御方法の場合、図８８に示した処理手順におけるステップ５１０では、図８９に示したステップ５１０ａから５１０ｃのような処理を行う。またさらに、図８９に示した処理手順におけるステップ５１０ｃでは、前記ポインタ４０１の奥行き位置よりも手前にあり、かつ、前記ポインタ４０１と重なるオブジェクト全体を透明化する代わりに、前述のように、前記ポインタ４０１の指し示しているＸＹ位置（ｘｐ，ｙｐ）と重なる点を中心とした円領域、または楕円領域、あるいは多角形領域など、前記予め定められた形状の領域のみを透明化する。
以上説明したように、本実施例４−３の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
また、本実施例４−３のように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ４０１の指し示している位置と重なる点を中心として部分的にオブジェクトを透明化させるので、たとえば、オブジェクトの透明化、不透明化の連続的な変化による視覚的な煩わしさを低減することができる。
[実施例４−４]
図９６および図９７は、実施例４−４の３次元表示制御方法を説明するための模式図であり、図９６は本実施例４−４の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９７は本実施例４−４の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９６は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
本実施例４−４では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化した後、ポインタが一定時間静止している場合は、透明化されたオブジェクトをもとの不透明な状態に戻し、透明化されたオブジェクトの表示内容を容易に認識することができるようにする表示制御方法について説明する。
また、本実施例４−４では、説明を簡単にするために、たとえば、図９６の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９６の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、前記ポインタ４０１の奥行き位置が、図９６の中段に示したように、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥になった場合、前記ウィンドウ４０３は透明化される。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
そして、前記操作者が、この状態においてマウスの操作を中断し、前記マウス本体およびホイールを動かさない状態が、たとえば、１秒間続いたとすると、図９６の下段に示すように、透明化されていた前記ウィンドウ４０３が、もとの不透明な状態の表示に戻る。この結果、前記観察者（操作者）は、たとえば、前記実施例４−１乃至実施例４−３で説明したように、前記ポインタ４０１を前記ウィンドウ４０３の奥行き位置よりも手前に移動させる操作をしなくても、前記ウィンドウ４０３の表示内容を認識することができるようになる。
また、図９６の下段に示したような状態で、前記マウスの操作を再開すれば、前記ポインタ４０１の奥行き位置よりも手前にあるウィンドウ４０３は再度透明化され、図９６の中段に示したように、前記ウィンドウ４０３の裏側に隠れていたポインタ４０１およびフォルダアイコン４０２ｂを認識できるようになる。
このような本実施例４−４の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図９７に示したステップ５０１からステップ５１３の処理を実行すればよい。
なお、図９７に示した処理手順におけるステップ５０１からステップ５１０は、図８８に示した処理手順のステップ５０１からステップ５１０の処理と同じ処理でよいので、詳細な説明は省略する。また、前記オブジェクトを透明化するときに、前記実施例４−２や実施例４−３で説明したような方法で透明化する場合は、前記ステップ５１０において、たとえば、図９３に示したステップ５１０ｄからステップ５１０ｈの処理、あるいは図９０に示した５１０ａからステップ５１０ｃのような処理を行えばよいので、この説明も省略する。
図８０に示したような構成の前記システム制御装置１において、本実施例４−４の３次元表示方法を実現するためには、図９７に示したステップ５１０の処理、すなわち、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化して表示させる処理がすんだ後、前記ポインタの操作に関する情報（ポインタ操作情報）の取得が継続しているか確認する（ステップ５１１）。そして、前記ポインタ操作情報の取得が継続している場合は、図９７に示したように、前記ステップ５０５からステップ５１０の処理を繰り返し、ポインタの表示位置の移動、ポインティングされているオブジェクトの表示の変更、ポインタの奥行き位置よりも手前にあるオブジェクトの透明化を続ける。
一方、前記ステップ５１１において、前記ポインタ操作情報の取得が中断していると判定した場合は、前記ポインタ操作情報の取得を中断してから一定の時間が経過したか確認する（ステップ５１２）。このとき、一定の時間が経過していなければ、ステップ５１１に戻り、再度確認を行う。
そして、前記ステップ５１１およびステップ５１２で、前記ポインタ操作情報の取得が中断し、かつ、中断してから一定の時間が経過していると判定した場合、前記オブジェクト生成／透明化手段１０５は、現在透明化されているオブジェクトを、もとの不透明な状態に戻し、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１３）。
前記システム制御装置１において、このような処理を実行することで、図９６に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
以上説明したように、本実施例４−４の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
また、本実施例４−４のように、前記ポインタ操作情報の取得が中断してから一定時間が経過した場合、透明化されているオブジェクトをもとの不透明な状態に戻して表示させることで、たとえば、実施例４−１乃至実施例４−３で説明したような、ポインタ４０１を観察者から見て手前の方向に移動させるという操作を行わなくても、前記ポインタ４０１より手前に表示されているオブジェクトの表示内容を認識することができる。
また、前記透明化されているオブジェクトの奥行き位置よりも奥に前記ポインタ４０１が表示されている状態のまま透明化されているオブジェクトを不透明化し、さらに、前記ポインタ操作情報の取得が再開した時点で前記不透明化されたオブジェクトを再度透明化するので、前記透明化されているオブジェクトの表示内容を確認するためにポインタを奥行き方向に移動させるという操作を省くことができ、前記観察者（操作者）の利便性がさらに向上する。
[実施例４−５]
図９８〜図１００は、実施例４−５の３次元表示制御方法を説明するための模式図であり、図９８はオブジェクトの選択方法を示す図、図９９は本実施例４−５の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図１００は本実施例４−５の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９８および図９９は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
本実施例４−５では、前記３次元空間内に表示されたオブジェクトを選択している状態で前記ポインタを移動させときに、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記選択しているオブジェクトは透明化せず、選択されていることを認識できるようにする表示制御方法について説明する。
前記表示装置３上の３次元空間内でポインタ４０１を操作するときには、前記実施例４−１乃至実施例４−４で説明したように、前記ポインタ４０１を３次元空間内で移動させてオブジェクトをポインティングする操作の他に、たとえば、１つ以上のオブジェクトを選択し、前記選択したオブジェクトを前記３次元空間内で移動させるといった操作を行うこともできる。
そこで、本実施例４−５では、まず、たとえば、図９８の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて前記オブジェクトを３次元空間内で移動させる動作について説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９８の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥に表示されているとする。すなわち、前記ウィンドウ４０３は、前記ポインタ４０１の奥行き位置よりも手前にあるので、透明化されているとする。
このとき、前記操作者が、たとえば、前記マウスの左ボタンを押しながら、前記マウス本体およびホイールを操作すると、図９８の中段に示したように、フォルダアイコン４０２ａ，４０２ｂを選択することができる。またこのとき、前記フォルダアイコン４０２ａ，４０２ｂは、通常の表示から、選択されていることを示す表示に切り替わる。そして、マウスの左ボタンを押すのをやめ、たとえば、前記ポインタ４０１で前記フォルダアイコン４０２ａをポインティングした後、再び前記マウスの左ボタンを押しながらホイールを回転させると、図９８の下段に示したように前記選択したフォルダアイコン４０２ａ，４０２ｂを、相対的な位置関係を保ちながら前記観察者から見て手前の方向に移動させることができる。
そして、前記操作者が、たとえば、図９８の下段または図９９の上段に示したように、前記フォルダアイコン４０２ａ，４０２ｂを移動させた後、前記選択した状態のまま、図９９の中段に示すように、前記ポインタ４０１を前記フォルダアイコン４０２ｂの方向に移動させたとする。このとき、図９９の中段に示したように、前記ポインタ４０１の奥行き位置が、前記フォルダアイコン４０２ｂよりも奥にあるとすると、前記実施例４−１乃至実施例４−４の表示制御方法では、前記フォルダアイコン４０２ｂは透明化されてしまう。しかしながら、前記フォルダアイコン４０２ｂが透明化されてしまうと、前記観察者は、前記フォルダアイコン４０２ｂが選択された状態であることを認識できなくなる。またさらに、図９９の中段に示したように、２つの選択されたフォルダアイコン４０２ａ，４０２ｂの各奥行き位置の間に前記ポインタ４０１があると、前記フォルダアイコン４０２ｂが透明化され、前記フォルダアイコン４０２ａが不透明な状態で表示されているため、前記フォルダアイコン４０２ａのみが選択されているのか、他のオブジェクトも一緒に選択されているのかが認識できない。
そこで、本実施例４−５では、図９９の中段に示したように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクト（フォルダアイコン４０２ｂ）であっても、選択された状態であれば、透明化せず、不透明な状態で表示する。この結果、前記観察者は、フォルダアイコン４０２ａ，４０２ｂが選択されている状態であることを容易に認識することができる。
そして、前記操作者が、たとえば、オブジェクトをポインティングしていない状態でマウスの左ボタンを押す等の操作をして、選択を解除すると、図９９の下段に示したように、前記フォルダアイコン４０２ａ，４０２ｂは、選択されていることを示す表示から通常の表示に戻る。そして、前記ポインタ４０１の奥行き位置よりも手前にあるフォルダアイコン４０２ｂは通常の表示に戻ると同時に、透明化される。
このような本実施例４−５の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図１００に示したステップ５０１からステップ５０６，ステップ５１４からステップ５１７の処理を実行すればよい。
なお、図１００に示した処理手順におけるステップ５０１からステップ５０６は、図８８に示した処理手順のステップ５０１からステップ５０６の処理と同じ処理でよいので、詳細な説明は省略する。
図８０に示したような構成の前記システム制御装置１において、本実施例４−５の３次元表示方法を実現するためには、図１００に示したステップ５０６の処理、すなわち、前記ポインタ４０１を新たな表示位置に表示させる処理がすんだ後、前記ポインタ位置算出手段１０２は、前記オブジェクト変更判定手段１０４に前記ポインタ４０１の奥行き位置よりも手前に透明化候補のオブジェクトがあるか否かを判定させる（ステップ５１４）。このとき、透明化候補のオブジェクトがなければ、ステップ５０２に戻り、次の入力情報を取得するまで待機する。
一方、透明化候補のオブジェクトがある場合、前記オブジェクト変更判定手段１０４は、次に、前記透明化候補のオブジェクトの中に、選択されている状態のオブジェクトがあるか否かを判定する（ステップ５１５）。そして、選択されている状態のオブジェクトがなければ、前記オブジェクト生成／透明化手段１０５に、前記透明化候補となっている全てのオブジェクトを透明化させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１６）。このとき、前記ステップ５１６では、前記実施例４−１乃至実施例４−３で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
また、前記透明化候補となっているオブジェクトの中に、選択されている状態のオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５に、前記選択されているオブジェクトを除く、非選択状態のオブジェクトのみを透明化させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１７）。このとき、前記ステップ５１７では、前記実施例４−１乃至実施例４−３で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
前記システム制御装置１において、このような処理を実行することで、図１００に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
なお、図１００に示した処理手順では、図８８に示した処理手順のステップ５０７およびステップ５０８を省略しているが、これらの処理が組み込まれていてもよい。また、前記オブジェクトを透明化するときに、前記実施例４−２や実施例４−３で説明したような方法で透明化する場合は、前記ステップ５１０において、たとえば、図９３に示したステップ５１０ｄからステップ５１０ｈの処理、あるいは図９０に示した５１０ａからステップ５１０ｃのような処理を行えばよい。
以上説明したように、本実施例４−５の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
また、前記オブジェクトを透明化するときに、透明化の候補であるオブジェクト、すなわち、前記ポインタの奥行き位置よりも手前にあるオブジェクトの中に、選択されている状態のオブジェクトがある場合、前記選択されているオブジェクトは透明化しないことで、前記オブジェクトが選択された状態であることを容易に認識することができる。
また、前記各実施例では、前記入力装置２としてホイール機能付きマウスを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、前記ポインタおよびオブジェクトの表示の制御方法を説明したが、前記入力装置２および前記表示装置３は、既存の種々の装置を用いることができることは言うまでもない。このとき、前記入力装置２としては、たとえば、キーボードやペンタブレット、あるいはゲームパッド等の装置を用いることができる。また、前記入力装置２は１種類に限らず、たとえば、キーボードとマウスを組み合わせ、前記キーボードの特定のキーを押しながらマウスを操作することで、前記ポインタの３次元的な移動操作や選択操作等を行うこともできる。また、前記表示装置３も、前記DFDのようなオブジェクトの立体表示が可能な３次元ディスプレイに限らず、既存のCRTや液晶ディスプレイ、プラズマディスプレイ等の２次元ディスプレイを用いることも可能である。前記表示装置３として前記２次元ディスプレイを用いた場合は、前記システム制御装置１の表示制御手段１０６において、３次元仮想空間を設定して前記３次元空間内に前記ポインタやオブジェクトを配置した後、前記３次元空間を前記２次元ディスプレイの表示面に投影した画像を生成し、前記２次元ディスプレイに表示させればよい。
また、本発明の３次元表示制御方法は、特殊な入力装置、制御装置、表示装置を用いることなく、既存の入力装置、制御装置、表示装置を組み合わせることで容易に実現することができる。また、本発明の３次元表示制御方法を適用した制御装置は、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、たとえば、前記実施例４−１乃至実施例４−５で説明したような表示制御方法をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれかの記録媒体に記録して提供することができる。また、前記記録媒体に記録して提供する代わりに、たとえば、インターネット等のネットワークを介して提供することもできる。
以上、本発明を、各実施の形態に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
（第１の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置／回転角度算出手段
１０３…ポインタ生成手段
１０４…ポインティング判定手段
１０５…オブジェクト生成手段
１０６…表示制御手段
２…入力装置
２０１…入力ペン
２０１Ｄ…入力ペンのボタン
２０１Ｐ…入力ペンのペン先
２０１Ｘ…入力ペンの筐体の軸
３…表示装置
３０１…表示装置に表現された３次元空間
３０２…オブジェクト
３０３…ポインタ
３０４…ウィンドウ
３０５…ゴミ箱オブジェクト
（第２の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置／回転角度算出手段
１０３…ポインタ生成手段
１０４…ポインティング判定手段
１０５…オブジェクト生成手段
１０６…表示制御手段
１０９…入力情報処理手段
２…入力装置
２０１…入力ペン
２０１Ｄ…操作手段（ボタン、ホイール、スライドバー）
２０１Ｐ…入力ペンのペン先
２０１Ｘ…入力ペンの筐体の軸
３…表示装置
３０１…表示装置に表現された３次元空間
３０２…オブジェクト
３０３…ポインタ
３０４…ウィンドウ
３０５…ゴミ箱オブジェクト
（第３の実施の形態）
１…システム制御装置（ポインティング装置）
１０１…入力情報取得手段
１０２…ポインタ位置／変形量算出手段
１０３…ポインタ生成手段
１０４…表示制御手段
１０５…ポインティング判定手段
１０６…オブジェクト生成手段
１０７…処理制御手段
１０８…記憶手段
２…入力装置
２０１…キーボード
２０２…マウス
３…表示装置
３０１，３０１Ａ，３０１Ｂ…表示面
４…ポインタ
５…オブジェクト
（第４の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置算出手段
１０３…ポインタ生成手段
１０４…オブジェクト変更判定手段
１０５…オブジェクト生成／透明化手段
１０６…表示制御手段
２…入力装置
２０１…ホイール機能付きマウス（マウス）
２０１Ａ…マウスのホイール
３…表示装置
３０１Ａ…手前の表示面
３０１Ｂ…奥の表示面
４…オブジェクト
４Ａ…手前の表示面に表示されたオブジェクト
４Ｂ…奥の表示面に表示されたオブジェクト
４０１…ポインタ
４０２ａ〜４０２ｇ…フォルダアイコン
４０３，４０３ａ〜４０３ｃ…ウィンドウ

Claims (17)

  1. あらかじめ定められた検出面上を入力ペンのペン先で指し示した時の、指し示した位置の２次元的な座標と、入力ペンのペン先にかかる圧力である筆圧と、入力ペンの軸と前記検出面がなす角度である入力ペンの傾き角と、入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、
    前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、
    前記３次元空間における延長線上に３次元ポインタを表示させ、
    前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法。
  2. あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点に前記生成したポインタを表示させてポインティングさせる３次元ポインティング装置であって、
    前記入力ペンからの２次元的な座標および前記筆圧の情報を取得する入力情報取得手段と、
    前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置および回転角度を算出するポインタ位置／回転角度算出手段と、
    前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、
    前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、
    前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、
    前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、
    前記ポインタ位置／回転角度算出手段は、前記入力ペンの筆圧に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、
    前記入力情報取得手段は、前記２次元的な座標および前記筆圧の情報に加え、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とを取得し、
    前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角と前記入力ペンの方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置。
  3. あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作と、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、
    前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、
    前記３次元空間における延長線上に３次元ポインタを表示させ、
    前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手段の操作に応じて、前記３次元ポインタの、前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法。
  4. あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点にポインタを表示させてポインティングさせる３次元ポインティング装置であって、
    前記入力ペンからの２次元的な座標と、前記入力ペンのペン先の接触の有無または前記入力ペンの操作手段の操作の情報を取得する入力情報取得手段と、
    前記入力情報取得手段で取得した情報に基づいて、前記入力ペンのペン先で指し示し続けた時間、または前記操作手段が操作された量を算出する入力情報処理手段と、
    前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置を算出するポインタ位置／回転角度算出手段と、
    前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、
    前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、
    前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、
    前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、
    前記ポインタ位置／回転角度算出手段は、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、
    前記入力情報取得手段は、さらに前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角の情報と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角の情報とを取得し、
    前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角および方位角に基づき、前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置。
  5. 前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することを特徴とする請求項１または請求項３に記載の３次元ポインティング方法。
  6. 前記３次元ポインタで前記３次元空間に表示されたオブジェクトをポインティングしているときに、当該オブジェクトを選択または掴むための操作がなされると、
    前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示することを特徴とする請求項１または請求項３に記載の３次元ポインティング方法。
  7. 前記３次元空間に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、
    前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に表示し、
    前記２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けることを特徴とする請求項１または請求項３に記載の３次元ポインティング方法。
  8. 前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させる請求項１に記載の３次元ポインティング方法。
  9. 前記ポインティング判定手段は、前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することを特徴とする請求項２または請求項４に記載の３次元ポインティング装置。
  10. 前記オブジェクト生成手段は、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて生成する手段を備え、
    前記３次元空間内に表示された３次元ポインタで前記３次元空間内に表示されたオブジェクトをポインティングしているときに、前記オブジェクトを選択または掴むための操作がなされると、
    前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示させることを特徴とする請求項２または請求項４に記載の３次元ポインティング装置。
  11. 前記入力情報取得手段は、さらに前記検出面上を前記入力ペンのペン先で指し示したときの前記入力ペンの軸周りの回転角である入力ペンの回転角の情報を取得し、
    前記ポインタ位置／回転角度算出手段は、前記入力ペンの回転角に応じて、前記３次元ポインタの軸周りの回転角を変化させて算出することを特徴とする請求項２または請求項４に記載の３次元ポインティング装置。
  12. 前記オブジェクト生成手段は、前記３次元空間内に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に投影したオブジェクトを生成する手段を備えることを特徴とする請求項２または請求項４に記載の３次元ポインティング装置。
  13. 前記ポインタ位置／回転角度算出手段は、前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させる請求項２または請求項４に記載の３次元ポインティング装置。
  14. 前記オブジェクト生成手段は、前記最も手前の面に２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けた後、前記オブジェクトに対する操作または編集あるいは加工を終了するための操作がなされたときに、前記２次元的に表示されたオブジェクトを、前記操作または編集あるいは加工を開始するための操作がなされる直前の３次元的な表示状態に戻したオブジェクトを生成する手段を備えることを特徴とする請求項１２に記載の３次元ポインティング装置。
  15. 前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じてペン先の長さが短くなる構造を有し、
    前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することを特徴とする請求項２に記載の３次元ポインティング装置。
  16. 前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、
    前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することを特徴とする請求項４に記載の３次元ポインティング装置。
  17. 請求項２、請求項４、または、請求項９乃至請求項１６のいずれか１項に記載の３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラム。
JP2011254231A 2004-10-12 2011-11-21 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム Active JP5230787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011254231A JP5230787B2 (ja) 2004-10-12 2011-11-21 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2004297927 2004-10-12
JP2004297927 2004-10-12
JP2004306636 2004-10-21
JP2004306636 2004-10-21
JP2004309667 2004-10-25
JP2004309667 2004-10-25
JP2005185131 2005-06-24
JP2005185131 2005-06-24
JP2011254231A JP5230787B2 (ja) 2004-10-12 2011-11-21 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009255526A Division JP5074475B2 (ja) 2004-10-12 2009-11-06 ３次元表示制御方法、３次元表示制御装置、及び３次元表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2012079328A true JP2012079328A (ja) 2012-04-19
JP5230787B2 JP5230787B2 (ja) 2013-07-10

Family

ID=36148384

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006540952A Expired - Fee Related JP4515458B2 (ja) 2004-10-12 2005-10-12 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
JP2009255526A Active JP5074475B2 (ja) 2004-10-12 2009-11-06 ３次元表示制御方法、３次元表示制御装置、及び３次元表示制御プログラム
JP2011254231A Active JP5230787B2 (ja) 2004-10-12 2011-11-21 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2006540952A Expired - Fee Related JP4515458B2 (ja) 2004-10-12 2005-10-12 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
JP2009255526A Active JP5074475B2 (ja) 2004-10-12 2009-11-06 ３次元表示制御方法、３次元表示制御装置、及び３次元表示制御プログラム

Country Status (6)

Country Link
US (1) US7880726B2 (ja)
EP (1) EP1821182B1 (ja)
JP (3) JP4515458B2 (ja)
KR (1) KR100832355B1 (ja)
CN (3) CN101308442B (ja)
WO (1) WO2006041097A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175819A1 (ja) * 2012-05-23 2013-11-28 日立コンシューマエレクトロニクス株式会社 映像表示装置、およびその映像操作方法
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP4832826B2 (ja) * 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
KR100811954B1 (ko) * 2006-07-13 2008-03-10 현대자동차주식회사 물체상 표시방법
WO2008024072A1 (en) * 2006-08-25 2008-02-28 Weike (S) Pte Ltd Virtual gaming system and method
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
JP4489825B2 (ja) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4442683B2 (ja) * 2007-11-27 2010-03-31 セイコーエプソン株式会社 表示システム、表示装置及びプログラム
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체
JP2009245239A (ja) 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8508475B2 (en) * 2008-10-24 2013-08-13 Microsoft Corporation User interface elements positioned for display
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
TWI378370B (en) * 2009-05-07 2012-12-01 Wistron Corp Buffered stylus
KR20110004027A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 펜형 입력 장치 및 이를 이용한 입력 방법
CN101599182B (zh) * 2009-07-29 2012-10-03 威盛电子股份有限公司 三维物件旋转方法和与其对应的计算机系统
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100940744B1 (ko) * 2009-09-24 2010-02-04 (주)디지탈아리아 임베디드 및 모바일 기기에서 3차원 질감을 가진 표면의 접촉 그래픽 효과를 구현하는 방법
US8847889B2 (en) * 2009-10-20 2014-09-30 Shenzhen Yibao Technology Co., Ltd. Mouse pen and photoelectric control switch thereof
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
CN101739202B (zh) * 2009-11-06 2011-11-30 谢达 一种局部会自动透视的用户界面显示方法
FI20090434A (fi) * 2009-11-17 2011-05-18 Tampereen Yliopisto Menetelmä, tietokoneohjelma ja laite tietokoneen kanssa tapahtuvaan vuorovaikutukseen
JP5238676B2 (ja) * 2009-11-24 2013-07-17 株式会社コナミデジタルエンタテインメント 入力受付装置、入力判定方法、および、プログラム
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
JP2011177203A (ja) * 2010-02-26 2011-09-15 Nintendo Co Ltd オブジェクト制御プログラムおよびオブジェクト制御装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8458615B2 (en) 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
JP5229273B2 (ja) * 2010-05-28 2013-07-03 株式会社Ｊｖｃケンウッド タッチパネルを有する電子機器、及び動作制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5520698B2 (ja) 2010-06-07 2014-06-11 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲームシステム
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
JP5617375B2 (ja) 2010-06-22 2014-11-05 ソニー株式会社 画像表示装置、表示制御方法及びプログラム
JP5574849B2 (ja) * 2010-06-28 2014-08-20 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN102971692B (zh) * 2010-06-29 2016-06-08 富士胶片株式会社 三维显示设备、三维图像捕获设备、和指示确定方法
JP5589625B2 (ja) * 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2012025159A1 (en) * 2010-08-27 2012-03-01 Brainlab Ag Multiple-layer pointing position determination on a medical display
JP2012058896A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、プログラムおよび情報処理方法
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5655478B2 (ja) * 2010-10-01 2015-01-21 ソニー株式会社 情報処理装置、情報処理方法
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP2012103980A (ja) * 2010-11-11 2012-05-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120119990A1 (en) * 2010-11-12 2012-05-17 Kye Systmes Corp. Pointer control device, system and method
JP5649169B2 (ja) 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
KR101788049B1 (ko) * 2010-12-15 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
JP5136675B2 (ja) * 2011-06-09 2013-02-06 ソニー株式会社 ポインタ表示装置、ポインタ表示検出方法及び情報機器
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
JP2013016018A (ja) * 2011-07-04 2013-01-24 Canon Inc 表示制御装置、制御方法及びプログラム
US9373168B2 (en) * 2011-07-13 2016-06-21 Koninklijke Philips N.V. Method for automatically adjusting a focal plane of a digital pathology image
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
CN103946773A (zh) * 2011-08-29 2014-07-23 S·瓦利切克 多功能笔输入外围计算机控制器
CN102981743B (zh) * 2011-09-05 2016-05-25 联想(北京)有限公司 控制操作对象的方法及电子设备
US9501098B2 (en) 2011-09-19 2016-11-22 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
US9519350B2 (en) 2011-09-19 2016-12-13 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
CN103842945B (zh) * 2011-10-11 2016-09-28 国际商业机器公司 对象指向方法、设备
CN102508563B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法以及被操作设备
CN102426486B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法及被操作设备
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
CN102508562B (zh) * 2011-11-03 2013-04-10 深圳超多维光电子有限公司 一种立体交互系统
CN102508561B (zh) * 2011-11-03 2013-11-06 深圳超多维光电子有限公司 一种操作棒
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
WO2013135270A1 (en) * 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
JP6123160B2 (ja) * 2012-03-13 2017-05-10 株式会社ニコン 電子機器、及び表示装置
AU2013259614B2 (en) 2012-05-09 2016-08-25 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
EP2847657B1 (en) 2012-05-09 2016-08-10 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법
JP5863984B2 (ja) * 2012-10-05 2016-02-17 Ｎｅｃソリューションイノベータ株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP6096473B2 (ja) * 2012-11-01 2017-03-15 東芝メディカルシステムズ株式会社 医用画像診断装置、および、医用画像処理方法
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
AU2013368445B8 (en) 2012-12-29 2017-02-09 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select contents
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105277A2 (en) * 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
EP2763019A1 (en) * 2013-01-30 2014-08-06 BlackBerry Limited Stylus based object modification on a touch-sensitive display
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
JP5616503B1 (ja) * 2013-08-30 2014-10-29 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
KR101952928B1 (ko) 2013-10-30 2019-02-27 애플 인크. 관련 사용자 인터페이스 객체를 표시
US10430017B2 (en) * 2013-12-04 2019-10-01 City University Of Hong Kong Target pointing system making use of velocity dependent cursor
US10423245B2 (en) * 2014-01-31 2019-09-24 Qualcomm Incorporated Techniques for providing user input to a device
JP2015149634A (ja) 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
DE112014006380T5 (de) * 2014-02-18 2016-11-24 Mitsubishi Electric Corporation Gestenführungsvorrichtung für eine bewegliche Plattform, Gestenführungssystem für eine bewegliche Plattform und Gestenführungsverfahren für eine bewegliche Plattform
JP2015156135A (ja) * 2014-02-20 2015-08-27 株式会社東芝 表示装置、方法及びプログラム
CN103984425B (zh) * 2014-04-25 2017-01-04 深圳超多维光电子有限公司 用于立体显示交互的操作棒和操作棒的控制方法
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
JP6112618B2 (ja) * 2014-07-17 2017-04-12 Ｎｅｃプラットフォームズ株式会社 情報処理システム
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
CN105787402B (zh) 2014-12-16 2019-07-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
KR101652973B1 (ko) * 2014-12-17 2016-09-05 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하는 디지타이저
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
SG11201707278SA (en) * 2015-03-20 2017-10-30 Ricoh Co Ltd Display apparatus, display control method, display control program, and display system
JP6651297B2 (ja) 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
KR102465804B1 (ko) * 2015-05-12 2022-11-10 엘지전자 주식회사 영상표시장치 및 그것의 제어방법
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US11262897B2 (en) 2015-06-12 2022-03-01 Nureva Inc. Method and apparatus for managing and organizing objects in a virtual repository
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
US9684391B1 (en) * 2015-12-11 2017-06-20 Logomark, Inc. Telescopic mechanism and touch tool for writing instrument or the like
CN105427824B (zh) * 2016-01-05 2016-11-30 京东方科技集团股份有限公司 具有漏电补偿模块的goa电路、阵列基板和显示面板
EP3404524B1 (en) * 2016-02-04 2022-04-06 Huawei Technologies Co., Ltd. Data processing method and electronic device
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10613666B2 (en) * 2016-07-15 2020-04-07 Apple Inc. Content creation using electronic input device on non-electronic surfaces
US10915185B2 (en) 2016-10-31 2021-02-09 Hewlett-Packard Development Company, L.P. Generating a three-dimensional image using tilt angle of a digital pen
KR20180074070A (ko) * 2016-12-23 2018-07-03 현대자동차주식회사 차량, 및 그 제어방법
JP6382928B2 (ja) * 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
CN110402621B (zh) * 2017-03-08 2021-08-03 株式会社富士 三维安装装置及三维安装方法
CN107102750B (zh) * 2017-04-23 2019-07-26 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
WO2019017900A1 (en) * 2017-07-18 2019-01-24 Hewlett-Packard Development Company, L.P. PROJECTING INPUTS TO REPRESENTATIONS OF THREE-DIMENSIONAL OBJECTS
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
US10592013B2 (en) * 2018-04-25 2020-03-17 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
CN108984262B (zh) * 2018-07-12 2021-04-13 宁波视睿迪光电有限公司 三维指针的创建方法、装置及电子设备
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
CN117170620A (zh) 2019-05-31 2023-12-05 苹果公司 用于音频媒体控件的用户界面
US11042220B2 (en) * 2019-08-02 2021-06-22 Gustavo Mantovani Ruggiero Three-dimensional input device
KR102221172B1 (ko) * 2019-10-04 2021-03-02 (주) 아이.에스.브이. 펜마우스의 가상클릭 제어방법
US11946996B2 (en) 2020-06-30 2024-04-02 Apple, Inc. Ultra-accurate object tracking using radar in multi-object environment
US20220004299A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11681835B2 (en) * 2020-12-31 2023-06-20 Hexagon Technology Center Gmbh Rapid positioning drawing system and method
US11614806B1 (en) 2021-05-12 2023-03-28 Apple Inc. Input device with self-mixing interferometry sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134521A (ja) * 1987-11-19 1989-05-26 Toppan Printing Co Ltd 三次元座標入力・修正装置
JPH031217A (ja) * 1989-05-29 1991-01-07 Olympus Optical Co Ltd 立体画像処理装置
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022359B2 (ja) 1981-12-10 1985-06-01 松下電器産業株式会社 立体表示装置の表示入力装置
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US4808979A (en) 1987-04-02 1989-02-28 Tektronix, Inc. Cursor for use in 3-D imaging systems
JPH0573208A (ja) 1991-09-13 1993-03-26 Wacom Co Ltd 制御装置分離型の表示装置付座標検出装置
JPH0675693A (ja) 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JPH0816137A (ja) 1994-06-29 1996-01-19 Nec Corp ３次元座標入力装置及びカーソル表示制御方式
JPH08248938A (ja) 1995-03-13 1996-09-27 Mitsubishi Electric Corp ポインティング装置
JP3741764B2 (ja) 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
JP2976879B2 (ja) * 1996-03-22 1999-11-10 日本電気株式会社 深さ付きウィンドウ表示方式
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP3539839B2 (ja) 1996-06-18 2004-07-07 コナミ株式会社 疑似３次元表示されたフィールド内におけるカーソルの表示方法、ゲームシステム及び記録媒体
JP3476651B2 (ja) * 1997-05-09 2003-12-10 シャープ株式会社 データ表示装置およびデータ表示プログラムを格納したコンピュータ読み取り可能な記録媒体
JPH117372A (ja) 1997-06-17 1999-01-12 Hitachi Ltd 図形選択装置
JPH11341456A (ja) * 1998-05-29 1999-12-10 Matsushita Graphic Communication Systems Inc 家庭用マルチメディア通信システム
JP2000099232A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページ多重同時表示閲覧方法および装置とＷｅｂページ多重同時表示閲覧プログラムを記録した記録媒体
JP2000185179A (ja) 1998-12-24 2000-07-04 Copcom Co Ltd 画像処理装置および記録媒体
EP1109091A1 (en) 1999-12-14 2001-06-20 Sun Microsystems, Inc. Display of selectable objects using visual feedback
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
CN1369863A (zh) * 2001-02-15 2002-09-18 矽统科技股份有限公司 通过预先排序以增进三维空间电脑绘图效果的方法
NZ511120A (en) 2001-04-12 2003-05-30 Deep Video Imaging Ltd Multi screen display, each screen being spaced physically apart from the other
JP2003076719A (ja) * 2001-06-22 2003-03-14 Sony Computer Entertainment Inc 情報閲覧プログラム、情報閲覧プログラムを記録した記録媒体、情報閲覧装置及び方法、情報生成プログラム、情報生成プログラムを記録した記録媒体、情報生成装置及び方法、情報生成閲覧システム
AU2003214910A1 (en) * 2002-01-25 2003-10-13 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
JP3982288B2 (ja) * 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
JP2004054777A (ja) * 2002-07-23 2004-02-19 Minolta Co Ltd ファイル管理装置
EP1400924B1 (en) * 2002-09-20 2008-12-31 Nippon Telegraph and Telephone Corporation Pseudo three dimensional image generating apparatus
JP2004362408A (ja) 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
US7480873B2 (en) 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134521A (ja) * 1987-11-19 1989-05-26 Toppan Printing Co Ltd 三次元座標入力・修正装置
JPH031217A (ja) * 1989-05-29 1991-01-07 Olympus Optical Co Ltd 立体画像処理装置
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175819A1 (ja) * 2012-05-23 2013-11-28 日立コンシューマエレクトロニクス株式会社 映像表示装置、およびその映像操作方法
JP2013242821A (ja) * 2012-05-23 2013-12-05 Hitachi Consumer Electronics Co Ltd 映像表示装置、およびその映像操作方法
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말

Also Published As

Publication number Publication date
EP1821182B1 (en) 2013-03-27
CN101308441A (zh) 2008-11-19
JP4515458B2 (ja) 2010-07-28
CN100407118C (zh) 2008-07-30
KR20070039868A (ko) 2007-04-13
CN1910543A (zh) 2007-02-07
CN101308442A (zh) 2008-11-19
KR100832355B1 (ko) 2008-05-26
WO2006041097A1 (ja) 2006-04-20
US7880726B2 (en) 2011-02-01
EP1821182A4 (en) 2011-02-23
JPWO2006041097A1 (ja) 2008-05-15
CN101308442B (zh) 2012-04-04
CN101308441B (zh) 2010-09-22
JP5230787B2 (ja) 2013-07-10
EP1821182A1 (en) 2007-08-22
US20080225007A1 (en) 2008-09-18
JP5074475B2 (ja) 2012-11-14
JP2010055627A (ja) 2010-03-11

Similar Documents

Publication Publication Date Title
JP5230787B2 (ja) ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
US8638315B2 (en) Virtual touch screen system
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
US6232957B1 (en) Technique for implementing an on-demand tool glass for use in a desktop user interface
US6333753B1 (en) Technique for implementing an on-demand display widget through controlled fading initiated by user contact with a touch sensitive input device
US10031608B2 (en) Organizational tools on a multi-touch display device
KR100811160B1 (ko) 사용자명령을 3차원적으로 입력가능한 전자장치
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
KR101794498B1 (ko) 터치-감지형 디스플레이를 사용하여 오브젝트를 복제하는 방법 및 시스템
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
CA2957383A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
EP2282256A1 (en) Electronic device and method for controlling an electronic device
Wolf et al. Performance envelopes of in-air direct and smartwatch indirect control for head-mounted augmented reality
JP7245167B2 (ja) 表示情報及び／又はデータの同時多機能操作を可能とするディスプレイを備えたスマートデバイス
Darbar et al. Text selection in ar-hmd using a smartphone as an input device
Dachselt et al. A Survey and Taxonomy of 3D Menu Techniques.
Everitt et al. Modal spaces: spatial multiplexing to mediate direct-touch input on large displays
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
Wesche The ToolFinger: supporting complex direct manipulation in virtual environments
Declec et al. Tech-note: Scruticam: Camera manipulation technique for 3d objects inspection
Pfeuffer Extending Touch with Eye Gaze Input
Petersen et al. Extending the Interaction Space of Rotary Knobs by Multi-touch-based Grasp Recognition
KR20100119599A (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5230787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350