JP2000504450A - ユーザフィードバックメカニズムによるカーソル制御 - Google Patents

ユーザフィードバックメカニズムによるカーソル制御

Info

Publication number
JP2000504450A
JP2000504450A JP10520218A JP52021898A JP2000504450A JP 2000504450 A JP2000504450 A JP 2000504450A JP 10520218 A JP10520218 A JP 10520218A JP 52021898 A JP52021898 A JP 52021898A JP 2000504450 A JP2000504450 A JP 2000504450A
Authority
JP
Japan
Prior art keywords
cursor
feedback
level
pixel
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10520218A
Other languages
English (en)
Other versions
JP4229244B2 (ja
Inventor
リチャード デヴィッド ギャラリー
Original Assignee
フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィリップス エレクトロニクス ネムローゼ フェンノートシャップ filed Critical フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Publication of JP2000504450A publication Critical patent/JP2000504450A/ja
Application granted granted Critical
Publication of JP4229244B2 publication Critical patent/JP4229244B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/015Force feedback applied to a joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 フィードバック手段を、2または3次元グラフィックユーザインタフェース用カーソル制御メカニズムと関連して提供する。フィードバックレベルを、前記カーソルによって現在示されている画素(P)における色調の変化(グレイスケールまたは色成分)によって決定する。好適には、前記レベルを、前記示された画素(P)を取り囲む画素(A)のパッチを横切る微分を発生することによって設定し、互いに直交する方向(XおよびY)における微分発生を、2または3方向における独立したフィードバック用に与える。この技術は、ウィンドウ境界線(36)またはテクスチャ処理されたパッチのようなインタフェース特徴を、示された場合にフィードバックをトリガするのに必要なこれらの特徴のために特別に制作されたソフトウェアなしで、ユーザに識別させることができる。

Description

【発明の詳細な説明】 ユーザフィードバックメカニズムによるカーソル制御 本発明は、ユーザに示されたグラフィックユーザインタフェースに関するカー ソルの動きを制御するためのユーザが操作できる装置を有するデータ処理装置に 関係する。特に、本発明は、ユーザにフィードバック、特に、しかし排他的にで はなく、触覚フィードバックを与え、ユーザに前記グラフィックユーザインタフ ェースの特徴に対する前記カーソルの現在の位置に関係する追加の情報を与える 手段を有する装置に特に関係する。 このようなフィードバックメカニズムの一例は、欧州特許出願公開明細書第0 607580号(セルカー/IBM)に記載されており、この既知のメカニズム においては、フィードバック信号をカーソルに関係するステータス情報において 発生し、このようなステータス情報は、前記カーソルのウィンドウハンドルを含 む。棒をアクチュエータにその一方の端において取り付けた指示棒メカニズムが 記載されており、ホストコンピュータ装置によって前記ステータス情報に基づい て発生された一時的フィードバック信号が前記アクチュエータを活性化し、前記 指示棒に力を加える。前記ホストコンピュータ装置に、キーボードにおけるキー の間の位置決めスティック装置において、またはマウスカーソル制御内に搭載し てもよいこの棒を、前記棒の反対側の端に接続されたアクチュエータの活性化に よってユーザの指先を押すように配置する。ウィンドウ境界線およびハンドルの ような特徴を前記棒の動きによって示すような前記ステータス情報に基づく活性 化によって、前記欧州特許の装置は、前記カーソルが画面上に表示された特徴を 操作する位置にある場合、表示されたカーソルの形状の変化を待つためか、前記 カーソルの動きに対する物理的な抵抗の形態において与えられるフィードバック の結果として、前記画面に対するカーソルの動きを遅くしなければならないこと なく、正確なユーザの認識を増すことを目的とする。 カーソルの動きに伴うフィードバックの他の形態は、ユーザに対して隠され、 部分的に表示されるコンピュータインタフェースを記載している米国特許明細書 第5186629号(ロヘン/IBM)に記載されている。カーソル位置および メニューの選択を、信号音発生および音声合成を含む聴覚フィードバックによっ て示す。加えて、触覚フィードバックを、ユーザの手にマウスにおけるパッドを 通じて伝えられる弱い交流電流の形態において与える。この装置において、聴覚 および触覚の合図は、ユーザが前記インタフェースの精神的像を構築するのを助 ける。 上述した双方の装置に伴う問題は、前記カーソルがウィンドウハンドル上に位 置するか、アイコンを活性化している場合のような、前記触覚または他のフィ− ドバックの発生をトリガするための前記カーソルステータス情報を与えるために 、前記ユーザインタフェースの表現を特別に創作することにこれらが依存してい ることである。触覚および他のフィードバックメカニズムがより普及するにつれ て、これらのようなメカニズムの活性化に必要な合図を含むソフトウェアパッケ ージがより普及するであろう。現在これらは互いに依存し合っているため、期待 または要求される特徴としての触覚および他のフィードバックメカニズムをユー ザが受け取るのは遅くなるかもしれない。 したがって、本発明の目的は、カーソル制御ユーザインタフェースに関してフ ィードバック合図を、前記インタフェースの動作を管理するどのような制御機能 とも独立して発生する手段を提供することである。 本発明によれば、画素ディスプレイにおいてカーソルを制御するカーソル制御 装置であって、カーソル制御信号を発生し、このカーソル制御信号を前記ディス プレイ送信する制御手段と、該カーソル制御装置のオペレータにパラメータ設定 を示すフィードバック手段とを具えるカーソル制御装置において、前記カーソル が上にある前記ディスプレイの少なくとも第1の画素に対して色調レベルを決定 する監視手段を配置し、ユーザに示される前記パラメータ設定をフィードバック 制御手段によって少なくとも部分的に前記決定された色調レベルから得るように したことを特徴とするカーソル制御装置が提供される。 また、本発明によれば、カーソルを表示する画素ディスプレイと、前記画素デ ィスプレイに接続されたホストコンピュータ装置と、前記ホストコンピュータに 結合されカーソル制御信号を発生するカーソル制御手段とを具え、前記ホストコ ンピュータが、前記カーソル制御信号を受け、カーソル表示信号を発生し、この カーソル表示信号を前記画素ディスプレイに送り、前記カーソル制御手段が、前 記カーソル制御手段のオペレータにパラメータ設定を示すフィードバック手段を 具えるコンピュータ装置において、前記カーソルが上にある前記ディスプレイの 少なくとも第1の画素に対して色調レベルを決定する監視手段を配置し、ユーザ に示される前記パラメータ設定をフィードバック制御手段によって少なくとも部 分的に前記決定された色調レベルから得るようにしたことを特徴とするコンピュ ータ装置が提供される。 前記決定された色調レベルを、少なくとも1つの画素に関する1つ以上の画素 色成分のグレイレベルとしてもよく、前記フィードバック手段は、前記決定され た色調レベルが第1しきい値を越える場合に動作してもよく、または、瞬時の前 記色調レベルによって直接決定される連続的に変化するフィードバックレベルを 出力できるようにしてもよい。前記監視手段を、第1の領域を取り囲む1つ以上 の他の領域における(例えば、第1の選択された画素を取り囲む8画素の各々に おける)色調レベルを決定し、前記第1および他の領域と交差する少なくとも1 方向における色調変化の微分を決定し、前記フィードバックをユーザに対して瞬 時の前記微分によって決定されるレベルにおいて発生するように配置してもよい 。このような配置において、前記監視手段を、好適には前記第1および他の領域 と交差する2つの互いに直交する方向における微分を決定するように配置し、こ のとき前記フィードバック手段は、前記2方向における色調変化を各々示す2つ の独立して動作するフィードバック手段を具えてもよい。 代表的なウィンドウベースのコンピュータインタフェースにより、ウィンドウ 境界線は、ボタンおよびスライダであるように、グレイレベル(または、個々の 色成分レベル)における変化によって明瞭に境界付けられる。現在の前記カーソ ル位置におけるXおよびY方向の内の一方または双方における微分は、ウィンド ウ境界を示す前記グレイレベルまたは色成分レベルにおける変化の量を示す値を 発生する。代わりの配置において、前記監視手段は、上書きされたディスプレイ 画素値の記録を保持するように配置されたカーソル画素格納手段を含み、前記色 調変化の微分を、前記カーソルの最新の動きのラインに沿った前記色調変化から 得る。 前記フィードバック手段は、力を前記装置のユーザの身体に前記決定された色 調レベルによって制御されるレベルにおいて加えるように配置された力発生手段 を含んでもよい。代わりに、これらのような力発生手段は、何か他の要因によっ て決定されるレベルにおける力を加えていてもよく、このときこの力を前記決定 された色調レベルから得られた量によって変更(調節または増補)する。 本発明は、2次元インタフェースに限定されず、前記ディスプレイがコンピュ ータが発生した3次元環境を表示し、前記カーソルが前記3次元においてユーザ の制御の下で動くことができるアイコンである用途を有し、このような使用に好 適な前記装置は、前記カーソルが前記仮想環境の特徴と接触する場合を決定する ように動作できる衝突(または接触)検知手段を含み、前記フィードバック手段 は、このような接触が継続している間、動作可能になる。 本発明の他の特徴および利点は、以下の例としてのみ示す好適実施形態の説明 を添付した図の参照と共に読むことによって明らかになるであろう。 図1は、本発明を実行する、2次元グラフィックユーザインタフェースを有す るパーソナルコンピュータ(PC)を表す。 図2は、本発明の動作を説明する図1の画素ディスプレイの一部の拡大図であ る。 図3は、図1の実施形態の機能的特徴を示すブロック図である。 図4は、本発明の他の実施形態による、3次元仮想環境を発生する手段と、同 様に相互作用するユーザが操作可能な手段のブロック図である。 図5ないし8は、本発明と関連して好適に使用できる接触フィードバックメカ ニズムを取り入れたカーソル制御装置の異なる形態を表す。 最初に、慣例的な2次元ユーザインタフェースと関連して触覚合図を提供する 本発明の簡単な実装を考え、図1は、キーボード12からの入力を受け、モニタ 画面14を経て表示するパーソナルコンピュータ10から成る代表的なパーソナ ルコンピュータ(PC)装置を表す。図示したように、前記グラフィックユーザ インタフェースを既知のウィンドウ形式のものとし、2つのウィンドウ16、1 8を「開」位置において示し、「閉められて」おり、ユーザが利用可能な2つの 他のウィンドウをアイコン20として示す。ウィンドウ16、18およびアイコ ン20は、一般的に背景「壁紙」22の上に位置し、この背景「壁紙」22は、 単純な白または他の色の背景か、より複雑な模様のパターンを具えてもよく、異 なる壁紙のメニューからのユーザが選択可能な選択は、多数の既知のグラフィッ クユーザインタフェースパッケージの特徴である。(関係するメニューボタンお よびスライダ制御と共に)アイコンおよびウィンドウのユーザの選択、活性化お よび操作はカーソル24を介し、このカーソル24を、前記画面に対して、キー ボード12における方向キーの操作によって、または、よりユーザに親切な方法 において、マウス26、トラックボールまたはジョイスティック(図示せず)の ような他のユーザ入力装置(UID)の使用によって動かすことができる。マウ ス26または他のUIDには、代表的に、1つ以上のボタン28が設けられてお り、これらのボタン28によって、アイコン、カーソルボタンまたはメニュー項 目の上にカーソル24が位置するときにこれらを活性化する。これらのようなグ ラフィックユーザインタフェースの発生およびカーソル操作の技術は、当業者に はよく知られており、本発明の動作の説明に必要なことを除いて、さらに説明は しない。 動作において、カーソル24が前記スクリーンに対して動くと、前記カーソル とアイコンのエッジまたはウィンドウの境界線との一致が、マウス26に搭載さ れ、ユーザの手首の上部の下に位置する簡単なアクチュエータ30のような力フ ィードバックメカニズムを介してユーザに示され、アクチュエータ30は、ユー ザの手を叩き、丁度境界を越えたことを示す。以下を読むことから理解されるよ うに、フィードバック装置の個々の形態は、本発明の動作に密接な関係はなく、 大部分の基本的な実装において、ユーザに境界線を越えたことを示せられること が単に必要であり、アクチュエータのような触覚手段および/または単純なビー プ音のようなオーディオフィードバックを具えてもよい。より複雑な形態の装置 を使用してもよく、説明のため、いくつかの異なる形態のフィードバック手段と 、これらの有用な(しかし、任意の)特徴とを、以下に説明する。 図2は、本発明の一実施形態による動作を図式的に説明し、図1のディスプレ イにおけるウィンドウ18の右下角の周囲の部分を示す。このウィンドウは、ウ ィンドウ18内と画面壁紙22とに使用されているのとは異なる背景色を有する 2画素幅の黒っぽい境界線を有する。ウィンドウ18の角と交差するカーソル2 4の動きを、一般的に矢印38によって示す。3×3画素のパッチの列Aないし Gを、前記カーソルの経路に沿って示す。これらのパッチの各々に関して、グレ イレベルおよび/または1つ以上の色成分レベル(一般的に、以下、色調レベル と呼ぶ)の変化を使用し、ユーザに対する前記触覚フィードバックをトリガし、 好適には、加えて、前記レベルを同じに設定する。図1のマウス26におけるア クチュエータ30のような触覚フィードバック装置を1つだけ設けた場合、パッ チAないしGの各々における異なる全体的な色調レベルを使用し、前記カーソル が個々のパッチの中心に位置する場合の、前記アクチュエータの個々の力レベル を設定してもよい。この例により、アクチュエータ30を、前記カーソルが位置 B、C、EおよびFにある場合、活性化し、一般的に位置BおよびFにおいてよ り大きい適用力で活性化し(境界線36と壁紙22の色調の相違は、前記境界線 とウィンドウ18の背景の色調の相違より大きいため)、パッチを通じて一定の 色調の位置A、DおよびGにおいて、フィードバックを発生しない。 ユーザにフィードバックされる合図を改善するために、ユーザに水平または垂 直境界線を横切っている時を確認させるために、フィードバックを互いに直交す る2つの方向(好適には、画面XおよびY座標)において得て、用いる。図2の 例に戻って、これを、これらの方向の各々に別々のフィードバックを与えるため に、パッチAないしGの各々のXおよびY方向に渡る色調レベルの微分を得るこ とによって達成する。この例により、再び、位置A、DまたはGにおいていずれ の方向においてもフィードバックはなく、位置BおよびCにおいて、Y方向にお いてフィードバックがあるが、水平エッジにより前記色調はこれらのパッチのX 方向に渡って一定であり、したがって、水平フィードバックは発生しない。これ と相違して、位置EおよびFにおいて、前記色調は、Y方向において一定であり 、この方向においてフィードバックは生じないが、水平X方向においてフィード バックの発生を導く色調勾配を有する。 図3は、図1のPCベースの実施形態のブロック図である。一般的に慣例的な 方法において、中央処理ユニット40に読み出し専用メモリおよびランダムアク セスメモリ42、44を、データおよびアドレスバス46を介して結合する。デ ータ入力は、キーボード12およびUID26(図1に示すマウスか、トラック ボールまたはジョイスティックメカニズムのような)を介する。UID26を比 較的簡単な装置とし、フィードバックレベルを得る大部分の成分演算を前記PC 内で実行してもよく、または、単独型程度の性能を有し、点線26’内に含まれ るこれらの構成要素のいくつかまたはすべてを具えるより複雑な装置としてもよ い。 表示する画像を、ディジタル形態においてフレーム格納部50に集め、このフ レーム格納部50から、データを表示プロセッサ52によって読み出し、ディス プレイ14に供給する。前記フィードバックレベルを発生するために、CPU4 0は、パッチアドレスPADDRをライン54においてパッチバッファ56に対 して発生し、このパッチアドレスは、現在のカーソル位置において中心がある3 ×3のパッチを識別する。このパッチアドレスの受け取りに応じて、パッチバッ ファ56は前記画素値をフレーム格納部50から読み出し、それに続いて、パッ チバッファ56から一対のフィルタ段58、60(XおよびY方向の各々用)の 各々に同期して読み出す。単独型UID装置に特に好適な代わりの装置(図示せ ず)において、前記パッチバッファの内容を、表示プロセッサ52からのアナロ グ出力を標本化し、次に前記フィルタ段に供給するためにディジタル化すること によって得てもよい。個々の勾配DxおよびDyを与える前記フィルタ処理に続 いて、これらのフィルタ処理化値を、シリアルポートを経てユーザインタフェー ス装置26内の力フィードバックメカニズム62に送ってもよく、または、これ らの値に、最初に1つ以上の任意の他の処理を行ってもよい。ある任意の処理( 図示せず)は、DxおよびDyの値を結合または合計し、1つのフィードバック レベル値を与えることであり、これは、例えば、力フィードバック装置を1つの み有する図1に示すマウス26によって必要とされる。他の任意の処理は、Dx およびDyの個々の予め決められたしきい値以下の値を制限するため、Dxおよ びDyを個々のしきい値処理段64、66を経て送ることである。トグルスイッ チ68によって切り替え可能で、そのレベルを(ライン69においてCPUの制 御の下で)制御可能に変えることができるしきい値処理は、例えば、画面壁紙2 2を微細にテクスチャ化した場合、必要であるかもしれない。前記フィードバッ ク手段が、前記カーソルが壁紙22の大きい領域を横切って引きずられる場合に 活性化するのを防ぐために、ユーザは、前記触覚フィードバックのスイッチオフ することを選択してもよく、または、しきい値レベルをこのような壁紙の平均テ クスチャ勾配よりもわずかに上に設定してもよい。後者の場合において、ウィン ドウおよびアイコンの境界線は、前記背景に対して十分なコントラストを有し、 これらをユーザが見ることができ、したがって前記しきい値を越える十分な色調 勾配を有する。 他の状況において、フィードバックをすべてのレベルの色調勾配に与えること が望ましいかもしれず、このある特定の場合は、3次元コンピュータモデル化環 境(いわゆる仮想風景)との相互作用の見地から、前記カーソルが、1つ以上の ユーザ入力装置の動作に応じて前記仮想風景内を3次元において動くことができ るユーザの手を表す形態またはなにか他の形態であるかもしれない場合である。 動作において、ユーザに好適には力フィードバック手段を与え、前記カーソルが 前記仮想風景内でモデル化された仮想上「固体」物体に接触した場合、動きを制 限するか、少なくとも示す。伝統的に、テクスチャの印象を力フィードバックを 通じて与えるために、例えば、前記カーソル(仮想手)が前記仮想風景内でレン ガ塀の表現に沿って動く場合、仮想レンガとこれらの間の空間とをモデル化し、 前記力フィードバックが基礎を置くことができる完全な3次元モデルを与えるこ とが必要であった。本発明を取り入れることによって、前記レンガ塀の例のよう な物体を、レンガテクスチャを慣例的な方法でマッピングしたただの表面として モデル化してもよい。前記カーソルと壁との衝突または接触によって発生したフ ィードバック力を、前記3次元環境内に接触フィードバックを与える前に得られ た色調微分によって調節する。 図4は、ユーザにこのような仮想風景を発生および表示するアーキテクチャの 一部を図式的に説明する。前記風景のながめを、レンダリング段70によってC PU72の制御の下で発生させる。発生される画像は、前記仮想風景の配置を指 定する第1格納部74からのデータに基づき、あらかじめ設定しても、例えばユ ーザが身につけるヘッドマウントディスプレイの動きを監視する計算手段(図示 せず)から(ライン76)において入力してもよい視点位置(X,Y,Z)およ び方向(θ,φ)にも基づく。メモリ74からのデータにおいて指定されるよう な、物体の基本的な幾何学的表面および前記仮想風景の特徴において、種々のテ クスチャをレンダリング段70に結合された他のメモリ格納部78におけるデー タからマッピングしてもよい。テクスチャマッピングは、良く知られた技術であ り、3次元モデルをきわめて微細に発生する必要性を回避する。 上述した簡単な2次元インタフェースによるように、ユーザ制御カーソルを与 え、このカーソルを手または他の仮想的な操縦器の形態としてもよく、このカー ソルの外観を、その動作を管理するデータおよび/または規則と共に、他のメモ リ80に格納し、適切な場所において前記仮想風景の上にある前記カーソルを発 生するためにレンダリング段70によって呼ぶ(前記カーソル位置および向きを 前記レンダリング段にCPU72から供給する)。平面画面または立体視ディス プレイに1つの画像またはステレオ対の画像を表示して、前記構成された画像を フレームバッファ82に渡して、その後、表示装置に出力する。 点線84によって一般的に示される前記ユーザ入力装置は、該装置の動きを検 出し、それをCPU72に渡す手段86を含む。カーソル動きメモリ88に格納 された前記カーソルの最近の動き履歴の記録を参照して、CPU72は現在のカ ーソル位置を計算し、レンダリング段70に供給する。図示したように、UID 84は、CPU72に対する他の接続部を有し、この接続部を通じて、2次元イ ンタフェースによる慣例的なマウスボタンの操作と同様に、UID84における 1つ以上の制御またはスイッチの動作をCPU72に通知し、ひよっとすると、 前記カーソルが前記仮想環境内の物体を掴むまたは離すことを示す。認識される ように、UID84における制御部90の形態は、前記仮想風景構成要素の設計 や、前記カーソルの設計や、これらがどのように相互作用できるかを決定する制 限のような多数の特徴に依存する。 図示したように、UID84は、第1および第2フィードバックメカニズム9 2および94も含み、これらは各々、ユーザにXおよびY方向において力フィー ドバックを与え、前記仮想環境内の前記カーソルおよび物体間の衝突を示す。U ID84を3次元において動くことができる装置とした場合、好適にはZ方向に おける力フィードバックも与える。衝突の発生を、CPU72およびZバッファ 98に結合された比較器96によって決定し、このZバッファは、フレームバッ ファ82内の画面の基礎画素値に対して対応する深さ値を保持し、一般的に既知 の方法において隠れた表面を除去するのに使用される。衝突が発生したのを検出 するのに応じて、カーソル動きメモリ88に結合された衝撃計算段100は、U ID84内のフィードバック装置92、94に供給すべきフィードバックの力お よび方向を、前記カーソルの以前の速度と、これらに割り当てられた名目上の慣 性とに基づいて決定する。 力フィードバック装置92、94に用いる前に、水平および/または垂直衝撃 力を、段102において、各々段104および106においてレンダリング段7 0に結合されたパッチバッファ108から得られる個々の色調勾配の微分Dxお よびDyによって調節する。図3の実施形態によるように、CPU72からのパ ッチアドレスPADDRは、前記色調勾配のパッチバッファ108への誘導に使 用すべき画素を識別する。段102によって加えられる調節を単純な加算とし、 前記衝撃力フィードバックを前記仮想環境内の特定の構成要素位置に対して指定 し、この上部にあるテクスチャに前記力が対応するようにしてもよい。このよう な調節によって、前記仮想風景の3次元環境内でモデル化された表面は、上述し た簡単な2次元ユーザインタフェースと同じようにテクスチャフィードバックを 与える。 上述したように、前記触覚または力フィードバック装置の特定の形態は、本発 明の制限的な特徴ではない。しかしながら説明のため、ここでいくつかの例の形 態を図5ないし8の参照と共に説明する。 図5は、一対の操作スイッチ122を有する簡単なマウスコントローラ120 の平面図であり、前記操作スイッチ122の内の一方を使用し、前記触覚フィー ドバックをオンまたはオフに切り替えてもよい。前記マウスの側部における第1 アクチュエータ124は、ある程度の量、前記水平フィードバック力によって決 定される速度で出入りし、ユーザの親指を打つ(箱の反対側においてアクチュエ ータ124を有するマウスが、左手操作用に必要である)。前記マウスの前部に おいて、第2アクチュエータ126は、ユーザの指先に対して動き、前記垂直方 向において計算されたフィードバックを与える。この配置は、前記装置自体があ る程度大きくなるかもしれないが、前記マウスの滑らかな動きが影響を受けない という利点を有する。動き制動を積極的に使用して前記力フィードバックを与え るマウスの代わりの配置を、図6の下面図によって図式的に説明する。慣例的な 3つの保持および動き検出ローラ130に加えて、一対の摩擦車132を、個々 の制動モータ134のシャフトに設ける。前記力フィードバックを、モータ13 4の巻き線に制動電流を加え、摩擦車132の回転方向に対して抵抗する形態に おいて与える。 トラックボール装置140用触覚フィードバックアクチュエータの配置を、図 7Aおよび7Bの側面図および下面図において各々説明する。4つのアクチュエ ータ142を前記装置の下側に設け、この装置の支持足として作用させる。アク チュエータ142の各々は、前記トラックボール装置の箱をXおよびY方向の双 方において前方および後方に傾け、回転ボール144の動きに影響を与えること なく前記触覚フィードバックを与えられるように、水平および/または垂直方向 において必要なフィードバックレベルによって決定される量だけ伸長または収縮 を制御できる。 ジョイスティック装置による依然として他の実施形態を図8に示す。ジョイス ティック150を回転ジョイント152に取り付け、XおよびY方向の動きの指 示を出力する位置センサ154に結合する。ジョイスティック150の延長部分 に垂直に取り付けられ、リンク158を介して結合された一対のアクチュエータ 156によってフィードバックを与える。 本開示を読むことによって、他の変更および変形が当業者には明らかになるで あろう。これらのような変更および変形は、当該技術分野において既知であり、 ここにすでに開示した特徴の代わりに、またはこれらに追加して使用できる同等 の特徴および他の特徴を含んでもよい。請求の範囲を本願において特徴の特定の 組み合わせに対して述べたが、本願の開示の範囲は、ここに明示的であっても暗 示的であっても開示されたあらゆる特徴または特徴のあらゆる組み合わせをも含 み、どの請求の範囲において現在請求されているのと同じ発明に関係していても いなくても、本発明と同じ技術的問題のいずれかまたはすべてを軽減してもしな くても、これらのあらゆる一般化をも含むことを理解すべきである。本願人は、 これにより、本願の手続き中にこれらのような特徴および/またはこれらのよう な特徴の組み合わせ、またはこれらから得られるなにか他の用途に対して新たな 請求の範囲を形成できることを通告する。

Claims (1)

  1. 【特許請求の範囲】 1.画素ディスプレイにおいてカーソルを制御するカーソル制御装置であって、 カーソル制御信号を発生し、このカーソル制御信号を前記ディスプレイ送信す る制御手段と、 該カーソル制御装置のオペレータにパラメータ設定を示すフィードバック手段 とを具えるカーソル制御装置において、 前記カーソルが上にある前記ディスプレイの少なくとも第1の画素に対して色 調レベルを決定する監視手段を配置し、ユーザに示される前記パラメータ設定を フィードバック制御手段によって少なくとも部分的に前記決定された色調レベル から得るようにしたことを特徴とするカーソル制御装置。 2.カーソルを表示する画素ディスプレイと、前記画素ディスプレイに接続され たホストコンピュータ装置と、前記ホストコンピュータに結合されカーソル制御 信号を発生するカーソル制御手段とを具え、前記ホストコンピュータが、前記カ ーソル制御信号を受け、カーソル表示信号を発生し、前記カーソル表示信号を前 記画素ディスプレイに送り、前記カーソル制御手段が、前記カーソル制御手段の オペレータにパラメータ設定を示すフィードバック手段を具えるコンピュータ装 置において、 前記カーソルが上にある前記ディスプレイの少なくとも第1の画素に対して色 調レベルを決定する監視手段を配置し、ユーザに示される前記パラメータ設定を フィードバック制御手段によって少なくとも部分的に前記決定された色調レベル から得るようにしたことを特徴とするコンピュータ装置。 3.請求の範囲1または2に記載の装置において、前記決定される色調レベルを 前記少なくとも1つの画素のグレイレベルとしたことを特徴とする装置。 4.請求の範囲1または2に記載の装置において、前記決定される色調レベルを 前記少なくとも1つの画素の1つ以上の画素色成分のレベルとしたことを特徴と する装置。 5.請求の範囲1ないし4のいずれか1つに記載の装置において、前記フィード バック装置が、前記決定される色調レベルが第1しきい値を越える場合、動作す るようにしたことを特徴とする装置。 6.請求の範囲1ないし4のいずれか1つに記載の装置において、前記フィード バック装置を、瞬時の色調レベルによって直接決定される連続的に変化するフィ ードバックレベルを出力できるようにしたことを特徴とする装置。 7.請求の範囲1ないし6のいずれか1つに記載の装置において、前記監視手段 を、第1の領域を取り囲む1つ以上の他の領域における色調レベルを決定し、前 記第1および他の領域と交差する少なくとも1方向における色調変化の微分を決 定し、前記フィードバックをユーザに対して瞬時の前記積分によって決定される レベルにおいて発生するように配置したことを特徴とする装置。 8.請求の範囲7に記載の装置において、前記監視手段を、前記第1および他の 領域と交差する2つの互いに直交する方向における微分を決定するように配置し 、前記フィードバック手段が、前記2方向における色調変化を各々示す2つの独 立して動作するフィードバック手段を具えることを特徴とする装置。 9.請求の範囲7に記載の装置において、前記監視手段が、上書きされたディス プレイ画素値の記録を保持するように配置されたカーソル画素格納手段を含み、 前記色調変化の微分を、前記カーソルの最新の動きのラインに沿った前記色調変 化から得るようにしたことを特徴とする装置。 10.請求の範囲1ないし9のいずれか1つに記載の装置において、前記ディス プレイがコンピュータが発生した3次元環境を表示し、前記カーソルを前記3次 元においてユーザの制御の下で動くことができるアイコンとし、該装置が、前記 カーソルが前記仮想環境の特徴と接触する場合を決定するように動作できる衝突 検知手段を含み、前記フィードバック手段が、このような接触が継続している間 、動作可能になるようにしたことを特徴とする装置。 11.請求の範囲1ないし10のいずれか1つに記載の装置において、前記フィ ードバック手段が、該装置のユーザの身体に力を、前記決定された色調レベルに よって制御されるレベルにおいて加えるように配置された力発生手段を含むこと を特徴とする装置。 12.請求の範囲1ないし10のいずれか1つに記載の装置において、前記フィ ードバック手段が、該装置のユーザの身体に力を、予め決められた外部条件によ って決定されると共に、前記決定された色調レベルから得られる量だけ変更され るレベルにおいて加えるように配置された力発生手段を含むことを特徴とする装 置。
JP52021898A 1996-10-30 1997-09-03 カーソル制御装置 Expired - Fee Related JP4229244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9622556.0 1996-10-30
GBGB9622556.0A GB9622556D0 (en) 1996-10-30 1996-10-30 Cursor control with user feedback mechanism
PCT/IB1997/001054 WO1998019228A1 (en) 1996-10-30 1997-09-03 Cursor control with user feedback mechanism

Publications (2)

Publication Number Publication Date
JP2000504450A true JP2000504450A (ja) 2000-04-11
JP4229244B2 JP4229244B2 (ja) 2009-02-25

Family

ID=10802148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52021898A Expired - Fee Related JP4229244B2 (ja) 1996-10-30 1997-09-03 カーソル制御装置

Country Status (7)

Country Link
US (1) US5973689A (ja)
EP (1) EP0882260B1 (ja)
JP (1) JP4229244B2 (ja)
KR (1) KR100502221B1 (ja)
DE (1) DE69724416T2 (ja)
GB (1) GB9622556D0 (ja)
WO (1) WO1998019228A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754023A (en) 1995-10-26 1998-05-19 Cybernet Systems Corporation Gyro-stabilized platforms for force-feedback applications
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US8508469B1 (en) 1995-12-01 2013-08-13 Immersion Corporation Networked applications including haptic feedback
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6374255B1 (en) * 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US6411276B1 (en) 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6128006A (en) * 1998-03-26 2000-10-03 Immersion Corporation Force feedback mouse wheel and other control wheels
US6686911B1 (en) 1996-11-26 2004-02-03 Immersion Corporation Control knob with control modes and force feedback
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7472047B2 (en) * 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
JPH1139135A (ja) * 1997-07-22 1999-02-12 Sanyo Electric Co Ltd カーソル表示装置
US6292174B1 (en) * 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US6243078B1 (en) 1998-06-23 2001-06-05 Immersion Corporation Pointing device with forced feedback button
US6219034B1 (en) * 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6707443B2 (en) 1998-06-23 2004-03-16 Immersion Corporation Haptic trackball device
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6697043B1 (en) 1999-12-21 2004-02-24 Immersion Corporation Haptic interface device and actuator assembly providing linear haptic sensations
US6184868B1 (en) 1998-09-17 2001-02-06 Immersion Corp. Haptic feedback control devices
US6411280B1 (en) * 1998-07-31 2002-06-25 Koninklijke Philips Electronics N.V. Input device generating tactual cues
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
DE20080209U1 (de) 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6693626B1 (en) 1999-12-07 2004-02-17 Immersion Corporation Haptic feedback using a keyboard device
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20020171688A1 (en) * 2002-06-12 2002-11-21 Koncelik Lawrence J. Computer mouse with cursor placement device
AU2003297716A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US8059088B2 (en) 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US8830161B2 (en) 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US7339574B2 (en) * 2003-01-16 2008-03-04 Korean Advanced Institute Of Science And Technology Haptic mouse interface system for providing force and tactile feedbacks to user's fingers and arm
US7280095B2 (en) * 2003-04-30 2007-10-09 Immersion Corporation Hierarchical methods for generating force feedback effects
JP2005044241A (ja) * 2003-07-24 2005-02-17 Nec Corp ポインティングデバイス通知装置および通知方法
FR2860308B1 (fr) * 2003-09-26 2006-01-13 Inst Nat Rech Inf Automat Modulation de position de curseur dans les donnees video pour ecran d'ordinateur
US7982711B2 (en) * 2003-12-19 2011-07-19 Immersion Corporation Haptic profiling system and method
US7742036B2 (en) 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7667687B2 (en) * 2003-12-30 2010-02-23 Immersion Corporation Resistive and hybrid control schemes for haptic feedback interface devices
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7636897B2 (en) 2004-11-19 2009-12-22 Microsoft Corporation System and method for property-based focus navigation in a user interface
US7631278B2 (en) * 2004-11-19 2009-12-08 Microsoft Corporation System and method for directional focus navigation
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US8060840B2 (en) * 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
KR101384434B1 (ko) * 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US7549132B2 (en) * 2006-04-28 2009-06-16 International Business Machines Corporation Presenting identifiers and states of processes in a stacked cursor
WO2008085487A1 (en) 2006-12-27 2008-07-17 Immersion Corporation Virtual detents through vibrotactile feedback
WO2008099564A1 (ja) * 2007-01-12 2008-08-21 Capcom Co., Ltd. 表示制御装置、その表示制御装置を実現するためのプログラム及びそのプログラムを記録した記録媒体
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8167813B2 (en) * 2007-05-17 2012-05-01 Immersion Medical, Inc. Systems and methods for locating a blood vessel
US8156809B2 (en) * 2008-03-27 2012-04-17 Immersion Corporation Systems and methods for resonance detection
JP5499030B2 (ja) * 2008-08-11 2014-05-21 イマージョン コーポレーション 音楽ゲームのための触覚的に使用可能にしたゲーム周辺機器
US20100295667A1 (en) * 2009-05-22 2010-11-25 Electronics And Telecommunications Research Institute Motion based pointing apparatus providing haptic feedback and control method thereof
US8875035B2 (en) * 2009-05-29 2014-10-28 Apple Inc. Graphical representation of out-of-bound image selection
US9030305B2 (en) * 2009-12-11 2015-05-12 Gwangju Institute Of Science And Technology Method for expressing haptic information using control information, and system for transmitting haptic information
TWI431516B (zh) * 2011-06-21 2014-03-21 Quanta Comp Inc 觸覺回饋方法及其電子裝置
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US9569059B2 (en) * 2012-11-01 2017-02-14 Blackberry Limited Reference-point-based static-scale mapping application
US9547366B2 (en) 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US20160239085A1 (en) 2015-02-18 2016-08-18 Lenovo (Singapore) Pte, Ltd. Force indication of a boundary
US10691406B2 (en) 2017-02-16 2020-06-23 Microsoft Technology Licensing, Llc. Audio and visual representation of focus movements
US11226690B2 (en) * 2020-04-10 2022-01-18 Dell Products, L.P. Systems and methods for guiding a user with a haptic mouse

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8602624A (nl) * 1986-10-20 1988-05-16 Oce Nederland Bv Invoerinrichting met taktiele terugkoppeling.
US4752772A (en) * 1987-03-30 1988-06-21 Digital Equipment Corporation Key-embedded Braille display system
JPH07120384B2 (ja) * 1987-12-14 1995-12-20 キヤノン株式会社 パターン読取装置
GB9014130D0 (en) * 1990-06-25 1990-08-15 Hewlett Packard Co User interface
US5270688A (en) * 1990-12-12 1993-12-14 Apple Computer, Inc. Apparatus for generating a cursor or other overlay which contrasts with the background on a computer output display
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
DE4140780C2 (de) * 1991-12-06 1995-05-18 Matthias Dipl Ing Goebel Eingabevorrichtung für Bildschirmgeräte mit taktilem Feedback
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
EP0607580A1 (en) * 1993-01-21 1994-07-27 International Business Machines Corporation Tactile feedback mechanism for cursor control
DE4319795A1 (de) * 1993-06-15 1994-01-13 Jochen Dr Guelker Computerbildschirmzeigegerät
JP3236180B2 (ja) * 1994-12-05 2001-12-10 日本電気株式会社 座標指示装置
US5825308A (en) * 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
SE519661C2 (sv) * 1996-02-23 2003-03-25 Immersion Corp Pekdon och förfarande för markering av grafiska detaljer på en display med sensorisk återkoppling vid påträffande av nämnda detalj

Also Published As

Publication number Publication date
WO1998019228A1 (en) 1998-05-07
GB9622556D0 (en) 1997-01-08
EP0882260B1 (en) 2003-08-27
EP0882260A1 (en) 1998-12-09
JP4229244B2 (ja) 2009-02-25
DE69724416D1 (de) 2003-10-02
US5973689A (en) 1999-10-26
KR19990076995A (ko) 1999-10-25
DE69724416T2 (de) 2004-06-24
KR100502221B1 (ko) 2005-11-28

Similar Documents

Publication Publication Date Title
JP2000504450A (ja) ユーザフィードバックメカニズムによるカーソル制御
JP6788719B2 (ja) 力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
JP5548285B2 (ja) 3次元ヒューマンコンピュータインタフェース
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US7492362B2 (en) Virtual space rendering/display apparatus and virtual space rendering/display method
CN102591564B (zh) 信息处理设备和信息处理方法
EP1212745B1 (en) Control of depth movement for visual display with layered screens
CN109725782B (zh) 一种实现虚拟现实的方法、装置及智能设备、存储介质
JP2013037675A5 (ja)
JP2003502699A (ja) 電子データ表示システムのための触覚インターフェースシステム
JP2011501298A (ja) 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション
EP1565808A2 (en) System and method for managing a plurality of locations of interest in 3d data displays
CN108604130A (zh) 信息处理设备、信息处理方法和非暂态计算机可读介质
JPWO2008015783A1 (ja) 表示装置に表示される複数のオブジェクトの選択制御方法,これを用いたゲーム装置及び,前記方法を実行制御するためのプログラム
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
CN108369477A (zh) 信息处理装置、信息处理方法和程序
JP2000047563A (ja) 物体の把持動作シミュレーション装置
WO1998030952A1 (fr) Processeur informatique presentant une caracteristique d'interface utilisateur graphique
JPH11175758A (ja) 立体表示方法および装置
Chen et al. A 3d mouse for interacting with virtual objects
CN118159933A (zh) 信息处理装置、信息处理方法和程序
CN115885239A (zh) 信息处理装置、触感提供系统和程序
JPH05274421A (ja) カーソル制御装置
JP3453412B2 (ja) 人工現実感の処理を行う方法とその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040901

A72 Notification of change in name of applicant

Free format text: JAPANESE INTERMEDIATE CODE: A721

Effective date: 20040901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071012

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080612

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081126

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees