JP2012508427A - 表面に載せた手に合わせたジェスチャーの発生 - Google Patents

表面に載せた手に合わせたジェスチャーの発生 Download PDF

Info

Publication number
JP2012508427A
JP2012508427A JP2011536485A JP2011536485A JP2012508427A JP 2012508427 A JP2012508427 A JP 2012508427A JP 2011536485 A JP2011536485 A JP 2011536485A JP 2011536485 A JP2011536485 A JP 2011536485A JP 2012508427 A JP2012508427 A JP 2012508427A
Authority
JP
Japan
Prior art keywords
gesture
hand
finger
fingers
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011536485A
Other languages
English (en)
Other versions
JP5674674B2 (ja
Inventor
ウェイン カール ウェスターマン
リコ ツォルケンドルファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2012508427A publication Critical patent/JP2012508427A/ja
Application granted granted Critical
Publication of JP5674674B2 publication Critical patent/JP5674674B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

マウスの表面に載せた手に合わせたジェスチャーの発生が開示される。マウスの表面でなされるジェスチャーは、そのジェスチャーが快適であるようにマウス表面に載せた手の自然の姿勢に基づいて発生することができる。ジェスチャーを行うためにマウスの表面で適当な姿勢をとる指をそのジェスチャーに対して識別することができる。或いは又、マウスの表面でなされるジェスチャーは、ユーザの好みに基づいて発生することもできる。ユーザは、ジェスチャーを行うために使用したい指を識別することができる。
【選択図】図２Ａ

Description

本発明は、コンピューティングシステムの入力装置として使用されるタッチ感知マウスに係り、より詳細には、マウス表面に載せた手に合わせたジェスチャーを発生する方法に係る。
ほとんどのコンピューティングシステムは、ユーザからマウスのような入力装置を経て入力を受け取ることができる。マウスは、ユーザが、コンピューティングシステムのディスプレイスクリーン上のユーザインターフェイス（ＵＩ）において例えばカーソルのような入力ポインタを移動して、そのポインタでＵＩにおける選択を行い、それにより、コンピューティングシステムの種々のオペレーションをトリガーできるようにする。マウスは、ＵＩにおけるデータ選択のためのメカニズムを備え、それが信号へと変換され、コンピューティングシステムは、それを使用して、コンピューティングシステムの種々のオペレーションに対応するＵＩの表示要素を選択することができる。例えば、タッチ感知マウスは、選択を行うためのタッチ装置を含むことができる。タッチ装置は、マウスのタッチ面に対してユーザによって行われたジェスチャーを検出することができ、そのジェスチャーは、コンピューティングシステムにおける１つ以上のオペレーションに対応する。コンピューティングシステムは、ジェスチャーを解釈し、その後、それに対応するオペレーションを実行する。
一般的に、コンピューティングシステムにおける特定のオペレーションに対して特定のジェスチャーが予め定義される。コンピューティングシステムの各ユーザは、予め定義されたジェスチャーを行って、それに対応するオペレーションを実行しなければならない。しかしながら、あるケースでは、予め定義されたジェスチャーは、例えば、ユーザの手に幾つかの物理的な制限があったり異なる自然の姿勢があったりする様々な理由で、ユーザにとって不便であったり不快であったりすることがある。
本発明は、タッチ感知マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。ある実施形態では、マウス表面に載せた手の自然の姿勢に合わせた第１のジェスチャーを発生することができる。第１のジェスチャーに使用される指及び／又は他の指のサブセットを使用する付加的なジェスチャーを発生することができる。ある実施形態では、ユーザの好みのユーザ入力に基づいて第１のジェスチャーを発生することができる。又、ユーザの好みのユーザ入力に基づいて、或いは第１のジェスチャーに使用される指及び／又は他の指のサブセットとして、付加的なジェスチャーを発生することができる。
マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。 本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。 本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。 本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用される図４のコンピューティングシステムへタッチ情報を通信することのできるタッチセンサパネルを含む規範的なマウスを示す。
好ましい実施形態の以下の説明において、本発明を実施できる特定の実施形態が例示された添付図面を参照する。他の実施形態も使用できるし、又、本発明の実施形態の範囲から逸脱せずに構造変更もできることを理解されたい。
本発明は、マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。このジェスチャーは、マウスに載せた手の自然の姿勢に基づく。これは、ユーザが、マウス表面に対しユーザにとって快適なジェスチャーを行えるようにする。
本発明の幾つかの実施形態は、ここではタッチ感知マウス上でのジェスチャーに関して説明するが、本発明の実施形態は、これに限定されず、タッチ及び他の形式の感知技術を使用する入力装置に一般的に適用できることを理解されたい。
図１ａないし１ｃは、マウスに載せた手の規範的な自然の姿勢を示す。図１ａは、マウス１００の表面に載せた右手１１０の規範的な上面図である。図１ｂは、マウス１００の表面に載せた右手１１０の規範的な左側面図である。図１ｃは、マウス１００の表面に載せた右手１１０の規範的な右側面図である。典型的に、ユーザは、マウスが使用されないときでも長時間にわたって図１ａないし１ｃに示す弛緩した姿勢でマウスに手を載せることができる。この例では、人差し指及び中指をマウスの上面に載せることができ、親指をマウスの左側面に載せることができ、そして薬指及び小指をマウスの右側面に載せることができる。タッチ感知マウスでは、載せた手をタッチ事象として検出し、コンピューティングシステムにより処理することができる。その後、載せた手の１本以上の指がジェスチャーとして見られるように動くときに、載せた手のタッチをコンピューティングシステムにより処理することができる。
マウスの表面に載せた手の自然の姿勢は、ここに示すものに限定されず、より多数の又はより少数の指が上面及び側面に載せられるか、指が表面のより高いところ又はより低いところに載せられるか、等々の種々の他の姿勢も含むことを理解されたい。
図２ａないし２ｋは、マウスに載せた手の１本以上の指により行うことのできる規範的なジェスチャーを示す。図２ａの例では、右手１１０の人差し指１１２を横方向に動かし（２０５）、マウス１００の表面に手を載せながら「スワイプ(swipe)」ジェスチャーのようなジェスチャーをすることができる。スワイプジェスチャーは、ディスプレイスクリーン上のＵＩ表示を通してページングのようなオペレーションをコンピューティング装置が遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｂの例では、右手１１０の人差し指１１２及び中指１１３を一緒に横方向に動かし（２１０）、マウス１００の表面に手を載せながらスワイプジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｃの例では、右手１１０の人差し指１１２を長手方向に動かし（２１５）、マウス１００の表面に手を載せながら「スクロール」ジェスチャーのようなジェスチャーをすることができる。スクロールジェスチャーは、ディスプレイスクリーン上のＵＩにおいてスクロールアップ又はスクロールダウンのようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｄの例では、右手１１０の人差し指１１２及び中指１１３を一緒に長手方向に動かし（２２０）、マウス１００の表面に手を載せながらスクロールジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｅの例では、右手１１０の親指１１１及び人差し指１１２を一緒に動かしてピンチング(pinching)運動２２５を行い、マウス１００の表面に手を載せながら「ズーム」ジェスチャーのようなジェスチャーをすることができる。ズームジェスチャーは、ディスプレイスクリーン上のＵＩ要素を拡大又は収縮するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｆの例では、右手１１０の人差し指１１２及び中指１１３を一緒に動かしてピンチング運動２３０を行い、マウス１００の表面に手を載せながらズームジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｇの例では、右手１１０の人差し指１１２でタップ運動２３５を２回行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。ダブルクリックジェスチャーは、ディスプレイスクリーン上で入力ポインタにより指されたＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｈの例では、右手１１０の人差し指１１２及び中指１１３で一緒にタップ運動２４０を一度行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｉの例では、右手１１０の人差し指１１２でタップ運動２４５を３回行って、マウス１００の表面に手を載せながら「トリプルクリック」ジェスチャーのようなジェスチャーをすることができる。トリプルクリックジェスチャーは、ディスプレイスクリーン上の入力ポインタで指された複数のＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｊの例では、右手１１０の人差し指１１２、中指１１３及び薬指１１４で一緒にタップ運動２５０を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
図２ｋの例では、右手１１０の親指１１１、人差し指１１２及び中指１１３で一緒にタップ運動２５５を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
本発明の幾つかの実施形態は、ここでは右手のジェスチャーに関して説明するが、左手のジェスチャーも含まれることを理解されたい。更に、それら実施形態は、ここに述べるジェスチャーに限定されず、マウス表面上で行うことのできる適当なジェスチャーを含むことも理解されたい。更に、ジェスチャーは、ここに述べる指により行われるものに限定されず、ジェスチャーを実行できる付加的な指又は他の指によって行われてもよい。
図３ａは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。図３ａの例において、マウスに手が載せられているかどうか判断することができる（３０５）。これは、マウスの表面にタッチ事象が生じたかどうか検出することにより行うことができる。マウスに手が載せられている場合には、マウス表面に載せられた手の指に対応するタッチ映像を捕獲することができる。
その捕獲した映像を処理して、手の姿勢を決定することができる（３１０）。例えば、標準的な信号処理技術を使用して、マウスの上面及び側面において、どの指がどこに何回載せられたか決定することができる。
決定された手の姿勢に基づき、スクロールジェスチャーを発生することができる（３１５）。例えば、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指及び親指を含む場合に、図２ｄのようにこれら２つの指が、又は図２ｃのようにそのいずれかの指が、マウス表面上で長手方向の運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差しのみを含む場合に、図２ｃのようにその指がマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指、中指及び薬指を含む場合に、図２ｃ及び図２ｄのように、これら３本の指又はそのサブセットがマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。スクロールジェスチャーを発生するための他の自然の姿勢も使用できる。
スクロールジェスチャーに含まれる指に基づいて、他のジェスチャーを発生することもできる（３２０）。他のジェスチャーは、人差し指、中指及び親指のような３本の指を含む発生されたスクロールジェスチャーに基づいて発生することができる。図２ａ及び２ｂのように３本の全ての指又はそのサブセットがマウス表面上で横方向運動を遂行してコンピューティングシステムがスワイプ動作を遂行するようにさせるスワイプジェスチャーを発生することができる（３２２）。図２ｇないし２ｋのように、３本の全ての指又はそのサブセットがマウス表面上で１つ以上のタップ運動を遂行してコンピューティングシステムがクリック動作を実行するようにさせるクリックジェスチャーを発生することができる（３２４）。図２ｆのように２本の指が、又は図２ｅのように１本の指及び親指が、マウス表面上でピンチング運動を遂行して、コンピューティングシステムがズーム動作を実行するようにさせるズームジェスチャーを発生することができる（３２６）。
同様に、人差し指及び中指のような２本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。両方の指又はいずれかの指がマウス表面上で横方向の運動を遂行することを含むスワイプジェスチャーを発生することができる（３３２）。その両方の指又はいずれかの指がマウス表面上で１つ以上のタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３３４）。その両方の指又は１つの指と親指がマウスの表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３３６）。
同様に、人差し指のような１本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。その指がマウス表面上で横方向運動を遂行することを含むスワイプジェスチャーを発生することができる（３４２）。その指がマウス表面上でタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３４４）。その指及び親指がマウス表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３４６）。
発生されたジェスチャーは、マウス表面上で行われるジェスチャーを識別するのに後で使用するためにコンピューティングシステムのメモリに記憶することができる。
図３ａの方法とは別に、ユーザの手の自然の姿勢に基づいてジェスチャーが自動的に発生されるのではなく、ユーザによりジェスチャーが選択されてもよい。例えば、スクロールジェスチャーを行うのにユーザがどの指を使用したいかについてユーザに質問をし、ユーザの応答に基づいてジェスチャーを発生することができる。その後、ユーザは、スワイプ、ズーム及びクリックのような他のジェスチャーに対してユーザの好みを指示することもできる。或いは又、スクロールジェスチャーに対するユーザの選択に基づいて、コンピューティングシステムは、他のジェスチャーを自動的に発生することができる。
図３ａの方法とは更に別に、スクロールジェスチャーが、ユーザの手の自然の姿勢に基づいて自動的に発生される第１のジェスチャーであるのではなく、ジェスチャーをプライオリティ付けし、そのプライオリティに基づいて発生することができる。例えば、スワイプジェスチャーがより頻繁に使用されるか又はより重要と考えられるコンピューティングシステムでは、スワイプジェスチャーを最初に発生することができる。このような実施形態では、スワイプジェスチャーは、ユーザの手の自然の姿勢に基づいて発生することができる。スワイプジェスチャーに含まれる指に基づいて他のジェスチャーを発生することができる。或いは又、ユーザは、ジェスチャーを発生する順序を選択することができる。
図３ａの方法とは更に別に、その後のジェスチャーが、スクロールジェスチャーに含まれた同じ指又はそのサブセットを含むのではなく、その後のジェスチャーは、スクロールジェスチャーに含まれた指のスーパーセット又は他の指を含むことができる。
ジェスチャーを発生する方法は、ここに述べるものに限定されず、本発明の実施形態に基づいてジェスチャー発生を遂行できる他のステップ又は付加的なステップも含むことを理解されたい。
図３ｂは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。図３ｂの例では、マウスの表面にタッチ事象が生じたかどうかの判断がなされる（３５０）。タッチ事象が生じた場合には、マウスの表面に載せられた手の指に対応する複数のタッチ映像を捕獲することができる（３５５）。この映像は、ジェスチャーを行う指の動き、及び他の指の動きの実質的な欠如を捕獲することができる。
指の動き成分を計算することができる（３６０）。動き成分は、ｘ成分及びｙ成分より成る並進運動成分と、スケール（又はズーム）成分と、回転成分とを含むことができる。並進運動成分は、マウスの表面を横切る指の位置の変化を表すことができる。スケール成分は、マウスの表面を横切る指間の距離の変化、即ち指の運動ベクトルのドット積を表すことができる。回転成分は、マウスの表面を横切る指間の角度の変化、即ち指の動きベクトルのクロス積を表すことができる。動き成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Method and Apparatus for Integrating Manual Input”と題する米国特許第６，３２３，８４６号に開示されている。
米国特許第６，３２３，８４６号のように、指と指の間の並進運動成分は、指の各並進運動成分の単純な平均値として計算することができる。しかしながら、マウス用途では、例えば、スクロールジェスチャー中、１つの指がマウス表面上を移動する間に、他の指は静止のままであるか又はほとんど動かないことが人間工学的である。従って、１つの指が他の指より非常に速く動くので、又は１つの指は動くが他の指は全く動かないので、単純な平均値は、並進運動を正確に表すものではない。このようなケースでは、指と指との間の並進運動成分Ｖtは、指の各並進運動成分の重み付けされた平均値として計算することができ、次に示すように、速く動く指は、ゆっくり動く指又は動かない指より大きく重み付けすることができる。
Figure 2012508427
但し、ｗ1及びｗ2は、重みであり、Ｖt1及びＶt2は、各々、指１及び指２に対する並進運動成分である。式(１)は、親指以外の指を動かすときに適用することができる。というのは、一般的に、親指は、並進運動ではなく、スケール又は回転運動を行うものだからである。
指の滑らかな運動成分は、生の運動成分から計算することができる（３６５）。これは、生の運動成分にローパスフィルタ（ＬＰＦ）を適用して、指の動きが開始するときに滑らかな運動成分の迅速な構築を生じさせ、そして指の動きが停止するときに滑らかな運動成分のゆっくりした衰退を生じさせることにより実行できる。滑らかな運動成分を迅速に構築することで、滑らかな運動成分をジェスチャー検出のために素早く得ることができる。又、滑らかな運動成分をゆっくり衰退させることで、付加的な指運動の情報が必要になったときに、指運動が停止した後もある時間中は、滑らかな運動成分をジェスチャー検出のために使用し続けることができる。規範的なローパスフィルタは、単純な一次自己回帰フィルタである。滑らかな運動成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Motion Component Dominance Factors for Motion Locking of Touch Sensor Data”と題する米国特許出願第１２／２３８，３４２号に開示されている。
ある実施形態では、滑らかな指速度は、重み付け並進運動成分計算に重みとして使用することができる。従って、式(１)のような指と指との間の重み付け並進運動成分Ｖtは、次のように表わすことができる。
Figure 2012508427
但し、ｓt1及びｓt2は、滑らかな指速度であり、Ｖt1及びＶt2は、各々、指１及び指２の並進運動成分である。従って、重み付けされた並進運動成分は、２本の指の間で、対応する滑らかな指速度で重み付けされた各並進運動成分の平均値を計算することにより、計算することができる。
動く指を識別することができる（３７０）。指は、タッチ映像におけるそれらの相対的な位置に基づいて識別することができる。例えば、右手のタッチ映像において、親指は、タッチ映像の下部における最も左のタッチとして識別することができ、人差し指は、タッチ映像の上部における隣接タッチとして識別することができ、中指は、タッチ映像に最も上の位置を有する次の隣接タッチとして識別することができ、薬指は、タッチ映像の上部における最も右のタッチに隣接したタッチとして識別することができ、そして小指は、タッチ映像の下部における最も右のタッチとして識別することができる。或いは又、各指には、指のタッチが見える可能性が最も高いタッチ映像の特定領域を指定することができ、タッチ映像のその領域におけるタッチを、他の指のタッチのタッチ映像における相対的な位置に関わらず、その指定された指として識別することができる。動く指を識別するための他の基準も使用することができる。指の動きは、並進運動、スケール及び回転運動成分に関して上述したように計算することができる。
運動優勢(motion dominance)ファクタは、ジェスチャーの形式に基づき３つの運動成分に対する重みとして計算することができる（３７５）。例えば、特定のジェスチャーは、マウスの表面上で長手方向に指の著しい並進運動を有することができる。しかしながら、指は、絶対的な直線で動かないので、見掛け上、若干のスケール運動が生じ、即ち指は、ジェスチャー中又は回転運動中に互いに近づくか又は離れるように動き、即ち１つ以上の指がジェスチャー中にある角度で動く。特定のジェスチャーにおいて並進運動が優勢であるから、著しい並進運動を大事に扱いそして若干のスケール及び回転運動を無視するために３つの運動成分に重み（即ち運動優勢ファクタ）を指定することができる。運動優勢ファクタの計算は、上述した米国特許出願第１２／２３８，３４２号に開示されている。
米国特許出願第１２／２３８，３４２号のように、運動優勢ファクタは、ジェスチャーに含まれる動く指の１つが親指であるときには、並進運動よりもスケール及び回転運動の方が高くなる。これは、ジェスチャーにおける親指に対して並進運動成分よりもスケール及び回転運動成分の方が優勢であることを反映する。ある実施形態では、スケール及び回転の優勢ファクタは、約２．５にセットすることができ、並進の優勢ファクタは、約０．２５にセットすることができる。マウスの用途では、親指以外の指しかジェスチャーに含まれないときに、可能性のある運動は、並進運動であることが人間工学的に期待される。従って、並進運動に対する運動優勢ファクタは、セットできるが、スケール及び回転運動に対する運動優勢ファクタは、オフにされるか、又は非常に低くセットされる。これは、ジェスチャーにおける親指以外の指に対してスケール及び回転運動成分よりも並進運動成分の方が優勢であることを反映する。ある実施形態では、並進の優勢ファクタは、１．０にセットすることができ、スケール及び回転の優勢ファクタは、オフにされるか、又は０．１０にセットされる。
並進運動、スケール及び回転運動成分の中からの優勢運動成分は、運動優勢ファクタに基づいて識別することができる（３８０）。優勢運動成分の識別も、上述した米国特許出願第１２／２３８，３４２号に開示されている。
識別された指及びそれらの優勢運動成分は、それらがどのジェスチャーに最もぴったりマッチングするか決定するために、複数の考えられるジェスチャーと比較することができる（３８５）。例えば、マウスの表面上で行うことのできるユーザの手に合わせた複数の考えられるジェスチャーをメモリに記憶することができる。各記憶されたジェスチャーは、ジェスチャーを遂行できる指及び優勢運動成分を識別することができる。使用すべき記憶されたジェスチャーの指を、タッチ事象で識別された指と比較し、そして記憶されたジェスチャーの優勢運動成分を、タッチ事象で識別された指の優勢運動成分と比較することにより、比較を行うことができる。考えられるジェスチャーの他の特徴も、記憶して比較することができる。
識別された指及び識別された優勢運動成分に最もぴったりマッチングする記憶されたジェスチャーは、検出されたジェスチャーとして選択することができる（３９０）。検出されたジェスチャーは、コンピューティングシステムにより処理されて、それに対応するオペレーションを実行することができる。
ジェスチャー検出方法は、ここに述べたものに限定されず、本発明の実施形態によるジェスチャー検出を遂行できる他のステップ又は付加的なステップを含んでもよいことを理解されたい。
図４は、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。図４の例において、コンピューティングシステム４００は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行できる１つ以上のパネルプロセッサ４０２と、周辺装置４０４と、パネルサブシステム４０６とを備えている。周辺装置４０４は、ランダムアクセスメモリ（ＲＡＭ）或いは他の形式のメモリ又は記憶装置、ウオッチドッグタイマー、等を含むが、これに限定されない。パネルサブシステム４０６は、１つ以上のセンスチャンネル４０８、チャンネルスキャンロジック（アナログ又はデジタル）４１０、及びドライバロジック（アナログ又はデジタル）４１４を含むが、これに限定されない。チャンネルスキャンロジック４１０は、ＲＡＭ４１２にアクセスし、センスチャンネル４０８からデータを自律的に読み取り、そしてセンスチャンネルの制御を行うことができる。加えて、チャンネルスキャンロジック４１０は、タッチセンサパネル４２４のドライブ線に同時に付与できる種々の位相で刺激信号４１６を発生するようにドライバロジック４１４を制御することができる。パネルサブシステム４０６は、低いデジタルロジック電圧レベル（例えば、１．７ないし３．３Ｖ）で動作することができる。ドライバロジック４１４は、２つの電荷蓄積装置、例えば、キャパシタを一緒にカスケード接続して、電荷ポンプ４１５を形成することにより、デジタルロジックレベルの供給電圧より高い供給電圧を発生することができる。電荷ポンプ４１５は、デジタルロジックレベル供給電圧の約２倍の振幅（例えば、３．４ないし６．６Ｖ）を有する刺激信号４１６を発生するのに使用できる。図４は、ドライバロジック４１４とは個別の電荷ポンプ４１５を示しているが、電荷ポンプは、ドライバリックの一部分でもよい。ある実施形態では、パネルサブシステム４０６、パネルプロセッサ４０２及び周辺装置４０４は、単一の特定用途向け集積回路（ＡＳＩＣ）へと一体化することができる。
タッチセンサパネル４２４は、複数のドライブ線及び複数のセンス線を有する容量性感知媒体を含むが、他の感知媒体を使用することもできる。ドライブ線及びセンス線は、インジウムスズ酸化物（ＩＴＯ）又はアンチモンスズ酸化物（ＡＴＯ）のような透明導電性媒体から形成できるが、他の透明及び不透明材料、例えば、銅を使用することもできる。ドライブ線及びセンス線は、実質的に透明な基板の片側、基板の両側、又は誘電体材料によって分離された２枚の個別基板に形成することができる。ドライブ線及びセンス線の各交差点は、容量性感知ノードを表し、そして画素（ピクセル）４２６として見ることができ、これは、タッチセンサパネル４２４がタッチの「映像」を捕獲するものと考えたときに特に有用である。（換言すれば、タッチセンサパネルの各タッチセンサにおいてタッチ事象が検出されたかどうかパネルサブシステム４０６が決定した後に、タッチ事象が生じたところのマルチタッチパネルのタッチセンサのパターンをタッチの「映像」（例えば、パネルにタッチする指のパターン）として見ることができる。）ドライブ線及びセンス線とローカルシステム接地との間のキャパシタンスは、漂遊キャパシタンスＣstrayとして現れ、そしてドライブ線とセンス線の交点、即ちピクセルのキャパシタンスは、所与のドライブ線が交流（ＡＣ）信号で刺激されたときに相互信号キャパシタンスＣsigとして現れる。タッチセンサパネル上又はその付近における指又は他の物体の存在は、タッチされるピクセルに生じる信号電荷の変化、Ｃsigの関数、を測定することで、検出できる。タッチセンサパネル４２４の各センス線は、パネルサブシステム４０６のセンスチャンネル４０８を駆動することができる。
タッチセンサパネル４２４は、マウスのような入力装置の表面の一部分又は実質的に全部をカバーすることができる。
又、コンピューティングシステム４００は、パネルプロセッサ４０２から出力を受け取って、その出力に基づいてアクションを遂行するためのホストプロセッサ４２８も備え、それらのアクションは、カーソル又はポインタのような１つ以上の物体を移動し、スクロール又はパンを行い、制御設定を調整し、ファイル又はドキュメントをオープンし、メニューを見、選択を行い、インストラクションを実行し、ホスト装置に結合された周辺装置を動作し、電話コールに応答し、電話コールを発信し、電話コールを着信し、ボリューム又は音声設定を変更し、住所、頻繁にダイヤルされる番号、受け取ったコール、逸したコールのような電話通信に関連した情報を記憶し、コンピュータ又はコンピュータネットワークにログオンし、コンピュータ又はコンピュータネットワークの制限エリアへの許可された個人のアクセスを許し、コンピュータデスクトップのユーザの好ましい構成に関連したユーザプロフィールをロードし、ウェブコンテンツへのアクセスを許し、特定のプログラムを起動し、メッセージを暗号化し又はデコードし、等々、を含むが、それらに限定されない。ホストプロセッサ４２８は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行することができる。又、ホストプロセッサ４２８は、パネル処理に関係ない付加的な機能を遂行することもできるし、プログラム記憶装置４３２及びディスプレイ装置４３０、例えば、装置のユーザにＵＩを与えるＬＣＤディスプレイに結合することもできる。ディスプレイ装置４３０は、タッチセンサパネル４２４のもとに部分的に又は完全に位置されたときに、タッチセンサパネルと共に、タッチスクリーンを形成することができる。
上述した１つ以上の機能は、メモリ（例えば、図４の周辺装置４０４の１つ）に記憶されてパネルプロセッサ４０２により実行されるファームウェア、又はプログラム記憶装置４３２に記憶されてホストプロセッサ４２８により実行されるファームウェアにより遂行できることに注意されたい。又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、コンピュータ読み取り可能な媒体に記憶され及び／又はその中において搬送される。本書において、「コンピュータ読み取り可能な媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを収容し又は記憶できる媒体である。コンピュータ読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、リードオンリメモリ（ＲＯＭ）（磁気）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）（磁気）、ポータブル光学ディスク、例えば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷ、或いはフラッシュメモリ、例えば、コンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリスティック、等を含むが、それらに限定されない。
又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、搬送媒体内で伝播することもできる。本書において、「搬送媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを通信し、伝播し又は搬送できる媒体である。読み取り可能な搬送媒体は、電子、磁気、光学、電磁又は赤外線のワイヤード又はワイヤレス伝播媒体を含むが、それらに限定されない。
センサパネルは、図４を参照して説明したタッチセンサパネルに限定されず、本発明の実施形態によりタッチ又は空中停止事象を感知してジェスチャーを検出することのできる接近センサパネル又は他のセンサパネルでもよいことを理解されたい。更に、タッチセンサパネルのタッチセンサは、ここでは、行及び列を有するタッチセンサの直交アレイに関して説明したが、本発明の実施形態は、直交アレイに限定されず、対角線、同心円、並びに三次元及びランダム配向を含む多数の次元及び配向に配列されたタッチセンサに一般的に適用できることを理解されたい。更に、ここに述べるタッチセンサパネルは、シングルタッチ又はマルチタッチのいずれのセンサパネルでもよい。
図５は、マウスの表面のタッチセンサパネル５２４と、ベース５４５と、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用できる図４のコンピューティングシステム内の他のコンピューティングシステムブロックとを備えた規範的なタッチ感知マウス５００を示す。ある実施形態では、マウス５００は、ケーブル５５０を経てコンピューティングシステムと通信することができる。ある実施形態では、マウス５００は、ワイヤレス接続を経てコンピューティングシステムと通信することができる。
以上、添付図面を参照して、本発明の実施形態を詳細に説明したが、当業者であれば、種々の変更や修正が明らかであろう。このような変更や修正は、特許請求の範囲に規定された本発明の実施形態の範囲内に網羅されるものと理解されたい。
１００：マウス
１１０：右手
１１２：人差し指
１１３：中指
２０５、２１０：横方向運動
２１５、２２０：長手方向運動
２２５、２３０：ピンチング運動
２３５、２４０、２４５、２５０：タップ運動
４００：コンピューティングシステム
４０２：パネルプロセッサ
４０４：周辺装置
４０６：パネルサブシステム
４０８：センスチャンネル
４１０：チャンネルスキャンロジック
４１２：ＲＡＭ
４１４：ドライブロジック
４１５：電荷ポンプ
４１６：刺激信号
４２４：タッチセンサパネル
４２８：ホストプロセッサ
４３０：ディスプレイ装置
４３２：プログラム記憶装置

Claims (25)

  1. タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
    タッチ表面に載せた手の自然の姿勢に基づきその姿勢の手の指を決定するステップと、
    前記決定された指の１つ以上を選択してジェスチャーを発生するステップと、
    を備えた方法。
  2. タッチ表面に載せた手の自然の姿勢を決定するステップを更に備えた、請求項１に記載の方法。
  3. 前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で長手方向運動を行うことのできる手の指の１本以上を選択することを含む、請求項１に記載の方法。
  4. 前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で横方向運動を行うことのできる前記決定された指の１本以上を選択することを含む、請求項１に記載の方法。
  5. 他のジェスチャーを行うために前記決定された指の１本以上の他のグループを選択するステップを更に備えた、請求項１に記載の方法。
  6. タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
    入力に応答して、タッチ表面に載せた自然の姿勢の手の指を決定するステップと、
    少なくとも前記指のサブセットを含むジェスチャーを発生するステップと、
    を備えた方法。
  7. 前記姿勢の手に含まれる指を決定するのに使用される入力を受け取るステップを更に備えた、請求項６に記載の方法。
  8. 前記ジェスチャーに含まれる指のサブセットを選択する第２の入力を受け取るステップを更に備えた、請求項６に記載の方法。
  9. 前記入力は、
    手のどの指が動き及び手のどの指が実質的に静止したままであるか識別すること、
    前記識別された動く指の運動成分を決定することと、
    前記決定に基づき、前記決定された運動成分の少なくとも１つを有する前記識別された動く指により行うことのできる手に合わせた考えられるジェスチャーを提案すること、
    タッチ事象に最も密接にマッチングする前記提案された、考えられる、合わせたジェスチャーを、検出されたジェスチャーとして選択すること、
    を含む請求項６に記載の方法。
  10. 前記運動成分は、並進運動成分、スケール運動成分、又は回転運動成分、の少なくとも１つを含む、請求項９に記載の方法。
  11. 前記並進運動成分は、前記識別された動く指の並進運動成分の重み付けされた平均として計算され、前記識別された動く指の速い方が、前記識別された動く指の残りより大きく重み付けされる、請求項１０に記載の方法。
  12. 前記決定された運動成分の中から優勢な運動成分を決定するステップと、
    前記決定された優勢な運動成分をもつ考えられるジェスチャーを提案するステップと、
    を更に備えた請求項９に記載の方法。
  13. 優勢な運動成分を決定する前記ステップは、
    前記決定された運動成分に対応する運動優勢ファクタを計算すること、
    を含み、スケール運動成分及び回転運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つであるときに高く、そして
    並進運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つでないときに高い、請求項１２に記載の方法。
  14. タッチ表面に載せた手に合わせたジェスチャーを発生するためのプログラムコードを含むコンピュータ読み取り可能な媒体において、前記プログラムコードは、
    タッチ表面上のタッチ事象に応答して、そのタッチ事象を含む手の姿勢を決定し、
    決定された指の１つ以上を選択してジェスチャーを発生する、
    ことを含む方法を遂行するものである、コンピュータ読み取り可能な媒体。
  15. 前記タッチ事象は、タッチ表面に載せた手の自然の姿勢を含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
  16. 前記姿勢の決定は、どの指がタッチ事象を構成するか、どれほど多くの指がタッチ事象を構成するか、又はタッチ事象の間にタッチ表面のどこに指がタッチするか、の少なくとも１つを決定することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
  17. 前記手の姿勢の決定は、前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
  18. 前記ジェスチャーの発生は、ジェスチャーを行う姿勢にされたタッチ事象から前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
  19. 請求項１４に記載のコンピュータ読み取り可能な媒体を備えたコンピューティングシステム。
  20. 入力装置であって、その表面上の複数の入力を検出するように構成された複数の入力センサを有し、複数の入力は、物体に対応し、物体は、前記表面上で姿勢をとっている手の指である入力装置と、
    前記入力装置と通信しそして検出された複数の入力に基づいてジェスチャーを発生するように構成されたプロセッサと、
    を備えたコンピューティングシステム。
  21. 前記物体は、前記表面に自然の姿勢で載せられた手の指を含む、請求項２０に記載のシステム。
  22. 前記複数の入力センサは、前記入力装置の表面に載せた手の自然の姿勢より成るタッチを検出するように構成された複数のタッチセンサである、請求項２０に記載のシステム。
  23. 前記複数のタッチセンサは、前記入力装置の表面に配置されたタッチセンサパネルに合体される、請求項２２に記載のシステム。
  24. 前記入力装置は、マウスである、請求項２０に記載のシステム。
  25. 前記複数の入力センサは、前記マウスの表面に載せた手の自然の姿勢より成るタッチを検出するように構成され且つマウスの表面に配置されたタッチセンサパネルに合体された複数のタッチセンサである、請求項２４に記載のシステム。
JP2011536485A 2008-11-12 2009-11-12 表面に載せた手に合わせたジェスチャーの発生 Expired - Fee Related JP5674674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/269,843 2008-11-12
US12/269,843 US8502785B2 (en) 2008-11-12 2008-11-12 Generating gestures tailored to a hand resting on a surface
PCT/US2009/064274 WO2010056917A1 (en) 2008-11-12 2009-11-12 Generating gestures tailored to a hand resting on a surface

Publications (2)

Publication Number Publication Date
JP2012508427A true JP2012508427A (ja) 2012-04-05
JP5674674B2 JP5674674B2 (ja) 2015-02-25

Family

ID=41786050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011536485A Expired - Fee Related JP5674674B2 (ja) 2008-11-12 2009-11-12 表面に載せた手に合わせたジェスチャーの発生

Country Status (6)

Country Link
US (1) US8502785B2 (ja)
EP (1) EP2359224B1 (ja)
JP (1) JP5674674B2 (ja)
KR (1) KR101535320B1 (ja)
CN (1) CN102216883B (ja)
WO (1) WO2010056917A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254467A (ja) * 2012-06-06 2013-12-19 Areson Technology Corp マウスを用いてタッチスクリーン操作をシミュレーションする方法
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface
CN102550019A (zh) * 2009-04-16 2012-07-04 惠普开发有限公司 管理虚拟协作系统中的共享内容
TW201039184A (en) * 2009-04-24 2010-11-01 Asustek Comp Inc Method of determining mouse command according to triggered points
US20110195781A1 (en) * 2010-02-05 2011-08-11 Microsoft Corporation Multi-touch mouse in gaming applications
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US9201539B2 (en) 2010-12-17 2015-12-01 Microsoft Technology Licensing, Llc Supplementing a touch input mechanism with fingerprint detection
TW201235894A (en) * 2011-02-25 2012-09-01 Primax Electronics Ltd Undirectional mouse
CN102654796A (zh) * 2011-03-04 2012-09-05 致伸科技股份有限公司 无方向性鼠标
KR101313537B1 (ko) 2011-07-07 2013-10-01 하재석 한 손으로 컴퓨터를 조작하기 위한 장치
TWI493387B (zh) * 2011-11-18 2015-07-21 Primax Electronics Ltd 多點觸控滑鼠
US9292197B2 (en) * 2012-03-30 2016-03-22 Mckesson Financial Holdings Method, apparatus and computer program product for facilitating the manipulation of medical images
CN103513785A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 一种信息处理方法、电子设备及输入设备
CN103576910B (zh) * 2012-08-06 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN113568506A (zh) * 2013-01-15 2021-10-29 超级触觉资讯处理有限公司 用于显示器控制和定制姿势解释的动态用户交互
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
JP5956481B2 (ja) * 2014-02-10 2016-07-27 レノボ・シンガポール・プライベート・リミテッド 入力装置、入力方法、及びコンピュータが実行可能なプログラム
TWI645314B (zh) 2016-10-06 2018-12-21 宏達國際電子股份有限公司 手勢偵測系統及方法
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11348373B2 (en) 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
JPH1165759A (ja) * 1997-08-21 1999-03-09 Sharp Corp 情報入力装置
JPH11506559A (ja) * 1996-03-28 1999-06-08 シナプティックス・インコーポレイテッド エッジモーション機能及びジェスチャ認識を用いたオブジェクト位置検出器
JPH11345082A (ja) * 1998-04-01 1999-12-14 Fujitsu Takamisawa Component Ltd マウス
JP2002501271A (ja) * 1998-01-26 2002-01-15 ウェスターマン，ウェイン 手操作入力を統合する方法および装置
JP2002287862A (ja) * 2001-03-13 2002-10-04 Microsoft Corp コンピュータ入力装置に近接する物理的存在の感知に応答して情報を表示する方法
JP2002323945A (ja) * 2001-03-13 2002-11-08 Microsoft Corp コンピュータ入力装置に近接する物理的存在の感知に応答して情報を表示する方法
JP2003177871A (ja) * 2001-12-12 2003-06-27 Nego:Kk 単一のボタンで多数の入力操作が行える入力装置
JP2003216320A (ja) * 2002-01-18 2003-07-31 Sharp Corp 情報入出力装置、情報入出力方法、その方法を実現するためのプログラム、およびそのプログラムを記録した記録媒体
JP2005339229A (ja) * 2004-05-27 2005-12-08 Nec Corp 入力機器及び入力システム
WO2006027924A1 (ja) * 2004-09-03 2006-03-16 Matsushita Electric Industrial Co., Ltd. 入力装置
WO2006132817A2 (en) * 2005-06-03 2006-12-14 Apple Inc. Mouse with improved input mechanisms
WO2007061057A1 (ja) * 2005-11-25 2007-05-31 Matsushita Electric Industrial Co., Ltd. ジェスチャー入力装置、及び方法
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
WO2008094791A2 (en) * 2007-01-30 2008-08-07 Apple Inc. Gesturing with a multipoint sensing device
JP2008532185A (ja) * 2005-03-04 2008-08-14 アップル インコーポレイテッド マルチタッチセンシングデバイスを持つハンドヘルド電子装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
US6184064B1 (en) * 2000-01-12 2001-02-06 Micron Technology, Inc. Semiconductor die back side surface and method of fabrication
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US7168047B1 (en) * 2002-05-28 2007-01-23 Apple Computer, Inc. Mouse having a button-less panning and scrolling switch
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP4795343B2 (ja) * 2004-07-15 2011-10-19 エヌ−トリグ リミテッド 二重モードデジタイザの自動切り替え
US8614676B2 (en) 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US20070257891A1 (en) 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US20090174676A1 (en) 2008-01-04 2009-07-09 Apple Inc. Motion component dominance factors for motion locking of touch sensor data
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
JPH11506559A (ja) * 1996-03-28 1999-06-08 シナプティックス・インコーポレイテッド エッジモーション機能及びジェスチャ認識を用いたオブジェクト位置検出器
JPH1165759A (ja) * 1997-08-21 1999-03-09 Sharp Corp 情報入力装置
JP2007184008A (ja) * 1998-01-26 2007-07-19 Wayne Westerman 手操作入力を統合する方法
JP2002501271A (ja) * 1998-01-26 2002-01-15 ウェスターマン，ウェイン 手操作入力を統合する方法および装置
JPH11345082A (ja) * 1998-04-01 1999-12-14 Fujitsu Takamisawa Component Ltd マウス
JP2002287862A (ja) * 2001-03-13 2002-10-04 Microsoft Corp コンピュータ入力装置に近接する物理的存在の感知に応答して情報を表示する方法
JP2002323945A (ja) * 2001-03-13 2002-11-08 Microsoft Corp コンピュータ入力装置に近接する物理的存在の感知に応答して情報を表示する方法
JP2003177871A (ja) * 2001-12-12 2003-06-27 Nego:Kk 単一のボタンで多数の入力操作が行える入力装置
JP2003216320A (ja) * 2002-01-18 2003-07-31 Sharp Corp 情報入出力装置、情報入出力方法、その方法を実現するためのプログラム、およびそのプログラムを記録した記録媒体
JP2005339229A (ja) * 2004-05-27 2005-12-08 Nec Corp 入力機器及び入力システム
JP2008508600A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
WO2006027924A1 (ja) * 2004-09-03 2006-03-16 Matsushita Electric Industrial Co., Ltd. 入力装置
JP2008532185A (ja) * 2005-03-04 2008-08-14 アップル インコーポレイテッド マルチタッチセンシングデバイスを持つハンドヘルド電子装置
WO2006132817A2 (en) * 2005-06-03 2006-12-14 Apple Inc. Mouse with improved input mechanisms
JP2008542915A (ja) * 2005-06-03 2008-11-27 アップル インコーポレイテッド 改良された入力メカニズムを備えたマウス
WO2007061057A1 (ja) * 2005-11-25 2007-05-31 Matsushita Electric Industrial Co., Ltd. ジェスチャー入力装置、及び方法
WO2008094791A2 (en) * 2007-01-30 2008-08-07 Apple Inc. Gesturing with a multipoint sensing device
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254467A (ja) * 2012-06-06 2013-12-19 Areson Technology Corp マウスを用いてタッチスクリーン操作をシミュレーションする方法
TWI501116B (ja) * 2012-06-06 2015-09-21
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法

Also Published As

Publication number Publication date
WO2010056917A1 (en) 2010-05-20
KR20110084313A (ko) 2011-07-21
EP2359224A1 (en) 2011-08-24
KR101535320B1 (ko) 2015-07-08
EP2359224B1 (en) 2017-07-05
CN102216883B (zh) 2013-11-13
US20100117963A1 (en) 2010-05-13
JP5674674B2 (ja) 2015-02-25
US8502785B2 (en) 2013-08-06
CN102216883A (zh) 2011-10-12

Similar Documents

Publication Publication Date Title
JP5674674B2 (ja) 表面に載せた手に合わせたジェスチャーの発生
US8446374B2 (en) Detecting a palm touch on a surface
KR101521337B1 (ko) 재배치가능한 터치면 상의 제스처 방위의 검출
US9182884B2 (en) Pinch-throw and translation gestures
US7924271B2 (en) Detecting gestures on multi-event sensitive devices
US8188985B2 (en) Method and apparatus continuing action of user gestures performed upon a touch sensitive interactive display in simulation of inertia
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
AU2008100547B4 (en) Speed/position mode translations
US9367235B2 (en) Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
TWM341257U (en) Touch input system and electronic device
AU2017203910B2 (en) Glove touch detection
CN104885051A (zh) 锚拖动触摸符号辨识
US8947378B2 (en) Portable electronic apparatus and touch sensing method
US20120050171A1 (en) Single touch process to achieve dual touch user interface
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130305

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130408

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140326

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5674674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees