JP6009454B2 - コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化 - Google Patents

コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化 Download PDF

Info

Publication number
JP6009454B2
JP6009454B2 JP2013544857A JP2013544857A JP6009454B2 JP 6009454 B2 JP6009454 B2 JP 6009454B2 JP 2013544857 A JP2013544857 A JP 2013544857A JP 2013544857 A JP2013544857 A JP 2013544857A JP 6009454 B2 JP6009454 B2 JP 6009454B2
Authority
JP
Japan
Prior art keywords
computing device
input
motion
ibsm
input event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013544857A
Other languages
English (en)
Other versions
JP2013546110A (ja
Inventor
ピー.ヒンクリー ケネス
ピー.ヒンクリー ケネス
パユ ミシェル
パユ ミシェル
シェン ウェンチー
シェン ウェンチー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013546110A publication Critical patent/JP2013546110A/ja
Application granted granted Critical
Publication of JP6009454B2 publication Critical patent/JP6009454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/1649Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being independently orientable, e.g. for presenting information to a second user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化に関する。
ハンドヘルド・コンピューティング装置により、しばしば、ユーザは装置のディスプレイ面と直接接触することにより情報を入力することができる。これらの種類の入力機構を、本明細書では接触タイプの入力機構と称する。例えば、タッチ入力機構は、ユーザがコンピューティング装置のディスプレイ面に1本の指で(または複数の指で)タッチするときの直接タッチ入力イベントを提供する。ペン入力機構は、ユーザがディスプレイ面に、スタイラス・ペンとしても知られるペン装置でタッチするときの直接ペン入力イベントを提供する。
コンピューティング装置によりまた、ユーザは1つまたは複数の指またはペン装置を用いてジェスチャを実行することができる。例えば、ジェスチャは、ユーザが指またはペン入力装置でディスプレイ面をなぞる痕跡のマーク(telltale mark)に対応することができる。コンピューティング装置は、このジェスチャを関連するコマンドに関連付ける。コンピューティング装置は次にそのコマンドを実行する。そのような実行は、ユーザの入力動作(直接操作のドラッグ動作など)の過程で、または、ユーザが入力動作を完了した後に、起こりうる。
一般に、開発者は、リッチな入力ジェスチャのセットに適合する表現力豊かな接触タイプの入力機構を提供したいと思うかもしれない。しかしながら、ジェスチャの数を増やすと、いくつかの課題が生ずるおそれがある。例えば、コンピューティング装置が、類似する2つ以上の所定の意図的なジェスチャに適合すると仮定する。このケースでは、ユーザはある特定のジェスチャを入力するつもりであるが、コンピューティング装置は、そのジェスチャを類似するが別のジェスチャと誤って解釈してしまうかもしれない。別のケースでは、ユーザは、接触タイプの入力機構との意図した相互作用を必要としないタスクを、コンピューティング装置を用いて実施したいかもしれない。しかし、ユーザが、接触タイプの入力機構との故意でない接触を生じさせるようにコンピューティング装置を扱うかもしれない。あるいは、ユーザが、情報を入力している間に偶然に接触タイプの入力機構のディスプレイ面を擦るかまたはディスプレイ面にぶつかるかもしれず、これが接触タイプの入力機構との偶然の接触の原因となる。接触タイプの入力機構が、これらの偶然の接触を正当な入力イベントと誤って解釈してしまうかもしれない。これらの問題が、それらが頻繁に生ずるようになると、または、希であったとしてもユーザが実施しているタスクにおいてそれらが重大な途絶を引き起こす場合には、ユーザを苛つかせるのは理解できる。
開発者は、複合の独特なジェスチャを開発することでこれらの懸案の一部に対処することができる。しかしながら、これは完全に満足できる解決法ではない。なぜならば、ユーザが、特にこれらのジェスチャが複雑で「不自然」であるときには、これらのジェスチャを覚えて実行するのは困難であるかもしれないからである。さらに、しばしば、ユーザが複雑なジェスチャを表現するのには時間がかかる。この理由のため、これらの種類のジェスチャを1組の可能なジェスチャに追加することは、収穫逓減を生ずる。
本明細書では、入力動作を説明する複数の入力イベントを収集するコンピューティング装置を説明する。例えば、コンピューティング装置は、タッチ入力機構および/またはペン入力機構などの少なくとも1つの接触タイプの入力機構から、1つまたは複数の入力イベントを受け取る。コンピューティング装置はまた、加速度計および/またはジャイロ装置などの少なくとも1つの動きタイプの入力機構から、1つまたは複数の入力イベントを受け取る。動きタイプの入力機構は、コンピューティング装置の方位または動的な動きを示す(より具体的には、本明細書で使用する際、「動き」という用語は、コンピューティング装置の方位もしくはコンピューティング装置の動的な動きの何れか、またはその両方を広く包含する)。これらの入力イベントに基づいて、随意に他の因子と関連して、コンピューティング装置は発生した入力動作の種類を解釈する。この検出結果に基づいて、コンピューティング装置は次に入力イベントの少なくとも一部を無視するなどの所望の動作を実行することができる。
より簡潔に述べると、本明細書では、(タッチ入力機構および/またはペン入力機構を介した)ユーザの意図的なまたは意図しない接触タイプの入力を解釈するときにコンピューティング装置の動きを考慮する、コンピューティング装置を説明する。動きは、それらが(もしあれば)現在ユーザが示している任意の目標指向型の動作に対して偶然である限り、バックグラウンドの動きとして特徴付けられる。即ち、ユーザはこれらのバックグラウンドの動きを意図的な動作として行うことに集中しなくてもよい。
1つのケースでは、コンピューティング装置は、入力動作の過程で接触タイプの入力機構(複数可)および動きタイプの入力機構(複数可)から受け取った入力イベントを繰り返し分析するように構成される。これは、コンピューティング装置が入力動作の種類を検出する信頼度を改善するために行われる。
発明を実施するための形態では、コンピューティング装置の動きを使用して接触入力イベント(複数可)の分析を改良する多数のシナリオを説明する。これらの例の一部を以下で要約する。
1つのシナリオでは、コンピューティング装置は、動き入力イベント(複数可)が所定の時間ウィンドウで所定の閾値を超えるときに、入力動作の少なくとも一部が意図しないものであると結論付ける。この場合、その入力動作を、コンピューティング装置を持ち上げることまたは下に置くことに関連付けてもよい。
別のシナリオでは、コンピューティング装置は、ノイズ環境でのコンピューティング装置の操作を示すノイズのような動き特性を動き入力イベント(複数可)が示すときに、入力動作の少なくとも一部が意図しないものであると結論付ける。
別のシナリオでは、コンピューティング装置は、タッチ接触を適用または除去する間に生ずる意図しない動きを理由として、入力動作の少なくとも一部が意図しないものであると結論付ける。
別のシナリオでは、コンピューティング装置は、接触入力イベント(複数可)と動き入力イベント(複数可)の組合せに基づいて行われたジェスチャの種類をより正確に区別する。
別の例では、コンピューティング装置は、コンピューティング装置が手で真っ直ぐに立てて保持されていると動き入力イベント(複数可)が示すとき、入力動作が指または手の他の部分の意図しない適用に関連付けられると結論付ける。コンピューティング装置が手で真っ直ぐに立てて保持されていることは、コンピューティング装置の方位を決めることで検出することができる。
コンピューティング装置は、その分析に応答して様々な動作を行うことができる。1つのケースでは、コンピューティング装置は、入力動作の少なくとも一部が意図しないものであるとコンピューティング装置が判定するときに、接触入力イベント(複数可)の少なくとも一部を拒絶することができる。追加または代替として、コンピューティング装置は、入力動作の少なくとも一部が意図しないものであるとコンピューティング装置が判定するときに、動作前の状態を復元することができる。追加または代替として、コンピューティング装置は、入力動作の少なくとも一部が意図しないものであるとコンピューティング装置が判定するときに、接触入力イベント(複数可)の解釈を補正して動き入力イベント(複数可)の影響を除去することができる。追加または代替として、コンピューティング装置は、検出された入力動作の種類に基づいてユーザ・インタフェース表現を修正することができる。
以上の機能を、様々な種類のシステム、コンポーネント、方法、コンピュータ読取可能媒体、データ構造、製品、等で表現することができる。
本要約は概念の抜粋を簡潔な形で導入するために提供される。これらの概念を下記の発明を実施するための形態でさらに説明する。本要約は、主張する主題の主要な特徴または本質的な特徴を特定しようとするものではなく、主張する主題の範囲を限定するために使用しようとするものでもない。
図1は、接触入力イベントを動き入力イベントのコンテキストで解釈するため、および/または、動き入力イベントを接触入力イベントのコンテキストで解釈するための機能を含む、例示的なコンピューティング装置を示している。 図2は、図1のコンピューティング装置で使用する解釈および動作選択モジュール(interpretation and behavior selection module、IBSM)を示している。 図3は、図1のコンピューティング装置を使用できる例示的なシステムを示している。 図4は、意図的なジェスチャで使用できる回転の動きの例を示している。 図5は、意図的なジェスチャで使用できる回転の動きの例を示している。 図6は、図4または図5の何れかに示す種類の回転の動きを組み込むことができる様々なジェスチャを示している。 図7は、図4または図5の何れかに示す種類の回転の動きを組み込むことができる様々なジェスチャを示している。 図8は、図4または図5の何れかに示す種類の回転の動きを組み込むことができる様々なジェスチャを示している。 図9は、図4または図5の何れかに示す種類の回転の動きを組み込むことができる様々なジェスチャを示している。 図10は、コンピューティング装置を対象物に向けることを含む意図的なジェスチャを示している。 図11は、コンピューティング装置を静止した指に対して動かすことを含む意図的なジェスチャを示している。 図12は、少なくとも2つの表示部分を有するコンピューティング装置の2つの表示部分へ接触を適用することを含む意図的なジェスチャを示している。 図13は、独特なマルチ・タッチのジェスチャの適用により可能となる意図的なジェスチャを示している。 図14は、接触点をコンピューティング装置に適用し、次いでコンピューティング装置を回転することを含む、意図的なジェスチャを示している。 図15は、動き入力イベントを使用して、例えば指(または手の他の部分)をコンピューティング装置のディスプレイ面に適用するかまたはディスプレイ面から離すときの接触入力イベントの解釈を強化するための機能を示している。 図16は、一般的に大きな動き入力イベントを引き起こすバックグラウンドの動きを示している。 図17は、コンピューティング装置がコンピューティング装置の方位に基づいてタッチ入力イベントを無視できる状況を示している。 図18は、コンピューティング装置がコンピューティング装置の方位に基づいてタッチ入力イベントを無視できる状況を示している。 図19は、フォアグラウンドの動作モードにおける、図1のコンピューティング装置の1つの動作様式を説明する流れ図である。 図20は、バックグラウンドの動作モードにおける、図1のコンピューティング装置の1つの動作様式を説明する流れ図である。 図21は、以上の図面で示した特徴の任意の態様を実装するために使用できる処理機能を示している。
本開示および図面にわたって同一の番号を使用して、同様なコンポーネントおよび特徴を参照する。100番台はもともと図1に示された特徴を示し、200番台はもともと図2に示された特徴を示し、300番台はもともと図3に示された特徴を示す、等である。
本開示は以下のように構成されている。セクションAは、接触入力イベントを評価するときにコンピューティング装置の動きを考慮する、例示的なコンピューティング装置を説明する。セクションBは、セクションAのコンピューティング装置の動作を説明する、例示的な方法を説明する。セクションCは、セクションAおよびBで説明した特徴の任意の態様を実装するために使用できる、例示的な処理機能を説明する。
本出願は、本願と同日に出願された、発明者はKenneth Hinckley他であり、表題は「Detecting Gestures Involving Intentional Movement of a Computing Device」である同一出願人による特許出願シリアルナンバー(代理人整理番号330018.01)に関連する。この出願は、参照により全体として本明細書に組み込まれる。
前段として、図の幾つかでは、1つまたは複数の構造的なコンポーネントのコンテキストで概念を説明する。そのコンポーネントは、関数、モジュール、特徴、要素、等と様々に称する。図で示した様々なコンポーネントを、(ハードウェア、ソフトウェア、ファームウェア、等、またはそれらの任意の組合せによって等)任意の物理的機構および有形的機構により任意の方法で実装することができる。1つのケースでは、図における様々なコンポーネントの別個のユニットへの例示した分割は、実際の実装における対応する別個のコンポーネントの使用を反映することができる。代替または追加として、図で示した任意の単一のコンポーネントを複数の実際のコンポーネントで実装してもよい。代替または追加として、図の任意の2つ以上の別々のコンポーネントが、単一の実際のコンポーネントで実施される様々な機能を反映してもよい。図21は、後で論ずるが、図で示した機能の1つの例示的な実装に関する追加の詳細を提供する。
他の図では、概念を流れ図の形で説明する。この形では、特定の動作が、特定の順序で実施される別個のブロックを構成するとして説明される。そのような実装は例示的であり非限定的である。本明細書に記載の特定のブロックを、グループ化し、単一の動作で実施することができる。特定のブロックを複数のコンポーネント・ブロックに分解することができる。特定のブロックを、本明細書で示したものとは異なる順序(並列にブロックを実施することを含む)で実施することができる。流れ図で示したブロックは、(ハードウェア、ソフトウェア、ファームウェア、等、またはそれらの任意の組合せによって等)任意の物理的機構および有形的機構により任意の方法で実装されうる。
用語に関して、「〜するように構成される」という句は、特定された動作を実施するように任意の種類の物理的機能および有形的機能を構築できる任意の方法を包含する。当該機能を、例えば、ソフトウェア、ハードウェア、ファームウェア、等、および/またはそれらの任意の組合せを用いて、動作を実施するように構成することができる。
「論理」という用語は、タスクを実施するための任意の物理的機能および有形的機能を包含する。例えば、流れ図で示した各動作は、その動作を実施するための論理コンポーネントに対応する。動作を、例えば、ソフトウェア、ハードウェア、ファームウェア、等、および/またはそれらの任意の組合せを用いて実施することができる。コンピューティング・システムによって実装するとき、論理コンポーネントは、どのように実装されようとも、コンピューティング・システムの物理的部分である電子コンポーネントを表す。
以下の説明では、1つまたは複数の特徴を「任意」として特定することがある。この種の記述は、任意と考えうる特徴を網羅的に示すものとして解釈すべきではない。即ち、本明細書では明示的には示していないけれども、他の特徴も任意と考えることができる。同様に、説明で、特徴の単一の事例、または特徴の複数の事例を特定することがある。特徴の単一の事例に言及しても、この特徴の複数の事例を排除するものではない。さらに、複数の事例に言及しても、単一のこの特徴の事例を排除するものではない。最後に、「例」または「例示的」という用語は、潜在的に多数の実装形態のうち1つの実装形態を指す。
A.例示的なコンピューティング装置
A.1.概要
図1は、接触入力イベントを分析するときのコンピューティング装置100の動きを考慮する、コンピューティング装置100の例を示している。コンピューティング装置100は、随意に、表示機構102を様々な入力機構104とともに含む。表示機構102が含まれる場合は、表示機構102はデジタル情報をディスプレイ面に視覚的に表示する。表示機構102を、液晶ディスプレイ等のような任意の種類のディスプレイで実装することができる。図示していないが、コンピューティング装置100が音声出力機構、触覚(例えば振動)出力機構、等を含むこともできる。
入力機構104はタッチ入力機構(複数可)106およびペン入力機構(複数可)108を含むことができる。タッチ入力機構(複数可)106を、抵抗性のタッチ・スクリーン技術、容量性のタッチ・スクリーン技術、アコースティック・タッチ・スクリーン技術、双方向性のタッチ・スクリーン技術等の任意の技術を用いて実装することができる。双方向性のタッチ・スクリーン技術では、表示機構は、情報を表示することに専念する要素と情報を受信することに専念する要素とを提供する。したがって、双方向性の表示機構の表面はまた、キャプチャ機構でもある。タッチ入力機構(複数可)106およびペン入力機構(複数可)108を、表示機構102から分離された(または、少なくとも部分的に分離された)パッド・タイプの入力機構を用いて実装することもできる。パッド・タイプの入力機構はまた、タブレット、デジタイザ、グラフィック・パッド、等とも呼ばれる。
ペン入力機構(複数可)108を、パッシブ・ペン技術、アクティブ・ペン技術、等の任意の技術を用いて実装することができる。パッシブの場合は、コンピューティング装置100はペン装置の存在を、ペン装置がディスプレイ面にタッチしたとき(または近づいたとき)に検出する。その場合、ペン装置は、独立した電源も処理機能ももたない単純に細長い器具を表してもよく、または、表示機構102との誘導結合によりペン装置は受動的に電力供給されてもよい。アクティブの場合は、ペン装置は、ディスプレイ面に関してその位置を検知するための独立した検出機能を組み込むことができる。さらに、アクティブ・ペン装置は、独立した動き検知機構を含むことができる。さらに、アクティブ・ペン装置は、独立したデプス検知機構を備えることができる。これらの例では、アクティブ・ペン装置がその入力データを分析用にコンピューティング装置100に転送することができる。以下の説明では、ペン装置に関する入力データが、コンピューティング装置100、ペン装置自体、またはそれらの組合せから生ずることができることは理解されよう。
本明細書で使用する用語では、接触タイプの入力機構は、ユーザが表示機構102のディスプレイ面またはコンピューティング装置102の他の部分との実際の接触または密接な接触を確立する、任意の種類の入力機構を表す。接触タイプの入力機構は、上述のタッチ入力機構(複数可)106およびペン入力機構(複数可)108、等を含む。さらに、コンピューティング装置100との任意の接触が、1つまたは複数の別個の接触の事例を含んでもよい。例えば、ユーザが、1つまたは複数の指をディスプレイ面と近接または実際に接触させることにより、ディスプレイ面と接触することができる。
入力機構104はまた、様々な種類の動きタイプの入力機構(複数可)110を含む。動きタイプの入力機構という用語は、コンピューティング装置100の方位もしくは動き、またはその両方を測定する任意の種類の入力機構を表す。動きタイプの入力機構(複数可)110を、線形の加速度計、ジャイロスコープ・センサ(本明細書で使用する用語に従えば「ジャイロ装置」)、様々な動き周波数帯域幅に調節された振動センサ、重力、トルク・センサ、歪ゲージ、曲げセンサ、光学エンコーダ機構、等に関連する、コンピューティング装置100またはコンピューティング装置100の一部の特定の姿勢または動きを検出する機械的手段を用いて、実装することができる。さらに、任意の動きタイプの入力機構が、任意の数の空間軸に沿った動きを検知することができる。例えば、コンピューティング装置100は、3つの空間軸に沿った動きを測定する加速度計および/またはジャイロ装置を組み込むことができる。
入力機構104はまた、ビデオ・キャプチャ入力機構、デプス検知入力機構、ステレオ画像キャプチャ機構、等の任意の種類の画像検知入力機構(複数可)112を含むことができる。デプス検知入力機構は、コンピューティング装置100の幾つかの部分からオブジェクトの距離を測定する。例えば、1つのケースでは、デプス検知入力機構は、コンピューティング装置100のディスプレイ面からのオブジェクトの距離を測定する。デプス検知入力機構を、任意の種類のキャプチャ技術(例えば、飛行時間の技術)を任意の種類の電磁放射(例えば、可視スペクトル放射、赤外線スペクトル放射、等)とともに使用して実装することができる。画像検知入力機構(複数可)112の一部が、周囲の環境に関連するコンピューティング装置100の動きを決定するために使用できる限り、動きタイプの入力機構として機能することもできる。代替または追加として、例えば、画像検知入力機構(複数可)の一部を動きタイプの入力機構(複数可)110とともに使用して、動きタイプの入力機構(複数可)110の性能および/または正確性を高めることができる。図1では具体的には列挙されていないが、他の入力機構は、キーパッド入力機構、マウス入力機構、音声入力機構、等を含むことができる。
本明細書で使用する用語では、各入力機構は、それが起動されたときに入力イベントを生成するといわれる。例えば、ユーザが表示機構102(またはコンピューティング装置100の他の部分)のディスプレイ面にタッチすると、タッチ入力機構(複数可)106がタッチ入力イベントを生成する。ユーザがペン装置をディスプレイ面に適用すると、ペン入力機構(複数可)108がペン入力イベントを生成する。より一般的に述べると、接触タイプの入力機構が接触入力イベントを生成する。接触入力イベントは、何らかのオブジェクトがコンピューティング装置100と近接または実際に物理的に接触したことを示す。一方、動きタイプの入力機構は、動き入力イベントを生成するといわれる。任意の入力イベントが、それ自体、1つまたは複数の入力イベント・コンポーネントを含んでもよい。言及を簡単かつ簡潔にするために、以下の説明では最も頻繁に、入力機構の出力を複数で、例えば、「入力イベント」として説明する。しかし、様々な分析を、単一の入力イベントに基づいて実施することもできる。
図1では、入力機構104が表示機構102に部分的に重複することを示す。この理由は、入力機構104の少なくとも一部を、表示機構102に関連する機能と統合できるからである。これは、タッチ入力機構(複数可)106およびペン入力機構108(複数可)等の接触タイプの入力機構に関するケースである。例えば、タッチ入力機構(複数可)106は、部分的に、表示機構102によって提供される機能に依存する。
解釈および動作選択モジュール(IBSM)114は、入力イベントを入力機構104から受け取る。即ち、解釈および動作選択モジュール(IBSM)114は、入力動作の過程で入力イベントを収集する。この場合、入力動作は、意図的なものであるかもしくは意図的でないものであるかの何れかであり、またはその組合せである。名前が示唆するように、IBSM114は入力イベントを解釈するタスクを実施する。それを行う際、IBSM114は接触入力イベントを、場合によっては他の因子とともに、動き入力イベントのコンテキストで解釈する(およびその逆も行う)。その解釈の役割を果たした後、IBSM114は、零個の、1つの、または複数の解釈された入力イベントに関連する動作を実施することができる。
高レベルの視点からは、IBSM114は、入力動作中に発生する動きの性質に応じて、2つの役割を果たす。第1の役割では、IBSM114は、接触入力イベントおよび動き入力イベントの両方を分析して、ユーザが意図的にコンピューティング装置100を意図的なジェスチャの一部として動かしたか否かを判定する。動かした場合は、IBSM114は、そのジェスチャを認識して、そのジェスチャに対応付けられるどのような動作も実行する。このコンテキストでは、発生した動きはフォアグラウンドの運動である。なぜならば、ユーザが意図的にこの動作を実施する、即ち、その動作がユーザの認識の焦点のフォアグラウンド(前面)にあるからである。
より具体的には、第1のケースでは、IBSM114は動作をジェスチャの完了時に実行する。第2のケースでは、IBSM114は動作をジェスチャの過程で実行する。何れのケースでも、IBSM114は、同時におよび/または連続して発生する2つ以上のジェスチャを解釈し、そのジェスチャに関連する相応の動作を実行することもできる。何れのケースでも、IBSM114は、発生した(または現在発生している)ジェスチャの種類を分析し続け、適切と判断する場合にはそのジェスチャの解釈を変更することもできる。IBSM114のこれらの態様を明らかにする種々の例を説明する。
第2の役割では、IBSM114は、接触入力イベントと動き入力イベントとの両方を一緒に分析する。この場合、動き入力イベントはコンピューティング装置100のバックグラウンドの動きに起因する。その動きは、ユーザの認識の背景にあるという意味で、バックグラウンドである。その動きは、(もしあれば)ユーザの任意の目標指向型の入力動作に対して偶然的であってもよい。このケースでは、IBSM114は、入力イベントに関連する入力動作の種類の解釈を試みて、例えば、ディスプレイ面への接触が意図的なものか意図的でないものかを判定する。IBSM114は次いで、その分析に応答して様々な動作を実施することができる。
セクションA.2(下記)では、フォアグラウンドの動作モードに関する追加の詳細を提供し、セクションA.3(下記)では、バックグラウンドの動作モードに関する追加の詳細を提供する。例の多くではタッチ入力を動き入力イベントとともに使用することを説明するが、これらの例の何れも、ペン入力(または他の任意の接触入力)を動き入力イベントとともに使用することにも適用される。
最後に、コンピューティング装置100が、任意の1つまたは複数のアプリケーション・ソースから受け取った1つまたは複数のアプリケーション116を実行してもよい。アプリケーション116は、任意の高レベルの機能を任意のアプリケーション領域において提供することができる。
あるケースでは、IBSM114は、アプリケーション116に関して別個のコンポーネントを表す。別のケースでは、IBSM114に起因する1つまたは複数の機能を1つまたは複数のアプリケーション116によって実施することができる。例えば、一実装形態では、IBSM114が実施されたジェスチャを解釈することができ、アプリケーションが、その解釈に基づいて動作を選択し実行することができる。したがって、本明細書ではIBSM114の概念は、特定の実装において任意の数のコンポーネントによって実装できる包括機能として自由に解釈される。
図2は、図1で導入したIBSM114の別の説明を示す。図に示すように、IBSM114は様々な入力イベントを受け取る。例えば、IBSM114は、タッチ入力イベント、ペン入力イベント、方位入力イベント、動き入力イベント、画像検知入力イベント、等を受け取ることができる。これらのイベントに応答して、IBSM114は様々な出力動作を提供する。例えば、IBSM114は、意図的な動きベースのジェスチャの検出に応答して様々なコマンドを実行することができる。環境固有の要因に応じて、IBSM114はこれらの機能をユーザがジェスチャを実施する過程で、および/または、ジェスチャの完了時に、実施することができる。IBSM114はまた、様々な視覚、音声、触覚等のフィードバック・インジケータを提供して、最も実施された(または、実施されている)可能性のあるジェスチャの現在の解釈を示すことができる。代替または追加として、IBSM114は、入力動作が少なくとも部分的に意図的ではなかったと判定する場合は、接触入力イベントの一部を拒否することができる。代替または追加として、IBSM114は、(ディスプレイの状態および/またはアプリケーションの状態などの)状態を、入力動作の発生前の時点に復元することができる。代替または追加として、IBSM114は、接触入力イベントの解釈を補正して、入力動作の少なくとも一部が意図的ではないとIBSM114が判定するときに動き入力イベントの影響を除去することができる。代替または追加として、IBSM114は、その入力動作の理解に基づいてコンピューティング装置100の構成をなんらか調整して、例えば、さらに意図的な接触入力イベントをより効率的に受け取って意図的でない接触入力イベントの影響を最小化することができる。代替または追加として、IBSM114は、上述のフィードバック・インジケータを、その入力イベントの現在の解釈に基づいて、例えば、その現在の解釈が以前の解釈と異なりうる限り、修正または除去することができる。
説明したように機能するために、IBSM114は一連の分析モジュールを取り込むことができる。この場合、様々なジェスチャおよびバックグラウンドの動きのシナリオの検出が、それぞれの異なる分析モジュールを利用してもよい。任意の分析モジュールが1つまたは複数の技法に依存して入力イベントを分類することができる。その1つまたは複数の技法には、パターン・マッチング技法、ルール・ベースの技法、統計的技法等が含まれる。例えば、各ジェスチャまたはバックグラウンドのノイズ・シナリオを、入力イベントの特定の痕跡パターン(telltale pattern)により特徴付けることができる。特定の一連の入力イベントを分類するために、特定の分析モジュールがこれらの入力イベントを既知のパターンのデータストアに対して比較することができる。ジェスチャまたはバックグラウンドのシナリオの区別を支援できる代表的な特徴には、接触を適用してその後除去するやり方、(全てである場合)接触を適用している間に接触を動かすやり方、動き入力イベントの規模、動き入力イベントの特定の信号形状および他の特徴等が含まれる。上述したように、分析モジュールは、その結論を、到着した新たな入力イベントに関して継続的にテストすることができる。
図3は、図1のコンピューティング装置100を使用できる例示的なシステム300を示す。このシステム300では、ユーザはコンピューティング装置100と相互作用して入力イベントを提供し出力情報を受け取る。コンピューティング装置100を、任意の種類の装置として物理的に実装することができる。任意の種類の装置には、任意の種類のハンドヘルド装置ならびに任意の種類の伝統的な固定装置が含まれる。例えば、コンピューティング装置100を、携帯情報端末、モバイル通信装置、パッド・タイプの装置、電子書籍リーダ装置、ハンドヘルド・ゲーム装置、ラップトップ・コンピューティング装置、パーソナル・コンピュータ装置、ワークステーション装置、ゲーム・コンソール装置、セットトップ・ボックス装置等として実装することができる。さらに、コンピューティング装置100が、1つまたは複数の装置の部分を含むことができ、その一部(または全部)がディスプレイ面の部分を有してもよい(またはそのどれもディスプレイ面の部分を有さなくてもよい)。
図3は、コンピューティング装置100の代表的(であるが非包括的)な実装形態の集合を示す。シナリオAでは、コンピューティング装置100は、任意の大きさのハンドヘルド装置である。シナリオBでは、コンピューティング装置100は、複数の装置部分を有する電子書籍リーダ装置である。シナリオCでは、コンピューティング装置100は、例えば、パッド・タイプの入力装置を含み、例えば、それによりユーザは、タッチおよび/またはペンのジェスチャを、表示機構102のディスプレイ面ではなく(またはそれに加えて)パッド・タイプの入力装置の表面で行う。パッド・タイプの入力装置を、表示機構102と統合すること、または、表示機構102から分離すること(またはそれらの何らかの組合せ)が可能である。シナリオDでは、コンピューティング装置100は、任意の大きさのラップトップ・コンピュータである。シナリオEでは、コンピューティング装置100は、任意の種類のパーソナル・コンピュータである。シナリオFでは、コンピューティング装置100は、壁掛けタイプの表示機構に関連付けられる。シナリオGでは、コンピューティング装置100は、卓上の表示機構等に関連付けられる。
1つのシナリオでは、コンピューティング装置100は、任意の他の機能と相互作用することなくローカル・モードで動作することができる。代替または追加として、コンピューティング装置100が1つまたは複数の任意の種類のネットワーク304を介して任意の種類のリモート・コンピューティング機能302と相互作用することができる。例えば、リモート・コンピューティング機能302が、コンピューティング装置100により実行できるアプリケーションを提供することができる。1つのケースでは、コンピューティング装置100がそのアプリケーションをダウンロードすることができる。別のケースでは、コンピューティング装置100が、ウェブ・インタフェース等を介してそのアプリケーションを利用することができる。リモート・コンピューティング機能302はまた、IBSM114の1つまたは複数の任意の態様を実装することができる。したがって、任意の実装において、コンピューティング装置100のコンポーネントといわれる1つまたは複数の機能をリモート・コンピューティング機能302により実装することができる。リモート・コンピューティング機能302を、1つまたは複数のサーバコンピュータ、データストア、ルーティング機器等を用いて物理的に実装することができる。ネットワーク304を、任意の種類のローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク(例えば、インターネット)、またはそれらの組合せにより実装することができる。ネットワーク304を、任意のプロトコルまたはプロトコルの組合せによって支配される、無線リンク、ハードワイヤード・リンク、ネーム・サーバ、ゲートウェイ等の任意の組合せにより物理的に実装することができる。
A.2.フォアグラウンド関連の動き
このセクションでは、ユーザがコンピューティング装置100を意図的なジェスチャの一部として意図的に動かすかまたは叩くケースでのIBSM114の動作を説明する。一般に述べると、任意の種類の動きを取り込むジェスチャを定義することができる。ここで、述べたように、動きという用語は本明細書では広い解釈を与えられる。幾つかのケースでは、ジェスチャは、コンピューティング装置100を初期の方位に関して所定の方位に動かすことを必要とする。代替または追加として、ジェスチャは、所定の動き(例えば、経路に沿った動き、振動の動き等)をコンピューティング装置100に適用することを必要としてもよい。動きを、速度、加速度、方向、周波数、等のパラメータの任意の組合せにより特徴づけることができる。
幾つかのケースでは、ジェスチャは、(タッチ装置および/またはペン装置等を介して)動きとともに接触の連結適用を必要とする。例えば、ユーザがディスプレイ面のオブジェクトをタッチし次にコンピューティング装置100を所定の方位に動かし、および/または、コンピューティング装置100を所定の動的な方法で、例えば、所定のジェスチャの経路をなぞることによって、動かしてもよい。IBSM114は、結果の入力イベントを、ディスプレイ面上の指定のオブジェクトまたは他のコンテンツ(例えば、ユーザが指またはペン装置でタッチしているオブジェクト)に関して何らかの動作を行うという要求として解釈することができる。このケースでは、接触入力イベントは、時間において少なくとも部分的に動き入力イベントと重複する。他のケースでは、ユーザは、コンピューティング装置100に接触を適用し、次いで何らかの痕跡の動き(telltale movement)をコンピューティング装置100に適用し、または、最初に何らかの痕跡の動きをコンピューティング装置100に適用して次いでコンピューティング装置100に接触を適用してもよい。ジェスチャは、1つまたは複数の追加の逐次的な接触段階(複数可)および/または動き、および/または、1つまたは複数の追加の同時接触段階(複数可)および動きを含むことができる。これらのケースでは、接触入力イベントを動き入力イベントと任意の方法で交互に配置してもよい。換言すれば、接触入力イベントが動き入力イベントと時間的に重複する必要はない。他のケースでは、ジェスチャが単に、所定の動きをコンピューティング装置100に適用することを必要としてもよい。他のケースでは、ユーザが2つ以上のジェスチャを同時に適用してもよい。他のケースでは、ユーザが、別のジェスチャ等にシームレスに遷移するジェスチャを適用してもよい。以下の説明では、これらの一般的な点を特定の例に関して示す。これらの例は代表的であって、コンピューティング装置100の意図的な動きに基づいて生成されうる多数のジェスチャを包括するものではない。
以下の例の多くでは、ユーザが表示機構102のディスプレイ面と接触しているとして示す。代替または追加として、ユーザは例えば図3のシナリオCで示したパッド・タイプの入力装置と相互作用することができる。さらに、多くのケースでは、例えば、ユーザは2つの手のアプローチを用いて選択を行うとして示されており、この場合、ユーザは装置を片方の手で保持し、もう一方の手の1本の(または複数本の)指で選択を行う。しかし、これらのケースの何れにおいても、ユーザは、代わりに、装置を保持している手の親指(または手の他の部分)で選択を行うことができる。最後に、ユーザの手への一般的な言及は、手の任意の部分を包含するとして理解されるべきである。
下記の例の何れにおいても、コンピューティング装置100は、ジェスチャが認識され対応する動作がまさに適用されようとしているかまたは適用されている過程にあることを示す、任意の種類のフィードバックをユーザに提示することができる。例えば、コンピューティング装置100は、視覚フィードバック・インジケータ、音声フィードバック・インジケータ、触覚(例えば、振動)フィードバック・インジケータ等の任意の組合せを提示することができる。非視覚フィードバック・インジケータの使用は幾つかのケースにおいて有用でありうる。なぜならば、ユーザがコンピューティング装置を動かしている間に視覚インジケータに気づくのは困難であるかもしれないからである。別の一般的な特徴によれば、コンピューティング装置100は、ユーザが任意の意図しないジェスチャの影響を除去できるようにするための取消コマンドを提示することができる。
図4は、ユーザが、手404(または、図示していないが、2つの手)でコンピューティング装置402を掴むシナリオを示している。ユーザは次にコンピューティング装置402を、その遠位端406が矢印408の方向に下方に動くように回転させる。補完的な動きにおいて、ユーザはコンピューティング装置402を、その遠位端406が矢印408の反対方向に上方に動くように回転させることができる。
図5は、ユーザがコンピューティング装置502を手504で掴むシナリオを示している。ユーザは次にコンピューティング装置502を、その側端506が矢印508の方向に上方に動くように回転させる。補完的な動きにおいて、ユーザはコンピューティング装置502を、その側端506が矢印508の反対方向に下方に動くように回転させることができる。
図示していないけれども、別の回転では、ユーザはコンピューティング装置を床と平行な平面内で回転させることができる。より一般には、これらの3つの回転軸は代表的なものにすぎず、ユーザはコンピューティング装置を任意の平面における任意の回転軸に関して回転させることができる。さらに、ユーザは、様々な種類の回転の動きおよび/または並進の動きを複合的なジェスチャへと結合することができる。
図6は、図4に示す種類の回転の動きを取り込む1つのジェスチャを示している。このケースでは、ユーザの意図が、コンピューティング装置604のディスプレイ面に表示されるオブジェクト602に関して何らかの機能を実施することであると仮定する。例えば、ユーザはオブジェクト602にズームインしてオブジェクト602を拡大したいかもしれない。ジェスチャの一部として、ユーザは、例えば(ある単に代表的なケースにおいて)オブジェクト602に自分の親指でタッチすることにより、オブジェクト602に接触を適用する。このケースでは、ズーム動作の拡大の中心が、ディスプレイ面の親指の位置に関連する点(x、y)に対応してもよいことに留意されたい。あるいは、拡大の中心が、親指の位置に関連する点(x、y)からの固定のオフセットに対応してもよい。このケースでは、ズーム動作を、親指の下方ではなく(1例では)親指の直上の点で生成する。別の例では、ユーザが、オブジェクト602を介して値を入力したいかもしれない。これを行うために、ユーザは、オブジェクトにタッチして値を増加させる(図示していない他の何らかのオブジェクトをタッチして値を減少させる)ことができる。
これらのシナリオでは、ユーザがコンピューティング装置604を保持する角度により、動作が行われる速度、例えば、(上述の第1の例では)ズームが発生する速度または(上述の第2の例では)数値フィールドの数字が増加または減少する速度等を制御する。角度を、ユーザがオブジェクト602にタッチするときのコンピューティング装置604の初期方位に関して測定してもよい。あるいは、角度を、ユーザが痕跡の回転の動き(telltale rotational movement)を開始するときの装置の初期方位に関して測定してもよい。痕跡の回転の動きは、一般に、タッチ動作(または他の接触動作)と同時に起こり、幾つかのケースではそのような痕跡の動きは接触の直後に行われ、他のケースでは接触の直前に行われることが可能である。
一般に述べると、回転ベースのジェスチャを実施するために、ユーザはコンピューティング装置604を手606で(または2つの手で)保持し、オブジェクト602にタッチし、コンピューティング装置604を傾けることができる。すなわち、ユーザが動作の速度を大幅に増速させたい場合、ユーザはコンピューティング装置604を元の方位に関して大幅に傾ける。ユーザが動作の速度を小幅に増速させたい場合、ユーザはコンピューティング装置604を小幅に傾けることができる。ユーザは、傾斜角を減少させることで速度を任意の時点で減少させることができる。他のケースでは、IBSM114が様々な動作を初期の傾斜角に関して様々な回転方向に対応付けることもできる。例えば、ユーザは、コンピューティング装置604を下方に傾けることによりオブジェクト602にズームインし、コンピューティング装置604を上方に傾けることによりオブジェクト602にズームアウトすることができる。小さな故意でない速度変化を防止するため、IBSM114は速度の変化が生じない初期傾斜角の範囲を組み込むことができる。ユーザがこの無応答幅の端の閾値を越える場合、IBSM114は速度を変更し始める。そのような閾値を、初期傾斜角に関する両方の回転方向において定義することができる。
IBSM114は、傾斜角をズーム量に対応付けるための任意の種類の機能を適用することができる(または、どのような動作も傾斜角に対応付けられる)。1つのケースでは、IBSM114が線形の速度関数を適用することができる。別のケースでは、IBSM114が任意の種類の非線形の速度関数を適用することができる。例えば、後者のケースに関して、IBSM114は、慣性ベースの関数、任意の種類の制御システム機能等を適用することができる。
図6の例では、ユーザはパン・コマンド(panning command)をコンピューティング装置604が提示するコンテンツに適用することもできる。例えば、上述のように、ユーザは、コンピューティング装置604を所定の方位に回転させるとともに、1本の指でオブジェクト602をタッチすることができる。これにより、オブジェクト604に関係するコンテンツの一部を拡大することができる。同時に、または交互に、例えば指でコンテンツにタッチして指を所望の方向に動かすことで、ユーザは自分の他方の手(または同じ手)を用いてコンテンツを横方向にパンすることができる。図6の実施形態は、この種類の複雑な制御に適合する。なぜならば、その実施形態では、ユーザの一方の手が、パン・タイプのジェスチャ(または任意の他の種類の意味あるジェスチャまたは入力コマンド)を行うために自由になっているからである。交互に行う場合は、この例はまた、どのように一方のジェスチャ(装置の回転によるズーム)を(指をディスプレイ面にわたって動かすことによるパンのような)別のジェスチャとシームレスに統合できるかの実証である。
さらに他のケースでは、ユーザはディスプレイ面上の任意の特定のオブジェクトを指定せずに上述の回転の動きを行うことができる。それに応答して、IBSM114はズーム(または任意の他の所定の動作)をディスプレイ面に提示されたコンテンツの全てに、または、環境固有のシナリオのコンテキストにおいて適切な任意の他のグローバル・コンテンツに適用することができる。
図7は、図6のシナリオと同様な概念を示している。ここで、ユーザはコンピューティング装置702を一方の手704で保持する(この特定のケースでは、ユーザはディスプレイ面のどの部分も手704でタッチしていない)。ユーザは次いで自分の他方の手708でスクロール機構706を操作する。説明を明確にするために、図7は、スクロール機構706が明示的なスクロール・ハンドルに関連づけられていることを示している。しかし、他のケースでは、スクロール機構を、ディスプレイ面に提示される任意のコンテンツにタッチしてそのコンテンツを動かすことにより、起動することができる。この動作が、従来式のスクロール動作を実行する。さらに、ユーザはコンピューティング装置702を初期位置から傾けて、スクロールが行われる速度を増速および減速させることができる。図7に示すシナリオは、良好なユーザ・エクスペリエンスを提供する。なぜならば、そのシナリオが、長いコンテンツ・アイテムを迅速に進むための便利な手段を提供し、望む場合にはコンテンツ・アイテムをよりゆっくりと進むための手段も提供するからである。
図6および7の例では、コンピューティング装置(604、702)は、初期開始位置に関する装置(604、702)の方位により支配される動作を提供する。追加または代替として、コンピューティング装置は、ユーザが装置を回転させるかまたは他の何らかの痕跡の動きを実施する速度に対応する動作を提供することができる。例えば、図6の例では、図示したように、ユーザは1本の指でオブジェクト602にタッチし、コンピューティング装置604を下方向に傾けることができる。IBSM114は、ユーザがこの傾ける動きを行う速度を、何らかの所定の動作が行われる速度を示すものとして解釈する。例えば、ユーザがコンピューティング装置604を下方向に(釣竿で釣り糸を投げるように)素早く傾ける場合、IBSM114はズーム・レベルを素早く増大(または減少)させることができる。または、オブジェクト602がスクロール・コマンドと関係すると仮定する。IBSM114は、ユーザの「釣り糸を投げる」動作を、大きなドキュメントを素早くスクロールする要求を示すものとして解釈することができる。例えば、ユーザは装置を図示したように下方に繰り返しスナップして、長い文書を連続的に大きく飛ばす(または、文書の先頭または終わりへ離散的に飛ぶ)ことができる。この例示的な動作のモードでは、IBSM114を、下方へのスナップを終えた後にユーザがコンピューティング装置を初期位置に戻すときのコンピューティング装置の動きを無視するように構成することができる。
図8は、図5に示した回転の動きを取り込むシナリオを示している。ここで、ユーザの意図は、元のページをマークして、文書内の別のページに進み、次いで元のページに戻るように指を適用することであると仮定する。これを行うために、ユーザはコンピューティング装置802を手804で保持してもよい。ユーザは指806をタブ808に置いて、マルチパートのコンテンツ・アイテム内の特定のページまたは他の位置を指定してもよい。ユーザが次にマルチパートのコンテンツ・アイテムの後続のページまたは他の部分をめくると仮定する。元のページに戻るために、ユーザは、本のページをめくるように、コンピューティング装置802を矢印810の方向へめくり上げることができる。これにより、元のページがコンピューティング装置802のディスプレイ面に復元される。
上記のシナリオを任意の方法で変更することができる。例えば、タブ808を、ディスプレイ面の別の位置に置くか、または、他の何らかの視覚的支援を選択して完全に除外することができる。あるいは、コンピューティング装置802が、全てのそのような永続的な視覚的支援を除外することができる。代替または追加として、コンピューティング装置802は、ブックマークとして解釈されるようにユーザが指をディスプレイ面に置くときに動的に起動される、視覚、音声、および/または触覚のフィードバック・インジケータ等を使用することができる。コンピューティング装置802はまた、例えば、ページがめくられているという視覚的なシミュレーションを表示することにより、ページめくり動作をユーザに伝達する任意の種類の適切な視覚体験を提供することができる。さらに、後述するように、図8に示す相互作用を、2画面装置で実現することができる。ここで、ユーザは一方の装置部分を保持し、他方の装置部分を回転させて「前にめくる」動作を起動してもよい。
図8に示すめくりジェスチャを使用して、例えば特定の環境またはアプリケーションで定義される、他のめくりの動作をディスプレイ面で実現することができる。1つの単に例示的なケースでは、コンピューティング装置802のディスプレイ面が複数の側面、次元、面等を有する任意の種類のオブジェクト812を表示すると仮定する。ユーザは、図8に示すめくりの動きを実行することにより別の側面に進むことができる。これには、オブジェクト812をその側面で傾けてオブジェクト812の新たな上部を表示する効果がある。ユーザはこの種類の動作を行って、様々なアプリケーション、オプション、フィルタ、ビュー等を切り替えることもできる。ユーザはまた、この種類の動作を実施して、第2の下層のオブジェクトの上部に提示される第1のオブジェクトを取り除くことができる。すなわち、ユーザは、コンピューティング装置802を素早く傾けて、重なっているオブジェクトを下層のオブジェクトの片側に動かし、それにより下層のオブジェクト(複数可)が現れるようにし、ゆえに重なったオブジェクトでの動作をより簡単および直感的にすることができる。ユーザは、この傾き動作を繰り返し行って、オブジェクトを一定量(ここで、その量をアプリケーション固有に定義することができる)連続的に回転することができ、または、連続的に層を取り除くことができる。
図9は、図8に関して上述した同一の基本的なページめくりジェスチャを示しているが、このケースでは、電子書籍リーダ・タイプのコンピューティング装置902のコンテキストで示す。ここで、ユーザは自分の親指904(または他の指)をコンピューティング装置902のディスプレイ面の左下方の余白(または他の何らかの位置)に付けてもよい。このブックマーク動作により元のページをマークする。次に、ここでも、ユーザが文書の後続のページを電子的にめくると仮定する。1つのケースでは、元のページに戻るために、ユーザが次にリーダ・タイプのコンピューティング装置902の1つの装置部分を、図8に示すように上方にめくることができる。IBSM114はこの痕跡めくり(telltale flipping)ジェスチャを動き検知入力機構に基づいて検出することができる。代替または追加として、IBSM114がこのジェスチャを、互いに関する2つの表示部分(906、908)の動きに基づいて、例えば、(装置部分の間の角度を検出する)角度センサから検出されるように、検出することができる。
別のケースでは、IBSM114がページめくりジェスチャをより明確に区別できるようにするために、ユーザはコンピューティング装置902の2つの装置部分(906、908)を閉じて、図示したように自分の親指904(または他の指)を2つの装置部分(906、908)で挟んでもよい。ユーザは次に上述のめくりの動きを実行して元のページに戻ってもよい。コンピューティング装置902は、装置部分(906、908)の間の角度を検知することによって、ユーザが親指904の周りの装置部分(906、908)を閉じたと判定することができる。上述のめくり動作がなくとも、2つの装置部分(906、908)の間に置かれた親指を置く動作により、ブックマーク位置を登録する有用な目的を果たす。
図10は、ユーザがコンピューティング装置1002を手1004で保持し、コンピューティング装置1002を何らかの対象物の方向、または、対象物の何らかの割り当てられた代理となるものの方向を指すというシナリオを示している。ユーザは次に、他の手1006(または同じ手)を使用して、コンピューティング装置1002のディスプレイ面上の幾つかのオブジェクト1008(例えば、文書、コマンド、等)を特定してもよい。IBSM114は、このジェスチャをオブジェクト1008のコピーを対象物へ送信する要求として、または、オブジェクト1008の内容および/または状況を対象物と同期する要求として、または、オブジェクト1008および対象物に関する任意の他のアプリケーション固有な目的を達する要求として、解釈する。IBSM114は、コンピューティング装置1002を任意の種類の動きタイプの入力機構に基づいて指し示す方向を決定することができる。IBSM114は、対象物の相対的な位置を様々に、例えば、対象物の位置を手動で前もって登録すること、対象物の位置を対象物が発する信号に基づいて自動的に検知すること、対象物の位置をコンピューティング装置1002自体が実行する画像キャプチャ技法に基づいて自動的に検知すること等により、決定することができる。代替または追加として、IBSM114はコンピューティング装置1002の方位を決定することができ、対象のコンピューティング装置の補完的なIBSMがその対象の装置の方位を決定することもできる。IBSM114は次に、コンピューティング装置1002が対象のコンピューティング装置に向けられていることを、各々のユーザが自分の装置を互いに対して向けているかどうかを判定することによって、判定することができる。他のケースでは、1人または複数のユーザが共有の対象オブジェクトを指しているかもしれず、各々のコンピューティング装置(複数可)のIBSM(複数可)がこの事実を上述の方法の何れかで検出することができる。例えば、共有の対象オブジェクトが共有の周辺装置(例えば、プリンタ、ディスプレイ装置等)に対応してもよい。
図10に示すシナリオの1つの例では、ユーザはディスプレイ面上のファイルの表現にタッチすることでファイル(または他のコンテンツ・アイテム)を選択することができる。ユーザは次に、装置をゴミ箱に向けて、ファイルを削除することができる(ここで、ゴミ箱の位置は、予め登録されているか、または、そうでなければ上述の1つまたは複数の方法で決定可能であると仮定する)。変形においては、ユーザはディスプレイ面上のファイルの表現にタッチして、コンピューティング装置1002をディスプレイ面自体のゴミ箱アイコンに傾けて、それゆえ比喩的にファイルをゴミ箱に移すことができる。他の多くの応用例が可能である。1つのケースでは、IBSM114は、取消コマンドの視覚的表現を、コンテンツ・アイテムをこのように削除するときは常に、提示することができる。これにより、ユーザは意図しない削除の効果を覆すことができる。
図11は、ユーザがコンピューティング装置1102を手1104で保持し、コンピューティング装置1102がユーザの他の手1106の指または他の手1106の他の部分と接触するようにコンピューティング装置1102を動かす、別のシナリオを示している。これは、ユーザが手1106を用いてコンピューティング装置1102のディスプレイ面を押し下げる従来の動きと対照的である。IBSM114は任意の種類のコマンドをこの動きと関連付けることができる。この種類のジェスチャを様々な予防手段と組み合わせてその故意ではない起動を防止することができる。例えば、図示していないが、ユーザが左手1104の親指を用いて、アイコン等と接触して、この特定のジェスチャ・モードを可能とすることができる。
別のケース(図示せず)では、ユーザはディスプレイ面の様々なオブジェクトを様々な強さで、例えば、通常の力でまたは大きな力で、タップすることができる。IBSM114は、これらの2つの種類のタッチ接触を異なるやり方で解釈することができる。IBSM114は第1の種類の動作を優しいタップに対して実施し、第2の種類の動作を激しいタップに対して実施することができる。起動されたこれらの動作はアプリケーション固有である。例えば、アプリケーションが優しいタップを使用して電話に出て、激しいタップを使用してその電話を無視することができる。または、アプリケーションが軽いタップを使用して着信音を弱め、激しいタップを使用して電話を無視することができる。
この種類のジェスチャを可能とするために、動きタイプの入力機構(複数可)110は、例えば、指を優しくディスプレイ面に置いてディスプレイ面を「通常の力で」タップすること、および激しくディスプレイ面をタップすることに対応する入力イベントを提供することができる。IBSM114は次に、これらの入力イベントに関連する入力信号を調べて、実施した入力イベントの種類を分類することができる。例えば、IBSM114は、大規模な信号の急上昇を有する入力イベントを、激しくタップするジェスチャを示すものとして解釈することができる。追加または代替として、IBSM114は(例えば1つまたは複数のマイクロフォンから受信した)音声信号、および/または、(圧力センサ(複数可)等のような)任意の他の入力機構(複数可)から受信した信号を使用して優しいタップと激しいタップを区別することができる。
関連するケースでは、IBSM114は、ユーザが最初に指をディスプレイ面に適用した力の大きさに基づいて様々な種類のドラッグの動きを区別することができる。これにより、例えば、IBSM114は軽いスワイプと激しくスクリーンを叩いてドラッグすることとを区別することができる。IBSM114は、任意の動作を様々な種類のタップ・アンド・ドラッグのジェスチャに再び対応付けることができる。
図12は、ユーザが、2つの装置部分(1204、1206)を有するコンピューティング装置1202を手1208で保持する、別のシナリオを示している。他の手1210で、ユーザは、2つの装置部分(1204、1206)に提供された、2つの装置部分(1204、1206)の間の所定の角度1212を有するディスプレイ面にタッチする。IBSM114はこのジェスチャを任意の種類の動作に対応付けることができる。このジェスチャの変形を、2つの装置部分(1204、1206)の間の角度1212を動的に変更することによって、および/または、2つの装置部分(1204、1206)のディスプレイ面に置いた指および親指の位置を動的に変更することによって、定義することができる。
図13は、シナリオAにおいて、ユーザが手1302を用いて独特な指1304の組合せをコンピューティング装置1306のディスプレイ面に置く、より一般的なジェスチャを示している。他の手1308で、ユーザは、例えばコンピューティング装置1306を特定の方向に振ることによって、コンピューティング装置1306を任意の明確な方法(telltale manner)で動かし始めてもよい。独特なマルチ・タッチのタッチジェスチャが存在するので、コンピューティング装置1306がこのジェスチャをコンピューティング装置1306の偶然の動作と混同する可能性は低い。ユーザは、様々なマルチ・タッチのジェスチャを、様々なコマンドを伝達する同じ基本の動きとともに適用することもできる。
さらに、繰り返すと、ユーザは任意の所定の種類の接触を個々のオブジェクトまたはディスプレイ面上の特定の領域に対して適用し、次いで所定の動きをコンピューティング装置に適用することができる。集中的な接触と動きを組み合わせることで、意図的なジェスチャ・ベースの動きを偶然的な動きと区別することを支援する。例えば、図13のシナリオBで示したように、ユーザは、コンピューティング装置1312のディスプレイ面上のオブジェクト1310にタッチしてコンピューティング装置1312を激しく振ることができる。IBSM114がこの動作を、指定のオブジェクト1310が前面に表示されるように、指定のオブジェクト1310を削除する要求、指定のオブジェクト1310に対して行われた最後の動作を取り消す要求、指定のオブジェクト1310を特定のフォルダに動かす要求、オブジェクト1310をシャッフルする要求のような、任意の所定の方法で解釈することができる。
別のケースでは、ユーザはディスプレイ面のオブジェクトにタッチすることができ、タッチするとIBSM114がメニューを提供する。ディスプレイ面に依然としてタッチしている間に、ユーザは痕跡の動きをコンピューティング装置に対して適用することができる。IBSM114は、この結合動作をメニューを拡大する要求として解釈するか、または、特定の選択肢をメニューから選択する要求として解釈することができる。このアプローチでは、3つのステップ、即ち、(1)オブジェクトの選択、(2)動き検知ジェスチャ・モードの起動、(3)選択されたオブジェクト(複数可)へ適用するための特定のコマンドまたはジェスチャの選択、を単一の連続動作に統合することに留意されたい。選択および動きのジェスチャの他の例は、例えば、ズーム、スクロール、およびページめくりの例に関して上述した。
さらに、IBSM114は動的な動きジェスチャをコンピューティング装置の方位に基づいて様々に解釈することができる。例えば、第1のシナリオでは、ユーザがコンピューティング装置を自分の手で保持し、それを前後に振ると仮定する。第2のシナリオでは、ユーザがコンピューティング装置をテーブルに置き、コンピューティング装置をうつ伏せに置いて前後に揺らすと仮定する。IBSM114は、これらの2つのシナリオを、2つの別個の種類のジェスチャを伝達するとして解釈することができる。さらに、IBSM114が、動きベースのジェスチャを、ユーザがその時点で相互作用しているいかなるアプリケーション(複数可)のコンテキストでも解釈することができる。例えば、IBSM114は、同じ動きタイプのジェスチャを、それが2つの各々のアプリケーションのコンテキストで行われているときに異なる方法で解釈することができる。
最後に、図14は、ユーザが、コンピューティング装置1402で提示されているコンテンツも回転させることがないように、コンピューティング装置1402を横長モードから縦長モードへ(またはその逆へ)回転させたいと思っているシナリオを示す。このタスクを実施するために、ユーザはディスプレイ面の任意の部分、例えば(これには限定されないが)隅1404にタッチすることができる。例えば、ユーザは、コンピューティング装置1402がテーブルのような平面に置かれている間に、手1406で行うジェスチャが示すように、ディスプレイ面を押し下げることができる。または、ユーザは、コンピューティング装置1402を保持しつつ、手1408で行うジェスチャが示すように、コンピューティング装置を摘むことができる。ユーザは次いでコンピューティング装置1402をほぼ90度(または他の何らかのアプリケーション固有な回転量だけ)回転させる。一実装形態では、このジェスチャを認識すると、IBSM114はコンピューティング装置1402が自動的にテキストを回転させることを防ぐことができる。これと同じ動作を反対に実施することができる。すなわち、デフォルトでは、コンピューティング装置1402は、コンピューティング装置1402が回転するときにコンテンツを回転させない。コンピューティング装置1402が回転しているときにディスプレイ面に接触すると、コンテンツも回転する。回転は、接触点自体で定義される軸のような、任意の軸に関して行うことができる。
別の例では、ユーザは接触点を確立し次いでコンピューティング装置を回転させることができるが、接触点を確立した指(複数可)に関してコンピューティング装置を動かさない。例えば、ユーザはコンピューティング装置を摘んで、接触点を確立し、次いで長椅子またはベッドに横たわり、それを行う過程で、コンピューティング装置をその初期方位に関してほぼ90度回転させることができる。このケースでも、IBSM114は装置の動きを接触点の適用とともに、コンテンツの回転を無効(または有効)にする指示として解釈することができる。
1つのケースでは、ユーザが接触点を取り除くときでも、コンピューティング装置は、コンピューティング装置が適切な方位に動かされた後に、回転のロックを維持することができる。このモードでの動作を完了すると、ユーザは次に、回転のロックを取り除くコマンドを明示的に起動することができる。追加または代替として、ユーザは装置の方位を変更して回転のロックを取り除くことができる。
A.3.バックグラウンド関連の動き
このセクションでは、コンピューティング装置100に対して適用した動きが意図的なジェスチャの意図的な構成要素ではなく、したがってバックグラウンドの動きを構成するときの、IBSM114の動作を説明する。IBSM114は、この動きの性質を解釈し、動きに作用して入力動作の正確な分析を強化することができる。このセクションで提示する例は、代表的であって包括的ではない。
図15は、ユーザが手1504の指1502を用いてコンピューティング装置1506のディスプレイ面を押下する、第1のシナリオを示している。または、ユーザが指1502をディスプレイ面から離したと仮定する。この動作に応答して、IBSM114はタッチ入力イベントをタッチ入力機構(複数可)106から受け取る。これらのイベントは、ディスプレイ面との指1502の実際の(または間近の)接触、または、その接触の除去を登録する。IBSM114はまた、動き入力イベントを動きタイプの入力機構(複数可)110から受け取る。これらのイベントは、ユーザが自分の指1502をディスプレイ面に対して適用または除去したとき不用意に生じさせた動きを登録する。
第1の入力解釈モジュール1508は、例えば、その観点からタッチ接触が適用または除去された位置およびタイミングを決定することによって、タッチ入力イベントを分析することができる。第1の入力解釈モジュール1508は、その結論を主に、ユーザの指とディスプレイ面との間の接触の範囲(および/または形状)に基づく。第2の入力解釈モジュール1510は、例えば、その観点からタッチ接触が適用または除去された位置およびタイミングをその過程で生じたかもしれない任意のぶつかりあいとともに決定することによって、動き入力イベントを分析することができる。これが可能であるのは、タッチが適用または除去された位置およびタイミングも動き入力イベントから推論できるからである。より具体的には、第2の入力解釈モジュール1510は、その結論を部分的に、動きタイプの入力機構(複数可)110が提供する動きの信号の大きさ、一般的形状、および周波数特性に基づく。これにより、接触が適用または除去された時点を正確に示すことを支援することができる。第2の入力解釈モジュール1510はまた、その結論を、タッチの適用または除去の際にコンピューティング装置が動く方法に基づくことができる。これにより、接触が適用または除去されている位置を区別することを支援することができる。例えば、ユーザがコンピューティング装置を真っ直ぐに立てて保持し、隅をタップする場合、タッチが行われた位置を示す明確な方法でコンピューティング装置がロックされると期待することができる。
最終入力解釈モジュール1512が第2の解釈モジュール1510の結論を使用して、第1の解釈モジュール1508の結論を修正(例えば、補正)することができる。例えば、最終入力解釈モジュール1512は、正しい位置(x、y)でタッチされたが、タッチに関連する不用意な動きのため、位置(x+Δx、y+Δy)への動きがあったと結論付けることができる。ユーザが自分の指を離すとき、同様な不用意な動きが生ずる可能性がある。代替または追加として、最終入力解釈モジュール1512は、タッチが適用または除去されたと考えられるタイミングを調整することができる。別の例として、接触が、関連する動きの信号が殆どまたは全くなく登録された場合は、最終入力解釈モジュール1512は、接触がディスプレイ面との不用意な接触を表すであろうと結論付けてもよい。IBSM114は、ゆえに、この接触を無視するか、または、「通常の」接触動作と別に扱うことができる。
IBSM114は、最終入力解釈モジュール1512が到達した結論に基づいて様々な動作を行うことができる。1つのケースでは、IBSM114は、例えばユーザがタッチ接触を適用または除去した位置および/またはタイミングの指示を改良することによって、タッチ入力イベントを補正して、検出された偶然の動きを考慮することができる。さらに、IBSM114は、ディスプレイ面および/またはアプリケーションを、任意の不用意な動きが発生したかもしれない時点より前の状態に復元することができる。
図15の場合、複数のコンポーネント解釈モジュールが結論を最終解釈モジュール1512に供給する。しかし別の実装では、最終解釈モジュール1512は、入力機構が提供する生の入力イベントに対して、即ち、コンポーネント解釈モジュールなしに、分析を行うことができる。
図15の基本的な機能を使用して、ジェスチャの認識を強化することもできる。例えば、(ディスプレイ面で行った接触の性質の観点からは)めくりタイプの動きが素早いスクロール動作と似ているかもしれないが、ユーザはこれらの2つの動作を行って異なる入力コマンドを伝達しているかもしれない。これらの2つの入力動作を区別することを支援するために、IBSM114は結果の接触入力イベントを動き入力イベントとともに解釈することができる。動き入力イベントは、めくりの動きがスクロール動作と異なる動きのプロフィールを有する限り、2つの入力動作の区別を支援することができる。
IBSM114はまた、動きの信号を用いて、反対の手の人差し指を用いてスクロールすることに対してコンピューティング装置を保持している手の親指でスクロールすることなどの、特定の動作を表現する様々な方法を検出してもよい。そのような状況を検出したときは、そのような状況を用いて、例えばIBSM114がより正確にユーザの入力動作を区別できるようにすることにより、コンピューティング装置とのユーザの相互作用を最適化してもよい。例えば、コンピューティング装置が入力イベントの解釈を、コンピューティング装置に接触するためにどの指が使用されているかについての理解に基づいて、例えば、ユーザが親指でスクロールしていると判定されたときに軸外の動きをさらに許容できるようにすることによって、調節することができる。
別の例では、IBSM114は、ユーザがソフト(タッチ・スクリーン)キーボードをタイプするときにユーザが使用している指を決定することができる。1つのケースでは、ユーザは2つの親指でタイプするかもしれない。別のケースでは、ユーザは、装置を反対の手で保持しつつ1つの指でタイプするかもしれない。これらの2つのモードは、キー・ストライクを記述する異なる各動きのプロフィールを有する。IBSM114はこの異なる動きのプロフィールを使用して、ユーザが所与のキーを叩くためにどの方法を使用したかを推論するのを支援することができる。IBSM114は次に、各種のタッチ接触を解釈するときに適切なガウス分布を適用することができる。これにより、エラーの可能性を減らしつつタッチ・スクリーンのタイピングの効率性を高めることができる。
図15の機能を使用して、完全に偶然である入力動作を検出することもできる。例えば、幾つかのケースでは、正当な入力イベントが1つまたは複数の所定の動きのプロフィールを有するかもしれず、一方、不用意な入力イベントが1つまたは複数の他の所定の動きのプロフィールを有するかもしれない。例えば、ディスプレイ面を人差し指で「綺麗に」タップすることが正当な入力動作を示すプロフィールを有し、例えば親指または小指でディスプレイ面を磨くことにより生じうる、偶然にディスプレイ面に接触することが不用意な入力動作を示すプロフィールを有するかもしれない。
図16は、ユーザがコンピューティング装置1602を手で持ち上げ、または、コンピューティング装置1602を使用後に置く別のシナリオを示す。図16のこの特定の例では、ユーザはコンピューティング装置1602を手1606でポケット1604に入れるプロセスにある。この状況では、IBSM114が、時間ウィンドウで所定の閾値を超えた動き入力イベントを動きタイプの入力機構(複数可)110から受け取ってもよい。入力イベントがまた、装置が普通でない視聴位置に動かされたことを示してもよい。ユーザが空間を通してコンピューティング装置1602を素早く動かしおよび倒してコンピューティング装置1602をポケット1604に入れた可能性があるので、大きな動きの入力イベントが生成される。また、ユーザが、コンピューティング装置1602をポケット1604に入れる過程でコンピューティング装置1602のディスプレイ面を不用意にタッチしたと仮定する。その場合、IBSM114はタッチ入力イベントが不用意なものである可能性があると(その大きな動き入力イベント、および場合によっては他の因子に基づいて)結論付けることができる。コンピューティング装置1602はまた光センサおよび/または近接センサを備えてもよい。光センサおよび/または近接センサは、例えばコンピューティング装置1602が暗い環境に動かされたことを光センサが突然に示したときに、コンピューティング装置1602がポケット1604に入れられたという事実を独立して確認することができる。IBSM114は次に、タッチ入力イベントを無視することでタッチ入力イベントに応答することができる。さらに、上述のように、IBSM114はディスプレイ面を不用意な入力動作より前の状態に復元することができる。追加または代替として、IBSM114は以前のアプリケーション状態を復元することができる。
例えば、ユーザが、装置を自分のポケットに入れる過程でコンピューティング装置のディスプレイ面にタッチしたと仮定する。IBSM114は、その動きのみに基づいて、そのタッチが不用意なものであったと結論付けてもよい。装置は次に、不用意なタッチにより引き起こされた任意のコマンドを「取り消す」ことができる。動きの情報が十分でない場合には、IBSM114は、光センサおよび/または他のセンサの出力に基づいて、タッチが不用意なものであったと結論付けることができる。コンピューティング装置1602は次に、再び不用意な接触の影響を除去することができる。
別のシナリオでは(図示せず)、ユーザはコンピューティング装置1602を、ガタガタ揺れるバスの乗車等のような、ノイズ環境(例えば、不安定な環境)で操作しているかもしれない。このケースでは、IBSM114は動き入力イベントを分析して、ノイズ環境を示す、コンピューティング装置1602の定期的な摂動を判別することができる。この状況を解決するために、IBSM114は、例えば偶然と評価されたタッチ入力イベントの部分を無視し、表示状態および/またはアプリケーション状態(複数可)を復元して間違った変化を除去することによって、上述の動作を実施することができる。追加または代替として、IBSM114は、動き入力イベントに関連するバックグラウンドのノイズを取り去るようにタッチ入力イベントの修正を試みることができる。追加または代替として、IBSM114は、IBSM114が妥当なタッチ・イベントが生じたと示す感度を低下させることができる。これにより、ユーザがより慎重に意図的なタッチ入力イベントを正確に入力するようにする。しかし、これはまた、ノイズ環境に起因する不用意な入力イベントをより効果的に無視するという望ましい効果を有する。
図17は、ユーザが使用中にコンピューティング装置1702を手1704で保持するシナリオを示している。このケースでは、ユーザの親指1706が不用意にコンピューティング装置1702のディスプレイ面に接触するかもしれない。対照的に、図18は、ユーザがコンピューティング装置1802をテーブル等に平らに置くシナリオを示している。ユーザは次に手1804を用いて、人差し指1806をコンピューティング装置1802のディスプレイ面の左下隅で押す。IBSM114はコンピューティング装置(1702、1802)の各方位を調べて、図17で生じた親指の配置が図18に示す指の配置と比較して不用意なものである可能性が高いと、これらの接触がディスプレイ面の同一の領域で発生し同様な形状を有する可能性があっても、結論付けることができる。この理由は、ユーザがコンピューティング装置1702を上方に保持するときは、ユーザがコンピューティング装置1702を図17に示すように保持するのが自然であるからである。しかし、コンピューティング装置1802が図18に示すようにうつ伏せに横たわっているときに、1本の指を偶然にディスプレイ面に置く可能性は低い。上述の動き分析では、方位に基づいて結論の確認を支援することができる。さらに、1つまたは複数の他のセンサ(例えば、光センサ、近接センサ等)が、コンピューティング装置1802の適切な位置(複数可)に置かれた場合は、コンピューティング装置が図18に示すようにテーブルに平らに置かれているかどうかを判定するのを支援することができる。IBSM114は図17に示す偶然のタッチを、タッチ入力イベントを無視する等の、上述の任意の方法で解決することができる。
図17のケース(および、実際には全てのシナリオ)において、IBSM114は、接触入力イベントおよび動き入力イベントを解釈するときに、他の文脈的な因子を考慮することもできる。1つのそのような文脈的因子は、入力イベントが生じたときにユーザが相互作用しているアプリケーションである。例えば、第1のユーザが電子書籍リーダ・タイプの装置を用いてコンテンツを読んでいて、親指をページの特定部分に置くと仮定する。第2のユーザがウェブ・ページをスクロールしていて、親指をそのページの同じ一般的な部分に置くと仮定する。IBSM114は、親指の配置を、第2のシナリオと比べて第1のシナリオに対して意図的であると解釈する可能性が高いかもしれない。この理由は、第1のシナリオにおいてユーザが自分の親指をページ上に置いてそのページをブックマークしたかもしれないからである。さらに、誤ってページをブックマークする犠牲は無視でき、偶然に他のページへスクロールするかまたはめくる犠牲はユーザの現在のタスクを妨害するという観点から高い。
別の2画面のシナリオでは、IBSM114は動き入力機構を使用して、ユーザがコンピューティング装置を保持している方位を検知することができる。決定された方位は、ユーザが1つのディスプレイ部分を見ていて他方のディスプレイ部分は見ていないことを示すプロフィールに適合するかもしれない。すなわち、ユーザはディスプレイ部分のうち1つのみとの相互作用を最適化するように、コンピューティング装置の方向を決めたかもしれない。それに応答して、IBSM114は未使用と推定されたディスプレイ部分を低電力状態にすることができる。代替または追加として、IBSM114は、画像検知入力機構112のような他の入力機構を利用して、どのディスプレイ部分をユーザが見ているかを決定することができる。代替または追加として、幾つかの場合、IBSM114を、未使用のディスプレイ部分を介して受け取った入力イベントを無視して、それらの入力イベントを意図しない接触として分類するように構成することができる。
一般に、IBSM114は上述のシナリオを様々に実装することができる。1つのケースでは、IBSM114はデータストアを有することができる。データストアは、意図的な動作および意図的でない動作の両方を含む、様々な既知の動作の痕跡入力特性(telltale input characteristics)を記述する様々なプロフィールを提供する。IBSM114は次に、未知の入力動作に関連する入力イベントを、予め格納したプロフィールのデータストアと比較して、未知の入力動作の診断を支援することができる。データストアはまた、診断された後に入力動作を解決するために実行できる動作を示す情報を含むことができる。
代替または追加として、IBSM114は任意の種類のアルゴリズム技法を適用して接触入力イベントを動き入力イベントと組み合わせることができる。例えば、IBSM114は、ディスプレイ面上の可能なタッチ接触の位置を動き入力イベントに基づいて示す式を適用することができる。IBSM114は次に、どのように(動きのみに基づいて評価した)この位置を使用して接触入力イベントに基づいて評価される位置を補正できるかを示す、別の式を適用することができる。そのようなアルゴリズムの性質は装置固有であり、理論的分析および/または実験的分析に基づいて開発することができる。
B.例示的なプロセス
図19および20は、それぞれ、セクションAで説明したフォアグラウンドおよびバックグラウンドの動作モードにおける図1のコンピューティング装置100の動作を説明する手続き(1900、2000)を示している。コンピューティング装置の動作の基礎となる原理は既にセクションAで説明したので、本セクションでは特定の動作を要約形式で説明する。
図19は、コンピューティング装置100の意図的な動きに応答してコンピューティング装置100を制御するための手続き1900を示している。ブロック1902で、IBSM114は第1の入力イベントを1つまたは複数の接触タイプの入力機構から受け取る。ブロック1904で、IBSM114は第2の入力イベントを1つまたは複数の動きタイプの入力機構から受け取る。第2の入力イベントは、意図的な方法におけるコンピューティング装置の動きを示すものである。図19の右側の余白では、生じうる幾つかの可能な意図的な動きを列挙する。より一般には、ブロック1902および1904を任意の順序で行うことができ、および/または、これらの動作を重複させることができる。ブロック1906では、IBSM114は、可能であれば、ユーザが第1の入力イベントおよび第2の入力イベントに基づいて行った意図的なジェスチャを解釈する。ブロック1908では、IBSM114は、検出された意図的なジェスチャと関連する動作を適用する。この意味で、ブロック1906で行われた解釈により、その動作をブロック1908で実行することができる。ここで、ブロック1906および1908の動作を、同一のコンポーネントまたは異なる各コンポーネントにより実施することができる。図19の右の余白では、起動できる数個の動作を列挙する。
図19に示すフィードバック・ループは、IBSM114が入力イベントを入力動作の時間的な進行において繰り返し分析することを示す。入力動作の過程において、IBSM114は、IBSM114が入力動作の性質を検出する信頼度を高めることができる。最初は、IBSM114が入力動作の性質を診断できないかもしれない。動作が進むと、IBSM114は次に比較的低い信頼度で動作を予測し、IBSM114が、実際には、入力動作を誤って解釈するかもしれない。入力動作がさらに進むと、IBSM114はその信頼度を高め、可能であれば、最終的に、発生した入力動作の種類を正確に決定する。または、IBSM114は、受け取っている入力イベントがもはやサポートしていない解釈を放棄することができる。IBSM114は、ディスプレイ面および/または任意のアプリケーションを上述のように動作前の状態に復元することによって、任意の不正確な仮定を「取り消す」ことができる。
図20は、コンピューティング装置100の意図的でない動きに応答してコンピューティング装置100を制御する手続き2000を説明する。ブロック2002で、IBSM114は第1の入力イベントを1つまたは複数の接触タイプの入力機構から受け取る。ブロック2004で、IBSM114はコンピューティング装置100の動きに応答して、第2の入力イベントを1つまたは複数の動きタイプの入力機構から受け取る。より一般的には、ブロック2002および2004を任意の順序で行うことができ、および/または、これらの動作を重複させることができる。このケースでの動きは、コンピューティング装置100のバックグラウンドの動きを示し、ユーザが積極的に注目していない動きを意味する。図20の右の余白では、生じうる可能なバックグラウンドの動きの一部を列挙する。ブロック2006で、IBSM114は発生した入力動作の種類を、場合によっては他の因子と関連して、第1の入力イベントおよび第2の入力イベントに基づいて検出する。実際には、第2の入力イベントが第1の入力イベントの解釈を修正または制限する。ブロック2008で、IBSM114は、ブロック2006での入力イベントの種類の検出に応答して、適切な動作を適用することができる。ブロック2006および2008の動作を、同一のコンポーネントまたは異なる各コンポーネントによって実施することができる。図20の右の余白では、IBSM114が実行できる可能な動作の一部を列挙する。
図19での説明と同様に、図20で示すフィードバック・ループは、IBSM114が入力動作の過程を通して分析を繰り返して分析の信頼度を漸進的に高めることができることを示す。
C.代表的な処理機能
図21は、上述の機能の任意の態様を実装するために使用できる例示的な電子データ処理機能2100を説明する。図1を参照すると、例えば、図21に示す種類の処理機能2100を使用してコンピューティング装置100の任意の態様を実装することができる。1つのケースでは、処理機能2100が、1つまたは複数の処理装置を含む任意の種類のコンピューティング装置に対応してもよい。全てのケースにおいて、電子データ処理機能2100は1つまたは複数の物理的処理機構および有形的処理機構を表す。
処理機能2100は、RAM2102およびROM2104、ならびに1つまたは複数の処理装置2106のような揮発性および不揮発性のメモリを備えることができる。処理機能2100はまた、場合によっては、ハード・ディスク・モジュール、光ディスク・モジュール等のような、様々な媒体装置2108を備える。処理機能2100は、メモリ(例えば、RAM2102、ROM2104、または別の場所)で保持される命令を処理装置(複数可)2106が実行したときに、上述の様々な動作を実施することができる。
より一般的には、命令および他の情報を任意のコンピュータ読取可能媒体2110上に格納することができる。コンピュータ読取可能媒体2110には、静的メモリ記憶装置、磁気記憶装置、光記憶装置等が含まれるがこれらに限らない。コンピュータ読取可能媒体という用語はまた、複数の記憶装置を包含する。全てのケースにおいて、コンピュータ読取可能媒体2110は、何らかの形態の物理的実体および有形的実体を表現する。
処理機能2100はまた、様々な入力を(入力機構2114を介して)ユーザから受け取り様々な出力を(出力モジュールを介して)ユーザに提供するための入出力モジュール2112を備える。1つの特定の出力機構が、表示機構2116および関連するGUI(graphical user interface)2118を備えてもよい。処理機能2100がまた、データを1つまたは複数の通信コンジット2122を介して他の装置と交換するための1つまたは複数のネットワークインタフェース2120を含むことができる。1つまたは複数の通信バス2124が、上述のコンポーネントと通信可能に接続する。
通信コンジット(複数可)2122を、例えば、ローカル・エリアネットワーク、ワイドネットワーク(例えば、インターネット)、等、またはそれらの任意の組合せによって、任意に実装することができる。通信コンジット(複数可)2122が、任意のプロトコルまたはプロトコルの組合せで支配された、ハードワイヤード・リンク、無線リンク、ルータ、ゲートウェイ機能、ネーム・サーバ等の任意の組合せを含むことができる。
本発明を構造的な特徴および/または方法論的動作に固有な言葉で説明したが、添付の特許請求の範囲で定義した本発明は必ずしも上述の固有の特徴または動作に限定されないことは理解されよう。そうではなく、上述の固有な特徴および動作は請求項を実装する例示的な形態として開示されている。

Claims (11)

  1. コンピューティング装置であって、
    前記コンピューティング装置との接触を示す少なくとも1つの接触入力イベントを提供するための、少なくとも1つの接触タイプの入力機構と、
    前記コンピューティング装置の1つまたは複数の方位および動きを示す少なくとも1つの動き入力イベントを提供するための、少なくとも1つの動きタイプの入力機構と、
    を含む、入力動作に応答する複数の入力機構と、
    前記少なくとも1つの接触入力イベントおよび前記少なくとも1つの動き入力イベントの組合せを使用して、発生した前記入力動作の種類を検出するように構成された、解釈および動作選択モジュール(IBSM)と
    を備え
    前記IBSMは、前記少なくとも1つの動き入力イベントが実際に受信されるタイミングに対して、前記少なくとも1つの接触入力イベントが受信されたと考えられるタイミングを自動的に調整することにより、1又は複数の意図的でない入力を検出し応答するよう更に構成される、コンピューティング装置。
  2. 前記IBSMが、前記入力動作の過程で前記接触入力イベントおよび前記動き入力イベントを繰り返し分析して、前記IBSMが前記入力動作の種類を検出する信頼度を改良するように構成された、請求項1に記載のコンピューティング装置。
  3. 前記IBSMが、前記少なくとも1つの動き入力イベントが所定の閾値を超えるときに前記入力動作の少なくとも一部が意図的でないと結論付けるように構成され、前記入力動作が、前記コンピューティング装置を持ち上げることまたは下に置くことに関連付けられている、請求項1に記載のコンピューティング装置。
  4. 前記IBSMが、前記少なくとも1つの動き入力イベントが、ノイズ環境における前記コンピューティング装置の動作を示すノイズのような動きの特性を示すとき、前記入力動作の少なくとも一部が意図的でないと結論付けるように構成された、請求項1に記載のコンピューティング装置。
  5. 前記IBSMが、タッチ接触の適用中または除去中に発生する意図的でない動きのため前記入力動作の少なくとも一部が意図的でないと結論付けるように構成された、請求項1に記載のコンピューティング装置。
  6. 前記IBSMが、前記入力動作に関連付けられているジェスチャの種類を、前記少なくとも1つの接触入力イベントと前記少なくとも1つの動き入力イベントとの組合せに基づいて検出するように構成された、請求項1に記載のコンピューティング装置。
  7. 前記IBSMが、前記入力動作がタッチ接触の意図的でない適用に関連付けられている否かを、前記コンピューティング装置の決定された方位に基づいて判定するように構成された、請求項1に記載のコンピューティング装置。
  8. 前記IBSMがさらに、前記入力動作の前記種類の検出に応答して動作を実行するように構成され、
    1つの動作として、前記IBSMが、前記入力動作の少なくとも一部が意図的でないと前記IBSMが判定するときに、前記少なくとも1つの接触入力イベントの少なくとも一部を拒絶するように構成され、
    別の動作として、前記IBSMが、前記入力動作の少なくとも一部が意図的でないと前記IBSMが判定するときに、以前の状態を復元するように構成され、
    別の動作として、前記IBSMが、前記入力動作の少なくとも一部が意図的でないと前記IBSMが判定するときに、前記少なくとも1つの接触入力イベントの解釈を補正して前記少なくとも1つの動き入力イベントの影響を除去するように構成された、請求項1に記載のコンピューティング装置。
  9. コンピューティング装置の意図的でない動きに応答して前記コンピューティング装置を制御するための方法であって、
    前記コンピューティング装置との所定の方法での接触に応答して、少なくとも1つの接触入力イベントを少なくとも1つのタッチ入力機構から受け取るステップと、
    前記コンピューティング装置の動きに応答して、少なくとも1つの動き入力イベントを少なくとも1つの動きタイプの入力機構から受け取るステップと、
    前記コンピューティング装置との前記接触に関連付けられている入力動作の種類を、前記少なくとも1つの接触入力イベントおよび前記少なくとも1つの動き入力イベントに基づいて検出するステップと、
    前記入力動作の少なくとも一部が意図的でない入力動作に対応すると判定されるとき、前記少なくとも1つの接触入力イベントの少なくとも一部を拒絶するステップと
    少なくとも1つの接触入力イベントが受信された前記コンピューティング装置における位置の指示を自動的に調整して、前記少なくとも1つの接触入力イベントの解釈を補正することにより、前記コンピューティング装置の意図的でない動きを考慮するステップと、
    を含む方法。
  10. プロセッサに、
    ンピューティング装置との所定の方法での接触に応答して、少なくとも1つの接触入力イベントを少なくとも1つのタッチ入力機構から受け取らせ
    前記コンピューティング装置の動きに応答して、少なくとも1つの動き入力イベントを少なくとも1つの動きタイプの入力機構から受け取らせ
    前記コンピューティング装置との前記接触に関連付けられている入力動作の種類を、前記少なくとも1つの接触入力イベントおよび前記少なくとも1つの動き入力イベントに基づいて検出させ
    前記入力動作の少なくとも一部が意図的でないと判定されるとき、前記少なくとも1つの接触入力イベントが受信されたタイミングの指示を自動的に調整して、前記少なくとも1つの接触入力イベントの解釈を補正することにより、前記少なくとも1つの動き入力イベントを考慮させる、
    コンピュータプログラム
  11. 請求項10に記載のコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
JP2013544857A 2010-12-17 2011-12-17 コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化 Active JP6009454B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/970,943 2010-12-17
US12/970,943 US8982045B2 (en) 2010-12-17 2010-12-17 Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
PCT/US2011/065680 WO2012083277A2 (en) 2010-12-17 2011-12-17 Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device

Publications (2)

Publication Number Publication Date
JP2013546110A JP2013546110A (ja) 2013-12-26
JP6009454B2 true JP6009454B2 (ja) 2016-10-19

Family

ID=46233722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544857A Active JP6009454B2 (ja) 2010-12-17 2011-12-17 コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化

Country Status (6)

Country Link
US (1) US8982045B2 (ja)
EP (1) EP2652580B1 (ja)
JP (1) JP6009454B2 (ja)
KR (1) KR101919169B1 (ja)
CN (1) CN102645972B (ja)
WO (1) WO2012083277A2 (ja)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117140A (zh) * 2009-12-30 2011-07-06 联想(北京)有限公司 一种触摸处理方法及移动终端
KR101743632B1 (ko) 2010-10-01 2017-06-07 삼성전자주식회사 휴대용 단말기에서 전자책 페이지 넘김 장치 및 방법
EP2437151B1 (en) 2010-10-01 2020-07-08 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
US9678572B2 (en) * 2010-10-01 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US9201539B2 (en) 2010-12-17 2015-12-01 Microsoft Technology Licensing, Llc Supplementing a touch input mechanism with fingerprint detection
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US9201520B2 (en) 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
DE102011011802A1 (de) * 2011-02-19 2012-08-23 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
US20120235925A1 (en) * 2011-03-14 2012-09-20 Migos Charles J Device, Method, and Graphical User Interface for Establishing an Impromptu Network
KR101811636B1 (ko) * 2011-04-05 2017-12-27 삼성전자주식회사 디스플레이 장치 및 이의 오브젝트 표시 방법
JP2012221425A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 操作装置
CN102760025A (zh) * 2011-04-26 2012-10-31 富泰华工业(深圳)有限公司 图片浏览系统及图片缩放方法和图片切换方法
US9898122B2 (en) * 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
KR101878141B1 (ko) * 2011-05-30 2018-07-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
JP5529816B2 (ja) * 2011-08-31 2014-06-25 楽天株式会社 携帯型再生装置、携帯型再生装置の制御方法、プログラム、及び情報記憶媒体
US9557781B2 (en) * 2012-01-05 2017-01-31 Sony Corporation Adjusting coordinates of touch input
US8902181B2 (en) 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
US9269310B1 (en) 2012-02-16 2016-02-23 Amazon Technologies, Inc. Progressive display updates
EP3340047B1 (en) * 2012-02-17 2023-01-04 Sony Group Corporation Display and method in an electric device
KR20130099745A (ko) * 2012-02-29 2013-09-06 주식회사 팬택 터치 단말기의 입력 신호 구분 장치 및 방법
TWI544345B (zh) * 2012-04-23 2016-08-01 群邁通訊股份有限公司 裝置命名系統及方法
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
JP6103835B2 (ja) * 2012-06-29 2017-03-29 キヤノン株式会社 情報処理装置およびその制御方法
KR20140027579A (ko) * 2012-07-06 2014-03-07 삼성전자주식회사 단말기의 사용자인증 수행 장치 및 방법
US20140026101A1 (en) * 2012-07-20 2014-01-23 Barnesandnoble.Com Llc Accessible Menu Navigation Techniques For Electronic Devices
US9684398B1 (en) 2012-08-06 2017-06-20 Google Inc. Executing a default action on a touchscreen device
US20140053067A1 (en) * 2012-08-17 2014-02-20 Kenneth C. Tkatchuk Method and Apparatus for Sequentially Displaying a Plurality of Images Including Selective Asynchronous Matching of a Subset of the Images
CN104272234B (zh) * 2012-08-24 2018-06-05 株式会社Ntt都科摩 用于控制所显示图像的方向的装置和方法
US9122328B2 (en) 2012-09-28 2015-09-01 International Business Machines Corporation Detecting and handling unintentional touching of a touch screen
US9632605B2 (en) * 2012-10-17 2017-04-25 Perceptive Pixel, Inc. Input classification for multi-touch systems
WO2014089202A1 (en) * 2012-12-04 2014-06-12 L3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
US9836154B2 (en) 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
KR102146244B1 (ko) * 2013-02-22 2020-08-21 삼성전자주식회사 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
US9158433B1 (en) * 2013-03-04 2015-10-13 Ca, Inc. Graphical user interface text selection and processing in client applications employing a screen-at-a-time based communication protocol
WO2014149777A1 (en) * 2013-03-15 2014-09-25 Sony Computer Entertainment Inc. Detecting and preventing false positives
US9542040B2 (en) * 2013-03-15 2017-01-10 Smart Technologies Ulc Method for detection and rejection of pointer contacts in interactive input systems
US9590875B2 (en) * 2013-04-29 2017-03-07 International Business Machines Corporation Content delivery infrastructure with non-intentional feedback parameter provisioning
US11334113B2 (en) * 2013-05-20 2022-05-17 Lenovo (Singapore) Pte. Ltd. Disabling touch input to information handling device
US9405379B2 (en) * 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
CN103309618A (zh) 2013-07-02 2013-09-18 姜洪明 移动操作系统
US10384925B2 (en) * 2013-08-07 2019-08-20 The Coca-Cola Company Dynamically adjusting ratios of beverages in a mixed beverage
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US9652070B2 (en) * 2013-09-25 2017-05-16 Lenovo (Singapore) Pte. Ltd. Integrating multiple different touch based inputs
US9686581B2 (en) 2013-11-07 2017-06-20 Cisco Technology, Inc. Second-screen TV bridge
CN103645845B (zh) * 2013-11-22 2016-10-05 华为终端有限公司 一种敲击控制方法及终端
TW201520886A (zh) * 2013-11-28 2015-06-01 Acer Inc 可攜式電子裝置及其介面顯示方法
US10437447B1 (en) 2014-03-31 2019-10-08 Amazon Technologies, Inc. Magnet based physical model user interface control
RU2014112238A (ru) * 2014-03-31 2015-10-10 Общество с ограниченной ответственностью "Аби Девелопмент" Метод и система автоматического выбора параметров объектов интерфейса с помощью устройств ввода
US9606710B1 (en) * 2014-03-31 2017-03-28 Amazon Technologies, Inc. Configuring movement-based user interface control
US10222935B2 (en) 2014-04-23 2019-03-05 Cisco Technology Inc. Treemap-type user interface
US9710151B2 (en) * 2014-05-21 2017-07-18 International Business Machines Corporation Evaluation of digital content using non-intentional user feedback obtained through haptic interface
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
JP6658518B2 (ja) * 2014-06-26 2020-03-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10019140B1 (en) * 2014-06-26 2018-07-10 Amazon Technologies, Inc. One-handed zoom
KR20160020896A (ko) * 2014-08-14 2016-02-24 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치.
CN104541231B (zh) * 2014-08-29 2018-06-05 华为技术有限公司 防误触触摸屏的方法和装置
US9430085B2 (en) * 2014-09-12 2016-08-30 Microsoft Technology Licensing, Llc Classification of touch input as being unintended or intended
US20160179284A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Alteration of input device operations based on acceleration
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9639183B2 (en) * 2015-04-20 2017-05-02 Wacom Co., Ltd. System and method for bidirectional communication between stylus and stylus sensor controller
US10254881B2 (en) * 2015-06-29 2019-04-09 Qualcomm Incorporated Ultrasonic touch sensor-based virtual button
US10346510B2 (en) 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
CN105242870A (zh) * 2015-10-30 2016-01-13 小米科技有限责任公司 具有触摸屏的终端的防误触方法及装置
US10019109B2 (en) * 2016-06-28 2018-07-10 Google Llc Enhancing touch-sensitive device precision
CN106445238B (zh) * 2016-10-17 2019-08-13 北京小米移动软件有限公司 边缘触控抑制方法和装置
US10331190B2 (en) * 2016-11-09 2019-06-25 Microsoft Technology Licensing, Llc Detecting user focus on hinged multi-screen device
JP2018084908A (ja) * 2016-11-22 2018-05-31 富士ゼロックス株式会社 端末装置およびプログラム
US10372520B2 (en) 2016-11-22 2019-08-06 Cisco Technology, Inc. Graphical user interface for visualizing a plurality of issues with an infrastructure
US10739943B2 (en) 2016-12-13 2020-08-11 Cisco Technology, Inc. Ordered list user interface
KR102429485B1 (ko) * 2016-12-13 2022-08-05 현대자동차주식회사 사용자 인터페이스 장치 및 방법
US10788934B2 (en) 2017-05-14 2020-09-29 Microsoft Technology Licensing, Llc Input adjustment
US10795571B2 (en) * 2017-09-28 2020-10-06 The Toronto-Dominion Bank System and method to perform an undo operation using a continuous gesture
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
CN107786743A (zh) * 2017-10-27 2018-03-09 北京小米移动软件有限公司 防止终端误触的方法及装置
US10862867B2 (en) 2018-04-01 2020-12-08 Cisco Technology, Inc. Intelligent graphical user interface
CN209419659U (zh) * 2018-07-17 2019-09-20 华为技术有限公司 一种终端
US10720123B2 (en) * 2018-10-05 2020-07-21 International Business Machines Corporation Self-adjusting curved display screen
US10983690B2 (en) * 2019-04-02 2021-04-20 Motorola Mobility Llc Methods and devices for precluding touch initiated control operations during three-dimensional motion
US10852915B1 (en) * 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
EP4029748B1 (en) * 2019-09-09 2024-01-10 NISSAN MOTOR Co., Ltd. Vehicle remote control method and vehicle remote control device
CN111078089A (zh) * 2019-11-29 2020-04-28 东莞市拓久柘电子科技有限公司 基于触摸一体机的快速截图方法、电子设备、计算机可读存储介质
US11429203B2 (en) * 2020-06-19 2022-08-30 Microsoft Technology Licensing, Llc Tilt-responsive techniques for digital drawing boards
US20230266831A1 (en) * 2020-07-10 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for obtaining user input

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945692B2 (ja) 1988-05-27 1999-09-06 コダック・リミテッド 注釈可能なイメージを処理するデータ処理システム
US5198623A (en) 1991-11-27 1993-03-30 Calcomp, Inc. Method for use in a digitizer for determining pen tilt
US5561444A (en) 1992-12-21 1996-10-01 Apple Computer, Inc. Method and apparatus for providing visual feedback during manipulation of text on a computer screen
US5463725A (en) 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5414227A (en) 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
KR100395863B1 (ko) 1995-05-08 2003-11-14 매사츄세츠 인스티튜트 오브 테크놀러지 신호송신매질로서인체를사용한비접촉센싱및신호송신용시스템
US5956020A (en) 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
US5867163A (en) 1995-12-01 1999-02-02 Silicon Graphics, Inc. Graphical user interface for defining and invoking user-customized tool shelf execution sequence
ATE221222T1 (de) 1997-09-25 2002-08-15 Tegic Communications Inc System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
WO1999038149A1 (en) 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
WO1999044117A1 (fr) 1998-02-25 1999-09-02 Sharp Kabushiki Kaisha Dispositif d'affichage
IL138839A0 (en) 1998-04-06 2001-10-31 Sterling Hans Rudolf Positioning a cursor on the display screen of a computer
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7289102B2 (en) * 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6906703B2 (en) 2001-03-28 2005-06-14 Microsoft Corporation Electronic module for sensing pen motion
US6882340B2 (en) 2001-10-19 2005-04-19 Wacom Co., Ltd. Electronic pen
US20040047505A1 (en) 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
US20030164821A1 (en) 2002-02-05 2003-09-04 Omid Rezania Writing instrument with variable display
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US20040012575A1 (en) 2002-07-22 2004-01-22 Homer Steven S. Storage and removal system for pointer utilized with an electronic device
US20040203520A1 (en) 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
US20040140962A1 (en) 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7231609B2 (en) 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
US7068262B2 (en) 2003-06-09 2006-06-27 Leapfrog Enterprises, Inc. Writing stylus for electrographic position location apparatus
WO2005008444A2 (en) 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
US20050024346A1 (en) 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US7231231B2 (en) 2003-10-14 2007-06-12 Nokia Corporation Method and apparatus for locking a mobile telephone touch screen
US7532196B2 (en) 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7400316B2 (en) 2004-05-28 2008-07-15 International Business Machines Corporation Method and apparatus for dynamically modifying web page display for mobile devices
EP1787281A2 (en) 2004-07-15 2007-05-23 N-Trig Ltd. Automatic switching for a dual mode digitizer
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7847789B2 (en) 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
US7432916B2 (en) 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
KR101085447B1 (ko) 2004-12-31 2011-11-21 삼성전자주식회사 터치 위치 검출 장치 및 이의 터치 위치 검출 방법과,이를 구비한 터치 스크린 표시 장치
US8250493B2 (en) 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
JP4865733B2 (ja) 2005-02-17 2012-02-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ネットワーク内で動作させられることのできる装置、ネットワーク・システム、ネットワーク内で装置を動作させる方法、プログラム要素およびコンピュータ可読媒体
CN101128792B (zh) * 2005-02-25 2012-12-05 日本电气株式会社 移动设备
KR102246065B1 (ko) * 2005-03-04 2021-04-29 애플 인크. 다기능 휴대용 장치
US20060256008A1 (en) 2005-05-13 2006-11-16 Outland Research, Llc Pointing interface for person-to-person information exchange
US20060267958A1 (en) 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
US7928964B2 (en) 2005-04-22 2011-04-19 Microsoft Corporation Touch input data handling
KR100668341B1 (ko) 2005-06-29 2007-01-12 삼성전자주식회사 사용자의 파지 형태를 이용한 휴대용 단말기의 기능 입력방법 및 장치.
US7982739B2 (en) * 2005-08-18 2011-07-19 Realnetworks, Inc. System and/or method for adjusting for input latency in a handheld device
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7362221B2 (en) 2005-11-09 2008-04-22 Honeywell International Inc. Touchscreen device for controlling a security system
US7523405B2 (en) 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7663620B2 (en) 2005-12-05 2010-02-16 Microsoft Corporation Accessing 2D graphic content using axonometric layer views
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
JP2009522669A (ja) 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
US20100045705A1 (en) 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP2007304666A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc 情報出力システム及び情報出力方法
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8873858B2 (en) 2006-06-29 2014-10-28 Rpx Corporation Apparatus, method, device and computer program product providing enhanced text copy capability with touch input display
WO2008007372A2 (en) 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for a digitizer
US9201556B2 (en) 2006-11-08 2015-12-01 3M Innovative Properties Company Touch location sensing system and method employing sensor data fitting to a predefined curve
US7855718B2 (en) 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7876310B2 (en) 2007-01-03 2011-01-25 Apple Inc. Far-field input identification
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US20090265671A1 (en) 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080292195A1 (en) 2007-05-22 2008-11-27 Vijayasenan Deepu Data Processing System And Method
US8171432B2 (en) 2008-01-06 2012-05-01 Apple Inc. Touch screen device, method, and graphical user interface for displaying and selecting application options
KR101345755B1 (ko) 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
US8564574B2 (en) 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
EP3882797A1 (en) 2007-09-24 2021-09-22 Apple Inc. Embedded authentication systems in an electronic device
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US9274698B2 (en) 2007-10-26 2016-03-01 Blackberry Limited Electronic device and method of controlling same
TW200925944A (en) 2007-12-12 2009-06-16 Mitac Int Corp Touch pen with erasure function
KR20090070491A (ko) 2007-12-27 2009-07-01 엔에이치엔(주) 터치스크린을 이용한 화면 제어 장치 및 방법
US20090167702A1 (en) 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US20090209285A1 (en) * 2008-02-15 2009-08-20 Sony Ericsson Mobile Communications Ab Portable communication device having touch-sensitive input device ...
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
JP2009251833A (ja) * 2008-04-03 2009-10-29 Sony Ericsson Mobilecommunications Japan Inc 入力装置、入力方法、入力制御プログラム、及び携帯端末装置
JP2009266097A (ja) 2008-04-28 2009-11-12 Toshiba Corp 入力機器
KR20100006219A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
JP5332392B2 (ja) * 2008-08-12 2013-11-06 ソニー株式会社 撮像装置
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
TW201011605A (en) 2008-09-01 2010-03-16 Turbotouch Technology Inc E Method capable of preventing mistakenly triggering a touch panel
US20100053120A1 (en) 2008-09-03 2010-03-04 Chang An-Yu Touchscreen stylus
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
GB2464094A (en) 2008-09-30 2010-04-07 Rapid Mobile Media Ltd Method and apparatus for displaying content at a mobile device
US20100095234A1 (en) 2008-10-07 2010-04-15 Research In Motion Limited Multi-touch motion simulation using a non-touch screen computer input device
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
KR101662172B1 (ko) 2008-11-21 2016-10-10 삼성전자주식회사 입력 장치
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
JP4743267B2 (ja) 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20100071754A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 터치와 키조작에 의한 멀티 입력 방식을 이용한 촬영방법 및 이를 적용한 촬영장치
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
WO2010076772A2 (en) * 2008-12-30 2010-07-08 France Telecom User interface to provide enhanced control of an application program
US8499251B2 (en) 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
US20100177057A1 (en) * 2009-01-13 2010-07-15 Qsi Corporation System and method for detecting shocks to a force-based touch panel
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US9468846B2 (en) 2009-01-30 2016-10-18 Performance Designed Products Llc Tactile feedback apparatus and method
US20100201615A1 (en) * 2009-02-12 2010-08-12 David John Tupman Touch and Bump Input Control
US8510665B2 (en) 2009-03-16 2013-08-13 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US9367216B2 (en) 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
KR101574117B1 (ko) * 2009-05-22 2015-12-11 엘지전자 주식회사 이동 단말기 및 이를 이용한 콜 기능 수행 방법
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US20100306670A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US8462134B2 (en) 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
US8535133B2 (en) 2009-11-16 2013-09-17 Broadcom Corporation Video game with controller sensing player inappropriate activity
US20110167357A1 (en) 2010-01-05 2011-07-07 Todd Benjamin Scenario-Based Content Organization and Retrieval
US20110187651A1 (en) * 2010-02-03 2011-08-04 Honeywell International Inc. Touch screen having adaptive input parameter
US8839150B2 (en) 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
US8769443B2 (en) 2010-02-11 2014-07-01 Apple Inc. Touch inputs interacting with user interface items
US20110231796A1 (en) 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US9003334B2 (en) 2010-03-05 2015-04-07 Adobe Systems Incorporated Editing content using multiple touch inputs
CN101813982B (zh) * 2010-03-10 2012-05-30 鸿富锦精密工业(深圳)有限公司 具有运动响应功能的电子装置及其执行输入操作的方法
US9069416B2 (en) 2010-03-25 2015-06-30 Google Inc. Method and system for selecting content using a touchscreen
US8228292B1 (en) * 2010-04-02 2012-07-24 Google Inc. Flipping for motion-based input
US20120092269A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
US20120092268A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
KR101163346B1 (ko) 2011-10-28 2012-07-05 한국과학기술원 터치스크린 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말

Also Published As

Publication number Publication date
WO2012083277A3 (en) 2012-09-27
US8982045B2 (en) 2015-03-17
EP2652580B1 (en) 2019-04-10
KR20140010003A (ko) 2014-01-23
WO2012083277A2 (en) 2012-06-21
CN102645972B (zh) 2015-09-30
KR101919169B1 (ko) 2018-11-15
US20120154294A1 (en) 2012-06-21
CN102645972A (zh) 2012-08-22
JP2013546110A (ja) 2013-12-26
EP2652580A4 (en) 2016-02-17
EP2652580A2 (en) 2013-10-23

Similar Documents

Publication Publication Date Title
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
EP2652579B1 (en) Detecting gestures involving movement of a computing device
US20210191582A1 (en) Device, method, and graphical user interface for a radial menu system
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US10304163B2 (en) Landscape springboard
US8902181B2 (en) Multi-touch-movement gestures for tablet computing devices
US8823749B2 (en) User interface methods providing continuous zoom functionality
JPWO2013094371A1 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
JP2011022842A (ja) 表示装置、表示方法及びプログラム
JP5951886B2 (ja) 電子機器および入力方法
US20130154952A1 (en) Gesture combining multi-touch and movement
US10969956B2 (en) Smart desk with gesture detection and control features
US20110119579A1 (en) Method of turning over three-dimensional graphic object by use of touch sensitive input device
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
JP2014203202A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6210911B2 (ja) 情報端末、表示制御方法、及び表示制御プログラム
WO2019182566A1 (en) Smart desk with gesture detection and control features
JP2016018453A (ja) 情報表示装置およびプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130905

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160914

R150 Certificate of patent or registration of utility model

Ref document number: 6009454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250