JP2018505497A - マルチタッチジェスチャのためのシステムおよび方法 - Google Patents

マルチタッチジェスチャのためのシステムおよび方法 Download PDF

Info

Publication number
JP2018505497A
JP2018505497A JP2017542846A JP2017542846A JP2018505497A JP 2018505497 A JP2018505497 A JP 2018505497A JP 2017542846 A JP2017542846 A JP 2017542846A JP 2017542846 A JP2017542846 A JP 2017542846A JP 2018505497 A JP2018505497 A JP 2018505497A
Authority
JP
Japan
Prior art keywords
objects
touch
screen
gesture
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017542846A
Other languages
English (en)
Inventor
ゼンファ・ファン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2018505497A publication Critical patent/JP2018505497A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一実施形態において、方法は、デバイスのタッチスクリーン画面によって、ユーザからデバイスのタッチスクリーン画面上のジェスチャを受信するステップと、ジェスチャがデバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定するステップとを含む。方法は、ジェスチャがデバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成するステップと、検出されたマルチタッチジェスチャに従って複数のオブジェクト上で動作を実行するステップも含む。

Description

相互参照
本出願は、2015年2月16日に提出された“System and Method for Multi-Touch Gestures”と題された米国仮特許出願第14/623,323号に対する優先権を主張し、その全体が複製されたかのように参照により本明細書に組み込まれる。
本発明は、ユーザインタフェースのためのシステムおよび方法に関し、より具体的には、マルチタッチジェスチャのためのシステム及び方法に関する。
スマートフォン、タブレット、およびファブレットのようなデバイスは、マルチタッチをサポートすることができる。マルチタッチは、表面と接触する複数の点の存在を認識する、トラックパッドあるいはタッチスクリーンなどの、表面の能力を指す。マルチタッチは、容量性技術、抵抗技術、光学技術、波動技術、および力感知タッチ技術などの様々な技術で実装されることができる。例えば、マルチタッチジェスチャは、ユーザによってオブジェクトあるいは画面全体に適用されてもよい。
大画面スマートフォン、タブレット、およびファブレットは、複数のウィンドウでマルチタスクをサポートすることができる。複数のアプリケーションは、分割された画面で、複数のウィンドウにおいて同時に実行できる。
実施方法は、デバイスのタッチスクリーン画面上のジェスチャを、デバイスのタッチスクリーン画面によって、ユーザから受信するステップと、ジェスチャが、デバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定するステップと、を含む。該方法は、ジェスチャが、デバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成するステップと、検出されたマルチタッチジェスチャに従って、複数のオブジェクト上で動作を実行するステップも、含む。
実施形態デバイスは、タッチスクリーン画面上のジェスチャを受信するように構成された、タッチスクリーン画面と、プロセッサと、を含む。デバイスは、プロセッサによって実行するためのプログラムを記憶した固定コンピュータ可読記憶媒体も含む。プログラムは、ジェスチャがデバイスのタッチスクリーン画面に表示される複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定し、ジェスチャがデバイスのタッチスクリーン画面に表示される複数のオブジェクト上のマルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成するための命令を含む。プログラムは、検出されたマルチタッチジェスチャに従って、複数のオブジェクト上で動作を実行するための命令も含む。
デバイスにインストールするための実施形態コンピュータプログラムであって、コンピュータプログラムは、デバイスによって実行するためのプログラムを含む。プログラムは、デバイスのタッチスクリーン画面上のジェスチャを、デバイスのタッチスクリーン画面によって、ユーザから受信し、ジェスチャが、デバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定するための命令を含む。プログラムは、ジェスチャが、デバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成し、検出されたマルチタッチジェスチャに従って、複数のオブジェクト上で動作を実行するための命令も含む。
例示的な実施形態において、デバイスの画面システムは、ユーザとのタッチスクリーンインタフェースを提供するために使用されることができる。画面システムは、デバイスのタッチスクリーン画面上のジェスチャを受信する、受信要素と、ジェスチャがデバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定する、決定要素と、ジェスチャがデバイスのタッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成する、作成要素と、検出されたマルチタッチジェスチャに従って、複数のオブジェクト上の動作を実行する、実行要素と、を含むことができる。
上述のことは、以下の本発明の詳細な説明をよりよく理解できるように、本発明の実施形態の特徴をかなり広く概説したものである。本発明の特許請求の範囲の主題を形成する本発明の実施形態のさらなる特徴および利点が、以下に説明される。開示された概念および特定の実施形態は、本発明の同じ目的を実行するためのほかの構造またはプロセスを、修正または設計するための基礎として容易に利用され得ることは、当業者によって理解されるであろう。そのような均等な構成は、添付の特許請求の範囲に記載された本発明の精神および範囲から逸脱するものではないことが、当業者によって理解されるであろう。
本発明およびその利点についてのより完全な理解のために、添付図面と併せて以下の説明を参照する。
データを通信するための無線ネットワークの略図である。 4つのアイコン上で実行されるマルチタッチストレッチした状態の実施形態画面を示す図である。 4つのアイコン上で実行されるマルチタッチストレッチした状態の実施形態画面を示す図である。 2つのアイコン上で実行されるマルチタッチストレッチした状態の実施形態画面を示す図である。 2つのアイコン上で実行されるマルチタッチストレッチした状態の実施形態画面を示す図である。 4つのアイコン上で実行されるマルチタッチピンチした状態の実施形態画面を示す図である。 4つの画像上で実行されるマルチタッチピンチした状態の実施形態画面を示す図である。 4つのウィンドウ上で実行されるマルチタッチピンチした状態の実施形態画面を示す図である。 4つのアイコン上で実行されるマルチタッチ回転した状態の実施形態画面を示す図である。 4つの画像上で実行されるマルチタッチ回転した状態の実施形態画面を示す図である。 4つのウィンドウ上で実行されるマルチタッチ回転した状態の実施形態画面を示す図である。 4つの画像上で実行されるマルチタッチホールドした状態の実施形態画面を示す図である。 3つのアイコン上で実行されるマルチタッチドラッグした状態の実施形態画面を示す図である。 複数のオブジェクト上でマルチタッチジェスチャを実行する実施方法のフローチャート図を示す。 複数のオブジェクト上で実行されるマルチタッチストレッチの実施方法のフローチャート図を示す。 複数のオブジェクト上で実行されるマルチタッチピンチの実施方法のフローチャート図を示す。 複数のオブジェクト上で実行されるマルチタッチ回転の実施方法のフローチャート図を示す。 複数のオブジェクト上で実行されるマルチタッチホールドの実施方法のフローチャート図を示す。 複数のオブジェクト上で実行されるマルチタッチドラッグの実施方法のフローチャート図を示す。 具現化コンピュータシステムのブロック図を示す。
異なる図面における対応する数字および記号は、他に示されない限り、対応する部分を一般に参照する。図面は、実施形態の関連する態様を明確に示すために描かれたものであり、必ずしも一定の縮尺で描かれているわけではない。
最初に、1つ以上の実施形態の例示的な実装が以下に提供されるが、開示されたシステム及び/又は方法は、現在周知であるかまたは存在しているかに関わらず、任意の数の技術を使用して実装されてもよい。本開示は、本明細書に例示され説明された例示的な設計および実装を含む、以下に例示される例示的な実施形態、図面、および技術に対して限定されるべきではなく、それらの均等物の全範囲とともに添付の特許請求の範囲内で変更されてもよい。
一例において、単一のオブジェクトアイコンと関連する複数のオブジェクトアイコンは、別々に動く指を検出することによってレンダリングされる。例えば、スクリーン上のオブジェクトにタッチしている2つの指は、タッチセンシティブ画面によって検出される。指が反対方向に動く時、追加のオブジェクトアイコンが画面上に出現し、これはオリジナルオブジェクトアイコンの構成要素を表す。
別の例において、シングルタッチジェスチャが定義される。シングルタッチジェスチャは、タップ、プレスアンドホールド、スライド、タップ/タップ-スライド、ピンチまたはストレッチ、回転、選択するためのスワイプ、再配置のためのスライド、および端からのスワイプを含んでもよい。さらなる例において、シングルタッチジェスチャは、タップ、プレス、ツーディジット(two digit)タップ、ダブルタップ、スリーディジット(three digit)スワイプ、およびピンチを含む。
追加の例において、複数の指ジェスチャが単一のオブジェクトまたは画面全体で作動する。例示的なジェスチャは、2〜4本の指をダブルタップ、スワイプ、およびピンチすることを含む。
一実施形態において、複数のオブジェクトは、ワンステップ(one-step)・マルチタッチ・ジェスチャによって作動される。例えば、複数のオブジェクトは、マルチタッチジェスチャによって組み合わされ、移動され、回転され、あるいは起動されてもよい。マルチタッチジェスチャは、1つより多いメンバによって実行されるジェスチャであって、メンバは指、スタイラス、ペンなどであってもよい。例えば、マルチタッチジェスチャは、2つ以上の指によって実行されてもよい。マルチタッチジェスチャは、ストレッチ、ピンチ、回転、ホールド、ドラッグなどを含む。オブジェクトは、スクリーンの異なるエリアに表示される。一例において、オブジェクトは、オブジェクト間のスペースで分けられる。あるいは、オブジェクトは互いに隣接する。オブジェクトの例は、アイコン、アプリケーション、画像、ウィンドウ、およびビデオなどの別のオブジェクトを含む。1つまたは2つの手がマルチタッチジェスチャで使用されてもよい。
図1は、データを通信するためのネットワーク100を図示する。ネットワーク100は、サービスエリア106を有する通信コントローラ102、UE104とUE105を含む複数のユーザ装置(UE)、およびバックホールネットワーク108を有する。2つのUEが描かれているが、より多くのUEが存在してもよい。通信コントローラ102は、UE104およびUE105とのアップリンク(破線)及び/又はダウンリンク(点線)接続を確立することによって無線アクセスを提供することができる、基地局、NodeB、エンハンスドNodeB(eNB)アクセスポイント、ピコセル、フェムトセル、および他の無線対応デバイスのような、任意のコンポーネントであってもよい。UE104およびUE105は、携帯電話、スマートフォン、タブレット、センサなど、通信コントローラ102との無線接続を確立することができる任意のコンポーネントであってもよい。バックホールネットワーク108は、データが通信コントローラ102とリモートエンドとの間で交換されることを可能にする、任意のコンポーネントまたはコンポーネントの集合であってもよい。いくつかの実施形態において、ネットワーク100は、リレーなどのような様々な他の無線デバイスを含んでもよい。一実施形態は、UE104またはUE105のような1つのUE上で実装される。
UEは、出力インタフェースおよび入力インタフェースの両方を備えるタッチスクリーン画面を有してもよい。タッチスクリーンシステムは、画面、センサ、コントローラ、およびソフトウェアを含んでもよい。タッチスクリーン画面は、テキスト、グラフィック、ビデオ、あるいは出力の組み合わせのような視覚出力をユーザに対して表示する。ユーザは、画面と直接対話してもよい。視覚出力の一部または全部は、ユーザインタフェースオブジェクトに対応してもよい。ユーザインタフェースオブジェクトは、アプリケーション、ウィンドウ、画像、あるいはビデオのような別のオブジェクトを表すアイコンを含む。
タッチスクリーン画面の画面は、ユーザに対してオブジェクトを表示する。画面は、液晶ディスプレイ(LCD)、あるいは発光ダイオード(LED)画面のような別の画面を使用してもよい。
タッチスクリーンセンサは、タッチスクリーン画面上で、直接または間接的にユーザによるタッチを検出する。オブジェクトはユーザに可視であり、ユーザがオブジェクトと直接対話することを促進する。タッチスクリーン画面は、ハプティック及び/又は触覚の接触に基づいて、ユーザから入力を受け入れる。タッチスクリーン画面は、専用のスタイラスまたはペン、及び/又は1本または複数の指を使用してもよい。一例において、普通のまたは特殊なコーティング付きグローブがユーザによって着用される。タッチスクリーン画面は、抵抗技術、表面弾性波(SAW)、容量性技術、赤外線グリッド、赤外線アクリル投影(infrared acrylic projection)、光学イメージング、分散信号技術、及び/又は音響パルス技術などのような様々な技術を使用してもよい。
抵抗性タッチスクリーン画面は、薄い空間によって分離された互いに面する2つの薄い透明な電気抵抗層を含む、複数の層を含んでもよい。ユーザによって触れられる最上層は、その下面にコーティングを有する。下位層はその上面に類似のコーティングを有する。一方の層はその辺に沿って導電性接続を有し、他方の層はその上と下に沿って導電性接続を有する。一方の層に電圧が印加され、他方の層によって感知される。指先またはスタイラスの先端のようなオブジェクトが外面を押し下げる時、2つの層が接触し、押された点で接続が形成される。タッチスクリーン画面は、次いで、一度に1軸電圧デバイダ(voltage dividers one axis)のペアとして作動する。2つの層の間を迅速に切り替えることによって、スクリーン上の先端の位置が読み取られる。
SAW技術は、タッチスクリーン画面にわたって流れる超音波を使用する。タッチスクリーン画面が触れられた時、波の一部が吸収される。超音波の変化は、タッチイベントの位置を記録し、情報は処理のためにコントローラに送信される。
容量式タッチスクリーン画面は、酸化インジウムスズ(ITO)のような透明な伝導体で被覆された、ガラスのような絶縁体を有する。人体は良好な伝導体であるため、指がスクリーンの表面に接触した時、スクリーンの静電場の歪みがあり、これは静電容量の変化をもたらす。静電容量の変化が測定される。様々な技術が、接触の位置を決定するために使用されてもよく、処理のためにコントローラに送信される。一例において、コンデンサはスクリーン自体に内蔵される。
表面キャパシタンス(surface capacitance)において、絶縁体の片側のみが導電層で被覆される。小さな電圧が層に印加され、均一の静電場をもたらす。人間の指のような伝導体が被覆されていない表面に触れる時、コンデンサが動的に形成される。センサのコントローラは、パネルの四隅から測定された静電容量の変化から、間接的に接触の位置を決定してもよい。
投影型静電容量式タッチ(PCT)技術において、タッチスクリーン画面は、ガラスのシート上に積層された導電性材料の行及び列のマトリックスを有する。層化は、電極のグリッドパターンを形成するために単一の導電層をエッチングすることによって実行されてもよく、あるいはグリッドを形成するために平行なラインまたはトラックを有する導電性材料の2つの個別の垂直の層をエッチングすることによって実行されてもよい。電圧がグリッドに印加され、均一な静電場を作成し、これが測定されてもよい。指のような導電性オブジェクトがPCTと接触する時、その点で局所的な静電場を歪ませ、測定可能な静電容量の変化をもたらす。指が2つのトラック間の隙間を埋める時、充電場はさらに遮られ、コントローラによって検出され得る。静電容量は、正確な位置接触のためにグリッドの全ての交点で変化され、測定されてもよい。2つのタイプのPCTは、交互静電容量(mutual capacitance)および自己容量(self capacitance)であってもよい。ほとんどの導電性オブジェクトは、互いに接近した時、電荷を保持する。交互静電容量において、コンデンサはグリッドの交点で行トレースと列トレースによって本質的に形成される。電圧が行または列に印可される。指または導電性スタイラスがセンサの表面に近づく時、局所静電場における変化が交互静電容量を減少する。電圧が印可されていない軸で電圧を測定することによって接触の位置を決定するために、交点における静電容量の変化が測定されてもよい。自己容量において、グリッドの列と行は独立して動作する。指の容量性負荷は、電流計によって各列または行電極上で測定される。
赤外線グリッドは、LEDビームのパターンの中断を検出するために、スクリーンのエッジの周りにLEDと光検出器のペアの配列を使用する。LEDビームは、タッチの位置判定をするセンサを容易にするために、垂直および水平パターンで互いに交差する。
赤外線アクリル投影において、透明なアクリルシートが情報を表示するためにリアプロジェクションスクリーンとして使用される。アクリルシートのエッジは、赤外線LEDによって照らされ、赤外線カメラはシートの背面に収束される。アクリルシート上に配置されたオブジェクトは、カメラによって検出可能である。シートがユーザによって触れられた時、変形は、赤外線の漏出をもたらし、これはユーザのタッチ位置を示す最大圧力の点でピークとなる。
光学イメージングにおいて、2つ以上のセンサがスクリーンのエッジ周辺、例えば角に配置される。赤外線バックライトは、センサのスクリーンの反対側にあるカメラの視野に配置される。タッチは影として現れる。一対のカメラは、接触の位置を正確に示してもよい。
分散信号技術において、タッチからガラス内の圧電気が検出される。アルゴリズムは、接触の位置を提供するためにこの情報を解釈する。
音声パルス認識において、タッチスクリーン画面の表面上の位置での接触は、基盤内に音波を生成し、これはタッチスクリーン画面の端に取り付けられた3つ以上のトランスデューサによってピックアップされた後に唯一の組み合わされた音を作成する。音はコントローラによってデジタル化され、表面上の位置に対する事前に記録された音のリストと比較される。カーソル位置は接触位置に更新される。動いている接触は、迅速な繰り返しによって追跡される。無関係のおよび周囲の音は、保存された音プロファイルと一致しないため、無視される。
コントローラは、様々なセンサタイプのためのタッチスクリーンセンサと層と対話する。コントローラは、例えばタッチセンサ上のコントローラボード上あるいはフレキシブルプリント回路(FPC)上に配置されたチップとしてシステムに組み込まれてもよい。コントローラはセンサから情報を受信し、これを中央処理装置(CPU)または組み込みシステムコントローラが理解する情報に変換する。
CPUまたは組み込みシステムコントローラ上で動作するソフトウェアは、システムコントローラおよびオペレーティングシステム(OS)を扱うタッチスクリーン画面を促進し、システムコントローラは、コントローラからのタッチイベント情報をどのように解釈するかを知っている。
一実施形態において、ストレッチマルチタッチジェスチャは、複数のオブジェクト上で作動する。2、3、4、あるいはそれより多い指がストレッチ動作において複数のオブジェクト上で作動するために使用されてもよい。図2A−Bは、4つのアイコンに対応する4つのウィンドウを開くために使用されているマルチタッチストレッチを示す。使用される指の数は、オブジェクトの数と同じであってもよい。あるいは、より少ない、またはより多い指が使用される。例えば、2本の指が、合計4つのアイコンのためにそれぞれ2つのオブジェクト上で作動してもよい。図2Aは、背景340、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338を備えた画面110を示す。また、画面110は、戻るボタン142、ホームボタン144、およびメニューボタン146も含む。画面110は、電話アイコン312、連絡先アイコン314、メッセージングアイコン316、アプリケーション(App)インストーラアイコン112、カメラアイコン300、電卓アイコン306、カレンダーアイコン290、カメラアイコン122、Google Drive(登録商標)アイコン302、Google Chrome(登録商標)アイコン308、時計アイコン292、ダウンロードアイコン124、懐中電灯アイコン304、ドライブモードアイコン310、Google(登録商標)設定アイコン294、周波数変調(FM)ラジオアイコン126、ブラウザアイコン114、メッセージングアイコン118、Google(登録商標)アイコン297とメールアイコン299を含むフォルダアイコン296、懐中電灯アイコン128、E-mailアイコン116、ギャラリーアイコン120、Google+(登録商標)アイコン298を含む、様々なアイコンも含む。ストレッチは、ブラウザアイコン114、E-mailアイコン116、メッセージングアイコン118、およびギャラリーアイコン120上で実行され、これらのアイコンに対応するアプリケーションをオープンする。例えば、ブラウザ、メッセージングセンター、E-mailセンター、およびギャラリーは、シングルマルチタッチジェスチャによってオープンされてもよい。4つの指がブラウザアイコン114、E-mailアイコン116、メッセージングアイコン118、およびギャラリーアイコン120上に配置され、ストレッチ動作が4つのアプリケーションを開くために実行される。4つのアプリケーションは別々のウィンドウでオープンされる。
図2Bは、図2Bの画面130によって図示された、ブラウザアイコン114、E-mailアイコン116、メッセージングアイコン118、およびギャラリーアイコン120上のストレッチ動作の結果を有するスマートフォンの画面130を示す。画面130は、背景148、戻るボタン142、ホームボタン144、およびメニューボタン146も含む。開いたウィンドウは、ブラウザウィンドウ134、メッセージングウィンドウ138、マップE-mail136、およびギャラリーウィンドウ140を含む。ギャラリーウィンドウ140は、画像351、353、355、357、359、および360を含む。作動されるアイコンは、スクリーンの異なる部分にあるか、または写真のようにスクリーンの同じ部分にあってもよい。
図3A−Bは、2つのアイコン上で2つの対応するウィンドウを開くために実行されるマルチストレッチ動作を示す。図3Aは、背景340、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338を備えたスマートフォンの画面150を示す。また、画面150は、戻るボタン142、ホームボタン144、およびメニューボタン146を含む。さらに、画面150は、電話アイコン312、連絡先アイコン314、メッセージングアイコン316、アプリケーションインストーラアイコン112、カメラアイコン300、電卓アイコン306、カレンダーアイコン290、カメラアイコン122、Google Drive(登録商標)アイコン302、Google Chrome(登録商標)アイコン308、時計アイコン292、ダウンロードアイコン124、懐中電灯アイコン304、ドライブモードアイコン310、Google(登録商標)設定アイコン294、FMラジオアイコン126、ブラウザアイコン114、メッセージングアイコン118、Google(登録商標)アイコン297とメールアイコン299を含むフォルダアイコン296、懐中電灯アイコン128、E-mailアイコン116、ギャラリーアイコン120、Google+(登録商標)アイコン298を含む、様々なアイコンを含む。2つのアイコン、ブラウザアイコン114とギャラリーアイコン120は、アイコンの上に2本の指を配置することによって、および1本の指を上にかつ1本の指を下に動かすことによって作動される。別の例において、アイコンは、一方の指を左にかつ他方の指を右に移動することによって、あるいは、斜めなどの別の角度で指を動かすことによって、互いに指を離して移動させることで通常作動される。
図3Bは、ブラウザアイコン114とギャラリーアイコン120が開かれた後のスマートフォンの画面160を示す。画面160は、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338、戻るボタン142、ホームボタン144、メニューボタン146、ブラウザウィンドウ162、およびアルバムウィンドウ164を含む。ブラウザウィンドウ162は、戻るボタン470、ブックマーク472、ロックボタン474、Google(登録商標)アイコン476、サインインボタン358、設定ボタン478、ウェブボタン480、画像ボタン482、Google(登録商標)ロゴ486、検索バー356、検索ボタン484、戻るボタン166、進むボタン168、メニューボタン350、ホームボタン352、およびウィンドウボタン354を含む。アルバムウィンドウ164は、画像360、362、および364、タイムスタンプ488、リストボタン366、およびメニューボタン368を含む。
別の例において、ピンチ動作は作動されるオブジェクト上で動作を実行するために複数のオブジェクト上で実行される。ピンチ動作において、2、3、4、あるいはそれより多い指がオブジェクト上に配置され、互いに向かって内側に引っ張られる。図4において、画面170は、背景340、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338を含む。画面170は、戻るボタン142、ホームボタン144、およびメニューボタン146も含む。画面170は、電話アイコン312、連絡先アイコン314、メッセージングアイコン316、アプリケーションインストーラアイコン112、カメラアイコン300、電卓アイコン306、カレンダーアイコン290、カメラアイコン122、Google Drive(登録商標)アイコン302、Google Chrome(登録商標)アイコン308、時計アイコン292、ダウンロードアイコン124、懐中電灯アイコン304、ドライブモードアイコン310、Google(登録商標)設定アイコン294、FMラジオアイコン126、ブラウザアイコン114、メッセージングアイコン118、Google(登録商標)アイコン297およびメールアイコン299を備えたフォルダアイコン296、懐中電灯アイコン128、E-mailアイコン116、ギャラリーアイコン120、およびGoogle+(登録商標)アイコン298を含む、様々なアイコンを含む。ユーザは、ブラウザアイコン114、E-mailアイコン116、メッセージングアイコン118、およびギャラリーアイコン120の上でマルチタッチピンチジェスエチャを実行する。ピンチ動作はこれらのアイコンに対応する4つのアプリケーションをフォルダ内にまとめられる。別の例において、より少ない、あるいはより多いアイコン、画像、あるいは別のドキュメントがマルチタッチピンチを使用してフォルダ内にまとめられる。
図5は、画像194、196、198、200、370、および192を備えたスマートフォンの画面190を示す。画面190は、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、時計338、戻るボタン142、ホームボタン144、およびメニューボタン146も含む。さらに、画面190は、クローズウィンドウボタン382、選択インジケータ384、共有ボタン372、移動ボタン374、削除ボタン376、全選択ボタン378、およびメニューボタン380を含む。ユーザは、画像194、196、198、および200上に指を配置し、これは選択される。指はピンチ動作を実行し、これらの4つの画像が1つの大きな画像に結合される。画像は、1つのスムーズな大きい画像を形成するために、整列され、および一緒に密着されてもよい。
図6は、タブレットの画面210を示す。4つのウィンドウ、メッセージングセンターウィンドウ214、E-mail交換ウィンドウ216、ウェブブラウザウィンドウ218、およびフォトアルバムウィンドウ220が開かれる。メッセージングセンターウィンドウ214は、ダイヤラボタン408、連絡先ボタン410、メッセージングボタン412、メッセージ画面226、新規メッセージボタン222、およびメニューボタン224を含む。メッセージングセンターは、メッセージを送信又は受信するために使用される。また、E-mail交換ウィンドウ216は、交換ボタン490、Gmail(登録商標)ボタン492、および163ウェブポータルボタン494を備えた、メッセージを送信および受信するためのE-mail交換を含む。ウェブブラウザウィンドウ218は、ブックマークボタン472、ロックボタン474、Google(登録商標)アイコン476、サインインボタン358、設定ボタン478、ウェブボタン480、画像ボタン482、Google(登録商標)ロゴ486、検索バー356、検索ボタン484、戻るボタン166、進むボタン168、メニューボタン350、ホームボタン352、およびウィンドウボタン354を備えたGoogle Chrome(登録商標)ウェブブラウザを図示する。さらに、フォトアルバムウィンドウ220は、画像414、418、および420、タイムスタンプ416、リストボタン422、およびメニューボタン424を備えたフォトアルバムを含む。ユーザは各ウィンドウの上に指を配置し、ピンチ動作を実行し、4つのウィンドウを同時にクローズする。
さらなる例において、マルチタッチ回転行動は、複数のオブジェクト上で実行される。図7は、マルチタッチ回転がアイコン上で実行される、スマートフォンの画面430を示す。画面430は、背景340、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338を示す。さらに、画面430は、戻るボタン142、ホームボタン144、及びメニューボタン146を含む。画面430は、電話アイコン312、連絡先アイコン314、メッセージングアイコン316、アプリケーションインストーラアイコン112、カメラアイコン300、電卓アイコン306、カレンダーアイコン290、カメラアイコン122、Google Drive(登録商標)アイコン302、Google Chrome(登録商標)アイコン308、時計アイコン292、ダウンロードアイコン124、懐中電灯アイコン304、ドライブモードアイコン310、Google(登録商標)設定アイコン294、FMラジオアイコン126、ブラウザアイコン114、メッセージングアイコン118、Google(登録商標)アイコン297およびメールアイコン299を備えたフォルダアイコン296、懐中電灯アイコン128、E-mailアイコン116、ギャラリーアイコン120、およびGoogle+(登録商標)アイコン298を含む、様々なアイコンも含む。マルチタッチ回転は、ブラウザアイコン114、メッセージングアイコン118、ギャラリーアイコン120、およびE-mailアイコン116上で実行される。時計回り回転動作は、これらのアイコンに対して実行され、これは、画面のアイコンの位置を回転する。別の例において、反時計回り動作が使用される。
図8は、マルチタッチ回転が画像上で実行される、スマートフォンの画面450を示す。画面450は、画像194、196、198、200、370、および192を示す。また、画面450は、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、時計338、戻るボタン142、ホームボタン144、およびメニューボタン146を含む。さらに、画面450は、クローズウィンドウボタン382、選択インジケータ384、共有ボタン372、移動ボタン374、削除ボタン376、全選択ボタン378、およびメニューボタン380を含む。画像194、196、198、および200が選択される。ユーザは、選択された画像の上に指を配置し、反時計回り動作で画像を回転し、これは画像の位置を反時計回りに回転する。別の例において、画像は時計回り動作を使用して時計回りに回転される。
図9は、ウィンドウの位置がマルチタッチ回転を使用して回転される、タブレットの画面460を示す。4つのウィンドウ、メッセージングセンターウィンドウ214、E-mail交換ウィンドウ216、ウェブブラウザウィンドウ218、およびフォトアルバムウィンドウ220がオープンされる。メッセージングセンターウィンドウ214は、ダイヤラボタン408、連絡先ボタン410、メッセージングボタン412、メッセージ画面226、新規メッセージボタン222、およびメニューボタン224を含む。メッセージングセンターは、メッセージを送信又は受信するために使用される。また、E-mail交換ウィンドウ216は、交換ボタン490、Gmail(登録商標)ボタン492、および163ウェブポータルボタン494を備えた、メッセージを送信及び受信するためのE-mail交換を含む。ウェブブラウザウィンドウ218は、ブックマークボタン472、ロックボタン474、Google(登録商標)アイコン476、サインインボタン358、設定ボタン478、ウェブボタン480、画像ボタン482、Google(登録商標)ロゴ486、検索バー356、検索ボタン484、戻るボタン166、進むボタン168、メニューボタン350、ホームボタン352、およびウィンドウボタン354を有するGoogle Chrome(登録商標)ウェブブラウザを示す。フォトアルバムウィンドウ220は、画像414、418および420、タイムスタンプ416、リストボタン422、およびメニューボタン424を備えたフォトアルバムを含む。ユーザは、ウィンドウレイアウトを回転するために、メッセージングセンターウィンドウ214、E-mail交換ウィンドウ216、ウェブブラウザウィンドウ218、およびフォトアルバムウィンドウ220上で回転マルチタッチジェスチャを実行する。ユーザは、4つのウィンドウに指を配置し、および時計回りの動作で指を回転させ、ウィンドウのレイアウト位置も時計回りに回転させる。別の例において、ウィンドウは反時計回りのマルチタッチ回転動作を使用して反時計回りに回転される。
図10は、マルチタッチホールド動作がアイコンを選択するために使用される、スマートフォンの画面230を示す。画面230は、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338、戻るボタン142、ホームボタン144、およびメニューボタン146とともに、画像194、196、198、200、370および192を表す。さらに、画面230は、クローズウィンドウボタン382、選択インジケータ384、共有ボタン372、移動ボタン374、削除ボタン376、全選択ボタン378、及びメニューボタン380を含む。画像194、196、198、および200が選択される。ユーザは画像194、196、198、および200を選択するためにその上に彼の指を接触しおよびホールドする。接触が規定の時間保持された後、オプションのメニューがポップアップする。メニューのオプションは、削除、切り取り、コピー、およびギャラリーアプリケーションにおける共有を含んでもよい。ユーザは、次いで選択された画像上のリストされたオプションのうちの1つを実行するか否かを決定してもよい。マルチタッチホールド動作がウィンドウまたはアイコンのようなほかのオブジェクト上で実行された時、別のオプションが表示されてもよい。
図11は、マルチタッチドラッグジェスチャがアイコン上で実行される、スマートフォンの画面250を図示する。画面250は、背景340、セルラ信号強度インジケータ324、インジケータ326、新規ボイスメールインジケータ328、インジケータ330、Wi-Fi強度インジケータ332、バッテリーレベルインジケータ334、充電状態インジケータ336、および時計338を示す。また、画面250は、戻るボタン142、ホームボタン144、メニューボタン146、および、電話アイコン312、連絡先アイコン314、メッセージングアイコン316、アプリケーションインストーラアイコン112、カメラアイコン300、電卓アイコン306、カレンダーアイコン290、カメラアイコン122、Googleデバイス(登録商標)アイコン320、Google Chrome(登録商標)アイコン308、時計アイコン292、ダウンロードアイコン124、懐中電灯アイコン304、ドライブモードアイコン310、Google(登録商標)設定アイコン294、FMラジオアイコン126、ブラウザアイコン114、メッセージングアイコン118、Google(登録商標)アイコン297およびメールアイコン299を含むフォルダアイコン296、懐中電灯アイコン128、E-mailアイコン116、ギャラリーアイコン120、およびGoogle+(登録商標)アイコン298を含む、様々なアイコンを含む。ユーザは、ブラウザアイコン114、メッセージングアイコン118、およびE-mailアイコン116上に指を配置する。複数の指が保持され、アイコンを左に移動するために、左のほうに、1方向に移動される。アイコンが十分に遠くまでドラッグされた時、左側の次のスクリーンに移動される。別の例において、アイコンは、例えば右、上、下、あるいは斜めといった別の方向にドラッグされる。別の例において、アイドル画面でアイコンが実際のアプリケーションを表示する時、ユーザはアイドル画面においてアプリケーションへのショートカットを削除するために、あるいはアイコンに対応するアプリケーションをアンインストールするために複数のアイコンをごみ箱にドラッグする。
図12は、複数のオブジェクト上でマルチタッチジェスチャを使用するための実装方法のためのフローチャート図260を示す。最初に、ステップ262において、ジェスチャがデバイスのタッチスクリーン画面によって受信される。デバイスは、スマートフォン、タブレット、ファブレット、パーソナル・デジタル・アシスタント(PDA)、衛星ナビゲーションデバイス、ビデオゲーム、あるいは電子書籍、あるいはハンドヘルドコンピュータまたはゲーム機といった別のデバイスであってもよい。さらなる例において、デバイスは、自動預け払い機(ATM)、キオスク、産業用デバイス、あるいは医療用デバイスなどの特殊なデバイスである。別の例において、デバイスは、コンピュータに接続された、あるいはターミナルとしてネットワークに接続されたタッチスクリーン画面である。表面キャパシタンス、投影キャパシタンス、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、および音響パルス技術を含む、抵抗技術、SAW、容量性技術といった様々なタッチスクリーン技術が使用されてもよい。接触は、タッチスクリーン画面によって検出される。接触の位置および動きが検出される。
次に、ステップ266において、デバイスは、ステップ262において受信されたジェスチャが複数のオブジェクト上で実行されたマルチタッチジェスチャであるか否かを決定する。ジェスチャが複数のオブジェクト上で実行されたマルチタッチジェスチャである時、デバイスは、複数のオブジェクト上で動作を実行するためにステップ264に進む。一方、ジェスチャが複数のオブジェクト上で実行されたマルチタッチジェスチャでない時、デバイスは単一のオブジェクト上で動作を実行するためにステップ268に進む。オブジェクトはアイコン、ウィンドウ、画像、あるいは例えばフォルダ、ドキュメント、音ファイル、ビデオファイル、電話番号、E-mailアドレス、地図、グラフ、あるいは図表のような別のファイルタイプ、といった別のオブジェクトであってもよい。オブジェクトは、画面の一部分にわたる個別の視覚アイテムである。例えばアイコン間のようなオブジェクト間に隙間があってもよい。あるいは、ウィンドウなどのオブジェクトが互いに隣接している。一例において、マルチタッチジェスチャは指によって実行される。片手あるいは両手の1、2、3、4本の、あるいはそれより多い指が使用されてもよい。別の例において、複数のユーザの指が使用されてもよい。指の代わりに、スタイラス、ペン、あるいは別のポインティングデバイスが、接触の一部あるいは全部に使用されてもよい。マルチタッチジェスチャにおいて、2、3、4、あるいはそれ以上の接触が実行されてもよい。ストレッチ、ピンチ、回転、ホールド、ドラッグ、タップ、スライド、及び/又はスワイプといった様々なマルチタッチジェスチャが使用されてもよい。一例において、一度に複数のジェスチャが使用される。マルチタッチジェスチャは、同時に複数のオブジェクト上で作動するために、複数のオブジェクトに接触する。
ステップ264において、動作は、ステップ266において検出されたマルチタッチジェスチャに従って複数のオブジェクト上で実行される。一例において、アプリケーションは、複数のアイコン上でマルチタッチジェスチャを実行することによって起動される。接触されたアイコンと関連するアプリケーションが、起動される。2、3、4、あるいはそれより多いアプリケーションが複数のウィンドウで開かれてもよい。例えば、複数のアイコン、複数のフォルダ、あるいは複数のファイルといった、複数のアイコンのような複数のオブジェクトが、マルチタッチジェスチャに基づいてフォルダにまとめられてもよい。別の例において、複数の画像は、マルチタッチジェスチャから単一の画像を形成するために結合されてもよい。さらなる例において、複数のアプリケーション及び/又はウィンドウが、単一のマルチタッチジェスチャでクローズされる。例えばアイコン、画像、ウィンドウ、ファイル、フォルダ、あるいは別のオブジェクトといったオブジェクトのレイアウトは、マルチタッチジェスチャに基づいて調整されてもよい。例えば、オブジェクトは回転あるいはドラッグされてもよい。オブジェクトは、編成のためにフォルダに、あるいは削除のためにごみ箱にドロップされてもよい。複数のオブジェクト上で実行されるべき動作のための複数のオプションを備えたメニューがポップアップされてもよい。ユーザは、次いでオブジェクト上で実行するための動作を選択してもよい。例えば、写真を削除、切り取り、コピー、あるいは共有するためのオプションを備えたメニューがギャラリーアプリケーションで使用されてもよい。アイコン、ウィンドウ、あるいはファイル又はフォルダといった別のオブジェクトがマルチタッチジェスチャによって選択された時、オプションを備えたメニューがポップアップしてもよい。動作のための異なるオプションが異なるタイプのオブジェクトのために使用されてもよい。アイコンが選択された時、動作は、オープン、削除、あるいはフォルダの作成を含んでもよい。例えば、画像が選択された時、動作は削除、切り取り、コピー、および共有を含んでもよい。別の例において、アイコン、アイコンと関連するアプリケーション、ファイル、あるいはフォルダが削除されてもよい。一例において、異なる動作が異なるオブジェクト上で実行される。
ステップ268において、動作は単一のオブジェクト上で実行されるか、あるいは動作が実行されない。
図13は、複数のオブジェクト上でマルチタッチストレッチを実行する方法のフローチャート図301を示す。最初に、ステップ303において、デバイスはジェスチャを受信する。デバイスはスマートフォンまたはタブレットであってもよい。ジェスチャは、デバイスのタッチスクリーン画面上で受信される。タッチスクリーン画面は、画面、センサ、コントローラ、あるいはCPU用のソフトウェアを含んでもよい。タッチスクリーン画面は、接触の位置を検出する。
次に、ステップ307において、デバイスはステップ303において受信されたジェスチャが複数のアイコン上で実行されたマルチタッチストレッチジェスチャであるか否かを決定する。マルチタッチストレッチジェスチャにおいて、タッチスクリーン画面上の複数の接触が存在し、複数の接触は互いに離れて移動する。タッチスクリーン画面は、接触の存在、位置、および動きを検出する。接触が複数のアイコンの上あるいは近くで開始した時、マルチタッチストレッチジェスチャは、複数のオブジェクト上にある。デバイスが複数のアイコン上で実行されたマルチタッチストレッチジェスチャを検出した時、デバイスはステップ305に進む。一方、デバイスが複数のアイコン上で実行されたマルチタッチストレッチジェスチャを検出しない時、ステップ309に進む。
ステップ305において、デバイスは、ジェスチャが実行された複数のアイコンと関連するアプリケーションを起動する。2つのアプリケーションが起動される時、ポートレートモードで表示されてもよい。4つのアプリケーションが起動される時、四象限で表示されてもよい。ユーザは、開かれたアプリケーションを次いで使用してもよい。
ステップ309において、複数のアプリケーションは同時に起動されず、手順は終了する。
図14は、複数のオブジェクト上で実行されるマルチタッチピンチジェスチャのためのフローチャート図を示す。最初に、ステップ313において、デバイスはジェスチャを受信する。例示的なデバイスはスマートフォンまたはタブレットを含む。ジェスチャは、デバイスのタッチスクリーン画面上で受信される。タッチスクリーン画面は、画面、センサ、コントローラ、あるいはCPU用のソフトウェアを含んでもよい。タッチスクリーン画面は、タッチの存在、位置、および動きを検出する。
次いで、ステップ317において、デバイスは、ステップ313において受信されたジェスチャが複数のオブジェクト上で実行されたマルチタッチピンチジェスチャであるか否かを決定する。マルチタッチピンチが複数のオブジェクト上で実行された時、複数の接触は、複数のオブジェクトの上あるいは近くで受信される。接触は、ピンチ動作において互いに相対的に内側に移動する。デバイスが複数のオブジェクト上でマルチタッチピンチジェスチャを検出した時、ステップ315に進む。一方、デバイスがマルチタッチピンチジェスチャを検出しない時、ステップ318に進む。
ステップ315において、デバイスはステップ317において作動された複数のオブジェクト上で動作を実行する。たとえば、複数のアイコンが作動された時、アイコンはフォルダ内にまとめられる。別の例において、複数の画像が作動された時、画像は1つの大きな画像に結合される。さらなる例において、複数のウィンドウが作動された時、複数のウィンドウはクローズされる。
ステップ318において、複数のオブジェクトはマルチタッチピンチジェスチャによって作動されず、手順は終了する。
図15は、マルチタッチ回転ジェスチャを使用して複数のオブジェクトを回転する実施方法のためのフローチャート図を示す。最初に、ステップ322において、デバイスはジェスチャを受信する。デバイスはスマートフォンまたはタブレットであってもよい。ジェスチャは、デバイスのタッチスクリーン画面上で受信される。タッチスクリーン画面は、画面、センサ、コントローラ、あるいはCPU用のソフトウェアを含んでもよい。タッチスクリーン画面は、タッチの存在、位置、および動きを検出する。
次に、ステップ327において、デバイスはステップ322において受信されたジェスチャが複数のオブジェクト上で実行されたマルチタッチ回転ジェスチャであるか否かを決定する。マルチタッチ回転において、複数の接触は、複数のオブジェクト上あるいは近くで検出される。次いで、接触は回転動作で移動する。回転は、時計回りまたは反時計回りであってもよい。デバイスが複数のオブジェクト上でマルチタッチ回転ジェスチャを検出した時、ステップ325に進む。一方、デバイスが複数のオブジェクト上でマルチタッチ回転ジェスチャを検出しない時、ステップ329に進む。
ステップ325において、デバイスは画面レイアウトで作動されたオブジェクトの位置を回転する。アイコン、画像、あるいはウィンドウが回転されてもよい。オブジェクトのレイアウトは、回転動作と同じ方向に回転されてもよい。あるいは、オブジェクトのレイアウトは、回転ジェスチャの方向と反対方向に回転される。レイアウトの回転量は、ジェスチャの回転量と同じか、あるいは比例してもよい。例えば、小さい回転ジェスチャはオブジェクトを90度回転してもよく、大きい回転ジェスチャは、オブジェクトを180度回転してもよい。例えば30度、45度、あるいは60度といた別の回転量が使用されてもよい。別の例において、レイアウト回転は、例えば90度あるいは180度といった固定量である。
ステップ329において、複数のオブジェクトはマルチタッチ回転のジェスチャによって作動されず、手順が終了する。
図16は、複数の画像上のマルチタッチホールドジェスチャの実施方法のフローチャート図を示す。最初に、ステップ333において、デバイスのタッチスクリーン画面はジェスチャを受信する。一例において、デバイスはスマートフォンまたはタブレットのような別のデバイスである。タッチスクリーン画面は、ディスプレイ、センサ、コントローラ、およびCPU用のソフトウェアを含んでもよい。タッチスクリーン画面は、タッチの存在、位置、および動きを検出する。
次いで、ステップ337において、デバイスはステップ333において受信されたジェスチャが複数の画像上で実行されたマルチタッチホールドジェスチャであるか否かを決定する。マルチタッチホールドジェスチャにおいて、複数のタッチはオブジェクト上あるいは近くで検出される。タッチジェスチャは、ほとんど移動せずに、たとえば、1秒、2秒、5秒、あるいは10秒といった所定の長さの時間の間、保たれる。複数の画像上のマルチタッチホールドジェスチャは、マルチタッチホールド動作が複数の画像上で実行された時に検出される。マルチタッチホールドジェスチャが複数の画像上で検出された時、デバイスはステップ335に進む。マルチタッチホールドジェスチャが複数の画像上で検出されない時、デバイスはステップ339に進む。
ステップ335において、メニューはタッチスクリーン画面上の画面に、ユーザに対して表示される。メニューは、たとえば、削除、切り取り、コピー、あるいは画像の共有などのオプションを含んでもよい。ユーザは、たとえばタッチスクリーン画面上のメニューオプションに触れることによって、オプションの1つを選択してもよい。選択は、タッチスクリーン画面によって検出される。次いで、メニューから選択された動作が、ステップ337において作動された画像上で実行される。たとえば、マルチタッチホールドジェスチャが実行された画像は、削除されるか、切り取られるか、コピーされるか、あるいは共有される。
ステップ339において、マルチタッチホールドは、複数のオブジェクト上で実行されず、手順は終了する。
図17は、複数のアイコン上で実行されるマルチタッチドラッグ動作から、複数のアイコンに作用する方法のためのフローチャート図349を示す。最初に、ステップ342において、ジェスチャは、デバイスのタッチスクリーン画面上で受信される。デバイスは、スマートフォン、あるいはタブレットのような別のデバイスであってもよい。タッチスクリーン画面は、画面、センサ、コントローラ、およびCPUのためのソフトウェアを含んでもよい。タッチスクリーン画面は、タッチの存在、位置、および動きを決定する。
次いで、ステップ346において、デバイスは、ステップ342で検出されたジェスチャが、複数のアイコン上で実行されたドラッグマルチタッチ動作であるか否かを決定する。ドラッグマルチタッチ動作は、タッチスクリーン画面に表示された複数のアイコン上で動作される時、複数のタッチは、複数のアイコン上、あるいは近くに検出される。タッチは、ドラッグ動作で同じ方向に移動される。別の例において、ドラッグ動作は、異なる方向である。ドラッグ動作は、左、右、上、下、対角線上、あるいは、別の角度であってもよい。マルチタッチドラッグ動作が、複数のアイコン上で検出される時、デバイスはステップ345に進む。一方、複数のアイコン上のマルチタッチドラッグ動作が検出されない時、デバイスはステップ361に進む。
ステップ345において、マルチタッチドラッグジェスチャが実行される複数のアイコンが移動される。例えば、アイコンの場所が移動されてもよい。一例において、アイコンはドラッグジェスチャの方向と同じ方向に移動される。あるいは、アイコンは、例えば反対方向など別の方向に移動する。一例において、アイコンがドラッグされる量は、ドラッグジェスチャの大きさに比例する。別の例において、アイコンは既定の量によって移動される。アイコンは、別のスクリーン、例えば現在表示されているスクリーンの左、または右のスクリーンに移動されてもよい。さらなる例において、待機スクリーンのショートカットを削除するため、あるいは待機スクリーン上のアイコンが実際のアプリケーションを示す時にアプリケーションをアンインストールするために、アイコンがごみ箱にドラッグされる。
ステップ361において、マルチタッチドラッグジェスチャが、複数のアイコン上で実行されず、手順は終了する。
図18は、本明細書で開示されるデバイスおよび方法を実装するために使用され得る処理システム270のブロック図を示す。特定のデバイスは、示されたコンポーネントの全て、またはコンポーネントのサブセットのみを利用してもよく、統合のレベルは、デバイスごとに異なってもよい。さらに、デバイスは複数の処理ユニット、プロセッサ、メモリ、送信機、受信機などの、コンポーネントの複数のインスタンスを含んでもよい。処理システムは、マイクロフォン、マウス、タッチスクリーン、キーパッド、キーボード、および同種のものといった1つ以上の入力デバイスを備えた処理ユニットを含んでもよい。また、処理システム270は、スピーカ、プリンタ、画面などのような1つまたは複数の出力デバイスを備えてもよい。処理ユニットは、バスに接続された、中央処理装置(CPU)274、メモリ276、大容量記憶装置278、ビデオアダプタ280、およびI/Oインタフェース288を含んでもよい。
バスは、メモリバスまたはメモリコントローラ、周辺バス、ビデオバス、あるいは同種のものを含む任意のタイプのいくつかのバスアーキテクチャのうちの1つまたは複数であってもよい。CPU274は、任意のタイプの電子データプロセッサを含んでもよい。メモリ276は、スタティック・ランダム・アクセス・メモリ(SRAM)、ダイナミック・ランダム・アクセス・メモリ(DRAM)、シンクロナスDRAM(SDRAM)、リード・オンリー・メモリ(ROM)、これらの組み合わせ、または同種のもののような、任意のタイプの非一時的システムメモリを含んでもよい。一実施形態において、メモリは、ブートアップで使用するためのROM、およびプログラムを実行する間に使用するためのプログラムおよびデータストレージのためのDRAMを含んでもよい。
大容量記憶装置278は、データ、プログラム、およびほかの情報を記憶し、データ、プログラム、およびほかの情報を、バスを介してアクセス可能にするように構成された非一時的記憶デバイスの任意のタイプを備えてもよい。大容量記憶装置278は、例えば、1つまたは複数の半導体ドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、または同種のものを備えてもよい。
ビデオアダプタ280およびI/Oインタフェース288は、外部入力および出力装置を処理装置に結合するためのインタフェースを提供する。図示されるように、入力および出力デバイスの例は、ビデオアダプタに結合された画面と、I/Oインタフェースに結合されたマウス/キーボード/プリンタと、を含む。別のデバイスは、処理ユニットに結合されてもよく、追加の、またはより少ないインタフェースカードが利用されてもよい。たとえば、シリアルインタフェースカード(図示せず)が、プリンタのためのシリアルインタフェースを提供するために使用されてもよい。
処理ユニットはまた、1つまたは複数のネットワークインタフェース284を含み、これはイーサネット(登録商標)ケーブルまたは同種のもといった有線リンク、及び/又はアクセスノードあるいは異なるネットワークへの無線リンクを含んでもよい。ネットワークインタフェース284は、処理ユニットがネットワークを介してリモートユニットと通信することを許可する。例えば、ネットワークインタフェースは、1つまたは複数の送信機/送信アンテナ、および1つまたは複数の受信機/受信アンテナを介して、無線通信を提供してもよい。一実施形態において、処理ユニットは、データ処理およびリモートデバイスとの通信のために、他の処理ユニット、インターネット、リモートストレージ装置、あるいは同種のもののような、ローカルエリアネットワークあるいはワイドエリアネットワークに結合される。
本開示において、いくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くのほかの特定の形態で具現化され得ることを理解されたい。本実施例は、例示的であって、制限的ではないと考えられるべきであり、本明細書に記載された詳細に限定されるものではない。例えば、様々な要素あるいは構成要素は、別のシステムで結合または統合されてもよく、あるいは特定の機能が省略されてもよく、あるいは実装されなくともよい。
さらに、本開示の範囲から逸脱することなく、様々な実施形態において別々にあるいは分けて、記載および図示された技術、システム、サブシステム、および方法は、他のシステム、モジュール、技術、または方法と組み合わせるかまたは統合されてもよい。互いに結合または直接結合または通信するように示されるかまたは記述された別のアイテムは、電気的、機械的、あるいは別の方法で、いくつかのインタフェース、デバイス、または中間コンポーネントを介して間接的に結合されるかまたは通信してもよい。変更、置換、および改変の別の例は、当業者によって確認可能であり、および本明細書に開示された精神および範囲から逸脱することなくなされることができる。
100 ネットワーク
102 通信コントローラ
106 サービスエリア
108 バックホールネットワーク
270 処理システム
274 中央処理装置(CPU)
276 メモリ
278 大容量記憶装置
280 ビデオアダプタ
284 ネットワークインタフェース
288 I/Oインタフェース

Claims (20)

  1. デバイスのタッチスクリーン画面上のジェスチャを、前記デバイスの前記タッチスクリーン画面によって、ユーザから受信するステップと、
    前記ジェスチャが、前記デバイスの前記タッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定するステップと、
    前記ジェスチャが、前記デバイスの前記タッチスクリーン画面上に表示された前記複数のオブジェクト上の前記マルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成するステップと、
    前記検出されたマルチタッチジェスチャに従って、前記複数のオブジェクト上で動作を実行するステップと、を含む、
    方法。
  2. 前記マルチタッチジェスチャが、ストレッチであり、前記複数のオブジェクトは、複数のアイコンであり、および前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のアイコンと関連する複数のウィンドウを開くステップを含む、請求項1に記載の方法。
  3. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のオブジェクトをフォルダに配置するステップを含む、請求項1に記載の方法。
  4. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクトは複数の画像であり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数の画像を合成画像に合成するステップを含む、請求項1に記載の方法。
  5. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクトは複数のウィンドウであり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のウィンドウを閉じるステップを含む、請求項1に記載の方法。
  6. 前記マルチタッチジェスチャが、回転であり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のオブジェクトを回転するステップを含む、請求項1に記載の方法。
  7. 前記複数のオブジェクトは、複数のアイコン、複数の画像、複数のウィンドウ、およびそれらの組合せで構成されるグループから選択される、請求項6に記載の方法。
  8. 前記マルチタッチジェスチャがホールドであり、前記複数のオブジェクト上で前記動作を実行するステップは、
    複数のアクションのメニューを表示するステップと、
    前記複数のアクションの選択されたアクションを、前記デバイスによって受信するステップと、
    前記複数のオブジェクト上で前記選択されたアクションを実行するステップと、を含む、
    請求項1に記載の方法。
  9. 前記複数のアクションが、削除、切り取り、コピー、および共有のうちの少なくとも1つを含む、請求項8に記載の方法。
  10. 前記マルチタッチジェスチャが、ドラッグであって、前記複数のオブジェクトは複数のアイコンであり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のアイコンをドラッグするステップを含む、請求項1に記載の方法。
  11. 前記マルチタッチジェスチャが、ドラッグであって、前記複数のオブジェクトは複数のアイコンであり、前記複数のオブジェクト上で前記動作を実行するステップは、前記複数のアイコンを削除するステップを含む、請求項1に記載の方法。
  12. 前記複数のオブジェクトが、2つのオブジェクト、3つのオブジェクト、および4つのオブジェクトから構成される前記グループから選択される、請求項1に記載の方法。
  13. タッチスクリーン画面上のジェスチャを受信するように構成された前記タッチスクリーン画面と、
    プロセッサと、
    前記プロセッサによって実行するためのプログラムを記憶した固定コンピュータ可読記憶媒体と、を含むデバイスであって、前記プログラムは、
    前記ジェスチャが前記デバイスの前記タッチスクリーン画面に表示される複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定し、
    前記ジェスチャが、前記デバイスの前記タッチスクリーン画面に表示される前記複数のオブジェクト上の前記マルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成し、および
    前記検出されたマルチタッチジェスチャに従って前記複数のオブジェクト上で動作を実行するための、命令を含む、
    デバイス。
  14. 前記マルチタッチジェスチャが、ストレッチであり、前記複数のオブジェクトは、複数のアイコンであり、および前記複数のオブジェクト上で前記動作を実行するための前記命令は、前記複数のアイコンに関連する複数のウィンドウを開くための命令を含む、請求項13に記載のデバイス。
  15. 前記マルチタッチジェスチャが、回転であり、前記複数のオブジェクト上で前記動作を実行するための前記命令は、前記複数のオブジェクトを回転するための命令を含む、請求項13に記載のデバイス。
  16. 前記マルチタッチジェスチャが、ホールドであり、前記複数のオブジェクト上で前記動作を実行するための前記命令は、
    複数のアクションのメニューを表示し、
    前記複数のアクションの選択されたアクションを、前記デバイスによって受信し、
    前記複数のオブジェクト上で前記選択されたアクションを実行するための、命令を含む、
    請求項13に記載のデバイス。
  17. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクト上で前記動作を実行するための前記命令は、前記複数のオブジェクトをフォルダに配置するための命令を含む、請求項13に記載のデバイス。
  18. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクトは複数の画像であり、前記複数のオブジェクト上で前記動作を実行するための前記命令は、前記複数の画像を合成画像に合成するための命令を含む、請求項13に記載のデバイス。
  19. 前記マルチタッチジェスチャが、ピンチであり、前記複数のオブジェクトは複数のウィンドウであり、前記複数のオブジェクト上で前記動作を実行するための前記命令は、前記複数のウィンドウを閉じるための命令を含む、請求項13に記載のデバイス。
  20. デバイスにインストールするためのコンピュータプログラムであって、前記コンピュータプログラムは、前記デバイスによって実行するためのプログラムを含み、前記プログラムは、
    前記デバイスのタッチスクリーン画面上のジェスチャを、前記デバイスの前記タッチスクリーン画面によって、ユーザから受信し、
    前記ジェスチャが、前記デバイスの前記タッチスクリーン画面上に表示された複数のオブジェクト上のマルチタッチジェスチャであるか否かを決定し、
    前記ジェスチャが、前記デバイスの前記タッチスクリーン画面上に表示された前記複数のオブジェクト上の前記マルチタッチジェスチャである時、検出されたマルチタッチジェスチャを作成し、
    前記検出されたマルチタッチジェスチャに従って、前記複数のオブジェクト上で動作を実行するための、命令を含む、
    コンピュータプログラム。
JP2017542846A 2015-02-16 2016-02-14 マルチタッチジェスチャのためのシステムおよび方法 Pending JP2018505497A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/623,323 US20160239200A1 (en) 2015-02-16 2015-02-16 System and Method for Multi-Touch Gestures
US14/623,323 2015-02-16
PCT/CN2016/073766 WO2016131405A1 (en) 2015-02-16 2016-02-14 System and method for multi-touch gestures

Publications (1)

Publication Number Publication Date
JP2018505497A true JP2018505497A (ja) 2018-02-22

Family

ID=56621070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542846A Pending JP2018505497A (ja) 2015-02-16 2016-02-14 マルチタッチジェスチャのためのシステムおよび方法

Country Status (7)

Country Link
US (1) US20160239200A1 (ja)
EP (1) EP3250988A4 (ja)
JP (1) JP2018505497A (ja)
KR (1) KR20170115623A (ja)
CN (1) CN107209573A (ja)
CA (1) CA2976668A1 (ja)
WO (1) WO2016131405A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017451A1 (en) * 2015-07-17 2017-01-19 Samsung Electronics Co., Ltd. Method and system for managing applications running on smart device using a wearable device
CN106484213B (zh) * 2015-08-31 2019-11-01 深圳富泰宏精密工业有限公司 应用程序图标操作系统与方法
JP6774019B2 (ja) * 2016-09-26 2020-10-21 富士ゼロックス株式会社 情報処理装置およびプログラム
US10739990B1 (en) * 2016-12-18 2020-08-11 Leonid Despotuli Gesture-based mobile device user interface
CN106648372A (zh) * 2016-12-29 2017-05-10 北京小米移动软件有限公司 图像管理方法及装置
JP7011903B2 (ja) * 2017-07-21 2022-01-27 フォルシアクラリオン・エレクトロニクス株式会社 情報制御装置、及び情報制御方法
JP2019057012A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置およびプログラム
CN108702784B (zh) 2018-05-10 2021-01-26 北京小米移动软件有限公司 数据传输方法、装置、系统及存储介质
CN109126133A (zh) * 2018-08-27 2019-01-04 广州要玩娱乐网络技术股份有限公司 游戏单位编队控制方法、装置、存储介质及移动终端
CA3071758A1 (en) 2019-02-07 2020-08-07 1004335 Ontario Inc. Methods for two-touch detection with resisitive touch sensor and related apparatuses and sysyems
CN110262877B (zh) * 2019-04-30 2022-05-13 华为技术有限公司 一种卡片处理方法及设备
CN114168047B (zh) * 2019-08-22 2022-08-26 华为技术有限公司 一种应用窗口处理方法及装置
CN110658971B (zh) * 2019-08-26 2021-04-23 维沃移动通信有限公司 一种截屏方法及终端设备
CN110737376B (zh) * 2019-09-30 2021-06-22 维沃移动通信有限公司 一种应用控制方法和终端
CN110941382B (zh) * 2019-10-09 2021-09-24 广州视源电子科技股份有限公司 智能交互平板的显示操作方法、装置、设备和存储介质
US11231833B2 (en) * 2020-01-10 2022-01-25 Lenovo (Singapore) Pte. Ltd. Prioritizing information when app display size is reduced
CN111641797B (zh) * 2020-05-25 2022-02-18 北京字节跳动网络技术有限公司 视频通话界面显示控制方法、装置、存储介质及设备
CN112153288B (zh) * 2020-09-25 2023-10-13 北京字跳网络技术有限公司 用于发布视频或图像的方法、装置、设备和介质
CN112817483B (zh) * 2021-01-29 2023-08-08 网易(杭州)网络有限公司 多点触控的处理方法、装置、设备及存储介质
JP7447886B2 (ja) * 2021-12-10 2024-03-12 カシオ計算機株式会社 行列操作方法、電子機器及びプログラム

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322059A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び撮像装置
JPH11355556A (ja) * 1998-04-10 1999-12-24 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US20090327975A1 (en) * 2008-06-27 2009-12-31 Stedman Roy W Multi-Touch Sorting Gesture
JP2010250465A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2011135894A1 (ja) * 2010-04-27 2011-11-03 日本電気株式会社 情報処理端末およびその制御方法
JP2012008720A (ja) * 2010-06-23 2012-01-12 Canon Inc システムおよび方法
JP2012504837A (ja) * 2008-10-06 2012-02-23 サムスン エレクトロニクス カンパニー リミテッド マルチタッチを利用したリスト管理方法及び装置
JP2013065288A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
JP2013073484A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 電子機器、電子機器の制御方法、及び、プログラム
US20130120295A1 (en) * 2011-11-16 2013-05-16 Samsung Electronics Co., Ltd. Mobile device for executing multiple applications and method for same
US20130215059A1 (en) * 2012-02-21 2013-08-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling an object in an electronic device with touch screen
WO2013132552A1 (ja) * 2012-03-06 2013-09-12 Necカシオモバイルコミュニケーションズ株式会社 端末装置及び端末装置の制御方法
JP2013200680A (ja) * 2012-03-23 2013-10-03 Kyocera Corp 装置、方法、及びプログラム
JP2013540297A (ja) * 2010-08-02 2013-10-31 サムスン エレクトロニクス カンパニー リミテッド タッチ感応式デバイスにおけるフォルダー運用方法および装置
US20130321308A1 (en) * 2012-05-30 2013-12-05 Samsung Electronics Co., Ltd Method and apparatus for moving object in terminal having touch screen
WO2013189286A1 (zh) * 2012-06-20 2013-12-27 华为终端有限公司 在用户界面创建文件夹的方法与终端
US20140168095A1 (en) * 2012-12-14 2014-06-19 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
CN104040476A (zh) * 2011-12-22 2014-09-10 魏玛包豪斯大学 用于运行能多点触控的显示器的方法和具有能多点触控的显示器的设备
JP2014188986A (ja) * 2013-03-28 2014-10-06 Sharp Corp 画像形成装置
US20140325411A1 (en) * 2009-01-02 2014-10-30 Perceptive Pixel, Inc. Manipulation of overlapping objects displayed on a multi-touch device
JP2014215737A (ja) * 2013-04-24 2014-11-17 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
JP2015026319A (ja) * 2013-07-29 2015-02-05 京セラ株式会社 携帯端末および表示制御方法
JP2015049773A (ja) * 2013-09-03 2015-03-16 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2015204046A (ja) * 2014-04-15 2015-11-16 キヤノン株式会社 オブジェクトを管理する情報処理装置およびその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138781A1 (en) * 2008-11-30 2010-06-03 Nokia Corporation Phonebook arrangement
US8669945B2 (en) * 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
US8677284B2 (en) * 2009-11-04 2014-03-18 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface
US8698762B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US9235341B2 (en) * 2010-01-20 2016-01-12 Nokia Technologies Oy User input
EP2534046B1 (en) * 2010-02-11 2017-12-13 Seven Marine, LLC Large outboard motor for marine vessel application and related methods of making and operating same
US8386950B2 (en) * 2010-04-05 2013-02-26 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for arranging a plurality of icons on a touch sensitive display
KR101699739B1 (ko) * 2010-05-14 2017-01-25 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US9465457B2 (en) * 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
KR101853057B1 (ko) * 2011-04-29 2018-04-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN102591659A (zh) * 2011-12-28 2012-07-18 中标软件有限公司 一种移动终端主界面上的微件实现方法及其管理方法
US9325861B1 (en) * 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
US20140149901A1 (en) * 2012-11-28 2014-05-29 Motorola Mobility Llc Gesture Input to Group and Control Items
CN103064625B (zh) * 2012-12-30 2016-02-10 珠海金山办公软件有限公司 基于多点触控屏的对象选择方法和系统
KR20140092694A (ko) * 2013-01-16 2014-07-24 엘지전자 주식회사 멀티 터치에 의한 다중 선택 방법 및 그 단말기
US9612740B2 (en) * 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
CN103294401B (zh) * 2013-06-03 2016-02-17 广东欧珀移动通信有限公司 一种具有触摸屏的电子设备的图标处理方法及装置
CN103412713A (zh) * 2013-06-28 2013-11-27 北京君正集成电路股份有限公司 一种智能设备同时操控多窗口的管理方法
CN103473004A (zh) * 2013-09-29 2013-12-25 小米科技有限责任公司 一种显示消息的方法、装置及终端设备

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322059A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び撮像装置
JPH11355556A (ja) * 1998-04-10 1999-12-24 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US20090327975A1 (en) * 2008-06-27 2009-12-31 Stedman Roy W Multi-Touch Sorting Gesture
JP2012504837A (ja) * 2008-10-06 2012-02-23 サムスン エレクトロニクス カンパニー リミテッド マルチタッチを利用したリスト管理方法及び装置
US20140325411A1 (en) * 2009-01-02 2014-10-30 Perceptive Pixel, Inc. Manipulation of overlapping objects displayed on a multi-touch device
JP2010250465A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2011135894A1 (ja) * 2010-04-27 2011-11-03 日本電気株式会社 情報処理端末およびその制御方法
JP2012008720A (ja) * 2010-06-23 2012-01-12 Canon Inc システムおよび方法
JP2013540297A (ja) * 2010-08-02 2013-10-31 サムスン エレクトロニクス カンパニー リミテッド タッチ感応式デバイスにおけるフォルダー運用方法および装置
JP2013065288A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
JP2013073484A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 電子機器、電子機器の制御方法、及び、プログラム
US20130120295A1 (en) * 2011-11-16 2013-05-16 Samsung Electronics Co., Ltd. Mobile device for executing multiple applications and method for same
CN104040476A (zh) * 2011-12-22 2014-09-10 魏玛包豪斯大学 用于运行能多点触控的显示器的方法和具有能多点触控的显示器的设备
US20130215059A1 (en) * 2012-02-21 2013-08-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling an object in an electronic device with touch screen
WO2013132552A1 (ja) * 2012-03-06 2013-09-12 Necカシオモバイルコミュニケーションズ株式会社 端末装置及び端末装置の制御方法
JP2013200680A (ja) * 2012-03-23 2013-10-03 Kyocera Corp 装置、方法、及びプログラム
US20130321308A1 (en) * 2012-05-30 2013-12-05 Samsung Electronics Co., Ltd Method and apparatus for moving object in terminal having touch screen
WO2013189286A1 (zh) * 2012-06-20 2013-12-27 华为终端有限公司 在用户界面创建文件夹的方法与终端
US20140168095A1 (en) * 2012-12-14 2014-06-19 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
JP2014188986A (ja) * 2013-03-28 2014-10-06 Sharp Corp 画像形成装置
JP2014215737A (ja) * 2013-04-24 2014-11-17 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
JP2015026319A (ja) * 2013-07-29 2015-02-05 京セラ株式会社 携帯端末および表示制御方法
JP2015049773A (ja) * 2013-09-03 2015-03-16 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2015204046A (ja) * 2014-04-15 2015-11-16 キヤノン株式会社 オブジェクトを管理する情報処理装置およびその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
藤本 圭, PHOTOSHOP 10年使える逆引き手帖 [CC/CS6/CS5対応], vol. 第1版, JPN6019038882, 25 November 2014 (2014-11-25), pages 288 - 289, ISSN: 0004130134 *

Also Published As

Publication number Publication date
EP3250988A4 (en) 2018-01-03
EP3250988A1 (en) 2017-12-06
KR20170115623A (ko) 2017-10-17
CN107209573A (zh) 2017-09-26
CA2976668A1 (en) 2016-08-25
US20160239200A1 (en) 2016-08-18
WO2016131405A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
WO2016131405A1 (en) System and method for multi-touch gestures
US9927964B2 (en) Customization of GUI layout based on history of use
US8531417B2 (en) Location of a touch-sensitive control method and apparatus
US9665177B2 (en) User interfaces and associated methods
EP2812796B1 (en) Apparatus and method for providing for remote user interaction
CN111666013B (zh) 电子设备及其控制方法
US8994694B2 (en) Optical interference based user input device
CN107918563A (zh) 一种复制和粘贴的方法、数据处理装置和用户设备
US20100088654A1 (en) Electronic device having a state aware touchscreen
KR102028717B1 (ko) 플렉서블 장치 및 그의 제어 방법
US20140368442A1 (en) Apparatus and associated methods for touch user input
US20150169216A1 (en) Method of controlling screen of portable electronic device
KR20140089866A (ko) 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
US20140240257A1 (en) Electronic device having touch-sensitive user interface and related operating method
US20120062513A1 (en) Multi-function touch panel, mobile terminal including the same, and method of operating the mobile terminal
KR101173982B1 (ko) 터치 스크린을 이용한 인터페이스를 제공하는 이동식 단말기
CA2749244C (en) Location of a touch-sensitive control method and apparatus
US20150109229A1 (en) Electronic apparatus
WO2018112803A1 (zh) 触摸屏手势识别的方法及装置
CN105009038A (zh) 具有触敏用户界面的电子装置以及相关操作方法
WO2014207288A1 (en) User interfaces and associated methods for controlling user interface elements
CN106569664A (zh) 一种终端桌面图标调整显示装置、终端及方法
JP5969320B2 (ja) 携帯端末装置
EP2600229A1 (en) Optical interference based user input device
EP2570893A1 (en) Electronic device and method of character selection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190808

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190814

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190819

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191011

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20191021

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200713

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200831

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201019

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210222

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210329

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210329