JP2022528771A - 命令メニュー出力方法 - Google Patents
命令メニュー出力方法 Download PDFInfo
- Publication number
- JP2022528771A JP2022528771A JP2021560642A JP2021560642A JP2022528771A JP 2022528771 A JP2022528771 A JP 2022528771A JP 2021560642 A JP2021560642 A JP 2021560642A JP 2021560642 A JP2021560642 A JP 2021560642A JP 2022528771 A JP2022528771 A JP 2022528771A
- Authority
- JP
- Japan
- Prior art keywords
- menu
- item
- touch
- graphic object
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
プロセッサーによって実行され、使用者の入力によって階層化された命令メニューをディスプレーに出力させる方法に関する発明を開示する。
Description
以下、タッチ入力とタッチ解除を認識して命令メニューを出力して、実行する方法に関する技術が提供される。
タッチ入力を利用して命令を実行する電子機器において、所望の命令を捜して実行する過程は複数回のタッチ入力及びタッチ入力解除を伴う。そのため、命令メニュー出力及び実行過程は複雑で、命令処理にたくさんのプロセスを経なければならない。
また、使用者が指紋または顔面認識を利用して節電モード状態の電子機器を目覚めさせた後、命令を実行する過程は追加的にタッチ入力を加える追加動作が必要となる。
一実施例による命令メニュー出力方法は、使用者のタッチ入力が感知される場合に応答して、前記タッチ入力が検出されたタッチ地点に前記命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記タッチ地点が移動された地点を検出するステップと、前記上位階層メニューの候補上位項目の中で前記移動された地点に対応する対象上位項目を選択するステップと、前記選択された対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させるステップと、前記下位階層メニューから前記タッチ地点が解除されるドロップ入力を感知するステップと、前記下位階層メニューの複数の候補下位項目の中の一つの対象下位項目に対応する地点で前記ドロップ入力が感知される場合に応答して、前記対象下位項目に対応する動作を実行するステップとを含むことができる。
一実施例による対象下位項目に対応する動作を実行するステップは、前記対象下位項目に対応する動作を実行する前に、前記動作を実行するか否かに対応して使用者の承認を要請するグラフィックオブジェクトを出力させるステップを含むことができる。
また、前記使用者のタッチ入力に応答して前記使用者の生体情報を獲得するステップと、登録データベースから前記生体情報と登録使用者情報をマッチングするステップと、前記マッチングが成功した場合に応答して、前記使用者にアプリケーション、装置、及びメニューの中の少なくとも一つに対するアクセス権限を許容するステップと、前記許容されたアクセス権限に基づいて上位グラフィックオブジェクト及び下位グラフィックオブジェクトの中の少なくとも一つを出力させるステップと、を含むことができる。
一実施例によるドロップ入力を感知するステップは、前記下位階層メニューの候補下位項目の中で移動された地点に対応する対象下位項目を選択するステップと、前記対象下位項目に対する情報を半透明に視覚化し、前記対象下位項目に対する情報上に前記階層メニューに関するグラフィックオブジェクトをオーバレイして出力させるステップとをさらに含むことができる。
他の一実施例によれば、前記階層メニューに関するグラフィックオブジェクト外部領域で少なくとも一地点に対する外部タッチ入力を感知するステップと、前記外部タッチ入力の移動軌跡を検出するステップと、前記階層メニューに関するグラフィックオブジェクト内部領域内で前記タッチ入力が保持された場合、前記移動軌跡に基づいて前記グラフィックオブジェクトを回転させるステップとをさらに含むことができる。
また他の一実施例によれば、前記階層メニューに関するグラフィックオブジェクト外部領域に少なくとも一地点のグラフィックオブジェクト外部タッチを感知するステップと、前記外部タッチ入力の移動軌跡を検出するステップと、前記外部タッチ入力に基づいて識別された方向に前記グラフィックオブジェクトの少なくとも一部を移動させるステップとをさらに含むことができる。
また、命令メニュー出力方法は、前記下位階層メニューの項目の個数が予め指定された個数よりも多い場合、前記下位階層メニューの前記候補下位項目の中の一部項目を指示するグラフィックオブジェクトをディスプレーに出力させ、前記タッチ入力と区別される使用者入力に対応して、前記一部項目を除いた残り複数の項目の中の少なくとも一部を露出させ、前記一部項目の中の少なくとも一部の出力を排除させることができる。
一実施例による命令メニュー出力方法は、前記下位グラフィックオブジェクトの項目配列組合は使用者の実行履歴に基づいて、前記上位階層メニューの中の一つの項目周辺に出力されることができる。
また他の一実施例によれば、前記使用者のタッチ入力を感知する場合に応答して、前記タッチ入力が検出された基準地点に前記階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、前記使用者のタッチ入力が保持される間、前記タッチ入力が移動されるタッチ移動入力に対応して、前記基準地点から移動されたタッチ地点を検出するステップと、前記タッチ地点が前記上位階層メニューの候補上位項目の中で対象上位項目を指示する地点に移動される場合に応答して、前記対象上位項目を選択するステップと、前記対象上位項目が選択された後前記タッチ地点が前記基準地点に戻るタッチ復帰移動入力を検出するステップと、前記タッチ復帰移動入力が検出される場合に応答して、前記上位グラフィックオブジェクトを前記対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトで取り替えて出力させることができる。
また他の一実施例による命令メニュー出力方法は、操作感知部が前記使用者のタッチ入力を感知する場合に応答して、前記ディスプレーで前記タッチ入力が検出されたタッチ地点を指示する部分に操作指示子を出力させるステップと、前記操作指示子に基づいて前記ディスプレーに前記階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記操作指示子が移動された地点を検出するステップと、前記上位階層メニューの候補上位項目の中で前記操作指示子が移動された地点に対応する対象上位項目を選択するステップと、前記対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させるステップと、前記タッチ地点が前記下位階層メニューの複数の候補下位項目の中の一対象下位項目に対応する地点から解除されるドロップ入力を感知するステップと、前記ドロップ入力が感知される場合に応答して、前記対象下位項目に対応する動作を実行するステップとを含むことができる。
複数の実施例に対する特定の構造的または機能的説明はただ例示のための目的で開示されたものであり、多様な形態に変更して実施されることができる。したがって、複数の実施例は特定の開示形態に限定されるのではなく、本明細書の範囲は技術的思想に含まれる変更、均等物、または代替物を含む。
第1または第2などの用語は多様な構成要素を説明するのに用いられることができるが、このような用語は一つの構成要素を他の構成要素から区別する目的のみで解釈されるべきである。例えば、第1構成要素は第2構成要素に命名されることができ、同様に第2構成要素は第1構成要素でも命名されることができる。
ある構成要素が他の構成要素に「連結されて」いると言及された時には、その他の構成要素に直接連結されるかまたは接続されることもできるが、中間に他の構成要素が存在することもできることと理解すべきである。
単数の表現は、文脈上明白に異なりに意味しない限り、複数の表現を含む。本明細書で、「含む」又は「有する」などの用語は、説明された特徴、数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、1つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。
異なりに定義されない限り、技術的または科学的用語を含んで、ここで用いられる全ての用語は本発明が属する技術分野における当業者によって一般的に理解されることと同一の意味を有する。一般的に用いられる辞書に定義されたことのような用語は連関された技術の文脈で有する意味と一貫された意味を有することと解釈されるべきであり、本明細書に明示的に定義されない限り、理想的または過度に形式的な意味に解釈されてはならない。以下、実施例を添付図面を参照して詳しく説明する。各図面に提示された同一の参照符号は同一部材を表す。
一実施例によるプロセッサーは、使用者のタッチ入力が感知される場合に応答して、節電モード状態及び電源オフ(off)状態の装置を目覚めさせたり、既にオン状態の装置で命令を実行するための命令メニューを呼び出すことができる。使用者のタッチ入力は使用者の体の一部分の接触を装置が感知することであり得るが、これに限定されず、入力装置を媒介にして入力装置が使用者の体の一部分の接触を感知する場合も含むことができる。例示的に、入力装置はマウスまたはディスプレーに搭載されたセンサーであってもよく、マウスまたはセンサーが使用者のタッチ入力を感知した場合応答して、電気信号をプロセッサーに送ることができる。
図1は一実施例による大型画面命令メニュー出力方法の流れ図である。
ステップ(100)で、プロセッサーは使用者のタッチ入力が感知される場合に応答して、タッチ入力が検出されたタッチ地点に階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させることができる。
階層メニューは少なくとも二つの階層からなる複数のメニューの集合であり得る。上位階層メニューと下位階層メニューは階層段階によって相対的に決められることができる。例えば、階層メニューが3つの階層で構成される場合、最上位段階の階層から最下位階層メニューまで順次第1階層メニュー、第2階層メニュー、第3階層メニューであり得る。第1階層メニューは第2階層メニューよりも上位の階層であるので、第1階層メニューと第2階層メニューとの間で第1階層メニューが上位階層メニューで、第2階層メニューが下位階層であり得る。これに対して、第2階層メニューは第3階層メニューよりも上位の階層であるので、第2階層メニューと第3階層メニューとの間で第2階層メニューが上位階層メニューで、第3階層メニューが下位階層メニューであり得る。
ステップ(110)で、プロセッサーは使用者のタッチ入力が保持される間、タッチ地点が移動されるタッチ移動入力に対応して、タッチ地点が移動された地点を検出することができる。
タッチ移動入力はタッチ入力が感知される地点が移動される入力を表すことができる。例示的に、タッチ移動入力はタッチ入力が保持されたままタッチ地点がドラッグされる入力であり得る。
ステップ(120)で、プロセッサーは上位階層メニューの候補上位項目の中で移動されたタッチ地点に対応する対象上位項目を選択することができる。階層メニューは複数の候補項目を含むことができ、対象項目は候補項目の中でタッチ移動入力によって選択される項目であり得る。例えば、プロセッサーは候補項目の中で任意の項目を指示する項目グラフィックオブジェクトにタッチ地点が進入する場合に応答して、該当の項目を対象項目に選択することができる。プロセッサーは、タッチが形成された領域の中で一定比率以上の領域が項目グラフィックオブジェクトで感知される場合に応答して、項目グラフィックオブジェクトにタッチ地点が進入したことと決めることができる。
上位階層メニューは少なくとも一つの上位項目を含むことができ、少なくとも一つの上位項目のそれぞれごとに下位階層メニューがマッピングされることができる。また、下位階層メニューは少なくとも一つの下位項目を含むことができ、少なくとも一つの下位項目のそれぞれごとに次の下位階層メニューがマッピングされることができる。参考に、以下の図2、図3、図5、及び図6では各上位階層メニュー及び各下位階層メニューに含まれる項目の個数が8つであることで図示されたが、これに限定するのではなく、設計によって変わることができる。
ステップ(130)で、プロセッサーは選択された上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを上位階層メニューを指示する上位グラフィックオブジェクトから拡張しながら出力することができる。例えば、プロセッサーは、上位グラフィックオブジェクトから外方向に、上位グラフィックオブジェクトの外郭境界を取り囲む形態の下位グラフィックオブジェクトを出力することができる。ただ、これに限定するのではなく、プロセッサーは上位グラフィックオブジェクトの外郭境界の中の一部をカバーする形態の下位グラフィックオブジェクトを出力することもできる。この時、プロセッサーはタッチ移動入力の方向に対応する方向に下位グラフィックオブジェクトを拡張することができる。したがって、プロセッサーが上位グラフィックオブジェクトから下位グラフィックオブジェクトを拡張する間に、タッチ移動入力は一貫して一方向に向かうことができる。
ステップ(140)で、プロセッサーは下位階層メニューからタッチ地点が解除されるドロップ入力を感知することができる。ドロップ入力はタッチ地点が解除される入力で、任意の地点でタッチ入力を終了する入力を表すことができる。
ステップ(150)で、プロセッサーは、下位階層メニューの複数の候補下位項目の中の一つの対象下位項目に対応する地点でドロップ入力が感知される場合に応答して、対象下位項目に対応する動作を実行することができる。対象下位項目は下位候補項目の中のタッチ移動入力によって選択される項目であり得る。下位項目に対応する動作はメモリーによって予め保存された動作で、例えば、アプリケーション実行、プレビュー表示及び装置の機能実行のような多様な動作が各下位項目に割り当てられることができる。動作が予め保存されたメモリーはプロセッサーが含まれた装置に含まれてもいいが、これに限定されず、外部クルラウド装置に含まれ、プロセッサーは外部クルラウド装置と通信して動作を受信することができる。例えば、選択された対象下位項目に「Aアプリケーション実行」が割り当てられた場合、プロセッサーはメモリーから「Aアプリケーション実行」に係わる動作プロセスをロードすることによりAアプリケーションを実行することができる。
図1には上位階層メニュー及び下位階層メニューで構成されたグラフィックオブジェクトのみ示されているが、これに限定されず、命令メニュー出力方法は3段階以上の階層メニューを指示するグラフィックオブジェクトを出力して命令動作を実行することも含むことができる。
一実施例による命令メニュー出力装置は使用者を認証しながら権限による命令メニューを提供することもできる。
例えば、プロセッサーは使用者のタッチ入力に応答して使用者の生体情報を獲得することができる。使用者の生体情報は使用者の指紋に係わるデータであり得る。使用者の指紋に係わるデータは指紋のパターン、指紋の曲線の間の間隔を含むことができる。一実施例によれば、使用者の指紋に係わるデータは指紋の曲線の間の間隔の時間に対する変化率を含むことができる。時間に対する指紋曲線の間の間隔の変化率が変わらない場合、プロセッサーは使用者の指が動いていないと判別することができる。これに対して、指紋曲線の間の間隔の変化率が臨界値以上である場合、プロセッサーはタッチ入力が不安定であると判別して後述する使用者の生体情報と登録使用者情報のマッチング動作をスキップ(skip)することができる。
プロセッサーは使用者の生体情報と登録使用者情報をマッチングさせることができる。プロセッサーは登録データベースから生体情報にマッチングする登録使用者情報をマッチングすることができる。登録データベースはプロセッサーと連動されるメモリーに保存されることができ、登録データベースは複数名義の使用者に関する使用者情報(例えば、各使用者の登録指紋に関する情報)を含むことができる。登録データベースに複数名義の使用者に係わる登録使用者情報が保存されている場合、プロセッサーは複数の登録使用者情報及び使用者生体情報の間のマッチング類似度を算出することができる。プロセッサーは任意の登録使用者情報に対して算出されたマッチング類似度が臨界類似度を超過する場合に応答して該当の登録使用者情報に使用者生体情報をマッチングすることで決めることができる。プロセッサーは複数の登録使用者情報の中で使用者生体情報に一致する情報があればマッチングが成功したと判断することができる。
プロセッサーはマッチングが成功した場合に応答して、使用者にアプリケーション、装置、及びメニューの中の少なくとも一つに対するアクセス権限を許容することができる。一実施例によれば、アプリケーション、装置、及びメニューの中の少なくとも一つに対するアクセス権限は使用者ごとに個別的に違うように設定されることができる。登録使用者情報は登録使用者に許容されるアクセス権限に関する情報を含むことができ、例えば、該当の登録使用者がアクセスすることができるアプリケーション、装置、及びメニューに関する情報を保存することができる。プロセッサーはマッチングが成功した場合、マッチングされた登録使用者情報をメモリーからロードしながらマッチングされた使用者に許容されたアプリケーション、装置、及びメニューを識別することができる。例えば、第1使用者が未成年者である場合、プロセッサーは保存された第1使用者がアクセスすることができるアプリケーション、装置、及びメニューに関する情報をロードすることができる。第1使用者が未成年者であるので、第1使用者がアクセスすることができるアプリケーション、装置、及びメニューが限定される可能性がある。
プロセッサーは許容されたアクセス権限に基づいて上位グラフィックオブジェクト及び下位グラフィックオブジェクトの中の少なくとも一つを出力させることができる。例えば、プロセッサーは任意の使用者にアクセスが許容された動作を指示する複数の項目で構成される階層メニュー(例えば、上位階層メニューまたは下位階層メニュー)に対するグラフィックオブジェクトを出力することができる。権限が許容されない使用者によるアクセスが試めされる場合に応答して、プロセッサーはゲストモードの階層メニューを出力することもできる。
図2は一実施例による大型画面で命令メニューを出力する方法を説明するための上位グラフィックオブジェクトを示したのである。
一実施例による命令メニュー出力方法は、大型画面ディスプレーを含む装置200で実施されることができる。大型画面ディスプレーを含む装置200で複数の命令メニューに係わるグラフィックオブジェクトを出力することができる部分が比較的広くてもよい。大型画面ディスプレーを含む装置200はTV、パーソナルコンピューター、ラップトップコンピューター、インテリジェント自動車、キオスクなどの多様な形態の製品で具現されることができる。例示的に、実施例はTVのディスプレーに感知された使用者のタッチ入力に応答して、階層メニューを指示するグラフィックオブジェクトを出力することができる。グラフィックオブジェクトが呼び出された後、タッチ移動入力に応答して、複数の下位階層メニューを指示するグラフィックオブジェクトが大型画面ディスプレーの余白空間を向けて出力されることができる。しかし、大型画面ディスプレーを含む装置200は上述した実施例のみに限定されるのではなく、片手で把持しにくいディスプレーを含む装置を含むことができる。
使用者によるタッチ入力が感知された場合、大型画面ディスプレーを含む装置200のプロセッサーはタッチ入力が検出されたタッチ地点220を基準として階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクト210を出力させることができる。
一実施例によれば、図2に示されたように、タッチ入力が検出されたタッチ地点220はディスプレーに出力されることができる。ただ、図2は説明の便宜のためにタッチ地点220を示したもので、タッチ地点220はディスプレーに出力されないこともある。
タッチ入力が保持される間、プロセッサーは検出されたタッチ地点220からタッチ移動入力230に対応してタッチ地点が移動された地点を検出することができる。図2によれば、タッチ移動入力230に対応してタッチ地点が移動された地点は上位グラフィックオブジェクトの中の一つの項目に位置することができる。
プロセッサーはタッチ地点が上位グラフィックオブジェクトの中の一つの項目に位置する場合、該当項目が選択されたことと判別することができる。それによって、プロセッサーは上位階層メニューの候補上位項目の中で移動された地点に対応する対象上位項目211を選択することができる。例えば、プロセッサーはタッチ領域が対象上位項目211に対応するグラフィックオブジェクトの臨界比率以上を占めているか否かによって対象上位項目211を選択することができる。例示的に、ディスプレーで検出されたタッチ領域が対象上位項目211が指示するグラフィックオブジェクトの50%以上を占める場合に応答して、プロセッサーは対象上位項目211を選択することができる。
図3は一実施例による大型画面で命令メニューを出力する方法を説明するための下位グラフィックオブジェクトを示した。
装置300のプロセッサーは選択された上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクト320を上位グラフィックオブジェクト310から拡張しながら出力させることができる。
図3に示されたように、上位グラフィックオブジェクト310の形態は内部中空の丸い形態で、例えば、ドーナツ形態であり得る。下位グラフィックオブジェクト320の形態は上位グラフィックオブジェクト310の外部円周に接触し、上位グラフィックオブジェクト310を収容する円形であってもよい。しかし、上位グラフィックオブジェクト310及び下位グラフィックオブジェクトの形態はこれに限定されず、他の例として、下位グラフィックオブジェクトの形態は扇形であってもよく、プロセッサーは対象上位項目311を基準として上位グラフィックオブジェクト310から拡張される方向に扇形の下位グラフィックオブジェクトを出力してもよい。
下位グラフィックオブジェクト320が出力された後、プロセッサーはタッチ移動入力330の感知に応答して、タッチ地点が移動された地点を検出することができる。タッチ地点が移動された地点が下位階層メニューの複数の候補下位項目の中の一つの対象下位項目321に対応する地点である場合、プロセッサーは対象下位項目321を選択することができる。
一実施例によれば、プロセッサーは対象下位項目321が選択された場合に応答して、対象下位項目321に対する情報を半透明に視覚化し、対象下位項目321に対する情報上に階層メニューに関するグラフィックオブジェクトをオーバレイして出力させることができる。対象下位項目321に対する情報は対象下位項目321に係わる動作のプレビュー情報(例えば、プレビューイメージ)であり得る。しかし、対象下位項目321に対する情報はこれに限定されず、使用者が対象下位項目321に係わる動作を実行するために参考することができる多様な情報を含むことができる。例えば、対象下位項目321が「不在着信」の場合、対象下位項目321に対する情報は不在着信リストであり得る。
一実施例によれば、対象下位項目321の下位階層メニューがさらに存在する場合、プロセッサーは下位グラフィックオブジェクト320から拡張される方向に対象下位項目321の下位階層項目を指示するグラフィックオブジェクトを出力することができる。
プロセッサーは下位階層メニューの複数の候補下位項目322の中の一つの対象下位項目321に対応する地点からタッチ地点が解除されるドロップ入力を感知することができる。プロセッサーはドロップ入力が感知される場合に応答して、対象下位項目321に対応する動作を実行することができる。
一実施例によれば、対象下位項目321の下位階層メニューがさらに存在する場合でも、プロセッサーが対象下位項目321に対応するタッチ地点が解除されるドロップ入力を感知する場合、対象下位項目321の下位階層メニューをポップアップさせることができる。ポップアップ動作は、例示的に、対象下位項目321から始めて画面全体まで下位階層メニューに対応するグラフィック表現を拡張しながら視覚化する動作であり得る。
一実施例によれば、プロセッサーは対象下位項目321に対応する動作を実行する前に、動作を実行するか否かに対する使用者の承認を要請するグラフィックオブジェクトを出力させることができる。使用者の承認を要請するグラフィックオブジェクトは使用者に動作を実行するかを問い合わせるグラフィックオブジェクト(例えば、メッセージウィンドウ)を含むことができる。動作を実行するかを問い合わせるグラフィックオブジェクトに対応して、使用者が動作を実行するかを選択するようにするグラフィックオブジェクトが出力されることができる。プロセッサーは動作を実行するか否かに関するタッチ入力を感知する場合、該当の動作を実行するか否かを決めることができる。プロセッサーは使用者から該当の動作の実行に対する承認操作(例えば、承認ボタン活性化)が受信される場合に応答して、該当の動作を実行することができる。プロセッサーは使用者から該当の動作の実行に対する拒絶操作(例えば、拒絶ボタン活性化)が受信される場合に応答して、該当の動作の実行を排除することができる。
他の一実施例によれば、対象下位項目に対応する地点で使用者のドロップ入力が感知された後、所定時間内に対象下位項目に対応する地点でタッチ入力が感知される場合、プロセッサーは対象下位項目に対応する動作を実行することができる。プロセッサーが対象下位項目からドロップ入力が感知される場合に応答して、まさに対象下位項目に対応する動作を実行せず、待機してからもう一度該当の対象下位項目に対するタッチ入力が感知されてこそ動作を実行するので、使用者の意図と違うように動作が実行される誤動作を防止することができる。
一実施例によれば、プロセッサーは下位グラフィックオブジェクト320の項目配列組合を使用者の実行履歴に基づいて決め、決められた項目配列組合を上位階層メニューの中の一つの項目周辺に出力することができる。実行履歴は動作実行頻度、項目選択頻度などであり得、これに限定されず、最近の実行順であり得る。プロセッサーは実行履歴によって、最優先順位の下位候補項目順に対象上位項目周辺に出力させることができる。例示的に、プロセッサーは『A』対象上位項目に対して、最も多く選択または実行された下位候補項目である『A1』を、『A』対象上位項目周辺に隣接して配置させることができる。
図4は一実施例による大型画面で命令メニューの中の一部項目のみ指示するグラフィックオブジェクトを示した。
プロセッサーは下位階層メニューの項目の個数が予め指定された個数よりも多い場合、下位階層メニューの候補下位項目の中の一部項目430を指示するグラフィックオブジェクト410をディスプレー400に出力させることができる。その後、プロセッサーはタッチ入力と区別される使用者入力420に対応して、一部項目430を除いた残り複数の項目の中の少なくとも一部を露出させ、一部項目430の中の少なくとも一部の出力を排除させることができる。
プロセッサーは候補下位項目の中の一部項目430のみグラフィックオブジェクト410に出力させることができる。グラフィックオブジェクト410は複数の候補下位項目をリスト化して並べたグラフィックオブジェクトであり得る。使用者入力420はスクロール入力であり得、スクロール入力は複数の候補下位項目が羅列された方向(例えば、図4では縦方向)に沿ってタッチ地点が移動されるタッチ移動入力であり得る。複数の候補下位項目が羅列された方向に対するタッチ移動入力を感知する場合に応答して、プロセッサーは一部項目430を除いた残りフック数の項目の中の一部を露出させ、これに対応して一部項目430の中の一部の出力を排除させることができる。
図4の例示によれば、プロセッサーは電話番号に係わる候補下位項目の中の一部項目430のみ露出してグラフィックオブジェクト410に出力し、一部項目430を除いた残り項目の出力を排除することができる。複数の候補下位項目が羅列された方向に沿ってグラフィックオブジェクト410の下端から上端を向けるタッチ移動入力が感知される場合に応答して、プロセッサーは残り項目の中の一部を露出させることができる。プロセッサーは、グラフィックオブジェクト410の中で追加露出される一部に対応して、グラフィックオブジェクト410で露出された一部項目430の中の一部の出力を排除することができる。
図5は一実施例によるグラフィックオブジェクトを回転させることを示した。
プロセッサーは階層メニューに関するグラフィックオブジェクト外部領域の少なくとも一地点に対する外部タッチ入力521、522を感知することができる。プロセッサーは外部タッチ入力の移動軌跡530を検出することができる。プロセッサーはグラフィックオブジェクト内部領域510内にタッチ入力520が保持された場合、移動軌跡530に基づいてグラフィックオブジェクトを回転させることができる。
グラフィックオブジェクト外部領域はディスプレーでグラフィックオブジェクトが占めている部分を除いた残り領域であり得る。外部タッチ入力の移動軌跡530は、例えば、曲線で形成されてもよく、プロセッサーは移動軌跡530が時計回り方向であるか或いは半時計回り方向であるかを判別することができる。例示的に、移動軌跡530が時計回り方向に感知された場合、プロセッサーはグラフィックオブジェクトを時計回り方向に回転させることができる。プロセッサーがグラフィックオブジェクトを回転させることにより、下位階層メニューを出力する方向が調整されることができる。したがって使用者は自分の指に遮られた項目をグラフィックオブジェクトの回転を通じて自分の視野内に位置させることができる。また、ディスプレーの余白の活用に役に立つ。参考に、グラフィックオブジェクトが回転される時、プロセッサーは複数の項目に対応する複数のグラフィックオブジェクトを基準地点(例えば、円心)を基準として時計回り方向または半時計回り方向に漸進的に再配置することができる。プロセッサーは各グラフィックオブジェクトの形態を回転させずに保持しながら、位置のみ再配列することができる。
図6は一実施例によるグラフィックオブジェクトを移動させることを示した。
プロセッサーは、階層メニューに関するグラフィックオブジェクト外部領域に少なくとも一地点に対する外部タッチ入力621を感知することができる。プロセッサーは外部タッチ入力621の移動軌跡を検出することができる。プロセッサーはグラフィックオブジェクト内部領域610内にタッチ入力620が保持された場合、移動軌跡630に基づいてグラフィックオブジェクトを移動させることができる。プロセッサーは外部タッチ入力621に基づいて識別された方向630、631にグラフィックオブジェクトの少なくとも一部を移動させることができる。
外部タッチ入力621の移動軌跡が直線に識別される場合に応答して、プロセッサーは外部タッチ入力621のタッチ移動入力方向を検出することができる。プロセッサーはグラフィックオブジェクトの少なくとも一部は外部タッチ入力621に基づいて識別された方向630、631に移動させることができる。グラフィックオブジェクトで移動される少なくとも一部は最上位階層メニューに関するグラフィックオブジェクトを除いたグラフィックオブジェクトであり得るが、これに限定されず、グラフィックオブジェクト全体が移動されることもあり得る。下位階層メニューが出力される方向にこれ以上追加される下位階層メニューが出力されることのできないほどにディスプレーの余白が残っていない場合、使用者の入力によってプロセッサーはグラフィックオブジェクトを移動させて追加される下位階層メニューを出力させることができる。
図7は一実施例による小型画面命令メニュー出力方法の流れ図である。
ステップ(700)からステップ(720)までのタッチ入力が検出された基準地点にグラフィックオブジェクトが出力された後、対象上位項目を選択するステップは、図1のステップ(100)からステップ(120)までのステップを通じて先述したので、詳しい説明は省略する。
ステップ(730)で、プロセッサーは対象上位項目が選択された後タッチ地点が基準地点に戻るタッチ復帰移動入力を検出することができる。基準地点は使用者のディスプレータッチ入力で生成されるタッチ地点に対応する地点であり得る。プロセッサーは対象上位項目を選択した後、タッチ移動入力に対応して感知されるタッチ地点から基準地点に戻るタッチ復帰移動入力を検出することができる。
ステップ(740)で、プロセッサーはタッチ復帰移動入力が検出される場合に応答して、上位階層メニューを指示するグラフィックオブジェクトを対象上位項目に対応する下位階層メニューを指示するグラフィックオブジェクトで取り替えて出力させることができる。上位階層メニューが下位階層メニューで取り替えられることによって、ディスプレーにグラフィックオブジェクトが占める部分が増えないこともあって、大型画面に比べてディスプレーの余白が大きくない小型画面で命令メニューを出力することが容易になり得る。また、小型画面の装置は片手で把持する場合が多いので、タッチ移動入力の動線が大型画面で命令メニューを出力する場合に比べて短いことがある。タッチ復帰移動入力に応答して、下位階層メニューを指示するグラフィックオブジェクトが取り替えられて出力されるので、比較的短いタッチ移動入力の動線で最上位階層メニューから最下位階層メニューまでの命令メニューが出力されることができる。ここで、最上位階層メニュー及び最下位階層メニューは、一実施例による階層メニューの最上位段階及び最下位ステップの階層メニューに対応することができる。
ステップ(750)及びステップ(760)は、図1のステップ(140)及びステップ(150)までのステップを通じて先述したので、詳しい説明は省略する。
図8は一実施例による小型画面で命令メニューを出力する方法を説明するための上位グラフィックオブジェクトを示した。
一実施例による命令メニュー出力方法は小型画面ディスプレーを含む装置800で実施されることができる。小型画面ディスプレーを含む装置800のディスプレーは大型画面ディスプレーに比べて命令メニューに係わるグラフィックオブジェクトを出力することができる部分が小さい可能性がある。小型画面ディスプレーを含む装置800はスマートフォン、タブレットPC、スマート家電器機、インテリジェント自動車、ウエアラブル装置などの多様な形態の製品で具現されることができる。例示的に、実施例はスマートフォンのディスプレーで感知された使用者のタッチ入力に応答して、階層メニューを指示するグラフィックオブジェクトを出力することができる。グラフィックオブジェクトが呼び出された後タッチ復帰移動入力831に応答して、複数の下位階層メニューを指示するグラフィックオブジェクトは複数の上位階層メニューを指示するグラフィックオブジェクトを取り替えながら出力されることができる。しかし、小型画面ディスプレーを含む装置800は前記実施例のみに限定されるのではなく、片手で把持することができるディスプレーを含む装置であってもよい。
使用者によるタッチ入力が感知された場合、小型画面ディスプレーを含む装置800のプロセッサーはタッチ入力が検出された基準地点820を基準として階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクト810を出力させることができる。
一実施例によれば、図8に示されたように、タッチ入力が検出された基準地点820はディスプレーに出力されることができるが、図8は基準地点820を説明するために示されたもので、他の一実施例によれば、基準地点820はディスプレーに出力されないこともあり得る。
タッチ入力が保持される間、プロセッサーは検出された基準地点820からタッチ移動入力830に対応してタッチ地点が移動された地点を検出することができる。図8によれば、タッチ移動入力830に対応してタッチ地点が移動された地点は上位グラフィックオブジェクトの中の一つの項目に位置することができる。
プロセッサーはタッチ地点が上位グラフィックオブジェクトの中の一つの項目に位置する場合、位置された項目が選択されたことと判別することができる。それによって、プロセッサーは上位階層メニューの候補上位項目の中で移動された地点に対応する対象上位項目811を選択することができる。対象上位項目が選択されることはタッチ地点が対象上位項目が指示するグラフィックオブジェクトの臨界比率以上を占めているか否かによって決められることができる。例示的に、プロセッサーによって検出されたタッチ地点が対象上位項目が指示するグラフィックオブジェクトの50%以上になる場合に応答して、プロセッサーは上位項目が選択されたことと判別することができる。
プロセッサーは対象上位項目811が選択された後、タッチ地点が基準地点820に戻るタッチ復帰移動入力831を検出することができる。タッチ復帰移動入力831はタッチ移動入力に対応する方向の入力であり得る。タッチ移動入力の軌跡はタッチ移動入力の移動方向の反対方向に形成されることができるが、これに限定されず、対象上位項目から基準地点までタッチ地点が移動される軌跡を形成することができる。
一実施例によるメニューに係わるグラフィックオブジェクトは扇形であってもよいが、基準地点を基準として放射される円形であってもよい。グラフィックオブジェクトの形態はこれに限定されず、使用者がメニュー項目を選択することができるように構成される形態であり得る。
図9は一実施例による小型画面で命令メニューを出力する方法を説明するための下位グラフィックオブジェクトを示した。
装置900のプロセッサーはタッチ復帰移動入力931が検出される場合に応答して、上位階層メニューを指示するグラフィックオブジェクトを対象上位項目に対応する下位階層メニューを指示するグラフィックオブジェクト910で取り替えて出力させることができる。
一実施例によれば、プロセッサーはタッチ地点が下位階層メニューの複数の候補下位項目の中の一対象下位項目911に対応する地点から解除されるドロップ入力を感知することができる。プロセッサーはドロップ入力が感知される場合に応答して、対象下位項目911に対応する動作を実行することができる。
他の一実施例によれば、対象下位項目911に対応する地点から臨界加速度以上の加速度を有するタッチ移動入力によってタッチ地点が逸脱する場合、プロセッサーは対象下位項目911に対応する動作を実行することができる。例えば、タッチ地点が対象下位項目911から階層メニューのグラフィックオブジェクト910の外部地点に移動された場合に応答して、プロセッサーは対象下位項目911から外部地点までタッチ地点の移動加速度を算出することができる。プロセッサーは対象下位項目911から外部地点までタッチ地点の移動加速度が臨界加速度を超過した場合に応答して、対象下位項目911に対応する動作を実行することができる。タッチ地点が解除されるドロップ入力に応答して動作が実行されることに比べて、加速度を有するタッチ移動入力で動作が実行されることは使用者の意図と違うように動作が実行されることを防止することができる。
プロセッサーは対象下位項目911に対応する動作を実行する前に、動作を実行するか否かに対応して使用者の承認を要請するグラフィックオブジェクトを出力させることができる。他の一実施例によれば、対象下位項目911で使用者のドロップ入力が感知され、また対象下位項目に対応する地点にタッチ入力が感知される場合、プロセッサーは対象下位項目に対応する動作を実行することができる。
他の一実施例によれば、プロセッサーはタッチ移動入力930によって対象下位項目911が選択された後タッチ地点が基準地点920に戻るタッチ復帰移動入力931を検出することができる。タッチ復帰移動入力931が検出された場合に応答して、プロセッサーは下位グラフィックオブジェクト910を対象下位項目911に対応する追加下位階層メニューを指示するグラフィックオブジェクトで取り替えて出力させることができる。
図10は一実施例による小型画面で命令メニューの中の一部項目のみ指示するグラフィックオブジェクトを示した。
装置1000のプロセッサーは下位階層メニューの項目の個数が予め指定された個数よりも多い場合、下位階層メニューの候補下位項目の中の一部項目1020を指示するグラフィックオブジェクト1010をディスプレーに出力させることができる。その後、プロセッサーはタッチ入力と区別される使用者入力に対応して、一部項目1020を除いた残り複数の項目の中の少なくとも一部を露出させ、一部項目1020の中の少なくとも一部の出力を排除させることができる。
プロセッサーは候補下位項目の中の一部項目1020のみグラフィックオブジェクト1010に出力させることができる。グラフィックオブジェクト1010は複数の候補下位項目をリスト化して並べたグラフィックオブジェクトであり得る。使用者入力はタッチ入力及びタッチ復帰移動入力と区別されるスクロールしようとする方向に対応する二度のタッチ往復移動入力1030であり得る。タッチ往復移動入力はタッチ移動入力とタッチ移動方向に対応する方向のタッチ復帰移動入力を含むことができる。一度のタッチ往復移動入力と二度のタッチ往復移動入力1030は一定時間の間感知される往復移動入力の回数によって区別されることができる。スクロールしようとする方向に対応する二度のタッチ往復移動入力1030に応答して、プロセッサーは一部項目1020を除いた残り項目の中の一部を露出させ、これに対応して一部項目1020の中の一部の出力を排除させることができる。
図10の例示によれば、プロセッサーは電話番号に係わる候補下位項目の中の一部項目1020のみリスト化してグラフィックオブジェクト1010に出力させることができる。基準地点から上側方向に対応する二度のタッチ移動入力1030が感知される場合に応答して、プロセッサーは一部項目1020を除いた残り項目の中でグラフィックオブジェクト1010の上端に対応する項目を露出させることができる。グラフィックオブジェクト1010の上端に露出される項目に対応して、グラフィックオブジェクト1010の下端に露出されていた一部項目1020の中の一部は出力が排除されることができる。
図11は一実施例によるタッチ感知部とディスプレーが離れている場合に命令メニューを出力する方法を説明するために示した。
一実施例によれば、使用者の操作を感知する操作感知部はディスプレー1100から物理的に分離されていてもよく、操作感知部とディスプレー1100との間の通信部を通じてタッチ感知部に感知された電気信号がプロセッサーに伝達されることができる。図11で操作感知部は例示的にタッチ感知部1120を含むことができるが、これに限定されるのではない。
タッチ感知部1120が使用者のタッチ入力1130を感知する場合に応答して、プロセッサーはタッチ入力1130が検出されたタッチ地点を指示するディスプレー1100上の部分に操作指示子を出力させることができる。操作指示子はタッチ入力が検出された地点に対応してディスプレー1100に表示されるグラフィックオブジェクトであり得る。
タッチ地点に対応して階層化されたメニューに係わるグラフィックオブジェクト1110を出力し、下位メニューの中で対象下位項目に対応する動作を実行することについては図1~図10を通じて先述したので、詳しい説明は省略する。
図12は一実施例による仮想現実で命令メニューを出力する方法を説明するために示した。
一実施例によれば、使用者の入力を感知する操作感知部とディスプレーとが物理的に分離していてもよく、操作感知部とディスプレーとの間の通信部を通じて操作感知部に感知された電気信号がプロセッサーに伝達されることができる。
操作感知部は使用者の体の一部の動作を感知することができるセンサーで、例えば、指関節動作を感知するセンサーを含むことができる。操作感知部は使用者の指節を曲げたり伸ばすことをセンシングすることができる手袋形態で具現されるセンサーを含むことができる。使用者指節を曲げたり伸ばすことをセンシングすることができるセンサーは手袋の使用者指節に対応する部分に位置することができる。センサーは圧電信号を含み、使用者指節の曲がりによって発生する圧電信号に応答して、指の関節動作を感知することができる。ただこれに限定するのではなくて、センサーは圧力センサーを含み、使用者の指が曲がることによって圧力をセンシングする場合に応答して指が曲げられたか否かを感知することができる。しかし、体の一部の動作は指関節動作の感知に限定されず、目の瞬き、足及び腕の動き及び体の一部の関節動作が含まれることができる。
他の一実施例によれば、操作感知部は使用者の体の部位の動きを感知するセンサーで、手の動きを感知する映像センサーを含むことができる。カメラを含む映像センサーのセンシングデータはプロセッサーに送信されることができ、カメラは使用者の手を撮影することができる。
前記実施例は使用者の手の動きを感知する一実施例に過ぎず、使用者の指が伸びているか否かを感知する方法は前記実施例に限定されず、関節の間の角度や距離、電気抵抗などを測定する着用器機など使用者の手の動きを感知することができる通常の技術者の水準のすべての方法を利用することができる。
ディスプレーは仮想現実を通じて具現される仮想のディスプレーであってもよく、仮想現実は使用者の顔面に接触された仮想現実器機1220がプロセッサーと連結されて具現されることができる。仮想現実器機1220は使用者の視野を制限し、プロセッサーによって仮想現実のディスプレーのみ具現されることができる。仮想現実器機1220は、例えば、使用者の右眼に右眼映像を提供し、使用者の左眼に左眼映像を提供し、右眼映像及び左眼映像は互いに時差(disparity)を有する可能性がある。仮想現実器機1220は上述した左眼映像及び右眼映像を使用者に提供することにより、使用者に立体感のあるコンテンツを視覚化して提供することができる。他の一実施例によれば、仮想現実器機1220は使用者の視野を制限せず、使用者は実際現実に仮想現実がオーバーラップされた画面を見ながら命令項目に関する動作を実行することができる。
プロセッサーは使用者の指が伸ばされた状態1210を感知して、仮想現実のディスプレーで指の一端に対応するタッチ地点を指示する部分に操作指示子とともに階層化された命令メニューの中で上位階層メニューを指示するグラフィックオブジェクト1230を出力させることができる。
プロセッサーは使用者の指が伸ばされた状態1210が保持される間、指の一端に対応するタッチ地点が移動されるタッチ移動入力を感知することができ、タッチ地点が移動されることによって操作指示子が移動された地点を検出することができる。プロセッサーは操作指示子の移動地点検出に応答して、上位階層メニューの中で対象上位項目を選択し、対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを出力させることができる。プロセッサーは下位階層メニューの複数の候補下位項目の中の一つの対象下位項目に対応する地点から使用者の指が曲がった状態1200を感知して、対象下位項目に対応する動作を実行することができる。
図13は一実施例による命令メニューを出力する装置1300の概括的な構成を示したブロック図である。
命令メニューを出力する装置1300は、プロセッサー1310、ディスプレー1320、タッチ感知部1330を含むことができる。プロセッサー1310はタッチ感知部1330が感知したタッチ入力から変換された電気信号を受けることができる。プロセッサー1310は伝達された電気信号に基づいて、タッチ入力が感知されたタッチ地点に対応するディスプレー1320上の地点を探すことができる。プロセッサー1310はディスプレー1320に対応する地点にグラフィックオブジェクトを出力させた後、動作を実行するための一連のプロセスを実行することができる。グラフィックオブジェクトを出力させた後に、動作を実行するプロセスは図1~図12を通じて先述したので、詳しい説明は省略する。参考に、図13でディスプレー1320及びタッチ感知部1330が別途の構成で示されたが、これに限定されるのではない。ディスプレー1320及びタッチ感知部1330は一体的にタッチ感応ディスプレーに具現されることもできる。
一実施例によれば、命令メニューを出力する装置1300は使用者生体情報とマッチングされる登録使用者情報を保存している登録データベースのメモリーをさらに含むことができる。プロセッサー1310はメモリーに保存された登録使用者情報に基づいて、使用者にアクセス権限を許容することができる。
以上で説明された実施例はハードウェア構成要素、ソフトウェア構成要素、及び/またはハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現されることができる。例えば、実施例で説明された装置、方法及び構成要素は、例えば、プロセッサー、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサー(digital signal processor)、マイクロコンピューター、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサー、または命令(instruction)を実行して応答することができる他の何れか装置のように、一つ以上の汎用コンピューターまたは特殊目的コンピューターを利用して具現されることができる。処理装置は運営体制(OS)及び前記運営体制上で実行される一つ以上のソフトウェアアプリケーションを実行することができる。また、処理装置はソフトウェアの実行に応答して、データを接近、保存、操作、処理及び生成することもできる。理解の便宜のために、一つの処理装置を用いることで説明された場合もあるが、当該技術分野における通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/または複数型の処理要素を含むことができることが分かる。例えば、処理装置は複数のプロセッサーまたは一つのプロセッサー及び一つのコントローラを含むことができる。また、並列プロセッサー(parallel processor)のような、他の処理構成(processing configuration)も可能である。
ソフトウェアはコンピュータープログラム(computer program)、コード(code)、命令(instruction)、またはこれらの中の一つ以上の組み合わせを含むことができ、所望の通り動作するように処理装置を構成したり独立的または結合的に(collectively)処理装置を命令することができる。ソフトウェア及び/またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するために、何れの類型の機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピューター記憶媒体または装置、または送信される信号波(signal wave)に永久的に、または一時的に具体化(embody)されることができる。ソフトウェアはネットワークで連結されたコンピューターシステム上に分散されて、分散された方法で保存されたり実行されることもできる。ソフトウェア及びデータは一つ以上のコンピューターで読み取り可能な記録媒体に保存されることができる。
実施例による方法は多様なコンピューター手段を通じて実行されることができるプログラム命令形態で具現されてコンピューターで読み取り可能な媒体に記録されることができる。前記コンピューターで読み取り可能な媒体はプログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。前記媒体に記録されるプログラム命令は実施例のために特別に設計されて構成されたものであるか、コンピューターソフトウェア当業者に公知されて使用可能なものであり得る。コンピューターで読み取り可能な媒体の例にはハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びロム(ROM)、ラム(RAM)、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラーによって作われるのと同じ機械語コードだけでなく、インタプリターなどを用いてコンピューターによって実行されることができる高級言語コードを含む。上記したハードウェア装置は実施例の動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
以上のように、実施例が限定された図面によって説明されたが、当該技術分野における通常の知識を有する者であれば上記に基づいて多様な技術的修正及び変形を適用することができる。例えば、説明された技術が説明された方法と違う順序で実行されるか、及び/または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と違う形態で結合または組み合わせられるか、他の構成要素または均等物によって代替されるか置換されても適切な結果が達成されることができる。
Claims (14)
- プロセッサーによって実行され、使用者の入力によって階層化された命令メニューをディスプレーに出力させる方法において、
前記使用者のタッチ入力を感知する場合に応答して、前記タッチ入力が検出された基準地点に前記階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、
前記使用者のタッチ入力が保持される間、前記タッチ入力が移動されるタッチ移動入力に対応して、前記基準地点から移動されたタッチ地点を検出するステップと、
前記タッチ地点が前記上位階層メニューの候補上位項目の中で対象上位項目を指示する地点に移動される場合に応答して、前記対象上位項目を選択するステップと、
前記対象上位項目が選択された後、前記タッチ地点が前記基準地点に戻るタッチ復帰移動入力を検出するステップと、
前記タッチ復帰移動入力が検出される場合に応答して、前記上位グラフィックオブジェクトを前記対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトで取り替えて出力させるステップと、を含む命令メニュー出力方法。 - 前記下位階層メニューから前記タッチ地点がドロップ入力を感知するステップと、
前記下位階層メニューの複数の候補下位項目の中の一つの対象下位項目に対応する地点で前記ドロップ入力が感知される場合に応答して、前記対象下位項目に対応する動作を実行するステップをさらに含む請求項1に記載の命令メニュー出力方法。 - 対象下位項目に対応する動作を実行するステップは、
前記対象下位項目に対応する動作を実行する前に、前記動作を実行するか否かに対応して使用者の承認を要請するグラフィックオブジェクトを出力させるステップを含む請求項2に記載の命令メニュー出力方法。 - 前記使用者のタッチ入力に応答して前記使用者の生体情報を獲得するステップと、
登録データベースから前記生体情報と登録使用者情報をマッチングするステップと、
前記マッチングが成功した場合に応答して、前記使用者にアプリケーション、装置、及びメニューの中の少なくとも一つに対するアクセス権限を許容するステップと、
前記許容されたアクセス権限に基づいて上位グラフィックオブジェクト及び下位グラフィックオブジェクトの中の少なくとも一つを出力させるステップと、
をさらに含む請求項1に記載の命令メニュー出力方法。 - 前記ドロップ入力を感知するステップは、
前記下位階層メニューの候補下位項目の中で移動された地点に対応する対象下位項目を選択するステップと、
前記対象下位項目に対する情報を半透明に視覚化して、前記対象下位項目に対する情報上に前記階層メニューに関するグラフィックオブジェクトをオーバレイして出力させるステップと、をさらに含む請求項2に記載の命令メニュー出力方法。 - 前記階層メニューに関するグラフィックオブジェクト外部領域で少なくとも一地点に対する外部タッチ入力を感知するステップと、
前記外部タッチ入力の移動軌跡を検出するステップと、
前記階層メニューに関するグラフィックオブジェクト内部領域内で前記タッチ入力が保持された場合、前記移動軌跡に基づいて前記グラフィックオブジェクトを回転させるステップと、をさらに含む請求項1に記載の命令メニュー出力方法。 - 前記グラフィックオブジェクト内部領域内に前記タッチ入力が保持された場合、前記階層メニューに関するグラフィックオブジェクト外部領域に少なくとも一地点に対する外部タッチ入力を感知するステップと、
前記外部タッチ入力の移動軌跡を検出するステップと、
前記外部タッチ入力に基づいて識別された方向に前記グラフィックオブジェクトの少なくとも一部を移動させるステップと、をさらに含む請求項1に記載の命令メニュー出力方法。 - 前記下位階層メニューの項目の個数が予め指定された個数よりも多い場合、前記下位階層メニューの前記候補下位項目の中の一部項目を指示するグラフィックオブジェクトをディスプレーに出力させ、
前記タッチ入力と区別される使用者入力に対応して、前記一部項目を除いた残り複数の項目の中の少なくとも一部を露出させ、前記一部項目の中の少なくとも一部の出力を排除させる、請求項1に記載の命令メニュー出力方法。 - 前記下位グラフィックオブジェクトの項目配列組合は使用者の実行履歴に基づいて出力される、請求項1に記載の命令メニュー出力方法。
- プロセッサーによって実行され、階層化された命令メニューをディスプレーに出力させる方法において、
使用者のタッチ入力が感知される場合に応答して、前記タッチ入力が検出されたタッチ地点に前記命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、
前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記タッチ地点が移動された地点を検出するステップと、
前記上位階層メニューの候補上位項目の中で前記移動された地点に対応する対象上位項目を選択するステップと、
前記選択された対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させるステップと、
前記対象上位項目からのタッチ移動入力によって前記下位階層メニューの複数の候補下位項目の中で対象下位項目を選択するステップと、
前記対象下位項目に次の下位階層メニューがマッピングされた場合、前記次の下位階層項目を指示するグラフィックオブジェクトを出力するステップと、
前記対象下位項目及び前記次の下位階層項目の中の一つに対応する地点でドロップ入力が感知される場合に応答して、前記対象下位項目及び前記次の下位階層項目の中の一つに対応する動作を実行するステップと、を含む命令メニュー出力方法。 - プロセッサーによって実行され、使用者の入力によって階層化された命令メニューをディスプレーに出力させる方法において、
操作感知部が前記使用者のタッチ入力を感知する場合に応答して、前記ディスプレーで前記タッチ入力が検出されたタッチ地点を指示する部分に操作指示子を出力させるステップと、
前記操作指示子に基づいて前記ディスプレーに前記階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させるステップと、
前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記操作指示子が移動された地点を検出するステップと、
前記上位階層メニューの候補上位項目の中で前記操作指示子が移動された地点に対応する対象上位項目を選択するステップと、
前記対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させるステップと、
前記対象上位項目からのタッチ移動入力によって前記下位階層メニューの複数の候補下位項目の中で対象下位項目を選択するステップと、
前記対象下位項目に次の下位階層メニューがマッピングされた場合、前記次の下位階層項目を指示するグラフィックオブジェクトを出力するステップと、
前記タッチ地点が前記対象下位項目及び前記次の下位階層項目の中の一つに対応する地点から解除されるドロップ入力を感知するステップと、
前記ドロップ入力が感知される場合に応答して、前記対象下位項目及び前記次の下位階層項目の中の一つに対応する動作を実行するステップと、を含む命令メニュー出力方法。 - プロセッサーを含む命令メニュー出力装置において、
前記プロセッサーは:
使用者のタッチ入力を感知する場合に応答して、前記タッチ入力が検出されたタッチ地点に階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させ、
前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記タッチ地点が移動された地点を検出し、前記上位階層メニューの候補上位項目の中で前記移動された地点に対応する対象上位項目を選択し、
前記選択された対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させ、
前記対象上位項目からのタッチ移動入力によって前記下位階層メニューの複数の候補下位項目の中で対象下位項目を選択し、
前記対象下位項目に次の下位階層メニューがマッピングされた場合、前記次の下位階層項目を指示するグラフィックオブジェクトを出力し、
前記対象下位項目及び前記次の下位階層項目の中の一つに対応する地点でドロップ入力が感知される場合に応答して、前記対象下位項目及び前記次の下位階層項目の中の一つに対応する動作を実行する、命令メニュー出力装置。 - プロセッサーを含む命令メニュー出力装置において、
前記プロセッサーは、
使用者のタッチ入力を感知する場合に応答して、前記タッチ入力が検出された基準地点に階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させ、
前記使用者のタッチ入力が保持される間、前記タッチ入力が移動されるタッチ移動入力に対応して、前記基準地点から移動されたタッチ地点を検出し、
前記タッチ地点が前記上位階層メニューの候補上位項目の中で対象上位項目を指示する地点に移動される場合に応答して、前記対象上位項目を選択し、
前記対象上位項目が選択された後前記タッチ地点が前記基準地点に戻るタッチ復帰移動入力を検出し、
前記タッチ復帰移動入力が検出される場合に応答して、前記上位階層メニューを指示するグラフィックオブジェクトを前記対象上位項目に対応する下位階層メニューを指示するグラフィックオブジェクトで取り替えて出力させる、命令メニュー出力装置。 - プロセッサーを含む命令メニュー出力装置において、
前記プロセッサーは:
操作感知部が使用者のタッチ入力を感知する場合に応答して、ディスプレーで前記タッチ入力が検出されたタッチ地点を指示する部分に操作指示子を出力させ、
前記操作指示子に基づいて前記ディスプレーに階層化された命令メニューの中で上位階層メニューを指示する上位グラフィックオブジェクトを出力させ、
前記使用者のタッチ入力が保持される間、前記タッチ地点が移動されるタッチ移動入力に対応して、前記操作指示子が移動された地点を検出し、前記上位階層メニューの候補上位項目の中で前記操作指示子が移動された地点に対応する対象上位項目を選択し、
前記対象上位項目に対応する下位階層メニューを指示する下位グラフィックオブジェクトを前記上位グラフィックオブジェクトから拡張しながら出力させ、前記対象上位項目からのタッチ移動入力によって前記下位階層メニューの複数の候補下位項目の中で対象下位項目を選択し、
前記対象下位項目に次の下位階層メニューがマッピングされた場合、前記次の下位階層項目を指示するグラフィックオブジェクトを出力し、
前記タッチ地点が対象下位項目及び前記次の下位階層項目の中の一つに対応する地点から解除されるドロップ入力を感知し、
前記ドロップ入力が感知される場合に応答して、前記対象下位項目及び前記次の下位階層項目の中の一つに対応する動作を実行する、命令メニュー出力装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0041341 | 2019-04-09 | ||
KR20190041341 | 2019-04-09 | ||
KR10-2019-0083089 | 2019-07-10 | ||
KR1020190083089A KR102086578B1 (ko) | 2019-04-09 | 2019-07-10 | 명령 메뉴 출력 방법 |
PCT/KR2020/003877 WO2020209520A1 (ko) | 2019-04-09 | 2020-03-20 | 명령 메뉴 출력 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022528771A true JP2022528771A (ja) | 2022-06-15 |
Family
ID=70911958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021560642A Pending JP2022528771A (ja) | 2019-04-09 | 2020-03-20 | 命令メニュー出力方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11513662B2 (ja) |
EP (1) | EP3955100A4 (ja) |
JP (1) | JP2022528771A (ja) |
KR (1) | KR102086578B1 (ja) |
CN (1) | CN113678097A (ja) |
WO (1) | WO2020209520A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114780195B (zh) * | 2022-04-29 | 2024-02-13 | 济南浪潮数据技术有限公司 | 一种操作可视化方法、装置、设备及存储介质 |
GB202209690D0 (en) * | 2022-07-01 | 2022-08-17 | Kasekende Wilfred | Menu navigation arrangement |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0201074D0 (en) * | 2002-01-18 | 2002-03-06 | 3G Lab Ltd | Graphic user interface for data processing device |
EP1510911A3 (en) | 2003-08-28 | 2006-03-22 | Sony Corporation | Information processing apparatus, information processing method, information processing program and storage medium containing information processing program |
JP2006139615A (ja) * | 2004-11-12 | 2006-06-01 | Access Co Ltd | 表示装置、メニュー表示プログラムおよびタブ表示プログラム |
US7509348B2 (en) * | 2006-08-31 | 2009-03-24 | Microsoft Corporation | Radially expanding and context-dependent navigation dial |
KR100973354B1 (ko) * | 2008-01-11 | 2010-07-30 | 성균관대학교산학협력단 | 메뉴 유저 인터페이스 제공 장치 및 방법 |
WO2009158549A2 (en) * | 2008-06-28 | 2009-12-30 | Apple Inc. | Radial menu selection |
JP4632102B2 (ja) * | 2008-07-17 | 2011-02-16 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
KR101004463B1 (ko) | 2008-12-09 | 2010-12-31 | 성균관대학교산학협력단 | 터치 스크린의 드래그를 이용한 메뉴 선택을 지원하는 휴대용 단말 및 그 제어 방법 |
US20100185985A1 (en) * | 2009-01-19 | 2010-07-22 | International Business Machines Corporation | Managing radial menus in a computer system |
US8375329B2 (en) * | 2009-09-01 | 2013-02-12 | Maxon Computer Gmbh | Method of providing a graphical user interface using a concentric menu |
JP2011107823A (ja) * | 2009-11-13 | 2011-06-02 | Canon Inc | 表示制御装置及び表示制御方法 |
US20130014053A1 (en) * | 2011-07-07 | 2013-01-10 | Microsoft Corporation | Menu Gestures |
US8707211B2 (en) * | 2011-10-21 | 2014-04-22 | Hewlett-Packard Development Company, L.P. | Radial graphical user interface |
US9875023B2 (en) * | 2011-11-23 | 2018-01-23 | Microsoft Technology Licensing, Llc | Dial-based user interfaces |
CN102541445A (zh) * | 2011-12-08 | 2012-07-04 | 华为技术有限公司 | 交互方法及交互设备 |
KR102073601B1 (ko) * | 2012-07-25 | 2020-02-06 | 삼성전자주식회사 | 사용자 단말 장치 및 그의 제어 방법 |
KR102085225B1 (ko) * | 2012-12-05 | 2020-03-05 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
CN104838352B (zh) * | 2012-12-07 | 2018-05-08 | 优特设备有限公司 | 在多表面装置中的动作初始化 |
KR102107810B1 (ko) * | 2013-03-19 | 2020-05-28 | 삼성전자주식회사 | 디스플레이 장치 및 그의 액티비티에 대한 정보 디스플레이 방법 |
US10037130B2 (en) * | 2013-09-13 | 2018-07-31 | Samsung Electronics Co., Ltd. | Display apparatus and method for improving visibility of the same |
KR101529886B1 (ko) | 2013-11-06 | 2015-06-18 | 김소훈 | 제스처 기반 3d 그래픽 사용자 인터페이스 제공방법 |
CN105900055A (zh) * | 2013-11-28 | 2016-08-24 | 三星电子株式会社 | 用于组织电子设备上的多个项目的方法和设备 |
KR20160038413A (ko) | 2014-09-30 | 2016-04-07 | 삼성전자주식회사 | 콘텐츠 탐색 장치 및 콘텐츠 탐색 방법 |
TWI530886B (zh) * | 2015-01-29 | 2016-04-21 | 茂丞科技股份有限公司 | 具有操作於向量模式下的指紋感測器的電子設備 |
KR20160128739A (ko) * | 2015-04-29 | 2016-11-08 | 삼성전자주식회사 | 디스플레이 장치 및 그의 유저 인터페이스 제공 방법 |
KR20170040706A (ko) * | 2015-10-05 | 2017-04-13 | 삼성전자주식회사 | 한 손 조작 ui를 제공하는 전자 장치 및 방법 |
CN106648330B (zh) * | 2016-10-12 | 2019-12-17 | 广州视源电子科技股份有限公司 | 人机交互的方法及装置 |
EP3385831A1 (en) * | 2017-04-04 | 2018-10-10 | Lg Electronics Inc. | Mobile terminal |
CN108399042B (zh) * | 2018-01-31 | 2020-09-01 | 歌尔科技有限公司 | 一种触控识别方法、装置和系统 |
-
2019
- 2019-07-10 KR KR1020190083089A patent/KR102086578B1/ko active
-
2020
- 2020-03-20 US US17/602,978 patent/US11513662B2/en active Active
- 2020-03-20 WO PCT/KR2020/003877 patent/WO2020209520A1/ko unknown
- 2020-03-20 JP JP2021560642A patent/JP2022528771A/ja active Pending
- 2020-03-20 CN CN202080027268.8A patent/CN113678097A/zh active Pending
- 2020-03-20 EP EP20787642.6A patent/EP3955100A4/en not_active Withdrawn
-
2022
- 2022-10-21 US US17/971,083 patent/US20230043168A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US11513662B2 (en) | 2022-11-29 |
WO2020209520A1 (ko) | 2020-10-15 |
US20230043168A1 (en) | 2023-02-09 |
KR102086578B1 (ko) | 2020-05-29 |
CN113678097A (zh) | 2021-11-19 |
US20220113848A1 (en) | 2022-04-14 |
EP3955100A4 (en) | 2023-01-25 |
EP3955100A1 (en) | 2022-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3461291B1 (en) | Implementation of a biometric enrollment user interface | |
EP3086200B1 (en) | Electronic device including rotary member and display method thereof | |
CN104054043B (zh) | 可更换皮肤的触摸设备抓握模式 | |
US10013143B2 (en) | Interfacing with a computing application using a multi-digit sensor | |
KR102297330B1 (ko) | 화면 제어 방법 및 그 방법을 처리하는 전자 장치 | |
US20130246955A1 (en) | Visual feedback for highlight-driven gesture user interfaces | |
US20230043168A1 (en) | Method for outputting command method | |
JP7233109B2 (ja) | タッチ感知面-ディスプレイによる入力方法、電子装置、触覚-視覚技術による入力制御方法及びシステム | |
CN104182169A (zh) | 用于基于手势的用户界面的方法和设备 | |
JP2005196740A (ja) | 競合を解決するグラフィックマルチユーザインタフェース及びグラフィックマルチユーザインタフェースの競合を解決する方法 | |
JP2012527673A (ja) | 可変の選択可能な項目領域を有するラジアル・メニュー | |
TW201224850A (en) | Gesture recognition | |
US20140218315A1 (en) | Gesture input distinguishing method and apparatus in touch input device | |
WO2014034031A1 (ja) | 情報入力装置及び情報表示方法 | |
WO2016050086A1 (en) | Interaction method for user interfaces | |
CN106796810A (zh) | 在用户界面上从视频选择帧 | |
US20170131785A1 (en) | Method and apparatus for providing interface interacting with user by means of nui device | |
CN103098008B (zh) | 信息处理装置、信息处理装置的控制方法 | |
US9563804B2 (en) | Display device and method for controlling the same | |
US10564762B2 (en) | Electronic apparatus and control method thereof | |
KR102265143B1 (ko) | 입력 처리 장치 및 방법 | |
JP6910376B2 (ja) | アプリケーションプログラムのデータ処理方法及びデバイス | |
TW201617793A (zh) | 穿戴式裝置及其操作方法 | |
JP2016018252A (ja) | 情報処理装置及び情報処理方法及びプログラム | |
WO2015167531A2 (en) | Cursor grip |