CN113678097A - 命令菜单输出方法 - Google Patents

命令菜单输出方法 Download PDF

Info

Publication number
CN113678097A
CN113678097A CN202080027268.8A CN202080027268A CN113678097A CN 113678097 A CN113678097 A CN 113678097A CN 202080027268 A CN202080027268 A CN 202080027268A CN 113678097 A CN113678097 A CN 113678097A
Authority
CN
China
Prior art keywords
menu
touch
input
item
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080027268.8A
Other languages
English (en)
Other versions
CN113678097B (zh
Inventor
金孝俊
徐知惠
金惠仁
金睿仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN113678097A publication Critical patent/CN113678097A/zh
Application granted granted Critical
Publication of CN113678097B publication Critical patent/CN113678097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种由处理器执行，并根据用户的输入将分层的命令菜单输出到显示器的方法的发明。

Description

命令菜单输出方法
技术领域
以下，提供一种通过识别触摸输入和触摸释放来输出及执行命令菜单的方法的技术。
背景技术
作为通过使用触摸输入来执行命令的电子设备，寻找并执行期望命令的过程伴随着多个触摸输入及触摸输入的释放。因此，命令菜单的输出和执行过程比较复杂，需要很多过程来处理命令。
此外，在用户通过指纹或面部识别将电子设备从省电模式唤醒后，执行命令的过程需要额外的施加触摸输入的操作。
发明内容
要解决的技术问题
本发明是鉴于所述诸多问题而提出的，其目的在于，提供一种
技术方案
为了实现所述目的，本发明的命令菜单输出方法，包括：响应于检测到所述用户的触摸输入，在检测到所述触摸输入的参考点处输出指示所述分级的命令菜单中的上层菜单的上层图形对象的步骤；响应于在保持所述用户的触摸输入的同时所述触摸输入移动到的触摸移动输入，检测从所述参考点移动的触摸点的步骤；当所述触摸点移动到所述上层菜单的候选高阶项目中指示目标高阶项目的点时，响应地选择所述目标高阶项目的步骤；将用于指示与被选择的所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出的步骤；所述触摸点通过所述下层菜单检测下拉输入的步骤；以及响应于在所述下层菜单的候选下阶项目中的一个目标下阶项目对应的点处检测到所述下拉输入时，执行对应于所述目标下阶项目的操作的步骤。
执行目标下阶项目对应的操作的步骤包括：在执行所述目标下阶项目对应的操作之前，响应是否执行所述操作，输出请求用户批准的图形对象的步骤。
进一步包括：响应所述用户的触摸输入获取所述用户的生物特征信息的步骤；从注册数据库中匹配所述生物特征信息和注册用户信息的步骤；响应于所述匹配成功，所述用户被允许授权访问应用程序、设备及菜单中的至少一个的步骤；根据所述允许的访问授权输出所述上层图形对象及下层图形对象中的至少一个的步骤。
用于检测所述下拉输入的步骤进一步包括：从所述下层菜单的候选下阶项目中选择与移动的点对应的目标下阶项目的步骤；以及半透明地可视化所述目标下阶项目的信息，在所述目标下阶项目的信息上叠加并输出与所述层级菜单相关的图形对象的步骤。
进一步包括：用于检测涉及所述层级菜单的图形对象外部区域中至少一个点的外部触摸输入的步骤；用于检测所述外部触摸输入的移动轨迹的步骤；以及当所述触摸输入保持在所述层级菜单的图形对象的区域内时，根据所述移动轨迹旋转所述图形对象的步骤。
进一步包括：当所述触摸输入保持在所述图形对象内部区域内时，检测针对所述层级菜单的图形对象外部区域中的至少一个点的外部触摸输入的步骤；检测所述外部触摸输入的移动轨迹的步骤；以及在基于所述外部触摸输入识别的方向上移动所述图形对象的至少一部分的步骤；
当所述下层菜单中的项目数量大于预定数量时，将指示所述下层菜单中的所述候选下阶项目一部分项目的图形对象输出到显示器，响应于不同于所述触摸输入的用户输入，除了所述一部分项目之外的剩余项目中的至少一部分被暴露，并且所述一部分项目中的至少一部分的输出被排除。
在命令菜单输出方法中，所述下层图形对象的项目排列组合可以基于用户的执行历史输出到所述上层菜单之一的项目周边。
响应于检测到所述用户的触摸输入，在检测到所述触摸输入的触摸点处输出指示所述命令菜单中的上层菜单的上层图形对象的步骤；响应于在保持所述用户的触摸输入的同时所述触摸点移动到的触摸移动输入，所述触摸点检测移动的点的步骤；当所述触摸点移动到所述上层菜单的候选高阶项目中指示目标高阶项目的点时，响应地选择所述目标高阶项目的步骤；在选择所述目标高阶项目后检测所述触摸点返回所述参考点的触摸返回移动输入的步骤；响应于检测到所述触摸返回移动输入，将指示所述上层菜单的上层图形对象替换为指示所述目标高阶项目对应的下层菜单的下层图形对象并输出的步骤。
操纵感测单元响应于检测到所述用户的触摸输入，在所述显示器上指示检测到所述触摸输入的触摸点处输出操作指示符的步骤；基于所述操作指示符在所述显示器上的所述分层的命令菜单中输出指示上层菜单的上层图形对象的步骤；响应于在保持所述用户的触摸输入的同时所述触摸点移动到的触摸移动输入，所述操作指示符检测移动的点的步骤；从所述上层菜单的候选高阶项目中选择所述操作指示符移动的点对应的目标高阶项目的步骤；将用于指示与所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出的步骤；所述触摸点检测从所述下层菜单的候选下阶项目中的目标下阶项目对应的点释放的下拉输入的步骤；以及响应于检测到所述下拉输入，执行对应于所述目标下阶项目的操作的步骤。
附图说明
图1是根据一实施例的大屏幕命令菜单输出方法的流程图。
图2示出根据一实施例的用于在大屏幕上输出命令菜单的方法的上层图形对象的图。
图3示出根据一实施例的用于在大屏幕上输出命令菜单的方法的子图形对象的图。
图4示出根据一实施例的在大屏幕上仅指示命令菜单的一部分项目的图形对象的图。
图5示出根据一实施例的旋转图形对象的图。
图6示出根据一实施例的移动图形对象的图。
图7是根据一实施例的用于输出小屏幕命令菜单的方法的流程图。
图8是示出根据一实施例的用于说明在小屏幕上输出命令菜单的方法的上层图形对象的示图。
图9是示出根据一实施例的用于说明在小屏幕上输出命令菜单的方法的子图形对象的图。
图10是示出根据示例性实施例的在小屏幕上仅指示命令菜单的一部分项目的图形对象的图。
图11是示出根据示例性实施例的当触摸感测单元和显示器彼此分离时输出命令菜单的方法的图。
图12是用于说明根据实施例的在虚拟现实中输出命令菜单的方法的示图。
图13是示出根据实施例的用于输出命令菜单的设备的一般结构的框图。
具体实施方式
公开实施例的具体结构或功能描述仅用于说明的目的，可以以各种形式改变和实施。因此，实施例不限于具体的公开形式，并且本说明书的范围包括技术思想中所包括的改变、等同物或替代物。
尽管诸如第一或第二之类的术语可用于描述各种元素，但这些术语应仅被解释为将一个元素与另一个元素区分开的目的。例如，第一组件可以被称为第二组件，类似地，第二组件也可以被称为第一组件。
言及到某一构成要素“连接”于另一构成要素时，应理解为可以直接连接或接续于该另一构成要素，但是，也可以理解为中间具有其他构成要素。
说明书中，单数的表达方式应理解为包含复数的表达方式。在本发明中，“包含”或者“具有”等用语用来指定本说明书中所记载的特征、数字、步骤、动作、构成要素、构件或者该些组合，其并不排除一个或一个以上的其他特征、数字、步骤、动作、构成要素、构件或者该些组合的存在或者其附加功能。
在没有特别定义时，包括技术或科学用语在内的本说明书中所使用的所有用语对属于本发明的技术领域的技术人员来说是自明的。通常所使用的、词典上所定义的用语应解释为其含义与相关技术的含义一致，在本说明书中未明确地定义者，不得以理想化或者过渡形式性的意思进行解释。以下，参照附图详细说明根据本发明的优选实施例，参照附图进行说明时，与图示符号无关，对相同或对应的构成要素标注相同的符号，并省略重复的说明。
响应于检测到用户的触摸输入，根据实施例的处理器唤醒处于睡眠模式和断电状态的设备，或者调用命令菜单以在已经开启的设备中执行命令。用户的触摸输入可以包括但不限于设备检测到用户身体部位的触摸的情况，并且可以包括输入设备通过输入设备感测到用户的身体部位触摸的情况。例如，输入设备可以是鼠标或安装在显示器上的传感器，并且可以响应于当鼠标或传感器检测到用户的触摸输入时将电信号传输到处理器。
图1是根据一示例性实施例示出的大屏命令菜单输出方法的流程图。
在步骤100中，响应于用户的触摸输入被感测到，处理器可以在检测到触摸输入的触摸点处输出指示分级命令菜单中的上层菜单的上层图形对象。
层级菜单可以是由至少两个层级组成的一组菜单。上层菜单和下层菜单可以根据层级来相对确定。例如，当层级菜单由三个层级组成时，层级菜单可以从最高层级到最低层级的菜单依次为第一层级菜单、第二层级菜单和第三层级菜单。由于第一层级菜单高于第二层级菜单，因此在第一层级菜单和第二层级菜单之间，第一层级菜单可以是较高层级菜单，而第二层级菜单可以是较低层级菜单。另一方面，由于第二层级菜单高于第三层级菜单，因此在第二层级菜单和第三层级菜单之间，第二层级菜单可以是较高层级菜单，而第三层级菜单可以是较低层级菜单。
在步骤110，处理器可以响应于在保持用户的触摸输入的同时触摸点被移动到的触摸移动输入来检测触摸点被移动到的点。
触摸移动输入可以指示感测到触摸输入的点被移动的输入。例如，触摸移动输入可以是在保持触摸输入的同时拖动触摸点的输入。
在步骤120，处理器可以从上层菜单的候选高阶项目中选择与移动的触摸点对应的目标高阶项目。层级菜单可以包括多个候选项目，并且目标项目可以是通过从候选项目中输入的触摸移动选择的项目。例如，当触摸点进入指示任何候选项目的项目图形对象时，处理器可以响应于选择相应项目作为目标项目。处理器可以响应于在项目图形对象中感测到形成触摸的区域之中的特定比例以上的区域的情况，确定触摸点已经进入项目图形对象。
上层菜单可以包括至少一个高阶项目，下层菜单可以映射到至少一个高阶项目中的每一个。此外，下层菜单可以包括至少下阶项目。供参考，在下面的图2、3、5及6中，每个上层菜单及每个下层菜单中包含的项目数都显示为8，但不限于此，可以根据设计而有所不同。
在步骤130，处理器可以在从指示上层菜单的上层图形对象延伸的同时输出指示与选择的上层项目相对应的下层菜单的下层图形对象。例如，处理器可以输出具有在从上层图形对象向外的方向上围绕上层图形对象的外边界的形状的下层图形对象。然而，本发明不限于此，处理器可以以覆盖上层图形对象的外边界的一部分的形式输出下层图形对象。在这种情况下，处理器可以在与触摸移动输入的方向对应的方向上扩展下层图形对象。因此，当处理器从上层图形对象扩展下层图形对象时，触摸移动输入可以一致地指向一个方向。
在步骤140，处理器可以检测从下层菜单释放触摸点的下拉输入。下拉输入是释放触摸点的输入，并且可以指示用于在任意点终止触摸输入的输入。
在步骤150中，处理器可以响应于检测到在对应于下层菜单的候选下阶项目中的一个目标项目的点处的下拉输入而执行对应于目标下阶项目的操作。目标下阶项目可以是通过触摸移动输入从下阶候选项中选择的项。下阶项目对应的操作是存储器预先存储的操作，例如，可以为每个下阶项目分配如运行应用程序、显示预览及执行设备的功能的各种动作。预先存储操作的存储器可以包括在包括处理器的设备中，但不限于此，并且包括在外部云设备中，处理器可以与外部云设备通信以接收操作。例如，当“应用程序A的执行”被分配给选择的目标选择项目时，处理器可以通过从存储器加载与“应用程序A的执行”相关的操作进程来执行应用程序A。
图1仅示出由上层菜单及下层菜单组成的图形对象，但不限于此，命令菜单输出方法可以包括输出指示三层或更多层级菜单的图形对象以执行命令操作。
根据实施例的命令菜单输出设备可以在认证用户的同时根据权限提供命令菜单。
例如，处理器可以响应于用户的触摸输入来获取用户的生物特征信息。
用户的生物特征信息可以是与用户指纹相关的数据。与用户指纹相关的数据可以包括指纹的图案和指纹曲线之间的间隔。根据实施例，与用户指纹相关的数据可以包括指纹曲线之间的间隔相对于时间的变化率。若指纹曲线之间的间隔相对于时间的变化率没有变化，则处理器可以确定用户的手指没有移动。另一方面，当指纹曲线之间的间隔变化率等于或大于阈值时，处理器可以确定触摸输入不稳定并且跳过用户生物信息和注册用户信息之间的匹配操作。
处理器可以将用户的生物特征信息与注册的用户信息进行匹配。处理器可以匹配与来自注册数据库的生物计量信息相匹配的注册用户信息。注册数据库可以存储在与处理器互锁的存储器中，并且注册数据库可以包括关于多个用户的用户信息(例如，关于每个用户的注册指纹的信息)。当与多个用户相关的注册用户信息存储在注册数据库中时，处理器可以计算多个注册用户信息与用户生物特征信息之间的匹配相似度。处理器可以响应于针对任意注册用户信息计算的匹配相似度超过阈值相似度的情况，确定用户生物特征信息与注册用户信息匹配。若在多个注册用户信息中存在匹配用户生物特征信息的信息，则处理器可以确定匹配成功。
响应于成功匹配，处理器可以允许用户访问应用、设备和菜单中的至少一个。根据实施例，对于应用、设备及菜单中的至少一个的访问权限可以针对每个用户被单独设置不同。注册用户信息可以包括关于允许注册用户的访问权限的信息，例如可以存储关于注册用户可以访问的应用、设备及菜单的信息。若匹配成功，则处理器可以在从存储器加载匹配的注册用户信息的同时识别允许匹配用户使用的应用程序、设备及菜单。例如，若第一用户是未成年人，则处理器可以加载关于第一用户可以访问的应用程序、设备及菜单的存储信息。由于第一用户是未成年人，因此第一用户可以访问的应用程序、设备及菜单可能受到限制。
处理器可以基于允许的访问权限输出上层图形对象及下层图形对象中的至少一个。例如，处理器可以输出由指示允许任意用户访问的操作的项目组成的层级菜单(例如，上层菜单或下层菜单)的图形对象。响应于未授权用户的访问尝试，处理器可以输出访客模式的层级菜单。
图2是示出根据示例性实施例的用于说明在大屏幕上输出命令菜单的方法的上层图形对象的示图。
根据实施例的命令菜单输出方法可以在包括大屏幕显示器的设备200中实现。在包括大屏幕显示器的设备200中，能够输出与命令菜单相关的图形对象的部分可能相对较宽。包括大屏幕显示器的设备200可以实现为各种类型的产品，例如电视、个人计算机、膝上型计算机、智能汽车及信息亭。
例如，实施例可以响应于在TV的显示器上感测到的用户触摸输入来输出指示层级菜单的图形对象。在图形对象被调用后，响应于触摸移动输入，指示下层菜单的图形对象可以向大屏幕显示器的空白空间输出。然而，包括大屏幕显示器的设备200不限于上述实施例，可以包括包括难以用一只手握住的显示器的设备。
当检测到用户的触摸输入时，包括大屏幕显示器的设备200的处理器可以基于检测到触摸输入的触摸点220输出指示分层命令菜单中的上层菜单的上图形对象210。
根据实施例，如图2所示，检测到触摸输入的触摸点220可以输出到显示器。然而，为了便于说明，图2示出触摸点220，可以不将触摸点220输出到显示器。
在保持触摸输入的同时，处理器可以响应于来自检测到的触摸点220的触摸移动输入230来检测触摸点被移动到的点。参照图2，触摸点响应于触摸移动输入230而移动到的点可以位于上层图形对象之中的一个项目中。
当触摸点位于上层图形对象之一上时，处理器可以确定相应的项目被选中。因此，处理器可以从上层菜单的候选高阶项目中选择与移动的点相对应的目标高阶项目211。例如，处理器可以根据触摸面积是否占据目标高阶项目211对应的图形对象的阈值比例来选择目标高阶项目211。例如，响应于检测到的显示器上的触摸区域占据目标高阶项目211所指示的图形对象的50％以上的情况，处理器可以选择目标高阶项目211。
图3是示出根据示例性实施例的用于说明在大屏幕上输出命令菜单的方法的下层图形对象的示图。
设备300的处理器可以在从上层图形对象310扩展的同时输出指示与所选择的高阶项目相对应的下层菜单的下层图形对象320。
如图3所示，上层图形对象310的形状为圆形，内部为空，例如可以是甜甜圈形状。下层图形对象320的形状可以是接触上层图形对象310的外圆周并容纳上层图形对象310的圆形。然而，上层图形对象310及下层图形对象的形状不限于此，例如，下层图形对象的形式可以是扇形，处理器基于目标高阶项目311在从上层图形对象310延伸的方向上输出扇形下层图形对象。
在输出下层图形对象320之后，处理器可以响应于感测到触摸移动输入330来检测触摸点移动到的点。当触摸点移动到的点对应于下层菜单的候选下阶项目之一的目标下阶项目321时，处理器可以选择目标下阶项目321。
根据一实施例，响应于目标下阶项目321被选中，处理器将目标下阶项目321的信息可以被半透明地可视化，并且与层级菜单相关的图形对象可以叠加在关于目标下阶项目321的信息上以被输出。关于目标下阶项目321的信息可以是与目标下阶项目321相关的操作的预览信息(例如，预览图像)。然而，关于目标下阶项目321的信息不限于此，可以包括用户为了执行与目标下阶项目321相关的操作而可以参考的各种信息。例如，当目标下阶项目321为“未接来电”时，目标下阶项目321的信息可以为未接来电列表。
根据实施例，当目标下阶项目321的下层菜单还存在时，处理器可以在从下层图形对象320延伸的方向上输出指示目标下阶项目321的下层项目的图形对象。
处理器可以检测从与下层菜单的候选下阶项目322中的一个目标下阶项目321对应的点释放触摸点的下拉输入。响应于检测到下拉输入，处理器可以执行对应于目标下阶项目321的操作。
根据实施例，即使当目标下阶项目321的下层菜单还存在时，当处理器检测到释放与目标下阶项目321对应的触摸点的下拉输入时，目标下阶项目321可以弹出下层菜单。
弹出操作例如可以是将下层菜单对应的图形表示从目标下阶项目321开始可视化到整个屏幕的操作。
根据实施例，在执行与目标下阶项目321对应的操作之前，处理器可以输出请求用户批准是否执行操作的图形对象。请求用户批准的图形对象可以包括询问用户是否执行操作的图形对象(例如，消息窗口)。响应于图形对象询问是否执行动作，可以输出用于允许用户选择是否执行动作的图形对象。当处理器检测到关于是否执行操作的触摸输入时，处理器可以确定是否执行相应的操作。处理器可以响应于从用户接收到用于执行相应操作的批准操作(例如，激活批准按钮)来执行相应操作。响应于从用户接收到用于执行相应操作的拒绝操作(例如，激活拒绝按钮)，处理器可以排除相应操作的执行。
根据另一实施例，当在与目标下阶项目对应的点处感测到用户的下拉输入之后的预定时间内在与目标下阶项目对应的点处感测到触摸输入时，处理器可以执行与目标下阶项目对应的操作。由于当检测到来自目标下阶项目的下拉输入时，处理器不会立即执行对应于目标下阶项目的动作，而是等待再次检测到目标下阶项目的触摸输入时才执行动作，因此，可以防止与用户的意图不同地执行操作的故障。
根据一实施例，处理器基于用户的执行历史确定下层图形对象320的项目布置组合，确定的项目排列组合可以围绕上层菜单之一的项目输出。执行历史可以是操作执行频率、项目选择频率等，但不限于此，并且可以是最近的执行顺序。根据执行历史，处理器可以按照最高优先级的下阶候选项目的顺序围绕目标上阶项目输出。示例性地，处理器可以将作为对象“A”的上阶项目的最频繁选择或执行的下阶候选项目“A1”与对象“A”的上阶项相邻布置。
图4是示出根据示例性实施例的在大屏幕上仅指示命令菜单的一部分项目的图形对象的图。
当下层菜单的项目数量大于预定数量时，处理器可以将指示下层菜单的候选下阶项目中的一部分项目430的图形对象410输出到显示器400。然后，响应于用户输入420与触摸输入的区别，处理器可以暴露除了一部分项目430之外的剩余项目中的至少一部分，并且排除一部分项目430中的至少一部分的输出。
处理器可以仅输出候选下阶项目中的一部分项目430作为图形对象410。图形对象410可以是列出候选下阶项目的图形对象。用户输入420可以是滚动输入，滚动输入可以是触摸点沿着列出候选下阶项目的方向(例如，图4中的垂直方向)移动的触摸移动输入。响应于检测到针对列出候选下阶项目的方向的触摸移动输入，处理器可以暴露除了一部分项目430之外的一部分剩余项目，并且可以相应地排除一部分项目430中的一部分的输出。
根据图4的示例，处理器可以仅暴露与电话号码相关的候选下阶项目中的一部分项目430并输出到图形对象410，并且排除除一部分项目430之外的其余项的输出。响应于检测到沿着候选下阶项目被列出的方向从图形对象410的底部到顶部的触摸移动输入，处理器可以暴露剩余项中的一部分。处理器可以响应于图形对象410的额外暴露部分而排除在图形对象410中暴露的一部分项目430中的一部分的输出。
图5示出根据示例性实施例的旋转图形对象。
处理器可以检测与层级菜单相关的图形对象的外部区域的至少一个点的外部触摸输入521、522。处理器可以检测外部触摸输入的移动轨迹530。当触摸输入520保持在图形对象内部区域510中时，处理器可以基于移动轨迹530旋转图形对象。
图形对象外的区域可以是显示器上除图形对象所占据的部分外剩余的区域。例如，外部触摸输入的移动轨迹530可以形成为曲线形状，并且处理器可以确定移动轨迹530是顺时针方向还是逆时针方向。例如，当在顺时针方向上检测到移动轨迹530时，处理器可以在顺时针方向上旋转图形对象。通过处理器旋转图形对象，可以调整下层菜单的输出方向。因此，用户可以通过图形对象的旋转将被自身的手指遮挡的项目定位到自身的视野中。此外，有助于利用显示器的空白空间。作为参考，当图形对象被旋转时，处理器可以相对于参考点(例如，离心)在顺时针或逆时针方向上逐渐重新排列与项目相对应的图形对象。处理器只能重新排列每个图形对象的位置，同时保持每个图形对象的形状而无需旋转。
图6是示出根据示例性实施例的移动图形对象的图。
处理器可以检测与层级菜单相关的图形对象的外部区域中的至少一个点的外部触摸输入621。处理器可以检测外部触摸输入621的移动轨迹。当触摸输入620保持在图形对象内部区域610中时，处理器可以基于移动轨迹630移动图形对象。处理器可以基于外部触摸输入621在识别的方向630、631上移动图形对象的至少一部分。
响应于外部触摸输入621的移动轨迹被识别为直线的情况，处理器可以检测外部触摸输入621的触摸移动输入方向。处理器可以基于外部触摸输入621在识别的方向630、631上移动图形对象的至少一部分。被移动的图形对象的至少一部分可以是排除与最上层级菜单相关的图形对象的图形对象，但不限于此，并且可以移动整个图形对象。若在输出下层菜单的方向，若显示空间不够，无法输出进一步添加的下层菜单，则根据用户输入，处理器可以移动图形对象以输出要添加的下层菜单。
图7是根据一实施例的用于输出小屏幕命令菜单的方法的流程图。
在图形对象输出到检测到从步骤700到步骤720的触摸输入的参考点之后，由于在图1的步骤100至步骤120的步骤中已经描述了选择目标高阶项目的步骤，因此将省略其详细描述。
在步骤730，处理器可以检测在选择目标高阶项目之后触摸点返回参考点的触摸返回移动输入。参考点可以是与由用户的显示器触摸输入产生的触摸点对应的点。在选择目标高阶项目之后，处理器可以响应于触摸移动输入来检测从感测到的触摸点返回到参考点的触摸返回移动输入。
在步骤740，响应于触摸返回移动输入的检测，处理器可以用指示对应于目标高阶项目的下层菜单的图形对象来替换并输出指示上层菜单的图形对象。由于上层菜单被下层菜单取代，图形对象在显示器上所占的部分可能不会增加，从而与大屏幕相比，在显示器空白不大的小屏幕上输出命令菜单更容易。此外，由于通常用一只手握持具有小屏幕的设备，因此触摸移动输入的移动可能比在大屏幕上输出命令菜单的移动短。响应于触摸返回移动输入，由于指示下层菜单的图形对象被替换并输出，因此可以通过触摸移动输入的相对短的移动来输出从最上层菜单到最下层菜单的命令菜单。此时，根据示例性实施例，最上层菜单及最下层级菜单可以对应于层级菜单的最高层级和最低层级的层级菜单。
上面已经通过图1的步骤140及150描述了步骤750及步骤760，因此将省略其详细描述。
图8是示出根据一实施例的用于说明在小屏幕上输出命令菜单的方法的上层图形对象的示图。
根据实施例的用于输出命令菜单的方法可以在小屏幕显示器的设备800中实现。与大屏幕显示器相比，包括小屏幕显示器的设备800的显示器可以具有能够输出与命令菜单相关的图形对象的更小的部分。包括小屏幕显示器的设备800可以实现为各种类型的产品，例如智能手机、平板PC、智能家电、智能汽车及可穿戴设备。示例性地，实施例可以响应于在智能电话的显示器上检测到的用户触摸输入来输出指示层级菜单的图形对象。响应于调用图形对象之后的触摸返回移动输入831，可以在替换指示上层菜单的图形对象的同时输出指示下层菜单的图形对象。然而，包括小屏幕显示器的设备800不限于以上实施例，并且可以是包括用一只手抓握的显示器的设备。
当感测到用户的触摸输入时，包括小屏幕显示器的设备800的处理器是基于检测到触摸输入的参考点820能够输出指示分层命令菜单中的上层菜单的上层图形对象810。
根据实施例，如图8所示，可以将检测到触摸输入的参考点820输出到显示器，但是图8被示出来说明参考点820，并且根据另一实施例，参考点820可以不输出到显示器。
在保持触摸输入的同时，处理器可以响应于来自检测到的参考点820的触摸移动输入830来检测触摸点被移动到的点。参照图8，触摸点响应于触摸移动输入830而移动到的点可以位于上层图形对象中的一项中。
当触摸点位于上方图形对象的一项时，处理器可以确定所定位的项目被选中。因此，处理器可以从上层菜单的候选高阶项目中选择与移动的点相对应的目标高阶项目811。目标点高阶项目的选择可以根据触摸点在目标高阶项目所指示的图形对象中所占的比例是否大于阈值比例来确定。示例性地，响应于处理器检测到的触摸点是目标高阶项目所指示的图形对象的50％以上的情况，处理器可以确定选择了高阶项目。
处理器可以检测在选择目标高阶项目811之后触摸点返回参考点820的触摸返回移动输入831。触摸返回移动输入831可以是在与触摸移动输入对应的方向上的输入。触摸移动输入的轨迹可以形成在与触摸移动输入的移动方向相反的方向上，但不限于此，可以形成触摸点从目标高阶项目移动到参考点的轨迹。
根据示例性实施例的与菜单相关的图形对象可以具有基于参考点辐射的扇形形状或圆形形状。图形对象的形状不限于此，并且可以被配置为用户可以选择菜单项目。
图9是示出根据一实施例的用于说明在小屏幕上输出命令菜单的方法的子图形对象的图。
响应于检测到触摸返回移动输入931，设备900的处理器将指示上层菜单的图形对象可以替换为指示与要输出的目标高阶项目相对应的下层菜单的图形对象910。
根据实施例，处理器可以检测从下层菜单的候选下阶项目中的与一个目标下阶项目911对应的点释放触摸点的下拉输入。响应于检测到下拉输入，处理器可以执行对应于目标下阶项目911的操作。
根据另一示例性实施例，当触摸点由于加速度大于或等于阈值加速度的触摸移动输入而偏离与目标下阶项目911对应的点时，处理器可执行与目标下阶项目911对应的操作。例如，响应于当触摸点从目标下阶项目911移动到层级菜单的图形对象910之外的点时，处理器可以计算触摸点从目标下阶项目911到外部点的移动加速度。处理器可以响应于触摸点从目标下阶项目911到外部点的移动加速度超过阈值加速度的情况，执行与目标下阶项目911对应的操作。与响应于释放触摸点的下拉输入而执行的操作相比，由具有加速度的触摸移动输入执行的操作可以防止与用户意图不同地执行操作。
在执行与目标下阶项目911对应的操作之前，处理器可以响应于是否执行该操作，输出请求用户批准的图形对象。根据另一实施例，当在目标下阶项目911中感测到用户的下拉输入并且在与目标下阶项目对应的点处再次感测到触摸输入时，处理器可执行与目标下阶项目对应的操作。
根据另一实施例，处理器可以检测在根据触摸移动输入930选择目标下阶项目911之后触摸点返回到参考点920的触摸返回移动输入931。响应于触摸返回移动输入931的检测，处理器可以用指示对应于目标下阶项目911的附加下层菜单的图形对象来替换并输出下层图形对象910。
图10是示出根据示例性实施例的在小屏幕上仅指示命令菜单的一部分项目的图形对象的图。
当下层菜单的项目数量大于预定数量时，设备1000的处理器可以将指示下层菜单的候选下阶项目中的一部分项目1020的图形对象1010输出到显示器。然后，处理器可以响应于区别于触摸输入的用户输入，暴露除一部分项目1020之外的剩余项目中的至少一部分，排除一部分项目1020中的至少一部分的输出。
处理器可以仅将候选下阶项目1020中的一部分输出到图形对象1010。图形对象1010可以是列出了候选下阶项目的图形对象。用户输入可以是与触摸输入及触摸返回移动输入不同的在滚动方向相对应的两触摸返回移动输入1030。触摸返回移动输入可以包括在与触摸移动方向和触摸移动方向对应的方向的触摸返回移动输入。可以根据在预定时间内感测到的返回移动输入的数量来区分一次触摸返回移动输入两次触摸返回移动输入1030。响应于对应于期望滚动方向的两次触摸返回移动输入1030，处理器暴露除一部分项目1020之外的剩余项目中的一部分，并且相应地排除一部分项目1020中的一部分输出。
根据图10的示例，处理器可以仅列出与电话号码相关的候选下阶项目中的一部分项目1020并且将该列表输出为图形对象1010。响应于检测到与从参考点的向上方向相对应的两次触摸移动输入1030，处理器可以在除了一部分项目1020之外的剩余项目中暴露与图形对象1010的顶部相对应的项目。响应于在图形对象1010的顶部暴露的项目，排除暴露在图形对象1010底部的一部分项目1020中一部分输出。
图12是用于说明根据实施例的在虚拟现实中输出命令菜单的方法的示图。
根据实施例，用于检测用户的操纵的操纵感测单元可以与显示器1100物理分离，并且触摸感测单元通过操纵感测单元和显示器1100之间的通信单元感测到的电信号可以被传递到处理器。参照图11，操纵感测单元可以包括例如触摸感测单元1120，但不限于此。
响应于触摸感测单元1120感测到用户的触摸输入1130，处理器向显示器1100上指示检测到触摸输入1130的触摸点的部分输出操作指示符。操作指示符可以是显示在显示器1100上的与检测到触摸输入的点相对应的图形对象。
上面已经参考图1至图10描述了响应于触摸点输出与层级菜单相关的图形对象1110，并执行与没下层菜单中的目标下阶项目对应的操作，因此将详细描述省略。
图12是用于说明根据实施例的在虚拟现实中输出命令菜单的方法的示图。
根据实施例，用于检测用户输入的操纵感测单元和显示器可以物理分离，并且可以通过操纵感测单元和显示器之间的通信单元将操纵感测单元感测到的电信号传输到处理器。
操纵感测单元是能够检测用户身体部位的运动的传感器，并且可以包括例如检测手指关节的运动的传感器。操纵感测单元可以包括感测用户的手指关节的弯曲和展开的以手套形式实现的传感器。能够感测用户指关节的弯曲和展开的传感器可以位于手套的与用户指关节对应的部分中。传感器可以包括压电信号，并且响应于由于用户弯曲而产生的压电信号，可以检测手指的关节运动。然而，本发明不限于此，包括压力传感器的传感器可以响应于感测到由于用户手指弯曲而产生的压力来检测用户手指是否弯曲。然而，身体部位的运动不限于对手指关节运动的感测，还可以包括眨眼、腿部和手臂运动以及身体部位的关节运动。
根据另一示例性实施例，操纵感测单元是用于检测用户身体部位的运动的传感器，并且可以包括用于检测手部运动的图像传感器。包括摄像头的图像传感器的感测数据可以被传送到处理器，并且摄像头可以拍摄用户的手部。
以上实施例仅为检测用户手部运动的实施例，检测用户手指是否伸出的方法不限于上述实施例，测量关节之间的角度或距离以及电阻的可穿戴设备的任何可以检测用户手部运动的普通技术人员的方法都可以使用。
显示器可以是通过虚拟现实实现的虚拟显示器，虚拟现实可以通过将与用户面部接触的虚拟现实设备1220连接到处理器来实现。虚拟现实设备1220限制了用户的视野，处理器只能实现虚拟现实的显示。例如，虚拟现实设备1220可以向用户的右眼提供右眼图像，并且向用户的左眼提供左眼图像，并且右眼图像和左眼图像可以彼此具有视差。虚拟现实设备1220可以向用户提供上述左眼图像和右眼图像，可以将三维内容可视化并提供给用户。根据另一示例性实施例，虚拟现实设备1220不限制用户的视野，并且用户可以在观看虚拟现实与现实现实重叠的屏幕的同时执行与命令项相关的操作。
处理器检测用户手指被伸展的状态1210，在虚拟现实显示器中，指示分层的命令菜单中的上层菜单的图形对象1230可以与指示对应于手指的一端的触摸点的部分上的操作指示符一起输出。
处理器可以检测在用户的手指被保持在伸展状态1210的同时移动与手指的一端相对应的触摸点的触摸移动输入，并且随着触摸点的移动检测操作指示符移动的点。响应于检测到操作指示符的移动的点，处理器可以从上层菜单中选择目标高阶项目并输出指示与目标高阶项目对应的下层菜单的下层图形对象。处理器可以从下层菜单的候选下阶项目中的一个目标下阶项目对应的点检测用户手指的弯曲状态1200，并执行与目标下阶项目对应的操作。
图13是示出根据实施例的用于输出命令菜单的设备的一般结构的框图。
用于输出命令菜单的设备1300可以包括处理器1310、显示器1320以及触摸感测单元1330。处理器1310可以接收从由触摸感测单元1330感测到的触摸输入转换的电信号。基于接收到的电信号，处理器1310可以在显示器1320上找到与感测到触摸输入的触摸点相对应的点。处理器1310可以将图形对象输出到与显示器1320对应的点，然后执行用于执行操作的一系列处理。由于上面已经参考图1至图12描述了在输出图形对象之后执行操作的过程，因此将省略对其的详细描述。作为参考，在图13中，虽然显示器1320及触摸感测单元1330被示为单独的组件，但是本发明不限于此。显示器1320及触摸感测单元1330可以一体地实现为触敏显示器。
根据实施例，用于输出命令菜单的设备1300还可包括注册数据库的存储器，注册数据库存储与用户生物特征信息匹配的注册用户信息。处理器1310可以基于存储在存储器中的注册用户信息向用户授予访问权限。
上述实施例可以通过硬件组件、软件组件及/或硬件组件及软件组件的组合来实现。例如，实施例中描述的设备、方法及部件可以包括例如处理器、控制器、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门(FPGA)阵列)、可编程逻辑单元(PLU)、微处理器或任何其他能够执行和响应指令的设备，可以使用一台或多台通用计算机或专用计算机来实现。处理设备可以执行操作系统(OS)及在所述操作系统上运行的一个以上的软件应用程序。处理设备还可以响应于软件的执行来访问、存储、操纵、处理及生成数据。为便于理解，虽然有时描述为使用一个处理设备，但本领域普通技术人员会认识到该处理设备包括多个处理元件及/或多种类型的处理元件。例如，处理设备可以包括多个处理器或一个处理器及一个控制器。此外，也可以进行并行处理器等其他处理配置。
软件可能包括计算机程序、代码、指令，或其中一项或多项的组合，将处理设备配置为按需要运行，或独立地或集体地命令。软件及/或数据为了由处理设备解释或向处理设备提供指令或数据，可以是任何类型的机器、组件、物理设备、虚拟设备、计算机存储介质或设备，或者可以永久或暂时地体现在传输的信号波中。软件可以分布在联网的计算机系统上并以分布的方式存储或执行。软件及数据可以存储在一个以上的计算机可读记录介质中。
根据实施例的方法可以以可以通过各种计算机手段执行并记录在计算机可读介质中的程序指令的形式来实现。所述计算机可读介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在所述介质上的程序指令可以是针对本实施例专门设计和配置的，或者可以是计算机软件领域的技术人员公知可用的。计算机可读记录介质的示例包括如硬盘、软盘及磁带之类的磁介质、如CD-ROM及DVD之类的光学介质，如软盘之类的磁性介质，以及如ROM、RAM、闪存等的存储程序指令，包括专门配置的硬件设备。程序指令的示例不仅包括如由编译器生成的机器语言代码，而且还包括可以由计算机使用解释器等执行的高级语言代码。上述硬件设备可被配置为作为一个或多个软件模块操作以执行实施例的操作。
如上所述，虽然已经参考有限的附图描述了实施例，但是本领域技术人员可以基于以上进行各种技术修改及变化。例如，以不同于所述方法的顺序执行所述技术，及/或以不同于所述方法的形式组合或组合所述系统、结构、设备、电路等的所述组件，或其他组件或替代或替代其他元素或等同物会获得适当的结果。

Claims (14)

1.一种命令菜单输出方法，作为由处理器执行并根据用户的输入将分层的命令菜单输出到显示器的方法，其中，包括：
响应于检测到所述用户的触摸输入，在检测到所述触摸输入的参考点处输出指示所述分级的命令菜单中的上层菜单的上层图形对象的步骤；
响应于在保持所述用户的触摸输入的同时所述触摸输入移动到的触摸移动输入，检测从所述参考点移动的触摸点的步骤；
当所述触摸点移动到所述上层菜单的候选高阶项目中指示目标高阶项目的点时，响应地选择所述目标高阶项目的步骤；
在选择所述目标高阶项目后检测所述触摸点返回所述参考点的触摸返回移动输入的步骤；以及
响应于检测到所述触摸返回移动输入，将所述上层图形对象替换为指示所述目标高阶项目对应的下层菜单的下层图形对象并输出的步骤。
2.根据权利要求1所述的命令菜单输出方法，其中，进一步包括：
所述触摸点通过所述下层菜单检测下拉输入的步骤；以及
响应于在所述下层菜单的候选下阶项目中的一个目标下阶项目对应的点处检测到所述下拉输入时，执行对应于所述目标下阶项目的操作的步骤。
3.根据权利要求2所述的命令菜单输出方法，其中，执行目标下阶项目对应的操作的步骤包括：在执行所述目标下阶项目对应的操作之前，响应是否执行所述操作，输出请求用户批准的图形对象的步骤。
4.根据权利要求1所述的命令菜单输出方法，其中，进一步包括：
响应所述用户的触摸输入获取所述用户的生物特征信息的步骤；
从注册数据库中匹配所述生物特征信息和注册用户信息的步骤；
响应于所述匹配成功，所述用户被允许授权访问应用程序、设备及菜单中的至少一个的步骤；
根据所述允许的访问授权输出所述上层图形对象及下层图形对象中的至少一个的步骤。
5.根据权利要求2所述的命令菜单输出方法，其中，用于检测所述下拉输入的步骤进一步包括：
从所述下层菜单的候选下阶项目中选择与移动的点对应的目标下阶项目的步骤；以及
半透明地可视化所述目标下阶项目的信息，在所述目标下阶项目的信息上叠加并输出与所述层级菜单相关的图形对象的步骤。
6.根据权利要求1所述的命令菜单输出方法，其中，进一步包括：
用于检测涉及所述层级菜单的图形对象外部区域中至少一个点的外部触摸输入的步骤；
用于检测所述外部触摸输入的移动轨迹的步骤；以及
当所述触摸输入保持在所述层级菜单的图形对象的区域内时，根据所述移动轨迹旋转所述图形对象的步骤。
7.根据权利要求1所述的命令菜单输出方法，其中，进一步包括：
当所述触摸输入保持在所述图形对象内部区域内时，检测针对所述层级菜单的图形对象外部区域中的至少一个点的外部触摸输入的步骤；
检测所述外部触摸输入的移动轨迹的步骤；以及
在基于所述外部触摸输入识别的方向上移动所述图形对象的至少一部分的步骤；
8.根据权利要求1所述的命令菜单输出方法，其中，
当所述下层菜单中的项目数量大于预定数量时，将指示所述下层菜单中的所述候选下阶项目的一部分项目的图形对象输出到显示器，
响应于不同于所述触摸输入的用户输入，除了所述一部分项目之外的剩余项目中的至少一部分被暴露，并且所述一部分项目中的至少一部分的输出被排除。
9.根据权利要求1所述的命令菜单输出方法，其中，根据用户的执行历史输出所述下层图形对象的项目排列组合。
10.一种命令菜单输出方法，作为由处理器执行并将分层的命令菜单输出到显示器的方法，其中，包括：
响应于检测到所述用户的触摸输入，在检测到所述触摸输入的触摸点处输出指示所述命令菜单中的上层菜单的上层图形对象的步骤；
响应于在保持所述用户的触摸输入的同时所述触摸点移动到的触摸移动输入，所述触摸点检测移动的点的步骤；
从所述上层菜单的候选高阶项目中选择所述移动的点对应的目标高阶项目的步骤；
将用于指示与被选择的所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出的步骤；
通过从所述目标高阶项目输入的触摸移动输入，从所述下层菜单的候选下阶项目中选择目标下阶项目的步骤；
当下层菜单映射到所述目标下阶项目时，输出指示下一个下层项目的图形对象的步骤；以及
响应于在对应于所述目标下阶项目及所述下一个下层项目之一的点检测到下拉输入，执行与所述目标下阶项目及所述下一个下层项目之一对应的操作的步骤。
11.一种命令菜单输出方法，作为由处理器执行并根据用户的输入将分层的命令菜单输出到显示器的方法，其中，包括：
操纵感测单元响应于检测到所述用户的触摸输入，在所述显示器上指示检测到所述触摸输入的触摸点处输出操作指示符的步骤；
基于所述操作指示符在所述显示器上的所述分层的命令菜单中输出指示上层菜单的上层图形对象的步骤；
响应于在保持所述用户的触摸输入的同时所述触摸点移动到的触摸移动输入，所述操作指示符检测移动的点的步骤；
从所述上层菜单的候选高阶项目中选择所述操作指示符移动的点对应的目标高阶项目的步骤；
将用于指示与所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出的步骤；
通过从所述目标高阶项目输入的触摸移动输入，从所述下层菜单的候选下阶项目中选择目标下阶项目的步骤；
当下一个下层菜单映射到所述目标下阶项目时，输出指示所述下一个下层项目的图形对象的步骤；以及
所述触摸点检测从目标下阶项目及所述下一个下层项目之一对应的点释放的下拉输入的步骤；以及
响应于检测到所述下拉输入，执行对应于所述目标下阶项目及所述下一个下层项目之一的操作的步骤。
12.一种命令菜单输出设备，作为包括处理器的命令菜单输出设备，其中，
所述处理器：
响应于检测到所述用户的触摸输入，在指示检测到所述触摸输入的触摸点处输出指示所述分级的命令菜单中的上层菜单的上层图形对象，
响应于在保持所述用户的触摸输入的同时所述触摸输入移动到的触摸移动输入，检测从所述触摸点移动的点，
从所述上层菜单的候选高阶项目中选择所述移动的点对应的目标高阶项目，
将用于指示与被选择的所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出，
通过从所述目标高阶项目输入的触摸移动输入，从所述下层菜单的候选下阶项目中选择目标下阶项目，
当下层菜单映射到所述目标下阶项目时，输出指示下一个下层项目的图形对象，
响应于在对应于所述目标下阶项目及所述下一个下层项目之一的点检测到下拉输入，执行与所述目标下阶项目及所述下一个下层项目之一对应的操作。
13.一种命令菜单输出设备，作为包括处理器的命令菜单输出设备，其中，
所述处理器：
响应于检测到所述用户的触摸输入，在指示检测到所述触摸输入的触摸点处输出指示所述分级的命令菜单中的上层菜单的上层图形对象，
响应于在保持所述用户的触摸输入的同时所述触摸输入移动到的触摸移动输入，检测从所述参考点移动的触摸点，
当所述触摸点移动到所述上层菜单的候选高阶项目中指示目标高阶项目的点时，响应地选择所述目标高阶项目，
在选择所述目标高阶项目后检测所述触摸点返回所述参考点的触摸返回移动输入，
响应于检测到所述触摸返回移动输入，将指示所述上层菜单的上层图形对象替换为指示所述目标高阶项目对应的下层菜单的下层图形对象并输出。
14.一种命令菜单输出设备，作为包括处理器的命令菜单输出设备，其中，
所述处理器：
操纵感测单元响应于检测到所述用户的触摸输入，在显示器上指示检测到所述触摸输入的触摸点处输出操作指示符，
基于所述操作指示符在所述显示器上的所述分层的命令菜单中输出指示上层菜单的上层图形对象，
响应于在保持所述用户的触摸输入的同时所述触摸点移动到的触摸移动输入，所述操作指示符检测移动的点，
从所述上层菜单的候选高阶项目中选择所述操作指示符移动的点对应的目标高阶项目，
将用于指示与所述目标高阶项目对应的下层菜单的下层图形对象从所述上层图形对象扩展的同时输出，
通过从所述目标高阶项目输入的触摸移动输入，从所述下层菜单的候选下阶项目中选择目标下阶项目，
当下一个下层菜单映射到所述目标下阶项目时，输出指示所述下一个下层项目的图形对象，
所述触摸点检测从目标下阶项目及所述下一个下层项目之一对应的点释放的下拉输入，
响应于检测到所述下拉输入，执行对应于所述目标下阶项目及所述下一个下层项目之一的操作。
CN202080027268.8A 2019-04-09 2020-03-20 命令菜单输出方法 Active CN113678097B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20190041341 2019-04-09
KR10-2019-0041341 2019-04-09
KR10-2019-0083089 2019-07-10
KR1020190083089A KR102086578B1 (ko) 2019-04-09 2019-07-10 명령 메뉴 출력 방법
PCT/KR2020/003877 WO2020209520A1 (ko) 2019-04-09 2020-03-20 명령 메뉴 출력 방법

Publications (2)

Publication Number Publication Date
CN113678097A true CN113678097A (zh) 2021-11-19
CN113678097B CN113678097B (zh) 2024-08-27

Family

ID=70911958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027268.8A Active CN113678097B (zh) 2019-04-09 2020-03-20 命令菜单输出方法

Country Status (6)

Country Link
US (2) US11513662B2 (zh)
EP (1) EP3955100A4 (zh)
JP (1) JP2022528771A (zh)
KR (1) KR102086578B1 (zh)
CN (1) CN113678097B (zh)
WO (1) WO2020209520A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780195B (zh) * 2022-04-29 2024-02-13 济南浪潮数据技术有限公司 一种操作可视化方法、装置、设备及存储介质
GB202209690D0 (en) * 2022-07-01 2022-08-17 Kasekende Wilfred Menu navigation arrangement

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
KR20090077597A (ko) * 2008-01-11 2009-07-15 성균관대학교산학협력단 메뉴 유저 인터페이스 제공 장치 및 방법
EP2146271A2 (en) * 2008-07-17 2010-01-20 Sony Corporation Information processing device, information processing method, and information processing program
US20100185985A1 (en) * 2009-01-19 2010-07-22 International Business Machines Corporation Managing radial menus in a computer system
US20110055760A1 (en) * 2009-09-01 2011-03-03 Drayton David Samuel Method of providing a graphical user interface using a concentric menu
JP2011107823A (ja) * 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
US20130014053A1 (en) * 2011-07-07 2013-01-10 Microsoft Corporation Menu Gestures
US20130104079A1 (en) * 2011-10-21 2013-04-25 Nozomu Yasui Radial graphical user interface
WO2013082896A1 (zh) * 2011-12-08 2013-06-13 华为技术有限公司 交互方法及交互设备
US20140157200A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. User terminal apparatus and method of controlling the same
WO2014088475A1 (en) * 2012-12-07 2014-06-12 Yota Devices Ipr Ltd Coordination of contextual display data on a display screen
CN104063051A (zh) * 2013-03-19 2014-09-24 三星电子株式会社 显示设备及其用于显示关于活动的信息的方法
KR20150052470A (ko) * 2013-11-06 2015-05-14 김소훈 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법
KR20160038413A (ko) * 2014-09-30 2016-04-07 삼성전자주식회사 콘텐츠 탐색 장치 및 콘텐츠 탐색 방법
US20160224775A1 (en) * 2015-01-29 2016-08-04 J-Metrics Technology Co., Ltd. Electronic apparatus having fingerprint sensor operating in vector mode
CN105900055A (zh) * 2013-11-28 2016-08-24 三星电子株式会社 用于组织电子设备上的多个项目的方法和设备
US20160320923A1 (en) * 2015-04-29 2016-11-03 Samsung Electronics Co., Ltd. Display apparatus and user interface providing method thereof
CN106648330A (zh) * 2016-10-12 2017-05-10 广州视源电子科技股份有限公司 人机交互的方法及装置
CN108399042A (zh) * 2018-01-31 2018-08-14 歌尔科技有限公司 一种触控识别方法、装置和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
EP1510911A3 (en) 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
US7509348B2 (en) * 2006-08-31 2009-03-24 Microsoft Corporation Radially expanding and context-dependent navigation dial
WO2009158549A2 (en) * 2008-06-28 2009-12-30 Apple Inc. Radial menu selection
KR101004463B1 (ko) 2008-12-09 2010-12-31 성균관대학교산학협력단 터치 스크린의 드래그를 이용한 메뉴 선택을 지원하는 휴대용 단말 및 그 제어 방법
US9875023B2 (en) * 2011-11-23 2018-01-23 Microsoft Technology Licensing, Llc Dial-based user interfaces
KR102073601B1 (ko) * 2012-07-25 2020-02-06 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
US10037130B2 (en) * 2013-09-13 2018-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for improving visibility of the same
KR20170040706A (ko) * 2015-10-05 2017-04-13 삼성전자주식회사 한 손 조작 ui를 제공하는 전자 장치 및 방법
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
KR20090077597A (ko) * 2008-01-11 2009-07-15 성균관대학교산학협력단 메뉴 유저 인터페이스 제공 장치 및 방법
US20090183100A1 (en) * 2008-01-11 2009-07-16 Sungkyunkwan University Foundation For Corporate Collaboration Menu user interface providing device and method thereof
EP2146271A2 (en) * 2008-07-17 2010-01-20 Sony Corporation Information processing device, information processing method, and information processing program
US20100185985A1 (en) * 2009-01-19 2010-07-22 International Business Machines Corporation Managing radial menus in a computer system
US20110055760A1 (en) * 2009-09-01 2011-03-03 Drayton David Samuel Method of providing a graphical user interface using a concentric menu
JP2011107823A (ja) * 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
US20130014053A1 (en) * 2011-07-07 2013-01-10 Microsoft Corporation Menu Gestures
US20130104079A1 (en) * 2011-10-21 2013-04-25 Nozomu Yasui Radial graphical user interface
WO2013082896A1 (zh) * 2011-12-08 2013-06-13 华为技术有限公司 交互方法及交互设备
US20140157200A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. User terminal apparatus and method of controlling the same
WO2014088475A1 (en) * 2012-12-07 2014-06-12 Yota Devices Ipr Ltd Coordination of contextual display data on a display screen
CN104063051A (zh) * 2013-03-19 2014-09-24 三星电子株式会社 显示设备及其用于显示关于活动的信息的方法
KR20150052470A (ko) * 2013-11-06 2015-05-14 김소훈 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법
CN105900055A (zh) * 2013-11-28 2016-08-24 三星电子株式会社 用于组织电子设备上的多个项目的方法和设备
KR20160038413A (ko) * 2014-09-30 2016-04-07 삼성전자주식회사 콘텐츠 탐색 장치 및 콘텐츠 탐색 방법
US20160224775A1 (en) * 2015-01-29 2016-08-04 J-Metrics Technology Co., Ltd. Electronic apparatus having fingerprint sensor operating in vector mode
US20160320923A1 (en) * 2015-04-29 2016-11-03 Samsung Electronics Co., Ltd. Display apparatus and user interface providing method thereof
CN106648330A (zh) * 2016-10-12 2017-05-10 广州视源电子科技股份有限公司 人机交互的方法及装置
CN108399042A (zh) * 2018-01-31 2018-08-14 歌尔科技有限公司 一种触控识别方法、装置和系统

Also Published As

Publication number Publication date
EP3955100A4 (en) 2023-01-25
US20220113848A1 (en) 2022-04-14
US11513662B2 (en) 2022-11-29
KR102086578B1 (ko) 2020-05-29
CN113678097B (zh) 2024-08-27
JP2022528771A (ja) 2022-06-15
WO2020209520A1 (ko) 2020-10-15
EP3955100A1 (en) 2022-02-16
US20230043168A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
EP3086200B1 (en) Electronic device including rotary member and display method thereof
CN105912260B (zh) 一种应用程序的启动方法及移动终端
US9710630B2 (en) Electronic device and method of providing security using complex biometric information
EP2843917B1 (en) Apparatus and method for executing functions related to handwritten user input on lock screen
JP5621042B2 (ja) コントロール選択近似
US20230043168A1 (en) Method for outputting command method
US9886190B2 (en) Gesture discernment and processing system
KR102614046B1 (ko) 생체 데이터를 획득하기 위한 방법 및 그 전자 장치
CN111353408A (zh) 使用合成指纹图像的注册和指纹感测系统
US11249578B2 (en) Electronic device and method for changing condition for determining touch input to be pressure input
CN104137045A (zh) 用户手势识别
CN116507995A (zh) 带有虚拟轨迹板的触摸屏显示器
US20180004385A1 (en) Software defined icon interactions with multiple and expandable layers
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
US20160357301A1 (en) Method and system for performing an action based on number of hover events
US10204265B2 (en) System and method for authenticating user
TWI783221B (zh) 可動態重組態之觸控板
US11301124B2 (en) User interface modification using preview panel
US20180113527A1 (en) Detecting input based on a capacitive pattern
JP7286705B2 (ja) 自動入力探知方法およびシステム
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
CN111796701A (zh) 模型训练方法、操作处理方法、装置、存储介质及设备
US20190056857A1 (en) Resizing an active region of a user interface
EP3905020A1 (en) Electronic device, method, and computer-readable medium for switchable bar region of user interface
US20230393670A1 (en) Lismart computer pointing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant