CN103097979A - 用于传感器使能的用户界面的自动化控制 - Google Patents

用于传感器使能的用户界面的自动化控制 Download PDF

Info

Publication number
CN103097979A
CN103097979A CN2011800421664A CN201180042166A CN103097979A CN 103097979 A CN103097979 A CN 103097979A CN 2011800421664 A CN2011800421664 A CN 2011800421664A CN 201180042166 A CN201180042166 A CN 201180042166A CN 103097979 A CN103097979 A CN 103097979A
Authority
CN
China
Prior art keywords
motion
icon
order
orientation
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800421664A
Other languages
English (en)
Other versions
CN103097979B (zh
Inventor
帕特里克·蒂利
詹姆斯·莫利-史密斯
丹·萨德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Symbol Technologies LLC
Original Assignee
Motorola Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Solutions Inc filed Critical Motorola Solutions Inc
Publication of CN103097979A publication Critical patent/CN103097979A/zh
Application granted granted Critical
Publication of CN103097979B publication Critical patent/CN103097979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种移动单元包括处理器、存储器和显示器。该显示器示出包括多个命令的用户界面。用相应的图标来示出多个命令中的每个感测激活的命令，该图标指示向感测激活的命令指配的运动和定向中的至少一个。

Description

用于传感器使能的用户界面的自动化控制
背景技术
移动单元（MU）可以包括丰富的用户界面，用于使得用户能够激活MU的控制。然而，激活MU的控制通常是双手操作，原因是，如果需要访问在显示器上的控制，则需要第二只手来通过手指或指示笔来激活该控制。常规的MU包括用于键入输入的多种不同的方法。例如，MU可以包括小键盘来键入输入。在另一个示例中，MU可以包括运动和/或定向传感器，用于检测与输入的键入相对应的运动和/或定向。
虽然已知使用运动传感器来检测与输入的键入相对应的运动，但是常规的MU不包括控制可能的动作的任何指示。例如，在具有因特网连接的浏览器应用（例如，网页）中，用户可能不知道激活特定命令的动作，或者可能甚至完全不知道特定动作激活了命令。因此，用户可能不能充分地利用所有可用选项，或者可能非故意地执行了不期望的动作。
发明内容
示例性实施例描述了包括处理器、存储器和显示器的移动单元。显示器示出包括多个命令的用户界面。多个命令中的每个感测激活的命令用相应的图标示出，该图标指示向感测激活的命令指配的运动和定向中的至少一个。
附图说明
图1示出了根据示例性实施例的移动单元的部件。
图2示出了根据示例性实施例的包括显示器的图1的移动单元。
图3示出了根据示例性实施例的指示激活命令的运动的方法。
具体实施方式
可以参考下面的说明和附图来进一步理解示例性实施例，在附图中，用相同的附图标记来指示相似的要素。示例性实施例描述了具有显示器的移动单元，该显示器被配置为示出了用于表示激活命令的运动和/或定向的图标。具体地，运动被表示为与动作相结合以向用户指示执行运动导致激活命令的的图标。示例性实施例进一步描述了其中要开发包含感测激活的命令的应用的开发环境。下面更详细地描述移动单元、显示器、运动和/或定向、图标、开发环境和相关的方法。
图1示出了根据示例性实施例的移动单元（MU）100的部件。MU100可以是任何便携电子装置。MU100的部件可以包括处理器105、存储器110、运动和/或定向传感器115和控制激活模块120。应当注意，MU100可以包括表示为其他部件122的多种其他常规部件。例如，该其他部件122可以包括电源、小键盘、输入接收器、用于连接到其他装置的端口、无线收发器、扬声器等。
处理器105可以为MU100提供常规功能。例如，MU100可以包括在处理器105上执行的多个应用。具体地说，MU100在经由无线收发器连接到网络时可以包括应用，该应用包括web浏览器。存储器110也可以为MU100提供常规功能。例如，存储器110可以存储与由处理器105执行的操作相关的数据。具体地说，存储器110可以存储多个运动和/或定向以及运动和/或定向的关联。
运动和/或定向传感器115可以是被配置为接收和解释运动和/或定向数据的任何常规装置。例如，运动和/或定向传感器115可以包括用于运动的加速度计和用于定向的磁力计。该加速度计可以测量在单个或多个轴上的适当的加速度，以检测作为向量的由MU100所经历的加速度的大小和定向。因此，作为加速度计的运动传感器115可以用于在有或没有磁力计或陀螺仪、加速度计、振动冲击、下降等的帮助的情况下来感测定向。在另一个示例中，运动传感器115可以与触摸屏显示器相关联。运动传感器115可以接收初始触摸数据、中间触摸数据和结束触摸数据。然后，运动传感器115可以推断在触摸屏显示器上执行的运动。应当注意，运动和/或定向传感器115还可以是检测运动和/或定向的其他类型的已知装置，并且还可以是这些装置的任何组合。
控制激活模块（CAM）120可以是硬件、软件、其组合或存储器110的扩展。例如，CAM120可以是用于运动和/或定向相关信息的库或储存库。因此，如果运动传感器115检测到转弯运动，则CAM120可以包括具有相关联的运动和/或定向的动作的列表，以确定转弯运动与哪个动作相关联。处理器105可以访问CAM120以确定要执行的对应的动作。
运动手势检测在本领域中是公知的，并且可以通过诸如隐马尔可夫模型（HMM）、决策树和动态时间规整（DTW）等的多种已知方法来执行。不论方法如何，在系统部署之前需要一定量的训练数据来创建用于所选取的移动手势组的标准手势模板。然后，在正常使用期间，将实时运动数据与这些模板作比较以确定识别的手势是否已经出现。而且在部署之前，生成示出一个手势将与另一个手势相混淆的可能性的混淆矩阵是有用的。然后，可以将该信息提供到应用开发者，以提供关于哪些手势在一起使用时可能产生与系统混淆相关的问题的了解。
在优选实施例中，使用动态时间规整来将当前运动串与在装置上存储的多个运动模板作比较，以便于确定当前串是否与任何已知运动模板几乎匹配。如果匹配被检测为在特定阈值以上，则认为检测到该运动手势视。该阈值可以是硬编码的或者用户可调整的。关于运动模板，这些可以由装置制造商或软件开发者通过标准机器学习训练方法来发现和预编程。这样的模板可以是静态的，或者可以通过学习特定用户或用户组的偏好的更高级的算法来适配它们。模板也可以由用户记录并且被存储在装置上以表示个性化的运动、手势或定向。
根据示例性实施例，CAM120可以包括用于多个用户界面的图标的关联的列表，该图标表示被指配用于选择命令的各种运动和/或定向。处理器105可以访问CAM120以对用户界面适当地加载针对选择命令显示的适当的图标。例如，如果用户启动应用，则应用的界面可以包括可以执行的各种操作。CAM120可以存储各种操作的任何一个的列表，该列表包括触发动作的相关联的运动和/或定向。处理器105可以随后根据CAM120来示出用于运动触发的动作的运动的图标，以向用户指示相应的运动。因此，命令的图标可以进一步包括运动和/或定向图标，如下更详细所述。
图2示出了根据示例性实施例的包括显示器125的图1的MU100。具体地说，MU100是浏览器应用的示例性用户界面。显示器125图示了可以被执行以执行相关联的动作的各种运动和/或定向。如示，第一控制130可以包括指示相关联的运动和/或定向的图标135。图标135示出了如果使MU100向右滚动，则将执行第一控制130。第二控制140可以包括指示相关联的运动和/或定向的图标145。图标145示出了如果MU100面向北，则将执行第二控制140。返回命令150可以包括指示相关联的运动的图标155。图标155示出了如果使MU100向右摇动，则执行返回命令150。归位命令160可以包括指示相关联的运动的图标165。图标165示出了如果使MU100上下摇动，则执行归位命令160。登录命令170可以包括指示相关联的运动的图标175。图标175示出了如果作出个人手势（例如，MU100的180度逆时针旋转），则执行登录命令170。
根据示例性实施例，运动和图标可以是默认设置并且/或者通过用户偏好来确定。例如，CAM120可以包括默认图标以及对于在显示器125上示出的用户界面指定的相关联的运动和/或定向的列表。如图2的显示器125中所示，图标135、145、155和165可以是默认图标。这些默认图标可以是用户直观的符号，其中，观看默认图标的任何用户都能够确定相关联的运动和/或定向。默认图标的列表可以包括其他可用图标，该其他可用图标可以用于与用户可以向其指配的、要采取的其他动作相关联。例如，用户可以从默认图标的列表中选择其中运动是逆时针旋转的图标175。
图标还可以是用户创建的。即，CAM120还可以包括由处理器105运行的应用，其中，用户可以创建图标。然后，可以使所创建的图标与由用户确定的运动和/或定向相关联。CAM120可以包括可以与所创建的图标相关联的可用运动和/或定向的列表。随后，用户可以使所创建的图标与动作相关联。当该动作是用户界面的一部分时，处理器105可以访问CAM120以示出具有该动作的图标。因此，当执行运动和/或定向时，也可以执行动作。而且，用户选择的图标和/或用户创建的图标可以与用户创建的运动和/或定向相关联。例如，用于创建图标的应用还可以使得用户能够生成存储的运动或定向。用户可以随后使用户创建的运动或定向与图标相关联。
对命令进行的运动和/或定向的指配以及图标的关联可以取决于用户（如上所述）并且/或者取决于开发者（如对于默认指配的情况）。开发者还可以使用可能改变的用于用户界面的图标来向命令指配运动和/或定向。例如，可以在显示器125上加载网页。该网页由该页面的开发者来控制。开发者可以指配各种运动和/或定向以选择命令中的一个，并且还对每个运动和/或定向指配相应图标。能够（例如，经由运动和/或定向传感器115）接收运动和/或定向数据的MU100可以示出图标以向用户指示哪些命令是运动激活的。因此，当加载网页时，可以使用运动和/或定向数据来进行导航。
如上所述，示例性实施例还可以与开发环境一起使用。如上所述的网页设计可以实现开发环境的一个示例。在应用的开发期间，可以向命令指配执行该命令的运动和/或定向。而且，开发者可以指配表示用于执行命令的运动和/或定向的相应图标。开发者可以访问如上所述的运动、定向和图标的基本上类似的库。另外，该库可以包括仅可在开发者级可指配的开发者专用图标。而且，可以根据多个感测激活的命令来对图标的库（在开发者级和用户级二者上）进行过滤。例如，当至少两个运动和/或定向具有从单个动作同时登记的可能性时，可以防止运动和/或定向与在单个界面上呈现的命令相关联。开发者环境可以提供用于加载识别模板的机制，该识别模板对应于与命令相关联的由开发者所选取的选择的感测输入。
开发者环境还可以使得开发者能够包括如上和在此在下面所述的其他选项。例如，开发者可以实现一应用，该应用允许用户创建图标或改变命令使其变成感测激活的。在另一个示例中，开发者可以实现图标的短暂预览，作为对用户的提示。因此，不论是否示出了表示运动和/或定向的图标，可以使用短暂预览来临时示出图标，临时生成图标的较大图像等。
在启用选项而使得用户进行控制的情况下，开发者可以初始地使模板与特定应用和该应用的命令相关联。例如，在给定应用或更具体地该应用的命令的情况下，手势模板可以与之相关联。因此，当用户使得命令能够被感测激活时，可以从手势模板中进行选择。
可以将可用的运动、定向、识别事件等分类为集、子集、类类型（class type）等，诸如摇动类型、倾斜类型、定向类型等。对于选择应用指定的模板可以与可用的感测输入的分类或子集相关联。因此，开发者环境可以进一步使得感测输入的特定集与预定应用相关联。因此，可以根据与用于应用的模板和类类型的相关联来针对应用过滤运动、定向、图标等的菜单。
应当注意，CAM120可以包括其他功能。在第一示例中，CAM120可以包括用于帮助用户的特征。例如，可以使用音频提示来向用户通知关于哪些运动和/或定向与激活命令相关联。在这样的特征中，音频提示可以播放语音文件，该语音文件陈述与动作相关联的运动和/或定向。因此，在第一情形下，当用户物理地执行运动和/或定向时，语音文件可以陈述被执行的运动和/或定向，例如用作用户将执行期望的动作的检查。在第二情形下，当用户选择图标时，语音文件可以陈述与图标相关联的运动和/或定向。应当注意，图标还可以包括运动和/或定向的图形写入指示。
还应当注意，MU100可以包括其他传感器，其他传感器确定其他感测条件，诸如环境、生物、电磁等识别事件。因此，CAM120可以进一步将这些其他感测的条件视作用于执行动作的因素。应当注意，可以与运动和/或定向传感器115合作地或单独地使用这些其他感测条件来执行动作。
应当进一步注意，MU100可以包括要与运动和/或定向合作地使用的其他输入接收器，诸如鼠标、指示笔、触摸输入等。例如，特定图标可以示出需要与运动和/或定向相结合的其他输入以激活命令。在特定示例中，图标145指示当MU100面向北时执行动作。图标145还可以包括选项，其中，要求用户利用例如触摸输入来按住在界面上的命令按钮140，使得当按下命令按钮140并且MU100面向北时，执行动作。在另一个示例中，其他输入以及运动和/或定向的合作使用可以是动态的。即，在特定示例中，运动和/或定向可以仅在执行/感测另一个动作之后变得可用于激活命令。
MU100可以是用户友好的，使得可以根据用户偏好来启用/禁用特定传感器。例如，如果MU100处于经历可能与要采取的期望动作发生干扰的多个运动或定向事件的环境中时，用户可以禁用运动和/或定向传感器115，并且仅启用其他传感器（例如，鼠标/指示笔）。在另一个示例中，如果要求用户单手使用MU100，则用户可以禁用其他传感器，并且仅启用运动和/或定向传感器115。
如上所述，诸如鼠标/指示笔的其他输入接收器可以与MU100一起使用。CAM120可以包括与这些其他输入接收器相结合地使用的其他特征。例如，其他输入接收器可以实现图标的短暂预览，作为对用户的提示。在这样的实施例中，可以短暂地放大图标以向用户提供图标的较好视图。如上所述，可以对用户播放音频提示，以指示与该图标相关联的运动和/或定向。
图3示出了根据示例性实施例的指示激活命令的运动和/或定向的方法300。方法300可以假定用户界面的所显示的图标已经与运动和/或定向以及动作相关联。方法300还可以假定仅运动和/或定向用于执行动作。然而，应当注意，其他输入接收器和/或因素也可以与动作的执行相关联。将参考图1的MU100和图2的显示器125来描述方法300。
在步骤305中，处理器105确定将显示的用户界面。如上所述，处理器105执行常规功能，诸如MU100的应用/程序。该应用可以包括允许用户键入输入的用户界面。在步骤310中，处理器105确定将由用户界面显示的命令。例如，如图2的显示器125中所示，命令可以包括第一控制130、第二控制140、返回命令150、归位命令160和登录命令170。
在步骤315中，确定命令中的任何一个是否是运动和/或定向激活的。如上所述，MU100可以被配置有运动和/或定向传感器115，该运动和/或定向传感器115接收可以用于指示是否要执行动作的传感器数据。MU100还可以被配置为使得用户能够使运动和/或定向与动作相关联，并且/或者具有与动作相关联的运动和/或定向的默认设置。如果至少一个命令是运动和/或定向激活的，则方法300继续到步骤320。
在步骤320中，处理器105访问CAM120以确定与相应的命令相关联的运动和/或定向。参考图2的显示器125，第一控制130具有使MU100向右滚动的相关联的运动；第二控制140具有使MU100面向北的相关联的运动；返回命令150具有使MU100向左摇动的相关联的运动；归位命令160具有使MU100上和下移动的相关联的运动；并且登录命令170具有个性化运动的相关联的运动。
在步骤325中，处理器105访问CAM120以确定与相应的命令的相关联的运动和/或定向相关联的图标。参考图2的显示器125，用于第一控制130的上述运动与图标135相关联；用于第二控制140的上述运动与图标145相关联；用于返回命令150的上述运动与图标155相关联；用于归位命令160的上述运动与图标165相关联；并且用于登录命令170的上述运动与图标175相关联。
在步骤330中，处理器105准备具有各自的图标的命令的显示。因此，在步骤335中，显示器125示出包括具有相关联的图标的命令的用户界面。即，示出在图2中所示的显示器125。
应当注意，用户界面可以包括不具有与之相关联的运动和/或定向的命令。即，可以使用诸如触摸数据、鼠标、指示笔等的任何其他输入项目来激活要由用户界面示出的特定命令。当仅在显示器125上示出这些命令时，方法300在确定步骤315中考虑这样的命令。
示例性实施例提供了在移动单元上利用运动和/或定向激活的命令的改善的手段。当移动单元的显示器示出包括多个命令的用户界面时，使用指示被执行以激活命令的运动和/或定向的图标来进一步显示每一个运动和/或定向激活的命令。图标示出了用户直观图像，以使得用户能够确定运动和/或定向。该移动单元可以进一步被配置有其他提示，以向用户指示与激活命令相关联的运动和/或定向。
对于本领域内的技术人员明显的是，在不偏离本发明的精神和范围的情况下，可以在本发明中进行各种修改。因此，希望本发明涵盖本发明的修改和变化，只要它们落在在所附的权利要求及其等同内容的范围内。
权利要求书(按照条约第19条的修改)
1.一种移动单元，包括：
处理器；
存储器；以及
显示器，所述显示器示出包括多个命令的用户界面，所述多个命令中的每个感测激活的命令用相应的图标来示出，所述相应的图标指示向所述感测激活的命令指配的所述移动单元的运动和定向中的至少一个，其中所指示的所述移动单元的运动和定向中的至少一个激活对应的感测激活的命令。
2.根据权利要求1所述的移动单元，其中，所述感测激活的命令与默认的所述移动单元的运动和定向中的至少一个和相应的默认图标相关联。
3.根据权利要求1所述的移动单元，其中，所述感测激活的命令的一些的选择与个性化的运动和个性化的图标相关联。
4.根据权利要求1所述的移动单元，进一步包括：
扬声器，所述扬声器播放指示所述移动单元的所述运动和所述定向中的至少一个的音频提示。
5.根据权利要求1所述的移动单元，进一步包括：
传感器，所述传感器确定所述移动单元的所述运动和所述定向中的至少一个。
6.根据权利要求5所述的移动单元，其中，所述传感器是加速度计、触摸屏检测器、磁力计、陀螺仪及其组合中的一个。
7.根据权利要求5所述的移动单元，进一步包括：
至少一个其他输入接收装置。
8.根据权利要求7所述的移动单元，其中，所述传感器和所述至少一个其他输入接收装置用于激活相应的运动激活的命令。
9.根据权利要求3所述的移动单元，其中，所述个性化的运动是从所述移动单元的可用的运动和定向的列表中选择的和由用户创建的中的一个，并且其中，所述个性化图标是从可用图标的列表中选择的和由用户创建的中的一个。
10.根据权利要求1所述的移动单元，其中，所述图标是用户创建的。
11.一种方法，包括：
接收使命令感测激活的选择；
接收用于所述命令的所述移动单元的运动和定向中的至少一个和用于所述移动单元的所述运动和所述定向中的至少一个的感测图标的选择，其中所述移动单元的所选择的运动和定向中的至少一个激活对应的命令；以及
创建用户界面，所述用户界面包括所述命令，所述命令的命令图标用所述感测图标来示出。
12.根据权利要求11所述的方法，其中，从可用运动的列表中选择所述移动单元的所述运动和定向中的至少一个，并且从可用图标的列表中选择所述感测图标。
13.根据权利要求12所述的方法，其中，所述移动单元的所述运动和定向中的至少一个的选择是从手势模板中选取的。
14.根据权利要求11所述的方法，进一步包括：
生成所述感测图标的预览。
15.根据权利要求11所述的方法，其中，根据在所述用户界面上的其他感测激活的命令来过滤所述移动单元的所述运动和所述定向中的至少一个的选择。
16.根据权利要求12所述的方法，其中，所述移动单元的所述运动和所述定向中的至少一个被分类为类类型。
17.根据权利要求17所述的方法，其中，所述感测图标与所述类类型中的相应一个相关联。
18.根据权利要求18所述的方法，其中，根据用于所述移动单元的所述运动和所述定向中的至少一个和所述感测图标的选择的所述类类型来过滤可用运动的列表和可用图标的列表。
19.根据权利要求11所述的方法，其中，所述用户界面包括至少一个其他感测激活的命令，所述至少一个其他感测激活的命令中的每一个用相应的其他图标来示出。
20.一种移动单元，包括：
处理器；
存储器；以及
显示器部件，所述显示器部件用于示出包括多个命令的用户界面，所述多个命令中的每个感测激活的命令用相应的图标来示出，所述图标指示向所述感测激活的命令指配的所述移动单元的运动和定向中的至少一个，其中所指示的所述移动单元的运动和定向中的至少一个激活对应的感测激活的命令。

Claims (20)

1.一种移动单元，包括：
处理器；
存储器；以及
显示器，所述显示器示出包括多个命令的用户界面，所述多个命令中的每个感测激活的命令用相应的图标来示出，所述相应的图标指示向所述感测激活的命令指配的运动和定向中的至少一个。
2.根据权利要求1所述的移动单元，其中，所述感测激活的命令与默认的运动和定向中的至少一个和相应的默认图标相关联。
3.根据权利要求1所述的移动单元，其中，所述感测激活的命令的一些的选择与个性化的运动和个性化的图标相关联。
4.根据权利要求1所述的移动单元，进一步包括：
扬声器，所述扬声器播放指示所述运动和所述定向中的至少一个的音频提示。
5.根据权利要求1所述的移动单元，进一步包括：
传感器，所述传感器确定所述运动和所述定向中的至少一个。
6.根据权利要求5所述的移动单元，其中，所述传感器是加速度计、触摸屏检测器、磁力计、陀螺仪及其组合中的一个。
7.根据权利要求5所述的移动单元，进一步包括：
至少一个其他输入接收装置。
8.根据权利要求7所述的移动单元，其中，所述传感器和所述至少一个其他输入接收装置用于激活相应的运动激活的命令。
9.根据权利要求3所述的移动单元，其中，所述个性化的运动是从可用的运动和定向的列表中选择的和由用户创建的中的一个，并且其中，所述个性化图标是从可用图标的列表中选择的和由用户创建的中的一个。
10.根据权利要求1所述的移动单元，其中，所述图标是用户创建的。
11.一种方法，包括：
接收使命令感测激活的选择；
接收用于所述命令的运动和定向中的至少一个和用于所述运动和所述定向中的至少一个的感测图标的选择；以及
创建用户界面，所述用户界面包括所述命令，所述命令的命令图标用所述感测图标来示出。
12.根据权利要求11所述的方法，其中，从可用运动的列表中选择所述运动和定向中的至少一个，并且从可用图标的列表中选择所述感测图标。
13.根据权利要求12所述的方法，其中，所述运动和定向中的至少一个的选择是从手势模板中选取的。
14.根据权利要求11所述的方法，进一步包括：
生成所述感测图标的预览。
15.根据权利要求11所述的方法，其中，根据在所述用户界面上的其他感测激活的命令来过滤所述运动和所述定向中的至少一个的选择。
16.根据权利要求12所述的方法，其中，所述运动和所述定向中的至少一个被分类为类类型。
17.根据权利要求17所述的方法，其中，所述感测图标与所述类类型中的相应一个相关联。
18.根据权利要求18所述的方法，其中，根据用于所述运动和所述定向中的至少一个和所述感测图标的选择的所述类类型来过滤可用运动的列表和可用图标的列表。
19.根据权利要求11所述的方法，其中，所述用户界面包括至少一个其他感测激活的命令，所述至少一个其他感测激活的命令中的每一个用相应的其他图标来示出。
20.一种移动单元，包括：
处理器；
存储器；以及
显示器部件，所述显示器部件用于示出包括多个命令的用户界面，所述多个命令中的每个感测激活的命令用相应的图标来示出，所述图标指示向所述感测激活的命令指配的运动和定向中的至少一个。
CN201180042166.4A 2010-08-31 2011-08-15 用于传感器使能的用户界面的自动化控制 Active CN103097979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/872,187 US9164542B2 (en) 2010-08-31 2010-08-31 Automated controls for sensor enabled user interface
US12/872,187 2010-08-31
PCT/US2011/047713 WO2012030509A1 (en) 2010-08-31 2011-08-15 Automated controls for sensor enabled user interface

Publications (2)

Publication Number Publication Date
CN103097979A true CN103097979A (zh) 2013-05-08
CN103097979B CN103097979B (zh) 2016-08-03

Family

ID=44513195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180042166.4A Active CN103097979B (zh) 2010-08-31 2011-08-15 用于传感器使能的用户界面的自动化控制

Country Status (7)

Country Link
US (1) US9164542B2 (zh)
EP (1) EP2612213A1 (zh)
KR (1) KR101453703B1 (zh)
CN (1) CN103097979B (zh)
CA (1) CA2809297C (zh)
RU (1) RU2571606C2 (zh)
WO (1) WO2012030509A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8791297B2 (en) 2010-06-29 2014-07-29 Basf Se Process for preparing formic acid by reaction of carbon dioxide with hydrogen
JP5768361B2 (ja) * 2010-11-22 2015-08-26 ソニー株式会社 送信装置、受信装置、コンテンツ送受信システム
US8893054B2 (en) * 2010-12-08 2014-11-18 At&T Intellectual Property I, L.P. Devices, systems, and methods for conveying gesture commands
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140006263A1 (en) * 2012-06-28 2014-01-02 Daniel Ray Townsend System, Software, and Method For Design And Personalization Of Content By Users
KR102028175B1 (ko) * 2012-07-30 2019-10-04 삼성전자주식회사 벤딩 인터렉션 가이드를 제공하는 플렉서블 장치 및 그 제어 방법
CN103777881B (zh) * 2012-10-24 2018-01-09 腾讯科技（深圳）有限公司 一种触控设备页面控制方法及系统
FR2999316A1 (fr) * 2012-12-12 2014-06-13 Sagemcom Broadband Sas Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
US9307129B2 (en) 2013-05-07 2016-04-05 Lg Electronics Inc. Terminal case, mobile terminal, and mobile terminal assembly including the terminal case and the mobile terminal
KR101515288B1 (ko) 2013-06-05 2015-04-24 엘지전자 주식회사 이동 단말기 어셈블리
TWI511029B (zh) * 2014-01-28 2015-12-01 Acer Inc 觸控顯示裝置及其操作方法
US10838618B2 (en) * 2014-03-13 2020-11-17 Fuji Corporation Work machine display device
KR102244856B1 (ko) * 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
MX2016013962A (es) * 2014-04-24 2017-04-27 Idis Tech Ip Ltd Aplicacion de mensajeria privada y metodos asociados.
EP3002669A1 (en) * 2014-09-30 2016-04-06 Advanced Digital Broadcast S.A. System and method for controlling a virtual input interface
CN106095306B (zh) * 2016-05-31 2019-03-26 Oppo广东移动通信有限公司 一种移动终端的传感器控制方法、装置及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002088853A1 (en) * 2001-04-26 2002-11-07 Caveo Technology, Llc Motion-based input system for handheld devices
US20070177803A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc Multi-touch gesture dictionary
US20100070926A1 (en) * 2008-09-18 2010-03-18 Microsoft Corporation Motion activated content control for media system
WO2010076772A2 (en) * 2008-12-30 2010-07-08 France Telecom User interface to provide enhanced control of an application program

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US6072467A (en) * 1996-05-03 2000-06-06 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Continuously variable control of animated on-screen characters
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7600192B1 (en) * 1998-11-30 2009-10-06 Sony Corporation Method of zoom and fade transitioning between layers of information screens
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6668177B2 (en) * 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
DE602005019162D1 (de) 2004-07-07 2010-03-18 Koninkl Philips Electronics Nv Tragbare vorrichtung
RU2391696C2 (ru) * 2004-09-24 2010-06-10 Нокиа Корпорейшн Способ приема вводов от пользователя электронного устройства
EP1677182B1 (en) * 2004-12-28 2014-04-23 Sony Mobile Communications Japan, Inc. Display method, portable terminal device, and display program
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
US20090079701A1 (en) * 2007-09-25 2009-03-26 Grosskopf Jr George Device and Method for Displaying Data and Receiving User Input
US20090276730A1 (en) 2008-03-04 2009-11-05 Alexandre Aybes Techniques for navigation of hierarchically-presented data
US8295879B2 (en) * 2008-05-30 2012-10-23 Motorola Mobility Llc Devices and methods for initiating functions based on movement characteristics relative to a reference
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20100042954A1 (en) * 2008-08-12 2010-02-18 Apple Inc. Motion based input selection
US9248376B2 (en) * 2008-09-30 2016-02-02 Nintendo Co., Ltd. Computer-readable storage medium having stored game program therein, and game apparatus
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
FR2938097B1 (fr) * 2008-10-30 2010-12-31 Oberthur Technologies Carte a microcircuit, dispositif electronique associe a une telle carte, et procede de commande d'un tel dispositif electronique
KR101737829B1 (ko) * 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8543946B2 (en) * 2009-06-29 2013-09-24 Sharp Laboratories Of America, Inc. Gesture-based interface system and method
US9519417B2 (en) * 2009-08-31 2016-12-13 Twin Harbor Labs, LLC System and method for orientation-based object monitoring and device for the same
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002088853A1 (en) * 2001-04-26 2002-11-07 Caveo Technology, Llc Motion-based input system for handheld devices
US20070177803A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc Multi-touch gesture dictionary
US20100070926A1 (en) * 2008-09-18 2010-03-18 Microsoft Corporation Motion activated content control for media system
WO2010076772A2 (en) * 2008-12-30 2010-07-08 France Telecom User interface to provide enhanced control of an application program

Also Published As

Publication number Publication date
CA2809297C (en) 2016-07-05
EP2612213A1 (en) 2013-07-10
US9164542B2 (en) 2015-10-20
CA2809297A1 (en) 2012-03-08
US20120054620A1 (en) 2012-03-01
KR101453703B1 (ko) 2014-10-22
CN103097979B (zh) 2016-08-03
WO2012030509A4 (en) 2012-04-26
KR20130065702A (ko) 2013-06-19
RU2571606C2 (ru) 2015-12-20
RU2013114377A (ru) 2014-10-10
WO2012030509A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
CN103097979A (zh) 用于传感器使能的用户界面的自动化控制
EP2487555B1 (en) Operating method of terminal based on multiple inputs and portable terminal supporting the same
US8443302B2 (en) Systems and methods of touchless interaction
EP2442224B1 (en) Method and apparatus for selecting menu item
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US20140267022A1 (en) Input control method and electronic device supporting the same
EP2741207B1 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
US20140354553A1 (en) Automatically switching touch input modes
KR20110041915A (ko) 데이터 표시 방법 및 그를 수행하는 단말기
KR20140097902A (ko) 햅틱 패턴을 생성하는 휴대 단말 및 방법
CN107924282A (zh) 针对同时作用中应用程序的动态控制方案
CN102915183A (zh) 使用触摸输入的多单元格选择
MX2014002955A (es) Entrada de formula para dispositivos de presentacion limitada.
CN103164156A (zh) 便携式终端的触摸输入方法和设备
KR20140089224A (ko) 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR20140119608A (ko) 개인 페이지 제공 방법 및 이를 위한 디바이스
KR20150012396A (ko) 입력 처리 방법 및 그 전자 장치
CN103324409A (zh) 在电子装置中提供快捷服务的设备和方法
US20150067570A1 (en) Method and Apparatus for Enhancing User Interface in a Device with Touch Screen
US20140168106A1 (en) Apparatus and method for processing handwriting input
JP2013161181A (ja) 表示制御装置および表示制御装置の制御方法
CN103744596A (zh) 显示控制方法和电子设备
US20240361981A1 (en) Voice-based user interface system, method and device
KR20170048675A (ko) 대기 모드 상태에서 게임을 바로 실행하는 이동통신 단말기 및 방법, 이 방법을 실행시키기 위하여 매체에 저장된 프로그램
KR102205235B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: American New York

Patentee after: Symbol Technology Co.,Ltd.

Address before: American New York

Patentee before: SYMBOL TECHNOLOGIES, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160902

Address after: American New York

Patentee after: SYMBOL TECHNOLOGIES, Inc.

Address before: Illinois State

Patentee before: MOTOROLA SOLUTIONS, Inc.