CN102939574A - 字符选择 - Google Patents

字符选择 Download PDF

Info

Publication number
CN102939574A
CN102939574A CN2011800282731A CN201180028273A CN102939574A CN 102939574 A CN102939574 A CN 102939574A CN 2011800282731 A CN2011800282731 A CN 2011800282731A CN 201180028273 A CN201180028273 A CN 201180028273A CN 102939574 A CN102939574 A CN 102939574A
Authority
CN
China
Prior art keywords
character
posture
input
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800282731A
Other languages
English (en)
Inventor
M·D·施韦辛格
J·埃尔斯布里
M·C·米勒
G·西蒙内特
S·I·A·N·赫德
王慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102939574A publication Critical patent/CN102939574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

描述了字符选择技术。在实现中，字符的列表由计算设备输出用于在用户界面中显示。使用相机检测为用于选择字符中的至少一个的姿势的输入由计算设备识别。

Description

字符选择
背景技术
用户可以用来与计算设备交互的设备的数量一直在增长。例如，用户可在典型起居室中面对大量的用于控制电视、游戏控制台、碟片播放器、接收器等的远程控制设备。因此，与这些设备交互可变得相当吓人，因为不同的设备包括不同的按钮配置并与不同的用户接口交互。
发明内容
描述了字符选择技术。在实现中，字符的列表由计算设备输出以用于在用户界面中显示。使用相机被检测为用于选择字符中的至少一个的姿势的输入由计算设备识别。
在实现中，使用相机被检测为用于选择由计算设备显示的多个字符中的至少一个的姿势的输入由计算机设备识别。使用所选择的多个字符中的至少一个执行搜索。
在实现中，一个或多个计算机可读介质包括指令，这些指令响应于在计算设备上的执行而使得计算设备执行包括以下的操作：识别使用相机检测的第一输入，该第一输入涉及作为导航姿势以在由计算设备的显示设备所显示的字符列表中导航的手的第一运动；识别使用该相机检测的第二输入，该第二输入涉及作为缩放姿势以缩放字符的显示的手的第二运动；以及识别使用该相机检测的第三输入，该第三输入涉及作为选择姿势以选择字符中的至少一个的手的第三运动。
提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
参考附图来描述具体实施例。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1是可用于采用此处所描述的字符选择技术的示例实现中的环境的图示。
图2示出了示出在其中多个设备通过中央计算设备互联的环境中实现的图1的字符选择模块的示例系统。
图3是示例实现中的系统的图示，其中初始搜索屏幕在被配置为接收字符作为用于执行搜索的输入的显示设备中输出。
图4是示例实现中的系统的图示，其中示出涉及在图3的字符列表中导航的姿势。
图5是示例实现中的系统的图示，其中示出涉及缩放图4的字符列表的姿势。
图6是示例实现中的系统的图示，其中示出涉及从图5的列表中选择字符以执行搜索的姿势。
图7是示例实现中的系统的图示，其中示出具有被配置为组基准的字符的列表。
图8是示例实现中的系统的图示，其中示出字符的非线性列表的示例。
图9是描述示例实现中的过程的流程图，其中使用姿势来导航、缩放和选择字符。
图10示出可被实现为参考图1-8来描述的任何类型的便携式和/或计算机设备以实现本文描述的字符选择技术的实施例的示例设备的各种组件。
具体实施方式
概述
用来输入字符以例如执行搜索的传统技术通常很麻烦。因此，传统技术可能会干扰用户对设备的体验。
描述了字符选择技术。在实现中，字母和/或其它字符的列表由计算设备显示给用户。用户可使用姿势（例如，手动作）、控制器或其它设备（例如，物理键盘）来在列表中导航并选择第一字符。在选择了第一字符后，计算设备可例如实时地输出搜索结果以包括含有第一字符的项。
用户随后可使用姿势、控制器或其它设备来选择第二字符。在选择了第二字符后，搜索可再次被细化以包括包含第一和第二字符的项。以此方式，可在字符被选择时实时地执行搜索，以便用户可以迅速地定位用户正在找的项。另外，对字符的选择可以很直观，因为可使用姿势来导航和选择字符而无需触摸计算设备的设备，例如，通过使用相机检测手的动作。对字符的选择可用于各种目的，诸如输入指定字符（例如，“w”或“.com”）以及发起由字符所表示的操作，例如“全部删除”、“清除”等等。字符选择和相关技术（例如缩放）的进一步讨论可相关以下各节找到。
在以下讨论中，首先描述可用于采用本文所述字符选择技术的示例环境。随后描述技术和过程的示例图示，该技术和过程可在示例环境中以及在其他环境中采用。因此，该示例环境并不限于执行示例技术和过程。同样，该示例技术和过程并不限于在示例环境中的实现。
示例环境
图1是可用于采用字符选择技术的示例实现中的环境100的图示。所示的环境100包括可通过各种方式来配置的计算设备102的示例。例如，计算设备102可被配置为传统计算机（例如，台式个人计算机、膝上型计算机等）、移动站、娱乐设备、如所示地通信耦合到显示设备104（例如电视）的游戏控制台、无线电话、上网本等，如在图2中进一步描述的。因此，计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备（例如，个人计算机、游戏控制台）到具有有限存储器和/或处理资源的低资源设备（例如，常规机顶盒、手持式游戏控制台）。计算设备102还可与使得计算设备102执行一个或多个操作的软件相关。
计算设备102被示为包括输入/输出模块106。输入/输出模块106表示与由计算设备102识别输入和/或提供输出相关的功能。例如，输入/输出模块106可被配置成从键盘、鼠标接收输入以标识姿势并且使得对应于姿势的操作得以执行，等等。输入可由输入/输出模块106以各种不同的方式来检测。
输入/输出模块106可被配置为通过与硬件设备诸如所示的控制器108的触摸交互接收一个或多个输入。触摸交互可涉及按压按钮、移动操纵杆、在跟踪垫上移动、使用显示设备104的触摸屏（例如检测用户的手指或指示笔）等等。触摸输入的识别可被输入/输出模块106用来与计算设备102输出的用户界面交互，诸如与游戏交互、与应用交互、浏览因特网、变更计算设备102的一个或多个设置等等。还可构想涉及与设备触摸交互的各种其它硬件设备。这类硬件设备的示例包括光标控制设备（例如鼠标）、远程控制（例如电视遥控器）、移动通信设备（例如被配置为控制计算设备102的一个或多个操作的无线电话），和其它涉及触摸用户或物体的一部分的设备。
输入/输出模块106还可被配置为提供可识别不涉及触摸的交互的自然用户界面（NUI）。例如，计算设备102可包括NUI输入设备110。NUI输入设备110可通过各种方式配置为不需要用户触摸特定设备而检测输入，诸如通过话筒的使用识别音频输入。例如，输入/输出模块106可被配置为执行语音识别以识别特定发言（例如，讲出的命令）以及识别提供了发言的特定用户。
在另一示例中，NUI输入设备110可被配置为通过使用相机识别姿势、呈现的物体、图像等等。例如，相机可被配置为包括多个透镜从而使得不同的角度可被捕捉。然后可使用不同的角度来确定到NUI输入设备110的相对距离以及由此到NUI输入设备110的相对距离的变更。不同的角度可由计算设备102用来作为深度感知。图像可由输入/输出模块106用来提供各种其它功能，诸如用于标识特定用户（例如通过面部识别）、物体等的技术。
输入/输出模块106可将NUI输入设备110用来执行人体的特定点的骨架映射连同特征提取（例如，48骨架点）以跟踪一个或多个用户（例如，四个用户同时地）从而执行动作分析。例如，NUI输入设备110可捕捉由输入/输出模块106分析的图像以识别用户进行的一个或多个动作，包括使用了什么身体部位进行该动作以及哪个用户进行了该动作。通过对用户的手112的一个或多个手指的定位和运动和/或用户的手112作为整体的运动的识别示出了示例。动作可由输入/输出模块106标识为姿势以发起相应的操作。
可识别各种不同类型的姿势，诸如从单个类型的输入（例如手势）识别的姿势以及涉及多个类型的输入的姿势，例如手的动作和基于用户身体的一部分的定位的姿势。因而，输入/输出模块106可通过识别和利用输入之间的区分来支持各种不同的姿势技术。应当注意，通过在自然用户界面（NUI）的输入之间进行区分，通过这些输入中的单独每一个而变得可能的姿势的数量也增加。例如，尽管运动可能是相同的，但可使用不同类型的输入来指示不同的姿势（或对于类似命令的不同参数）。因此，输入/输出模块106可提供支持各种不涉及触摸的用户交互的自然用户界面NUI。
因此，尽管以下讨论可描述输入的特定示例，但在实例中也可使用不同类型的输入而不偏离其精神和范围。此外，尽管在以下讨论中的实例中姿势被示为使用NUI来输入，但姿势可由各种不同的设备使用各种不同的技术来输入，诸如采用平板计算机的触摸屏功能。
计算设备102还被示为包括表示字符选择模块114，该字符选择模块114表示相关于为输入选择字符的功能。例如，字符选择模块114可被配置为在由显示设备104显示的用户界面中输出字符的列表116。用户可从列表116中选择字符，例如，使用控制器108、由用户的手112作的姿势等。所选择的字符118被显示在用户界面中，并且在此实例中还被用作搜索的基础。搜索的结果120也在显示设备104上的用户界面中输出。
各种不同的搜索可由字符选择模块114发起，既可在计算设备102本地又可远程地通过网络发起。例如，可执行搜索对媒体（例如，对如所示的电视节目和电影、音乐、游戏等等）执行、执行以用于搜索web（例如，如所示的通过web搜索找到的“Muhammad Ali对Joe Frazier”的搜索结果）等等。另外，尽管描述了搜索，但可为了各种其它原因而输入字符，诸如输入用户名和密码、写文本、编写消息、输入支付信息、投票等等。这些和其它字符选择技术的进一步讨论可相关以下各节找到。
图2示出了包括参考图1描述的计算设备102的示例系统200。示例系统200实现了用于当在个人计算机（PC）、电视机设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境。服务和应用在所有三个环境中基本相似地运行，以便当在使用应用、玩视频游戏、看视频等时从一个设备转换到下一设备时得到共同的用户体验。
在示例系统200中，多个设备通过中央计算设备互联。中央计算设备对多个设备而言可以是本地的，或者可以位于多个设备的远程。在一个实施例中，中央计算设备是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。在一个实施例中，该互联体系结构使得功能能够跨多个设备递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力，且中央计算设备使用一平台来使得为设备特制且又对所有设备共同的体验能被递送到该设备。在一个实施例中，创建目标设备类，且为通用设备类定制体验。设备类可由设备的物理特征、用途类型、或其他共同特性来定义。
在各实现中，客户端设备102可采取各种不同配置，诸如用于计算机202、移动204、和电视机206的用途。这些配置中的每一个包括可具有大体不同的构造和能力的设备，并且因而计算设备102可根据不同的设备类中的一个或多个来配置。例如，计算设备102可被实现为计算机202设备类，该计算机设备类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备102还可被实现为移动204设备类，该移动设备类包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等的移动设备。计算设备102还可被实现为电视206设备类，该电视设备类包括在休闲观看环境中具有或连接到一般更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。此处所描述的字符选择技术可由客户端设备102的这些各种配置来支持，且不限于在本文描述的字符选择技术的各具体示例。
云208包括和/或表示内容服务212的平台210。平台210抽象云208的硬件（如，服务器）和软件资源的底层功能。内容服务212可包括可在计算机处理在位于客户端设备102远程的服务器上执行时被利用的应用和/或数据。内容服务212可作为因特网上和/或通过诸如蜂窝或Wi-Fi网络之类的订户网络上的服务来提供。
平台210可抽象资源和功能以将计算设备102与其他计算设备相连接。平台210还可用于抽象资源的缩放以向经由平台210实现的内容服务212所遇到的需求提供对应的缩放级别。因此，在互连设备实施例中，字符选择模块114的功能的实现可分布在系统200上。例如，字符选择模块114可部分地在计算设备102上以及经由抽象云208的功能的平台210来实现。
一般而言，此处描述的任何功能可使用软件、固件、硬件（例如，固定逻辑电路）、或这些实现的组合来实现。此处使用的术语“模块”、“功能”和“逻辑”一般表示软件、固件、硬件或其组合。在软件实现的情况下，模块、功能，或逻辑表示当在处理器（例如，一个或多个CPU）上执行时执行指定任务的程序代码。程序代码可被储存在一个或多个计算机可读存储器中。下面所描述的字符选择技术的特征是平台无关的，意味着本发明的技术可以在具有各种处理器的各种商业计算平台上实现。
字符选择实现示例
图3示出示例实现中的系统300，其中初始搜索屏幕在被配置为接收字符作为执行搜索的输入的显示设备中输出。在示出的示例中，显示了图1的字符列表116。在列表116中，字符“A”和“Z”比列表116中其它字符显示得大些，以向用户给予关于列表116中字母开头和结束的指示。列表116还包括指示“空格”和“删除”的字符，这些字符也被作为列表116的成员对待。
当列表116中的字符参与进来时，整个列表116可变得参与进来。在一个实现中，可将参与区定义为靠近列表中的字符的区域，诸如在穿过一组字符中的每一个的中心线和在它上面的定义的区域之间。以此方式，用户可在多个列表之间导航。
由字符选择模块114输出的用户界面还包括用于选择其它非字母字符的功能。例如，如所示的用户界面包括按钮306用于选择符号，诸如“&”“$”和“？”。例如，用户可选择此按钮306以使得符号列表输出，通过该符号列表的输出用户可使用以下描述的技术导航。类似地，用户可选择按钮308以输出数字字符的列表。用户可通过各种方式与字符交互，其示例可相关于以下附图找到。
图4示出示例实现中的系统400，其中示出涉及在图3的字符列表中导航的姿势。在图4的用户界面中，对应于由计算设备102为用户的手112注册的当前位置的指示402由字符选择模块114输出。
例如，计算设备102的图1的NUI输入设备110可使用相机来检测用户手的位置并提供输出以用于在用户界面中输出，该输出指示用户的手112的位置与用户界面中的“哪里”相关。以此方式，指示402可提供反馈给用户以在用户界面中导航。也可构想各种其它示例，诸如对用户界面中与用户的手112的位置相对应的区域给予“焦点”。
在此示例中，与用户的手112的位置相对应的字符节404被显示为凸出，由此向用户给予列表116的区域的预览，用户当前正与该列表116交互。以此方式，用户可使用用户的手112的动作在列表116中水平地导航，以定位列表中想要的字符。此外，节404还可提供关于列表116中“用户定位于何处”的反馈以选择想要的字符。
例如，每个显示的字符可具有两个与它相关联的范围，诸如外部接近范围和内部咬合范围，这两个范围可使得字符选择模块114在用户与这些范围内的字符交互时相应地响应。例如，当用户的手112的手指在外部接近范围内时，可向相对应的字符给予焦点，例如，如所示地扩展大小、变更颜色、突出显示等等。当用户手的手指在字符的咬合范围（可被定义为涉及显示设备104上比字符的显示大的区域）内时，指示402在显示设备104上的显示可咬合至相对应的字符的显示内。还可构想其它技术以向用户给予更详细的列表116的视图，其示例将相对于以下附图描述。
图5示出示例实现中的系统500，其中示出涉及缩放图4的字符列表116的姿势。在此示例中，计算设备102的字符选择模块114检测用户的手112向计算设备112的运动，例如，接近图1的NUI输入设备的相机。这在图5中通过与用户的手112相关联的虚线和箭头示出。
根据此输入，字符选择模块114识别缩放姿势并相应地将列表116的一部分显示为如图5中扩展的，这对比图3和4中示出的非扩展视图要容易看见。以此方式，用户可更详细地查看列表116的节并以更有效的方式使用比较不精确的姿势从列表116中进行选择。例如，用户可随后使用水平姿势在扩展的列表116中导航，而不用展示在与图3和4的列表的非扩展视图交互时会展示的控制粒度。
在所示的示例中，指示402和列表116的节404的“凸出”的字母相遇。因此，字符选择模块114可识别出用户参与了列表116并显示根据此参与而可许可的相应导航，如通过围绕“E”的圆圈和指示可许可的导航方向的相应箭头所指示的502。以此方式，用户的手112可在扩展的列表116中移动以选择字母。
在至少一些实施例中，当用户的手112停留在初始参与平面之上时，列表116的显示保持在缩放的状态中。此外，对列表116的显示应用的缩放的量可基于用户的手112对计算设备102（例如图1的NUI输入设备）接近的距离的量而改变。以此方式，可移动用户的手以更靠近或远离计算设备102从而控制对由计算设备102输出的用户界面应用的缩放的量，例如，缩小或放大。用户可随后选择字符中的一个或多个以用作计算设备102的输入，其进一步相关讨论可相关于以下附图找到。
图6示出示例系统600，其中示出涉及从图5的列表中选择字符以执行搜索的姿势。在此示例中列表116被显示为缩放的视图，如之前相关于图5所述，尽管选择也可在其它视图中执行，诸如图3和4中示出的视图。
在此示例中，用户的手112的垂直运动（例如，在此示例中如箭头所示的“向上”）被识别为选择了与用户的手112的当前位置相对应的字符（例如，字母“E”）。通过如之前相关于图5所述地使用示出可许可导航的圆圈和箭头，字母“E”还被指示502为具有焦点。还可采用各种其它技术来选择字符，例如，“推”向显示设备、保持光标在物体之上一段预定义的时间等等。
字符的选择使得字符选择模块114显示所选择的字符602以提供关于选择的反馈。另外，在此实例中字符选择模块114被用来使用字符发起搜索，该搜索的结果604在用户界面中实时输出。用户可放下他们的手112以从列表116脱离，诸如浏览结果604。
如前所述，可执行各种不同的搜索，包括如此示例所示的图像和联系人、媒体、因特网搜索等等。此外，尽管描述了搜索，但可采用此处描述的技术输入字符用于各种目的，诸如编写消息、将数据输入到表中、提供账单信息、编辑文档等等。此外，尽管图3-6中示出一般线性列表，列表116可通过各种方式配置，其示例可相关于以下附图找到。
字符可以各种方式显示在显示设备104上用于用户选择。在图5的示例中，字符与它周围的字符显示得一样。或者，如图7的示例系统700所示，可将一个或多个字符放大，或给予称为组基准的其它特殊视觉对待。可使用组基准帮助用户迅速地在字符的较大列表中导航。如示例列表702所示，字母“A”到“Z”是扩展的字符列表的成员。对字母“A”、“G”、“O”、“U”和“Z”给予了特殊视觉对待，从而使得用户可迅速地定位列表702中想要的部分。还可构想其它示例，诸如在比其同侪大的相应字符后显示的选取框表示。
另外，尽管示出了字符的线性显示，但也可构想列表中的字符的各种其它配置。如图8的示例系统800所示，列表802可被配置为包括被安排在交错组中的字符。每个组可与以水平行显示的组基准相关联。还可构想其它非线性配置，诸如圆形安排。
此外，尽管描述了供基于拉丁的语言中使用字母字符，但字符选择模块114可支持各种其它语言。例如，字符选择模块114可支持音节书写技术（例如，假名），其中使用一个或多个字符写出音节而且搜索结果包括与音节相对应的可能的词。
此外，尽管之前的附图描述了使用姿势在列表116中导航，但也可使用各种其它技术来选择字符。例如，用户可与控制器108（例如，手动地处理控制器）、远程控制等交互以如前相关于姿势描述地导航、缩放和选择字符。
例如，用户可使用操纵杆、拇指垫或其它导航特性向左或向右导航。当如前相关于图4所述使用“凸出”技术处于焦点中时，显示设备104上的字母可变大。控制器108还可提供用于导航的附加能力，诸如用来删除或空格的按钮。
在一个实现中，用户在字符组之间移动并在各个字符之间导航。例如，用户可使用控制器108的右推按钮来开启在字符组之间的焦点转移。在另一示例中，右推按钮可开启穿过列表116的多个字符的移动，诸如用单个按钮按压移动穿过一次五个字符。另外，如果组中字符少于五个，按钮按压可将焦点移动到下一组。类似地，左推按钮可将焦点向左移动。还构想了各种其他示例。
示例过程
以下讨论描述了可利用上述系统和设备来实现的字符选择技术。这些过程中的每一流程的各方面可用硬件、固件、软件、或其组合来实现。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在下面讨论的某些部分，将参考图1的环境100和图2-8的系统200-800。
图9描绘示例实现中的过程900，其中使用姿势来导航、缩放和选择字符。字符列表由计算设备输出以在用户界面中显示（框902）。该列表可以各种方式配置，诸如线性和非线性、包括各种不同的字符（例如数字、符号、字母字符、来自非字母语言的字符）等等。
使用相机检测为用于在字符列表的显示中导航的姿势的输入由计算设备识别（框904）。例如，计算设备102的NUI输入设备110的相机可捕捉用户的手112的水平运动的图像。这些图像可随后由字符选择模块114作为基准使用以识别用于在列表116中导航的姿势。例如，姿势可涉及与列表的纵向轴平行的用户的手112的运动，例如，对列表116、列表702和列表802“水平”。
使用相机检测为用于缩放字符列表的显示的姿势的另一输入由计算设备识别（框906）。如上，字符选择模块114可使用由NUI输入设备110的相机捕捉的图像作为基准来识别朝向相机的运动。因此，字符选择模块114可使得列表中的字符的显示在显示设备104上的大小增加。此外，增加的量可至少部分地基于由字符选择模块114所检测到的朝向相机的运动的量。
使用相机检测为用于选择字符中的至少一个的姿势的又一输入由计算设备识别（框908）。继续上述示例，此示例中的姿势可垂直于列表的纵向轴，例如，对列表116、列表702和列表802“向上”。因此，用户可用他们的手水平地运动以在字符列表中导航、可朝向相机运动以缩放字符列表的显示、并向上移动以选择字符。在一个实现中，用户可向下移动他们的手以脱离与列表的交互。
使用所选择的字符执行搜索（框910）。例如，用户可指定要执行的特定搜索，例如，搜索对本地存储在计算设备102和/或通过网络可访问的媒体、搜索联系人列表、执行web搜索等等。如前所述，字符选择模块114还可提供字符选择技术用于各种其它目的，诸如编写消息、提供账单信息、编辑文档等等。因此，字符选择模块114可支持用于与用户界面中的字符交互的各种其它技术。
示例设备
图10示出可被实现为参考图1-8来描述的任何类型的便携式和/或计算机设备以实现本文描述的姿势技术的实施例的示例设备1000的各种组件。设备1000包括允许设备数据1004（例如，接收到的数据、正被接收的数据、安排用于广播的数据、数据的数据包等）的有线和/或无线通信的通信设备1002。设备数据1004或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备用户相关联的信息。存储在设备1000上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备1000包括经由其可接收任何类型的数据、媒体内容、和/或输入的一个或多个数据输入1006，诸如用户可选输入、消息、音乐、电视机媒体内容、记录的视频内容、以及从任何内容源和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
设备1000还包括通信接口1008，其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其他类型的通信接口中的任一个或多个。通信接口1008提供设备1000和通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过其来与设备1000传递数据。
设备1000包括一个或多个处理器1010（例如，微处理器、控制器等中的任一个），该处理器处理各种计算机可执行指令来控制设备1000的操作并实现本文所述的实施例。作为补充或替换，设备1000可用硬件、固件、或结合在1012处概括标识的处理和控制电路来实现的固定逻辑电路中的任何一个或组合来实现。虽然未示出，但是设备1000可包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线体系结构中的任一种的处理器或局部总线。
设备1000还可包括计算机可读介质1014，诸如一个或多个存储器组件，该存储器组件的示例包括随机存取存储器（RAM）、非易失性存储器（例如，只读存储器（ROM）、闪存、EPROM、EEPROM等中的任何一个或多个）、以及盘存储设备。盘存储设备可被实现为任何类型的磁性或光学存储设备，如硬盘驱动器、可记录和/或可重写紧致盘（CD）、任何类型的数字多功能盘（DVD）等等。设备1000还可包括大容量存储介质设备1016。
计算机可读介质1014提供数据存储机制以存储设备数据1004，以及各种设备应用1018和与设备1000的各操作方面相关的任何其他类型的信息和/或数据。例如，操作系统1020可用计算机可读介质1014作为计算机应用来维护并且在处理器1010上执行。设备应用1018可包括设备管理器（例如，控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、特定设备的硬件抽象层等）。设备应用1018还包括实现本文描述的姿势技术的实施例的任何系统组件或模块。在该示例中，设备应用程序1018包括被示为软件模块和/或计算机应用程序的接口应用程序1022和输入/输出模块1024（其可与输入/输出模块114相同或不同）。输入/输出模块1024表示用于给接口提供被配置成捕捉输入的诸如触摸屏、跟踪垫、照相机、麦克风等设备的软件。另选地或另外地，接口应用程序1022和输入/输出模块1024可被实现为硬件、软件、固件、或其任何组合。此外，输入/输出模块1024可被配置成支持多个输入设备，诸如分别捕捉视觉和音频输入的单独设备。
设备1000还包括向音频系统1028提供音频数据和/或向显示系统1030提供视频数据的音频和/或视频输入-输出系统1026。音频系统1028和/或显示系统1030可包括处理、显示、和/或以其他方式呈现音频、视频和图像数据的任何设备。视频信号和音频信号可以通过RF（射频）链路、S-video（S-视频）链路、复合视频链路、分量视频链路、DVI（数字视频接口）、模拟音频连接，或其它类似的通信链路，从设备1000传递到音频设备和/或显示设备。在一实施例中，音频系统1028和/或显示系统1030被实现为设备1000的外部组件。或者，音频系统1028和/或显示系统1030被实现为示例设备1000的集成组件。
结语
虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。

Claims (15)

1.一种方法，包括：
由计算设备输出字符的列表用于在用户界面中显示；以及
由所述计算设备识别使用相机检测为用于选择所述字符中的至少一个的姿势的输入。
2.如权利要求1所述的方法，其特征在于，还包括使用所选择的所述字符中的至少一个执行搜索。
3.如权利要求2所述的方法，其特征在于，所述搜索的所述执行是在所选择的所述字符中的至少一个被识别时实时执行地，并且还包括输出所执行的搜索的结果。
4.如权利要求1所述的方法，其特征在于，还包括输出所述字符的列表用于在所述用户界面中显示，从而使得以对应于所述姿势的当前输入点定位在所述用户界面上的所述字符的一个或多个被显示为相对于不对应于所述姿势的所述当前输入点的所述列表中的至少一个其他所述字符具有增加了的大小。
5.如权利要求1所述的方法，其特征在于，还包括由所述计算设备识别使用所述相机检测为用于在所述字符列表的所述显示中导航的姿势的输入。
6.如权利要求5所述的方法，其特征在于，所述用于在所述字符列表的所述显示中导航的姿势涉及用户的水平运动，并且所述用于选择所述字符中的所述至少一个的姿势涉及垂直运动。
7.如权利要求1所述的方法，其特征在于，还包括由所述计算设备识别使用所述相机检测为用于缩放所述字符列表的所述显示的姿势的输入。
8.如权利要求7所述的方法，其特征在于，对所述显示应用的缩放的量至少部分地基于朝向所述相机的所述运动的量。
9.如权利要求1所述的方法，其特征在于，所述字符被包括在列表中并描述在对所述字符的选择时要被执行的操作。
10.如权利要求1所述的方法，其特征在于，识别所述姿势涉及识别用户的一个或多个身体部位的定位。
11.如权利要求1所述的方法，其特征在于，所述姿势在不需要物理触摸所述计算设备的情况下被检测。
12.一种方法，包括：
由计算设备识别使用相机检测为用于选择由所述计算设备显示的多个字符中的至少一个的姿势的输入；以及
使用所选择的所述多个字符中的至少一个执行搜索。
13.如权利要求12所述的方法，其特征在于，所述搜索的所述执行是在所选择的所述字符中的至少一个被识别时实时执行地，并且还包括输出所执行的搜索的结果。
14.如权利要求12所述的方法，其特征在于，还包括由所述计算设备识别使用所述相机检测为用于在所述字符列表的所述显示中导航的姿势的输入，且所述用于在所述字符列表的所述显示中导航的姿势涉及用户的水平运动，并且所述用于选择所述字符中的所述至少一个的姿势涉及垂直运动。
15.如权利要求12所述的方法，其特征在于，还包括由所述计算设备将输入识别为朝向所述相机的运动以作为用于缩放所述字符列表的所述显示的姿势，并且对所述显示应用的缩放的量至少部分地基于所述朝向所述相机的运动的量。
CN2011800282731A 2010-06-10 2011-05-30 字符选择 Pending CN102939574A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35363010P 2010-06-10 2010-06-10
US61/353,630 2010-06-10
US12/854,560 US20110304649A1 (en) 2010-06-10 2010-08-11 Character selection
US12/854,560 2010-08-11
PCT/US2011/038479 WO2011156162A2 (en) 2010-06-10 2011-05-30 Character selection

Publications (1)

Publication Number Publication Date
CN102939574A true CN102939574A (zh) 2013-02-20

Family

ID=45095908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800282731A Pending CN102939574A (zh) 2010-06-10 2011-05-30 字符选择

Country Status (6)

Country Link
US (1) US20110304649A1 (zh)
EP (1) EP2580644A4 (zh)
JP (1) JP2013533541A (zh)
CN (1) CN102939574A (zh)
CA (1) CA2799524A1 (zh)
WO (1) WO2011156162A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823024A (zh) * 2013-03-12 2015-08-05 奥迪股份公司 被分配给车辆的具有拼写设备-删除按键和/或列表选择按键的装置
CN110573998A (zh) * 2017-04-03 2019-12-13 微软技术许可有限责任公司 文本录入界面
US10539426B2 (en) 2013-03-12 2020-01-21 Audi Ag Device associated with a vehicle and having a spelling system with a completion indication
WO2021218111A1 (zh) * 2020-04-29 2021-11-04 聚好看科技股份有限公司 确定搜索字符的方法及显示设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120059647A1 (en) * 2010-09-08 2012-03-08 International Business Machines Corporation Touchless Texting Exercise
WO2013097129A1 (zh) * 2011-12-29 2013-07-04 华为技术有限公司 联系人搜索方法、装置及其应用的移动终端
CN104160361A (zh) 2012-02-06 2014-11-19 迈克尔·K·科尔比 字符串完成
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
US20140380223A1 (en) * 2013-06-20 2014-12-25 Lsi Corporation User interface comprising radial layout soft keypad
KR101327963B1 (ko) 2013-08-26 2013-11-13 전자부품연구원 깊이 값을 이용한 회전 인터페이스 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
GB201705971D0 (en) * 2017-04-13 2017-05-31 Cancer Res Tech Ltd Inhibitor compounds
CN116132640A (zh) * 2021-11-12 2023-05-16 成都极米科技股份有限公司 投影画面调整方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055582A (zh) * 2007-05-08 2007-10-17 魏新成 集成在中文输入法之中的搜索操作方法
CN101221576A (zh) * 2008-01-23 2008-07-16 腾讯科技（深圳）有限公司 一种能够实现自动翻译的输入方法及装置
US20090315740A1 (en) * 2008-06-23 2009-12-24 Gesturetek, Inc. Enhanced Character Input Using Recognized Gestures
US20100060576A1 (en) * 2006-02-08 2010-03-11 Oblong Industries, Inc. Control System for Navigating a Principal Dimension of a Data Space

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
EP1953623B1 (en) * 2007-01-30 2018-09-05 Samsung Electronics Co., Ltd. Apparatus and method for inputting characters on touch keyboard
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP5559691B2 (ja) * 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060576A1 (en) * 2006-02-08 2010-03-11 Oblong Industries, Inc. Control System for Navigating a Principal Dimension of a Data Space
CN101055582A (zh) * 2007-05-08 2007-10-17 魏新成 集成在中文输入法之中的搜索操作方法
CN101221576A (zh) * 2008-01-23 2008-07-16 腾讯科技（深圳）有限公司 一种能够实现自动翻译的输入方法及装置
US20090315740A1 (en) * 2008-06-23 2009-12-24 Gesturetek, Inc. Enhanced Character Input Using Recognized Gestures

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823024A (zh) * 2013-03-12 2015-08-05 奥迪股份公司 被分配给车辆的具有拼写设备-删除按键和/或列表选择按键的装置
CN104823024B (zh) * 2013-03-12 2017-08-22 奥迪股份公司 被分配给车辆的具有拼写设备‑删除按键和/或列表选择按键的装置
US9996240B2 (en) 2013-03-12 2018-06-12 Audi Ag Device associated with a vehicle and having a spelling system with a delete button and/or list selection button
US10539426B2 (en) 2013-03-12 2020-01-21 Audi Ag Device associated with a vehicle and having a spelling system with a completion indication
CN110573998A (zh) * 2017-04-03 2019-12-13 微软技术许可有限责任公司 文本录入界面
CN110573998B (zh) * 2017-04-03 2023-06-20 微软技术许可有限责任公司 文本录入界面
WO2021218111A1 (zh) * 2020-04-29 2021-11-04 聚好看科技股份有限公司 确定搜索字符的方法及显示设备

Also Published As

Publication number Publication date
WO2011156162A3 (en) 2012-03-29
US20110304649A1 (en) 2011-12-15
EP2580644A4 (en) 2016-10-05
WO2011156162A2 (en) 2011-12-15
EP2580644A2 (en) 2013-04-17
CA2799524A1 (en) 2011-12-15
JP2013533541A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
CN102939574A (zh) 字符选择
CN108885521A (zh) 跨环境共享
CN102981728B (zh) 语义缩放
Hsiao et al. User interface based on natural interaction design for seniors
Groenewald et al. Understanding 3D mid-air hand gestures with interactive surfaces and displays: a systematic literature review
CN103049254B (zh) 用于语义缩放的编程接口
CN102934066A (zh) 内容姿势
CN102402286B (zh) 动态姿势参数
CN104067204A (zh) 指示笔计算环境
Rodriguez et al. Gesture elicitation study on how to opt-in & opt-out from interactions with public displays
Nebeling et al. Web on the wall reloaded: Implementation, replication and refinement of user-defined interaction sets
US20080284726A1 (en) System and Method for Sensory Based Media Control
CN102541256A (zh) 具有视觉反馈的位置知晓姿势作为输入方法
CN103562835A (zh) 带有快速站点访问用户界面的web浏览器
CN102221971A (zh) 自由形式数学计算
CN108885615A (zh) 针对浏览器导航的墨水输入
CN105980971A (zh) 多任务和全屏幕菜单环境
US20180311574A1 (en) Dual input multilayer keyboard
TWI552791B (zh) 雷射二極體模式
Ren et al. Towards the design of effective freehand gestural interaction for interactive TV
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
US9791932B2 (en) Semaphore gesture for human-machine interface
Dezfuli et al. PalmRC: leveraging the palm surface as an imaginary eyes-free television remote control
Lamberti et al. Adding pluggable and personalized natural control capabilities to existing applications
Huang et al. A Toolkit for Prototyping Tabletop-Centric Cross-Device Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130220