CN103765348A - 用于移动设备的基于姿势的输入模式选择 - Google Patents

Abstract

由于智能电话的较小尺寸和移动性，并且因为它们通常是手持式的，所以如同电子设备是用户的手的延伸那样使用手、手腕或手臂姿势来向电子设备传递命令是自然且可行的。一些用户姿势可由智能电话的电路内的机电运动传感器来检测。传感器可通过检测诸如设备运动或定向改变等与设备相关联的物理改变来感测用户姿势。作为响应，可基于姿势来触发基于语音或基于图像的输入模式。所公开的方法和设备提供了一种在不依靠手动选择的情况下从对诸如搜索等设备特征的不同输入模式中进行选择的方式。

Description

用于移动设备的基于姿势的输入模式选择

背景

“智能电话”是将无线通信功能与诸如以下各种计算机功能相结合的移动设备：使用GPS（全球定位系统）的地图和导航功能、无线网络接入（例如，电子邮件和因特网web浏览）、数字成像、数字音频回放、PDA（个人数字助理）功能（例如，同步的日历）等。智能电话通常是手持式的，但作为替换，它们可具有较大的形状因子，例如，它们可采取平板计算机、电视机顶盒或能够进行远程通信的其它类似电子设备的形式。

智能电话内的运动检测器包括加速计、陀螺仪等，其中某些采用允许机械组件在公共基板或芯片上与电子组件集成的MEMS（微机电）技术。通过分开或一起工作，这些微型运动传感器能够检测智能电话在平面（2-D）或三维中的电话运动或定向改变。例如，一些现有智能电话被编程为响应于用户将智能电话旋转90度角而将显示器上所显示的信息从‘纵向’定向旋转到‘横向’定向或相反。另外，光或红外（热）传感器和邻近度传感器能够检测离智能电话的特定距离内的对象存在并且能够触发被动或主动的从该对象的信号或数据接收[美国专利公开号2010/0321289]。例如，使用红外传感器，智能电话可被配置成扫描条形码或从RFID（射频标识）标签接收信号[Mantyjarvi等人，2006年9月12-15日的Mobile HCI]。

现有智能电话和其它类似电子设备的一个常见特征是允许用户输入文本以便在设备内搜索特定单词或词组的搜索功能。文本也可被输入为对搜索引擎的输入以启动远程全球网络搜索。因为该搜索特征响应于来自用户的输入，所以通过提供作为对“基于屏幕”的文本输入（即需要用户经由屏幕来进行交流的输入模式）的替换或补充的替换输入模式来增强该特征是可能的。例如，许多智能电话配备允许在驾车的同时进行安全的脱手操作的语音识别能力。有了语音识别，实现响应于口头输入而不是手写文本输入的脱手搜索特征是可能的。语音命令“呼叫大楼保安”在智能电话中搜索大楼保安的电话号码并发起呼叫。类似地，一些智能电话应用（即“app”）将语音识别与搜索功能相结合以识别和标识音乐并向用户返回数据，诸如歌名、表演者、歌词等。现有智能电话和其它类似电子设备的另一常见特征是用于捕捉静止图像或记录实况视频图像的数字相机功能。有了板上相机，实现响应于视觉或光学输入而不是手写文本输入的搜索特征是可能的。

支持具有不同类型的输入模式（例如，文本输入、语音输入和视觉输入）的这一增强的搜索特征的现有设备通常经由按钮、触摸屏输入、小键盘或经由显示器上的菜单选择来从不同的输入模式中进行选择。由此，使用语音输入的搜索必须手动地而不是口头地启动，这意味着该搜索不是真正的脱手特征。例如，如果用户正在驾驶车辆，则驾驶员被迫不看路并聚焦于显示器屏幕以激活所谓的“脱手”搜索特征。

概述

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。尽管本发明尤其适用于移动设备、手持式设备或智能电话上的实现，但本发明适用于各种电子设备并且不限于这些实现。因为本技术不依靠远程通信，所以该技术能够在可以包括或不包括无线或其它通信技术的电子设备中实现。术语“移动设备”、“手持式设备”、“电子设备”和“智能电话”由此可以在此互换使用。类似地，尽管本发明尤其关注搜索特征，但所公开的姿势接口技术不限于这一实现，而是也可结合其它设备特征或程序来实现。因此，术语“特征”、“功能”、“应用”和“程序”在此可互换使用。

所公开的方法和设备提供了一种在不依靠基于屏幕的手动选择的情况下触发用于智能电话或类似移动电子设备的不同输入模式的方式。配备检测器和多个输入设备的移动电子设备可被编程为根据不同的用户输入模式来经由输入设备接受输入，并且基于姿势来从这些不同的输入模式中进行选择。不基于屏幕的输入设备可包括相机和话筒。由于智能电话的较小尺寸和移动性，并且因为它们通常是手持式的，所以如同电子设备是用户的手的延伸那样使用手、手腕或手臂姿势来向电子设备传递命令是自然且可行的。一些用户姿势可由智能电话的电路内的机电运动传感器来检测。传感器可通过检测诸如设备自身的运动或定向改变等与设备相关联的物理改变来感测用户姿势。作为响应，可基于该姿势来触发输入模式，并且可基于接收到的输入来启动诸如搜索等设备特征。

参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。

附图简述

图1是示出可结合其来实现此处描述的技术和工具的示例移动计算设备的框图。

图2是示出用于移动设备的基于姿势的输入模式选择的方法的大致流程图。

图3是示出用于配置有姿势接口的搜索应用的示例软件体系结构的框图，该姿势接口感测手和/或手臂运动姿势并且作为响应触发各种数据输入模式。

图4是示出配置有姿势接口的高级搜索方法的流程图。

图5是配置有通过监听语音输入的响应于旋转姿势的搜索应用的智能电话的图示。

图6是示出姿势接口“倾斜来说话”的一对快照帧。

图7是示出姿势接口“对准来扫描”的一系列快照帧（底部）以及对应的屏幕截图（顶部）。

图8是运行高级搜索应用的移动电子设备所执行的方法的详细流程图，该高级搜索应用配置有根据图5-7所描述的代表性示例的姿势接口。

详细描述

示例移动计算设备

图1描绘了能够实现在此描述的技术和解决方案的移动计算设备（100）的详细示例。移动设备（100）包括在（102）处概括示出的各种任选的硬件和软件组件。一般来说，移动设备中的组件（102）可与该设备的任何其他组件通信，但出于容易说明的目的未示出所有连接。移动设备可以是各种计算设备（例如，蜂窝电话、智能电话、手持式计算机、膝上型计算机、笔记本计算机、平板设备、上网本、媒体播放器、个人数字助理（PDA）、相机、摄像机等）中的任何一个，并且可允许与诸如无线保真（Wi-Fi）、蜂窝、或卫星网络之类的一个或多个移动通信网络（104）进行无线双向通信。

所示的移动设备（100）可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的控制器或处理器（110）（例如，信号处理器、微处理器、ASIC、或其他控制和处理逻辑电路）。操作系统（112）控制对组件（102）的分配和使用以及对一个或多个应用程序（114）（诸如实现本文描述的创新特征中的一个或多个的高级搜索应用）的支持。除了姿势接口软件之外，应用程序还可包括常用移动计算应用（例如，电话应用、电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用）、或任何其他计算应用。

所示的移动设备（100）包括存储器（120）。存储器（120）可包括不可移动存储器（122）和/或可移动存储器（124）。不可移动存储器（122）可包括RAM、ROM、闪存、硬盘、或其他公知的存储器存储技术。可移动存储器（124）可包括闪存或订户身份模块（SIM）卡——其在全球移动通信系统（GSM）等通信系统中是众所周知的，或者其他众所周知的存储器存储技术，诸如“智能卡”。存储器（120）可用于存储数据和/或用于运行操作系统（112）和应用程序（114）的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其它设备的网页、文本、图像、声音文件、视频数据、或其它数据集。存储器（120）可用于存储诸如国际移动订户身份（IMSI）之类的订户标识符，以及诸如国际移动设备标识符（IMEI）之类的设备标识符。可将此类标识符传送给网络服务器以标识用户和设备。

移动设备（100）可支持一个或多个输入设备（130）以及一个或多个输出设备（150），一个或多个输入设备（132）诸如触摸屏（132）（例如，能够捕捉手指轻击输入、手指姿势输入或虚拟键盘或小键盘的键击输入）、话筒（134）（例如，能够捕捉语音输入）、相机（136）（例如，能够捕捉静止图片和/或视频图像）、物理键盘（138）、按钮和/或跟踪球（140），一个或多个输出设备（150）诸如扬声器（152）、以及显示器（154）。其它可能的输出设备（未示出）可包括压电或其它触觉输出设备。一些设备可服务一个以上的输入/输出功能。例如，触摸屏（132）和显示器（154）可被组合在单个输入/输出设备中。

移动计算设备（100）可提供一个或多个自然用户接口（NUI）。例如，操作系统（112）或应用（114）可包括作为允许用户经由语音命令来操作设备（100）的语音用户界面的一部分的语音识别软件。例如，用户的语音命令可用于向搜索工具提供输入。

无线调制解调器（160）可被耦合至一个或多个天线（未示出），并且可支持处理器（110）与外置设备间的双向通信，如本领域中充分理解的那样。调制解调器（160）一般被示为并可包括例如用于通过移动通信网络（104）进行长程通信的蜂窝式调制解调器、可兼容蓝牙的调制解调器（164）、或用于通过外置的配备有蓝牙的设备或者本地的无线数据网络或路由器来进行短程通信的可兼容Wi-Fi的调制解调器（162）。无线调制解调器（160）通常被配置成用于与一个或多个蜂窝网络进行通信，诸如用于单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络（PSTN）之间的数据和语音通信的GSM网络。

移动设备可进一步包括至少一个输入/输出端口（180）、电源（182）、卫星导航系统接收机（184）（诸如全球定位系统（GPS）接收机）、传感器（186）（诸如，用于检测设备（100）的定向或运动并用于接收姿势命令来作为输入的加速计、陀螺仪或红外邻近传感器）、收发机（188）（用于无线发射模拟或数字信号）和/或物理连接器（190），它可以是USB端口、IEEE1394（火线）端口、和/或RS-232端口。所示的组件（102）不是必需的或所有都包括的，因为可删除所示的组件中的任何一个并可添加其他组件。

传感器186可作为一个或多个MEMS设备来提供。在一些示例中，陀螺仪感测电话运动，而加速计感测定向或定向改变。“电话运动”通常指的是通过将电话从一个空间位置转变到另一空间位置来表征的物理改变，涉及可由陀螺仪传感器来检测的动量改变。加速计可使用球和环（ball-and-ring）构造来实现，其中被限制在圆环内滚动的球可感测移动设备的角度放置和/或角度动量改变，由此指示该移动设备的3-D定向。

移动设备可基于通过卫星导航系统接收机（184）（例如，GPS接收机）接收到的信息来确定指示移动设备的位置的位置数据。或者，移动设备可以另一方式来确定指示移动设备的位置的位置数据。例如，可以通过蜂窝网络的各蜂窝塔之间的三角测量来确定移动设备的位置。或者，可基于在移动设备附近的Wi-Fi路由器的已知位置来确定移动设备的位置。可以每秒钟或以其他为基础来更新位置数据，这取决于实现和/或用户设置。不管位置数据的源如何，移动设备都可以向地图导航工具提供位置数据以供在地图导航中使用。例如，地图导航工具通过操作系统（112）所展示的接口周期性地请求或轮询当前位置数据（操作系统（112）进而可以从移动设备的另一组件处得到更新后的位置数据），或者操作系统（112）通过回调机制将更新后的位置数据推向已注册这样的更新的任何应用（诸如本文描述的高级搜索应用）。

通过使用高级搜索应用和/或其他软件或硬件组件，移动设备（100）实现本文描述的各种技术。例如，处理器（110）可更新场景和/或列出视图，或者作为对不同姿势所触发的用户输入的反应，执行搜索。作为客户端计算设备，移动设备（100）可以向服务器计算设备发送请求，并且作为回报从服务器计算设备接收图像、距离、指示、搜索结果或其他数据。

尽管图1示出了智能电话形式的移动设备，但更一般地，本文描述的技术和方案可以用具有其它屏幕能力和设备形状因子的连接设备来实现，诸如平板加速计、连接到移动或台式加速计的虚拟现实设备、连接到电视机的游戏设备等。可本地地或通过中央服务提供者或经由诸如因特网等网络来连接的服务提供者来提供计算服务（例如，远程搜索）。由此，本文描述的姿势接口技术和方案可以在诸如客户端计算设备等连接设备上实现。类似地，各种中央计算设备或服务提供者中的任一个可执行服务器计算设备的角色并将搜索结果或其他数据递送给连接的设备。

图2示出了响应于姿势来选择对移动设备的输入模式的大致方法（200）。该方法（200）在感测到电话运动（202）并将该电话运动解释为涉及电话的定向或空间位置的改变的姿势（204）时开始。当标识出特定姿势时，可选择输入模式（206）并使用该输入模式来向移动设备的一个或多个特征提供输入数据（208）。特征可包括例如搜索功能、电话呼叫功能或者能够使用不同输入模式来接收命令和/或数据的移动设备的其它功能。输入模式可包括例如语音输入、图像输入、文本输入或其它传感或环境输入模式。

用于使用姿势接口来从不同输入模式中进行选择的示例软件体系结构

图3示出了用于高级搜索应用（310）的示例软件体系结构（300），该高级搜索应用被配置成检测用户姿势并基于检测到的用户姿势来将移动设备（100）切换至多个监听模式之一。客户端计算设备（例如，智能电话或其它移动计算设备）可执行软件，该软件根据体系结构（300）被组织成与运动传感硬件接口、解释感测到的运动、将不同类型的搜索输入模式与感测到的运动相关联、以及取决于输入模式来执行若干不同的搜索功能中的一个。

作为主要组件，体系结构（300）包括设备操作系统（OS）（350）以及配置有姿势接口的示例性高级搜索应用（310）。在图3中，设备OS（350）包括用于呈现的组件（例如，向显示器呈现可视输出，为扬声器生成语音输出）、用于联网的组件、用于视频识别的组件、用于语音识别的组件以及姿势监视子系统（373）。设备OS（350）被配置成管理用户输入功能、输出功能、存储访问功能、网络通信功能、以及设备的其他功能。设备OS（350）向高级搜索应用（310）提供对这些功能的访问。

高级搜索应用（310）可包括主要组件，诸如搜索引擎（312）、用于存储搜索设置的存储器（314）、用于呈现搜索结果的呈现引擎（316）、用于存储搜索结果的搜索数据存储（318）以及输入模式选择器（320）。OS（350）被配置成以可以是文本或基于图像的输入搜索键的形式向搜索应用（310）传送消息。OS还被配置成从搜索引擎（312）接收搜索结果。搜索引擎（312）可以是远程（例如基于因特网）搜索引擎或用于搜索存储在移动设备（100）内的信息的本地搜索引擎。搜索引擎（312）可将搜索结果存储在搜索数据存储（318）中以及使用用于例如图像、声音或地图数据形式的搜索结果的呈现引擎（316）来输出搜索结果。

用户可将由常规（例如基于屏幕的）用户界面（UI）来生成对高级搜索应用（310）的用户输入。常规用户输入可以是以下形式：手指运动、触觉输入（诸如触摸屏输入）、按钮按压或键按压、或音频（语音）输入。设备OS（350）包括用于以下各项的功能：对于触摸屏的触觉输入识别诸如手指轻击、手指滑动之类的运动，识别来自语音输入、按钮输入或键按压输入的命令，以及创建可由高级搜索应用（310）或其他软件使用的消息。UI事件消息可指示平扫、轻拂、拖曳、轻击、或设备触摸屏上的其他手指运动、键击输入、或另一UI事件（例如，来自语音输入、方向按钮、跟踪球输入等）。

或者，用户可经由“姿势接口”（370）来生成对高级搜索应用（310）的用户输入，在这种情况下高级搜索应用（310）具有以下附加能力：使用一个或多个电话运动检测器（372）来感测电话运动并经由姿势监视子系统（373）来识别改变移动设备（100）的2-D或3-D定向的不基于屏幕的用户手腕和手臂姿势。姿势可以是例如以下形式：手或手臂移动、移动设备的旋转、使设备倾斜、使设备对准或以其他方式改变设备的定向或空间位置。设备OS（350）包括用于接受传感器输入以检测这些姿势以及用于创建可由高级搜索应用（310）或其它软件使用的消息的功能。当感测到这一姿势时，触发监听模式以使得移动设备（100）监听附加输入。根据以下描述的各种代表性示例，高级搜索应用（310）的输入模式选择器（320）可被编程为监听来自设备OS（350）的可作为相机输入（374）、语音输入（376）或触觉输入（378）来接收的用户输入消息，并且基于感测到的姿势来从这些输入模式中进行选择。

图4示出了用于在智能电话上实现配置有姿势接口的高级搜索特征（400）的示例性方法。方法（400）在一个或多个传感器检测到电话运动（402）或特定电话定向（404）时开始。例如，如果陀螺仪传感器检测到电话运动，则分析该运动以确认该运动是否是智能电话自身的运动，诸如定向改变或电话的空间位置的转变，而不是与基于屏幕的常规用户界面相关联的运动。当检测到电话运动时（402），姿势监视子系统（373）解释感测到的运动以识别指示用户的预期输入模式的姿势。例如，如果感测到电话旋转（403），则可使用语音输入来启动搜索（410）。

或者，如果例如加速计感测到电话的特定定向（404）或者如果感测到定向改变，则姿势监视子系统（373）解释感测到的定向以识别指示用户的预期输入模式的姿势。例如，如果感测到倾斜姿势，则可使用语音输入来启动搜索，而如果感测到对准姿势，则可使用相机输入来启动搜索。如果在电话已经处于倾斜或对准定向时打开电话，则即使该电话保持静止，姿势监视子系统（373）也可将该静止定向解释为姿势并使用相关联的输入模式来启动搜索。

在下文详细描述的示例中，智能电话可以在电话的近端（底部）配置有话筒并且可以在电话的远端（顶部）配置有相机透镜。在这样的配置的情况下，检测到电话的下端的上升（408）指示用户使用对搜索引擎的语音输入（410）来启动搜索的意图（“倾斜来说话”），而检测到电话的上端的上升（414）指示用户使用相机图像作为对搜索引擎的输入（416）的意图（“对准来扫描”）。一旦搜索引擎接收到输入，该搜索引擎就被激活（412）以执行搜索，并且可接收到该搜索的结果并在智能电话的屏幕上显示结果（418）。如果检测到不同类型的电话运动（402），则姿势接口可被编程为执行除了搜索之外的不同特征。

在图5中，示例性移动设备（500）被示为是具有上表面（502）和下表面（504）的智能电话。示例性设备（500）主要通过延伸跨过上表面（502）的显示器（506）来接受用户输入命令。显示器（506）可以是触敏的或者以其它方式被配置成使其用作输入设备以及输出设备。示例性移动设备（500）包含内置运动传感器以及可被定位在一端附近且在下表面（504）附近的话筒（588）。移动设备（500）还可配备有具有可被集成到下表面（504）中的相机透镜的相机。移动设备（500）的其它组件和操作通常遵照上文对一般移动设备（100）的描述，包括能够检测移动设备（500）的物理改变的内置传感器。

可以为特殊功能设备按钮（508）、（510）和（512）保留上表面（502）的指定区域（507），这些特殊功能设备按钮被配置用于对移动设备（500）的常用功能的自动的“快速访问”。或者，设备（500）包括更多按钮，更少按钮，或不包括按钮。按钮（508）、（510）、（512）可被实现为物理上类似于触敏显示器（506）的其余部分的触摸屏按钮，或者按钮（508）、（510）、（512）可被配置为能够彼此相对地且相对于显示器（506）移动的机械按钮。

每一个按钮都被编程为在被激活时启动特定的内置特征或硬连线应用。按钮（508）、（510）、（512）所关联的应用可分别由图标（509）、（511）、（513）来表示。例如，如图4所示，左侧按钮（508）与由左箭头图标（509）表示的“后退”或“前一屏幕”功能相关联。激活“后退”按钮启动对设备用户界面的导航。中间按钮（510）与由魔毯/Windows^TM图标（511）表示的“主页”功能相关联。激活“主页”按钮显示主屏幕。右侧按钮（512）与由放大镜图标（513）表示的搜索特征相关联。激活搜索按钮（512）使移动设备（500）启动例如web浏览器内的搜索页面处的搜索、联系人应用内的搜索或某一其它搜索菜单，这取决于激活搜索按钮（512）的点。

本文描述的姿势接口关注通常由搜索按钮（512）启动（或者以其它方式需要与触敏显示器（506）接触）的各种搜索应用的高级能力。作为对使用搜索按钮（512）来激活搜索应用的替换，激活可以自动、通过一个或多个用户姿势来启动，而无需访问显示器（506）。例如，图5中描绘了高级搜索功能场景，其中移动设备（500）经由姿势接口检测该设备的定向改变。传感器可检测到的姿势包括二维和三维定向改变姿势，诸如旋转设备、将设备上下翻转、倾斜设备或用设备对准，其中每一个姿势允许用户通过操纵设备（500）来命令该设备，就像该设备（500）是用户的手或前臂的延伸一样。图5进一步描绘了当感测到定向改变并由此调用姿势接口时用户观察到什么。根据本示例，当用户以如右旋箭头（592）所示的顺时针方向旋转移动设备（500）时，可触发监听模式（594）。作为响应，单词“Listening（正在监听）...”以及图（596）出现在显示器（506）上，该图用作移动设备（500）现在处于语音识别模式且正在等待来自用户的说出的命令的可视指示符。图（596）上所显示的信号响应于话筒（588）检测到的环境声音而波动。或者，逆时针旋转可触发语音输入模式或不同的输入模式。

在图6中，示例性移动设备（600）被示为是具有上表面（602）和下表面（604）的智能电话。示例性设备（600）主要通过延伸跨过上表面（602）的显示器（606）来接受用户输入命令。显示器（602）可以是触敏的或者以其它方式被配置成使其用作输入设备以及输出设备。示例性移动设备（600）包含内置传感器以及被定位在电话的底部或近端附近和下表面（604）附近的话筒（688）。移动设备（600）还可配备有具有可以在电话的远端（顶部）被集成到下表面（604）中的相机透镜的内置相机。移动设备（600）的其它组件和操作通常遵照上文对一般移动设备（100）的描述，包括能够检测移动设备（600）的定向改变的内置传感器。

移动设备（600）以一对顺序快照帧（692）和（694）出现在图6中，以展示高级搜索应用的另一代表性示例，该示例被称为“倾斜来说话”。移动设备（600）被示为在用户的手（696）中，在图6的左侧的快照帧（692）中在初始时刻被保持在基本上垂直位置，而在图6的右侧的快照帧（694）中在稍后时刻处于倾斜位置。随着用户的手（696）从用户的视角向前和向下倾斜，移动设备（600）的定向从基本上垂直变成基本上水平，从而显露位于移动设备（600）的近端的话筒（688）。当感测到电话的近端（底部）上升至电话的远端（顶部）之上（由此将电话置于“反倾斜”定向）时，姿势接口触发其中输入模式是语音输入的搜索应用的启动。

在图7中，示例性移动设备（700）被示为是具有上表面（702）和下表面（704）的智能电话。示例性设备（600）主要通过延伸跨过上表面（702）的显示器（706）来接受用户输入命令。显示器（706）可以是触敏的或者以其它方式被配置成使其用作输入设备以及输出设备。示例性移动设备（700）包含内置传感器以及被定位在电话的底部或近端附近和下表面（704）附近的话筒（788）。移动设备（700）还可配备有具有在电话的远端（顶部）被集成到下表面（704）中的相机透镜（790）的内置相机。移动设备（700）的其它组件和操作通常遵照上文对一般移动设备（100）的描述，包括能够检测移动设备（700）的定向改变的内置传感器。

移动设备（700）以三个顺序快照帧（792）、（793）和（794）的序列出现在图7中，以展示高级搜索应用的另一代表性示例，该示例被称为“对准来扫描”。移动设备（700）被示为在用户的手（796）中，在图7的左侧的快照帧（792）中在初始时刻被保持在基本上水平位置；中间的快照帧（793）中在中间时刻处于倾斜位置；而在右侧的快照帧（794）中在稍后时刻处于基本上垂直位置。由此，随着用户的手（796）从用户的视角向后和向上倾斜，移动设备（700）的定向从基本上水平位置变成基本上垂直位置，从而显露位于移动设备（700）的远端的相机透镜（770）。相机透镜（790）被定位成接收从场景反射的光锥（797），该光锥（797）是围绕垂直于下表面（704）的透镜轴（798）大致对称的。由此，通过使移动设备（700）对准，用户可使相机透镜（790）瞄准并扫描特定目标场景。当感测到移动设备（700）的定向改变以使得电话的远端（顶部）上升到电话的近端（底部）之上至预定阈值角度时（这与将相机透镜（790）对准目标场景的运动相一致），姿势接口将这一运动解释为是对准姿势。预定阈值角度可采用任何所需值。通常，值在45到90度范围内。姿势接口然后通过触发其中输入模式是相机图像的基于相机的搜索应用的启动或移动设备（700）当前瞄准的方向上的场景“扫描”来响应该对准姿势。或者，姿势接口可通过触发相机应用或另一相机相关特征的启动来响应对准姿势。

图7进一步描绘了当感测到定向改变并由此调用姿势接口时用户观察到什么。在图7的顶部，三个顺序屏幕截图(799a)、(799b)、(799c)的序列中的每一个显示相机透镜（790）捕捉到以供显示的不同场景。屏幕截图(799a)、(799b)、(799c)分别对应于在每一个屏幕截图下面的帧(792)、(793)、(794)中示出的设备定向序列。当移动设备（700）处于水平位置时，相机透镜（790）向下瞄准且传感器尚未检测到姿势。因此，屏幕截图（799a）保留最近显示的场景（相机视图）。（在图7所示的示例中，前一图像是在海洋表面游泳的鲨鱼的下面）。然而，当传感器检测到用户的手（796）的向后和向上运动时，触发相机模式。作为响应，激活搜索功能，相机透镜（790）为该搜索功能提供输入数据。单词“traffic（交通）”、“movies（电影）”和“restaurants（餐馆）”然后出现在显示器（706）上并且背景场景从屏幕截图（799a）中示出的前一场景更新为屏幕截图（799b）中示出的当前场景。一旦当前场景变得清晰，如帧（799c）所示，就可调用标识功能来标识该场景中的地标并基于这些地标来推断当前位置。例如，使用GPS地图数据，标识功能可推断出当前位置是曼哈顿，并通过使用GPS和建筑物图像识别的组合，该位置可被缩小至时代广场（TimesSquare）。位置名称然后可被显示在显示器（706）上。

配置有如通过以上图5-7中的详细示例来描述的姿势接口（114）的高级搜索应用可执行图8所示的搜索方法（800）。移动设备内的传感器感测电话运动（802），即传感器检测设备的物理改变，包括设备运动或设备定向改变或两者。姿势接口软件然后解释运动（803）以识别和标识旋转姿势（804）、反倾斜姿势（806）或对准姿势（808）或不识别或标识这些姿势中的任一个。如果未标识出姿势(804)、(806)或(808)中的任一个，则传感器继续等待附加输入（809）。

如果标识出旋转姿势（804）或反倾斜姿势（806），则该方法触发使用语音输入模式（815）来接收经由话筒（814）说出的命令的搜索功能（810）。将移动设备置于监听模式（816），其中可以在等待对搜索功能的语音命令输入（816）的同时显示（818）诸如“Listening（正在监听）..”等消息。如果接收到语音输入，则搜索功能通过将说出的单词用作搜索键来继续。或者，作为对搜索功能的替换或补充，对触发语音输入模式（815）的旋转（804）和倾斜（806）姿势的检测可启动另一设备特征（例如，不同的程序或功能）。最后，方法（800）的控制返回到运动检测（820）。

如果标识出对准姿势（808），则方法（800）触发使用基于图像的输入模式（823）来经由相机（822）接收图像数据的搜索功能（812）。然后可由相机透镜来跟踪场景以便实时显示（828）在屏幕上。同时，可激活（824）GPS定位器以搜索涉及该场景的位置信息。另外，可由图像识别软件来分析该场景中的各个元素以进一步标识和表征移动设备的当前位置（830）。一旦标识出局部场景，就可通过将位置描述符（832）覆盖在场景的屏幕截图上来将信息传递给用户。另外，可列出局部场景中的特性或附加元素，诸如邻近地区内的商家、旅游景点等。或者，作为对搜索功能的替换或补充，对触发基于相机的输入模式（823）的对准（808）姿势的检测可启动另一设备特征（例如，不同的程序或功能）。最后，方法（800）的控制返回到运动检测（834）。

虽然为方便呈现起见所公开的方法的一些操作是以特定的顺序次序来描述的，但应当理解，这一描述方法涵盖重新安排，除非以下阐明的具体语言需要特定排序。例如，顺序地描述的操作可在某些情况下被重新安排或并发执行。此外，为简明起见，附图可能未示出其中所公开的方法可结合其它方法使用的各种方式。

所公开的方法中的任一个可被实现为存储在一个或多个计算机可读介质（例如，非瞬态计算机可读介质，诸如一个或多个光学介质盘、易失性存储器组件（诸如DRAM或SRAM）或非易失性存储器组件（诸如硬驱动器））上并且在计算机（例如，任何可购买的计算机，包括智能电话或包含计算硬件的其它移动设备）上执行的计算机可执行指令。用于实现所公开的技术的计算机可执行指令中的任一个以及在实现所公开的实施例期间创建和使用的任何数据可被存储在一个或多个计算机可读介质（例如，非临时计算机可读介质）上。计算机可执行指令可以是例如经由web浏览器或其它软件应用程序（诸如远程计算应用程序）访问或下载的专用软件应用程序或软件应用程序。此类软件可例如在单个本地计算机（例如，任何合适的可购买计算机）上或在使用一个或多个网络计算机的网络环境中（例如，经由因特网、广域网或局域网、客户机-服务器网络（诸如，云计算网络）或其它此类网络）执行。

为清楚起见，只描述了基于软件的各实现的某些所选择的方面。省略了本领域公知的其它细节。例如，应当理解，所公开的技术不限于任何特定计算机语言、或程序。例如，所公开的技术可由用C++、Java、Perl、JavaScript、AdobeFlash或任何其它合适的编程语言编写的软件来实现。同样，所公开的技术不限于任何特定计算机或硬件类型。合适计算机和硬件的某些细节是众所周知的，因此无需在本公开中进行详细阐述。

此外，基于软件的实施方式中的任一个（包括例如用于使计算机执行所公开的方法中的任一种的计算机可执行指令）可以通过合适的通信手段来上传、下载、或远程访问。这些合适的通信手段包括，例如，因特网、万维网、内联网、软件应用、电缆（包括光缆）、磁通信手段、电磁通信手段（包括RF、微波和红外通信）、电子通信手段或任何这样的通信手段。

所公开的方法、装置和系统不应当被认为是以任何方式构成限制。相反，本发明针对各公开的实施方式（单独地或彼此的各种组合和子组合）的所有新颖和非显而易见特征和方面。所公开的方法、装置和系统不限于任何具体方面或特征或其组合，所公开的实施例也不要求存在任何一个或多个具体优点或解决各个问题。

鉴于可应用所公开的本发明的原理的许多可能的实施例，应当认识到，所示实施例仅是本发明的优选示例，并且不应认为是限制本发明的范围。相反，本发明的范围由所附权利要求书来限定。因此，要求保护落入这些权利要求的范围内的所有内容作为本发明。

Claims (10)

1.一种移动电话，包括：

电话运动检测器；

多个输入设备；

处理器，所述处理器被编程为根据不同的输入模式来从所述输入设备接受输入，并且激活具有姿势接口的高级搜索功能，所述姿势接口适用于通过解释所述电话运动检测器感测到的物理改变来识别和标识用户姿势，

其中所述姿势接口被配置成基于所述姿势来从不同的用户输入模式中进行选择。

2.如权利要求1所述的移动电话，其特征在于，所述输入设备包括相机或话筒中的一个或多个。

3.如权利要求1所述的移动电话，其特征在于，所述电话运动检测器包括传感器，所述传感器包括加速计、陀螺仪、邻近度检测器、热检测器、光检测器或射频检测器中的一个或多个。

4.如权利要求1所述的移动电话，其特征在于，所述输入模式包括基于图像的、基于声音的以及基于文本的输入模式中的一个或多个。

5.一种从电子设备的不同的用户输入模式中进行选择的方法，所述方法包括：

感测电话运动；

分析所述电话运动以检测姿势；

基于所述姿势来从多个输入模式中进行选择；以及

基于经由所述输入模式接收到的信息来启动特征。

6.如权利要求5所述的方法，其特征在于，所述特征是搜索。

7.一种从对用于移动电话的搜索功能的不同的用户输入模式中进行选择的方法，所述方法包括：

感测电话运动；

响应于旋转或反倾斜姿势，接收对所述搜索功能的语音输入；

响应于对准姿势，接收对所述搜索功能的相机图像输入；

激活搜索引擎以执行搜索；以及

显示搜索结果。

8.如权利要求7所述的方法，其特征在于，电话运动包括a）所述设备的定向改变或者b）所述设备的位置改变中的一个或多个。

9.如权利要求7所述的方法，其特征在于，所述反倾斜姿势通过所述电话的近端上升到远端之上来表征。

10.如权利要求7所述的方法，其特征在于，所述对准姿势通过所述电话的远端上升到近端之上至阈值角度来表征。

Images