CN101794207B - 姿势到设备的映射 - Google Patents

姿势到设备的映射 Download PDF

Info

Publication number
CN101794207B
CN101794207B CN2010100032447A CN201010003244A CN101794207B CN 101794207 B CN101794207 B CN 101794207B CN 2010100032447 A CN2010100032447 A CN 2010100032447A CN 201010003244 A CN201010003244 A CN 201010003244A CN 101794207 B CN101794207 B CN 101794207B
Authority
CN
China
Prior art keywords
unit
angular velocity
sense
hearing
project
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010100032447A
Other languages
English (en)
Other versions
CN101794207A (zh
Inventor
D·L·格劳曼
G·拉法
L·纳赫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN101794207A publication Critical patent/CN101794207A/zh
Application granted granted Critical
Publication of CN101794207B publication Critical patent/CN101794207B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

诸实施例可包括诸如硬件和/或代码之类的逻辑，该逻辑将诸如移动设备、膝上计算机、台式机或服务器之类的设备的内容映射到二维场或表中，并将用户姿势或运动映射到该表内的坐标，以向用户提供对该内容的快速访问。例如，许多实施例利用连接至移动因特网设备(MID)的诸如手表、指环以及耳机之类的三个无线外设来访问内容，该MID包括听觉用户界面和听觉映射器。听觉用户界面可与外设通信地耦合，以接收描述与一个或多个外设相关联的运动或移动的姿势数据，并在某些实施例中提供诸如听觉项目之类的反馈和其它反馈。

Description

姿势到设备的映射
领域
本公开内容一般涉及用户界面技术。更具体而言，本公开内容涉及姿势映射。
背景
诸如蜂窝电话、手持设备、手持计算机、“掌上电脑”、“移动因特网设备(MID)”等等之类的移动设备通常是具有诸如带有触摸输入的显示屏或微型或微键盘之类的用户界面的可置于口袋的计算设备。许多个人数据助理(PDA)将输入和输出与触摸屏界面集成。
在携带常规计算机不可行的环境下，诸如智能电话、PDA以及企业数字助理(EDA)之类的移动设备是受需要常规计算机的辅助和便利性的人员欢迎的工具。EDA为商业用户提供诸如类似于条形码、射频识别(RFID)以及智能卡读取器的集成数据捕获设备之类的功能。与许多PDA的情况一样，EDA还可包括触摸屏、红外数据协会(IrDA)、蓝牙
Figure G2010100032447D00011
以及存储卡插槽。
随着移动设备变得更能处理、通信以及储存，新的应用开始利用这些设备的这些能力和固有的移动性。然而，移动性对移动设备的用户所涉及的交互类型施加了若干限制。用户在视觉交互不适宜时使用设备功能(日历、联系人、基于位置的服务、电子邮件......)越来越常见。此类情况的示例包括如下情况：用户实际上是活动的(行走、奔跑、驾驶)；设备不可获得(例如在钱包或口袋中)；屏幕对于快速交互而言太小；或用户进行要求高的活动或至少视觉上要求高的活动。
由于形状因数限制，用户界面已经成为移动设备的实际利用率的主要限制。例如，具有大尺寸键盘和显示器显然不是适用于移动设备的实际选择。代替全尺寸键盘，许多移动设备包含微键盘、按键板、或键和按钮的独特组合，这些均不理想而且不能执行多任务。
附图说明
图1A描述包括移动设备、手表以及耳机的系统的实施例；
图1B描绘单元到手腕和肘位置的姿势到听觉的映射的实施例；
图1C描绘响应于在单元上的悬停的听觉项目输出的实施例；
图1D描绘响应于在单元之一上的悬停放大靠近当前姿势位置的单元的实施例；
图1E描绘放大率曲线的实施例，该放大率曲线描述了基于用户横越映射的速度的单元大小变化；
图1F描绘包括移动设备、手表以及耳机的系统的状态图的实施例；
图1G描绘用于包括移动设备、手表以及耳机的系统的映射至腕部/肘部姿势位置的移动设备功能的实施例；
图2描绘包括移动设备、手表、指环以及耳机的系统的实施例；
图3描绘具有加速度计和扬声器的移动设备的替代实施例；
图4描绘经由听觉映射横越单元的装置的实施例；以及
图5示出用于经由听觉映射横越单元的实施例的流程图。
具体实施方式
以下是在附图中描述的新颖实施例的详细描述。然而，所提供的大量细节不旨在限制所描述的实施例的预期变化；反之，权利要求和详细描述旨在覆盖落在如所附权利要求所限定的本示教内容的精神和范围内的所有修改、等价方案以及替代方案。设计以下这些详细描述是为了使本领域技术人员能理解这些实施例。
一般而言，本文描述了姿势映射。实施例可包括诸如硬件和/或代码之类的逻辑，该逻辑将诸如移动设备、膝上计算机、台式机或服务之类的设备的内容映射到二维场或表中，并将用户手势或运动映射到该表内的坐标，以提供用户对该内容的快速访问。例如，许多实施例利用连接至移动因特网设备(MID)的诸如手表、指环以及耳机之类的三个无线外设，该MID包括用于访问设备功能部件的听觉用户界面和听觉映射器。其它实施例使用与例如显示器一起使用的视觉用户界面和视觉映射器。听觉用户界面可与外设通信地耦合，以接收描述与一个或多个外设相关联的运动或移动的姿势数据，并在某些实施例中提供诸如听觉项目之类的反馈和其它反馈。在若干实施例中，该内容包括诸如记录快速杂货列表项、将即时消息云图从“在线”改变成“请勿打扰”、根据联系人列表呼叫、设置基于位置的警报、改变他们的MP3音量控件、放置位置或RF路标、选择MP3播放列表、检查下一次会议时间、接收徒步导航方向、应答/分配电话呼叫、读取电子邮件或交通状况报告、记录一个人的姓名、根据环境编辑MID、以及当然获取时间之类的应用。
诸实施例可便于无线通信。无线通信实施例可在该移动设备、手表、耳机以及指环中集成类似于蓝牙
Figure G2010100032447D00031
无线局域网(WLAN)、无线城域网(WMAN)、无线个域网(WPAN)、蜂窝网络、和/或电气和电子工程师协会(IEEE)标准802.15.4——“用于低速率无线个域网(LR-WPAN)的无线介质访问控制(MAC)和物理层(PHY)规范”(2006)(http://standards.ieee.org/getieee802/download/802.15.4-2006.pdf)以便于此类设备之间的交互。
此外，某些无线实施例可包括单个天线，而其它实施例可采用多个天线。例如，多输入多输出(MIMO)在发射器和接收器处使用多个天线来提高通信性能。MIMO技术在无需附加带宽或发射功率的情况下提供了数据吞吐量和链路范围的显著提高。它通过较高的频谱效率(每秒每赫兹带宽更多位)和链路可靠性或分集(衰减降低)实现这一目的。
其它实施例可经由将诸如移动设备、手表、耳机以及指环之类两个或多个设备互连的物理介质实现部分或全部通信。在这些实施例的某些中，将这些设备互连的物理介质可与衣物集成。
虽然以下描述的一些特定实施例将参照具有特定配置的实施例，而且是结合听觉映射来进行描述的，但本领域技术人员将认识到，在包括视觉映射等具有相似问题或难题的情况下，可有利地实现本公开内容的实施例。具体而言，诸实施例可包括视觉映射器，用于在视觉上而不是在听觉上映射项目，或除在听觉上之外还在视觉上映射项目。
现在转到图1A，其中示出了系统100的实施例。系统100包括移动设备110、具有按钮125的手表120、以及耳机130。该实施例中的移动设备110是移动因特网设备(MID)和蜂窝电话。移动设备110可包含或提供对菜单或列表的访问，用户将横越该菜单或列表。例如，该蜂窝电话可包括用于记录快速杂货列表项目、将即时消息云图从“在线”改变成“请勿打扰”、根据联系人列表呼叫、设置基于位置的警报、改变他们的MP3音量控件、放置位置或RF路标、选择播放列表、检查下一次会议细节、接收徒步导航方向、应答/分配电话呼叫、读取电子邮件或交通状况报告、记录一个人的姓名、根据环境编辑MID、以及当然获取时间等等功能。对系统设置或偏好、文本消息等的访问也能以菜单或子菜单格式访问。此外，蜂窝电话110可具有对因特网或其它无线网络的接入，从而允许用户通过菜单或列表访问多个远程服务。
移动设备110可包括或具有经由听觉映射和/或例如显示器上的视觉映射对内容的访问，而在本实施例中，用户可与移动设备110远程交互，从而允许移动设备110保留在口袋、钱包或袋子中。远程通信可经由无线通信格式完成。无线实施例可在该移动设备、手表、耳机以及指环中集成类似于蓝牙
Figure G2010100032447D00041
和/或电气与电子工程师协会(IEEE)标准802.15.4通信之类的低功率无线通信。该标准IEEE 802.15.4TM在相对简单的设备中提供消耗最少功率的低数据速率的连接，而且通常在10米(30英尺)或更短的距离处连接。IEEE 802.15.4TM针对工作于10到250kbps的数据率的固定的、便携以及移动设备。该标准允许设备在能直接交互的范围内形成短程自组织网络。
在许多实施例中，该内容可以是经由听觉项目的库的听觉格式，该库中的每项均有听觉图标——而且在若干实施例中是项目名称的诸如文本到语音转换之类的更长、更具说明性的听觉项目。类似地，内容可以是其中每个项目都有图标——也可能是更长的描述或更详细的图形——的视觉内容。在一个实施例中，该内容可包括文本，而移动设备110可经由例如文本到语音转换逻辑等将这些项目转换成一个或多个更长的听觉项目。例如，用于根据联系人列表呼叫的菜单项可与两个听觉项目关联，一个是听起来像电话响铃的听觉图标，而另一个是短语“根据联系人列表呼叫”的文本到语音转换。
现在参考图1A和1B，内容的听觉格式或视觉格式可被映射到表121中的单元。每个单元可具有通过诸如行1到4之类的行和诸如列A到Z之类的列表示的位置。例如，单元1A称为基准单元，且包括基准坐标。在本实施例中，内容的每一项被映射到单元中心的坐标，而该单元的高度和宽度是用户可选择该单元的范围。例如，移动设备的主菜单系统可包括用于根据联系人列表呼叫的功能，而此功能可至少最初被映射至基准坐标。因此，如果用户通过改变至相应姿势移动至基准单元1A，则用户可启动根据联系人列表呼叫的功能。
手表120可测量用户的物理运动，以向移动设备110提供表121的信息相关横越。在本实施例中，手表120包括内建的三维(3-D)加速度计，该加速度计用于监测用户腕部122的倾斜或旋转量以及用户肘部123的旋转角。在其它实施例中，手表120可包括一个或多个二维(2-D)加速度计和/或一个或多个倾斜传感器或开关或陀螺传感器。此外，手表120可包括电池，该电池在接收到来自移动设备110的指令时振动，以在接近或跨越诸如表121的边界之类的边界时给予用户某些与逻辑边界和/或姿势边界有关的反馈。在其它实施例中，表120可包括没有传统时钟功能的腕带或臂带。
为了说明起见，用户可通过沿由肘部123和腕部122限定的前臂的轴顺时针或逆时针旋转腕部122从而旋转手表120以沿行1到4访问表121中的印有文字的单元，且可通过将腕部122定位在肘部123之上或之下以沿列上下地访问表121中的编号单元。实际上，每次用户访问此菜单时，表121的单元都被相同地映射。因此，每次用户访问此菜单时，用于根据联系人列表呼叫的功能被映射至基准坐标处的单元1A，从而用户通过根据用户腕部和肘部的角度来记忆单元的位置、并通过在进入映射到表121上的菜单时移动至相同位置能直接访问用于根据联系人列表呼叫的功能。在若干实施例中，用户可通过例如添加/删除功能、重排单元、改变单元的大小等修改或自定义诸如移动设备110的主菜单之类的内容的映射，这可能会修改单元1A的位置或用于根据联系人列表呼叫的功能的位置。
在本实施例中，由于用于访问表121的单元的用户的腕部122和肘部123的旋转角(θ和φ)的测量结果(或角运动)，表121被映射到球体的表面上，其中肘部123是球体的中心，列A到Z表示腕部122旋转的范围(θ)，而行1到4表示肘部123旋转的范围(φ)。因此，在本实施例中，可根据纬度(θ)和经度(φ)测量距离，且可按照随时间变化的度数变化(Δφ和/或Δθ)来测量速度。在许多实施例中，用于腕部122和用于肘部123的旋转范围是用户可自定义的偏好。在某些实施例中，可基于每次活动选择这些范围，从而用户能根据用户参与的活动来限制或扩展这些范围。
在某些实施例中，表121包括顶区(top zone)126和下区(drop zone)127。顶区126可表示表中用户将返回上层或父映射的位置。如果用户已经处于最高级映射，和/或该映射是所访问的第一映射，则顶区126将不做任何事情或可退出听觉映射。顶区126可位于单元的最高行。进入下区127会退出听觉映射。在某些实施例中，顶区126和下区127可能仅在进入单元映射时可用。
在本实施例中，手表120还包括按钮125。用户可按按钮125以选择或执行表121中感兴趣的项目。例如，一旦在表121上遍历至感兴趣的项目，用户可按手表120上的按钮125以产生发送至移动设备110的选择信号。在其它实施例中，用户可释放按钮125以选择感兴趣的项目。在其它实施例中，按钮125可以是电容性开关、热敏开关或其它类型的触敏开关，以使用户能在不需要在物理上移动或不需要至少显著移动按钮125的情况下激活。
耳机130将向用户回放听觉项目以帮助用户通过表121移动至感兴趣的项目。用户通过改变至适当的姿势移动以到达表121中感兴趣的项，而这可通过有经验的用户经由肌肉记忆来完成。较少经验的用户或对映射的内容不熟悉的用户可导航或横越多个单元以尝试到达感兴趣的项目。在某些实例中，达到感兴趣的项目的单元会是目标，因为耳机130可能播放诸如项目文本的文本到语音通知之类的听觉项目。在其它实例中，选择项目可允许用户进入项目的子菜单映射。例如，一旦到达表121中的单元2L(参见图1C中所示的表121的子区145)，移动设备110将会把单元2L的听觉项目142输出至耳机130。如果用户仅在单元2L中停留诸如小于30毫秒(ms)之类的短暂时间，则将简短的音频图标143输出至耳机130。如果用户在单元2L中停留较长时间段，则移动设备110将完整的听觉项目144输出至耳机130。在若干实施例中，可将两个以上听觉项目与单元相关联，响应于用户停留或悬停在单元上特定时间段而输出每个听觉项目。在某些实施例中，可通过诸如热相关传递函数(HRTF)之类的头部相关传递函数修改听觉项目，以按照用户能感知单元2L相对于当前姿势位置或坐标的位置的方式将输出音频分散在一个以上扬声器中。在其它实施例中，HRTF仅考虑与当前姿势位置相关联的单元。在许多实施例中，当用户横越多个单元时，移动设备110可结合HRTF实现音频衰减，以使前一横越的单元的听觉项目衰减至一侧，当前姿势位置的听觉项目在用户正前方，后续单元的听觉项目音量增大以指示用户正在接近该单元。在其它实施例中，一旦用户移动至感兴趣的项，他/她就能使用表120上的按钮125来选择项目，从而执行与该项目有关的功能，诸如进入子列表或播放与选择项相关联的音频内容。
为了说明起见，单元2L可表示用于改变移动设备110的响铃的音量的功能。到达单元2L使移动设备110将简短音频图标143发送至耳机130，耳机130作出响应而以移动设备110的当前设置音量播放表示响铃的声音图标。当用户停留在单元2L上超过30ms时，移动设备110将完整的听觉项目144发送至耳机130，耳机130输出该功能的名称的完整的文本到语音转换——“响铃音量控制”。用户可通过按按钮125、释放按钮125以及按住按钮125(也称为“抓取”单元中的项目)来进入响铃音量控制功能。
除了响应于用于用户停留在单元2L中特定时间段而将听觉项目发送至耳机130之外，移动设备110可放大映射以稳定单元的选择。图1D描述响应于悬停在单元2L之一上而放大靠近当前姿势位置的单元的实施例。表区147示出了具有单元2L的表121的一部分，而表区148描绘了经过放大之后的区147。在此示例中，表区147的单元是6度宽和6度高。当用户悬停在单元2L上时，移动设备110将单元2L以及其附近的单元的放大率放大，以将它们的宽度增大至18度且高度增大至18度，这有效增大了用户必须横越而离开单元2L的距离。这种放大通过增大停留在单元上的单元公差使单元的选择稳定。在某些实施例中，放大率可作为一般适用设置由用户在偏好中调节，而且在某些实施例中，可基于每个活动在偏好中调节放大率。
图1E描绘放大率曲线的实施例，该放大率曲线描述了单元大小基于用户横越诸如表121的映射中的单元2L之类的单元的速度的变化。在图1E中，放大率是基于曲线149的放大率，而不是在悬停在单元上特定时间段之后的放大率的特定变化。曲线149描述靠近当前姿势位置(即用户正在横越的坐标)的单元的大小基于用户横越单元的速度的变化。曲线149将单元的最小尺寸限定为6度x x度，将单元的最大尺寸限定为18度x x度，而且该速度(时间变化上的Δθ)确定当前姿势位置附近的单元的实际尺寸。x度表示φ，它在许多实施例中可能足够大至无需放大。在其它实施例中，考虑了速度的φ分量用于确定放大率。在某些实施例中，可根据映射中的单元数量、用户偏好或另一曲线确定放大率范围。在某些实施例中，列宽单元尺寸θ和行高φ的放大率被独立计算并使用独立的最小和最大单元界限。
现参考图1A、1B以及1F，图1F描绘了系统100的状态图150，该系统100包括移动设备110、手表120以及耳机130。系统100在空闲状态151开始。在空闲状态151，用户还未使用移动设备110的听觉用户界面以进入移动设备110的内容的听觉映射。用户通过腕部的轻叩152启动听觉映射，从而进入父映射状态153。在其它实施例中，用户可按按钮125或执行某些其它动作以移出空闲状态151或从空闲状态151醒来。在另一实施例中，用户可按指环上的按钮，或通过触摸指环改变开关的状态。
例如，父映射状态153可以是移动设备110的主菜单，而且主菜单项可被映射到诸如表121之类的表中的单元。在其它实施例中，父映射状态153可以是比移动设备110的主菜单系统低一个或多个级别的单元映射。在这些实施例中，单元映射可类似于图1G中所示的映射。
从父映射状态153，用户通过保持空闲或旋转肘部123至下区154可返回空闲状态151。下区154可以是诸如图1G中的下区192之类的位置，诸如肘部123低于特定角度的旋转以表明来自用户的退出听觉映射或返回空闲状态151的命令。
从父映射状态153，用户还可横越在父映射状态153可用的单元155、悬停在单元164上以放大该单元、在单元处通过按压和释放按钮125来“点击”单元156以执行该单元的功能、或在当前姿势位置处于该单元处时通过按压和保持按钮125来“抓取”单元157。在父映射横越单元155可涉及横越诸如表121之类的单元表或横越如图1G所示的单元表。注意，图1G描绘了从腕部到肘部视图的角度的表121的单行版本。
例如，如果当前姿势位置处的单元是移动设备110的重拨功能，则执行单元156可重拨最后拨打的号码。另一方面，如果在当前姿势位置处映射至单元的功能是诸如改变音量之类的功能，则点击单元156会改变对子映射状态158的听觉映射。
如果用户从父映射状态153抓取单元157，则当用户继续按按钮125时，用户可改变至子映射状态158。在子映射状态158，用户通过进入顶区159并释放“抓取”按钮可返回父映射状态153、如结合图1G或表121所描述地横越单元160、悬停在单元161上以放大该单元、释放按钮125以执行该单元、或横越至下区163并释放该按钮以返回空闲状态151。
返回图1F和1G。一旦释放按钮125，如果用户通过抓取单元而进入子映射状态158，则用户就可执行该单元的功能。例如，假定处于父映射状态153，用户摆姿势至包括用户最喜爱的或最常用的活动的菜单的单元。用户通过按压和保持按钮125可抓取单元157。用户进入子映射状态158，而且图1G中描绘了该状态的映射190。虽然仍在按按钮，但用户可通过将腕部定位于所示的用户腕部旋转之一处横越菜单映射190。例如，如果用户利用腕部旋转进入子映射状态，从而手表120的正面朝上——这可以是该映射的基准位置，则用户可进入时间单元处的映射190，而且如果该时间单元不是感兴趣的单元，则可通过逆时针旋转腕部来访问其它单元。此时，用户可释放按钮125以执行该时间单元。执行时间单元会经由耳机130通知时间，然后将用户返回至父映射状态153。
另一方面，如果用户利用手表正面朝左而进入子映射状态190，而且用户通过点击单元156而实现这一操作，则用户可在映射190的呼叫控件处进入子映射状态158。通过点击单元156而进入子映射状态190使用户在执行诸如时间单元功能之类的功能之后留在子映射状态190中。然后用户可点击单元呼叫控件以执行呼叫控制功能，或顺时针或逆时针旋转腕部以执行另一单元。
或者，用户可通过横越至顶区191或下区192而退出子映射状态158。在顶区191中摆姿势涉及将腕部定位在肘部上方达到超过顶区边界193，且使用户返回父映射状态153。向下区192摆姿势涉及向下旋转肘部超过下区边界194，且使用户返回空闲状态151。在许多实施例中，一旦达到下区192和顶区191，则向用户提供诸如使手表振动的信号或听觉反馈之类的反馈。在另外的实施例中，一旦向顶区191或下区192摆姿势，则用户按压按钮以使用户返回空闲状态151或父映射状态153。
图2描绘系统200横越菜单、表或列表的听觉映射225以执行映射至选定单元的项目，诸如应用、功能或对映射225的子映射的访问。系统200可包括移动设备210、指环230、手表240以及耳机250。移动设备210可包括上网机、上网本、蜂窝电话、个人数据助理(PDA)、膝上计算机、MID等。在其它实施例中，可将系统200的功能集成到诸如桌面计算机、游戏控制台、服务器等等之类的不移动或很少移动的设备。
移动设备210可提供对一个或多个菜单或列表的访问，而且可与手表240和耳机250通信地耦合，并经由手表240与指环230耦合。在某些实施例中，移动设备210还可直接而不是通过手表240的接口与指环230通信耦合。例如，移动设备210可包括导航码以及全球定位系统和映射数据，以向用户提供路由信息。移动设备210可包括存储器220中的包括功能和目的地的菜单系统的映射225，而用户可访问存储在音频库226中的听觉项目形式的映射225。
移动设备210可包括处理器212、芯片组214、发射器/接收器216以及存储器220。处理器212可经由芯片组214接收和执行诸如听觉映射器221之类的代码。例如，处理器212可包括一个或多个
Figure G2010100032447D00101
AtomTM处理器，而芯片组214可包括例如
Figure G2010100032447D00111
945GC Express芯片组或移动
Figure G2010100032447D00112
945GSE Express芯片组。
芯片组214可包括用于协调处理器212与存储器220之间的通信的系统控制器中心、发射器/接收器216、以及诸如显示器、外围部件互连(PCI)总线、通用串行总线(USB)、网络总线等之类的可能的其它设备。例如，芯片组214可经由姿势输入解释器244和发射器/接收器248接收来自手表240的包括来自加速度计242的数据的通信。芯片组214还可将来自处理器212的通信发送至手表240和耳机250。
在本实施例中，芯片组214可响应于来自处理器212的请求从存储器220取回指令和数据，以执行听觉映射器221。这些指令和数据可包括用于解释来自加速度计242的加速度计数据和与开关232的状态有关的数据的逻辑。这些指令和数据还可包括基于映射225中与用户的当前姿势位置相关联的单元从音频库226选择听觉项目以发送至耳机250从而经由扬声器252发出该听觉项目的声音的逻辑。例如，听觉映射器221可便于用户通过移动设备210的主系统菜单的音频映射移动。听觉映射器221可包括指令，这些指令在由处理器212执行时，使处理器从音频库226中选择诸如声音片段之类的多个音频项以发送至耳机250，从而表明与当前姿势位置——即与手表240的位置和旋转相关联的坐标——处的单元相关联的项。
听觉映射器221还可基于用户指示横越列表的速度从针对映射225内的不同位置的多个不同音频项中选择。例如，当用户在单元中降低速度时，听觉映射器221可选择持续时间比以较快速度选择的听觉项目更长的听觉项目以在听觉上表示该单元。在许多实施例中，听觉映射器221可发送短听觉项目，然后如果用户停留在单元上超过诸如100ms之类的阈值时间段，则发送较长的听觉项目。
发射器/接收器216可包括用于与手表240和耳机250通信的无线通信电路。在本实施例中，移动设备210经由发射器234和手表240的发射器/接收器248接收来自指环230的通信，以使发送距离最小化从而节省发射器234消耗的功率。在其它实施例中，发射器234可经由物理通信介质与手表240耦合，或可经由无线或有线通信介质与发射器/接收器216直接耦合。例如，可将有线互连集成到诸如衬衫或夹克之类的可穿戴的物品中。
发射器/接收器216还可与诸如无线路由器之类的未示出的其它设备通信，以向移动设备210提供对其它局域网、广域网等的访问。例如，在一个实施例中，发射器/接收器216可包括用于与以太网络耦合的以太网适配器以及用于与计算机系统、外部存储设备、外设或其它此类设备耦合的USB适配器。
存储器220可存储通过处理器212执行的代码和数据、诸如列表224之类的一个或多个列表、以及音频库226中的听觉项目。存储器220可包括一种或多种不同类型的数据存储器，包括随机存取存储器、只读存储器、闪存、诸如硬盘驱动器之类的磁存储介质、诸如光盘驱动器之类的光存储介质、数字视频盘介质等。可基于移动设备210的设计和与在移动设备210的不同区域中定位存储器有关的多种效率将存储器220散布在整个移动设备210中。例如，包括听觉映射器221、映射225、音频库226、听觉用户界面228或它们的组合的存储器的多个部分可驻留在物理上靠近微控制器218的存储器中，以降低涉及提供与横越和在映射225的单元上悬停有关的听觉反馈的等待时间。
在本实施例中，存储器220至少包括听觉映射器221、映射225以及音频库226。听觉映射器221提供用于访问诸如映射225之类的听觉映射形式的菜单、子菜单、表、子表、列表、子列表等的用户界面。可在移动设备210加电时，或用户诸如通过改变开关232的状态或按按钮或启动手表240的功能以选择听觉映射器221时启动听觉映射器221。在某些实施例中，可在识别诸如手表240之类的设备时或识别加速度计242(无论是否包括在手表240中)时启动听觉映射器221。
通过选择来自映射225的当前映射和当前映射内的当前姿势位置，听觉映射器221可启动。当前姿势位置涉及与手表240的位置相关联的坐标。换言之，在本实施例中，听觉映射器221采用绝对坐标，从而不论听觉映射器221的状态如何，手表240的同一位置根据倾斜和旋转提供相同的坐标。其它实施例可采用将当前姿势位置放置在例如与听觉映射器221启动的初始位置相同的位置处的相对坐标。另外的实施例可在最后访问单元或优选启动单元处启动听觉映射器221。
通过确定当前映射、经由映射225将当前姿势位置与该位置处的当前单元关联、然后将项目识别为与当前单元关联，可识别听觉映射器221当前项。听觉映射器221可通过确定默认映射、确定如用户偏好所指定的优选初始映射、确定所访问的最后一个映射、向用户提供包括最近访问单元的单元的映射等确定映射225的当前映射。
然后用户可通过旋转腕部以旋转手表和/或通过旋转肘部以使手表240倾斜来横越映射225。当横越映射225时，听觉映射器221可产生指示横越映射中的单元的速度的听觉项目，并基于该速度调节映射中所横越的单元的放大率。听觉映射器221可通过从音频库226选择与所横越的单元相关联的听觉项目、并将这些听觉项目发送至耳机250以在用户耳朵里发出这些听觉项目的声音，产生这些听觉项目。
例如，逆时针旋转手表240并向上倾斜手表240可从加速度计242产生加速度计数据。手表240的姿势输入解释器244可基于姿势输入解释器244的粒度确定旋转和倾斜表示姿势的变化。在某些实施例中，该粒度可以是用户经由手表240的用户界面或移动设备210的听觉用户界面228设置的偏好。例如，在确定用户已经指示姿势状态变化以便移动通过映射225之前，姿势输入解释器244可接收来自加速度计242的原始数据，并等待手表240旋转和/或在任何特定方向倾斜指定量或阈值(诸如特定的几度)。一旦达到阈值，姿势输入解释器244可经由发射器/接收器248向移动设备210发送指示手表240的旋转和倾斜变化的姿势数据。该阈值可通过手表240中的代码设置、可通过移动设备210设置、或可以是可由加速度计242确定的最小变化量(即粒度)、或可以是姿势输入解释器244能监测到的最小变化量(即粒度)。
听觉映射器221可从手表240接收姿势数据，并确定新的当前姿势位置、确定手表240的旋转和倾斜是否将当前姿势位置定位于另一单元中、以及确定速度。如果新的当前姿势位置与新的单元相关联，则听觉映射器221可将诸如与新单元相关联的音频图标之类的听觉项目发送至耳机250以提供与新单元有关的反馈。耳机250可经由扬声器252输出音频图标。如果新的当前姿势位置与同一单元相关联，则听觉映射器221可基于该速度确定用户悬停在单元上，并发送与当前单元相关联的另一听觉项目。某些实施例也能基于该速度放大该单元。
在某些实施例中，姿势输入解释器244指示的任何变化至少表示当前姿势位置的速度和坐标的变化，并被发送至音频映射器221。在其它实施例中，姿势输入解释器244的粒度小于旋转或倾斜的阈值，在旋转或倾斜的阈值处听觉映射器221将改变速度或当前横越坐标。例如，用户可将手表240向左倾斜0.5度。姿势输入解释器244可确定倾斜变化超过要发送姿势数据至移动设备210的阈值，从而产生姿势数据并将该姿势数据发送至移动设备210。然而，听觉映射器221可能不实现小于1度的移动，从而当前姿势位置可保持不变。
在某些实施例中，听觉映射器221可响应于姿势输入解释器244指示的变化产生反馈信号，该变化表示引起当前姿势位置接近的是顶区或下区。顶区可以是听觉映射器221离开当前映射以返回映射225的上一映射或父映射的位置。下区可以是听觉映射器221离开当前映射以返回至主系统菜单或听觉映射器221启动时的初始菜单——诸如映射225的“根”映射、或离开听觉映射221的位置。作为响应，听觉映射器221可将反馈信号发送至手表240的反馈设备246。例如，当手表240的倾斜接近顶区或下区时，反馈设备246可按照反馈信号指示的速率产生振动，而听觉映射器221可产生提高反馈设备246的振动频率的反馈信号。在某些实施例中，当用户横越远离顶区或下区时，听觉映射器221降低振动频率。在其它实施例中，反馈设备246可位于除手表240以外的另一元件中。反馈设备246可向用户提供当前单元的变化已经出现的指示。
一旦接收到来自指环230的开关232的选择信号，听觉映射器221还可选择列表中的项目。例如，当听觉映射器221通过将听觉项目发送至耳机250以发声而产生听觉项目时，用户可按指环230上的按钮以指示与当前单元相关联的项目的选择。
映射225可包括可映射至诸如图1B中的表121或如结合图1G所描述的按顺序横越的单元的任何数据或信息。例如，映射225可包括对歌曲、电台、电话号码、联系人、网站等等的表的映射。映射225还可包括对移动设备210的诸如诸如打开联系人、打开文本消息、打开电子邮件、打开网络浏览器、进入偏好菜单等等之类的功能的映射。在本实施例中，映射225可包括项目，而且映射225中的每个项目可与音频库226中的一个或多个听觉项目相关联。例如，如果映射225包括用户可从中选择移动设备210的不同功能的菜单，则每个菜单项可与诸如声音片段之类的唯一听觉项目相关联。在其它实施例中，听觉映射器221可包括文本到语音转换逻辑，从而可为映射221中映射的文本项产生听觉项目并将其存储在音频库226中。
指环230可提供方便和直观的方式来“抓取”映射225中的项目，以选择或执行该项目。例如，按钮可位于指环230的底部，从而一旦达到映射225中感兴趣的项目，用户就可用拇指触摸该按钮以激活开关232，从而向用户提供与抓取对象典型相关的自然运动。在其它实施例中，开关232可位于诸如耳机250之类的与移动设备210通信耦合的不同设备中。
指环230还可包括经由诸如蓝牙
Figure G2010100032447D00151
发射器之类的发射器234的无线通信能力。指环230可将开关232保持在方便的位置，以便用户激活或执行开关232。在本实施例中，指环230与手表240无线连接。一旦改变开关232的状态，发射器234就可将选择信号发送至手表240，而手表240可将该选择信号发送至移动设备210。在本实施例中，指环230包括用于对发射器234供电的诸如锂离子电池之类的电源236或其它储电设备。
手表240可提供多种手表功能中的任一种。在本实施例中，手表240包括加速度计242、姿势输入解释器244、反馈设备246以及发射器/接收器248。在本实施例中，手表240向移动设备210发送原始三维加速度计数据。在某些实现中，手表240包括姿势输入解释器244，用于在将姿势数据发送至移动设备210之前处理加速度计数据以产生姿势数据。在其它实施例中，手表240可包括诸如一个或多个倾斜开关、陀螺传感器、三维加速度计之类的运动传感器或能监测手表240的倾斜和旋转的其它传感器。
耳机250可以是能将听觉项目发声给用户的任何类型的耳机或头戴式耳机。耳机250包括扬声器252和接收器254。扬声器252产生声音，而接收器254可接收听觉项目，并将信号以适当的格式发送给扬声器252。例如，如果接收器254经由物理介质与移动设备210耦合，则接收器254可包括预放大器或阻抗匹配电路系统。在其它实施例中，接收器254可包括用于接收作为无线信号的听觉指示器的无线接收器。在其它实施例中，接收器254可包括有线或无线的数字接收器，且可包括用于将数字信号转换成可由扬声器252发声的模拟信号的逻辑。
在另一实施例中，可用视觉显示(头戴式显示器)代替听觉反馈，而腕部和肘部姿势被映射至该显示器上的特定菜单项。
现参见图3，其中示出了移动设备310的替代实施例300。移动设备310可以是诸如PDA、蜂窝电话、上网本、上网机等等之类的任何类型的便携式设备。与图2的移动设备210一样，移动设备310包括处理器212、芯片组214、发射器/接收器216以及存储器220，存储器220具有听觉映射器221、映射225以及适于与移动设备310一起使用的听觉界面228，因此以下讨论主要集中于差异。移动设备310还包括开关320、扬声器323、运动传感器324以及反馈设备326。
处理器212可处理用于实现听觉映射器225的代码和数据，而不具有用于减轻处理负担的微控制器。在某些实施例中，处理器212可采用优先级来处理与听觉映射器225有关的各种功能，诸如经由与单元相关联的听觉项目的发射提供对横越单元的反馈。
开关320可提供来自用户的该用户从映射225选择项目的指示。开关320可以是装有弹簧的按钮或利用移动设备310上的触摸屏的至少一部分的软件启用的按钮。在其它实施例中，开关320可被语音激活或者以其它方式远程激活。
扬声器323可通知或将听觉项目发声以通知用户在当前姿势位置处的映射225的单元。在某些实施例中，扬声器323可包括用于向头戴式耳机输出听觉项目的音频接口。
运动传感器324可产生数据来描述移动设备310的运动，具体而言是手表240的例如向左或右和向上或下的倾斜或旋转。运动传感器324可包括三维加速度芯片或其它类型的运动传感器，而且可经由总线与微控制器318耦合。在许多实施例中，运动传感器324可经由总线与微控制器318直接耦合。在许多实施例中，并非将加速度计集成到移动设备310中以产生描述移动设备310的运动的数据，而是诸实施例可集成诸如陀螺仪、倾斜传感器或多个倾斜开关之类的另一种类型的运动传感器。
反馈设备326可包括用于向用户提供除音频之外的形式的反馈的机构。例如，反馈设备326可包括与移动设备310耦合的电池上的振动发生器。在其它实施例中，反馈设备326可包括诸如闪光、发光二极管(LED)或LED行之类的视觉反馈。例如，随着用户增大移动设备310的倾斜，听觉映射器221可提高闪光(可以是移动设备310的显示器的一部分)的闪光频率、增大LED的发光强度、增加LED行中的点亮LED的数量等，以指示倾斜的程度在可用于移动列表的倾斜的总范围内或达到了顶区或下区。
图4描绘了经由听觉映射449横越单元的装置400的实施例。装置400可包括与诸如服务器、台式机、笔记本电脑、上网机或上网本耦合的模块，以便于经由听觉映射对列表464的访问。列表464可驻留在设备中或在与计算机集成或耦合的存储器中。装置400可经由诸如USB连接器之类的外部总线或诸如以太网适配器之类的网络连接来连接。在其它实施例中，装置400可包括与计算机集成的诸如硬件之类的模块和/或安装在计算机中的代码。例如，装置400可包括可经由USB连接器连接至移动设备的硬件部件，以向该移动设备提供横越听觉映射449的单元的能力。
装置400包括用户偏好410、听觉映射器420以及库460。用户偏好410可包括与姿势数据的解释或姿势数据到速度和方向的映射有关的偏好、以及例如顶区和下区的边界、腕部旋转的边界、肘部旋转的边界、优选单元大小、优选单元大小范围、优选放大方法等。用户偏好410还可包括与听觉映射器420的其它功能有关的偏好。
听觉映射器420可包括逻辑，该逻辑包括便于映射449的单元的横越的硬件和代码。例如，听觉映射器420可访问库460以选择与映射449中的单元相关联的听觉项目462，并输出表示映射449中所横越的那些项目的听觉项目。
听觉映射器420可包括姿势数据解释器422、姿势状态确定器430、存储器440以及音频输出逻辑450。姿势数据解释器422可解释来自运动传感器的原始传感器数据，该运动传感器检测用户意在引导横越通过映射449的运动。在许多实施例中，原始传感器数据可指示诸如用户的腕部、肘部、手指、脖子、头部、踝部等等之类的横向和纵向位置。在其它实施例中，原始传感器数据可表示任何角姿势。在一个实施例中，将拇指或手指放置在触敏指环附近或指环的相对于其另一部分的一部分的位置处可提供用于菜单映射的姿势数据。
姿势数据解释器422确定来自用户输入的当前横越坐标以及当前的横越速度或速度。姿势数据解释器422包括角运动处理器424和速度监测器426。角运动处理器424可基于输入数据确定运动的度数，并将运动的度数与例如纬度和经度坐标关联。速度监测器426可监测纬度和/或经度方向上的速度。
姿势数据解释器422还可从按钮或开关输入原始信息，并处理该信号并将其作为选择信号重新发送至姿势状态确定器430的选择逻辑。例如，姿势数据解释器422可接收指示开关已经改变状态和/或开关已经返回默认或正常状态的数据。作为响应，姿势数据解释器422可向选择逻辑438发送指令。
在某些实施例中，姿势数据解释器422或其一部分可驻留于另一设备420中。例如，姿势数据解释器422可驻留于诸如图2的手表240之类的手表中。
当姿势数据解释器422确定姿势数据并将该姿势数据发送至姿势状态确定器430时，姿势状态确定器430可确定当前映射446、确定新的当前姿势位置或当前坐标445、确定与新的当前姿势位置相关联的新的当前单元447、检测当前单元的选择、以及与音频输出逻辑452交互以经由听觉项目将当前映射446发送至用户。
姿势状态确定器430包括映射逻辑432、悬停逻辑433、放大逻辑434、单元关联器436以及选择逻辑438。映射逻辑432可确定当前映射446并将当前映射存储在当前映射446中。例如，一旦姿势状态确定器430开始执行，姿势状态确定器430就可选择内建的默认映射、来自用户偏好410的默认映射、或在用户偏好410中指示的另一映射。此外，一旦选择当前映射内的单元，映射逻辑432就可改变当前映射446。例如，如果当前单元的执行涉及进入子映射，则映射逻辑432将存储器440中的当前映射446变成子映射，并将父映射的指示存储在存储器440的映射历史448中。
在某些实施例中，映射逻辑432还可确定新的基准位置以使其与新的当前映射446相关联，新的当前映射446基于用户偏好将相对映射坐标映射到新的当前映射446上。
悬停逻辑433可确定用户是否已经悬停在单元上或保留在单元中足够长时间而达到发送另一听觉项目的阈值。具体而言，一旦确定用户已经横越到不同的单元中，单元关联器436就可指示音频输出逻辑450输出与单元相关联的第一听觉项目。如果用户保持同一单元的当前坐标达阈值时长，则悬停逻辑433可继续发送与该单元相关联的听觉项目，直到没有更多的听觉项目可用于发送或用户退出该单元。在某些实施例中，各个连续的听觉项目可与不同的阈值相关联。在某些实施例中，当没有更多的听觉项目可用于发送时，悬停逻辑450可重复发送这些听觉项目中的一个或多个。在其它实施例中，悬停逻辑433可在发送前一听觉项目之后发送各个连续的听觉项目。
放大逻辑434可监测用户横越单元的速度，并确定当前单元和(在某些实施例中)毗邻当前单元447的单元的放大率。在某些实施例中，通过增大单元的高度和/或宽度将该单元放大。在许多实施例中，不会将单元放大，除非速度放慢到足以表明用户对该单元有兴趣，其中该兴趣可以是速度的函数，而且可以是可存储在用户偏好410中的设置。
单元关联器436可包括用于将单元与当前坐标关联的逻辑。例如，一旦从姿势数据解释器422接收到新坐标，单元关联器436就可确定用户是否已经横越到不同的单元中或保留在同一单元内。单元关联器436可在存储器440的当前单元447中存储当前单元的指示。
一旦接收到选择信号，选择逻辑438就可基于该选择信号确定当前单元的选择。如果单元的执行涉及功能的执行，则可执行该功能而且姿势状态442可保持不变。另一方面，如果单元的执行涉及进入子映射，则选择逻辑438可将该子映射发送至映射逻辑432以更新当前映射446。
音频输出逻辑450可响应于来自姿势状态确定器430的指示确定并输出单元的听觉项目。音频输出逻辑450可包括听觉项目确定器452、传递函数逻辑454以及音频输出456。听觉项目确定器452可基于姿势状态确定器430指示的关联确定当前单元446的听觉项目，并从库460中的听觉项目462取回听觉项目。然后听觉项目确定器450可经由音频输出456将听觉项目输出至音频输出机构。在某些实施例中，在发送听觉项目之前，传递函数逻辑454可利用头部相关传递函数等修改该听觉项目。
图5示出用于经由听觉映射横越单元的实施例的流程图500。流程图500以接收包括坐标的姿势数据开始(框505)。听觉映射器的姿势数据解释器可接收数据，该数据可以是来自例如姿势传感器的原始数据，或可以是经过部分处理的数据。然后姿势数据确定器可确定与姿势数据相关联的当前坐标并确定速度(框510)。
在确定速度之后，姿势状态确定器可基于当前映射确定与当前坐标相关联的单元(框515)，并可基于该单元与听觉项目之间的关联以及当前速度与听觉项目之间的关联确定与该单元相关联的听觉项目。例如，如果用户刚到达该单元，则可选择与该单元相关联的第一听觉项目，并通过听觉映射器发送该听觉项目(框522)。另一方面，如果已经对该项发送了第一听觉项目，而用户停留在该单元上，则听觉映射器的悬停逻辑可确定已经输出当前单元的第一听觉项目以及用户已经停留在该单元上的时间长到足以向用户发送第二听觉项目。一旦达到悬停阈值，悬停逻辑就可继续发送出听觉项目，直到没有该单元的更多听觉项目。在其它实施例中，悬停逻辑可继续以重复最后一项。
放大逻辑可监测速度并根据预定设置调节单元的大小。响应于确定用户在当前单元上降低了速度(框525)，放大逻辑可增大该单元的大小(框530)。在某些实施例中，当前单元以及在某些实施例中靠近当前单元的单元的大小调节是基于在该单元花费的预定时长的预定变化。在其它实施例中，可根据诸如图1E中的曲线149之类的放大率曲线连续修改单元的大小。
在决策框535，姿势状态确定器的选择逻辑确定是否已经接收到选择信号。如果接收到了选择，则姿势状态确定器确定与当前单元相关联的功能是否与单元的子映射相关联。如果是这样，则姿势状态确定器选择该新映射作为当前映射(框560)，并将前一映射的指示存储在存储器中，以在子单元映射中的活动完成时，就返回至前一映射或父映射。然后该流程图返回框505以接收另外的姿势数据从而横越新的子映射。
另一方面，如果单元功能能简单地执行或者不需要移动通过子映射，则执行与当前单元相关联的功能，并使控制返回听觉映射器(框545)。如果用户在执行单元功能之后什么也不做，或者指示用户意在退出听觉映射器，则流程图500结束。或者，姿势数据确定器在框505接收姿势数据，而流程图500继续。
另一实施例被实现为用于实现参照图1-5所描述的系统和方法的程序产品。实施例可采取全硬件实施例、全软件实施例、或既包含硬件又包含软件成分的实施例的形式。一个实施例以软件实现，其包括但不限于固件、常驻软件、微码等。
此外，实施例可采取可从用于或与计算机或任何指令执行系统结合的计算机可用或计算机可读介质访问的计算机程序产品的形式。为了本说明书的目的，计算机可用或计算机可读介质可以是包含、存储、通信、传播、或传输用于或与指令执行系统、装置或设备结合的程序的任何装置。
该介质可以是电子的、磁的、光学的、电磁的、红外的或半导体系统(或装置或设备)或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机卡带、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘以及光盘。光盘的当前示例包括只读光盘(CD-ROM)、读/写光盘(CD-R/W)以及DVD。
适用于存储和/或执行程序代码的数据处理系统将包括通过系统总线与存储器元件直接或间接耦合的至少一个处理器。该存储器元件可包括在程序代码的实际执行期间所采用的本地存储器、大容量存储器、以及提供至少某些程序码的临时存储以减少在执行期间从大容量存储器取回代码的次数的高速缓存。
输入/输出或I/O设备(包括但不限于键盘、显示器、点击设备等)可直接或通过介入的I/O控制器耦合至该系统。网络适配器也可耦合至该系统，以允许数据处理系统通过介入的专用或公共网络耦合至其它数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器以及以太网适配器卡仅仅是网络适配器的当前可用类型中的几种。
如上所述的逻辑可以是集成电路芯片的设计的一部分。芯片设计在图形计算机编程语言中被建立，而且被存储在计算机存储介质中(诸如磁盘、磁带、物理硬盘驱动器或诸如存储存取网络中的虚拟硬盘)。如果设计者不制造芯片或用于制造芯片的光刻掩模，则该设计者可通过物理手段(例如通过提供存储该设计的存储介质的副本)或电子地(例如通过因特网)将所得设计直接或间接发送至这样的机构。然后所存储的设计被转换成适当的形式(例如GDSII)以便制造光刻掩模，该掩模通常包括正在讨论的要形成在晶片上的芯片设计的多个副本。利用这些光刻掩模来限定晶片的要蚀刻或者处理的区域(和/或其上的层)。
制造商可按照原始晶片形式(即具有多个未封装芯片的单个晶片)、裸片形式或封装形式分发所得的集成电路芯片。在后一种情况下，将芯片安装在单芯片封装中(诸如塑料载体，其具有固定至母板或其它高级载体的引线)或多芯片封装中(诸如具有单面或双面互连或掩埋互连的陶瓷载体)。在任何情况下，然后将芯片与其它芯片、分立的电路元件、和/或其它信号处理设备集成作为诸如母板之类的(a)中间产品的一部分或(b)最终产品。最终产品可以是包括集成电路芯片的任何产品，其范围从玩具和其它低端应用到具有显示器、键盘或其它输入设备以及中央处理器的高级计算机产品。
对获得本公开内容的好处的本领域技术人员显而易见的是，本公开内容构想姿势到听觉的映射。应当理解，在详细描述和附图中示出和描述的实施例的形式仅作为示例。所附权利要求旨在被广义地解释，以包括所公开的示例实施例的所有变化。
虽然已经详细描述了某些实施例的公开内容及其某些优点，但应当理解，可对本文作出各种改变、替换以及变化，而不背离所附权利要求所限定的本公开内容的精神和范围。虽然特定实施例可实现多个目的，但并非落入所附权利要求范围的每个实施例都将实现每个目的。而且，本申请的范围不旨在受限于在说明书中描述的工艺、机器、制造、物质组分、手段、方法以及步骤的具体实施例。就像本领域技术人员容易从本公开内容中理解的那样，可采用执行与本文中描述的相应实施例基本相同功能或实现基本相同结果的现有或以后开发出来的工艺、机器、制造、物质组分、手段、方法或步骤。因此，所附权利要求旨在将这样的工艺、机器、制造、物质组分、手段、方法或步骤包括在所附权利要求范围内。

Claims (18)

1.一种用于听觉映射的方法，所述方法包括：
将来自用户界面的姿势数据与第一组单元的第一映射相关联，所述第一组单元的各个单元具有宽度、高度以及与所述第一映射的行和列相关联的坐标，其中所述姿势数据包括表示腕部的第一旋转角和肘部的第二旋转角的角运动数据；
将所述第一组单元的所述第一映射与具有基准坐标的基准位置相关联；
解释来自所述用户界面的所述姿势数据，以基于所述基准位置标识一个以上角速度中的第一角速度和第一姿势位置，所述第一姿势位置具有在所述第一映射内的基于所述第一旋转角和第二旋转角的第一组坐标；
基于所述第一组坐标，将第一单元与所述第一姿势位置相关联；以及
基于以所述第一角速度横越所述第一单元，确定与所述第一单元相关联的第一听觉项目；以及
将所述第一听觉项目发送至所述用户界面，以输出与所述第一单元相关联的输出音频，
所述方法还包括：
从所述用户界面接收所述姿势数据，其中所述姿势数据包括指示角运动的数据，所述角运动包括基本沿球体表面的具有经度和纬度分量的角运动；和
处理所述姿势数据的所述经度和纬度分量，以确定所述第一组坐标，以及将所述第一组坐标与所述第一映射比较，以确定所述第一姿势位置在所述第一单元内。
2.如权利要求1所述的方法，其特征在于，还包括解释来自所述用户界面的后续姿势数据，以标识所述一个以上角速度中的第二角速度、并基于所述第二角速度在后续姿势位置处改变所述第一组单元中的至少一个的大小。
3.如权利要求2所述的方法，其特征在于，解释所述后续姿势数据指示了以所述第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度慢，而且基于所述第二角速度，相对于以所述第一角速度横越时的所述第二单元的所述大小增大所述第二单元的大小。
4.如权利要求2所述的方法，其特征在于，解释所述后续姿势数据指示了以所述第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度慢，而且基于所述第二角速度发送第二听觉项目，所述第二听觉项目的持续时间比所述第一听觉项目长。
5.如权利要求2所述的方法，其特征在于，解释所述后续姿势数据指示了以第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度快，而且基于所述第二角速度，相对于以所述第一角速度横越时的所述第二单元的所述大小减小所述第二单元的大小。
6.如权利要求2所述的方法，其特征在于，解释所述后续姿势数据指示了以第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度快，而且基于所述第二角速度发送第二听觉项目，所述第二听觉项目的持续时间比所述第一听觉项目短。
7.如权利要求1所述的方法，其特征在于，还包括利用头部相关传递函数调节所述听觉项目，以将输出音频按照能被理解为指示相对于所述第一单元的所述第一姿势位置的方式散布在一个或多个扬声器之间。
8.如权利要求1所述的方法，其特征在于，还包括当所述姿势数据指示第三组坐标存在于第五单元内时接收选择信号，并且作为响应，将所述第一映射改变到其子映射状态。
9.一种用于听觉映射的装置，包括：
用于将来自用户界面的姿势数据与第一组单元的第一映射相关联的装置，所述第一组单元的各个单元具有宽度、高度以及与所述第一映射的行和列相关联的坐标，其中所述姿势数据包括表示腕部的第一旋转角和肘部的第二旋转角的角运动数据；
用于将所述第一组单元的所述第一映射与具有基准坐标的基准位置相关联的装置；
用于解释来自所述用户界面的所述姿势数据，以基于所述基准位置标识一个以上角速度中的第一角速度和第一姿势位置的装置，所述第一姿势位置具有在所述第一映射内的基于所述第一旋转角和第二旋转角的第一组坐标；
用于基于所述第一组坐标将第一单元与所述第一姿势位置相关联的装置；以及
用于基于以所述第一角速度横越所述第一单元确定与所述第一单元相关联的第一听觉项目的装置；以及
用于将所述第一听觉项目发送至所述用户界面以输出与所述第一单元相关联的输出音频的装置，
其中，用于听觉映射的所述装置还包括：
用于从所述用户界面接收所述姿势数据的装置，其中所述姿势数据包括指示角运动的数据，所述角运动包括基本沿球体表面的具有经度和纬度分量的角运动；和
用于处理所述姿势数据的所述经度和纬度分量以确定所述第一组坐标，以及将所述第一组坐标与所述第一映射比较以确定所述第一姿势位置在所述第一单元内的装置。
10.如权利要求9所述的装置，其特征在于，还包括用于解释来自所述用户界面的后续姿势数据以标识所述一个以上角速度中的第二角速度、并基于所述第二角速度在后续姿势位置处改变所述第一组单元中的至少一个的大小的装置。
11.如权利要求10所述的装置，其特征在于，还包括用于发送第二听觉项目的装置，所述第二听觉项目的持续时间基于所述第二角速度比所述第一听觉项目长。
12.如权利要求10所述的装置，其特征在于，还包括用于发送第二听觉项目的装置，所述第二听觉项目的持续时间基于所述第二角速度比所述第一听觉项目短。
13.如权利要求10所述的装置，其特征在于，用于解释所述后续姿势数据的所述装置指示了以所述第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度慢，而且基于所述第二角速度，相对于以所述第一角速度横越时的所述第二单元的所述大小增大所述第二单元的大小。
14.如权利要求10所述的装置，其特征在于，用于解释所述后续姿势数据的所述装置指示了以所述第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度慢，而且基于所述第二角速度发送第二听觉项目，所述第二听觉项目的持续时间比所述第一听觉项目长。
15.如权利要求10所述的装置，其特征在于，用于解释所述后续姿势数据的所述装置指示了以第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度快，而且基于所述第二角速度，相对于以所述第一角速度横越时的所述第二单元的所述大小减小所述第二单元的大小。
16.如权利要求10所述的装置，其特征在于，用于解释所述后续姿势数据的所述装置指示了以第二角速度横越与所述第一组单元的第二单元相关联的第二姿势位置，其中所述第二角速度比所述第一角速度快，而且基于所述第二角速度发送第二听觉项目，所述第二听觉项目的持续时间比所述第一听觉项目短。
17.如权利要求9所述的装置，其特征在于，还包括用于利用头部相关传递函数调节所述听觉项目，以将输出音频按照能被理解为指示相对于所述第一单元的所述第一姿势位置的方式散布在一个或多个扬声器之间的装置。
18.如权利要求9所述的装置，其特征在于，还包括用于当所述姿势数据指示第三组坐标存在于第五单元内时接收选择信号，并且作为响应将所述第一映射改变至其子映射状态的装置。
CN2010100032447A 2009-01-01 2010-01-04 姿势到设备的映射 Expired - Fee Related CN101794207B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/347,999 2009-01-01
US12/347,999 US9591118B2 (en) 2009-01-01 2009-01-01 Pose to device mapping

Publications (2)

Publication Number Publication Date
CN101794207A CN101794207A (zh) 2010-08-04
CN101794207B true CN101794207B (zh) 2013-12-04

Family

ID=42286431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010100032447A Expired - Fee Related CN101794207B (zh) 2009-01-01 2010-01-04 姿势到设备的映射

Country Status (4)

Country Link
US (1) US9591118B2 (zh)
JP (1) JP5306985B2 (zh)
CN (1) CN101794207B (zh)
TW (1) TWI443548B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
TWI554076B (zh) * 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
EP2797796A4 (en) * 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US11372536B2 (en) * 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
CN103197529A (zh) * 2013-02-06 2013-07-10 方科峰 一种体感腕表及应用方法
WO2014175879A1 (en) * 2013-04-24 2014-10-30 Hewlett-Packard Development Company, L.P. Displacement signatures
CN103324309A (zh) * 2013-06-18 2013-09-25 杭鑫鑫 可穿戴计算机
US9622074B2 (en) * 2013-07-24 2017-04-11 Htc Corporation Method for continuing operation on mobile electronic device, mobile device using the same, wearable device using the same, and computer readable medium
CN104460957A (zh) * 2013-09-18 2015-03-25 叶宏尧 环形穿戴式电子装置及其控制方法
US9996221B2 (en) * 2013-12-01 2018-06-12 Upskill, Inc. Systems and methods for look-initiated communication
KR102131829B1 (ko) * 2013-12-17 2020-08-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105960575B (zh) * 2014-02-24 2018-06-12 索尼公司 功耗及网络负荷优化的智能可穿戴设备及方法
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US9563855B2 (en) * 2014-06-27 2017-02-07 Intel Corporation Using a generic classifier to train a personalized classifier for wearable devices
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US9464912B1 (en) 2015-05-06 2016-10-11 Google Inc. Binaural navigation cues
JP6573071B2 (ja) * 2015-08-27 2019-09-11 カシオ計算機株式会社 電子機器及びその制御方法、制御プログラム
US9715366B2 (en) * 2015-09-16 2017-07-25 International Business Machines Corporation Digital map of a physical location based on a user's field of interest and a specific sound pattern
CN106900052A (zh) 2015-12-21 2017-06-27 深圳富泰宏精密工业有限公司 功率调整模组及具有该功率调整模组的穿戴装置
BR112020010819A2 (pt) * 2017-12-18 2020-11-10 Dolby International Ab método e sistema para tratar transições locais entre posições de escuta em um ambiente de realidade virtual
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
CN1784647A (zh) * 2003-05-08 2006-06-07 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的带有可缩放的图形用户界面的控制架构
CN101325768A (zh) * 2007-06-14 2008-12-17 鸿富锦精密工业（深圳）有限公司 移动通信装置及其按键输入方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
JPH08115335A (ja) 1994-10-18 1996-05-07 Toshiba Corp マルチメディア処理装置
US6347290B1 (en) * 1998-06-24 2002-02-12 Compaq Information Technologies Group, L.P. Apparatus and method for detecting and executing positional and gesture commands corresponding to movement of handheld computing device
US6369794B1 (en) * 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
US6375572B1 (en) * 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6978127B1 (en) 1999-12-16 2005-12-20 Koninklijke Philips Electronics N.V. Hand-ear user interface for hand-held device
US6861946B2 (en) * 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
EP1620785A4 (en) 2003-05-08 2011-09-07 Hillcrest Lab Inc CONTROL ARRANGEMENT OF A ZOOMABLE USER INTERFACE FOR ORGANIZING, SELECTING AND LAUNCHING MEDIA ENTITIES
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
GB0519315D0 (en) * 2005-07-21 2005-11-02 Southwing S L Personal communications systems
JP2007072564A (ja) 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
TWI283127B (en) 2005-11-09 2007-06-21 Benq Corp System and method for taking over incoming-call in mobile device
TWI297250B (en) 2006-02-17 2008-05-21 Compal Communications Inc Earphone device for mobile communication apparatus
EP1840521A3 (en) 2006-03-31 2009-02-11 Research In Motion Limited Methods and apparatus for associating mapping functionality and information in contact lists of mobile communication devices
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8456420B2 (en) * 2008-12-31 2013-06-04 Intel Corporation Audible list traversal
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
US20100220063A1 (en) * 2009-02-27 2010-09-02 Panasonic Corporation System and methods for calibratable translation of position

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
CN1784647A (zh) * 2003-05-08 2006-06-07 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的带有可缩放的图形用户界面的控制架构
CN101325768A (zh) * 2007-06-14 2008-12-17 鸿富锦精密工业（深圳）有限公司 移动通信装置及其按键输入方法

Also Published As

Publication number Publication date
JP2010157242A (ja) 2010-07-15
TW201037558A (en) 2010-10-16
TWI443548B (zh) 2014-07-01
CN101794207A (zh) 2010-08-04
US9591118B2 (en) 2017-03-07
JP5306985B2 (ja) 2013-10-02
US20100169781A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
CN101794207B (zh) 姿势到设备的映射
CN109871166B (zh) 电子装置和用于控制电子装置中的多个窗口的方法
US7739061B2 (en) Method and system for controlling a user interface of a device using human breath
TWI423111B (zh) 可聽式列表巡覽技術
EP3425889A1 (en) Terminal device and control method therefor
EP2975497B1 (en) Terminal device, terminal device control method, and program
US9898139B2 (en) Electronic device for providing hovering input effects and method for controlling the same
CN109683847A (zh) 一种音量调节方法和终端
US10176255B2 (en) Mobile terminal, recommendation system, and recommendation method
CN105722009A (zh) 便携式装置和控制便携式装置的位置信息的方法
WO2018027551A1 (zh) 一种消息显示方法、用户终端及图形用户接口
CN106878390B (zh) 电子宠物互动控制方法、装置及可穿戴设备
CN110489573A (zh) 界面显示方法及电子设备
CN108920204A (zh) 一种界面显示方法及终端设备
US20150026638A1 (en) Apparatus and method of controlling external input device, and computer-readable recording medium
CN109844702B (zh) 一种对电子设备的控制方法以及输入设备
US10170099B2 (en) Electronic device and method for representing web content for the electronic device
CN110837404A (zh) 应用内部功能模块的快捷操作处理方法、装置和存储介质
CN108917766A (zh) 一种导航方法和移动终端
CN107870799A (zh) 利用微件控制音频播放器的方法、装置和终端
CN109951373A (zh) 一种文件发送方法及终端设备
WO2024001828A1 (zh) 腕戴设备控制方法及相关系统、存储介质
CN108833679B (zh) 一种对象显示方法及终端设备
KR20150009833A (ko) 장소 인식을 제어하는 휴대 단말 및 방법
CN109271120A (zh) 一种显示方法及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131204

Termination date: 20190104

CF01 Termination of patent right due to non-payment of annual fee