CN107850938A - 使用手势的非触控用户界面导航 - Google Patents

使用手势的非触控用户界面导航 Download PDF

Info

Publication number
CN107850938A
CN107850938A CN201680025041.3A CN201680025041A CN107850938A CN 107850938 A CN107850938 A CN 107850938A CN 201680025041 A CN201680025041 A CN 201680025041A CN 107850938 A CN107850938 A CN 107850938A
Authority
CN
China
Prior art keywords
user
computing device
wearable computing
content card
forearm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680025041.3A
Other languages
English (en)
Inventor
罗德里戈·莱马·卡塞罗尼
帕纳热·R·桑克提
苏里·沙阿
德里亚·厄兹坎
萨罗世·马里奥亚德
赛义德·穆杰塔巴·赛义德侯赛尼·塔茨亚尼
布雷特·利德
彼得·威廉·路德维希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107850938A publication Critical patent/CN107850938A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G04HOROLOGY
    • G04CELECTROMECHANICAL CLOCKS OR WATCHES
    • G04C3/00Electromechanical clocks or watches independent of other time-pieces and in which the movement is maintained by electric means
    • G04C3/001Electromechanical switches for setting or display
    • G04C3/002Position, e.g. inclination dependent switches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一种示例方法包括:通过可穿戴装置(100)的显示器(104)显示内容卡(114B);通过所述可穿戴装置接收由所述可穿戴装置的运动传感器(102)生成的表示所述可穿戴装置的用户的前臂的运动的运动数据;响应于基于所述运动数据确定所述用户已经执行了移动,所述移动包括所述前臂的旋后,随后是所述前臂的以比所述旋后的加速度小的加速度的旋前,而通过所述显示器显示下一个内容卡(114C);以及响应于基于所述运动数据确定所述用户已经执行了移动,所述移动包括所述前臂的旋后,随后是所述前臂的以比所述旋后的加速度大的加速度的旋前,而通过所述显示器显示前一个内容卡(114A)。

Description

使用手势的非触控用户界面导航
背景技术
一些可穿戴计算装置(例如,智能手表、活动追踪器、平视显示装置等)输出图形内容以进行显示。例如,可穿戴计算装置可以呈现图形用户界面(GUI),该图形用户界面(GUI)包括包含信息的一个或者多个图形元素。当用户与包含内容的视觉指示的GUI进行交互时,可穿戴计算装置可以接收输入(例如,言语输入、触摸输入等)。然而,当用户与GUI进行交互时,用户可能无法提供言语输入、触摸输入、或者可能需要用户专注和/或呈现精确控制的其它常规类型的输入。例如,用户可能沉浸于活动(例如,进行面对面对话、骑自行车等)中或者正在参加阻止用户向麦克风说出语音命令或者在屏幕处提供特定触摸输入的事件(例如,音乐会、电影、会议、教育课程等)。
附图说明
在下面的附图和说明中阐述了本公开的一个或者多个示例的细节。其它特征、目的、和优点将通过说明书、附图和权利要求书而变得显而易见。
图1是图示根据本公开的一个或者多个方面的通过内容卡使能基于运动的用户界面导航的可穿戴计算装置的框图。
图2是图示根据本公开的一个或者多个方面的通过内容卡使能基于运动的用户界面导航的示例可穿戴计算装置的框图。
图3是图示根据本公开的一个或者多个方面的通过其装置可以使能用户界面导航的多个内容卡的概念图。
图4A至图7B是图示根据本公开的一个或者多个方面的示例可穿戴计算装置的示例移动的概念图。
图8是图示根据本公开的一个或者多个方面的数据摄取技术的一个示例的细节的概念图。
图9是图示根据本公开的一个或者多个方面的数据摄取技术的另一示例的细节的概念图。
图10是图示根据本公开的一种或者多种技术的作为时间的函数由可穿戴计算装置的运动传感器生成的示例运动数据的图。
图11A和图11B是图示根据本公开的一种或者多种技术的将运动数据从第一坐标系转换到第二任务特定坐标系的概念图。
图12是图示根据本公开的一种或者多种技术的输出图形内容以在远程装置处进行显示的示例计算装置的框图。
图13是图示根据本公开的一种或者多种技术的基于运动数据来执行动作的可穿戴计算装置的示例操作的流程图。
具体实施方式
通常,本公开的技术可以使可穿戴计算装置(例如,智能手表、活动追踪器、平视显示装置等)能够检测与可穿戴计算装置相关联的移动,并且,响应于检测到与预定义移动近似的特定移动,输出在可穿戴计算装置的显示部件处显示的内容卡的改变的呈现和/或布置。例如,可穿戴计算装置(本文简称为“可穿戴”)可以输出图形用户界面(GUI)以便在显示器(例如,可穿戴计算装置的显示器)处呈现。GUI可以包括内容卡列表,并且各个内容卡可以包含可在显示器处观看的信息(例如,文本、图形等)。在一些实施方式中,只有与列表中的当前内容卡相关联的信息在给定时间可见,而与列表中的其它内容卡相关联的信息在给定时间不可见。
不要求用户提供语音命令(例如,通过向可穿戴计算装置的麦克风说出单词“下一个”)或者提供触摸输入(例如,通过轻击可穿戴计算装置的屏幕或者在可穿戴计算装置的屏幕上滑动)来指示可穿戴计算装置以更新GUI,从而使得与其它内容卡中的一个或者多个相关联的信息对用户可见,可穿戴计算装置可以使用户能够提供使可穿戴计算装置更新GUI的特定移动,从而使用户能够浏览内容卡列表。可穿戴计算装置的运动传感器可以检测与可穿戴计算装置自身相关联的移动(例如,当用户移动和扭动附着有可穿戴计算装置的身体部位和衣服时)。在通过列表检测到对应于与特定用户界面导航方向相关联的预定义的移动的移动之后,可穿戴计算装置可以在特定用户界面导航方向上选择卡片,并且输出所选择的卡片以进行显示。例如,如果用户使可穿戴计算装置在特定时间段(例如,一秒)内按照在方向、速度、加速度、旋转等方面的特定变化来移动,那么可穿戴计算装置可以使显示器在显示器处用列表中的不同内容卡来替换当前内容卡。
按照这种方式,本公开的技术可以使用户能够通过提供可以比其它类型的输入需要更少的用户专注或者控制的某些容易执行的移动,来更快速并且更容易地观看不同内容卡。与主要依赖于言语、触摸、或者其它类型的输入的其它类型的可穿戴装置不同,根据本公开的技术配置的可穿戴计算装置可以使用户能够更快速并且更直观地浏览内容卡列表,即使用户沉浸在其它活动中。例如,即使用户正在动手烹饪、正在机场站着排队,或者正在执行使得提供语音命令或者触摸输入变得困难的活动,用户也可以根据预定移动模式仅通过移动用户自身(并且因此移动可穿戴计算装置)来容易地浏览在可穿戴装置处显示的内容卡列表。
图1是图示根据本公开的一个或者多个方面的通过内容卡使能基于运动的用户界面导航的可穿戴计算装置100(简称为“可穿戴100”)的框图。在图1的示例中,可穿戴计算装置100是计算机化的手表。然而,在其它示例中,可穿戴计算装置是计算机化的健身带/追踪器、计算机化的眼镜、计算机化的头饰、计算机化的手套等。在其它示例中,可穿戴计算装置100可以是可以附着至人的身体或者衣服并且可以穿戴在人的身体或者衣服上的任何类型的移动计算装置。例如,任何平板计算机、移动电话、个人数字助理(PDA)、游戏系统或者游戏控制器、媒体播放器、电子书阅读器、电视平台、导航系统、遥控器、或者用户根据下面描述的技术可以容易地移动的其它移动计算装置。
如图1所示,在一些示例中,可穿戴计算装置100可以包括附着部件116和电气外壳118。可穿戴计算装置100的外壳118包括容置可穿戴计算装置100的硬件、软件、固件和/或其它电气部件的组合的可穿戴计算装置的物理部分。例如,图1示出:在外壳118内,可穿戴计算装置100可以包括(多个)运动传感器102、显示器104、移动检测模块106、和用户界面(UI)模块108。
附着部件116可以包括当用户正穿戴着可穿戴计算装置100时与用户的身体(例如,组织、肌肉、皮肤、头发、衣服等)接触的可穿戴计算装置的物理部分(虽然在一些示例中,外壳118的部分也可以与用户身体接触)。例如,在可穿戴计算装置100是手表的情况下,附着部件116可以是适合用户的手腕并且与用户的皮肤接触的表带。在可穿戴计算装置100是眼镜或者头饰的示例中,附着部件116可以是适合用户的头部的眼镜或者头饰的框架的一部分,并且当可穿戴100是手套时,附着部件116可以是符合用户的手指和手的手套的材料。在一些示例中,可以通过外壳118和/或附着部件116来抓握并保持可穿戴计算装置100。
模块106和108可以通过使用驻留在可穿戴计算装置100中和/或在可穿戴计算装置100处执行的软件、硬件、固件、或者硬件、软件和/或固件的混合来执行本文所描述的操作。可穿戴计算装置100可以利用位于外壳118内的一个或者多个处理器来执行模块106和108。在一些示例中,可穿戴计算装置100可以将模块106和108作为在位于外壳118内的可穿戴计算装置100的底层硬件上执行的一个或者多个虚拟机来执行。模块106和108可以作为可穿戴计算装置100的操作系统或者计算平台的一种或者多种服务或者一个或者多个组件来执行。模块106和108可以作为在可穿戴计算装置100的计算平台的应用层处的一个或者多个可执行程序来执行。在其它示例中,可以离外壳118远程地布置运动传感器102、显示器104、和/或模块106和108,并且例如,经由可穿戴计算装置100与在网络处或者在网络云中运行的一种或者多种网络服务进行交互,可穿戴计算装置100可远程地访问运动传感器102、显示器104、和/或模块106和108。
运动传感器102表示被配置为检测与可穿戴计算装置100相关联的移动的指示(例如,表示移动的数据)的一个或者多个运动传感器或者输入装置。运动传感器102的示例包括加速度计、速度传感器、陀螺仪、倾斜传感器、气压计、接近传感器、环境光传感器、相机、麦克风、或者可以生成数据(通过该数据,可穿戴装置100可以确定移动)的任何和所有其它类型的输入装置或者传感器。
当可穿戴计算装置100的用户使附着部件116和/或外壳118移动时,运动传感器102可以生成“原始”运动数据。例如,当用户在穿戴附着部件116时扭动其手腕或者移动其手臂时,运动传感器102可以向移动检测模块106输出在移动期间生成的原始运动数据(例如,指示移动量和检测到移动的时间)。运动数据可以指示移动的一个或者多个特性,包括:加速度、倾斜度、方向、速度、旋转度、取向度、或者亮度水平中的至少一个。
在一些示例中,由运动传感器102生成的运动数据可以是一系列运动矢量。例如,在时间t处,运动传感器102的三轴式加速度计可以生成运动矢量(Vx、Vy、Vz),其中,Vx值指示可穿戴计算装置100沿着X轴的加速度,Vy值指示可穿戴计算装置100沿着Y轴的加速度,并且Vz值指示可穿戴计算装置100沿着Z轴的加速度。在一些示例中,X轴和Y轴可以定义大体上平行于显示器104的平面,并且Z轴可以垂直于X轴和Y轴。如图1所图示,当用户正在与可穿戴计算装置100交互时,可穿戴计算装置100可以被认为处于倾斜取向101上,其中,Z轴可以垂直于重力矢量G。
移动检测模块106获取由运动传感器102生成的运动传感器数据,并且对该运动传感器数据进行处理以识别或者确定运动传感器102正在检测的是哪种具体类型和特性的移动。换句话说,移动检测模块106基于运动传感器数据来确定可穿戴计算装置100何时、如何、以及在哪个方向上移动。移动检测模块106可以基于从运动传感器102获得的运动数据,来提供关于何时检测到可穿戴计算装置100在按照可识别的预定义的移动模式或者配置文件移动的指示(例如,数据)。例如,当移动检测模块106识别到从运动传感器102获得的、至少大致地与预定义移动中的一个或者多个对应的运动数据时,移动检测模块106可以向UI模块108发出警报(例如,触发中断、发送消息等)。移动检测模块106可以向UI模块108提供关于检测到的移动的数据,例如,定义由运动数据指示的特定预定义移动的数据。
如下所述,UI模块108可以使可穿戴计算装置100基于由移动检测模块106检测到的移动来执行一个或者多个操作。例如,UI模块108可以根据由移动检测模块106识别到的预定义移动来改变用户界面(例如,用户界面110A和110B)的呈现。例如,当可穿戴计算装置100按照特定方向、速度、加速度等移动时,在任何特定时间,移动检测模块106可以获取运动传感器数据,针对由运动传感器102正常观察到的一个或者多个预期传感器数据模式或者配置文件检查运动传感器数据,并且向UI模块108输出定义通过运动传感器数据识别到的可穿戴计算装置100的预定义移动的数据。UI模块108可以根据由移动检测模块106识别到的预定义移动来改变用户界面的呈现。
可穿戴计算装置100的显示器104可以为可穿戴计算装置100提供输出功能。可以通过使用一种或者多种不同技术来实现显示器104。例如,显示器104可以通过使用一个或者多个显示装置(诸如,液晶显示器(LCD)、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水、或者能够向可穿戴计算装置100的用户输出可视信息的类似的单色或者彩色显示器)来充当输出装置。在一些示例中,显示器104可以通过使用存在敏感输入屏幕(诸如,电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投影电容触摸屏、压力敏感屏幕、声脉冲识别触摸屏、或者另一存在敏感显示技术)来充当输入装置。
显示器104可以将输出呈现为图形用户界面,该图形用户界面可以与由可穿戴计算装置100提供的功能相关联。例如,显示器104可以呈现用户界面110A和110B(统称为“用户界面110”)。各个用户界面110可以包括内容卡列表的当前内容卡。例如,在图1的示例中,用户界面110A包括内容卡114A至114D(统称为“内容卡114”)的列表112中的内容卡114B,并且用户界面包括内容卡114的同一列表112中的内容卡114C。内容卡114中的每一个可以包含可由显示器104显示的信息(例如,文本、图形等)。
可以将内容卡114中的每一个与在可穿戴计算装置100处执行或者可由可穿戴计算装置100访问的计算平台、操作系统、应用、和/或服务(例如,通知服务、电子消息应用、互联网浏览器应用、移动操作系统或者台式操作系统等)的功能相关联。用户可以在用户界面110被呈现在显示器104处时与用户界面110进行交互以使可穿戴计算装置100执行与功能相关的操作。
内容卡114A表示包括与时间或者日历应用相关联的时钟的图像的内容卡。内容卡114B可以包括照片、视频、或者与照片或者成像应用(例如,相机的取景器、图片播放或者视频播放等)相关联的其它图像数据。内容卡114D表示包括涉及天气信息服务应用(例如,用于观看预报、接收紧急天气警报等)的天气信息的内容卡。内容卡114C表示包括与在可移动计算装置100处执行的基于文本的消息传送服务应用相关联的信息的内容卡。内容卡114C可以包括与在可穿戴计算装置100的用户与消息传送服务的另一用户之间的对话有关的基于文本的信息。例如,与可穿戴计算装置100相关联的消息账户可以接收针对从消息传送服务接收到的消息的通知或者警报。响应于接收到通知,可穿戴计算装置100可以呈现与内容卡114C相关联的信息。通过内容卡114C,可穿戴计算装置100的用户可以观看与消息相关联的内容并且撰写回复消息。还存在内容卡114的许多其它示例,包括:与媒体播放器相关的内容卡、与互联网搜索(例如,基于文本的互联网搜索、基于语音的互联网搜索等)相关的内容卡、与导航相关的内容卡等。
在一些示例中,内容卡列表可以处于不同层次级别,并且处于特定层次级别的内容卡可以与处于不同层次级别的内容卡列表对应。例如,内容卡114的列表112可以处于第一层次级别,并且内容卡114C可以与处于比列表112低的层次级别的不同内容卡列表对应。在一些示例中,可以将内容卡列表称为内容卡束。
UI模块108可以接收并且解释由移动检测模块106(例如,通过运动传感器102)识别到的移动。UI模块108可以使可穿戴计算装置100通过将关于检测到的输入和识别到的移动的信息中继至在可穿戴计算装置100处执行的一个或者多个相关联的平台、操作系统、应用、和/或服务来执行功能。
响应于获得并且中继了关于识别到的移动的信息,UI模块108可以从在可穿戴计算装置100处执行的该一个或者多个相关联的平台、操作系统、应用、和/或服务接收用于生成和改变与可穿戴计算装置100相关联的用户界面(例如,用户界面110A和110B)的信息和指令。按照这种方式,UI模块108可以充当在可穿戴计算装置100处执行的该一个或者多个相关联的平台、操作系统、应用、和/或服务与可穿戴计算装置100的各种输入和输出装置(例如,显示器104、运动传感器102、扬声器、LED指示器、其它输出装置等)之间的中间件以利用可穿戴计算装置100产生输出(例如,图形、闪光、声音、触觉响应等)。
在一些示例中,UI模块108可以解释由移动检测模块106检测到的运动数据,并且响应于输入和/或运动数据,使显示器104改变所呈现的用户界面。例如,在一个示例中,用户可以使可穿戴计算装置100的外壳118和/或附着116移动。UI模块108可以响应于检测到移动而改变在显示器104处呈现的用户界面。例如,UI模块108可以使显示器104在移动之前呈现用户界面110A(即,使显示器104在移动之前显示内容卡114B),并且可以使显示器104在移动之后呈现用户界面110B(即,使显示器104在移动之后显示内容卡114C)。
UI模块108可以维持数据存储,该数据存储维持在一个或者多个预定义移动与用于通过内容卡114导航的一个或者多个相应用户界面导航命令之间的关联。可以与预定义移动相关联的一些示例用户界面导航命令包括,但不限于,用于移动至当前内容卡列表中的下一个内容卡的下一个导航命令、用于移动至当前内容卡列表中的前一个内容卡的前一个导航命令、用于移动到与当前内容卡对应的处于更低的层次级别的内容卡列表中的内导航命令、用于移动到处于更高层次级别的内容卡列表中的外导航命令以及重置导航命令。在一些示例中,下一个导航命令可以与移动相关联,该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前。在一些示例中,前一个导航命令可以与移动相关联,该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前。在一些示例中,内导航命令可以与移动相关联,该移动包括用户的前臂远离用户的头部的下垂,随后是用户的前臂朝向用户头部的上举。在一些示例中,外导航命令可以与移动相关联,该移动包括用户的前臂朝向用户的头部的上举,随后是用户的前臂远离用户头部的下垂。在一些实施例中,重置导航命令可以与移动相关联,该移动包括用户的前臂在一段时间内的反复旋前和旋后(例如,旋前和旋后的两个或者三个循环)。
当UI模块108确定可穿戴计算装置100的预定义移动中的一个已经由移动检测模块106识别到时,UI模块108可以在相应导航方向上选择内容卡114中的内容卡。UI模块108可以使显示器104呈现内容卡114中的所选择的内容卡。按照这种方式,UI模块108可以响应于并且基于与预定义移动对应的移动,使能通过内容卡的导航。
在操作中,可穿戴计算装置100可以显示内容卡列表中的当前内容卡。例如,UI模块108可以使显示器104呈现包括内容卡114的列表112中的内容卡114B的用户界面110A。
在图1的示例中,可穿戴计算装置100的用户可能期望滚动至列表112中的下一个内容卡。同样,用户可以执行手势,该手势包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前。换言之,用户可以使其手腕从其自身移开。
可穿戴计算装置100的运动传感器可以检测可穿戴计算装置100的移动。例如,一个或者多个运动传感器102(例如,倾斜传感器、陀螺仪、加速度计等)可以在用户移动(例如,扭动)附着有附着部件116的其身体的部分并且使外壳118和/或附着部件116的方向、加速度、取向等改变时检测可穿戴计算装置100的移动。基于检测到的移动,运动传感器102可以生成定义检测到的移动的运动数据。当可穿戴计算装置100移动时,移动检测模块106可以获取由运动传感器102生成的运动数据。
移动检测模块106可以将从运动传感器102获得的运动数据与一个或者多个预定义移动的数据库或者数据存储进行比较。当可穿戴计算装置100的用户挥手、扭动、摇动、或者移动紧固有附着部件116的手臂或者手腕时,移动检测模块106可以确定运动传感器数据与可穿戴计算装置100的特定移动相匹配或者相关。例如,当人按照特定方式扭动其手臂或者手腕时,移动检测模块106可以确定运动传感器数据指示与可穿戴计算装置100的移动对应的移动的速度变化、加速度变化、方向变化、旋转变化、或者其它特性变化。移动检测模块106可以向UI模块108输出指示(例如,数据),该指示向UI模块108发出关于运动传感器数据与哪个预定义移动对应的警报。在图1的示例中,移动检测模块106可以向UI模块108输出运动传感器数据与移动(该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前)对应的指示。
响应于确定可穿戴计算装置100的移动与预定义移动对应,UI模块108可以基于预定义移动来改变所呈现的用户界面。例如,UI模块108可以确定哪个导航命令与预定义移动相关联,基于所确定的导航命令来选择内容卡,并且使显示器104呈现所选择的内容卡。在图1的示例中,UI模块108可以确定预定义移动与下一个导航命令相关联,选择内容卡114C作为列表112中的下一个内容卡,并且使显示器104呈现包括内容卡114C的用户界面110B。
按照这种方式,可穿戴计算装置可以使用户能够通过按照特定方式移动可穿戴计算装置100,来更快速并且更容易地观看不同的内容卡114。通过在穿戴可穿戴计算装置100时提供需要比其它类型的输入更少的专注或者控制的某些容易执行的移动,可穿戴计算装置(诸如,可穿戴计算装置100)可以使用户能够更快速并且更直观地浏览内容卡的视觉堆栈,即使用户沉浸在需要更多用户注意或者专注的其它活动中。
在一些示例中,本公开的技术可以使用户能够执行除了浏览内容卡之外的操作。作为一个示例,在可穿戴计算装置100被配置为执行媒体(例如,音乐、视频等)播放的情况下,下一个导航命令可以使可穿戴计算装置100前进至下一个媒体元素(例如,下一首歌曲),并且前一个导航命令可以使可穿戴计算装置100返回至前一个媒体元素(例如,前一首歌曲)。在一些这样的示例中,内导航命令和外导航命令可以使可穿戴计算装置100调整下一个导航命令和前一个导航命令的功能。例如,第一内导航命令可以使可穿戴计算装置100调整下一个导航命令或者前一个导航命令的功能,使得下一个导航命令将当前播放的媒体元素快进,并且前一个导航命令倒回当前播放的媒体元素。类似地,第二内导航命令可以使可穿戴计算装置100调整下一个导航命令或者前一个导航命令的功能,使得下一个导航命令增加当前播放的媒体元素的播放音量,并且前一个导航命令减小当前播放的媒体元素的播放音量。
与主要依赖于言语、触摸、或者其它类型的输入的其它类型的可穿戴装置不同,根据本公开的技术配置的可穿戴计算装置可以使用户能够容易地浏览内容卡,即使用户正在用手执行与内容卡的导航无关(例如,烹饪、骑自行车、在机场站着排队等)或者使提供语音命令或者触摸输入变得困难的一些其它动作。由于可穿戴计算装置使用户能够通过简单的移动来更容易地浏览内容卡,因此,根据这些技术的可穿戴计算装置可以接收较少的错误或者不正确的触摸或者语言输入。通过对较少的错误或者不正确的输入进行处理,该技术可以使可穿戴计算装置能够执行较少的操作并且节省电能(例如,电池)。
图2是图示根据本公开的一个或者多个方面的通过内容卡使能基于运动的用户界面导航的示例的可穿戴计算装置的框图。图2的可穿戴计算装置200仅图示了图1的可穿戴计算装置100的一个特定示例,并且可以在其它实例中使用可穿戴计算装置100的许多其它示例,并且可以包括在示例可穿戴计算装置200中包括的部件的子集或者可以包括在图2中未示出的附加部件。
如图2的示例所示,可穿戴计算装置200包括(多个)应用处理器222、输入部件224、输出部件226、存在敏感显示器228、电池232、传感器控制部件(SCC)234、以及(多个)存储装置240。在图示的示例中,输入部件238包括运动传感器202,SCC 234包括(多个)传感器236,存在敏感显示器228包括显示部件204和存在敏感输入部件230,并且可穿戴计算装置200的存储装置240包括移动检测模块206、UI模块208、应用模块244A至244N(统称为“应用模块244”)、操作系统246、以及手势库248。在图示的示例中,移动检测模块206包括分段模块250、转换模块252、特征模块254、以及分类模块256。通信信道242可以与部件222、226、228、232、234、238、和240中的每一个互连以便进行部件间通信(物理地、通信地、和/或操作地)。在一些示例中,通信信道242可以包括系统总线、网络连接、进程间通信数据结构、或者用于传送数据的任何其它方法。
在一个示例中,应用处理器222被配置为实施功能和/或对在计算装置200内执行的指令进行处理。例如,应用处理器222可能能够对存储在存储装置240中的指令进行处理。处理器应用222的示例可以包括微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者等效的离散或者集成逻辑电路系统中的任何一个或者多个。
一个或者多个存储装置240可以被配置为在操作期间将信息存储在计算装置200内。在一些示例中,将存储装置240描述为计算机可读存储介质。在一些示例中,存储装置240是暂时性存储器,这意味着存储装置240的主要目的不是长期存储。在一些示例中,将存储装置240描述为易失性存储器,这意味着存储装置240在计算装置关机时不会维持已存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、以及本领域已知的其它形式的易失性存储器。在一些示例中,存储装置240用于存储由处理器222执行的程序指令。在一个示例中,存储装置240由在计算装置200上运行的软件或者应用(例如,应用模块244)使用用来在程序执行期间暂时地存储信息。
在一些示例中,存储装置240还包括一种或者多种计算机可读存储介质。存储装置240可以被配置为比易失性存储器存储更大量的信息。存储装置48可以进一步被配置为长期存储信息。在一些示例中,存储装置240包括非易失性存储元件。这种非易失性存储元件的示例包括磁硬盘、光盘、软盘、闪速存储器、或者电可编程存储器(EPROM)或者电可擦除可编程(EEPROM)存储器的形式。
计算装置200的一个或者多个输入部件238可以接收输入。输入的示例是触觉输入、音频输入、和视频输入。在一个示例中,计算装置200的输入部件238包括存在敏感显示器、触摸敏感屏幕、鼠标、键盘、操纵杆、物理按钮/开关、语音响应系统、摄像机、麦克风、或者用于检测来自人或者机器的输入的任何其它类型的装置。
如图2所图示,在一些示例中,输入部件238可以包括一个或者多个运动传感器202,该一个或者多个运动传感器202可以被配置为执行与图1的运动传感器102相似的操作。例如,运动传感器202可以生成指示与可穿戴计算装置200相关联的移动的运动数据(例如,表示移动的数据),诸如,运动矢量的序列。
在一些示例中,除了运动传感器202之外,输入部件238还可以包括一个或者多个其它传感器,诸如,一个或者多个位置传感器(例如,全球定位系统(GPS)传感器、室内定位传感器等)、一个或者多个光传感器、一个或者多个温度传感器、一个或者多个压力(抓握)传感器、一个或者多个物理开关、一个或者多个接近传感器、以及可以测量皮肤/血液的特性(诸如,氧饱和度、脉搏、酒精、血糖等)的一个或者多个生物传感器。
计算装置200的一个或者多个输出部件226可以生成输出。输出的示例是触觉输出、音频输出和视频输出。在一个示例中,计算装置200的输出部件226包括存在敏感显示器、声卡、视频图形适配卡、扬声器、电子显示器、或者用于向人或者机器生成输出的任何其它类型的装置。电子显示器可以是触摸屏的LCD或者OLED部分,可以是非触摸屏直观显示部件,诸如,CRT、LED、LCD、或者OLED。显示部件还可以是投影仪,而不是直观显示器。
计算装置200的存在敏感显示器228包括显示部件204和存在敏感输入部件230。显示部件204可以是存在敏感显示器228显示信息的屏幕,并且存在敏感输入部件230可以检测在显示部件204处和/或附近的物体。作为一个示例范围,存在敏感输入部件230可以检测物体,诸如,与显示部件204相距2英寸(~5.08厘米)或者更小距离的手指或者触控笔。存在敏感输入部件230可以确定检测到物体的显示部件204的位置(例如,(x,y)坐标)。在另一示例范围中,存在敏感输入部件230可以检测与显示部件204相距6英寸(~15.24厘米)或者更小距离的物体,并且其它示例性范围也是可能的。存在敏感输入部件230可以通过使用电容技术、电感技术、和/或光学识别技术来确定由用户的手指所选择的显示部件204的位置。在一些示例中,存在敏感输入部件230还通过使用如针对显示部件204描述的触觉刺激、音频刺激、或者视频刺激来向用户提供输出。在图2的示例中,存在敏感显示器228呈现用户界面(诸如,图1的用户界面110A或者用户界面110B)。
虽然将存在敏感显示器228图示为计算装置200的内部部件,但是存在敏感显示器228还可以表示与计算装置200共享数据路径以便发送和/或接收输入和输出的外部部件。例如,在一个示例中,存在敏感显示器228表示位于计算装置200的外部封装内并且物理地连接至计算装置200的外部封装的计算装置200的内置部件(例如,在移动电话上的屏幕)。在另一示例中,存在敏感显示器228表示位于计算装置200的封装外并且与计算装置200的封装物理地分开的计算装置200的外部部件(例如,与平板计算机共享有线和/或无线数据路径的监视器、投影仪等)。
电池232可以向可穿戴计算装置200的一个或者多个部件提供电力。电池232的示例可以包括,但不必限于,具有锌碳、铅酸、镍镉(NiCd)、镍金属氢化物(NiMH)、锂离子(Li离子)、和/或锂离子聚合物(Li离子聚合物)化学成分的电池。电池232可以具有有限容量(例如,1000至3000mAh)。
在一些示例中,可穿戴计算装置200可以包括SCC 234。SCC 234可以与输入部件238(诸如,运动传感器202)中的一个或者多个通信。在一些示例中,可以将SCC 234称为“传感器集线器”,该传感器集线器作为输入部件238中的一个或者多个的输入/输出控制器而运行。例如,SCC 234可以与输入部件238中的一个或者多个交换数据(诸如,与可穿戴计算装置200对应的运动数据)。SCC 238还可以与应用处理器222通信。在一些示例中,SCC 238可以使用比应用处理器222少的电力。作为示例,在操作中,SCC 238可以使用在20至200mW的范围内的功率。在一些示例中,可以将SCC 238称为数字信号处理器(DSP)或者高级DSP(ADSP),该数字信号处理器(DSP)或者高级DSP(ADSP)作为输入部件238中的一个或者多个的输入/输出控制器而运行。如图2的示例中所图示,SCC 234可以包括一个或者多个处理器236。在一些示例中,与在应用处理器222上执行相反,一个或者多个模块可以在处理器236上执行。作为一个示例,移动检测模块206可以在处理器236上执行。按照这种方式,当SCC234使用比应用处理器222少的功率时,可穿戴计算装置200可以减少检测可穿戴计算装置200的移动所消耗的功率量。
计算装置200可以包括操作系统246。在一些示例中,操作系统246控制计算装置200的部件的操作。例如,在一个示例中,操作系统246促进移动检测模块206、UI模块208、应用模块244和手势库248与处理器222、输出部件226、存在敏感显示器228、SCC 234和输入部件238进行通信。存储装置240的一个或者多个部件可以包括可由计算装置200执行的程序指令和/或数据。作为一个示例,移动检测模块206和UI模块208可以包括使计算装置200执行本公开中描述的操作和动作中的一个或者多个的指令。在一些示例中,可以用硬件和/或软件和硬件的组合来实现在存储装置240中图示的部件中的一个或者多个。
一个或者多个应用模块244可以向UI模块208提供图形信息和指令,UI模块208将该图形信息和指令作为包含在内容卡(诸如,图1的内容卡114)的图形表示中的内容或者信息而包括。例如,应用模块244A可以是在可穿戴计算装置200处执行向可穿戴计算装置200提供对消息传送服务的访问的消息传送应用。应用模块244A可以(例如,经由网络)获取包括由与可穿戴计算装置200相关联的消息传送账户接收到的消息的内容的信息。应用模块244A可以提供消息的内容(例如,文本信息)以及用于使UI模块208输出图1的内容卡114C以在显示部件204处进行显示的指令。应用模块244B至244N同样可以分别提供用于使UI模块208呈现与内容卡114中的每一个相关联的内容的相应信息和指令。
移动检测模块206可以执行为执行与图1的移动检测模块106相似的功能。例如,移动检测模块206可以获取由运动传感器202生成的运动传感器数据,并且对该运动传感器数据进行处理以识别或者确定运动传感器202正在检测的是哪种具体类型和特性的移动。在一些示例中,移动检测模块206可以按照对功率和延迟进行优化的方式来实施。例如,移动检测模块206可以从运动传感器(诸如,运动传感器202的加速度计)读取运动数据以检测手势。在一些示例中,移动检测模块206可以按照批处理模式读取运动数据以节省功率。移动检测模块206可以查找潜在地作为用户手势的时间段块,从块中提取特征,并且将各个块分类为手势(或者不将各个块分类为手势)。移动检测模块206可以提供一个或者多个优点。作为一个示例,移动检测模块206可以通过使用相同的框架来检测不同的手势。作为另一示例,移动检测模块206可以检测不同长度的手势。如图2所图示,移动检测模块206可以包括数据摄取模块249、分段模块250、变换模块252、特征模块254、和分类模块256。
数据摄取模块249可以执行为读取并且处理由运动传感器202生成的运动数据。在一些示例中,数据摄取模块249可以利用同步的循环缓冲器来存储运动数据。下文参照图8和图9讨论数据摄取模块249的示例的其它细节。
分段模块250可以执行为确定运动数据的一个或者多个段以便进行进一步分析。分段模块250可以将运动数据段确定为具有一个或者多个特性的运动数据的一系列值。下文参照图10讨论可以由分段模块250执行的示例分段过程的细节。分段模块250可以向移动检测模块206的一个或者多个其它部件(诸如,变换模块252和/或特征模块254)输出确定的段的指示。
变换模块252可以执行为在不同的坐标系之间变换运动数据。例如,变换模块252可以将运动数据从第一坐标系变换至第二坐标系。在一些示例中,第一坐标系可以定义可穿戴计算装置200相对于重力矢量的取向,并且第二坐标系可以定义可穿戴计算装置200相对于任务特定取向的取向。例如,第二坐标系可以利用可穿戴计算装置200的倾斜取向(即,可穿戴计算装置200在用户交互期间的取向)作为任务特定取向。在任何情况下,变换模块252可以向可穿戴计算装置200的一个或者多个其它部件(诸如,特征模块254)输出变换后的运动矢量。下文参照图11A和图11B讨论可以由变换模块252执行的示例变换过程的细节。
特征模块254可以执行为确定运动数据段的一个或者多个特征。例如,特征模块254可以确定由分段模块250确定的运动数据段的一个或者多个特征。在一些示例中,由特征模块245确定的特征可以是不同类型的特征。例如,特征模块254可以确定临界点特征、时间直方图、跨信道统计、每信道统计和基本信号特性。在一些示例中,特征模块254可以通过使用未变换的运动数据(即,在第一坐标系中的运动数据)来确定段的特征。在一些示例中,特征模块254可以通过使用变换后的运动数据(即,在第二坐标系中的运动数据)来确定段的特征。在一些示例中,特征模块254可以通过使用未变换的运动数据和变换后的运动数据的组合来确定段的特征。特征模块254可以向可穿戴计算装置200的一个或者多个其它部件(诸如,分类模块256)输出确定的特征的指示。
如上所述,在一些示例中,特征模块254可以为运动数据段(即,下文称为信号的运动矢量的序列[m1,m2,…,mn])确定临界点特征。在一些示例中,特征模块254可以利用小内核大小(例如,具有四个至五个测量的宽度)的低通滤波器来卷积信号以生成滤波信号。这种卷积可以消除或者减少信号中的高频噪声的量。特征模块254可以在滤波信号中确定一个或者多个临界点,并且基于所确定的突出最大值和突出最小值来确定一个或者多个特性。一个或者多个临界点可以包括一个或者多个突出最大值和/或一个或者多个突出最小值。
为了确定一个或者多个突出最大值,特征模块254可以确定滤波信号中满足以下定义的所有点:当且仅当满足两个条件时,(突出最大值)M是突出阈值T的信号中的突出最大值。为使M成为突出最大值必须满足的第一个条件是M是滤波信号的局部最大值。为使M成为突出最大值必须满足的第二个条件是在滤波信号中不存在其它局部maximum_alt,从而使得:(i)value(M_alt)大于value(M)(即,value(M_alt)>value(M))并且(ii)在M_alt与M之间的信号中不存在局部最小值m,从而使得,value(M)减去value(m)大于或者等于T(即,value(M)-value(M)>=T)。
为了确定一个或者多个突出最小值,特征模块254可以确定滤波信号中满足以下定义的所有点:当且仅当满足两个条件时,(突出最小值)m是突出阈值T的信号中的突出最小值。为使M成为突出最小值必须满足的第一个条件是m是信号的局部最小值。为使M成为突出最小值必须满足的第二个条件是在滤波信号中不存在其它局部最小值m_alt,从而使得:(i)value(m_alt)小于value(m)(即,value(m_alt)<value(m))并且(ii)在m_alt与m之间的信号中不存在局部最大值M,从而使得,value(M)减去value(m)大于或者等于T(即,value(M)-value(M)>=T)。
特征模块254可以基于确定的突出最大值和突出最小值来确定一个或者多个特性。作为一个示例,特征模块254可以确定变换后的运动数据(即,A、U、V信号)的A轴中的若干突出最大值。作为另一示例,特征模块254可以确定未变换的运动数据(即,X、Y、Z信号)的大小中的若干突出最大值。作为另一示例,特征模块254可以确定未变换的运动数据中的一个的各个信道(即,X、Y、Z信道中的每一个)中的若干突出最大值。作为另一示例,特征模块254可以确定未转换的运动数据中的一个的各个信道(即,X、Y、Z信道中的每一个)中的若干突出最小值。作为另一示例,特征模块254可以确定在变换后的运动数据的A轴中的突出最大值的取向的四仓直方图,其中,各个取向是转换后的运动数据在U-V屏幕中的角度,并且通过A坐标的值对直方图上的各个“投票”进行加权。作为另一示例,特征模块254可以确定未转换的运动数据(即,X、Y、Z信号)的大小中的突出最大值的值的四组直方图。作为另一示例,特征模块254可以确定未变换的运动数据(即,X、Y、Z信号)的大小中的连续突出最大值之间的差的四组直方图。特征模块254可以将一个或者多个特性的所得到的值连接成多维特征矢量(例如,20维特征矢量)。按照这种方式,特征模块254可以确定运动数据段的临界点特征。
如上文所讨论的,在一些示例中,特征模块254可以确定运动数据段的时间直方图。在一些示例中,特征模块254可以基于未经滤波的变换后的运动数据(即,A、U、V信号)来确定时间直方图。各个时间直方图的每个组可以覆盖候选段的时间间隔的五分之一(即,存在第一个五分之一的组、第二个五分之一的另一个组,依此类推),并且这些组中的每一个可以累积包含在其时间间隔中的所有测量。例如,特征模块254可以通过A、U、V信号来计算以下5组直方图:A信道上的值、U信道上的值、V信道上的值、A信道上的值的一阶(时间)导数、U信道上的值的一阶(时间)导数、以及V信道上的值的一阶(时间)导数。特征模块254可以累积在这些直方图的组上所得到的值,并且将累积的值连接成特征矢量(例如,30维特征矢量)。按照这种方式,特征模块254可以确定运动数据段的时间直方图。
如上文所讨论的,在一些示例中,特征模块254可以确定运动数据段的跨信道统计。在一些示例中,特征模块254可以基于未经滤波的未变换的运动数据(即,X、Y、Z信号)来确定跨信道统计。例如,对于每对不同的信道C1和C2(即,C1=X,C2=Y;C1=Y,C2=Z;和C1=Z,C2=X),特征模块254可以通过计算C1与C2测量的时间序列之间的相关以及C1与C2测量的矢量之间的欧氏(RMS)距离来确定跨信道统计。特征模块254可以将这些特性的所得到的值连接成特征矢量(例如,6维特征矢量)。按照这种方式,特征模块254可以确定运动数据段的跨信道统计。
如上文所讨论的,在一些示例中,特征模块254可以确定运动数据段的每信道统计。在一些示例中,特征模块254可以基于未经滤波的未变换的运动数据(即,X、Y、Z信号)来确定每信道统计。例如,对于各个信道(X、Y、和Z),特征模块254可以计算段内的一个或者多个特性。作为一个示例,特征模块254可以计算段内的信号的最大值。作为一个示例,特征模块254可以计算段内的信号的最小值。特征模块254可以将这些特性的所得到的值连接成特征矢量(例如,6维特征矢量)。按照这种方式,特征模块254可以确定运动数据段的每信道统计。
如上文所讨论的,在一些示例中,特征模块254可以确定运动数据段的基本信号特性。作为一个示例,特征模块254可以确定段的近取向(即,最接近z_t的坐标和归一化测量时间)。作为一个示例,特征模块254可以确定段的远取向(即,与z_t相距最远的坐标和归一化测量时间)。作为示例,特征模块254可以确定段的极性(即,如果移动主要是由近及远的取向,则为+1,否则为-1)。作为示例,特征模块254可以确定段的方位角(即,在其近端点的段的时间导数的方向,具有从近点跟踪的段(不论实际极性如何))。在一些示例中,特征模块254基于沿着整个段的时间导数方向的预定义线性组合上的段的方位角的确定,具有朝向近点的可能的偏置。作为另一示例,特征模块254可以确定段的大小(即,段中的第一测量与最后测量之间的测地距离)。作为另一示例,特征模块254可以确定段的持续时间(即,段中的第一测量与最后测量之间的时间距离)。特征模块254可以将这些特性的所得到的值连接成特征矢量(例如,10维特征矢量)。按照这种方式,特征模块254可以确定运动数据段的基本信号特性。
分类模块256可以执行为将运动数据段分类成类别(例如,预定义移动)。例如,分类模块256可以使用推理模型来基于从特征模块254接收到的各个相应特征矢量将运动数据段分类成类别。分类模块256可以使用任何类型的分类器来分类运动数据段。分类模块256可以使用的一些示例分类器包括,但不限于,SimpleLogistic和支持向量机(SVM)。
SimpleLogistic方法以多项logistic回归为基础。多项逻辑logistic回归通过softmax归一化对具有特征线性函数的类的后验概率进行模型化。一些logistic回归训练方法利用整个特征集合来获得最佳参数。但是,SimpleLogistic方法每次可以添加一个特征。在每次迭代中,利用先前选择的特征构建的模型用于在类的后验概率的估计中获得当前误差。要添加至模型的下一个特征可以是通过线性回归模型最佳地预测该误差的特征。同样,可以通过添加另一特征使残留误差最小化。基于交叉验证来获取最佳数量的特征。由于并非所有特征都是在最终模型中选择的,所以SimpleLogistic可能会导致稀疏模型(与正则化效应相似),并且产生具有给定的大特征集合的更鲁棒的模型。在一些示例中,可以将用于SimpleLogistic的模型存储在手势库248中。
SVM是强大的线性分类器,该强大的线性分类器使两个不同的类之间的边限最大化。可以通过使用内核技巧将SVM扩展至非线性情况,这是将数据隐式映射至更高维空间,在该更高维空间中,可以将类线性地分隔。在一些示例中,可以使用非线性SVM的RBF内核。由于存在多个类,所以可以采用onevsone策略来训练SVM。在该策略中,可以针对每对可能的类训练C*(C1)/2SVM分类器,并且在测试时间时选择具有多数投票的类。在从由一组受试者佩戴的可穿戴计算装置中收集到的数据集上测试SVM。通过经由观察加速度计信号标记数据的一组专家获得地面实况(groundtruth)标记。在一些示例中,SVM可以以延迟增加50ms为代价比SimpleLogistic快2%。在一些示例中,可以将训练过的SVM数据存储在手势库248中。
不论所使用的分类器如何,分类模块256可以将段的类别输出至可穿戴计算装置200的一个或者多个其它部件,诸如,UI模块208。按照这种方式,分类模块256可以将运动数据段分类成类别。
UI模块208可以执行与图1的UI模块108相似的操作。例如,UI模块208可以接收运动数据段的分类,并且响应于分类,使显示器204改变所呈现的用户界面。具体地,UI模块208可以确定与由分类模块256确定的分类对应的导航命令,选择相应导航方向上的内容卡,并且使显示器204呈现所选择的内容卡。按照这种方式,UI模块208可以响应于并且基于与预定义移动对应的移动来使能通过内容卡的导航。
在一些示例中,移动检测模块206可以由应用处理器222执行。然而,如上文讨论的,在一些示例中,由SCC 234执行如上文描述的由移动检测模块206执行的一个或者多个操作可能是有利的。例如,移动检测模块206在应用处理器222上执行时可以对电池寿命产生显著影响。同样,在移动检测模块206由应用处理器222(V1)执行的一些示例中,可以针对在前台中或者在AmbiActive模式下运行的应用使能手势/移动识别。相反,在上文描述的由移动检测模块206执行的一个或者多个操作由SCC 234(V2)执行的一些示例中,可以针对在前台中或者在AmbiActive模式下运行的应用以及未在前台中或者未在AmbiActive模式下运行的应用使能手势/移动识别。
在一些示例中,可能期望选择性地控制哪些应用具有在后台中执行手势检测的能力(例如,以防止意外的电池耗尽)。例如,在不支持在SCC 234上执行手势检测操作的一些可穿戴计算装置中,可能期望防止应用在后台中执行手势检测。用于实现该平衡的提出的方式如下:WristGestureManager可以接受来自多个应用的订阅。在默认情况下,只有当应用在前台上运行时才向应用通知手势。在订阅呼叫时,各个应用可以(可选地)指定其是否希望在特殊情况的集合中的每一种特殊情况下接收手势通知。一种示例特殊情况是在应用正在AmbiActive模式下运行时。另一种示例特殊情况是在应用正在后台上运行时,不论在前台上或者在AmbiActive模式下是否存在另一应用,或者屏幕关闭。在任何情况下,在订阅回复时,WristGestureManager可以根据装置上的当前手势检测实施方式的功率特性来授权或者拒绝这些特殊情况请求。
在一些示例中,为了实现针对V1的机制和针对V2的机制,WristGestureManager可以通过ActivityManagerService来监测各个注册的应用的状态,并且一旦没有一个注册的应用处于需要向其通知手腕手势的状态下,就自动禁用手势监测。在应用正在前台上或者在AmbiActive模式下运行时仅使用手势的情况下(V1),因为在任何情况下,最多只存在必须通知手势的一个应用,所以可能不必进行仲裁。然而,当可以通过手腕手势来控制在后台上运行的应用时(V2),仲裁可能会成为问题。在这种情况下,可以使用一个或者多个仲裁规则来在应用之间进行仲裁。如果当前订阅手势的应用正在前台中或者在AmbiActive下运行,则只有该应用接收手势通知。否则,在订阅背景手势的那些应用中,只有最近处于活跃或者AmbiActive模式下的应用可以接收手势通知。
图3是图示根据本公开的一个或者多个方面的装置可以使能用户界面导航的多个内容卡的概念图。内容卡314A至314F(统称为“内容卡314”)可以是图1的内容卡114的示例。如上文讨论的,内容卡可以被包括在列表中,并且列表可以处于不同的层次级别。如图3所图示,内容卡314A至314D可以被包括在处于第一层次级别的列表312中,其中,各个内容卡由不同的应用模块(参见表2,应用模块244)生成,并且内容卡314E至314F可以被包括在处于比第一层次级别低的第二层次级别的列表313中,并且还可以由生成相应第一层次级别内容卡314C的相同应用模块生成。单个应用还可以生成多级别层次的内容卡列表。例如,媒体播放器应用的第一层次级别的内容卡可以是音乐专辑或者视频集中的顺序列表。第二更低级别的内容卡可以包含来自任何第一级别歌曲专辑或者视频集中的单独歌曲或者视频的顺序列表。另外,如上所述,内容卡可以具有特定顺序,使得可以存在作为针对当前内容卡的“下一个”内容卡的内容卡,并且可以存在作为针对当前内容卡的“前一个”内容卡的内容卡。如图3所图示,其中,内容卡314B是当前内容卡,内容卡314A可以是前一个内容卡,并且内容卡314C可以是下一个内容卡。
图4A至图7B是图示根据本公开的一个或者多个方面的示例可穿戴计算装置的示例移动的概念图。图4A至图4C图示要导航至下一个内容卡的示例移动,图5A至图5C图示要导航至前一个内容卡的示例移动,图6A和图6B图示要导航至处于更低的层次级别的内容卡列表的示例移动,并且图7A和图7B图示要导航至处于更高层次级别的内容卡列表的示例移动。下文在图1的可穿戴计算装置100和/或图2的可穿戴计算装置200的上下文内将图4A至图7B描绘为可穿戴计算装置400/500/600/700。
图4A和图5A图示在可穿戴计算装置400/500正佩戴在用户的手腕上并且可穿戴计算装置400/500的显示器面朝用户的视野点(即,可穿戴计算装置400/500处于倾斜取向)时可穿戴计算装置400/500的显示器(例如,显示器104/204)的视图。从图4A和图5A所示的视角看,可穿戴计算装置400/500可以使显示器呈现包括多个内容卡中的第一内容卡(诸如,图3的内容卡314B)的用户界面410A/510A。用户可以使可穿戴计算装置400/500按照移动箭头460A/560A指示的方向和方式移动。例如,用户可以使其前臂旋后,从而使得可穿戴计算装置400/500的显示器从可视角度移动至不可视角度(例如,垂直于用户的视野)。
图4B和图5B示出在用户在使其手腕朝向不可视角度转动的方向上使其前臂旋后之后,在可穿戴计算装置400/500正佩戴在用户的手腕上时可穿戴计算装置400/500的显示器的视图(例如,显示器在垂直于用户的视野点的方向上投影图形内容)。根据图4B和图5B中示出的移动,用户可以通过使可穿戴计算装置400/500按照移动箭头460B/560B指示的方向和方式移动来继续使可穿戴计算装置400/500移动。例如,用户可以在移动箭头460A/560A指示的相反方向上使其手腕旋前。用户可以使其前臂旋前,从而使得可穿戴计算装置400/500的显示器从不可视角度朝向可视角度移动。在一些示例中,移动箭头460A/560A和460B/560B表示可穿戴计算装置400/500的不间断的、连续的单个运动,从而使得可穿戴计算装置400/500的显示器从针对用户的视野点的可视角度开始,改变至针对用户的视野点的不可视角度,并且回到可视角度,所有这些都只用了单个运动。
图4C和图5C示出用户可以完成可穿戴计算装置400/500的移动,从而使得在按照图4A/5A和4B/5B中的移动箭头460A/560A和460B/560B描绘的方式移动可穿戴计算装置之后,用户可以使可穿戴计算装置400/500的显示器再次面朝用户。在用户使可穿戴计算装置400/500按照移动箭头460A/560A和460B/560B指示的方向和方式移动的时间期间,移动检测模块106/206可以从一个或者多个运动传感器102/202(例如,加速度计、倾斜传感器等)获取传感器数据。移动检测模块106/206可以确定传感器数据指示与一个或者多个预定义移动对应的移动模式或者配置文件。移动检测模块106/206可以向UI模块108/208发送指示检测到预定义移动的信息。
虽然图4A至图4C和图5A至图5C中的移动的相对运动可以大体上相同,但是实际移动可以具有允许可穿戴计算装置确定所执行的实际移动的一个或者多个不同特性。具体地,用户可以以与按照移动箭头460B/560B指示的方式不同的方式按照移动箭头460A/560A指示的方式移动。例如,在图4A至4C的示例中,用户可以利用比用户使其手腕旋前(即,按照移动箭头460B指示的方式移动)的加速度大的加速度使其手腕旋后(即,按照移动箭头460A指示的方式移动)。相反,在图5A至5C的示例中,用户可以利用比用户使其手腕旋前(即,按照移动箭头560B指示的方式移动)的加速度小的加速度使其手腕旋后(即,按照移动箭头560A指示的方式移动)。
同样,在图4A至4C的示例中,移动检测模块106/206可以确定传感器数据指示可穿戴计算装置400的用户已经执行了第一移动,该第一移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前。类似地,在图5A至5C的示例中,移动检测模块106/206可以确定传感器数据指示可穿戴计算装置500的用户已经执行了第二移动,该第二移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前。
UI模块108/208可以使用户能够基于确定的移动来浏览内容卡。例如,响应于确定移动检测模块106/206已经识别到可穿戴计算装置400/500的预定义移动中的一个,UI模块108/208可以在相应导航方向上选择内容卡。在图4A至4C的移动检测模块106/206确定用户已经执行了第一移动(该第一移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前)的示例中,UI模块108/208可以在下一个导航方向上选择内容卡314C作为内容卡并且使显示器104/204呈现包括内容卡314C的用户界面410B。在图5A至5C的移动检测模块106/206确定用户已经执行了第二移动(该第二移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前)的示例中,UI模块108/208可以在前一个导航方向上选择内容卡314A作为内容卡并且使显示器104/204呈现包括内容卡314A的用户界面510B。按照这种方式,本公开的技术使用户能够从当前内容卡导航至下一个内容卡或者前一个内容卡。
图6A和图7A示出在可穿戴计算装置600/700正佩戴在用户的手腕上并且可穿戴计算装置600/700的显示器面朝用户的视野点(即,可穿戴计算装置600/700处于倾斜取向)时可穿戴计算装置600/700的显示器(例如,显示器104/204)的视图。从图6A和图7A所示的视角看,可穿戴计算装置600/700可以使显示器呈现包括内容卡的用户界面610A/710A。在图6A的示例中,用户界面610A可以包括图3的处于第一层次级别的列表312中的内容卡314C。在图7A的示例中,用户界面710A可以包括图3的处于第二更低层次级别的列表312中的内容卡314E。用户可以使可穿戴计算装置600/700按照移动箭头664A/764A指示的方向和方式移动。通常可以通过在肩关节处枢转而举起整条手臂,来执行这种移动。可替代地,可以通过仅举起前臂的远端并且在肘部枢转来执行相似的移动。这些手势中的一个、这些手势中的任一个、或者这两个手势的组合可以支持用户界面导航。在图6A的示例中,用户可以使其前臂远离其头部下垂,使得可穿戴计算装置600的显示器在用户的视野中移动地更远。在图7A的示例中,用户可以使其前臂朝向其头部上举,使得可穿戴计算装置700的显示器在用户的视野中移动地更近。
图6B和图7B示出在用户使其前臂远离其头部下垂之后,在可穿戴计算装置600/700正佩戴在用户的手腕上时可穿戴计算装置600/700的显示器(例如,显示器104/204)的视图。根据图6B和图7B中示出的移动,用户可以通过使可穿戴计算装置600/700按照移动箭头664B/764B指示的方向和方式移动来继续使可穿戴计算装置600/700移动。在图6A的示例中,用户可以使其前臂朝向其头部上举,使得可穿戴计算装置600的显示器在用户的视野中移动地更近。在图7A的示例中,用户可以使其前臂远离其头部下垂,使得可穿戴计算装置700的显示器在用户的视野中移动地更远。在一些示例中,移动箭头664A/764A和664B/764B表示可穿戴计算装置600/700的不中断的、连续的单个运动,使得可穿戴计算装置600/700的显示器在用户的视野内的点开始,从该点移离,并且回到用户的视野内的这个点,所有这些都只用了单个运动。
图6C和图7C示出用户可以完成可移动计算装置600/700的移动,使得在按照图6A/7A和图6B/7B中的移动箭头664A/764A和664B/764B描绘的方式移动可穿戴计算装置之后,用户可以使可穿戴计算装置600/700的显示器返回至起始位置。在用户使可穿戴计算装置600/700按照移动箭头664A/764A和664B/764B指示的方向和方式移动的时间期间,移动检测模块106/206可以从一个或者多个运动传感器102/202(例如,加速度计、倾斜传感器等)获取传感器数据。移动检测模块106/206可以确定传感器数据指示与一个或者多个预定义移动对应的移动模式或者配置文件。移动检测模块106/206可以向UI模块108/208发送指示检测到预定义移动的信息。
在图6A至6C的示例中,移动检测模块106/206可以确定传感器数据指示可穿戴计算装置600的用户已经执行了第三移动,该第三移动包括用户的前臂远离用户的头部的下垂,随后是用户的前臂朝向用户的头部的上举。类似地,在图7A至7C的示例中,移动检测模块106/206可以确定传感器数据指示可穿戴计算装置700的用户已经执行了第四移动,该第四移动包括用户的前臂朝向用户的头部的上举,随后是用户的前臂远离用户的头部的下垂。
UI模块108/208可以使用户能够基于确定的移动来浏览内容卡。例如,响应于确定移动检测模块106/206已经识别到可穿戴计算装置600/700的预定义移动中的一个,UI模块108/208可以在对应导航方向上选择内容卡。在图6A至6C的移动检测模块106/206确定用户已经执行了第三移动(该第三移动包括用户的前臂远离用户的头部的下垂,随后是用户的前臂朝向用户的头部的上举)的示例中,UI模块108/208可以在导航中方向上选择内容卡314E作为内容卡(即,内容卡列表中处于更低层次级别的、与当前内容卡对应的内容卡)并且使显示器104/204呈现包括内容卡314E的用户界面610B。在图7A至7C的移动检测模块106/206确定用户已经执行了第四移动(该第四移动包括用户的前臂朝向用户的头部的上举,随后是用户的前臂远离用户的头部的下垂)的示例中,UI模块108/208可以在导航外方向上选择内容卡314C作为内容卡(即,内容卡列表中处于更高层次级别的内容卡)并且使显示器104/204呈现包括内容卡314C的用户界面710B。按照这种方式,本公开的技术使用户能够在内容卡的层次列表之间导航。
图8是图示根据本公开的一个或者多个方面的数据摄取技术的一个示例的细节的概念图。数据摄取技术800可以由数据摄取模块(诸如,图2的数据摄取模块249)执行。出于说明之目的,将在图2的数据摄取模块249的上下文内对数据摄取技术800进行描述。
当(例如,由UI模块208)调用时,数据摄取模块249可以开始从运动传感器202读取运动数据802。数据摄取模块249可以作为移动检测模块206的主线程和移动检测模块206的后台线程的一部分而执行。数据摄取模块249的作为主线程的一部分而执行的部分可以将运动数据802写入同步循环缓冲器804,并且数据摄取模块249的作为后台线程的一部分而执行的部分可以从循环缓冲区804读取数据。
根据本公开的一种或者多种技术,可以进行一次或者多次优化以减少数据摄取模块249所消耗的功率量。例如,数据摄取模块249可以在批处理模式下读取运动数据。作为另一示例,后台线程可能不会持续运行。在后台线程完成对一个缓冲器读数的处理之后,后台线程可以进入“休眠”(即,减少所消耗的功率量)。只有在比已经处理过的数据更新的新数据到达时,后台线程才能被唤醒。然而,进一步优化是可能的。具体地,在后台线程读取整个循环缓冲器并且对所有数据进行处理的示例中,这种技术可能会导致对将近90%的数据进行反复计算,这是因为针对将要到来的每批传感器测量,只有10%的数据是新的。因此,可能有机会对循环缓冲器的子集进行处理和/或仅在特定时间段或者在一定量的新传感器数据已经到达之后对整个循环缓冲器进行处理。
图9是图示根据本公开的一个或者多个方面的数据摄取技术的另一示例的细节的概念图。数据摄取技术900可以由数据摄取模块(诸如,图2的数据摄取模块249)执行。出于说明之目的,将在图2的数据摄取模块249的上下文内对数据摄取技术900进行描述。
根据本公开的一种或者多种技术,数据摄取模块249可以将写入循环缓冲器和读取循环缓冲器分开,使得手势检测仅对新数据运行。例如,与使用图8的单个同步循环缓冲器804相反,数据摄取模块249可以使用第一同步循环缓冲器904A和第二同步循环缓冲器904B来执行数据摄取。在数据摄取技术900中,如之前所述,写入器线程可以写入第一同步循环缓冲器904A,然而,后台(读取器)线程可以具有第二循环缓冲器904B中的所有数据。读取器线程可以从第一同步循环缓冲器904A读取数据,并且清理第一同步循环缓冲器904A中的数据。这样,在写入器线程下一次写入数据时,只有新数据被包含在第一同步循环缓冲器904A中。然而,由于可能存在比新数据更长的手势,所以可能需要访问更早的数据。同样,后台工作线程可以使用包含新数据和旧数据的第二同步循环缓冲器904B。手势检测算法(例如,如由转换模块252、特征模块254、和分类模块256执行)可以从第二同步循环缓冲器904B读取所有数据,然而,该算法的各个部分现在都“同步”到第二同步循环缓冲器904B,以仅识别新数据。该算法在本质上仅对新数据执行计算,这是因为包含第二同步循环缓冲器904B的数据结构可以跟踪新数据。按照这种方式,可以减少用于摄取数据的功率量。
图10是图示根据本公开的一种或者多种技术的由可穿戴计算装置的运动传感器根据时间生成的示例运动数据的图表。在一些示例中,由图10的曲线图1000图示的运动数据可以与X轴运动数据对应,由图10的曲线图1002图示的运动数据可以与Y轴运动数据对应,并且由图10的曲线图1004图示的运动数据可以与由图2的可穿戴计算装置200的运动传感器202生成的Z轴运动数据对应。
如上所述,可穿戴计算装置200的分段模块250可以将运动数据段确定为具有一个或者多个特性的运动数据的一系列值。段的第一示例特性是在y轴上的原始运动数据(例如,原始加速度计数据)的测量值的变化量较高。第二示例特性是段在倾斜取向(即,指示用户正在观看显示部件204的值的范围)上开始并且在倾斜取向上结束。第三示例特性是各个段具有在预定义最小持续时间与预定义最大持续时间之间的时间持续时间。基于上文识别到的特性中的一个或者多个,在一些示例中,分段模块250可以通过搜索在y轴上具有高标准偏差(即,以满足第一示例特性)的运动数据内的点来确定一个或者多个运动数据段。如果在y轴上具有高标准偏差的点在倾斜曲线处的值的特定范围内(即,以满足第二示例特性),分段模块250可以将该点指定为可能的段起始索引,并且可以搜索段结束索引。在一些示例中,结束索引可以是在具有低标准偏差(即,以满足第一示例特性)的运动数据上的点(在时间上,在起始索引之后)。如果点处于倾斜取向(即,以满足第二示例特性),则将该点指定为段结束点。
在图10的示例中,分段模块250可以确定在时间段1006A内的一系列值是第一段,并且确定在时间段1006B内的一系列值是第二段。按照这种方式,分段模块250可以从运动数据中确定段。
在一些示例中,在段的末端附近的数据点(运动矢量)对特征检测(并且因此手势检测)几乎没有影响。同样,根据本公开的一种或者多种技术,分段模块250可以确定在真实段结束之前结束的段。例如,如果分段模块250在标记为真实段结束之前结束段的20%至25%,则可以实现有关延迟的增益,而不会对质量造成任何损害。例如,分段模块250可以为段确定相同的起始点,但是确定20%至早于20%的结束点。按照这种方式,本公开的技术可以减少检测手势/移动所需的时间量。
图11A和图11B是图示根据本公开的一种或者多种技术的将运动数据从第一坐标系转换到第二任务特定坐标系中的概念图。如图11A所图示,X、Y、和Z可以表示在可穿戴装置中包括的运动传感器(诸如,图2的可穿戴计算装置200的运动传感器202)的X轴、Y轴、和Z轴。另外,如图7A所图示,Z轴可以是可穿戴计算装置200的显示器(例如,显示部件204)的表面的法线,Y轴可以平行于显示器的水平维度,并且X轴可以平行于显示器的垂直维度。
根据本公开的一种或者多种技术,可穿戴计算装置(诸如,可穿戴计算装置200)可以将运动数据从第一坐标系转换到第二任务特定的坐标系中。作为一个示例,转换模块252可以将由运动传感器202生成的运动数据转换到以凝视为中心的坐标系中。当用户正在与可穿戴计算装置200交互时(即,当用户正在“凝视”可穿戴计算装置200的显示器时),可以将矢量z_t定义为重力矢量G的典型取向。基于z_t,可以定义x_t和y_t。例如,可以通过将X轴投影到与z_t正交的平面(圆1166可以是以x_t=y_t=z_t=0为中心的平面上的单位长度的圆)上来定义矢量x_t,并且可以将矢量y_t选择为与z_t和x_t正交的矢量(例如,使得x_t、y_t、和z_t形成右手正交系统)。
在操作中,变换模块252可以将包括x、y、z值(与X、Y、和Z轴对应)的运动矢量转换成u、v坐标。转换模块252可以将运动矢量的x、y、z值归一化成单位长度以确定运动矢量m。转换模块252可以通过将运动矢量m投影到平面116上并且将结果扩展到单位长度(即,与圆1166相交)来确定矢量运动矢量m_p。转换模块252可以通过将运动矢量m_p投影到x_t上确定u坐标的中间值u’(即,u’=m_p·x_t),并且通过将运动矢量m_p投影到y_t上来确定v坐标的中间值v’(即,v’=m_p·y_t)。如图11B所图示,转换模块252可以将l值确定为m与z_t和以x_t=y_t=z_t=0为中心的球体(即,包括半球1167和补充半球的球体)的最近交点之间的距离(例如,测地距离)。转换模块252可以通过按照确定的l值缩放中间坐标(即,u=l*u’和v=l*v’)来确定u、v坐标。按照这种方式,转换模块252可以将运动矢量转换到任务特定的(例如,以凝视为中心的)坐标系中。
图12是图示根据本公开的一种或者多种技术的输出图形内容以在远程装置处进行显示的示例计算装置的框图1202。通常,图形内容可以包括可以输出以便显示的任何视觉信息,诸如,文本、图像、一组移动图像等。图12中示出的示例包括可穿戴计算装置1200、存在敏感显示器1228、通信单元1258、投影仪1269、投影屏幕1270、移动装置1271和视觉显示装置1272。虽然在图1和图2中出于示例之目的示出为独立式可穿戴计算装置100和200,但是可穿戴计算装置(诸如,可穿戴计算装置1200)通常可以是包括处理器或者用于执行软件指令的其它合适的计算环境的任何部件或者系统,并且例如,不需要包括存在敏感显示器。
如图12的示例所示,计算装置1200可以是包括如针对图2的处理器222描述的功能的处理器。在这种示例中,可穿戴计算装置1200可以通过通信信道1268A(该通信信道1268A可以是系统总线或者其它合适的连接)操作地耦合至存在敏感显示器1228。下面进一步描述的,可穿戴计算装置1200还可以通过通信信道1268B(该通信信道1268B也可以是系统总线或者其它合适的连接)操作地耦合至通信单元1258。虽然在图12中将可穿戴计算装置1200单独示出为示例,但是可以通过任何数量的一个或者多个通信信道来将可穿戴计算装置1200操作地耦合至存在敏感显示器1228和通信单元1258。
在其它示例中,诸如,如之前通过图1中的可穿戴计算装置100和图2中的可穿戴计算装置200所图示的,计算装置可以指便携式装置或者移动装置,诸如,移动电话(包括智能电话)、膝上型计算机、智能手表等。在一些示例中,计算装置可以是台式计算机、平板计算机、智能电视平台、游戏机、远程控制器、电子相机、个人数字助理(PDA)、服务器、大型主机等。
存在敏感显示器1228(比如,如图2中所示的存在敏感显示器228)可以包括显示部件1204和存在敏感输入部件1230。例如,显示部件1204可以接收来自计算装置1200的数据并且显示图形内容。在一些示例中,存在敏感输入部件1230可以通过使用电容技术、电感技术和/或光学识别技术来在存在敏感显示器1228处确定一个或者多个用户输入(例如,连续手势、多点触摸手势、单点触摸手势等),并且通过使用通信信道1268A来向计算装置1200发送这种用户输入的指示。在一些示例中,可以将存在敏感输入部件1230物理地定位在显示部件1204的顶部,从而使得当用户将输入单元定位在由显示部件1204显示的图形元素之上时,存在敏感输入部件1230的位置与显示部件1204的显示有图形元素的位置对应。在其它示例中,可以将存在敏感输入部件1230物理地定位成远离显示部件1204,并且存在敏感输入部件1230的位置可以与显示部件1204的位置对应,从而使得可以在存在敏感输入部件1230处进行输入以便与在显示装部件1204的对应位置处显示的图形元素进行交互。
如图12所示,可穿戴计算装置1200还可以包括通信单元1258和/或与通信单元1258可操作地耦合。通信单元1258的示例可以包括网络接口卡、以太网卡、光学收发器、射频收发器、或者可以发送和接收信息的任何其它类型的装置。这种通信单元的其它示例可以包括蓝牙、3G、和Wi-Fi无线电装置、通用串行总线(USB)接口等。可穿戴计算装置1200还可以包括一个或者多个其它装置(例如,出于简洁和说明之目的而在图12中未示出的输入装置、输出装置、存储器、存储装置等)和/或与一个或者多个其它装置可操作地耦合。
图12还图示了投影仪1269和投影屏幕1270。投影装置的其它这种示例可以包括电子白板、全息显示装置、和用于显示图形内容的任何其它合适的装置。投影仪1269和投影屏幕1270可以包括使相应装置能够与可穿戴计算装置1200进行通信的一个或者多个通信单元。在一些示例中,该一个或者多个通信单元可以使能在投影仪1269与投影屏幕1270之间的通信。投影仪1269可以从可穿戴计算装置1200接收包括图形内容的数据,诸如,一个或者多个内容卡。响应于接收到数据,投影仪1269可以将图形内容投影到投影屏幕1270上。在一些示例中,投影仪1269可以通过使用光学识别技术或者其它合适的技术来确定在投影屏幕处的一个或者多个用户输入(例如,连续的手势、多点触摸手势、单点触摸手势等)并且通过使用一个或者多个通信单元来将这种用户输入的指示发送至可穿戴计算装置1200。在这种示例中,投影屏幕1270可以是不必要的,并且投影仪1269可以将图形内容投影在任何合适的介质上并且通过使用光学识别或者其它这种合适的技术来检测一个或者多个用户输入。
在一些示例中,投影仪屏幕1270可以包括存在敏感显示器1273。存在敏感显示器1273可以包括如在本公开中描述的存在敏感显示器1228的功能的子集或者全部功能。在一些示例中,存在敏感显示器1273可以包括附加功能。投影屏幕1270(例如,电子白板)可以从可穿戴计算装置1200接收数据并且显示图形内容。在一些示例中,存在敏感显示器1273可以通过使用电容技术、感应技术和/或光学识别技术来在投影屏幕1270处确定一个或者多个用户输入(例如,连续的手势、多点触摸手势、单点触摸手势等),并且通过使用一个或者多个通信单元来将这种用户输入的指示发送至计算装置1200。
图12还图示了移动装置1271和视觉显示装置1272。移动装置1271和视觉显示装置1272可以分别包括计算能力和连接能力。移动装置1271的示例可以包括电子阅读器装置、可转换笔记本装置、混合板装置等。视觉显示装置1272的示例可以包括其它半固定式装置,诸如,电视、计算机监视器等。如图12所示,移动装置1271可以包括存在敏感显示器1274。视觉显示装置1272可以包括存在敏感显示器1275。存在敏感显示器1274、1275可以包括如本公开描述的存在敏感显示器1228功能的子集或者全部功能。在一些示例中,存在敏感显示器1274、1275可以包括附加功能。在任何情况下,例如,存在敏感显示器1275可以接收来自可穿戴计算装置1200的数据并且显示图形内容。在一些示例中,存在敏感显示器1275可以通过使用电容技术、感应技术和/或光学识别技术来在投影屏幕处确定一个或者多个用户输入(例如,连续的手势、多点触摸手势、单点触摸手势等),并且通过使用一个或者多个通信单元来将这种用户输入的指示发送至可穿戴计算装置1200。
如上文所描述,在一些示例中,可穿戴计算装置1200可以输出图形内容以便在存在敏感显示器1228处进行显示,该存在敏感显示器1228通过系统总线或者其它合适的通信信道耦合至可穿戴计算装置1200。计算装置1200还可以输出图形内容以便在一个或者多个远程装置(诸如,投影仪1269、投影屏幕1270、移动装置1271和视觉显示装置1272)处进行显示。例如,可穿戴计算装置1200可以执行用于根据本公开的技术生成和/或修改图形内容的一个或者多个指令。可穿戴计算装置1200可以将包括图形内容的数据输出至可穿戴计算装置1200的通信单元(诸如,通信单元1258)。通信单元1258可以将数据发送至远程装置(诸如,投影仪1269、投影屏幕1270、移动装置1271和/或视觉显示装置1272)中的一个或者多个。按照这种方式,可穿戴计算装置1200可以输出图形内容以便在远程装置中的一个或者多个处进行显示。在一些示例中,一个或者多个远程装置可以在被包括在相应远程装置中和/或被操作地耦合至相应远程装置的存在敏感显示器处输出图形内容。
在一些示例中,可穿戴计算装置1200可以不在可操作地耦合至可穿戴计算装置1200的存在敏感显示器1228处输出图形内容。在其它示例中,可穿戴计算装置1200可以输出图形内容以便在通过通信信道1268A耦合至可穿戴计算装置1200的存在敏感显示器1228处和在一个或者多个远程装置处进行显示。在这种示例中,可以在各个相应装置处大体上同时地显示图形内容。例如,可以通过通信延迟来引入一些时延以将包括图形内容的数据发送至远程装置。在一些示例中,由可穿戴计算装置1200生成并且输出以便在存在敏感显示器1228处进行显示的图形内容可以与输出以便在一个或者多个远程装置处进行显示的图形内容显示不同。
可穿戴计算装置1200可以通过使用任何合适的通信技术来发送和接收数据。例如,可穿戴计算装置1200可以通过使用网络链路1277A可操作地耦合至外部网络1276。可以通过相应网络链路1277B、1277C和1277D中的一个将图12中图示的各个远程装置可操作地耦合至网络外部网络1276。外部网络1276可以包括可操作地相互耦合的网络集线器、网络开关、网络路由器等,从而在图12中图示的可穿戴计算装置1200与远程装置之间提供信息交换。在一些示例中,网络链路1277A至1277D可以是以太网、ATM、或者其它网络连接。这种连接可以是无线和/或有线连接。
在一些示例中,可穿戴计算装置1200可以通过使用直接装置通信1279可操作地耦合至被包括在图12中的远程装置中的一个或者多个。直接装置通信1279可以包括通信,通过该通信,可穿戴计算装置1200通过使用有线通信或者无线通信与远程装置直接地发送和接收数据。即,在直接装置通信1279的一些示例中,在远程装置处接收到由可穿戴计算装置1200发送的数据之前,一个或者多个附加装置可以不转发由可穿戴计算装置100发送的数据,并且反之亦然。直接装置通信1279的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外等。图12中图示的远程装置中的一个或者多个可以通过通信链路1278A至1278D与可穿戴计算装置1200可操作地耦合。在一些示例中,通信链路1278A至1278D可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这种连接可以是无线连接和/或有线连接。
根据本公开的技术,可穿戴计算装置1200可以通过使用外部网络1276可操作地耦合至移动装置1271。可穿戴计算装置1200可以输出内容卡列表中的内容卡以在存在敏感显示器1275处进行显示。例如,可穿戴计算装置1200可以将包括内容卡的表示的数据发送至通信单元1258。通信单元1258可以通过使用外部网络1276将包括内容卡的表示的数据发送至移动装置1271。响应于通过使用外部网络1276接收到数据,移动装置1271可以使存在敏感显示器1274输出内容卡。
如上文讨论的,可穿戴计算装置1200可以使用户能够通过执行一个或者多个手势来浏览内容卡。响应于确定可穿戴计算装置1200的用户已经执行了移动至下一个内容卡的手势,可穿戴计算装置1200可以输出内容卡列表中的下一个内容卡以便在存在敏感显示器1275处进行显示。例如,可穿戴计算装置1200可以将包括下一个内容卡的表示的数据发送至通信单元1258。通信单元1258可以通过使用外部网络1276将包括下一个内容卡的表示的数据发送至移动装置1271。响应于通过使用外部网络1276接收到数据,移动装置1271可以使存在敏感显示器1274输出下一个内容卡。
图13是图示根据本公开的一种或者多种技术的基于运动数据来执行动作的可穿戴计算装置的示例操作的流程图。图13的技术可以由可穿戴计算装置(诸如,在图1中图示的可穿戴计算装置100或者在图2中图示的可穿戴计算装置200)的一个或者多个处理器执行。虽然具有与可穿戴计算装置100的配置不同的配置的计算装置可以执行图13的技术,但是出于说明之目的,在图1的可穿戴计算装置100的场境内描述了图13的技术。
根据本公开的一种或者多种技术,可穿戴计算装置100的显示器可以显示内容卡列表中的内容卡(1302)。例如,显示器104可以呈现包括内容卡114的列表112中的内容卡114B的用户界面110A。
可穿戴计算装置100可以接收表示可穿戴计算装置100的用户的前臂运动的运动数据(1304)。例如,运动传感器102(例如,加速度计)中的一个或者多个可以生成多个运动矢量(各个运动矢量表示X轴、Y轴、和Z轴的相应加速度值),并且移动检测模块106可以接收该多个运动矢量。
可穿戴计算装置100可以分析接收到的运动数据(1306)。可穿戴计算装置100可以确定用户是否已经执行了移动(1308),该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前。响应于确定用户已经执行了移动(该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前)(1308的“是”分支),可穿戴计算装置100可以显示内容卡列表中的下一个内容卡。例如,显示器104可以呈现包括内容卡114的列表112中的内容卡114C的用户界面110B。
可穿戴计算装置100可以确定用户是否已经执行了移动(1312),该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前。响应于确定用户已经执行了移动(该移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前)(1312的“是”分支),可穿戴计算装置100可以显示内容卡列表中的下一个内容卡。
以下编号的示例可以说明本公开的一个或者多个方面。
示例1:一种方法,其包括:通过可穿戴计算装置的显示器显示内容卡列表中的内容卡;通过可穿戴计算装置接收由可穿戴计算装置的运动传感器生成的表示可穿戴计算装置的用户的前臂运动的运动数据;响应于通过可穿戴计算装置基于该运动数据确定可穿戴计算装置的用户已经执行了第一移动,该第一移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前,而通过显示器显示内容卡列表中的下一个内容卡;并且响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第二移动,该第二移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前,而通过显示器显示内容卡列表中的前一个内容卡。
示例2:根据示例1的方法,其中,内容卡列表处于多个层次级别中的当前层次级别,并且其中,当前内容卡与处于多个层次级别中的比当前层次级别低的层次级别的内容卡列表对应,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第三移动,该第三移动包括用户的前臂的至少远端远离用户的头部的下垂,随后是用户的前臂的至少远端朝向用户的头部的上举,而通过显示器显示内容卡列表中处于更低层次级别的内容卡。
示例3:根据示例1至2的任何组合的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第四移动,该第四移动包括用户的前臂的至少远端朝向用户的头部的上举,随后是用户的前臂的至少远端远离用户的头部的下垂,而通过显示器显示内容卡列表中处于多个层次级别中的比当前层次级别高的层次级别的内容卡。
示例4:根据示例1至3的任何组合的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第五移动,该第五移动包括用户的前臂在一段时间内的反复旋前和旋后,而通过显示器显示主画面。
示例5:根据示例1至4的任何组合的方法,其中,主屏幕是内容卡列表中的不是下一个内容卡、前一个内容卡、或者当前显示的内容卡的内容卡。
示例6:一种可穿戴计算装置,该可穿戴计算装置被配置为佩戴在用户的前臂上,该可穿戴计算装置包括:显示部件,该显示部件显示内容卡;至少一个运动传感器,该至少一个运动传感器检测可穿戴计算装置的移动,并且基于该移动来生成表示可穿戴计算装置的用户的前臂运动的运动数据;一个或者多个处理器;至少一个模块,该至少一个模块可由该一个或者多个处理器操作以:使显示部件显示内容卡列表中的第一内容卡;响应于确定可穿戴计算装置的用户已经执行了第一手势,该第一手势包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前,而输出内容卡列表中的第二内容卡以供显示部件进行显示;并且响应于基于运动数据确定可穿戴计算装置的用户已经执行了第二手势,该第二手势包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前,而输出第一内容卡以供显示部件进行显示。
示例7:根据示例6的可穿戴计算装置,其中,第一内容卡与多个层次级别中的当前层次级别对应,并且其中,响应于基于运动数据确定可穿戴计算装置的用户已经执行了第三移动,该第三移动包括所述用户的前臂的至少远端远离用户的头部的下垂,随后是用户的前臂的至少所述远端朝向用户的头部的上举,至少一个模块进一步操作以从比当前层次级别低的层次级别输出第三内容卡以供显示部件进行显示。
示例8:根据示例6至7的任何组合的可穿戴计算装置,其中,响应于基于运动数据确定可穿戴计算装置的用户已经执行了第四移动,该第四移动包括用户的前臂的至少远端朝向用户的头部的上举,随后是用户的前臂的至少远端远离用户的头部的下垂,至少一个模块进一步操作以从比当前层次级别高的层次级别输出第四内容卡以供在显示部件处进行显示。
示例9:根据示例6至8的任何组合的可穿戴计算装置,其中,响应于基于运动数据确定可穿戴计算装置的用户已经执行了第五移动,该第五移动包括用户的前臂在一段时间内的反复旋前和旋后,至少一个模块进一步操作以输出主画面以供在显示部件处进行显示。
示例10:根据示例6至9的任何组合的可穿戴计算装置,其中,主画面是内容卡列表中的不是下一个内容卡、前一个内容卡、或者当前显示的内容卡的内容卡。
示例11:一种存储有指令的计算机可读存储介质,该指令在被执行时使可穿戴计算装置的一个或者多个处理器:通过可穿戴计算装置的显示器输出内容卡列表中的内容卡以进行显示;接收由可穿戴计算装置的运动传感器生成的表示可穿戴计算装置的用户的前臂运动的运动数据;响应于基于该运动数据确定可穿戴计算装置的用户已经执行了第一移动,该第一移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前,而通过显示部件输出内容卡列表中的下一个内容卡以进行显示;并且响应于基于运动数据确定可穿戴计算装置的用户已经执行了第二移动,该第二移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前,而通过显示部件显示内容卡列表中的前一个内容卡。
示例12:根据示例11的计算机可读存储介质,其中,内容卡列表处于多个层次级别中的当前层次级别,该计算机可读存储介质进一步包括指令,该指令使一个或者多个处理器:响应于基于运动数据确定可穿戴计算装置的用户已经执行了第三移动,该第三移动包括用户的前臂的至少远端远离用户的头部的下垂,随后是用户的前臂的至少远端朝向用户的头部的上举,而通过显示部件输出内容卡列表中处于多个层次级别中的比当前层次级别低的层次级别的内容卡以进行显示。
示例13:根据示例12至13的任何组合的计算机可读存储介质,该计算机可读存储介质进一步包括指令,该指令使一个或者多个处理器:响应于基于运动数据确定可穿戴计算装置的用户已经执行了第四移动,该第四移动包括用户的前臂的至少远端朝向用户的头部的上举,随后是用户的前臂的至少远端远离用户的头部的下垂,而通过显示部件输出内容卡列表中处于多个层次级别中的比当前层次级别高的层次级别的内容卡以进行显示。
示例14:根据示例12至14的任何组合的计算机可读存储介质,该计算机可读存储介质进一步包括指令,该指令使一个或者多个处理器:响应于基于运动数据确定可穿戴计算装置的用户已经执行了第五移动,该第五移动包括用户的前臂在一段时间内的反复旋前和旋后,而通过显示部件输出主画面以进行显示。
示例15:根据示例12至15的任何组合的计算机可读存储介质,其中,主画面是内容卡列表中的不是下一个内容卡、前一个内容卡、或者当前显示的内容卡的内容卡。
示例16:一种方法,其包括:通过可穿戴计算装置的显示器显示内容卡列表中处于多个层次级别中的当前层次级别的内容卡;通过可穿戴计算装置接收由可穿戴计算装置的运动传感器生成的表示可穿戴计算装置的用户的前臂运动的运动数据;响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第一移动,该第一移动包括用户的前臂的至少远端远离用户的头部的下垂,随后是用户的前臂的至少远端朝向用户的头部的上举,而通过显示器显示内容卡列表中处于多个层级级别中的比当前层级级别低的层级级别的内容卡。
示例17:根据示例16的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第二移动,该第二移动包括用户的前臂的至少远端朝向用户的头部的上举,随后是用户的前臂的至少远端远离用户的头部的下垂,而通过显示器显示内容卡列表中处于多个层次级别中的比当前层次级别高的层次级别的内容卡。
示例18:根据示例16至17的任何组合的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定所可穿戴计算装置的用户已经执行了第三移动,该第三移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度小的加速度的旋前,而通过显示器显示内容卡列表中的下一个内容卡。
示例19:根据示例16至18的任何组合的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第四移动,该第四移动包括用户的前臂的旋后,随后是用户的前臂的以比旋后的加速度大的加速度的旋前,而通过显示器显示内容卡列表中的前一个内容卡。
示例20:根据示例16至19的任何组合的方法,该方法进一步包括:响应于通过可穿戴计算装置基于运动数据确定可穿戴计算装置的用户已经执行了第五移动,该第五移动包括用户的前臂在一段时间内的反复旋前和旋后,而通过显示器显示主屏幕。
示例21:一种可穿戴计算装置,该可穿戴计算装置包括用于执行示例1至5或者示例16至20的方法的任何组合的手段。
示例22:一种可穿戴计算装置,该可穿戴计算装置被配置为佩戴在用户的前臂上,该可穿戴计算装置包括:显示部件,该显示部件显示内容卡;至少一个运动传感器,该至少一个运动传感器检测可穿戴计算装置的移动,并且基于该移动来生成表示可穿戴计算装置的用户的前臂运动的运动数据;一个或者多个处理器,该一个或者多个处理器配置为执行示例1至5或者示例16至20的方法的任何组合。
示例23:一种计算机可读存储介质,该计算机可读存储介质包括指令,该指令在被执行时使可穿戴计算装置的一个或者多个处理器执行示例1至5或者示例16至20的方法的任何组合。
可以利用硬件、软件、固件、或者它们的任何组合来至少部分地实现本公开所描述的技术。例如,可以在一个或者多个处理器内实现所描述的技术的各个方面,该一个或者多个处理器包括一个或者多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者任何其它等效的集成或者离散逻辑电路系统以及这些部件的任何组合。术语“处理器”或者“处理电路系统”可能一般指单独的或者与其它逻辑电路系统结合的前述逻辑电路系统、或者任何其它等效的电路系统中的任何一个。包括硬件的控制单元也可以执行本公开的技术中的一种或者多种技术。
这种硬件、软件、和固件可以实现在相同的装置内或者在不同的装置内以支持本公开所描述的各种技术。另外,所描述的单元、模块、或者部件中的任何一个可以一起或者单独地实现为离散逻辑装置,而不是互操作逻辑装置。作为模块或者单元的不同特征的描述旨在强调不同的功能方面,而并不一定意味着这种模块或者单元必须由单独的硬件、固件、或者软件部件实现。确切地说,与一个或者多个模块或者单元相关联的功能可以由单独的硬件、固件、或者软件部件执行,或者集成在单独的硬件、固件、或者软件部件内。
本公开所描述的技术也可以体现或者编码在包括利用指令编码的计算机可读存储介质的制品中。嵌入或者编码在包括编码的计算机可读存储介质的制品中的指令可以使一个或者多个可编程处理器或者其它处理器实现本文所描述的技术中的一种或者多种技术,诸如,当通过一个或者多个处理器来执行在计算机可读存储介质中包括或者编码的指令时。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除编程只读存储器(EPROM)、电可擦除编程只读存储器(EEPROM)、闪速存储器、硬盘、光盘ROM(CD-ROM)、软盘、盒式磁带、磁性介质、光学介质、或者其它计算机可读介质。在一些示例中,制品可以包括一种或者多种计算机可读存储介质。
在一些示例中,计算机可读存储介质可以包括非暂时性介质。术语“非暂时性”可以指示存储介质并不体现为载波或者传播信号。在某些示例中,非暂时性存储介质可以存储可以随着时间变化的数据(例如,在RAM或者缓存中)。
已经对各种示例进行了描述。这些和其它示例在以下权利要求书的范围内。

Claims (15)

1.一种方法,包括:
通过可穿戴计算装置的显示器显示内容卡列表中的内容卡;
通过所述可穿戴计算装置接收由所述可穿戴计算装置的运动传感器生成的运动数据,所述运动数据表示所述可穿戴计算装置的用户的前臂的运动;
响应于通过所述可穿戴计算装置基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第一移动,所述第一移动包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度小的加速度的旋前,而通过所述显示器显示所述内容卡列表中的下一个内容卡;以及
响应于通过所述可穿戴计算装置基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第二移动,所述第二移动包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度大的加速度的旋前,而通过所述显示器显示所述内容卡列表中的前一个内容卡。
2.根据权利要求1所述的方法,其中,所述内容卡列表处于多个层次级别中的当前层次级别,并且其中,所述当前内容卡与处于所述多个层次级别中的比所述当前层次级别低的层次级别的内容卡列表对应,所述方法进一步包括:
响应于通过所述可穿戴计算装置基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第三移动,所述第三移动包括所述用户的所述前臂的至少远端远离所述用户的头部的下垂,随后是所述用户的所述前臂的至少所述远端朝向所述用户的所述头部的上举,而通过所述显示器显示所述内容卡列表中处于更低层次级别的内容卡。
3.根据权利要求1和2的任何组合所述的方法,进一步包括:
响应于通过所述可穿戴计算装置基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第四移动,所述第四移动包括所述用户的所述前臂的至少远端朝向所述用户的所述头部的上举,随后是所述用户的所述前臂的至少所述远端远离所述用户的所述头部的下垂,而通过所述显示器显示内容卡列表中处于所述多个层次级别中的比所述当前层次级别高的层次级别的内容卡。
4.根据权利要求1至3的任何组合所述的方法,进一步包括:
响应于通过所述可穿戴计算装置基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第五移动,所述第五移动包括所述用户的所述前臂在一段时间内的反复旋前和旋后,而通过所述显示器显示主屏幕。
5.根据权利要求4所述的方法,其中,所述主屏幕是所述内容卡列表中的不是所述下一个内容卡、所述前一个内容卡、或者当前显示的内容卡的内容卡。
6.一种被配置为佩戴在用户的前臂上的可穿戴计算装置,所述可穿戴计算装置包括:
显示部件,所述显示部件显示内容卡;
至少一个运动传感器,所述至少一个运动传感器检测所述可穿戴计算装置的移动并且基于所述移动来生成运动数据,所述运动数据表示所述可穿戴计算装置的所述用户的所述前臂的运动;
一个或者多个处理器;
至少一个模块,所述至少一个模块能由所述一个或者多个处理器操作以:
使所述显示部件显示内容卡列表中的第一内容卡;
响应于确定所述可穿戴计算装置的所述用户已经执行了第一手势,所述第一手势包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度小的加速度的旋前,而输出所述内容卡列表中的第二内容卡以供所述显示部件进行显示;以及
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第二手势,所述第二手势包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度大的加速度的旋前,而输出所述第一内容卡以供所述显示部件进行显示。
7.根据权利要求6所述的可穿戴计算装置,其中,所述第一内容卡与多个层次级别中的当前层次级别对应,并且其中,响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第三移动,所述第三移动包括所述用户的所述前臂的至少远端远离所述用户的头部的下垂,随后是所述用户的所述前臂的至少所述远端朝向所述用户的所述头部的上举,所述至少一个模块进一步操作为从比所述当前层次级别低的层次级别输出第三内容卡以供所述显示部件进行显示。
8.根据权利要求6和7的任何组合所述的可穿戴计算装置,其中,响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第四移动,所述第四移动包括所述用户的所述前臂的至少远端朝向所述用户的所述头部的上举,随后是所述用户的所述前臂的至少所述远端远离所述用户的所述头部的下垂,所述至少一个模块进一步操作为从比所述当前层次级别高的层次级别输出第四内容卡以供在所述显示部件处进行显示。
9.根据权利要求6至8的任何组合所述的可穿戴计算装置,其中,响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第五移动,所述第五移动包括所述用户的前臂在一段时间内的反复旋前和旋后,所述至少一个模块进一步操作为输出主屏幕以供在所述显示部件处进行显示。
10.根据权利要求9所述的可穿戴计算装置,其中,所述主屏幕是所述内容卡列表中的不是所述下一个内容卡、所述前一个内容卡、或者当前显示的内容卡的内容卡。
11.一种存储有指令的计算机可读存储介质,所述指令在被执行时使所述可穿戴计算装置的一个或者多个处理器:
通过可穿戴计算装置的显示器输出内容卡列表中的内容卡以进行显示;
接收由所述可穿戴计算装置的运动传感器生成的运动数据,所述运动数据表示所述可穿戴计算装置的用户的前臂的运动;
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第一移动,所述第一移动包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度小的加速度的旋前,而通过所述显示部件输出所述内容卡列表中的下一个内容卡以进行显示;以及
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第二移动,所述第二移动包括所述用户的所述前臂的旋后,随后是所述用户的所述前臂的以比所述旋后的加速度大的加速度的旋前,而通过所述显示部件输出所述内容卡列表中的前一个内容卡以进行显示。
12.根据权利要求11所述的计算机可读存储介质,其中,所述内容卡列表处于多个层次级别中的当前层次级别,所述计算机可读存储介质进一步包括指令,所述指令使所述一个或者多个处理器:
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第三移动,所述第三移动包括所述用户的所述前臂的至少远端远离所述用户的头部的下垂,随后是所述用户的所述前臂的至少所述远端朝向所述用户的所述头部的上举,而通过所述显示部件输出所述内容卡列表中处于所述多个层次级别中的比所述当前层次级别低的层次级别的内容卡以进行显示。
13.根据权利要求11和12的任何组合所述的计算机可读存储介质,进一步包括指令,所述指令使所述一个或者多个处理器:
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第四移动,所述第四移动包括所述用户的所述前臂的至少所述远端朝向所述用户的所述头部的上举,随后是所述用户的所述前臂的至少所述远端远离所述用户的所述头部的下垂,而通过所述显示部件输出所述内容卡列表中处于所述多个层次级别中的比所述当前层次级别高的层次级别的内容卡以进行显示。
14.根据权利要求11至13的任何组合所述的计算机可读存储介质,进一步包括指令,所述指令使所述一个或者多个处理器:
响应于基于所述运动数据确定所述可穿戴计算装置的所述用户已经执行了第五移动,所述第五移动包括所述用户的所述前臂在一段时间内的反复旋前和旋后,而通过所述显示部件输出主屏幕以进行显示。
15.根据权利要求14所述的计算机可读存储介质,其中,所述主屏幕是所述内容卡列表中的不是所述下一个内容卡、所述前一个内容卡、或者当前显示的内容卡的内容卡。
CN201680025041.3A 2015-07-03 2016-06-28 使用手势的非触控用户界面导航 Pending CN107850938A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/791,291 US9804679B2 (en) 2015-07-03 2015-07-03 Touchless user interface navigation using gestures
US14/791,291 2015-07-03
PCT/US2016/039725 WO2017007632A1 (en) 2015-07-03 2016-06-28 Touchless user interface navigation using gestures

Publications (1)

Publication Number Publication Date
CN107850938A true CN107850938A (zh) 2018-03-27

Family

ID=56413864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025041.3A Pending CN107850938A (zh) 2015-07-03 2016-06-28 使用手势的非触控用户界面导航

Country Status (4)

Country Link
US (2) US9804679B2 (zh)
EP (1) EP3317748A1 (zh)
CN (1) CN107850938A (zh)
WO (1) WO2017007632A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717324A (zh) * 2018-04-11 2018-10-30 努比亚技术有限公司 智能可穿戴设备及其控制方法、计算机可读存储介质
TWI721317B (zh) * 2018-05-28 2021-03-11 大陸商雲穀(固安)科技有限公司 一種控制指令輸入方法和輸入裝置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575150B (zh) 2014-08-16 2020-03-03 谷歌有限责任公司 使用运动数据识别手势的方法和可穿戴计算设备
US20170083101A1 (en) * 2015-09-17 2017-03-23 International Business Machines Corporation Gesture recognition data transfer
JP2017102429A (ja) * 2015-11-19 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ウェアラブル端末および制御方法
EP3184033A1 (en) * 2015-12-22 2017-06-28 IMEC vzw System and method for acquisition of biosignals with motion sensor based artifact compensation
US20180310759A1 (en) * 2017-04-27 2018-11-01 Meyer Intellectual Properties Ltd. Control system for cooking
WO2018020792A1 (ja) * 2016-07-25 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2018064195A1 (en) 2016-09-27 2018-04-05 Snap Inc. Eyewear device mode indication
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
EP3605287A1 (en) * 2018-07-31 2020-02-05 Nokia Technologies Oy An apparatus, method and computer program for adjusting output signals
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
KR102539052B1 (ko) * 2018-11-13 2023-06-02 삼성전자주식회사 회전 부재를 포함하는 전자 장치 및 그 전자 장치의 동작 방법
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
CN113542483B (zh) * 2020-03-30 2022-03-18 Oppo广东移动通信有限公司 数据传输方法和装置、可穿戴设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080174547A1 (en) * 2004-08-09 2008-07-24 Dimitri Kanevsky Controlling devices' behaviors via changes in their relative locations and positions
US20100124949A1 (en) * 2008-11-14 2010-05-20 Sony Ericsson Mobile Communications Ab Portable communication device and remote motion input device
US20140143737A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. Transition and Interaction Model for Wearable Electronic Device
US20140285423A1 (en) * 2013-03-19 2014-09-25 Casio Computer Co., Ltd. Information display device, information display method, and storage medium
US8896526B1 (en) * 2013-09-02 2014-11-25 Lg Electronics Inc. Smartwatch and control method thereof
US20150054630A1 (en) * 2013-08-23 2015-02-26 Huawei Technologies Co., Ltd. Remote Controller and Information Processing Method and System
US20150101423A1 (en) * 2013-10-14 2015-04-16 Nokia Corporation Deviational Plane Wrist Input
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
EP2876534A1 (en) * 2013-10-04 2015-05-27 Panasonic Intellectual Property Corporation of America Electronic device

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151208A (en) 1998-06-24 2000-11-21 Digital Equipment Corporation Wearable computing device mounted on superior dorsal aspect of a hand
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6466232B1 (en) 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US7184025B2 (en) 2002-05-31 2007-02-27 Microsoft Corporation Altering a display on a viewing device based upon a user controlled orientation of the viewing device
US7180502B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
US8819569B2 (en) 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
US9032336B2 (en) 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
US20090265671A1 (en) 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
RU2445635C2 (ru) 2007-04-13 2012-03-20 Кинетик, Инк. Силовой датчик и способ определения радиуса поворота движущегося объекта
US20080291160A1 (en) 2007-05-09 2008-11-27 Nintendo Co., Ltd. System and method for recognizing multi-axis gestures based on handheld controller accelerometer outputs
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8344998B2 (en) 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
US7873849B2 (en) 2009-09-02 2011-01-18 Apple Inc. Motion sensor data processing using various power management modes
US20110054833A1 (en) 2009-09-02 2011-03-03 Apple Inc. Processing motion sensor data using accessible templates
US9174123B2 (en) 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
US8750850B2 (en) 2010-01-18 2014-06-10 Qualcomm Incorporated Context-aware mobile incorporating presence of other mobiles into context
US20120016641A1 (en) 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
US8515505B1 (en) 2011-01-19 2013-08-20 Ram Pattikonda System and method of utilizing a watch as a companion device for a mobile phone
KR20120105818A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 이벤트 기반의 정보입력 장치 및 방법
CN102707860A (zh) 2011-03-28 2012-10-03 鸿富锦精密工业(深圳)有限公司 屏幕保护控制系统及方法
US8873841B2 (en) 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
JP6271444B2 (ja) 2012-02-24 2018-01-31 トーマス ジェイ モスカリッロMOSCARILLO, Thomas, J. ジェスチャー認識装置及び方法
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US8988349B2 (en) 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US9189062B2 (en) 2012-03-07 2015-11-17 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof based on user motion
US8933877B2 (en) 2012-03-23 2015-01-13 Motorola Mobility Llc Method for prevention of false gesture trigger inputs on a mobile communication device
US8674900B2 (en) 2012-05-14 2014-03-18 Lg Electronics Inc. Portable device and method for controlling the same
US20140180595A1 (en) 2012-12-26 2014-06-26 Fitbit, Inc. Device state dependent user interface management
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9442570B2 (en) 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
KR102099358B1 (ko) * 2013-04-22 2020-04-09 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102109407B1 (ko) * 2013-09-25 2020-05-12 엘지전자 주식회사 스마트 와치 및 제어 방법
CN103530052B (zh) * 2013-09-27 2017-09-29 华为技术有限公司 一种界面内容的显示方法和用户设备
KR102233728B1 (ko) * 2013-10-31 2021-03-30 삼성전자주식회사 전자 장치의 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102277752B1 (ko) * 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US9009516B1 (en) 2014-02-19 2015-04-14 Google Inc. Adjusting a power mode of a wearable computing device based on motion data
JP2016038905A (ja) * 2014-08-08 2016-03-22 パナソニックIpマネジメント株式会社 入力装置および機器制御方法
CN106575150B (zh) 2014-08-16 2020-03-03 谷歌有限责任公司 使用运动数据识别手势的方法和可穿戴计算设备
KR20160034065A (ko) * 2014-09-19 2016-03-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080174547A1 (en) * 2004-08-09 2008-07-24 Dimitri Kanevsky Controlling devices' behaviors via changes in their relative locations and positions
US20100124949A1 (en) * 2008-11-14 2010-05-20 Sony Ericsson Mobile Communications Ab Portable communication device and remote motion input device
US20140143737A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. Transition and Interaction Model for Wearable Electronic Device
US20140285423A1 (en) * 2013-03-19 2014-09-25 Casio Computer Co., Ltd. Information display device, information display method, and storage medium
US20150054630A1 (en) * 2013-08-23 2015-02-26 Huawei Technologies Co., Ltd. Remote Controller and Information Processing Method and System
US8896526B1 (en) * 2013-09-02 2014-11-25 Lg Electronics Inc. Smartwatch and control method thereof
EP2876534A1 (en) * 2013-10-04 2015-05-27 Panasonic Intellectual Property Corporation of America Electronic device
US20150101423A1 (en) * 2013-10-14 2015-04-16 Nokia Corporation Deviational Plane Wrist Input
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717324A (zh) * 2018-04-11 2018-10-30 努比亚技术有限公司 智能可穿戴设备及其控制方法、计算机可读存储介质
TWI721317B (zh) * 2018-05-28 2021-03-11 大陸商雲穀(固安)科技有限公司 一種控制指令輸入方法和輸入裝置
US10983606B2 (en) 2018-05-28 2021-04-20 Yungu (Gu'an) Technology Co., Ltd. Control instruction input methods and control instruction input devices

Also Published As

Publication number Publication date
EP3317748A1 (en) 2018-05-09
US20170003747A1 (en) 2017-01-05
WO2017007632A1 (en) 2017-01-12
US9804679B2 (en) 2017-10-31
US20180101240A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
CN107850938A (zh) 使用手势的非触控用户界面导航
US10043312B2 (en) Rendering techniques to find new map points in augmented or virtual reality systems
CN106104425B (zh) 基于用户的关注来调整信息深度
CN107997767A (zh) 用于识别用户活动的方法及其电子设备
CN106471442A (zh) 可穿戴装置的用户界面控制
CN107016950A (zh) 用于操作电子设备的方法和支持该方法的电子设备
CN107102723A (zh) 超出词汇的词的增强的拒绝
WO2021093452A1 (zh) 基于人工智能的博弈业务执行方法、装置、设备及介质
WO2018171196A1 (zh) 一种控制方法、终端及系统
CN113762585B (zh) 数据的处理方法、账号类型的识别方法及装置
KR20210105153A (ko) 디바이스 및 그 제어 방법
Shen et al. Towards Open-World Gesture Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination