CN103918344A - 通过便携式装置检测用户活动 - Google Patents

通过便携式装置检测用户活动 Download PDF

Info

Publication number
CN103918344A
CN103918344A CN201180074567.8A CN201180074567A CN103918344A CN 103918344 A CN103918344 A CN 103918344A CN 201180074567 A CN201180074567 A CN 201180074567A CN 103918344 A CN103918344 A CN 103918344A
Authority
CN
China
Prior art keywords
portable consumer
consumer device
user activity
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180074567.8A
Other languages
English (en)
Inventor
W.马奇
L.克里斯纳默斯
R.C.沙
C.A.维尔德
J.舒尔泽
D.M.乔内斯
N.鲁德拉姆
M.W.韦布
J.A.马里亚
A.D.达维斯
G.拉夫法
L.纳奇曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103918344A publication Critical patent/CN103918344A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种诸如移动电话或平板计算机的便携式消费装置可以配置成收集与便携式消费装置的移动或便携式消费装置的定向的至少其中之一相关联的测量数据，以及与便携式消费装置的外部环境相关联的数据。可以对收集的数据进行评估以便确定便携式消费装置随时间的运动以及与便携式消费装置相关联的情境信息。可以基于确定的运动和确定的情境信息来确定用户活动。根据需要，可以联合诸如游戏应用情节的合适的应用情节来评估用户活动。

Description

通过便携式装置检测用户活动
 
相关申请的交叉引用
    本申请要求2011年10月13日提交的名称为“GAME WITH GESTURE RECOGNITION AND CONTEXT AWARENESS”的美国临时申请号61/546799的优先权，并且该临时申请以引用的方式并入本文。
技术领域
一般来说，本公开的方面涉及便携式装置，更具体来说，涉及基于由装置传感器收集的装置运动和情境信息来标识用户活动的便携式装置。
背景技术
通常利用诸如移动电话和平板计算机的便携式装置来执行各种各样不同的应用。在将诸如加速度计和陀螺仪的惯性传感器集成到便携式装置中的情况下，提供了功能性用于检测的装置移动。因此，利用惯性传感器的改进的便携式装置和相关联的应用便有了机会。另外，结合与便携式装置环境相关联的情境信息，至少部分地基于检测的运动和/或定向来标识和处理用户活动的便携式装置应用有了机会。
附图说明
现在将参考附图，附图不一定按比例绘制，并且其中：
图1是根据本公开的示例实施例可以结合便携式消费装置和/或相关联的应用使用的示例系统或体系结构的框图。
图2是结合一个或多个便携式装置应用的便携式消费装置的示例感测能力的图表。
图3是用于执行便携式装置应用的示例方法的流程图。
图4是用于联合便携式消费装置评估用户活动的示例方法的流程图。
图5是用于联合便携式消费装置标识或确定用户所做的姿势的示例方法的流程图。
图6是示出结合便携式装置应用用户随时间获得的示例成绩的图。
图7-30是可以通过便携式装置应用执行的示例情节或迷你游戏的图示。
具体实施方式
本公开的实施例可以提供便携式消费装置和相关联的应用，其配置成收集与便携式消费装置的移动或便携式消费装置的定向的至少其中之一相关联的测量数据，以及与便携式消费装置的外部环境相关联的数据。可以对收集的数据进行评估以便确定便携式消费装置随时间的运动以及与便携式消费装置相关联的各种各样的情境信息，例如音频信息、环境光信息和/或位置信息。可以基于确定的运动和确定的情境信息来确定用户活动。根据需要，可以联合诸如游戏应用情节的合适的应用情节来评估用户活动。
出于本公开的目的，术语“便携式消费装置”可以指可以用手轻易携带或搬运并用于执行评估用户姿势和/或与用户姿势相关联的情境信息的一个或多个应用的任何合适的装置。合适的“便携式消费装置”的示例包括但不限于移动装置（例如，移动电话、个人数字助理等）、平板计算机、手表、手镯和/或其组合（例如，可穿戴式装置和移动电话或平板电脑的组合）。
现在，下文将参考附图更全面地描述某些实施例，附图中示出各种实施例和/或方面。但是，各个方面可以用许多不同的形式实施，并且不应解释为限于本文所阐述的实施例；而是，提供这些实施例使得本公开将充分且完整，并将向本领域技术人员全面传达本公开的范围。所有图中，类似数字指类似元件。
图1示出可以结合便携式装置和/或相关联的便携式装置应用来使用的示例系统100的框图。在某些实施例中，系统100可以包括配置成执行任意数量的合适应用（例如，游戏应用）的便携式消费装置105。在其它实施例中，可以提供一个或多个合适的计算机可读介质，并且计算机可读介质可以配置成存储与便携式装置应用相关联的信息。这些计算机可读介质可以包括由一个或多个处理装置执行以便执行或实现便携式装置应用的计算机可执行指令。本文所使用的术语“计算机可读介质”描述用于以任何形式保留信息的任何形式的合适的存储器或存储器装置，包括各种有形存储装置（例如，磁的、光的、静态的等等）。当然，本公开的各种实施例可以用各种各样合适的形式来实现。
根据需要，系统100可以包括与合适的硬件和/或软件相关联的一个或多个计算装置。这些计算装置可以包括任意数量的用于处理数据和执行计算机可执行指令的处理器以及本领域公知的其它内部和外围组件。此外，这些计算装置可以包括任意数量的合适的存储器装置或与其通信，存储器装置可操作以存储数据和/或计算机可执行指令，例如与游戏应用或其它应用相关联的计算机可执行指令。通过执行计算机可执行指令，可以形成用于基于运动和情境信息来确定和评估用户活动的专用计算机或特定机器。
参考图1，系统100可以包括一个或多个便携式消费装置105A、105B（个别称为便携式消费装置105）。示例便携式消费装置包括但不限于移动装置105A和平板计算机105B。根据需要，系统100另外还可以包括任意数量的游戏服务器110和/或应用服务器115。便携式消费装置105可以配置成执行评估用户活动的一个或多个应用。尽管本文描述的是游戏应用，但是根据需要可以使用其它类型的应用。在某些实施例中，一个或多个游戏服务器110可以配置成向便携式消费装置105提供情节和/或其它游戏信息。另外，在某些实施例中，一个或多个应用服务器115（根据需要，其可以与游戏服务器110组合）可以配置成向便携式消费装置105提供（例如，下载、经由空中提供技术提供等）游戏应用（和/或其它合适的应用）。根据需要，任意数量的合适网络（例如，所示网络120）可以便于各种便携式消费装置105A、105B之间和/或便携式消费装置105A、105B与系统100的其它组件（例如，游戏服务器110或应用服务器115）之间的通信。这些组件中的每个组件都将进一步详细论述。
示例便携式消费装置105可以包括任意数量的处理器130、存储器装置135（一般称为存储器135）、传感器140、通信接口145和/或输入/输出（“I/O”）接口150。处理器130可以包括任意数量的合适的处理装置，例如中央处理单元（“CPU”）、数字信号处理器（“DSP”）、精简指令集计算机（“RISC”）、复杂指令集计算机（“CISC”）、微处理器、微控制器、移动处理器、现场可编程门阵列（“FPGA”）或其任意组合。根据需要，可以提供芯片组（未示出）以用于控制处理器130与便携式消费装置105的其它组件中的一个或多个组件之间的通信。便携式消费装置105还可以包括作为用于处理特定数据处理功能或任务的一个或多个专用集成电路（“ASIC”）或专用标准产品（“ASSP”）的部分地一个或多个处理器。
存储器135可以包括任意数量的合适的存储器装置，例如高速缓存、只读存储器装置、随机存取存储器（“RAM”）、闪速存储器装置、电可擦除可编程只读存储器（“EEPROM”）、非易失性RAM（“NVRAM”）、通用串行总线（“USB”）可移动存储器、磁存储装置、可移动存储装置（例如，存储卡等）和/或不可移动存储装置。在某些实施例中，便携式消费装置105可以包括同时包含处理和存储器组件的一个或多个芯片。根据需要，存储器135可以包括与便携式消费装置105进行通信的内部存储器装置和/或外部存储器装置。存储器135可以存储数据、可执行指令和/或由处理器130使用的各种程序模块。可由存储器135存储的数据的示例包括数据文件155和/或可由处理器130执行的任意数量的合适的程序模块和/或应用，例如操作系统（“OS”）160和/或游戏应用165。
在某些实施例中，便携式消费装置105另外还可以包括传感器处理组件和/或相关联的传感器集线器应用（称为传感器集线器166）。根据需要，游戏应用165可以调用和/或利用传感器集线器166来处理收集的传感器数据（例如，情境信息、移动数据等）。另外，在某些实施例中，传感器集线器166可以在游戏应用165正在以背景模式操作时和/或在处理器130正在以睡眠模式操作时处理收集的传感器数据，并且传感器集线器166可以至少部分地基于该处理而启动游戏应用165。
数据文件155可以包括便于便携式消费装置105的操作、游戏应用165和/或传感器集线器处理模块的接收、和/或任何应用的执行的任何合适的数据。例如，存储的数据文件155可以包括但不限于用户简档信息、从所述一个或多个传感器140收集的测量数据、与预期的用户活动相关联的数据、与标识的用户活动相关联的数据、与一个或多个游戏情节或迷你游戏的执行相关联的数据、与一个或多个游戏情节的结果相关联的数据、与用户成绩相关联的数据、和/或从系统100的一个或多个其它组件接收的数据。OS 160可以是便于便携式消费装置105的一般操作以及诸如游戏应用165的其它程序模块的执行的合适的模块或应用。
游戏应用165可以包括便于输出与预期的用户活动相关联的指示、便于标识和/或确定用户活动、和/或便于评估用户活动的任意数量的合适的软件模块和/或应用。如上所述，游戏应用165可以经由诸如下载技术或空中提供技术的任意数量的合适技术从诸如应用服务器115或便携式存储器装置的各种各样合适的源获得。在某些实施例中，游戏应用165可以配置成在用户携带便携式消费装置105时“在运行中（on the go）”执行。例如，游戏应用165可以配置成在与便携式消费装置105相关联的各种各样的操作环境（包括但不限于各种位置和/或在运输期间）中使用。
在操作中，游戏应用165可以输出与任意数量的情节和/或迷你游戏相关联的信息。例如，如下文参考图7-30所更加详细地解释，游戏应用165可以输出与间谍或特工情节相关联的信息。根据需要，也可以利用其它类型的情节。可以联合情节生成各种各样合适的音频和/或显示（例如，文字、图像、视频等）输出。另外，结合输出信息，游戏应用165可以指示用户利用便携式消费装置105完成各种各样不同的任务和/或预期的活动。然后，可以从传感器140接收各种各样不同的测量数据以及（根据需要）情境数据并对其进行评估，以便标识或确定利用便携式消费装置105执行的用户活动。然后，将确定的用户活动与预期活动进行比较，并且可以至少部分地基于该比较来控制和/或更新情节或迷你游戏的输出。
根据需要，游戏应用165可以请求用户完成任意数量的不同的活动。例如，可以请求用户利用便携式消费装置105做出与情节相关联的预期姿势。然后，可以评估惯性传感器测量数据，例如从加速度计和/或陀螺仪收集的数据，以便确定是否做出了预期姿势。又如，可以请求用户利用便携式消费装置105收集预期的音频输入。另外，在某些实施例中，各种各样的情境信息可以与预期的用户活动相关联。例如，可以请求用户在相对低光（例如，黑暗）环境中、在喧闹（例如，相对高噪声）或安静（例如，相对低噪声）环境中、或者在相对寒冷或温暖的环境中做出预期姿势。再如，可以请求用户在特定位置或特定类型的位置（例如，在药店、在家里等）做出预期姿势。
可以利用与便携式消费装置105相关联的各种各样合适的传感器140，例如GPS 170、任意数量的加速度计172、任意数量的陀螺仪174、光传感器176、音量传感器（未示出）、温度传感器（未示出）、接近度传感器（未示出）和/或经由I/O接口150连接的任意数量的I/O装置传感器（例如，麦克风、相机等），以便收集与便携式消费装置105相关联的移动信息（例如，运动、定向等）和/或与便携式消费装置105的外部环境相关联的情境信息。另外，在某些实施例中，可以经由任意数量的通信接口145收集情境信息。例如，可以指示用户在便携式消费装置105与另一装置通信时执行活动。根据需要，I/O接口150也可以便于与任意数量的其它合适的I/O装置通信，例如任意数量的合适的输入元件（例如，键盘、触摸屏显示器等）、一个或多个扬声器、和/或一个或多个合适的显示装置（例如，液晶显示器、发光二极管显示器、有机发光二极管显示器、触摸屏显示器等）。
根据需要，在各个实施例中，可以收集和/或评估各种各样不同类型的情境信息。图2是便携式消费装置105的示例感测能力的图表200。图2中示出的感测能力可用于标识各种各样的用户活动和/或动作。参考图2，传感器140可以便于收集可进行评估以便感测物理活动的数据、光、音频、姿势、罗盘和/或陀螺仪数据、GPS或位置数据、和/或各种网络通信。可以感测的物理活动的示例包括但不限于用户静止站立、用户散步、用户行走、用户跑步和/或用户骑自行车。可以评估各种各样的测量数据，例如位置（和/或随时间的位置变化）和惯性传感器数据（例如，加速度计172、陀螺仪174等），以便确定或标识不同的物理活动。另外，可以利用各种各样的合适算法来检测和/或区分各种物理活动。
光传感器176可以是配置成检测和/或测量与便携式消费装置环境相关联的环境光级或光强度的任何合适的组件或装置。在某些实施例中，光传感器176可以并入到便携式消费装置105的合适的相机组件中。例如，电荷耦合装置（“CCD”）、补充金属氧化物半导体（“CMOS”）传感器或其它合适的相机装置可以便于检测和/或测量光级。根据需要，可以将测量的光级与任意数量的合适的阈值进行比较以便标识各种各样的光照环境，例如相对低光（或黑暗）环境、正常光环境和/或相对高光（或明亮）环境。根据需要，在各个实施例中，可以利用与变化的光级相关联的任意数量的阈值和/或相关联的环境。另外，在某些实施例中，光传感器可以配置成标识各种类型的光，例如荧光、太阳光、红外光和/或不同颜色的光。
麦克风可以包括任意已知类型的麦克风，包括但不限于电容式麦克风、动圈式麦克风、电容膜片麦克风、压电麦克风、光拾取麦克风和/或其各种组合。在操作中，麦克风可以收集声波和/或压力波，并将收集的音频数据（例如，语音数据等）提供给处理器130用于评估。可以对收集的音频输入进行处理和/或将其与任意数量的阈值进行比较以便标识各种各样的音频环境，例如相对低音量（或安静）环境和/或相对高音量（或喧闹）环境。另外，可以对收集的音频输入进行处理以便标识各种各样不同类型的声音，例如人声、人群嘈杂声、与便携式消费装置105的运动相关联的噪声、音乐和/或机械声音。根据需要，可以利用诸如语音识别算法的各种各样合适的算法来区分各种类型的声音。
加速度计172可以包括配置成测量与便携式消费装置105相关联的合适加速度的任意数量的合适装置，例如3D加速度计。陀螺仪174可以包括配置成测量和/或确定便携式消费装置105的定向的任意数量的合适装置，例如电子和/或微机电（“MEMS”）陀螺仪。可以利用从加速度计172和陀螺仪174收集的测量数据来标识装置定向和/或与便携式消费装置105相关联的各种各样的移动。另外，可以利用任意数量的合适算法和/或技术来评估测量数据以便标识用户利用便携式消费装置105执行的一个或多个姿势。可以标识或确定各种各样不同类型的移动和/或姿势，例如，可以基于由惯性传感器收集的数据检测上下运动、左右运动、对角线运动、沿任意数量的轴的移动、各种形状（例如，圆等）、字母和/或其任意合适的组合。可以利用各种各样合适的算法和/或技术来评估惯性传感器测量和/或数据，以便标识各种类型的姿势。
GPS 170可以是配置成基于与GPS卫星网络的交互来确定便携式消费装置105的位置的任何合适的装置或组件。GPS 170可以标识位置信息（例如，坐标）和/或与位置变化相关联的信息。根据需要，可以利用其它合适的位置组件和/或位置标识技术，例如无线电塔和/或全球移动通信系统（“GSM”）追踪之间的无线电信号的多点定位。
作为GPS信息的结果，可以做出各种各样基于位置的判定。例如，可以做出关于便携式消费装置105是否被带入到预期区域或预期类型的区域（例如，预期类型的商店等）的判定。另外，可以在确定物理活动过程中评估位置变化。
最后，一个或多个合适的通信接口145可以便于将便携式消费装置105连接到各种各样不同类型的网络120，例如互联网、蓝牙启用网络、Wi-Fi使能网络和/或蜂窝网络。根据需要，诸如红外通信装置的其它类型的通信装置可以并入到便携式消费装置105中。作为所述各种通信技术的结果，便携式消费装置105可以与各种各样的其它装置（例如，服务器、其它便携式消费装置105、输出信息的装置等）进行通信，并且可以基于标识的连接性（例如，装置是否与特定装置通信等）和/或接收的数据做出判定。
仅通过示例的方式提供图2中示出的感测能力。根据需要，各种各样的其它感测能力可以并入到便携式消费装置105中，并且可以联合游戏应用使用。
继续参考图1，在某些实施例中，游戏应用165（例如，利用传感器集线器166）或传感器集线器166可以利用情境信息以便于分割姿势识别。在这方面，可以通过便携式消费装置105执行姿势的无按钮分割。例如，可以标识与姿势识别的开始相关联的情境信息（例如，到达某个位置、利用光检测器标识低光环境、利用音量或音频检测器标识“安静”或“嘈杂”环境、利用合适的语音识别标识口头命令、标识与另一装置或系统的通信等），并且可以至少部分地基于情境信息启动姿势识别和/或标识姿势的开始。在其它实施例中，可以基于输出指示来启动姿势识别和/或标识姿势的开始。例如，可以指示用户使用便携式消费装置105“画圆”或“在15秒内画圆”，并且便携式消费装置105可以在该输出指示之后启动姿势识别。在其它实施例中，姿势的标识可以触发收集和评估情境信息。例如，可以指示用户“在喧闹环境中画圆”。一旦识别了圆姿势，便可以收集和评估情境音频信息以便确定用户是否是在喧闹环境中。
实际上，各种各样的姿势可以是情境相关的和/或为特定动作、情境或情形定制。作为一个示例，可以请求用户在喧闹环境中画圆。作为另一个示例，可以请求用户在移动（例如，跑步、骑自行车、行走等）时执行特定移动或姿势。另外，可以利用各种各样合适的算法来标识各种类型的姿势。例如，便携式消费装置105可以区分装置105的摇动和装置105的轻弹。类似地，可以利用各种各样合适的算法来标识各种类型的移动，例如行走、跑步、骑自行车和/或站立。
根据需要，在各种实施例中，还可以通过游戏应用165来确定姿势分数或等级。例如，可以在用户所做的姿势和与预期姿势相关联的存储信息之间进行比较，并且可以确定或计算用户姿势和预期姿势之间的相关。在这方面，可以相对于预期姿势对姿势评分或评级。然后，可以利用分数或等级来鼓励用户改进姿势和/或确定是否令人满意地完成了情节。另外，在某些实施例中，可以将用户所做的姿势或动作与其他用户所做的姿势和/或动作进行比较，并且可以相对于这些其它姿势和/或动作对用户姿势或动作分等级和/或评分。例如，可以将与用户姿势或动作相关联的信息传送到游戏服务器110以便于分等级。
传感器集线器166（在各种实施例中可以是可选的）可以包括便于标识代表游戏应用165情境信息和/或用户活动的任意数量的合适的硬件组件和/或合适的软件模块或应用。例如，一旦通过游戏应用165输出与预期活动相关联的指令，那么便可以通过传感器集线器166执行情境信息的收集和/或姿势和/或其它移动的评估。然后，可以将与评估相关联的信息提供给游戏应用165。
另外，在某些实施例中，可以基于由传感器集线器166的已经接收到预期的情境信息和/或用户已经执行了预期活动的判定来唤醒和/或启动游戏应用165。类似地，如果传感器集线器166作为独立的硬件组件实现，那么传感器集线器166的使用可以允许便携式消费装置处理器130在传感器集线器评估传感器数据期间处于睡眠模式。在这方面，可以增强装置功率和/或电池寿命。另外，可以实现在时间上不受限制的各种各样的情节和/或迷你游戏。作为一个示例，可以指示用户在低光环境中做出某个姿势。在输出该指示之后（和/或在预期时间段之后），可以关闭游戏应用165或使其转换到背景应用，和/或可以使处理器130处于睡眠模式。然后，传感器集线器166可以评估与环境光级相关联的情境信息。一旦标识了低光环境，传感器集线器166便可以“唤醒”游戏应用165和/或处理器130。在其它实施例中，传感器集线器166可以另外评估从惯性传感器接收的测量数据以便确定是否执行了预期姿势，并且如果确定已经执行了预期姿势，那么可以唤醒游戏应用165。
如图1所示，传感器集线器166可以包括便于接收各种类型的输入信息（例如，测量数据等）和/或便于评估各种输入以便确定移动、情境信息和/或用户活动的任意数量的合适的接口和/或处理模块。例如，音频接口180可以便于接收音频数据，并且音频处理模块182可以评估音频数据以便确定幅度级，比较幅度级，和/或标识各种类型的声音。运动接口184可以便于接收惯性传感器测量数据，并且运动处理模块186可以评估测量数据以便标识各种各样的运动、定向、物理活动和/或姿势。光接口188可以便于接收环境光数据，并且光处理模块190可以评估光数据以便确定环境光级和/或将环境光级与阈值进行比较。最后，位置接口192可以便于接收GPS和/或其它位置信息，并且位置处理模块194可以联合确定用户活动来评估位置信息。根据需要，音频处理模块182、光处理模块190和位置处理模块194可以称为情境处理模块。另外，根据需要，可以提供任意数量的处理模块，并且任意数量的所示模块可以组合。例如，运动处理模块186和位置处理模块194的各个方面可以组合以便确定用户是否在行走、跑步、骑自行车等。
根据需要，游戏应用165和/或传感器集线器166的各种软件组件可以实现为任意数量的合适的模块和/或应用。另外，游戏应用165和/或多个传感器集线器处理模块之一的至少其中之一可以用作活动处理模块。下文将参考图3-30更加详细地描述游戏应用165和/或传感器集线器166的操作的几个示例。
仅通过示例的方式提供上文参考图1描述的系统100或体系结构。根据需要，可以利用各种各样的其它系统和/或体系结构来输出与预期的用户活动相关联的指示并确定所进行的用户活动。这些系统和/或体系结构可以包括与图1中所示的不同的组件和/或组件布置。
图3是用于执行诸如便携式装置游戏应用的便携式装置应用的示例方法300的流程图。方法300可以在方框305开始。在方框305，可以通过便携式消费装置105经由任意数量的合适技术（例如，从与应用开发商相关联的应用商店或服务器下载、空中提供、从另一计算装置接收、从便携式存储器装置接收等）接收应用165（例如，游戏应用）。一旦通过便携式消费装置105接收，在方框310，可以通过与便携式消费装置105相关联的一个或多个处理器执行应用165。可以为各种各样的不同目的而执行应用165。例如，游戏应用165可以与为了由用户完成和/或消遣而执行的一个或多个间谍或特工任务相关联。
在方框315，可以输出与应用相关联的主菜单以便经由合适的显示组件呈现给用户。主菜单可以提供与游戏应用相关联的各种各样的用户选项。例如，主菜单可以允许用户选择便于执行一连串任务和/或情节的故事模式、便于手动选择和执行个别任务或情节的任务选择模式、和/或帮助菜单或帮助模式。如果在方框315做出故事模式选择，那么操作可以在方框320继续。
在方框320，可以通过应用165执行一连串任务、情节和/或迷你游戏以便呈现游戏的故事模式。根据需要，每个任务可以提示用户利用便携式消费装置105来完成一个或多个预期活动。然后，可以评估各种各样的测量和/或情境信息以便标识用户活动，然后可以将标识的用户活动与预期活动进行比较。另外，可以至少部分地基于对用户活动的评估和/或基于比较来调整或更改故事模式的操作。在方框325，可以生成和输出故事模式的结果（和/或个别情节、任务或迷你游戏的各种结果）以便呈现给用户。例如，可以输出分数、成绩、解锁内容的指示（例如，新的可用任务等）和/或前进到随后任务或级别的指示。根据需要，在方框325，用户可以选择重玩一个或多个任务或返回到主菜单。根据需要，还可以接收和处理各种各样的其它用户输入和/或选择。
如果在方框315接收任务选择输入，那么操作可以在方框330继续。在方框330，可以输出可用任务、情节和/或迷你游戏的列表以便呈现给用户。然后，可以接收和/或标识（例如，经由处理输入命令）预期任务（或情节或迷你游戏）的用户选择，并在方框335执行所选择的任务。根据需要，任务可以提示用户利用便携式消费装置105完成一个或多个预期活动。然后，可以评估各种各样的测量和/或情境信息以便标识用户活动，并接着将标识的用户活动与预期活动进行比较。另外，可以至少部分地基于对用户活动的评估来调整或更改任务的操作。在方框340，可以生成和输出任务的结果以便呈现给用户。例如，可以输出分数、成绩、解锁内容的指示（例如，新的可用任务等）和/或前进到随后任务或级别的指示。根据需要，在方框340，用户可以选择返回到主菜单、选择和/或玩另一个任务、或重玩所选择的任务。根据需要，还可以接收和处理各种各样的其它用户输入和/或选择。
如果在方框315接收帮助菜单选择，那么操作可以在方框345继续。在方框345，可以向用户提供各种各样的合适的帮助和/或故障诊断功能性。例如，可以输出与游戏相关联的一般指示。又如，可以呈现常见问题。再如，可以允许用户输入帮助主题，并且可以标识和输出与输入的主题相关联的帮助信息以便用于呈现。在某些实施例中，游戏应用可以与一个或多个外部服务器和/或装置建立通信以便于提供帮助信息。为了处理帮助请求和/或输入，操作可以在方框315继续，并且游戏应用可以返回到主菜单。
方法300可以在接收退出游戏应用的用户选择之后结束，该用户选择可以是例如经由主菜单做出的选择或是关闭应用的便携式消费装置输入的选择。另外，可以使游戏应用处于睡眠模式或背景操作模式，并且随后可以通过合适的传感器集线器和/或基于接收的用户输入唤醒游戏应用。
图4是用于联合便携式消费装置105评估用户活动的示例方法400的流程图。可以通过合适的游戏应用165利用例如合适的传感器集线器166执行方法400的各种操作。方法400可以在方框405开始。在方框405，可以标识或确定各种各样的任务、情节和/或迷你游戏信息。例如，可以标识和输出与游戏任务相关联的各种各样的呈现信息（例如，音频呈现信息、视觉呈现信息等）以用于呈现。另外，可以处理任意数量的用户输入，并且可以基于对用户输入的处理来调整与任务相关联的输出。根据需要，可以利用各种各样的合适的算法和/或技术来标识、处理和/或输出与任务相关联的信息。
在方框410，可以联合任务确定或标识预期的用户活动。例如，可以标识与任务相关联的预期输入、输入组合、任务和/或任务组合。根据需要，可以标识各种各样不同的预期的用户活动。下文将参考图7-30更加详细地论述几个示例用户活动。另外，预期的用户活动可以与任意数量的预期的用户输入和/或输入组合（例如，一个或多个预期姿势、一个或多个预期的物理活动）和/或任意数量的情境信息项目（例如，预期的音频、预期的音频或声音级、预期的环境光级、预期的位置、预期的通信等）相关联。
在方框415，可以生成和输出与预期的用户活动相关联的一个或多个指示以便呈现给用户。所述一个或多个指示可以指示用户执行任意数量的任务和/或提供与预期的用户活动相关联的任意数量的输入。例如，可以指示用户做出任意数量的预期姿势。又如，可以指示用户收集任意数量的语音输入。另外，所述一个或多个指示可以提供与各种各样不同类型的情境信息相关联的指令。例如，可以指示用户在喧闹环境中或者在黑暗环境中做姿势。
在方框420，可以收集各种各样的测量和/或监测数据。例如，可以从与便携式消费装置105相关联的任意数量的合适的传感器和/或任意数量的通信接口收集测量数据。可以评估测量数据的至少一部分以便标识或确定由用户执行的用户活动。在这方面，可以做出关于执行的活动是否对应于预期活动的判定，并且可以至少部分地基于所述判定来控制任务或情节的操作。
在某些实施例中，可以使游戏应用165在输出指示之后处于背景模式，和/或可以使装置处理器130处于睡眠模式。在这方面，可以实现在时间上不受限制的各种各样的情节和/或迷你游戏。然后，可以通过传感器集线器166评估收集的测量数据，并且传感器集线器166可以确定测量数据是否满足与唤醒游戏应用165和/或处理器130相关联的任意数量的预定条件。根据需要，传感器集线器166可以标识与唤醒游戏应用165相关联的情境信息、姿势和/或情境信息与姿势的组合。作为一个示例，输出指示可以指示用户在喧闹环境中画圆。在某些实施例中，传感器集线器166可以评估环境声音级以便确定便携式消费装置105何时被带入到喧闹环境中，并且一旦标识了喧闹环境，便可以做出唤醒游戏应用165的判定。在其它实施例中，传感器集线器166可以评估惯性传感器数据以便标识圆姿势，并且一旦标识了圆，便可以做出唤醒游戏应用165的判定。在其它实施例中，传感器集线器166可以同时标识圆姿势和喧闹环境，并且一旦标识了预期的用户活动的这两个组成部分，便可以做出唤醒游戏应用165的判定。
在利用传感器集线器166的实施例中，在方框425，可以通过传感器集线器166基于满足一个或多个唤醒条件的判定来唤醒游戏应用165（和/或处理器130）。然后，在方框430，可以通过游戏应用165确定和/或标识执行的用户活动。在方框435，可以做出关于确定的用户活动是否满足与预期活动相关联的一个或多个参数的判定。例如，可以做出关于确定的用户活动是否对应于预期的用户活动和/或与确定的用户活动相关联的各种测量和/或参数是否满足与预期的用户活动相关联的任意数量的阈值的判定。根据需要，可以评估与情境信息相关联的各种各样的阈值，例如音频级阈值、光级阈值、时间阈值等。如果在方框435确定不满足所述一个或多个参数，那么操作可以在方框440继续，并且可以标识任务失败（或进行预期活动失败）。备选地，如果在方框435确定满足所述一个或多个参数，那么操作可以在方框445继续，并且可以标识成功的活动。另外，基于对活动参数的评估，可以调整任务的操作和/或用于呈现给用户的数据输出，和/或可以提供各种各样的用户反馈。
方法400可以在方框440或方框445之后结束。备选地，任务或情节可以继续，并且可以提示用户进行任意数量的额外动作。例如，可以指示用户在喧闹环境中执行第一姿势，并在执行第一姿势之后的某个时间段内在安静环境中执行第二姿势。
图5是用于联合便携式消费装置105标识或确定用户所做的姿势的示例方法500的流程图。在某些实施例中，姿势可以是将执行的用户活动或将执行的用户活动的组成部分。图5中示出的方法500是可以在图4中示出的方法400的方框430和435执行的操作的一个示例。方法500可以在方框505开始。在方框505，可以标识与姿势相关联的情境信息。各种各样的情境信息可以与姿势和/或预期的用户活动相关联。例如，可以请求用户在相对低光（例如，黑暗）环境中或者在喧闹（例如，相对高噪声）环境中做出预期姿势。又如，可以请求用户在特定位置或特定类型的位置（例如，在药店、在家里等）做出预期姿势。再如，可以指示用户在定时器到期之前做出预期姿势（和/或完成用户活动的一个或多个其它组成部分）。如上文参考图1所更加详细地解释，在某些实施例中，可以利用情境信息来便于分割姿势识别。在这方面，可以通过便携式消费装置105来执行姿势的无按钮分割。
在方框510，可以收集各种各样的姿势数据。例如，可以从任意数量的惯性传感器（根据需要，还可以从GPS）收集数据，并且可以利用任意数量的合适的算法和/或技术来评估收集的数据以便在方框515标识或确定姿势。在方框520，可以对确定或标识的姿势评分或评级。例如，可以在用户所做的姿势和与预期姿势相关联的存储信息之间进行比较，并且可以确定或计算用户姿势和预期姿势之间的相关。在这方面，可以相对于预期姿势对姿势评分或评级。例如，可以确定用户姿势与预期姿势匹配的百分比匹配或概率。然后，可以利用分数或等级来鼓励用户改进姿势和/或确定是否令人满意地完成了情节。方法500可以在方框520之后结束。
根据需要，在本发明的各个实施例中，图3-5的方法300、400、500中所描述和示出的操作可以按任何合适的顺序进行或执行。另外，在某些实施例中，这些操作的至少一部分可以并行进行。此外，在某些实施例中，可以执行比图3-5中所描述的操作更少或更多的操作。
联合游戏应用和/或游戏环境，用户可以获得各种各样不同类型的成绩。例如，当完成各种活动和/或任务时，可以随时间获得不同成绩。图6是示出用户结合便携式装置应用随时间获得的示例成绩的图600。
参考图6，用户可以在获得各种成绩时随时间发展与游戏相关联的人物（例如，与间谍游戏相关联的间谍或特工人物等）。例如，当完成更大量的任务并获得成绩时，人物可以从新手发展为专家。另外，在各种实施例中，根据需要，可以获得各种各样不同类型的成绩。例如，如果确定用户带着电话行进了预定距离和/或利用任意数量的预期方法（例如，行走、跑步等）行进了预定距离或预定时间段，那么可以获得“旅行者”徽章。又如，如果确定用户在相对黑暗和/或相对安静的环境中停留了预定时间段，那么可以获得“隐形”徽章。再如，基于成功完成任意数量的任务、情节和/或迷你游戏，例如用户触发的迷你游戏和/或系统触发的迷你游戏，可以获得各种各样的徽章。根据需要，可以获得各种各样的其它徽章。
在游戏环境中和/或联合游戏应用，可以向用户呈现各种各样不同的情节和/或迷你游戏。每个迷你游戏可以指示用户完成各种各样不同的任务和/或活动。图7-30是可以通过诸如游戏应用的便携式装置应用执行的示例情节或迷你游戏的图示。首先转到图7，维持遮盖（maintain your cover）迷你游戏可以输出指示用户在他/她走过人群时拿起来对着他/她的脸的小胡子或其它伪装物的图片。可以指示用户不要让伪装物滑动，否则用户将被认出。然后，可以监测用户的步法以及便携式消费装置105的定向，以便证实用户正在移动和/或确定伪装物是否保持正确的定向。
参考图8，“测谎仪欺骗”迷你游戏可以指示用户从任意数量的其他个体收集语音输入以便战胜测谎仪测试。例如，可以指示用户让其他个体说某些话。可以收集音频数据，并且可以对收集的音频数据执行各种各样的语音分析和/或语音识别。例如，可以将收集的语音数据与存储的用户简档信息进行比较以便确定说话者是否是不同于用户的个体。另外，在某些实施例中，可以利用语音识别来标识一个或多个语法元素和/或字。
参考图9，“快速解药”迷你游戏可以告知用户他/她中毒了。可以指示用户在预定时间段（例如，20秒等）内通过搅动解药（例如，做出搅动动作或姿势）并在相对明亮或相对高光环境中活化解药来制作解药。在定时器期满之前，可以做出关于是否做出搅动或圆姿势的判定，并且可以评估环境光级以便确定进入明亮环境。参考图10，“夜晚攀登者”迷你游戏可以指示用户寻找相对黑暗的区域并投掷抓钩以便翻越围墙。在某些实施例中，可以给用户预定时间段来完成该任务。在时间期满之前，可以监测环境光级以便检测黑暗环境，并且可以给用户任意次数的尝试（例如，3次尝试等）以便执行合适的投掷运动（例如，从下到上姿势等）。
参考图11，“喷涂代码字”迷你游戏可以指示用户在安静区域内在墙上或其它平坦表面上喷涂代码。可以指示用户使用便携式消费装置105来运动和喷涂任意数量的字母和/或字符。可以监测环境音频级以便标识相对安静的区域，并且可以利用惯性传感器来标识各种字符的各种各样的姿势。然后，可以做出关于是否喷涂了正确代码字的判定。参考图12，“缓慢步行者”迷你游戏可以指示用户将便携式消费装置105放在口袋里并躲过警卫而不打扰他们。然后，可以监测音频噪声级和/或运动级，以便确定用户是否在偷溜或移动而不会推挤或抖动便携式消费装置105。参考图13，“激光光栅”迷你游戏可以指示用户在用户走过激光光栅时利用便携式消费装置105使激光偏斜。可以输出与偏斜相关联的各种移动和/或姿势，并且可以做出是否在预定时间段内进行移动和/或姿势的判定。
参考图14，“暗处搜索者”迷你游戏可以指示用户在预定时间段（例如，10秒等）内寻找黑暗地方来躲藏。然后，可以评估环境光级以便确定在定时器期满之前是否进入黑暗环境。参考图15，“机器人检测”迷你游戏可以指示用户在机器人没有在看时行走。然后，显示器可以呈现与机器人相关联的图像信息，并且根据需要，可以呈现行走或停下的指示。然后，可以利用合适的算法或检测技术来确定用户是否在机器人没有在看时或者在机器人转过去时在行走。参考图16，“嗅探犬”迷你游戏可以指示用户通过在预定时间段（例如，20秒等）观看和/或控制皮带来跟随嗅探犬。然后，可以输出各种皮带运动指令，并且可以评估惯性传感器测量以便确定用户是否在足够的时间段内对指令做出反应。根据需要，还可以做出用户正在与狗一起行走的判定。
参考图17，“保险箱破解者”迷你游戏可以指示用户收集用于破解声音锁的各种类型的声音。可以指示用户在预定时间段内收集各种声音，例如人群噪声、机械声音和/或语音输入。在收集各种声音之后，可以指示用户转动组合锁以便打开保险箱或其它安全装置。参考图18，“玻璃切割者”迷你游戏可以指示用户画一个完整的圆以便进入建筑物。可以收集和评估惯性传感器数据以便确定是否执行了圆姿势，并且可以对圆评分和/或将圆和与预期的圆姿势相关联的信息进行比较。参考图19，“欺骗生物扫描仪”迷你游戏可以指示用户在预定时间段（例如，一分钟等）内收集若干心跳（例如，与用户的心脏相关联的音频数据等）以便迷惑或欺骗生物安全系统。
参考图20，“激光躲避”迷你游戏可以指示用户在躲避激光的同时移动预定距离（例如，10米等）。可以在用户移动时输出随机移动命令（例如，趴下、爬行、起立、行走、跳跃等），并且可以评估惯性传感器数据以便确定用户是否满足移动命令。参考图21，“打牌作弊者”迷你游戏可以指示用户通过根据指示的运动洗牌和/或发牌来在纸牌游戏中作弊。参考图22，“训练练习”迷你游戏可以指示用户执行与训练相关联的各种各样合适的运动。例如，可以指示与轻弹和/或投掷忍者之星相关联的运动，然后可以监测惯性传感器测量以便确定是否进行了合适的运动。参考图23，“神枪手”迷你游戏可以指示用户在口袋里的枪振动时从他/她的口袋里拔出枪（例如，便携式消费装置105）以便射杀敌人。然后，可以利用随机定时器来触发便携式消费装置振动，并且在振动（或音频触发器等）之后，可以做出关于是否在预定时间段内从口袋移除便携式消费装置105的判定。
参考图24，“鸡尾酒调酒师”迷你游戏可以指示用户站在人群前时准备鸡尾酒以便维护面子。可以评估环境噪声级以便标识相对喧闹的环境和/或人群噪声。另外，可以评估装置移动以便确定是否恰当地混合了鸡尾酒。参考图25，“线索搜寻者”迷你游戏可以指示用户四处移动放大镜（例如，便携式消费装置105）直到定位或标识预期对象（例如，毒镖等）。然后，可以评估装置运动和/或定向，并且可以做出关于装置是否进入与预期对象相关联的区域的判定。在某些实施例中，还可以评估定时器以便确定是否在预定时间段内找出预期对象。
参考图26，“破解声音锁”迷你游戏可以指示用户收集在不同幅度级（例如，喧闹、安静等）的各种语音命令以便破解声音锁。然后，可以评估收集的音频数据和/或音频幅度以便确定是否满足语音命令参数。参考图27，“拆弹”迷你游戏可以指示用户在拆弹时选择导线剪断。然后，可以确定运动以便标识导线选择和/或确定是否选择了导线并以稳定或颤抖的方式剪断导线。参考图28，“指导同伴密探”迷你游戏可以指示用户记住各种信号（例如，运动、移动、姿势等）并再现这些信号以便安全地指导同伴密探。在记忆时期之后，可以评估惯性传感器测量以便确定用户是否给出合适的信号。
参考图29，“暗中撬锁”迷你游戏可以指示用户在撬锁时打开一些音乐。一旦通过合适的音频输入评估技术检测到音乐，便可以输出撬锁的运动和/或定向指示，并且可以做出关于用户是否在预期时间段维持各种运动和/或定向的判定。最后，参考图30，“光图护目镜”迷你游戏可以指示用户在沿安全路线导航穿过人群时保持在光亮环境中。可以评估环境光级以便确定用户在移动时保持在光中。提供图7-30中示出的迷你游戏和/或情节只是为了举例说明。根据需要，在本发明的各种实施例中，可以利用各种各样的其它合适的迷你游戏。这些迷你游戏可以与间谍游戏应用和/或与各种各样其它类型的游戏相关联。
本文所描述的本公开的某些实施例的技术效果可以是提供用于标识各种各样的用户活动的便携式消费装置和/或相关联的应用。某些用户活动可以涉及情境信息和运动或姿势的组合。另外，情境信息可以便于分割姿势和/或便于判定姿势何时被初始化。
上文参考示例系统、方法、设备和/或计算机程序产品的框图和流程图描述了本公开的某些方面。将了解，所述框图和流程图中的一个或多个方框以及所述框图和流程图中的方框的组合分别可以通过计算机可执行程序指令来实现。类似地，根据一些实施例，所述框图和流程图中的一些方框不一定需要按照所呈现的顺序来执行，或者可能根本不一定执行。
可以将这些计算机可执行程序指令加载到专用计算机或其它特定机器、处理器或其它可编程数据处理设备上以便产生特定机器，使得在计算机、处理器或其它可编程数据处理设备上执行的指令创建用于实现在所述一个或多个流程图方框中所指定的一个或多个功能的部件。这些计算机程序指令也可以存储在计算机可读存储器中，它们可以指示计算机或其它可编程数据处理设备按特定方式运转，以使得存储在计算机可读存储器中的指令产生包括实现所述一个或多个流程图方框中所指定的一个或多个功能的指令部件的制品。作为一个示例，某些实施例可以提供计算机程序产品，包括其中实施计算机可读程序代码或程序指令的计算机可用介质，所述计算机可读程序代码适于执行以便实现在所述一个或多个流程图方框中所指定的一个或多个功能。也可以将计算机程序指令加载到计算机或其它可编程数据处理设备上以便在计算机或其它可编程设备上执行一系列操作要素或步骤以便产生计算机实现的过程，以使得在计算机或其它可编程设备上执行的指令提供用于实现在这个或这些流程图方框中所指定的功能的要素或步骤。
因此，框图和流程图中的方框支持用于执行所指定的功能的部件的组合、用于执行所指定的功能的要素或步骤与用于执行所指定的功能的程序指令部件的组合。还将了解，框图和流程图中的每个方框以及框图和流程图中的方框的组合可以通过执行指定功能、要素或步骤的专用的基于硬件的计算机系统、或专用硬件和计算机指令的组合来实现。
得益于以上描述和相关联的附图中所呈现的教导，本文阐述的本公开的许多修改和其它实施例将变得显而易见。因此将了解，本公开将不限于所公开的特定实施例，并且修改和其它实施例意图包含在随附权利要求的范围内。尽管本文采用特定术语，但是它们只是以一般和描述性意义使用而不是为了限制的目的。

Claims (34)

1. 一种便携式消费装置，包括：
至少一个惯性传感器，其收集与所述便携式消费装置的移动或所述便携式消费装置的定向中的至少一个相关联的测量数据；
至少一个情境传感器，其收集与所述便携式消费装置的外部环境相关联的环境数据；
至少一个运动处理模块，其处理收集的测量数据信息以便确定所述便携式消费装置随时间的运动；
至少一个情境处理模块，其处理所述收集的环境数据以便确定与所述便携式消费装置相关联的情境信息；以及
至少一个活动处理模块，其基于确定的运动和确定的情境信息来确定用户活动。
2. 如权利要求1所述的便携式消费装置，其中所述至少一个惯性传感器包括(i) 加速度计或(ii) 陀螺仪中的至少一个。
3. 如权利要求1所述的便携式消费装置，其中所述确定的运动包括用户利用所述便携式消费装置所做的姿势。
4. 如权利要求1所述的便携式消费装置，其中至少部分地基于所述情境信息启动所述姿势的检测。
5. 如权利要求1所述的便携式消费装置，其中所述确定的运动包括以下之一：(i) 保持静止，(ii) 行走，(iii) 散步，(iv) 跑步，或(v) 骑自行车。
6. 如权利要求1所述的便携式消费装置，其中所述至少一个情境传感器包括音频检测装置，并且
其中所述至少一个情境处理模块将收集的音频数据的幅度与幅度阈值进行比较。
7. 如权利要求1所述的便携式消费装置，其中所述至少一个情境传感器包括音频检测装置，并且
其中所述至少一个情境处理模块处理所述收集的音频数据以便标识以下之一：(i) 人声，(ii) 音乐，或(iii) 机械声音。
8. 如权利要求1所述的便携式消费装置，其中所述至少一个情境传感器包括光检测装置，并且
其中所述至少一个情境处理模块将检测的环境光的幅度与幅度阈值进行比较。
9. 如权利要求1所述的便携式消费装置，其中所述便携式消费装置包括移动电话或平板计算机之一。
10. 如权利要求1所述的便携式消费装置，其中所述至少一个活动处理模块将所述确定的用户活动与预期的用户活动进行比较并至少部分地基于所述比较提供用户反馈。
11. 如权利要求10所述的便携式消费装置，其中所述至少一个活动处理模块联合游戏应用提供用户反馈。
12. 如权利要求11所述的便携式消费装置，其中至少部分地基于以下之一启动所述游戏应用：(i) 所述确定的运动，(ii) 所述确定的情境信息，或(iii) 所述确定的用户活动。
13. 如权利要求10所述的便携式消费装置，其中所述至少一个处理模块还输出与所述预期的用户活动相关联的指示。
14. 如权利要求10所述的便携式消费装置，其中所述至少一个处理模块还至少部分地基于所述比较将所述确定的用户活动分等级。
15. 一种便携式消费装置，包括：
至少一个惯性传感器，其收集与所述便携式消费装置的移动或所述便携式消费装置的定向中的至少一个相关联的测量数据；
至少一个情境传感器，其收集与所述便携式消费装置的外部环境相关联的数据；
至少一个存储器，其存储计算机可执行指令；以及
至少一个处理器，其接入所述至少一个存储器并执行所述计算机可执行指令以：
至少部分地基于收集的测量数据和收集的环境数据确定用户活动；
将所述确定的用户活动与预期的用户活动进行比较；以及
至少部分地基于所述比较来指示用户反馈的输出。
16. 至少一种包括计算机可执行指令的计算机可读介质，所述计算机可执行指令在由与便携式消费装置相关联的至少一个处理器执行时将所述至少一个处理器配置成：
从至少一个惯性传感器接收与(i) 所述便携式消费装置的移动或(ii) 所述便携式消费装置的定向之一相关联的测量数据；
从至少一个情境传感器接收与所述便携式消费装置的外部环境相关联的数据；
至少部分地基于接收的测量数据和接收的环境数据来确定用户活动；
将确定的用户活动与预期的用户活动进行比较；以及
至少部分地基于所述比较提供用户反馈。
17. 如权利要求16所述的计算机可读介质，其中所述计算机可执行指令的至少一部分与游戏应用相关联。
18. 如权利要求17所述的计算机可读介质，其中所述计算机可执行指令的至少一部分与传感器数据评估模块相关联，所述传感器数据评估模块配置成至少部分地基于所述确定的用户活动启动所述游戏应用。
19. 如权利要求16所述的计算机可读介质，其中所述确定的用户活动包括用户利用所述便携式消费装置所做的姿势。
20. 如权利要求19所述的计算机可读介质，其中至少部分地基于所述情境信息启动所述姿势的检测。
21. 如权利要求16所述的计算机可读介质，其中所述确定的用户活动包括以下之一：(i) 保持静止，(ii) 行走，(iii) 散步，(iv) 跑步，或(v) 骑自行车。
22. 如权利要求16所述的计算机可读介质，其中所述环境数据包括由音频检测装置收集的音频数据，并且
其中所述计算机可执行指令还将所述至少一个处理器配置成将所述音频数据的幅度与幅度阈值进行比较并至少部分地基于所述比较确定所述用户活动。
23. 如权利要求16所述的计算机可读介质，其中所述环境数据包括由音频检测装置收集的音频数据，
其中所述计算机可执行指令还将所述至少一个处理器配置成标识用于确定所述用户活动的(i) 人声、(ii) 音乐、或(iii) 机械声音之一。
24. 如权利要求16所述的计算机可读介质，其中所述环境数据包括检测的环境光的幅度，并且
其中所述计算机可执行指令还将所述至少一个处理器配置成将所述检测的幅度与幅度阈值进行比较并至少部分地基于所述比较来确定所述用户活动。
25. 如权利要求16所述的计算机可读介质，其中所述计算机可执行指令还将所述至少一个处理器配置成指示与所述预期的用户活动相关联的指示的输出。
26. 一种计算机实现的方法，包括：
由包括一个或多个计算机处理器的便携式消费装置执行至少一个应用，所述至少一个应用配置用于：
输出与预期的用户活动相关联的指示；
从至少一个惯性传感器接收与(i) 所述便携式消费装置的移动或(ii) 所述便携式消费装置的定向之一相关联的测量数据；
从至少一个情境传感器接收与所述便携式消费装置的外部环境相关联的数据；
至少部分地基于接收的测量数据和接收的环境数据来确定用户活动；
将确定的用户活动与所述预期的用户活动进行比较；以及
至少部分地基于所述比较提供用户反馈。
27. 如权利要求26所述的方法，其中所述至少一个应用包括游戏应用。
28. 如权利要求27所述的方法，还包括：
通过传感器数据评估组件评估所述测量数据或所述环境数据中的至少一个；以及
通过所述传感器数据评估组件至少部分地基于所述评估启动所述游戏应用。
29. 如权利要求26所述的方法，其中确定用户活动包括确定用户利用所述便携式消费装置所做的姿势。
30. 如权利要求29所述的方法，还包括至少部分地基于所述情境信息启动所述姿势的确定。
31. 如权利要求26所述的方法，其中确定用户活动包括确定以下之一：(i) 保持静止，(ii) 行走，(iii) 散步，(iv) 跑步，或(v) 骑自行车。
32. 如权利要求26所述的方法，其中接收环境数据包括接收由音频检测装置收集的音频数据，并且还包括：
将所述音频数据的幅度与幅度阈值进行比较；以及
至少部分地基于所述比较确定所述用户活动。
33. 如权利要求26所述的方法，其中接收环境数据包括接收由音频检测装置收集的音频数据，并且还包括：
至少部分地基于所述音频数据标识用于确定所述用户活动的(i) 人声、(ii) 音乐或(iii) 机械声音之一。
34. 如权利要求26所述的方法，其中接收环境数据包括接收检测的环境光的幅度，并且还包括：
将所述检测的幅度与幅度阈值进行比较；以及
至少部分地基于所述比较确定所述用户活动。
CN201180074567.8A 2011-10-13 2011-12-30 通过便携式装置检测用户活动 Pending CN103918344A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161546799P 2011-10-13 2011-10-13
US61/546799 2011-10-13
PCT/US2011/068136 WO2013055380A1 (en) 2011-10-13 2011-12-30 Detection of user activities by a portable device

Publications (1)

Publication Number Publication Date
CN103918344A true CN103918344A (zh) 2014-07-09

Family

ID=48082245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180074567.8A Pending CN103918344A (zh) 2011-10-13 2011-12-30 通过便携式装置检测用户活动

Country Status (4)

Country Link
US (1) US9870069B2 (zh)
CN (1) CN103918344A (zh)
TW (1) TWI483140B (zh)
WO (1) WO2013055380A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656891A (zh) * 2015-01-15 2015-05-27 广东小天才科技有限公司 一种设备通信的方法及装置
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
US10565732B2 (en) 2015-05-23 2020-02-18 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013055380A1 (en) 2011-10-13 2013-04-18 Intel Corporation Detection of user activities by a portable device
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US8864587B2 (en) 2012-10-03 2014-10-21 Sony Corporation User device position indication for security and distributed race challenges
CN103841246B (zh) * 2012-11-20 2018-04-27 联想(北京)有限公司 一种信息处理方法、系统及一种移动终端
JP6138268B2 (ja) 2012-11-21 2017-05-31 ソムニック インク． エンパセティックコンピューティングのための装置、及び方法
US20150079562A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Presenting audio based on biometrics parameters
CN104699365A (zh) * 2013-12-10 2015-06-10 宏碁股份有限公司 可携式电子装置及其界面显示方法
US9269119B2 (en) 2014-01-22 2016-02-23 Sony Corporation Devices and methods for health tracking and providing information for improving health
US9497592B2 (en) * 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
KR20160016513A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 모바일 단말의 기능 제공 방법 및 장치
US9986086B2 (en) 2014-07-31 2018-05-29 Samsung Electronics Co., Ltd. Mobile terminal and method of operating the same
EP2998822B1 (en) 2014-07-31 2018-09-12 Samsung Electronics Co., Ltd Mobile communication device using a plurality of wearable devices in parallel
KR20160016490A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 이동 단말기 및 그 동작방법
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
EP3056953A1 (de) * 2015-02-11 2016-08-17 Siemens Aktiengesellschaft Autarkes Feldgerät der Automatisierungstechnik zur Fernüberwachung
WO2016137797A1 (en) * 2015-02-23 2016-09-01 SomniQ, Inc. Empathetic user interface, systems, and methods for interfacing with empathetic computing device
US10222870B2 (en) * 2015-04-07 2019-03-05 Santa Clara University Reminder device wearable by a user
US10726281B2 (en) * 2015-07-29 2020-07-28 Invensense, Inc. Method and apparatus for user and moving vehicle detection
JP6707641B2 (ja) 2015-12-11 2020-06-10 ソムニック インク． 定置状態の検出によってユーザおよび／または外部装置とのインタフェースを形成する装置、システムおよび方法
USD806711S1 (en) 2015-12-11 2018-01-02 SomniQ, Inc. Portable electronic device
US9778786B1 (en) * 2016-03-21 2017-10-03 Sae Magnetics (H.K.) Ltd. Optical finger navigation module for extreme temperature operation and method for increasing life time of OFN module
US10101820B2 (en) * 2016-07-21 2018-10-16 International Business Machines Corporation Automated learning and gesture based interest processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099676B2 (en) * 2004-04-09 2006-08-29 Sony Corporation System and method for location and motion detection in a home wireless network
US7228429B2 (en) * 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
CN101146284A (zh) * 2007-08-24 2008-03-19 Tcl天一移动通信（深圳）有限公司 一种智能手机平台
CN101529878A (zh) * 2006-10-24 2009-09-09 苹果公司 在便携式设备中对用户行为的感测和自动响应
CN101931621A (zh) * 2010-06-07 2010-12-29 上海那里网络科技有限公司 一种借助虚拟形象进行情感交流的装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
NZ553146A (en) * 2007-02-09 2011-05-27 Say Systems Ltd Improvements relating to monitoring and displaying activities
KR101518830B1 (ko) * 2008-09-02 2015-05-12 삼성전자주식회사 휴대 단말기의 수집 정보 표시 방법 및 장치
TWI402784B (zh) * 2009-09-18 2013-07-21 Univ Nat Central Music detection system based on motion detection, its control method, computer program products and computer readable recording media
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
KR101817048B1 (ko) * 2010-08-09 2018-01-09 나이키 이노베이트 씨.브이. 모바일 장치를 이용한 피트니스 모니터링
WO2013055380A1 (en) 2011-10-13 2013-04-18 Intel Corporation Detection of user activities by a portable device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228429B2 (en) * 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US7099676B2 (en) * 2004-04-09 2006-08-29 Sony Corporation System and method for location and motion detection in a home wireless network
CN101529878A (zh) * 2006-10-24 2009-09-09 苹果公司 在便携式设备中对用户行为的感测和自动响应
CN101146284A (zh) * 2007-08-24 2008-03-19 Tcl天一移动通信（深圳）有限公司 一种智能手机平台
CN101931621A (zh) * 2010-06-07 2010-12-29 上海那里网络科技有限公司 一种借助虚拟形象进行情感交流的装置和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656891A (zh) * 2015-01-15 2015-05-27 广东小天才科技有限公司 一种设备通信的方法及装置
CN104656891B (zh) * 2015-01-15 2016-06-01 广东小天才科技有限公司 一种设备通信的方法及装置
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
US10565732B2 (en) 2015-05-23 2020-02-18 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors

Also Published As

Publication number Publication date
TW201331786A (zh) 2013-08-01
TWI483140B (zh) 2015-05-01
US9870069B2 (en) 2018-01-16
US20160328029A1 (en) 2016-11-10
WO2013055380A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN103918344A (zh) 通过便携式装置检测用户活动
US10990187B2 (en) Methods, systems, and apparatuses to update screen content responsive to user gestures
US20190170783A1 (en) Fall detection system using a combination of accelerometer, audio input and magnetometer
US10769796B2 (en) Information processing apparatus, information processing method and recording medium
CN110109539A (zh) 一种手势控制方法、穿戴式设备及计算机可读存储介质
CN107077550A (zh) 用于用户验证的生物联系
JP2016529980A (ja) 手首に装備されるジェスチャ認識と電力管理を行なうアスレチック装置
KR20170002346A (ko) 보행 자세에 따른 정보 제공 방법 및 이를 위한 전자 장치
CN106293076A (zh) 通信终端及智能终端手势识别方法和装置
US20180314321A1 (en) Emotion-based experience feedback
US10061287B2 (en) Apparatus, a system and a method for monitoring a usage of an item
CN111589136B (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
WO2016113740A1 (en) Control methods for mobile electronic devices in distributed environments
CN111183460A (zh) 摔倒检测器和摔倒检测的改进
CN112569607B (zh) 预购道具的显示方法、装置、设备及介质
CN110123333A (zh) 一种可穿戴设备辅助运动的方法、可穿戴设备及存储介质
CN110012148A (zh) 一种手环控制方法、手环及计算机可读存储介质
CN114130012A (zh) 用户界面的显示方法、装置、设备、介质及程序产品
CN108634497B (zh) 一种可穿戴设备的排水方法及可穿戴设备
CN110069136A (zh) 一种穿戴状态识别方法、设备及计算机可读存储介质
CN109491503A (zh) 一种显示屏幕的点亮方法及可穿戴设备
CN112827167B (zh) 虚拟关系养成应用中的剧情触发方法、装置、终端及介质
CN116942140A (zh) 检测跌倒的方法、介质、程序产品及电子设备
US20200113489A1 (en) Apparatus, system and method for a motion sensor
CN112968992A (zh) 一种距离动态提示方法及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140709

RJ01 Rejection of invention patent application after publication