CN102782459A - 使用人类呼吸控制设备的用户界面的方法和系统 - Google Patents

使用人类呼吸控制设备的用户界面的方法和系统 Download PDF

Info

Publication number
CN102782459A
CN102782459A CN2010800511238A CN201080051123A CN102782459A CN 102782459 A CN102782459 A CN 102782459A CN 2010800511238 A CN2010800511238 A CN 2010800511238A CN 201080051123 A CN201080051123 A CN 201080051123A CN 102782459 A CN102782459 A CN 102782459A
Authority
CN
China
Prior art keywords
interface
equipment
user interface
processing module
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800511238A
Other languages
English (en)
Inventor
皮埃尔.邦纳特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NOVODIGIT SARL
Original Assignee
NOVODIGIT SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/813,292 external-priority patent/US20110010112A1/en
Application filed by NOVODIGIT SARL filed Critical NOVODIGIT SARL
Publication of CN102782459A publication Critical patent/CN102782459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B81MICROSTRUCTURAL TECHNOLOGY
    • B81BMICROSTRUCTURAL DEVICES OR SYSTEMS, e.g. MICROMECHANICAL DEVICES
    • B81B7/00Microstructural systems; Auxiliary parts of microstructural devices or systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Fluid Mechanics (AREA)

Abstract

一种使用人类呼吸控制设备的用户界面的方法和系统的某些方面可以包括包含嵌入的微机电系统(MEMS)感测和处理模块的设备。MEMS感测和处理模块可以检测由用户进行的人类呼吸的排出引起的运动。响应于对人类呼吸的排出引起的运动的检测,可以产生一个或多个控制信号。所产生的控制信号可以控制所述设备的用户界面,并且可以使得能够进行用户界面中的导航和/或用户界面中的组件的选择。

Description

使用人类呼吸控制设备的用户界面的方法和系统
相关申请交叉引用/通过引用进行的并入
本申请是2010年6月10日提交的美国专利申请No.12/813,292的部分继续申请,而美国专利申请No.12/813,292是2008年3月26日提交的美国专利申请No.12/056,164(现在是美国专利No.7,739,061)的继续申请。
本申请引用2009年9月11日提交的美国临时申请序列号No.61/241,376和2009年9月14日提交的美国临时申请序列号No.61/242,201,要求它们的优先权,并且要求它们的权益。
本申请还引用:
2008年3月26日提交的美国申请序列号No.12/055,999;
2008年3月26日提交的美国申请序列号No.12/056,203;
2008年3月26日提交的美国申请序列号No.12/056,171;
2008年3月26日提交的美国申请序列号No.12/056,061;以及
2008年3月26日提交的美国申请序列号No.12/056,187。
通过引用将上述引用的申请的每一个的全部内容并入这里。
联邦政府资助的研究或开发
不可应用
微缩胶片/版权参考
不可应用
技术领域
本发明的某些实施例涉及控制计算机或电子系统。更具体地,本发明的某些实施例涉及一种使用人类呼吸控制设备的用户界面的方法和系统。
背景技术
移动通信已经改变了人们通信的方式,并且移动电话已经从奢侈品转成为每天生活的必需部分。移动电话的使用如今受到社交场合的约束,而不是被位置或技术所阻碍。
尽管语音连接满足通信的基本需要,并且移动语音连接继续更进一步渗入每天生活的结构中,然而对于经由因特网的服务的移动接入(access)已经成为移动通信演进的下一步。目前,大多数移动设备配备有允许用户接入经由因特网提供的服务的用户界面。例如,一些移动设备可能具有浏览器,并且可以提供软件和/或硬件按钮来使能该用户界面的导航和/或控制。诸如智能电话的一些移动设备配备有触摸屏能力,其允许用户经由利用一只手触摸而同时另一只手把持该设备来导航或控制该用户界面。
通过将这样的系统与如参考附图在本申请的其余部分中提出的本发明相比较,对于本领域技术人员而言,常规的和传统的方式的另外限制和缺点将变得明显。
发明内容
基本上如在至少一个附图中所示出的和/或与至少一个附图相联系地描述的、如在权利要求书中更全面地提出的一种使用人类呼吸控制设备的用户界面的系统和/或方法。
本发明的各个优点、方面和新颖的特征以及其说明性实施例的细节将从以下描述和附图中更完全地理解。
附图说明
图1A是根据本发明实施例的使用人类呼吸控制多个设备的用户界面的示例性系统的框图。
图1B是根据本发明实施例的用于检测人类呼吸的示例性感测模块的框图。
图1C是根据本发明实施例的使用人类呼吸控制设备的用户界面的示例性系统的另一实施例的框图。
图1D是根据本发明实施例的与受控设备交互的示例性处理器的框图。
图1E是根据本发明实施例的在两个或多个设备之间的信息的侧向加载(side loading)的示例性系统的框图。
图2A是图示根据本发明实施例的在设备中嵌入的示例性MEMS感测和处理模块的图。
图2B是图示根据本发明实施例的位于经由USB接口与设备通信耦接的单机设备上的示例性MEMS感测和处理模块的图。
图2C是图示根据本发明实施例的位于触针(stylus)上的示例性MEMS感测和处理模块的图。
图2D是图示根据本发明实施例的位于军事人员的头戴式耳机上的示例性MEMS感测和处理模块的图。
图2E是图示根据本发明实施例的位于座位装置的头枕上的示例性MEMS感测和处理模块的图。
图2F是图示根据本发明实施例的位于汽车内部的示例性MEMS感测和处理模块的图。
图2G是图示根据本发明实施例的位于可卸下的眼镜上的示例性MEMS感测和处理模块的图。
图2H是图示根据本发明实施例的位于颈圈上的示例性MEMS感测和处理模块的图。
图2I是图示根据本发明实施例的位于夹子上的示例性MEMS感测和处理模块的图。
图2J是图示根据本发明实施例的嵌入在织物中的示例性MEMS感测和处理模块的图。
图3A是图示根据本发明实施例的可以经由分区段用户界面(sectionaluser interface)控制的示例性电子设备的图。
图3B是图示根据本发明实施例的分区段用户界面的几种示例性配置的图。
图3C是图示根据本发明实施例的分区段用户界面的几种示例性固定区域的图。
图3D是图示根据本发明实施例的分区段用户界面的几种示例性内容区域的图。
图3E图示根据本发明实施例的经由呼吸和触觉输入与电子设备的分区段用户界面进行交互。
图3F图示根据本发明实施例的在滚动时可以提供类别序列和/或图标序列的指示的示例性分区段用户界面。
图3G图示根据本发明实施例的经由呼吸和触觉输入与示例性分区段用户界面进行交互。
图3H图示根据本发明实施例的在滚动时可以提供类别序列和/或图标序列的指示的另一示例性分区段用户界面。
图4A图示根据本发明实施例的利用呼吸和触觉输入经由用户界面启动应用程序。
图4B图示根据本发明实施例的与在电子设备上运行的应用程序的示例性交互。
图4C图示根据本发明实施例的与在电子设备上运行的应用程序的示例性交互。
图5是根据本发明实施例的与MEMS感测和处理模块以及主机系统交互的示例性用户界面的框图。
图6是图示用于处理使用人类呼吸控制设备的信号的示例性步骤的流程图。
图7A是图示根据本发明实施例的用于使用人类呼吸控制设备的用户界面的示例性步骤的流程图。
图7B是图示根据本发明实施例的用于信息的侧向加载的示例性步骤的流程图。
具体实施方式
可以在用于使用人类呼吸控制设备的用户界面的方法和系统中找到本发明的某些方面。本发明的示例性方面可以包括一种包括嵌入的微机电系统(MEMS)感测和处理模块的设备。该MEMS感测和处理模块可以检测由用户进行的人类呼吸的排出(expulsion of human breath)而引起的运动。响应于对由人类呼吸的排出引起的运动的检测,可以产生一个或多个控制信号。所产生的控制信号可以用来控制设备的用户界面,并且可以使能用户界面中的导航和/或组件的选择。可以将所产生的一个或多个控制信号经由外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(inter-IC sound,I2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口中的一个或多个传送到受控设备。人类呼吸的排出可以在开放空间中发生,并且对由排出引起的运动的检测可能在不使用通道(channel)的情况下发生。用户界面的一个示例性实施例是图形用户界面(GUI)。
图1A是根据本发明实施例的用于使用人类呼吸控制多个设备的用户界面的示例性系统的框图。参考图1A,示出了用户102、以及要控制的多个设备,诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c、显示设备106d、以及/或者电视(TV)/游戏控制器/其它平台106e。要控制的多个设备(诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c、显示设备106d、以及/或者电视(TV)/游戏控制器/其它平台106e)之中的每一个可以包括嵌入的微机电系统(MEMS)感测和处理模块104。
多媒体设备106a可以包括用户界面107a,蜂窝电话/智能电话/数据电话106b可以包括用户界面107b,个人计算机(PC)、膝上型计算机或笔记本型计算机106c可以包括用户界面107c。另外,显示设备106d可以包括用户界面107d,电视(TV)/游戏控制器/其它平台106e可以包括用户界面107e。要控制的多个设备中的每一个可以有线或无线地连接到多个其它设备108,用于通过有线和/或无线通信经由例如侧向加载(side loading)、或者经由对等连接和/或网络连接的加载来加载信息。示例性的其它设备108可以包括游戏控制器、沉浸或3D逼真设备(immersive or 3D reality devices)、和/或远程电信设备(telematic devices)。远程电信设备指代包括集成计算、无线通信和/或全球导航卫星系统设备的设备,这使得能够通过网络发送、接收和/或存储信息。用户界面可以使得能够通过一个或多个输入与受控设备交互,所述一个或多个输入例如为:诸如空气的流体的排出、诸如按钮按压之类的触觉输入、诸如语音命令之类的音频输入、以及/或者诸如由加速度计和/或陀螺仪检测到的运动之类的电子设备202的运动。
MEMS感测和处理模块104可以包括可以操作来检测由用户102进行的人类呼吸的排出引起的运动的合适逻辑、电路、接口和/或代码。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号的一个或多个部分(segment)或元件。所产生的一个或多个控制信号可以操作来控制多个设备中的一个或多个的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、PC或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、电视(TV)/游戏控制器/其它平台106e的用户界面107e、以及移动多媒体播放器和/或遥控器的用户界面。用户界面的一个示例性实施例是图形用户界面(GUI)。在显示器上呈现的包括程序和/或应用的任何信息和/或数据可以是用户界面的一部分。2008年3月26日提交的美国申请序列号12/055,999公开了一种示例性的MEMS感测和处理模块,通过引用将其全部内容并入这里。
根据本发明实施例,对由人类呼吸的排出引起的运动的检测可以在不使用通道的情况下发生。对由人类呼吸的排出引起的运动的检测可以响应于人类呼吸向开放空间中的排出,该排出然后被感测。
根据本发明另一实施例,MEMS感测和处理模块104可以操作来经由所产生的一个或多个控制信号在诸如手持设备之类的多个设备的一个或多个的用户界面内导航,所述多个设备例如为多媒体设备106a、蜂窝电话/智能电话/数据电话106b、PC或者膝上型计算机或笔记本型计算机106c、显示设备106d、以及/或者电视(TV)/游戏控制器/其它平台106e。MEMS感测和处理模块104可以操作来经由所产生的一个或多个控制信号选择在多个设备的用户界面内的一个或多个组件。所产生的一个或多个控制信号可以包括有线和/或无线信号中的一个或多个。
根据本发明另一实施例,诸如手持设备之类的多个设备(例如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、以及/或者PC或者膝上型计算机或笔记本型计算机106c)中的一个或多个可以操作来从其它设备108接收定义用户界面的一个或多个输入。其它设备108可以是PC或者膝上型计算机或笔记本型计算机106c以及/或者手持设备(例如多媒体设备106a和/或蜂窝电话/智能电话/数据电话106b)中的一个或多个。在这点上,可以从其它设备108向蜂窝电话/智能电话/数据电话106b传递数据,并且可以将该数据关联到或映射到可以由蜂窝电话/智能电话/数据电话106b经由服务提供者(诸如蜂窝或PCS服务提供者)远程访问的媒体内容。所传递的被关联到或映射到媒体内容的数据可以被用来定制(customize)蜂窝电话/智能电话/数据电话106b的用户界面107b。在这点上,与一个或多个所接收的输入相关联的媒体内容可以成为受控设备的用户界面的组成部分(integral part)。可以在其它设备108和/或蜂窝电话/智能电话/数据电话106b上执行关联和/或映射。在其它设备108上执行关联和/或映射的情况下,所关联的和/或所映射的数据可以被从其它设备108传递到蜂窝电话/智能电话/数据电话106b。
在本发明的示例性实施例中,可以将从其它设备108传递到蜂窝电话/智能电话/数据电话106b的图标关联或映射到可以由蜂窝电话/智能电话/数据电话106b经由蜂窝电话/智能电话106b的服务提供者远程访问的诸如RSS源(feed)、标记语言(诸如HTML和XML)之类的媒体内容。相应地,当用户102在MEMS感测和处理模块104上吹气(blow)时,由MEMS感测和处理模块104产生的控制信号可以导航到该图标并且选择该图标。一旦该图标被选择,可以经由蜂窝电话/智能电话/数据电话106b的服务提供者访问RSS源或标记语言,并且可以在用户界面107b上显示对应的RSS源或标记语言内容。2008年3月26日提交的美国申请序列号12/056,187公开了一种用于定制设备的用户界面的示例方法和系统,并且通过引用将其全部内容并入这里。
在操作中,用户102可以向开放空间中呼气,并且所呼出的呼吸或空气(the exhaled breath or air)可以由MEMS感测和处理模块104中的一个或多个检测设备或检测器(诸如一个或多个传感器、感测元件和/或感测部分)感测。MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出所引起的运动。MEMS感测和处理模块104内的一个或多个检测设备或检测器响应于对由人类呼吸的排出所引起的运动的检测,可以产生一个或多个电、光和/或磁信号。MEMS感测和处理模块104内的处理器固件可以操作来:利用各种算法处理来自一个或多个检测设备或检测器的所接收的电、光和/或磁信号,并且产生对受控设备(例如,多媒体设备106a)的一个或多个控制信号。可以将所产生的一个或多个控制信号经由有线和/或无线信号传送给受控设备(例如,多媒体设备106a)。受控设备中的处理器可以利用所传送的控制信号来控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、电视(TV)/游戏控制器/其它平台106e的用户界面107e、以及移动多媒体播放器和/或遥控器的用户界面。
图1B是根据本发明实施例的用于检测人类呼吸的示例性检测设备或检测器的框图。参考图1B,示出了用户102和感测模块110。感测模块110可以包括传感器控制芯片109和多个传感器,例如111a、111b、111c、和111d。然而,本发明可以不被如此限制,并且感测模块110可以包括多于或少于图1B中所示的传感器或者感测元件或部分的数量,而不限制本发明的范围。相应地,根据期望尺寸、灵敏度和期望分辨率,可以利用任何数量的检测器和源。类似地,源和检测器的类型可以包括除了可见光之外的其它感测机制。例如,压电、超声、霍尔效应、静电、和/或永磁或电磁传感器可以被偏转(deflected)的MEMS元件激活,以便产生要传送给传感器控制芯片109的信号。
感测模块110可以例如是电化学传感器或任何其它类型的呼吸分析传感器。所述多个传感器或者感测元件或部分111a-d可以是可使得能够检测来自用户102的呼吸的气流的各种速度的一个或多个MEMS设备的组成部分。所述多个传感器或者感测元件或部分111a-d可以操作来检测由用户102进行的人类呼吸的排出引起的动能和/或运动。传感器控制芯片109可以操作来:响应于对由人类呼吸的排出引起的动能和/或运动的检测,产生可以传送给处理器的电、光和/或磁信号。
图1C是根据本发明实施例的用于使用人类呼吸控制设备的用户界面的示例性系统的另一实施例的框图。参考图1C,示出了用户102以及受控设备106,诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、PC或者膝上型计算机或笔记本型计算机106c、显示设备106d、以及/或者电视(TV)/游戏控制器/其它平台106e。受控设备106可以有线和/或无线地连接到多个其它设备108,用于信息的侧向加载。受控设备106可以包括MEMS感测和处理模块104和用户界面107。
MEMS感测和处理模块104可以包括感测模块110、处理模块112和无源器件113。无源器件113可以包括电阻器、电容器和/或电感器,并且可以嵌入在MEMS处理感测和处理模块104的基板(substrate)材料中。处理模块112可以包括例如ASIC。感测模块110可以被一般地称为检测设备或检测器,并且可以包括一个或多个传感器、感测元件和/或感测部分,其可以操作来检测由用户102进行的人类呼吸的排出引起的动能和/或运动。感测模块110可以操作来:响应于对由人类呼吸的排出引起的动能和/或运动的检测,产生可以传送给处理模块112的电、光和/或磁信号。
处理模块112可以包括可以操作来从感测模块110接收所产生的电信号并且产生对受控设备106的一个或多个控制信号的合适逻辑、电路、接口和/或代码。在这点上,处理模块112可以包括可以操作来将所感测的信号转换为一个或多个数字信号的一个或多个模拟数字转换器,所述一个或多个数字信号可以被用来产生一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制受控设备106的用户界面107。
相应地,来自MEMS感测和处理模块104的所产生的一个或多个信号可以被用来控制用户界面107。在本发明的示例性实施例中,MEMS感测和处理模块104所产生的一个或多个信号可以操作来控制受控设备106上的指示器(pointer),使得可以选择和/或操纵用户界面107中的项目。在本发明的示例性实施例中,受控设备可以操作来从其它设备108接收一个或多个输入,其可以被用来定制或定义用户界面107。其它设备108可以是PC或者膝上型计算机或笔记本型计算机106c以及/或者手持设备(例如多媒体设备106a和/或蜂窝电话/智能电话/数据电话106b)中的一个或多个。在这点上,其它设备108可以类似于或者不同于受控设备106的类型。在本发明的一些实施例中,其它设备108中的处理器可以操作来将数据关联到或映射到可以由受控设备106远程访问的媒体内容。在本发明的其它实施例中,受控设备106中的处理器可以操作来将数据关联到或映射到可以由受控设备106远程访问的媒体内容。2008年3月26日提交的美国申请序列号12/056,187公开了一种用于定制设备的用户界面的示例方法和系统,并且通过引用将其全部内容并入这里。
图1D是根据本发明实施例的与受控设备交互的示例性处理器的框图。参考图1D,示出了受控设备106,诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、PC或者膝上型计算机或笔记本型计算机106c、显示设备106d、以及/或者电视(TV)/游戏控制器/其它平台106e。受控设备106可以包括处理模块112、通信模块120、处理器122、存储器123、固件124、显示器126以及用户界面128。处理模块112可以是ASIC,并且可以包括一个或多个模拟数字转换器(ADC)114、处理器固件116、以及通信模块118。受控设备106可以有线和/或无线地连接到多个其它设备108,用于通过有线和/或无线通信经由例如侧向加载、或者经由对等连接和/或网络连接的加载来加载信息。
处理模块112可以包括可以操作来从感测模块110接收数字感测信号和/或模拟感测信号的合适逻辑、电路、接口和/或代码。ADC 114可以包括可以操作来从感测模块110接收所产生的模拟感测信号并且将所接收的信号转换为数字信号的合适逻辑、电路、接口和/或代码。
处理器固件116可以包括可操作来接收并利用多种算法处理来自ADC114的数字信号和/或来自感测模块110的数字感测信号以产生一个或多个控制信号的合适逻辑、电路和/或代码。例如,处理器固件116可以操作来对感测模块110的输出进行读取、存储、校准、滤波、模型化、计算和/或比较。处理器固件116还可以操作来并入人工智能(AI)算法以适应于特定用户102的呼吸模式。处理器固件116可以操作来基于处理所接收的数字信号产生对受控设备106的一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制受控设备106的用户界面,例如,在受控设备106内滚动、缩放和/或3D导航。
通信模块118可以包括可操作来接收所产生的一个或多个控制信号并将其传送至通信模块120的合适逻辑、电路、接口和/或代码。通信模块118和120可以支持多种接口。例如,通信模块118和120可以支持外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(inter-IC soundI2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口。
通信模块120可以操作来经由有线和/或无线信号接收所传送的控制信号。处理器122可以包括可以操作来利用所接收的一个或多个控制信号控制用户界面128和/或显示器126的合适逻辑、电路、接口和/或代码。存储器可以包括可以操作来在受控设备106上存储数据的合适逻辑、电路、接口和/或代码。固件124可以包括多个驱动程序和操作系统(OS)库,以便将所接收的控制信号转换为功能命令。固件124可以操作来映射本地功能,并将所接收的控制信号转换为兼容数据(compatible data),诸如用户定制特征、小应用程序(applets)、和/或插件(plugins),以便控制用户界面128。
受控设备106可以操作来从其它设备108接收定义用户界面128的一个或多个输入。其它设备108可以包括用户界面129和处理器125。其它设备108可以是PC或者膝上型计算机或笔记本型计算机106c以及/或者手持设备(例如多媒体设备106a和/或蜂窝电话/智能电话/数据电话106b)中的一个或多个。在这点上,可以从其它设备108向受控设备(诸如蜂窝电话/智能电话/数据电话106b)传递数据,并且可以将该数据关联到或映射到可以由蜂窝电话/智能电话/数据电话106b经由服务提供者(诸如蜂窝或PCS服务提供者)远程访问的媒体内容。所传递的被关联到或映射到媒体内容的数据可以被用来定制受控设备106(诸如蜂窝电话/智能电话/数据电话106b)的用户界面128。在这点上,与一个或多个所接收的输入相关联的媒体内容可以成为受控设备106的用户界面128的组成部分。
在本发明的一些实施例中,其它设备108中的处理器125可以操作来将该数据关联到或映射到可以由受控设备106远程访问的媒体内容。在本发明的其它实施例中,受控设备106中的处理器122可以操作来将该数据关联到或映射到可以由受控设备106远程访问的媒体内容。
图1E是根据本发明实施例的用于在两个或多个设备之间进行信息的侧向加载的示例性系统的框图。参考图1E,示出了载波(carrier)网络124、多个受控设备106,所述多个受控设备106诸如多个移动电话130a、130b、130c和130d,连接到网络134(诸如因特网)的PC、膝上型计算机或笔记本型计算机132。网络134可以耦接到web服务器136、无线运营商门户138、web门户140和/或数据库142。所述多个受控设备106中的每一个可以具有用户界面。例如,移动电话130a可以具有用户界面131a,移动电话130b可以具有用户界面131b,移动电话130c可以具有用户界面131c,以及移动电话130d可以具有用户界面131d。PC、膝上型计算机或笔记本型计算机132可以具有用户界面133。
运营商网络124可以是无线接入运营商网络。示例性的运营商网络可以包括2G、2.5G、3G、4G、IEEE802.11、IEEE802.16、和/或能够应对语音、视频和/或数据通信的合适网络。多个受控设备106可以无线地连接到运营商网络124。受控设备之一(诸如移动电话130a)可以经由例如对等(P2P)网络连接到多个移动电话130b、130c和130d。受控设备(诸如移动电话130a)可以经由有线或无线网络通信耦接到PC、膝上型计算机或笔记本型计算机132。例如,移动电话130a可以经由红外(IR)链路、光学链路、USB链路、无线USB、蓝牙链路和/或ZigBee链路通信耦接到PC、膝上型计算机或笔记本型计算机132。然而,本发明可以不被如此限制,并且可以利用其它有线和/或无线链路,而不限制本发明的范围。PC、膝上型计算机或笔记本型计算机132可以经由有线或无线网络通信耦接到网络134(例如因特网网络134)。多个受控设备(诸如多个移动电话130a、130b、130c和130d)可以无线地连接到因特网网络134。
Web服务器136可以包括合适逻辑、电路和/或代码,其可以操作来:例如,经由因特网网络134从客户端或者在PC、膝上型计算机或笔记本型计算机132上安装的web浏览器接收例如HTTP和/或FTP请求,并且连同可选的数据内容(诸如HTML文档和链接对象)一起生成HTTP响应。
无线运营商门户138可以包括可以操作来例如充当经由移动设备(诸如移动电话130a)访问因特网网络134上的信息的点的合适逻辑和/或代码。无线运营商门户138可以是例如可以操作来经由例如移动网页提供单个功能的网站。
Web门户140可以包括可以操作来充当访问因特网134上的信息的点的合适逻辑和/或代码。Web门户140可以是例如可以操作来经由网页或站点提供单个功能的站点。Web门户140可以以统一方式呈现来自不同源的信息,诸如电子邮件、新闻、股价、资讯娱乐和各种其它特征。数据库142可以包括可以操作来例如存储记录或数据的构造集合的合适逻辑、电路和/或代码。数据库142可以操作来利用软件组织数据的存储。
根据本发明实施例,受控设备(诸如移动电话130a)可以操作来从其它设备(诸如PC、膝上型计算机或笔记本型计算机132)接收定义用户界面128的一个或多个输入。受控设备106内的一个或多个处理器122可以操作来定制受控设备(诸如移动电话130a)的用户界面128,从而与一个或多个所接收的输入相关联的内容可以成为受控设备(诸如移动电话130a)的用户界面128的组成部分。移动电话130a可以操作来直接从PC、膝上型计算机或笔记本型计算机132,而不是从运营商网络124访问内容。直接从PC、膝上型计算机或笔记本型计算机132而不是从运营商网络124上载和/或下载所定制的信息的方法可以被称为侧向加载。
根据本发明的一个实施例,可以由用户102创建、修改和/或组织用户界面128。在这点上,用户102可以选择、选取、创建、排列、操纵和/或组织要用于用户界面128的内容和/或一个或多个内容组件。例如,用户102可以组织屏幕上的内容组件,并且可以选择诸如个人照片之类的内容用作背景和/或图标图像。另外,用户102可以创建和/或修改激活内容组件或将内容组件呈现给用户102的方式。例如,用户102可以制作、导入和/或编辑用于用户界面128的图标和/或背景。相应地,用户102可以将图标关联到和/或映射到功能,可以使得用户102能够经由该图标使能或激活功能。示例性的图标可以使能诸如超连接、书签、程序/应用程序、快捷方式、小工具、RSS或标记语言源或信息、以及/或者喜爱的好友(buddies)之类的功能。
另外,用户102可以组织和/或排列用户界面128内的内容组件。例如,可以将图标按类别组织为多个组。例如,诸如内容组件的图标的组可以被称为相似组合(affinity banks)。在本发明的一些实施例中,其它设备108中的处理器125可以操作来将数据关联到或映射到可由受控设备106远程访问的媒体内容。在本发明的其它实施例中,受控设备106中的处理器122可以操作来将数据关联到或映射到可由受控设备106远程访问的媒体内容。例如,处理器122可以操作来将图标关联到和/或映射到功能,以使得用户102能够经由该图标使能或激活功能,并且可以组织和/或排列用户界面128内的内容组件。
用户界面128和/或内容组件的创建、修改和/或组织可以在受控设备(诸如移动电话130a)上执行,以及/或者可以在其它设备(诸如PC、膝上型计算机或笔记本型计算机132)上执行。在这点上,可以在其它设备(诸如PC、膝上型计算机或笔记本型计算机132)上创建、修改和/或组织的用户屏幕和/或音频可以被侧向加载到受控设备(诸如移动电话130a)。另外,可以在受控设备(诸如移动电话130a)上修改和/或组织侧向加载的用户界面128。例如,用户界面128可以被从PC、膝上型计算机或笔记本型计算机132侧向加载到移动电话130a,并且可以在移动电话130a上被定制。一个或多个工具可以使得能够进行用户界面128和/或音频或可视内容组件的创建、修改和/或组织。
图2A是图示根据本发明实施例的在设备中嵌入的示例性MEMS感测和处理模块的图。参考图2A,示出了用户102和受控设备(诸如蜂窝电话/智能电话/数据电话106b)。蜂窝电话/智能电话/数据电话106b可以包括用户界面107b、和嵌入的MEMS感测和处理模块104。在本发明的一个实施例中,可以使得用户102能够向开放空间中呼气并且呼到MEMS感测和处理模块104上。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括一个或多个部件或元件,所述一个或多个部件或元件可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制蜂窝电话/智能电话/数据电话106b的用户界面107b。根据本发明另一实施例,MEMS感测和处理模块104可以嵌入在交互式售货亭或面板(例如ATM机)中。可以使得用户102能够在被嵌入在交互式售货亭中的MEMS感测和处理模块104处吹出一股空气,以便例如访问交互式售货亭的用户界面和/或与交互式售货亭的用户界面交互。
图2B是图示根据本发明实施例的位于经由USB接口通信耦接到设备的单机设备上的示例性MEMS感测和处理模块的图。参考图2B,示出了单机设备262、和另一设备(诸如PC、膝上型计算机或笔记本型计算机132)。单机设备262可以被放置在任何合适表面上(例如在桌子或书桌263上)。单机设备262可以包括柔性的支持结构264。支持结构264可以例如包括位于一端上的MEMS感测和处理模块104。然而,本发明可以不被如此限制,并且MEMS感测和处理模块104可以位于单机设备262上的其它位置,例如在单机设备262的底座中。然而,本发明可以在这点上不被限制,并且MEMS感测和处理模块104在单机设备262内或在单机设备262上的位置可以相应地变化。MEMS感测和处理模块104可以例如经由USB接口265通信耦接到PC、膝上型计算机或笔记本型计算机132。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对来自人类呼吸的流体(诸如空气)的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括一个或多个部件或元件,所述一个或多个部件或元件可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号。所产生的一个或多个控制信号可以被传送给另一受控设备(PC、膝上型计算机或笔记本型计算机132)。所产生的一个或多个控制信号可以操作来控制PC、膝上型计算机或笔记本型计算机132的用户界面133。
图2C是图示根据本发明实施例的位于触针上的示例性MEMS感测和处理模块的图。参考图2C,示出了用户102和受控设备(诸如蜂窝电话/智能电话/数据电话106b)。蜂窝电话/智能电话/数据电话106b可以包括用户界面107b、和触针202。触针202可以是可收缩的(retractable)、可拆卸的(collapsible)、可绕一轴或多轴旋转的(pivotable)、以及/或者柔性的,并且可以被包括在蜂窝电话/智能电话/数据电话106b的主体内。然而,触针202可以是可折叠的设备,在不限制本发明范围的情况下,该可折叠的设备可以被夹到蜂窝电话/智能电话/数据电话106b的主体上。
触针202可以例如包括位于一端上的MEMS感测和处理模块104。在本发明的一个实施例中,可以使得用户102能够收缩触针202并且向开放空间中呼气且呼到MEMS感测和处理模块104上。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括一个或多个部件或元件,所述一个或多个部件或元件可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制蜂窝电话/智能电话/数据电话106b的用户界面107b。
图2D是图示根据本发明实施例的位于军事人员的头戴式耳机上的示例性MEMS感测和处理模块的图。参考图2D,示出了用户102。用户102可以佩带可卸下的头盔208。可卸下的头盔208可以包括可卸下的眼镜204、可卸下的麦克风206、以及可卸下的头戴式耳机210。可卸下的头戴式耳机210可以包括例如位于一端上的MEMS感测和处理模块104。
可卸下的眼镜204可以包括例如夜视和/或红外视觉能力。可卸下的麦克风206可以被用来例如与其它用户通信。在本发明的一个实施例中,可以使得用户102能够向开放空间中呼气,并且MEMS感测和处理模块104可以操作来感测或检测该呼气。该呼气可能发生自用户102的鼻孔和/或嘴巴。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、和/或显示设备106d的用户界面107d。
图2E是图示根据本发明实施例的位于座位装置的头枕上的示例性MEMS感测和处理模块的图。参考图2E,示出了座位装置220。该座位装置220可以包括头枕222和靠背226。头枕222可以包括可卸下的头戴式耳机224。可以使得用户102能够坐在座位装置220中。
可卸下的头戴式耳机224可以包括例如位于一端上的MEMS感测和处理模块104。在本发明的一个实施例中,可以使得用户102能够向开放空间中呼气并且呼到MEMS感测和处理模块104上。在一个实施例中,座位装置220可以例如位于小汽车或任何其它汽车或车辆内部。然而,本发明可以不被如此限制,并且MEMS感测和处理模块104可以位于其它位置,而不限制本发明的范围。
MEMS感测和处理模块104可以操作来检测由坐在座位装置220中的用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。所产生的一个或多个控制信号可以操作来控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、和/或多媒体播放器(诸如音频和/或视频播放器)的用户界面。
图2F是图示根据本发明实施例的位于汽车内部的示例性MEMS感测和处理模块的图。参考图2F,示出了汽车230。汽车230可以包括遮阳板232和方向盘234。
在本发明的一个实施例中,遮阳板232可以包括柔性的支持结构233。支持结构233可以包括例如位于一端上的MEMS感测和处理模块104。在本发明的另一实施例中,方向盘234可以包括柔性的支持结构235。支持结构235可以包括例如位于一端上的MEMS感测和处理模块104。然而,本发明可以不被如此限制,并且MEMS感测和处理模块104可以位于汽车230内的其它位置,而不限制本发明的范围。
例如,但并非限制,用户102可以坐在方向盘234后面的座位中,在方向盘234上安装了处理模块104。用户102可以坐在方向盘234后面的座位中。可以使得用户102能够向开放空间中呼气并且呼到MEMS感测和处理模块104上。MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号,以便控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、和/或多媒体或其它设备(诸如音频和/或视频播放器或导航(例如GPS)设备)的用户界面。
图2G是图示根据本发明实施例的位于可卸下的眼镜上的示例性MEMS感测和处理模块的图。参考图2G,示出了用户102。用户102可以佩带例如可卸下的护目镜或者任何其它类型的眼镜240。可卸下的眼镜240可以包括可卸下的头戴式耳机242。可卸下的头戴式耳机242可以是柔性的和/或可弯曲的。可卸下的头戴式耳机242包括例如位于一端上的MEMS感测和处理模块104。在本发明的一个实施例中,可以使得用户102能够向开放空间中呼气并且呼到MEMS感测和处理模块104上。
MEMS感测和处理模块104可以操作来检测由坐在座位装置102中的用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号,以便控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、和/或多媒体播放器(诸如音频和/或视频播放器)的用户界面。
图2H是图示根据本发明实施例的位于颈圈上的示例性MEMS感测和处理模块的图。参考图2H,示出了可卸下的颈圈250。可卸下的颈圈250可以包括柔性印刷电路板(PCB)254以及处理和/或通信电路252。柔性PCB 254可以包括例如位于一端上的MEMS感测和处理模块104。
处理和/或通信电路252可以包括电池、稳压器、一个或多个开关、一个或多个发光二极管(LED)、液晶显示器(LCD)、其它无源器件(诸如电阻器、电容器、电感器)、能够应对一种或多种无线通信协议(诸如蓝牙)的通信芯片、和/或一个或多个有线接口。在本发明的示例性实施例中,处理和/或通信电路252可以被封装在PCB中。然而,本发明可以不被如此限制,并且处理和/或通信电路252可以包括其它组件或电路,而不限制本发明的范围。
在本发明的一个实施例中,可以使得用户102能够在他/她的脖子上佩带颈圈250并且向开放空间中呼气,并且MEMS感测和处理模块104可以操作来感测或检测该呼气。该呼气可能发生自用户102的鼻孔和/或嘴巴。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来经由柔性PCB 254产生一个或多个控制信号以提供给处理和/或通信电路252。处理和/或通信电路252可以操作来处理所产生的一个或多个控制信号并将其传送给受控设备,诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c、和/或显示设备106d。受控设备内的一个或多个处理器可以操作来利用所传送的控制信号控制受控设备的用户界面,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、和/或显示设备106d的用户界面107d。
图2I是图示根据本发明实施例的位于夹子上的示例性MEMS感测和处理模块的图。参考图2I,示出了用户102和夹子272。夹子272可以位于衣服的任何合适部分上,例如在衬衫领子上、外套翻领上或口袋上。夹子272可以包括例如柔性的支持结构274。尽管图示了夹子272,但是可以利用其它合适的附接结构来附加支持结构274。支持结构274可以包括MEMS感测和处理模块104,MEMS感测和处理模块104可以位于例如支持结构274的一端或任何位置上。在本发明的其它示例性实施例中,可以不利用支持结构274,并且MEMS感测和处理模块104可以被附接到夹子272或其它合适的附接结构。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号的一个或多个部分或元件。可以使得所产生的一个或多个控制信号能够控制蜂窝电话/智能电话/数据电话106b的用户界面107b。
图2J是图示根据本发明实施例的嵌入在织物中的示例性MEMS感测和处理模块的图。参考图2J,示出了用户102和织物276。织物276可以是衣服的任何合适部分,例如衬衫领子、外套翻领或口袋。织物276可以包括嵌入的MEMS感测和处理模块104,MEMS感测和处理模块104可以位于例如织物276内或织物276上的任何位置。然而,本发明可以不被如此限制,并且MEMS感测和处理模块104可以被放置在用户102的外衣或内衣上的其它位置,而不限制本发明的范围。在这点上,MEMS感测和处理模块104可以被制造为柔性的,从而MEMS感测和处理模块104可以被放置或被交错编织在织物276中。
MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。MEMS感测和处理模块104可以包括可以操作来感测由人类呼吸的排出产生的动能并且相应地产生一个或多个控制信号的一个或多个部件或元件。可以使得所产生的一个或多个控制信号能够控制蜂窝电话/智能电话/数据电话106b的用户界面107b。
图3A是图示根据本发明实施例的可以经由分区段用户界面控制的示例性电子设备的图。参考图3A,示出了包括触摸屏显示器304的电子设备302。在这点上,尽管利用触摸屏显示器进行图示,但是电子设备302可以包括非触摸屏显示器以及一个或多个输入设备(诸如,轨迹球、一个或多个多功能按钮、和/或键盘),而不偏离本发明的范围。
电子设备302可以包括用户界面(诸如图形用户界面(GUI)),其可以使得用户能够导航并且启动电子设备302上的各种应用程序和/或功能。在这点上,用户界面可以使得能够经由呼吸输入(诸如呼气)、触觉输入(诸如按钮按压)、音频动作(诸如语音命令)、和/或电子设备302的运动(诸如由加速度计和/或陀螺仪检测的运动)而与电子设备交互。在这点上,用户界面可以使得能够经由所述输入方法中的一种或多种的任何组合而与电子设备302交互。此外,用户界面可以操作来检测一个或多个输入方法的错误和/或故障并且默认为(default to)一个或多个其它输入方法。以此方式,与用户界面的交互可以不受到特定输入方法的故障和/或缺失的严重影响。
电子设备302的用户界面可以显示关于电子设备302的状态和/或能力的信息,以及/或者显示由电子设备302上的一个或多个应用程序产生的信息和/或内容。在本发明的各实施例中,在给电子设备302上电时,可以显示或呈现用户界面的主屏幕。在本发明的各实施例中,电子设备302可以包括蜂窝电话、智能电话、无线电话、笔记本型计算机、个人媒体播放器、个人数字助理、多媒体设备、手持设备和/或多功能移动设备中的一个或多个。
用户界面可以被分区为以下的一个或多个:包括一个或多个固定区311的固定区域310、包括一个或多个控制区315的控制区域314、以及包括一个或多个内容区319的内容区域318。在这点上,区域310、314和318中的每一个在存在时可以是任何尺寸和/或形状,并且可以处于显示器304的任何位置。此外,可以由电子设备302的用户配置(即个人化或定制)区域310、314和318的存在、尺寸、形状和位置。例如,电子设备302可以包括用户界面定制应用程序,用户可以运行该用户界面定制应用程序来基于偏好(诸如用户是右手操作还是左手操作)配置用户界面的各区域。在这点上,在图3B中图示了用户界面的示例性配置306a、306b和306c。
固定区域310可以显示与控制区域314的状态和/或控制区域314中的活动无关的信息。可以在固定区域310中显示的示例性信息可以包括日期、时间、天气、日历中的约会、RSS(或XML、或其它标记语言)源、最近的电子邮件联系人、和/或最近的电话联系人。然而,上面仅仅是可以在固定区域310中显示的信息的示例,并且本发明可以不限于此。另外,固定区域310的尺寸、形状和/或位置可以取决于在电子设备302上运行什么功能和/或应用程序而改变。此外,可以由电子设备302的用户定制在固定区域310中显示的信息的类型和/或数量。在这点上,图3C图示了一些示例性的固定区域310a、310b和310c。
控制区域314可以使得能够对电子设备302进行控制,使得可以在电子设备302上显示期望信息以及/或者可以在电子设备302上启动期望应用程序和/或功能。在这点上,可以利用呼吸和/或触觉输入来滚动、选择、操纵或以其他方式影响用户界面的对象(诸如文本、图像、链接和/或图标)。在这点上,下面参考图3E来描述利用呼吸和触觉输入与用户界面的对象进行交互的附加细节。另外,可以由电子设备302的用户定制在控制区域314中显示的信息的类型和/或数量。此外,控制区域314的尺寸、形状和/或位置可以取决于在电子设备302上运行什么功能和/或应用程序而改变。
内容区域318可以显示可取决于控制区域314的状态和/或控制区域314中的活动的信息。例如,内容区域318中的信息可以取决于控制区域中的活动图标。在这点上,活动图标可以是已经(经由呼吸和/或触觉输入)被导航至但是尚未经由“点击”(例如触摸屏上的叩击、按钮按压或空气的喷出)被选择的图标。在本发明的一个示例性实施例中,活动图标可以链接到网站,控制区域318可以显示来自该网站的RSS源。在本发明的另一示例性实施例中,活动图标可以是启动电子邮件客户端的快捷方式,内容区域318可以显示一个或多个最近的电子邮件消息。在这点上,在内容区域318中显示的示例性信息可以包括RSS或XML源、图像、日历、最近的呼叫、最近的文本和/或最近的电子邮件。然而,上面仅仅是示例,并且本发明不被如此限制。另外,可以由电子设备302的用户定制在内容区域318中显示的信息的类型和/或量。此外,内容区域318的尺寸、形状和/或位置可以取决于在电子设备302上运行什么功能和/或应用程序而改变。在这点上,图3D图示了一些示例性的内容区域318a、318b和318c。
在本发明的各实施例中,显示器304可以是触摸屏,与可能具有对于触觉输入的有限响应的固定区域310和/或内容区域318相对,控制区域314可以响应一定范围的触觉输入。例如,控制区域314可以响应触觉移动、多种触摸、和/或触摸的持续时间,而固定区域310和内容区域318可以响应多个触摸(例如,双击)。以此方式,限制显示器304的可以分配给控制区域314的量可以降低用户需要能够触及以便导航和选择图标的面积的量,由此便利了对电子设备302的单手操作。另外,限制固定区域310和内容区域318的触觉响应性可以减少无意的动作和/或选择(即,无意的“点击”)。
固定区域310和/或内容区域318中的信息可以以一个或多个对象(诸如图像、文本、链接和/或图标)的形式显示。在本发明的各实施例中,固定区域310和/或内容区域318中的对象可经由触觉和/或呼吸输入选择。然而,固定区域310和/或内容区域318的响应可以被如上所述地限制以便防止无意的点击。另外,在本发明的各实施例中,内容区域318中的对象可以被滚动到控制区域314中,使得它们可以变得可选择。例如,可以利用呼吸输入来将对象从内容区域318中滚动到控制区域314中,使得该对象可以经由对控制区域314的触觉输出而被选择。
因此,电子设备302的分区段用户界面可以被描述为通用内容访问管理器(UCAM),其相对于传统的图形用户界面可以提供优势。一个优势可以是:相对于具有传统的图形用户界面的类似设备,UCAM的可配置性(即,定制或个人化)可以大大增加电子设备302的使用的效用和/或容易度。在这点上,每个区段中的对象可以被依序排列、并置、叠加、重叠或者以其他方式定位和/或组织,使得用户能够快速地访问期望信息、应用程序、和/或功能。另一优势可以是:相对于具有传统的图形用户界面的类似设备,将UCAM划分为一个或多个区域的能力可以大大增加电子设备302的使用的效用和/或容易度。在这点上,每个区域的部分可以被配置为响应或者不响应多种输入类型,并且在其中显示的信息和/或对象方面可以被配置为主动的(例如,实时更新的)或被动的(例如,静态地显示直至被用户改变)。UCAM的另一优势可以是其与多种平台的兼容性。在这点上,用户可以将UCAM加载到多个他/她的电子设备上,使得用户能够以相同方式与用户的所有电子设备进行交互。
图3B是图示根据本发明实施例的分区段用户界面的几种示例性配置的图。参考图3B,示出了示例性的用户界面配置306a、306b和306c,每个具有包括一个或多个固定区311的固定区域310、包括一个或多个控制区315的控制区域314、以及包括一个或多个内容区319的内容区域318。在这点上,可以基于用户偏好、和/或基于在电子设备302上运行的功能和/或应用程序来配置固定区域310、控制区域314和内容区域318的尺寸、形状和/或位置。
图3C是图示根据本发明实施例的分区段用户界面的几种示例性固定区域的图。参考图3C,示出了固定区域310a、310b和310c。在这点上,每个固定区域310a可以包括一个或多个对象312。另外,固定区域310的被分配给每个对象312的部分可以被配置为任何形状和/或尺寸。示例性的对象312可以包括文本、图像、链接和/或图标,其可以对应于日期、时间、天气信息、日历中的约会、RSS或XML源、最近的电子邮件联系人、和/或最近的电话联系人。
图3D是图示根据本发明实施例的分区段用户界面的几种示例性内容区域的图。在这点上,在本发明的各实施例中,用户可以配置内容区域318的属性(诸如所显示的对象的数量、所显示的对象的尺寸、以及所显示的对象的顺序)。例如,内容区域318可以被定制为对于每个图标、每个图标组、和/或每个用户具有不同属性。因此,为了提供对可以在内容区域318中显示的信息的类型、以及内容区域318的定制能力的指示,描绘示例性的内容区域318a、318b和318c。
内容区域318a可对应于可以例如是包括数字照片的文件夹或网站的活动(active)图标。因此,对象3201,...,3204可以对应于被上载到该文件夹或网站的最后四幅图片。内容区域318b可对应于可以例如是对社交网络网站的链接的活动图标。因此,对象3221,...,322N可对应于在社交网络站点上的一个或多个简档上发生的最后‘N’个事件。在另一示例中,内容区域318b可对应于可以例如启动电子邮件客户端的活动图标,对象3221,...,322N可对应于发送或接收的最后‘N’个电子邮件。内容区域318c可对应于可以例如是用于启动web浏览器的快捷方式的活动图标。因此,对象3241和3242可以链接到喜欢的和/或最近访问的网页。在另一实施例中,MEMS感测和处理模块104可以操作来通过激活控制区域314的一个或多个部分来修改与受控设备106的用户界面的交互。例如,可以使得用户102能够控制用于在受控设备106上滚动通过移动游戏中的选项或菜单的背景自动滚动的速度。
图3E图示根据本发明实施例的经由呼吸输入和触觉输入与电子设备的分区段用户界面进行交互。参考图3E,示出了控制区域314a,其可以包括活动图标区328。图3E中描绘的控制区域314a是控制区域314的示例性配置,并且本发明不限于所描绘的实施例。在本发明的各实施例中,可以以多种方式来表现图标,并且图标可以包括可视信息(诸如图像和/或文本),并且/或者可以包括音频信息(诸如音调、歌曲和/或讲话)。
活动图标区328可以至少部分地确定在内容区域318中显示的信息、以及电子设备302可以如何响应触觉和/或呼吸输入。在这点上,如关于图3A和3D所描述的,内容区域318可以显示与处于活动图标区328中的图标相对应的信息。此外,在“点击”(例如触摸屏叩击、按钮按压或空气喷出)时,可以启动与活动图标区328中的图标相关联的应用程序或功能。
在本发明的各实施例中,图标可以被按照类别编组,并且每个类别可以包括一个或多个图标。在这点上,用户可以配置类别的数量以及/或者每个类别中图标的数量。在这点上,在图3E所描绘的示例性实施例中,存在10个类别:类别00、10、…、90,每个类别包括九个图标:图标1、2、…、9。示例性的类别可以包括电话和消息收发、新闻、多媒体、音乐、照片和视频。另外,可以基于哪个类别是有效(active)的,而确定在固定区域310中显示的信息和/或对象。
在本发明的各实施例中,每个图标可以包括用户可配置的描述性文本、图像和/或音频,以便指示哪些功能和/或应用程序可以与该图标相关联。
在本发明的各实施例中,可以将显示器304的可由用户配置的背景图像与每个类别相关联,并且该背景图像可以指示当前选择了哪个类别。为了将期望图标放入活动图标区328,用户可以利用触觉和/或呼吸输入来在类别之间滚动,并且利用呼吸和/或触觉输入来在图标之间滚动。在这点上,可以基于触觉和/或呼吸输入的类型、持续时间、强度、方向和/或数量来确定滚动的速度、方向和/或持续时间。
在本发明的示例性实施例中,用户可以利用触觉输入在类别之间滚动,并且利用呼吸输入在图标之间滚动。例如,用户可以通过在控制区域314中移动其拇指的位置、或者通过转动轨迹球来滚动通过类别00、10、…、90;用户可以通过呼气来滚动通过有效类别326中的图标。用户可以滚动通过类别,直至在电子设备302上显示的背景图像对应于期望类别。用户可以滚动通过图标,直至活动图标区328中的图标对应于期望功能和/或应用程序、以及/或者在内容区域318中产生期望信息和/或对象。
图3F图示了在滚动时可以提供类别序列和/或图标序列的指示的示例性分区段用户界面。在这点上,图标和/或类别可以以线性方式滚动,在所述线性方式下,存在第一(例如,最左侧或顶部)和最后(例如,最右侧或底部)的图标和/或类别。可替代地,图标和/或类别可以以循环方式滚动,在所述循环方式下,通过沿任一方向滚动可以访问所有图标和/或类别,而与在滚动开始时哪个图标和/或类别是有效的无关。无论图标和/或类别滚动的方式,可能希望向用户提供在滚动序列中接下来的和/或之前的图标和/或类别的指示。相应地,本发明的各方面可以使得能够在固定区域310、控制区域314、和/或内容区域318中显示接下来的和/或之前的图标和/或类别的指示。在这点上,该指示可以使得用户能够确定哪种方向滚动图标和/或类别以最快和/或最高效的方式到达期望图标和/或类别。例如,固定区域310、控制区域314和/或内容区域318的一个或多个部分可以被在滚动序列中的接下来的一个或多个图标和/或一个或多个类别的半透明图像覆盖。在这点上,半透明可以是:对于用户识别接下来的和/或之前的一个或多个图标和/或一个或多个类别而言是足够不透明的,并且足够透明使得固定区域310和内容区域318中的信息可以不被严重遮挡。
在图3F所描绘的本发明的示例性实施例中,图标和类别可以以“风车”或“老虎机”方式被滚动。在这点上,可以在用户界面上覆盖超前一个的类别340的超前两个的图标330b、超前一个的图标330a、当前图标330、之后一个的图标330c和之后两个的图标330d的半透明图像。类似地,可以在用户界面上覆盖有效类别326的超前两个的图标332b、超前一个的图标332a、当前图标332、之后一个的图标332c和之后两个的图标332d的半透明图像。类似地,可以在用户界面上叠加之后一个的类别342的超前两个的图标334b、超前一个的图标334a、当前图标334、之后一个的图标334c和之后两个的图标334d的半透明图像。
图3G图示根据本发明实施例的经由呼吸输入和触觉输入与示例性分区段用户界面进行交互。参考图3G,示出了用户经由触觉和呼吸输入与示例性的分区段用户界面进行交互。
用户界面的区域340可以是控制区域,并且可显示可以通过呼吸输入在区域340中被移置(displace)且可以通过拇指叩击而被选择的元素。图3G中的箭头344用来图示图标的类别可以经由区域340中的拇指移动(即,拇指的轻拖动)滚动。
在区域342中显示的信息和/或对象可以是允许用户看到接下来的和/或之前的图标的预览的叠加的透明物。在区域342中显示的信息和/或对象可以是固定的,或者可以改变和/或更新。在区域342中显示的一些对象可以是可经由拇指叩击选择的。
因此,由于呼吸和触觉输入的组合以及针对那些输入的明确定义的响应,与传统的用户界面相比,包括区域340和342的分区段用户界面可以提供消除了歧义的解决方案。在这点上,分区段用户界面可以使能电子设备的可配置(即,定制的或个人化的)和可预测的控制、以及内容的多层和/或多维显示。
图3H图示在滚动时可以提供类别序列和/或图标序列的指示的另一示例性分区段用户界面。在图3H所描绘的本发明的示例性实施例中,图标和类别可以以“动画书”方式滚动。在这点上,可以在用户界面上覆盖有效类别326的超前两个的图标332b、超前一个的图标332a、当前图标332、之后一个的图标332c和之后两个的图标332d的半透明图像。
图4A图示根据本发明实施例的利用触觉和呼吸输入经由用户界面启动应用程序。参考图4A,示出了示例性的屏幕截图410a、410b、410c和410d,其描绘了用于导航到期望图标并启动与该图标相关联的应用程序的示例性动作序列。
该动作序列可以以电子设备302处于通过屏幕截图410a所描绘的状态开始。在这点上,在屏幕截图410a中,图标402可以处于控制区域314a的活动图标区328中。相应地,对角线条纹的背景图像可以对应于图标402所属的类别。相应地,内容区域318a中的对象4021、…、4024可以对应于图标402。
接下来,用户可以经由触觉移动(诸如拇指移位或轨迹球的转动)而滚动通过类别序列。在这点上,用户可以寻找与点式背景图像相关联的类别。相应地,当用户到达点式背景图像时,设备可以处于屏幕截图410b所描绘的状态。在屏幕截图410b中,图标404可以处于控制区域314b的活动图标区328中,并且内容区域318b中的对象4041、…、404N可以对应于图标404。
接下来,用户可以经由呼吸输入(诸如一个或多个呼气)滚动通过具有点式背景图像的类别中的图标。在这点上,用户可以滚动通过图标序列,直至设备处于屏幕截图410c所描绘的状态。在屏幕截图410c中,与期望功能或应用程序相对应的图标406可以处于控制区域314c的活动图标区328中。相应地,内容区域418c中的对象4061、…、406N可以对应于图标406。
以此方式,在屏幕截图410c中,用户可能已经到达他期望的图标:图标406,并且通过经由触觉输入(诸如触摸屏的叩击或按钮按压)选择图标406而可以启动期望应用程序和/或功能。在图4A所描绘的本发明的示例性实施例中,410d网页可以与图标406相关联,并且在选择图标406时,web浏览器可以启动,网页可以被全屏显示,如屏幕截图410d所描绘的。
图4B图示根据本发明实施例的与在电子设备上运行的应用程序的示例性交互。参考图4B,本发明的各方面可以使得能够经由呼吸和触觉输入进行放大(增大)和/或缩小(收缩)。例如,在电子设备302上运行的web浏览器可以显示完整网页422,用户可能希望放大网页的一部分424。相应地,用户可以利用触觉输入控制缩放的一个或多个基准点,并且利用呼吸输入控制缩放的方向和/或量。例如,用户可以在触摸屏上触摸该基准点。并且可以通过呼气基于参考点进行放大或缩小。在这点上,缩放的方向和/或量可以由例如呼气的强度、持续时间、方向和/或数量控制。
图4C图示根据本发明实施例的与在电子设备上运行的应用程序的示例性交互。参考图4C,本发明的各方面可以使得能够经由呼吸输入和触觉输入的组合进行滚动。示例性的应用程序可以包括web浏览器、媒体播放器、静态照相机、摄像机、和文件系统浏览器。例如,web浏览器可以显示网页的一部分424,用户可能希望滚动到网页的另一部分428。相应地,用户可以利用呼吸输入执行粗滚动并利用触觉输入执行精细滚动。例如,用户可以沿他希望滚动的方向呼气以到达网页的部分426,并且然后经由轨迹球的转动精细地调节网页的位置,使得显示网页的部分428。
图5是根据本发明实施例的与MEMS感测和处理模块以及主机系统交互的示例性用户界面的框图。参考图5,示出了受控设备106。受控设备106可以包括:通信模块502,用户界面504和主机接口506,多个驱动程序和/或库506、518、520和522,以及多个小应用程序508、510、512和514。用户界面504可以是例如图形用户界面(GUI)。
通信模块502可以包括可以操作来从MEMS感测和处理模块104以及/或者诸如人类接口设备(HID)之类的接口接收一个或多个信号的合适逻辑、电路、接口和/或代码,所述MEMS感测和处理模块104可操作来充当驱动器。例如,如果所接收的信号不与所支持的HID规范(profile)兼容,即该信号不是所支持的HID类,则所接收的信号可以被传递到受控设备106上的诸如定制的空气排出驱动程序(driver)或空气检测驱动程序之类的驱动程序以供处理。可以使用该驱动程序在受控设备106中处理所接收的信号。响应于对由用户102进行的人类呼吸的排出引起的空气运动的检测,可以产生所述一个或多个信号。通信模块502可以操作来经由有线和/或无线信号从MEMS感测和处理模块104接收一个或多个信号。通信模块502可以支持多个驱动程序、接口和/或HID规范。例如,通信模块502可以支持外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(I2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口和/或HID规范、蓝牙接口和/或HID规范、ZigBee接口和/或HID规范、IrDA接口和/或HID规范、以及/或者无线USB(W-USB)接口和/或HID规范。
可以使得用户102能够经由一个或多个所接收的信号与受控设备106的GUI 504联系(interface)。所接收的一个或多个信号可以与例如一个或多个驱动程序、通用串行总线(USB)HID类、以及/或者无线协议HID类(诸如无线USB HID类和/或ZigBee HID类)兼容。然而,本发明可以不被如此限制,并且可以利用一个或多个驱动程序和/或其它无线协议HID类,而不限制本发明的范围。目前,蓝牙利用USB HID类。此外,如果所接收的信号不与所支持的HID规范兼容,即该信号不是所支持的HID类,则所接收的信号可以被传递到受控设备106上的诸如定制的空气排出驱动程序或空气检测驱动程序之类的驱动程序以供处理。可以使用该驱动程序在受控设备106中处理所接收的信号。
通信模块502可以操作来将所接收的一个或多个信号格式化为HID规范。HID规范可包括可以使得能够与受控设备106的GUI 504的联系的一个或多个驱动程序和/或库516-522。一个或多个驱动程序和/或库516-522可以使能由具有MEMS感测和处理模块104的受控设备106进行的通信的启动、建立和/或终止中的一个或多个。HID规范可以定义用于经由有线和/或无线链路(诸如蓝牙)使用诸如MEMS感测和处理模块104的HID的协议、规程和/或使用场景。受控设备106可以容留无线协议栈,诸如蓝牙栈,其可以使用服务发现协议(SDP)来发现HID,诸如MEMS感测和处理模块104。
还可以基于按钮或按键激活的功能模式来激活和修改一个或多个受控设备106的用户界面。功能模式可以包括在MEMS感测和处理模块104中嵌入的固件以及在受控设备106上安装的一个或多个应用程序、驱动程序和/或库中的多个部分。可以从MEMS感测和处理模块104激活功能模式,以及/或者经由受控设备106上的一个或多个刺激(stimuli)激活功能模式。所述一个或多个刺激可以包括空气喷出、触摸、音频、可视的、姿势、和/或其它刺激。
根据本发明实施例,受控设备106可以操作来在其被激活之前从HID(诸如MEMS感测和处理模块104)接收设备信息(诸如对类驱动程序和/或库516-522的描述符)。驱动程序和/或库516-522可以操作来利用该描述符确定设备特征,从而使能受控设备106上的控制。
例如,库(变量#1)516可以操作来检测人类呼吸向HID(诸如MEMS感测和处理模块104)的排出的方向,并且相应地将所接收的信号转换为用于控制用户界面504的一个或多个组件的方向信号。库(冲量#1)518可以操作来检测用户102呼出的一股空气,并且相应地利用从MEMS感测和处理模块104接收的对应信号来滚动通过用户界面504的一个或多个菜单,并且在特定时间段之后慢下来。例如,库(冲量#1)518可以操作来检测在一定时间内重复的多股人类呼吸、或者在一定时间内有方向性的多股人类呼吸的组合、或者用户102呼出的一股人类呼吸的快速左右左序列,并且产生控制信号以便激活和/或切换受控设备106的用户界面。例如,通过在MEMS感测和处理模块104上吹出一股空气,可以基于在MEMS感测和处理模块104的表面上从左下方到右上方的空气流,而确定滚动的方向和速度。MEMS感测和处理模块104可以产生可导致用户界面的对应的两轴滚动的控制信号,并且可以基于感测到空气流的持续时间或空气流在MEMS感测和处理模块104上的压力的强度来确定滚动的速度。在另一实施例中,在滚动交互之后一定时间段内在MEMS感测和处理模块104处的固定的一股或多股空气可以被处理为缩放功能模式,其可以使能放大到作为滚动结果而可见的区域。可以使得用户102能够通过再次在MEMS感测和处理模块104处吹出空气并且返回到滚动功能模式而结束缩放功能模式。
库(布尔#1)520可以操作来利用来自MEMS感测和处理模块104的所接收的信号选择用户界面504内的一个或多个菜单和/或图标。库(布尔#2)522也可以操作来利用来自MEMS感测和处理模块104的所接收的信号选择用户界面504内的一个或多个菜单和/或图标。库(布尔#2)522也可以操作来基于在特定时间段内所接收的多股人类呼吸的序列确定功能模式。例如,在一定时间段内接收到的多股人类呼吸可以在用户界面504内将功能模式从滚动功能模式切换到扩大功能模式。然而,本发明可以不被如此限制,并且可以利用其它驱动程序和/或库,而不限制本发明的范围。
受控设备106可以操作来利用一个或多个小应用程序508-514与检测设备(诸如MEMS感测和处理模块104)联系。小应用程序508-514可以例如包括可操作来在另一程序(诸如web浏览器)环境下运行的软件组件、代码和/或程序。例如,小应用程序(UI皮肤#1)508可以包括可充当风车的软件组件、代码和/或程序,在该情况下,多个图标可以循环通过用户界面504的背景。用户102可以被提示从受控设备106的用户界面504的背景中选择一个或多个图标。例如,小应用程序(UI皮肤#2)510可包括软件组件、代码和/或程序,该软件组件、代码和/或程序可以使得能够在用户102在被显示在GUI 504上的图标处吹出空气时,使用户界面504上的一个或多个图标消逝为灰烬。在另一实施例中,小应用程序之一可以例如包括可在激活时在用户界面504的一个或多个组件之间切换的软件组件、代码和/或程序。
在另一实施例中,小应用程序之一可以包括可充当3D动画书的软件组件、代码和/或程序,在该情况下,可以使得用户102能够在GUI 504上的书处吹出空气,以便在书内翻过一页或多页。小应用程序(Faves#1)512可以包括在用户102向GUI 504上的用户或朋友的两个或多个画面吹出空气时可以使能将GUI 504上的用户或朋友的两个或多个画面变换为单个画面的软件组件、代码和/或程序。小应用程序(滚动功能)514可以包括可使得能够滚动通过GUI 504上的多个菜单、页面和/或图标的软件组件、代码和/或程序。受控设备106的GUI 504可以操作来基于小应用程序508-514产生的一个或多个输出与MEMS感测和处理模块104联系。
主机计算机接口(HCI)506可以包括例如到受控设备106内的显示器、其它硬件和/或处理器的接口以用于控制器管理、链接建立、和/或维护。HCI传输层可以操作来将HCI命令递送给受控设备106内的其它硬件。
根据本发明实施例,MEMS感测和处理模块104可以被用来使能受控设备106上的多个功能模式。例如,MEMS感测和处理模块104可以操作来使能:滚动功能模式(用于使能沿多维轴滚动通过文件)、缩放功能模式(用于使能放大和缩小文档、或者使能定向扩大、在文本正文中移置光标)、指示和点击功能模式(其中,点击可以是在MEMS感测和处理模块104上喷出空气一次或多次的示例性实施例)、拖放功能模式(用于使得能够通过将指示器暂停在项目上、拖动项目并且然后再次在MEMS感测和处理模块104上喷出空气以放下项目来拖动用户界面128上的项目)。
例如,MEMS感测和处理模块104可以操作来基于映射要由呼吸操作的特定控制而在一维或多维中移动游戏和其它多媒体应用程序中的角色和/或化身、通过控制自动滚动速度而移置背景、或者移置游戏和其它应用程序中的其它叠加元素、滚动通过选项列表并进行选择而不中断玩游戏、在游戏中在射击的同时更换武器、以及/或者向游戏的现有控制器增加可定制的输入,以使能更多的同时输入。例如,MEMS感测和处理模块104可以操作来利用键盘、鼠标或任何其它输入设备使能多模输入、利用触摸屏使能多模输入、利用用于基于GUI的交互(诸如虚拟元素的运动)的语音和/或讲话使能多模输入、和/或利用姿势和/或运动跟踪使能多模输入。
根据本发明的另一实施例,MEMS感测和处理模块104可以操作来使得能够进行非GUI变量(variable)功能的控制,诸如:设置音频级别或音量,跳过轨道,在音视频设备中前进或后退,和/或跳过电话中的语音邮件消息,在键入数据的同时浏览通过图标、应用程序、窗口或小工具,和/或在用户的手在方向盘上的情况下(如图2F所图示的)与导航系统或车内仪表盘和娱乐系统交互。
根据本发明的另一实施例,MEMS感测和处理模块104可以操作来使能模拟真实交互(诸如虚拟现实环境和游戏中的吹火、蜡烛、风车、肥皂泡、或一股灰尘),在播放音乐的同时修改音频和/或视频参数(诸如滤波器、音高或源)。例如,MEMS感测和处理模块104可以操作来通过使能功能模式(诸如滚动或缩放如图2D所公开的安装在头部的显示器中的内容)而使能例如在企业、执法、国土安全、医疗急救、军事行动中可佩戴装备的无手操作,与大型显示器或视频投影仪远程交互,以及/或者通过调整运动方向、和/或速度而控制玩具或电子设备,在绘制或提供其它输入的同时设置参数(诸如图形设计编辑应用程序中的线宽)。
然而,本发明可以不被如此限制,并且MEMS感测和处理模块104可以被用于其它应用中,而不限制本发明的范围。
根据本发明实施例,与GUI 504联系的人类或用户102可以不知道受控设备106上的任何特定操作系统(OS)平台。例如,受控设备106可运行于Windows OS、Symbian OS、Android OS、Palm OS、或移动电话(诸如iPhone或黑莓电话)上的其它操作系统中的任何一个或多个上。然而,本发明可以不被如此限制,并且可以利用其它操作系统而不限制本发明的范围。
图6是图示用于处理使用人类呼吸控制设备的信号的示例性步骤的流程图。参考图6,示例性步骤可以开始于步骤602。在步骤604中,可以从检测设备接收一个或多个信号,所述检测设备操作来起作用为诸如MEMS感测和处理模块104之类的人类接口设备(HID)。检测设备可以包括可嵌入在要控制的设备中的微机电系统(MEMS)检测器。响应于对由人类呼吸的排出引起的空气运动的检测,可以产生一个或多个信号。在步骤606,受控设备106可以操作来将所接收的一个或多个信号格式化为HID规范。HID规范可以包括一个或多个驱动程序和/或库516-522,其可以使能与受控设备106的GUI504联系。在步骤608,一个或多个驱动程序和/或库516-522可以使能由具有MEMS感测和处理模块104的受控设备106进行的通信的启动、建立和/或终止中的一个或多个。在步骤610,受控设备106中的一个或多个小应用程序508-514可以操作来与检测设备(诸如MEMS感测和处理模块104)联系。在步骤612,可以使得用户102能够利用一个或多个小应用程序508-514经由一个或多个所接收的信号与受控设备106的图形用户界面(GUI)128联系。控制然后传递到结束步骤614。
图7A是图示根据本发明实施例的用于使用人类呼吸控制设备的用户界面的示例性步骤的流程图。参考图7A,示例性步骤可以开始于步骤702。在步骤704,MEMS感测和处理模块104中的感测模块110可以操作来检测例如由用户102进行的人类呼吸的排出引起的运动或诸如周围空气成分之类的成分的改变。在步骤706,感测模块110可以操作来响应于对由人类呼吸的排出所引起的运动的检测而产生一个或多个电、光和/或磁信号。在步骤708,处理器固件116可以操作来利用各种算法处理来自感测模块110的所接收的电、磁和/或光信号。处理器固件116还可以操作来并入人工智能(AI)算法以便适应于特定用户102的呼吸模式。
在步骤710,处理器固件116可以操作来基于处理来自感测模块110的所接收的电、光和/或磁信号产生对受控设备106的一个或多个控制信号。在步骤712,所产生的一个或多个控制信号可以操作来控制受控设备106的用户界面128,诸如多媒体设备106a的用户界面107a、蜂窝电话/智能电话/数据电话106b的用户界面107b、个人计算机(PC)或者膝上型计算机或笔记本型计算机106c的用户界面107c、显示设备106d的用户界面107d、TV/游戏控制器/其它平台106e的用户界面107e、以及移动多媒体播放器和/或遥控器的用户界面。控制然后传递到结束步骤714。
图7B是图示根据本发明实施例的用于信息的侧向加载的示例性步骤的流程图。参考图7B,示例性步骤可以开始于步骤752。在步骤754,受控设备106(诸如移动电话130a)可以操作来从另一设备108(诸如PC、膝上型计算机或笔记本型计算机132)接收数据和/或媒体内容。在步骤756,受控设备106(诸如移动电话130a)可以操作来从网络(诸如因特网134)取回数据和/或媒体内容。例如,所取回的数据和/或媒体内容可以包括RSS源、URL和/或多媒体内容。
在步骤758,可以确定膝上型计算机、PC和/或笔记本型计算机132是否可以执行所接收的数据和/或媒体内容与所取回的数据和/或媒体内容的关联和/或映射。如果在膝上型计算机、PC和/或笔记本型计算机132上执行关联或映射,则控制传递到步骤760。在步骤760,膝上型计算机、PC和/或笔记本型计算机132内的一个或多个处理器可以操作来将所接收和所取回的数据和/或媒体内容关联和/或映射到图标或组。例如,膝上型计算机、PC和/或笔记本型计算机132可以操作来将图标关联和/或映射到功能,使得用户102可以经由该图标使能或激活功能。示例性的图标可以使能诸如超链接、书签、快捷方式、小工具、RSS源、以及/或者喜爱的好友之类的功能。在步骤762,膝上型计算机、PC和/或笔记本型计算机132可以操作来将所关联的图标或组传递给受控设备106(诸如移动电话130a)。控制然后传递到步骤766。
如果关联或映射不在膝上型计算机、PC和/或笔记本型计算机132上执行,则控制传递到步骤764。在步骤764,受控设备106(诸如移动电话130a)内的一个或多个处理器可以操作来将所接收和所取回的数据和/或媒体内容关联和/或映射到图标或组。例如,移动电话130a可以操作来将图标关联和/或映射到功能,使得用户102可以经由该图标使能或激活功能。
在步骤766,受控设备106(诸如移动电话130a)可以操作来定制所关联的图标或组,使得与所接收的数据和/或媒体内容相关联的内容可以成为受控设备(诸如移动电话130a)的用户界面131a的组成部分。可以由用户102修改和/或组织用户界面131a。在这点上,用户102可以选择、创建、排列和/或组织要用于用户界面131a的内容和/或一个或多个内容组件。例如,用户102可以组织屏幕上的内容组件,并且可以选择诸如个人照片之类的内容用于背景和/或图标图像。另外,用户102可以创建和/或修改激活内容组件或将内容组件呈现给用户102的方式。例如,用户102可以制作、导入和/或编辑用于用户界面128的图标和/或背景。控制然后传递到结束步骤768。
根据本发明实施例,一种使用人类呼吸控制设备的用户界面的方法和系统可以包括设备106(图1A),设备106包括嵌入的微机电系统(MEMS)感测和处理模块104(图1A)。MEMS感测和处理模块104可以操作来检测由用户102进行的人类呼吸的排出引起的运动。响应于对由人类呼吸的排出引起的运动的检测,MEMS感测和处理模块104可以操作来产生一个或多个控制信号。所产生的一个或多个控制信号可以用来控制受控设备106的用户界面128,所述受控设备106诸如多媒体设备106a、蜂窝电话/智能电话/数据电话106b、PC或者膝上型计算机或笔记本型计算机106c、显示设备106d、TV/游戏控制器/其它平台106e、移动多媒体播放器和/或遥控器。
在本发明的示例性实施例中,对由人类呼吸的排出引起的运动的检测可以在不使用通道的情况下发生。对由人类呼吸的排出引起的运动的检测可以响应于人类呼吸被呼到开放空间中并且被呼到使得能够进行该检测的MEMS感测和处理模块104中的一个或检测器上。
根据本发明的另一实施例,MEMS感测和处理模块104可以操作来经由所产生的一个或多个控制信号在一个或多个受控设备106的用户界面内导航。MEMS感测和处理模块104可以操作来经由所产生的一个或多个控制信号选择在受控设备106的用户界面128内的一个或多个组件。所产生的一个或多个控制信号可以经由以下一个或多个被传递到受控设备:外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(inter-IC soundI2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口。
MEMS感测和处理模块104可以操作来使能由设备106进行的通信的启动、建立和/或终止中的一个或多个。MEMS感测和处理模块104可以操作来基于以下一个或多个来使能受控设备106的用户界面128内的交互:人类呼吸的排出或诸如空气之类的流体的排出、诸如按钮按压之类的触觉输入、诸如语音命令之类的语音输入、以及/或者诸如由加速度计和/或陀螺仪检测到的运动之类的受控设备106的运动。
根据本发明的另一实施例,MEMS感测和处理模块104可以操作来产生控制信号以控制一个或多个受控设备106的用户界面128内的一个或多个模拟和/或数字功能。MEMS感测和处理模块104可以操作来全方向地检测超低压力的空气喷出。MEMS感测和处理模块104可以操作来允许直观的功能模式,诸如滚动、平移、缩放和/或点击功能模式,防止对内容的无意选择,和/或最小化内容的闭塞(occulsion)。
诸如手持设备之类的多个设备(例如多媒体设备106a和/或蜂窝电话/智能电话/数据电话106b以及/或者PC或者膝上型计算机或笔记本型计算机106c)中的一个或多个可以操作来从其它设备108接收定义用户界面128的一个或多个输入。其它设备108可以是PC或者膝上型计算机或笔记本型计算机106c以及/或者手持设备(例如多媒体设备106a和/或蜂窝电话/智能电话/数据电话106b)中的一个或多个。在这点上,可以从其它设备108向蜂窝电话/智能电话/数据电话106b传递数据,并且可以将该数据关联到或映射到可以由蜂窝电话/智能电话/数据电话106b经由服务提供者(诸如蜂窝或PCS服务提供者)远程访问的媒体内容。所传递的被关联到或映射到媒体内容的数据可以被用来定制蜂窝电话/智能电话/数据电话106b的用户界面。在这点上,与一个或多个所接收的输入相关联的媒体内容可以成为受控设备106的用户界面128的组成部分。
本发明不限于呼吸的排出。相应地,在本发明的各示例性实施例中,MEMS可以操作来检测诸如空气之类的任何类型的流体的排出,并且流体的源可以是动物、机器和/或设备。
本发明的其它实施例可以提供一种在其上存储有机器代码和/或计算机程序的非暂时性计算机可读介质和/或存储介质、以及/或者非暂时性机器可读介质和/或存储介质,所述机器代码和/或计算机程序具有至少一个代码区段。所述至少一个代码区段可以由机器和/或计算机执行,由此使得机器和/或计算机执行如这里所描述的用于使用人类呼吸控制设备的用户界面的步骤。
相应地,本发明的各方面可以以硬件、软件、固件或其组合实现。本发明可以以集中式方式在至少一个计算机系统中实现,或者可以以分布式方式实现,在分布式方式中,不同的元件散布在几个互联的计算机系统上。被适配用于执行这里描述的方法的任何类型的计算机系统或其它装置都是合适的。硬件、软件和固件的典型组合可以是具有计算机程序的通用计算机系统,所述计算机程序在被加载和执行时控制计算机系统使得其执行这里描述的方法。
可以作为板级产品、作为单个芯片(专用集成电路)来实现本发明的一个实施例,或者可以在系统的其他部分作为分离组件的情况下将本发明的一个实施例以不同的级别集成在单个芯片上。系统的集成度将主要由速度和成本考虑决定。由于现代处理器具有精密的特性,可以利用商业上可以获得的处理器,其可以被实现在本系统的ASIC实现的外部。可替代地,如果处理器可用作ASIC核或逻辑块,则可以将商业上可以获得的处理器实现为ASIC器件的一部分,并且各种功能被实现为固件。
本发明还可以被嵌入计算机程序产品,该计算机程序产品包括使得能够实现这里描述的方法的所有特征,并且在被加载在计算机系统中时能够执行这些方法。本上下文中的计算机程序例如可以指一组指令的采用任何语言、代码或表示法的任何表达,其意图使得具有信息处理能力的系统直接执行或者在以下任一者或两者之后执行特定功能:a)向另一语言、代码或表示法的转换;b)采用不同材料形式的再现。然而,本发明还可以设想在本领域技术人员的理解范围内的计算机程序的其它含义。
尽管已经参考某些实施例描述了本发明,但是本领域技术人员将理解在不偏离本发明范围的情况下可以做出各种改变并且可以替换等同物。另外,可以做出许多修改以便使特定情况或材料适应于本发明的教导,而不偏离本发明的范围。因此,意图是本发明不限于所公开的具体实施例,而是本发明将包括落入所附权利要求书的范围内的所有实施例。

Claims (30)

1.一种交互方法,该方法包括:
在包括嵌入的微机电系统(MEMS)感测和处理模块的设备中:
由所述MEMS感测和处理模块检测由人类呼吸的排出引起的运动;以及
响应于所述检测,产生一个或多个控制信号以便控制所述设备的用户界面。
2.如权利要求1所述的方法,其中,所述设备包括以下一个或多个:个人计算机(PC)、膝上型计算机、笔记本型计算机、电视(TV)、游戏控制器、显示设备和/或手持设备。
3.如权利要求2所述的方法,其中,所述手持设备包括以下一个或多个:移动电话、移动多媒体播放器、导航设备和/或遥控器。
4.如权利要求1所述的方法,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测在不使用通道的情况下发生。
5.如权利要求1所述的方法,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测响应于所述人类呼吸被呼到开放空间中并且被呼到使得能够进行所述检测的所述MEMS感测和处理模块中的一个或多个检测器上。
6.如权利要求1所述的方法,包括将所产生的一个或多个控制信号经由以下一个或多个传递到所述设备:外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(I2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口。
7.如权利要求1所述的方法,包括经由所产生的一个或多个控制信号在所述用户界面内导航。
8.如权利要求1所述的方法,包括经由所产生的一个或多个控制信号选择所述用户界面内的一个或多个组件。
9.如权利要求1所述的方法,包括使能由所述设备进行的通信的启动、建立和/或终止中的一个或多个。
10.如权利要求1所述的方法,包括基于以下一个或多个来使能所述设备的所述用户界面内的交互:所述人类呼吸的所述排出、触觉输入、音频输入、以及/或者所述设备的运动。
11.一种在其上存储计算机程序的非暂时性机器可读存储介质,所述计算机程序具有用于交互的至少一个代码区段,所述至少一个代码区段可以由机器执行,以使得机器执行包括以下各项的步骤:
在包括嵌入的微机电系统(MEMS)感测和处理模块的设备中:
由所述MEMS感测和处理模块检测由人类呼吸的排出引起的运动;以及
响应于所述检测,产生一个或多个控制信号以便控制所述设备的用户界面。
12.如权利要求11所述的非暂时性机器可读存储介质,其中,所述设备包括以下一个或多个:个人计算机(PC)、膝上型计算机、笔记本型计算机、电视(TV)、游戏控制器、显示设备和/或手持设备。
13.如权利要求12所述的非暂时性机器可读存储介质,其中,所述手持设备包括以下一个或多个:移动电话、移动多媒体播放器、导航设备和/或遥控器。
14.如权利要求11所述的非暂时性机器可读存储介质,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测在不使用通道的情况下发生。
15.如权利要求11所述的非暂时性机器可读存储介质,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测响应于所述人类呼吸被呼到开放空间中并且被呼到使得能够进行所述检测的所述MEMS感测和处理模块中的一个或多个检测器上。
16.如权利要求11所述的非暂时性机器可读存储介质,其中,所述至少一个代码区段包括用于将所产生的一个或多个控制信号经由以下一个或多个传递到所述设备的代码:外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(I2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口。
17.如权利要求11所述的非暂时性机器可读存储介质,其中,所述至少一个代码区段包括用于经由所产生的一个或多个控制信号在所述用户界面内导航的代码。
18.如权利要求11所述的非暂时性机器可读存储介质,其中,所述至少一个代码区段包括用于经由所产生的一个或多个控制信号选择所述用户界面内的一个或多个组件的代码。
19.如权利要求11所述的非暂时性机器可读存储介质,其中,所述至少一个代码区段包括用于使能由所述设备进行的通信的启动、建立和/或终止中的一个或多个的代码。
20.如权利要求11所述的非暂时性机器可读存储介质,其中,所述至少一个代码区段包括用于基于以下一个或多个来使能所述设备的所述用户界面内的交互的代码:所述人类呼吸的所述排出、触觉输入、音频输入、以及/或者所述设备的运动。
21.一种交互系统,该系统包括:
用于在包括嵌入的微机电系统(MEMS)感测和处理模块的设备中使用的一个或多个处理器和/或电路,所述一个或多个处理器和/或电路操作来:
由所述MEMS感测和处理模块检测由人类呼吸的排出引起的运动;以及
响应于所述检测,产生一个或多个控制信号以便控制所述设备的用户界面。
22.如权利要求21所述的系统,其中,所述设备包括以下一个或多个:个人计算机(PC)、膝上型计算机、笔记本型计算机、电视(TV)、游戏控制器、显示设备和/或手持设备。
23.如权利要求22所述的系统,其中,所述手持设备包括以下一个或多个:移动电话、移动多媒体播放器、导航设备和/或遥控器。
24.如权利要求21所述的系统,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测在不使用通道的情况下发生。
25.如权利要求21所述的系统,其中,所述对由所述人类呼吸的所述排出引起的所述运动的检测响应于所述人类呼吸被呼到开放空间中并且被呼到使得能够进行所述检测的所述MEMS感测和处理模块中的一个或多个检测器上。
26.如权利要求21所述的系统,其中,所述一个或多个处理器和/或电路操作来将所产生的一个或多个控制信号经由以下一个或多个传递到所述设备:外部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出(GPIO)接口、脉冲编码调制(PCM)和/或IC间声音(I2S)接口、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、ZigBee接口、IrDA接口、以及/或者无线USB(W-USB)接口。
27.如权利要求21所述的系统,其中,所述一个或多个处理器和/或电路操作来经由所产生的一个或多个控制信号在所述用户界面内导航。
28.如权利要求21所述的系统,其中,所述一个或多个处理器和/或电路操作来经由所产生的一个或多个控制信号选择所述用户界面内的一个或多个组件。
29.如权利要求21所述的方法,其中,所述一个或多个处理器和/或电路操作来使能由所述设备进行的通信的启动、建立和/或终止中的一个或多个。
30.如权利要求21所述的系统,其中,所述一个或多个处理器和/或电路操作来基于以下一个或多个来使能所述设备的所述用户界面内的交互:所述人类呼吸的所述排出、触觉输入、音频输入、以及/或者所述设备的运动。
CN2010800511238A 2009-09-11 2010-09-13 使用人类呼吸控制设备的用户界面的方法和系统 Pending CN102782459A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US24137609P 2009-09-11 2009-09-11
US61/241,376 2009-09-11
US24220109P 2009-09-14 2009-09-14
US61/242,201 2009-09-14
US12/813,292 2010-06-10
US12/813,292 US20110010112A1 (en) 1999-02-12 2010-06-10 Method and System for Controlling a User Interface of a Device Using Human Breath
PCT/US2010/048646 WO2011032096A2 (en) 2009-09-11 2010-09-13 Method and system for controlling a user interface of a device using human breath

Publications (1)

Publication Number Publication Date
CN102782459A true CN102782459A (zh) 2012-11-14

Family

ID=43733125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800511238A Pending CN102782459A (zh) 2009-09-11 2010-09-13 使用人类呼吸控制设备的用户界面的方法和系统

Country Status (5)

Country Link
EP (1) EP2475969A4 (zh)
JP (1) JP2013542470A (zh)
KR (1) KR20130022401A (zh)
CN (1) CN102782459A (zh)
WO (1) WO2011032096A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000719A (zh) * 2013-02-22 2014-08-27 陈青越 一种基于网络的气流感应远程控制情趣用具系统
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN106354504A (zh) * 2016-08-29 2017-01-25 北京小米移动软件有限公司 消息显示方法及装置
CN107481491A (zh) * 2016-07-20 2017-12-15 宝沃汽车(中国)有限公司 电器的控制系统及移动终端
CN111588955A (zh) * 2020-05-27 2020-08-28 北京无线电测量研究所 一种呼吸机显控终端
CN111627371A (zh) * 2020-05-27 2020-09-04 北京无线电测量研究所 一种带有双显示屏的电子产品
CN111625146A (zh) * 2020-05-27 2020-09-04 北京无线电测量研究所 一种带有双触摸屏的电子产品

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164997B2 (en) * 2012-01-19 2015-10-20 Microsoft Technology Licensing, Llc Recognizing cloud content
JP5870841B2 (ja) * 2012-05-17 2016-03-01 株式会社デンソー 車両用表示装置
JP2014063344A (ja) * 2012-09-21 2014-04-10 Sharp Corp 携帯端末装置、表示プログラムおよび記録媒体
JP6488556B2 (ja) * 2014-05-14 2019-03-27 凸版印刷株式会社 端末装置、表示制御方法及びプログラム
KR20180023617A (ko) 2016-08-26 2018-03-07 삼성전자주식회사 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법
CN112153269B (zh) * 2019-06-27 2022-04-29 京东方科技集团股份有限公司 应用于电子设备的图片显示方法、装置、介质与电子设备
KR102266426B1 (ko) * 2020-01-10 2021-06-16 이종민 바람을 이용한 스마트폰 제어장치 및 그 제어방법
JPWO2021153214A1 (zh) * 2020-01-31 2021-08-05
WO2023036810A1 (en) * 2021-09-07 2023-03-16 PI-A Creative Systems Ltd Method for detecting user input to a breath input configured user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1346566A (zh) * 1999-02-08 2002-04-24 高通股份有限公司 用于电话手机的语音识别用户接口
CN1352766A (zh) * 1999-02-12 2002-06-05 皮埃尔·博纳 借助于流体流监控电子或计算机系统的方法和装置
CN101061455A (zh) * 2004-12-29 2007-10-24 摩托罗拉公司 用于接收来自用户的输入的装置和方法
US20090082884A1 (en) * 2000-02-14 2009-03-26 Pierre Bonnat Method And System For Processing Signals For A MEMS Detector That Enables Control Of A Device Using Human Breath

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421617B2 (en) * 1998-07-18 2002-07-16 Interval Research Corporation Interface including fluid flow measurement for use in determining an intention of, or an effect produced by, an animate object
US6213955B1 (en) * 1998-10-08 2001-04-10 Sleep Solutions, Inc. Apparatus and method for breath monitoring
US7739061B2 (en) * 1999-02-12 2010-06-15 Pierre Bonnat Method and system for controlling a user interface of a device using human breath
US9116544B2 (en) * 2008-03-26 2015-08-25 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
JP2004177992A (ja) * 2002-11-22 2004-06-24 Panasonic Mobile Communications Co Ltd 風圧センサ付き携帯端末及び風圧センサ付き携帯端末により実行可能なプログラム
US7587277B1 (en) * 2005-11-21 2009-09-08 Miltec Corporation Inertial/magnetic measurement device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1346566A (zh) * 1999-02-08 2002-04-24 高通股份有限公司 用于电话手机的语音识别用户接口
CN1352766A (zh) * 1999-02-12 2002-06-05 皮埃尔·博纳 借助于流体流监控电子或计算机系统的方法和装置
US20090082884A1 (en) * 2000-02-14 2009-03-26 Pierre Bonnat Method And System For Processing Signals For A MEMS Detector That Enables Control Of A Device Using Human Breath
CN101061455A (zh) * 2004-12-29 2007-10-24 摩托罗拉公司 用于接收来自用户的输入的装置和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000719A (zh) * 2013-02-22 2014-08-27 陈青越 一种基于网络的气流感应远程控制情趣用具系统
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104536556B (zh) * 2014-09-15 2021-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN107481491A (zh) * 2016-07-20 2017-12-15 宝沃汽车(中国)有限公司 电器的控制系统及移动终端
CN106354504A (zh) * 2016-08-29 2017-01-25 北京小米移动软件有限公司 消息显示方法及装置
CN106354504B (zh) * 2016-08-29 2020-08-11 北京小米移动软件有限公司 消息显示方法及装置
CN111588955A (zh) * 2020-05-27 2020-08-28 北京无线电测量研究所 一种呼吸机显控终端
CN111627371A (zh) * 2020-05-27 2020-09-04 北京无线电测量研究所 一种带有双显示屏的电子产品
CN111625146A (zh) * 2020-05-27 2020-09-04 北京无线电测量研究所 一种带有双触摸屏的电子产品
CN111625146B (zh) * 2020-05-27 2023-08-04 北京无线电测量研究所 一种带有双触摸屏的电子产品

Also Published As

Publication number Publication date
JP2013542470A (ja) 2013-11-21
EP2475969A4 (en) 2016-11-02
WO2011032096A3 (en) 2014-03-20
KR20130022401A (ko) 2013-03-06
EP2475969A2 (en) 2012-07-18
WO2011032096A2 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
CN102782459A (zh) 使用人类呼吸控制设备的用户界面的方法和系统
US9753533B2 (en) Method and system for controlling a user interface of a device using human breath
US7739061B2 (en) Method and system for controlling a user interface of a device using human breath
CN205485733U (zh) 电子设备
CN103970208B (zh) 可穿戴式设备管理器
JP6421911B2 (ja) 着用式電子デバイスのための転移及び相互作用モデル
US11968594B2 (en) User interfaces for tracking and finding items
US8701015B2 (en) Method and system for providing a user interface that enables control of a device via respiratory and/or tactual input
CN107533427A (zh) 用于提供场境敏感触觉通知架构的系统和方法
KR20230051620A (ko) 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스
CN109691073A (zh) 包括多个显示器的电子设备及其操作方法
US20120200607A1 (en) Offering menu items to a user
US11977729B2 (en) Physical activity information user interfaces
CN102362251A (zh) 用于提供对应用程序的增强控制的用户界面
US11169658B2 (en) Combined map icon with action indicator
US20220365667A1 (en) User interfaces for managing accessories
CN110489573A (zh) 界面显示方法及电子设备
CN112416207A (zh) 信息内容显示方法、装置、设备及介质
CN110286836A (zh) 用于移动应用接口元素的设备、方法和图形用户界面
Dumas et al. Design guidelines for adaptive multimodal mobile input solutions
US20240077991A1 (en) Content output devices and user interfaces
CN109634550A (zh) 一种语音操作控制方法及终端设备
US20230391194A1 (en) Customized user interfaces
CN109889654A (zh) 一种信息显示方法及终端设备
CN109976616A (zh) 一种快捷方式生成方法及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121114