CN104737101B - 具有力触发的非视觉响应的计算设备 - Google Patents

具有力触发的非视觉响应的计算设备 Download PDF

Info

Publication number
CN104737101B
CN104737101B CN201380055530.XA CN201380055530A CN104737101B CN 104737101 B CN104737101 B CN 104737101B CN 201380055530 A CN201380055530 A CN 201380055530A CN 104737101 B CN104737101 B CN 104737101B
Authority
CN
China
Prior art keywords
computing device
input
power
text
audio output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380055530.XA
Other languages
English (en)
Other versions
CN104737101A (zh
Inventor
乌拉斯·加尔吉
理查德·卡尔·戈斯魏勒三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201710522162.5A priority Critical patent/CN107544670B/zh
Publication of CN104737101A publication Critical patent/CN104737101A/zh
Application granted granted Critical
Publication of CN104737101B publication Critical patent/CN104737101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

在一个示例中，一种方法包括由计算设备接收施加到计算设备的检测力的指示。该方法进一步包括由计算设备确定检测力与计算设备将其与可由计算设备执行的相应功能相关联的相应输入匹配。该方法进一步包括由计算设备响应于确定检测力与相应输入匹配而基于相应功能来生成非视觉输出。

Description

具有力触发的非视觉响应的计算设备
背景技术
诸如智能电话和平板电脑的许多移动计算设备具有提供图形输出和使用户能够经由触摸手势和/或视觉或硬件键盘或按钮来输入输入的触摸屏。移动计算设备还可以提供音频输出，并且经由虚拟或硬件键盘和按钮来使用户能够输入。移动计算设备可以提供包括电话、电子邮件、文本消息、Web浏览等等的各种功能。
键盘和触摸手势输入和图形输出可以是用户与移动计算设备交互的主要模式。用户通常可以通过将计算设备定位在用户能查看其显示器的位置并且能将手势输入在显示器上呈现的虚拟图标或按键处输入，来开始与诸如智能电话或平板电脑的计算设备交互。
发明内容
在一个示例中，一种方法包括由计算设备接收施加到计算设备的检测力的指示。该方法进一步包括由计算设备确定检测力与计算设备将其与可由计算设备执行的相应功能相关联的相应输入匹配。该方法进一步包括由计算设备响应于确定检测力与相应输入匹配，基于相应功能来生成非视觉输出。
在另一示例中，一种计算设备包括至少一个处理器。至少一个处理被配置成接收施加到计算设备的检测力的指示。该至少一个处理器被进一步配置成确定检测力与至少一个处理器将其与可由至少一个处理器执行的相应功能相关联的相应输入匹配。至少一个处理器被进一步配置成响应确定检测力与相应输入匹配，基于相应功能来生成非视觉输出。
在另一示例中，一种计算机可读存储介质包括可由至少一个处理器执行来由至少一个处理器接收施加到计算设备的检测力的指示的指令。可由至少一个处理器进一步执行指令来由至少一个处理器确定检测力与至少一个处理器将其与可由至少一个处理器执行的相应功能相关联的相应输入匹配。可由至少一个处理器进一步执行指令来响应于确定检测力与相应输入匹配，由至少一个处理器基于相应功能来生成非视觉输出。
在附图和下述描述中阐述了一个或多个实施例的细节。从说明书和附图以及从权利要求，其他特征、目的和优点将是显而易见的。
附图说明
图1是图示根据本发明的方面的用户与被配置成响应基于力的输入而生成非视觉输出的示例性计算设备交互的立体图。
图2是图示根据本发明的方面的被配置成响应于基于力的输入而生成非视觉输出的示例性移动计算设备的示意图。
图3-6是根据本发明的方面的如由可操作地连接到移动计算设备的加速度计检测的、与基于力的输入相对应的随时间的加速度的示例图。
图7描述根据本发明的方面的具有图形用户界面(GUI)并且输出用于响应基于力的输入而生成非视觉输出的非视觉I/O应用的示例性用户配置界面的代表部分的GUI内容的计算设备。
图8是图示根据本发明的方面的可以由计算设备执行来响应于与检测力相对应的输入而生成非视觉输出的示例性过程的流程图。
各个所述特征未按比例绘制，而是以强调与本申请相关的一个或多个特征的简化形式绘制。同样的参考字符在整个图和文本中表示相似元素。
具体实施方式
在此公开了技术和方法，由此计算设备能对用户输入提供力触发的非视觉响应。在一些实现中，这样的响应能由移动计算设备输出，无需用户访问触摸屏或键盘，以及无需用户必须查看或操作计算设备。本公开的技术还能提供在不干预个人社交的情况下用于可穿戴计算和与设备交互的新机会，。本公开的技术还能为感官受损的用户或在操作车辆或其他机器的上下文内提供设备可访问性。
本公开进一步涉及一种计算设备，其接收基于加速度或基于挤压的输入，并且作为响应，计算设备输出非视觉响应，诸如音频或振动输出。响应于接收基于加速度或基于挤压的输入(统称为“基于力的输入”)而生成的这些非视觉输出能通称为力触发的非视觉响应。在一些示例中，计算设备能在设备的存在敏感屏关闭或锁定的同时输出非视觉响应。生成力触发的非视觉响应能使用户能够访问计算设备的功能性，而不必经过解锁或开启设备的屏幕的过程，以及无需直接操作计算设备。用户通过例如透过用户裤子的布轻击设备，用户能在计算设备仍然在用户的口袋中时利用计算设备的功能。诸如当用户正驾驶时，用户还能轻击或挤压计算设备来激活某些特征，而不必看着计算设备。在一些示例中，力触发的非视觉响应还能用作用于具有视觉损伤的用户的可访问性特征。
计算设备可以使用能通过诸如加速度计或压缩/挤压传感器的任何类型的力传感器来感测的任何基于力的输入。计算设备可以响应以可由加速度计、压缩/挤压传感器或其他传感器检测的任何输入形式的基于力的输入。这些基于力的输入可以包括轻击、挤压、摇动或旋转计算设备。计算设备还能将这些基于力的输入与来自全球定位系统(GPS)传感器、蜂窝/WiFi位置传感器、触摸屏、光传感器、磁场传感器、近场通信(NFC)标签传感器等等的输入(统称为“非基于力的输入”)组合。计算设备可以响应基于力的输入和非基于力的输入的组合来提供用于响应基于力的输入的另外模式的交互。
作为计算设备可以响应于基于力的输入而生成的非视觉输出的一个示例，计算设备可以通过使用语音合成以生成语音音频输出来响应轻击输入。该力触发的语音音频输出可以包括一天的当前时间、一天的日历事件、新闻标题行、天气预报、所选择的股票报价或市场指数、或在具有呼入电话呼叫的同时用户轻击计算设备的情况下呼叫者的姓名和电话号码。计算设备可以响应在传统电话网络上或在基于分组的网络上、诸如通过互联网上的基于Web的应用传送的电话呼叫。计算设备可以在呼入电话呼叫期间对不同的轻击输入提供不同的响应。在一个示例中，如果电话呼入，计算设备可以通过在扬声器上应答呼叫来响应单击，通过生成说明呼叫者的名称和电话号码的语音合成输出来响应双击，或通过使呼入呼叫静音，例如通过停止铃声或振动输出，来响应三击。
计算设备还可以对在指示新邮件、文本消息或社交网络通知到达的音频或振动输出后的轻击输入或其他基于力的输入提供不同的响应。例如，计算设备可以通过向用户生成识别消息的发送者或读取消息的语音合成输出响应、或生成识别呼叫者或消息发送者是否在高价值联系人的清单上的振动输出或其他输出，来响应不同的轻击输入或其他基于力的输入。在其他示例中，计算设备可以通过响应于诸如Web搜索、地图搜索或道路导航的语音输入而使用语音合成音频输出打开交互式应用，来响应不同的轻击输入或其他基于力的输入。
在其他示例中，计算设备可以响应于基于力的输入，生成除音频或振动输出外的其他类型的非视觉响应，潜在地结合音频或振动输出。在各种示例中，计算设备可以通过以下来响应不同的基于力的输入：生成输出来调查基于位置应用上的位置；打开本地共享组来与其他本地计算设备共享文件或其他数据；开始或停止路线跟踪应用中的位置跟踪路线(通过GPS、Wi-Fi导航等等跟踪)；与远程控制应用交互，诸如锁定或解锁用户的车辆或起动发动机；或打开或关闭用户的TV；打开具有转录的音频记录器，其可能包括保存到记事本或字处理应用或打开电子邮件应用并且转录成电子邮件消息草稿。
计算设备可以具有与不同的基于力的输入相对应的非视觉响应的初始缺省设置。计算设备还可以使其能够生成可由用户配置的与不同的基于力的输入相对应的非视觉响应。在一个示例中，计算设备可以具有初始缺省设置用于通过生成陈述一天的当前时间的语音合成输出来响应单击、通过生成陈述来自日历应用的一天的剩余事件的语音合成输出来响应双击、以及通过生成说明当前本地天气预报的语音合成输出来响应三击。计算设备可以为用户提供重新配置对这些输入产生的响应并且对加速度计、压缩传感器或其他力传感器设置用于输入模式的任何其他相应功能的选项，潜在地视其他传感器输入或状态而定。在图1中示出实现诸如上述的特征的计算设备的示例。
图1是图上根据本发明的方面的用户1与被配置成响应于基于力的输入而生成非视觉输出的示例性计算设备10交互的立体图。在该视图中，计算设备10在用户的口袋中。如图1的示例所示，用户轻击用户的口袋内的计算设备10，计算设备10将其检测和解释为轻击输入14。轻击输入14可以包括单击、二次或以上轻击、挤压、指示移动计算设备摇动的振动加速度、或施加到计算设备10的其他力或运动模式。计算设备10可以将轻击输入14与可以与可由移动计算设备10执行的一个或多个相应功能相关联的所存储的基于力的输入参数进行比较。
例如，轻击输入14可以是包括单击接着双击的序列。在该示例中，计算设备10可以将单击输入与使用来自时钟应用的数据来输出当前时间的相应功能相关联，同时计算设备10可以将双击输入与使用来自电子邮件应用的数据来输出来自或关于当前接收的电子邮件的信息的相应功能相关联。响应于确定所检测的力与相应输入、即与相应功能相相关联的所存储的输入参数匹配，计算设备10执行相应的功能，在本示例中，即输出当前时间或关于当前接收的电子邮件的信息。执行相应功能包括计算设备10基于相应功能来生成非视觉输出，诸如在本示例中，计算设备10生成当前时间和关于新接收的电子邮件的信息的语音合成音频输出16。在其他示例中，计算设备10可以例如通过使用来自文本消息应用的数据利用来自新接收的文本消息的信息、或使用来自社交网络应用的数据利用来自新接收的社交网络更新的信息来生成语音合成音频输出，响应单击或双击或其他基于力的输入。
在另一示例中，计算设备10可以从在初始轻击输入后、或计算设备10响应首次输入后的一段时间内的后续轻击输入，来解释不同输入。例如，用户可以轻击计算设备10来输入第一输入以使计算设备10生成音频输出，诸如当前时间，然后用户可以在初始音频输出后的一段时间内输入另外的一个或多个轻击，诸如后续单击，以使计算设备10生成用于即将到来的约会的日历信息的音频输出。可以扩展这些输入和输出响应，使得在日历音频输出后的某一段时间内的另一单击输入可以使计算设备10生成又一输出，诸如关于新收到的电子邮件或当前股票行情数据的信息。计算设备10还可以使用于这些基于力的输入的序列的输入和输出是用户可配置的。在一些示例中，计算设备10可以定义用于接受下一轻击输入的时间段，使得不能在前一轻击后太快开始以防止与双击输入冲突，并且使得不会延长太长以防止与稍后的无关轻击输入或随机运动冲突。
计算设备10可以包括用于区分不同轻击输入或其他基于力的用户输入与目的不在得出非视觉输出的基于力的输入的普通运动的逻辑。计算设备10还可以将上下文的各个方面中的任何一个用作将预期基于力的输入与非输入运动区分的一部分。例如，当计算设备10上的静音按钮被设置成静音时，计算设备10可以抑制处理用于生成音频输出的检测力。作为另一示例，计算设备10可以确定当可操作地连接到移动计算设备的存在敏感显示器(图1中未示出)处于激活状态或失活状态时，例如关闭或锁定存在敏感显示器，或当一对耳机或其他外部音频设备插入音频插孔时，使得计算设备10具有处于失活状态的缺省音频扬声器，计算设备10可以确定是否应用力。
如果计算设备10确定诸如存在敏感显示器或缺省音频输出系统的给定输出部件处于激活状态，计算设备10也可以抑制处理用于生成音频输出的检测力。在涉及存在敏感显示器的上述示例中，如果计算设备10确定在存在敏感显示器处于失活状态时施加力，则计算设备10可以作为响应而执行相应的功能和生成非视觉输出。计算设备10可以将存在敏感显示器维持在失活状态，同时生成非视觉输出。在涉及耳机的上述示例中，仅在确定耳机插入音频插孔的同时施加力时，计算设备10可以生成音频输出。例如，在本示例中，只有在用户输入适当的轻击输入时耳机插入计算设备10中的情况下，基于向用户大声读出电子邮件的对电子邮件的文本语音处理，计算设备10才生成音频输出。
计算设备10将其输出至少部分地基于存在敏感显示器是否处于失活状态或耳机是否插入音频插孔是上下文敏感输出模式的说明性示例。计算设备10可以应用各种其他上下文敏感输出模式来响应于基于力的输入而确定用于输出的输出通道。例如，其他上下文敏感输出模式可以包括所选蓝牙、NFC、WiFi或其他电磁信号的存在与否。在各个示例中，计算设备10可以经由蓝牙或其他通信链路与附近汽车立体声系统、家庭立体声系统或其他音频播放器系统建立通信连接，并且可以经由该通信链路发送其音频输出以便由所连接的音频系统输出。作为上下文敏感输出模式的另一示例，计算设备10可以通过加速度计、WiFi网络、GPS传感器等等中的一个或多个来检测其是否正以机车的速度和运动特性移动，并且可以至少部分地基于检测到机车上下文或“驾驶模式”可用来生成音频输出。
在一些示例中，可以组合各种上下文敏感输出模式。例如，可以将计算设备10配置成识别来自用户自己的车辆的蓝牙信号，并且仅响应于来自用户车辆的蓝牙信号、或当计算设备10正处于移动车辆中并且耳机被插入音频插孔时，才开始生成音频输出。计算设备10由此可以避免当用户正乘坐公共汽车或轻轨时大声地生成音频输出。计算设备10还可以提示用户在响应音频输出前确认、诸如通过询问“准备好大气读出电子邮件？”和只有接收到作为响应的某一确定性基于力的用户输入，诸如双击才继续。在各个示例中，计算设备10可以使得能够由用户配置这些设置中的每一个。
因此，计算设备10可以接受基于力的用户输入并且通过生成音频输出或其他非视觉输出来响应。作为非视觉输出的另一示例，计算设备10可以响应于特定基于力的用户输入而生成振动输出，诸如一次或二次振动来通信信息。例如，计算设备10可以被配置成使得当用户输入特定的基于力的输入，诸如一组双击时，计算设备10检测用户将日历应用中的日历邀请已经发送到的某一联系人是否已经发送接受日历邀请的答复。例如，计算设备10可以被配置成如果该联系人已经发送接受该日历邀请的答复，输出多个振动周期，如果该联系人还未答复，输出一组两个振动周期，或如果该联系人答复来拒绝日历邀请，输出一组三个振动周期，来响应该基于力的输入。
响应于基于力的用户输入而而生成作为非视觉输出的振动输出可以使计算设备10在一些上下文中能够提供可以比显示屏上输入输入和查看输出更实际和/或更社交方便的用户交互的简单和巧妙模式。计算设备10可以为用户提供配置基于力的输入和相应的非视觉输出来涉及更宽范围的特定信息和/或用于与任何类型的软件应用交互中的任何一个的能力。
计算设备10可以合并或可操作地连接到能检测施加到计算设备的力的诸如加速度计、压缩传感器或声传感器的多个不同传感器中任何一个，并且可以使用来自一个或多个传感器的输入来确定所检测的力是否与基于力的输入一致和匹配。计算设备10可以评估随时间的检测力的属性，并且可以应用过滤和处理检测力的不同步骤，诸如通过初始地筛选用于任何潜在有效力检测事件的传感器输入，并且对这样的潜在的有效力检测事件执行进一步处理或分析来确定它们是否与用于相应的基于力的输入的存储简档匹配。计算设备10还可以将潜在有效力检测事件与其操作上下文的其他方面进行比较，诸如是否在还未应答的呼入电话呼叫期间检测到力，或在计算设备10已经生成用于收到的文本消息或电子邮件的提醒后不久，如下进一步所述。
计算设备10可以被实现为各种不同形式，诸如智能电话、平板电脑、膝上型、笔记本、可穿戴式计算设备或其他移动计算设备。计算设备10还可以使用网络接口连接到有线或无线网络。下面相对于后续图进一步详细地描述示例性计算设备的另外的细节。
图2是图示根据本发明的方面的被配置成响应基于力的输入而生成非视觉输出的示例性移动计算设备10的示意图。图2中的计算设备10是图1中的计算设备10的示例性实现。本公开的计算设备可以被实现为各种形式，诸如智能电话、平板计算设备、可穿戴式计算设备等等，并且可以包括除图1所示外的另外的组件，或省略图2中所述的一个或多个组件。
在该示例中，如图2所示的计算设备10包括加速度计222、压缩传感器224和声传感器226。计算设备的其他示例可以包括能感测加速度、振动或施加力的其他指示的这些和其他传感器中的一个或多个。计算设备10还包括一个或多个处理器200、存储器202、网络接口204、一个或多个数据存储设备206、电源208、一个或多个麦克风210、一个或多个扬声器212、一个或多个相机214和存在敏感显示器12，其可以是触摸屏或其他存在敏感显示器。组件222、224、226、200、202、204、206、208、210、212、214和12中的每一个可以以用于组件间通信的各种物理和/或通信连接手段中的任何一个互连(物理地、通信地和/或可操作地)。
计算设备10具有存储在一个或多个存储设备206上并且可以在一个或多个处理器200上执行的操作系统190。操作系统190在各种示例中可以控制计算设备10的组件的操作的方面，并且便于高级软件应用的操作。在该示例中，计算设备10具有可以包括可由计算设备10执行的非视觉输入/输出(I/O)应用120的应用185。非视觉I/O应用120可以包括执行或便于检测施加到计算设备10的力、确定所施加的力是否与用于基于力的输入的存储参数匹配、在必要的情况下从其他源或应用手机数据或输出来响应基于力的输入、以及输出基于力的输入的非视觉响应、或本公开的任何其他方面(作为参考的简略术语，可统称为“非视觉I/O”)的所有或任何一个的可执行指令。在一个示例中，操作系统190便于视觉I/O应用120与加速度计222、压缩传感器224和声传感器226、处理器200、存储器202、网络接口204、数据存储设备206、电源208、一个或多个麦克风210、一个或多个扬声器212、一个或多个相机214和存在敏感显示器12中的任何一个或所有的交互。
如图2所示，非视觉I/O应用120可以包括输入模块122和输出模块124。例如，输入模块122可以包括负责检测施加到计算设备10的力并且确定所施加的力是否与相应的基于力的输入匹配的可执行代码的部分，以及输出模块124可以包括负责执行相应的功能和基于相应的功能来生成非视觉输出的可执行代码的部分。
非视觉I/O应用120、输入模块122和输出模块124可以每个都包括可由计算设备10或计算设备10的一个或多个处理器200中的至少一个执行的程序指令和/或数据。例如，非视觉I/O应用120、输入模块122和/或输出模块124可以包括使计算设备10执行在本公开中所述的操作和动作中的任何一个或多个的计算机可执行软件指令。在各个示例中，操作系统190和浏览器应用120可以包括存储在一个或多个数据存储设备206并且由一个或多个处理器200读取并执行或处理的代码和/或数据，并且在该过程中，可以至少临时存储在存储器202中。
在计算设备10的该说明性实现中，操作系统190可以包括操作系统内核192，其例如可以包括各种设备驱动器、内核扩展和内核模块。操作系统190还可以包括库集180或与库集180交互，其可以包括各种或多或少的标准、专用、开源和/或专有库。这些可以包括专用库，诸如非视觉I/O框架182，其可以执行或支持根据在此所示的示例中的任何一个的非视觉I/O功能。
在计算设备10的说明性实现中，操作系统190还可以包括运行时间194或与运行时间194交互，其可以包括各种核心库196和/或虚拟机194，在示例性实现中，其可以是Dalvik虚拟机。虚拟机198可以抽象计算设备10的某些方面和特性并且允许高级应用185运行在虚拟机198之上，使得高级应用185中的软件代码可以编译成将由虚拟机198执行的字节代码。计算设备10还可以具有在可以包括便于执行在应用框架130之上执行应用185的资源的运行时间194和库180上执行的应用框架130。其他实施例可以包括操作系统内核192和上层应用185之间的软件栈的其他元件。
应用框架130例如可以包括非视觉I/O管理器132，其本身可以包括执行或便于检测施加到计算设备10的力、确定所施加的力是否与用于基于力的输入的存储参数匹配、在需要的情况下从其他源或应用收集数据或输出来响应基于力的输入、以及生成对基于力的输入的非视觉响应或本公开的任何其他方面中的任何一个或全部的可执行指令。计算设备10可以通过非视觉I/O应用120、应用框架130中的非视觉I/O管理器132、库180中的非视觉I/O框架182或包括在或可由计算设备10可操作访问的软件栈的任何其他元件中的任何一个或全部来执行或便利这些或其他非视觉I/O功能中的任何一个。
在各个示例中，用于诸如非视觉I/O应用120的应用或软件元件的可执行指令可以用可计算设备10执行为本原代码的C编写；或可以用Java编写，然后汇编成将由虚拟机198执行的虚拟机可执行字节代码。作为一个说明性示例，库180可以包括标准C库(libc)，其可以提供C函数的本原支持。在不同实现中，操作系统190和/或虚拟机198可以能够执行以诸如Objective-C、C#、C++、Go、JavaScript、Dart、Python、Ruby或Clojure的各种其他语言编写的代码，例如本原地或编译成虚拟机可执行字节代码或编译成计算设备10的CPU本原的汇编语言或机器代码。各种示例可以不使用虚拟机，并且使用在计算设备10C上本原地运行或使用一些其他技术、编译器、解释器或用于将高级语言解释成在计算设备10本原地运行的代码的抽象层的应用。
GUI框架182、库180或操作系统190或应用185下的软件栈的其他方面可以包括用于提供用于执行非视觉I/O(例如根据上述示例中的任何一个，检测基于力的输入和基于与相应的基于力的输入匹配的功能来生成非视觉输出)的功能中的任何一个或全部的代码，以及可以在用于应用185的基础层抽象该功能。因此，用于实现本公开的方面中的任何一个的功能的代码可以包括在计算设备10上运行的或由计算设备10可操作访问的整个软件栈的任何一层或部分中，诸如在Web应用或在计算设备10外的资源上执行但诸如经由无线连接上的HTTP与计算设备10交互的其他程序中。
在各个示例中，计算设备10还可以具有操作系统190本原的并且在操作系统190之上运行、并且旨在提供自动化或便于访问一个或多个API的高级应用的资源的各种应用编程接口(API)。这些一个或多个API可以包括对象库或其他库、工具集或框架，并且可以与用于编写应用的本原编程环境相关联。除在图2所述的示例性组织外，计算设备10C还可以具有API、库、框架、运行时间和/或与操作系统190相关联或构建在其之上的虚拟机的不同特定组织。
因此，诸如非视觉I/O应用120的高级应用可以利用由操作系统190、OS内核192、库180、非视觉I/O框架182、运行时间194、核心库196、虚拟机198或其他编译器、解释器、框架、API或其他类型的资源、或上述的任意组合提供的各种抽象、属性、库或低层功能中的任何一个，由此计算设备10被配置成使能诸如检测基于力的输入并且基于与相应的基于力的输入匹配的功能来生成非视觉输出的功能，或在此所述的其他功能。
在各个示例中，一个或多个处理器200可以被配置成实现用于在计算设备10内执行的功能和/或过程指令。例如，处理器200能处理存储在存储器202中的指令或存储在数据存储设备206上的指令。计算设备10可以包括多个处理器，并且可以在不同处理器中划分某些任务。例如，处理器200可以包括中央处理单元(CPU)，其可以具有一个或多个处理内核。处理器200还可以包括一个或多个图形处理单元(GPU)和/或另外的处理器。处理器200可以被配置成用于多线程处理。根据某些标准，诸如优化用户体验，处理器200和/或操作系统190可以在不同处理器或处理器内核中划分任务。还可以在软件和硬件的不同层中划分各种任务或任务部分。
在各种示例中，存储器202可以被配置成在操作期间将信息存储在计算设备10内。在各种示例中，存储器202可以是计算机可读存储介质。在各种示例中，存储器202是临时存储器，以及计算设备10更依赖于一个或多个数据存储设备206，而不是用于长期存储的存储器202。在各种示例中，存储器202可以是易失性存储器，意指只要断电，诸如当关闭计算设备10时，存储器202可以不长持续时间地保存所存储的内容。可以表征存储器202的易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和其他形式的易失性存储器。在各种示例中，存储器202可以用来存储由处理器200执行的程序指令。在各种示例中，存储器202可以由在计算设备10上运行的软件或应用使用来在执行应用期间临时存储数据和/或软件代码。
在各种示例中，一个或多个数据存储设备206可以包括计算机可读存储介质或多个计算机可读存储介质。数据存储设备206可以被配置成存储比存储器202更大量的信息。数据存储设备206可以进一步被配置成长期存储信息。在各种示例中，数据存储设备206包括非易失性存储元件。这样的非易失性存储元件的示例包括磁硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)存储器的形式。在其他示例中，存储器202还可以被配置用于长期数据存储，各种技术中的任何一个可以模糊存储器和数据存储之间以及易失性和非易失性之间的界限。存储器202和数据存储设备206还可以包括可以合并在处理体系结构的各种层中的任何一个并且具有各种时延和容量轮廓的各种高速缓存、缓冲器和其他临时存储器(包括处理内核或处理芯片专用的专用高速缓存)中的任何一个。
在各种示例中，计算设备10也可以包括网络接口204。在一个示例中，计算设备10C利用网络接口204来经由可以包括一个或多个无线网络的一个或多个网络与诸如服务器或数据中心的外部设备通信。网络接口204可以是或包括网络接口卡，诸如以太网卡、光收发器、射频收发器或被配置成发送和接收信息的任何其他类型的组件。这样的网络接口的其他示例可以包括为移动计算设备配置的3G、4G、LTE和无线电，以及USB。在各种示例中，计算设备10可以使用网络接口204来与诸如可以向计算设备10提供数据的服务器或数据中心的外部设备通信。
在各种示例中，计算设备10还可以包括一个或多个输入和/或输出设备，诸如存在敏感显示器12C。存在敏感显示器12C可以包括液晶显示器(LCD)显示屏或使用另一种图形输出技术的显示屏。存在敏感显示器12C还可以是触摸屏，其可以包括对触摸的存在敏感并且被配置成将触摸手势输入的位置、以及随时间改变位置的触摸手势输入的运动转换成提供给驾驶员用于接收有关手势输入的信息的触摸屏或其他特征的信号的电容层。在其他示例中，存在敏感显示器12还可以是另一种存在敏感显示器。
计算设备10还可以包括或被配置成与诸如物理按钮、物理键盘、鼠标、触控板、跟踪球、语音用户接口系统、振动部件、声卡、视频图形适配卡或用于检测和/或解释来自用户的输入或用于将信号转换成图形、音频、触觉或能由用户感知的其他形式的用户输出的形式的任何其他类型的设备的各种其他输入和/或输出设备中的任何一个连接。
在各种示例中，计算设备10C可以包括可充电并且向计算设备10C供电的一个或多个电源208。在各种示例中，电源208可以是锂离子电池、镍镉电池、镍氢电池或其他适当的电源。
计算设备10还可以包括一个或多个力敏感传感器，诸如加速度计222、压缩传感器224、声传感器226、陀螺仪或能检测加速度、压缩、振动、旋转或施加到计算设备10的力的其他指示的其他类型的传感器。加速度计222可以测量计算设备10的任何加速度，因此检测施加到计算设备10的任何净力，包括来自用户轻击计算设备10上的任何位置的净力，包括通过口袋、手提包或其他中间材料。压缩传感器224可以检测计算设备10或计算设备10的表面的一个或多个部分的压缩力，并能检测以施加到计算设备10的压缩或挤压动作的形式的施加力。声传感器226能检测以机械或声振动的形式的施加力，其可以包括通过用户施加力的表面与计算设备10之间的中间材料传送的振动。例如，计算设备10可以位于用户的口袋中或手表或臂带形式，并且通过从轻击区域经由用户的身体(例如用户的骨骼系统)传送到计算设备10的声波振动，检测用户何时轻击用户的身体的另一区域。计算设备10可以包括多个加速度计222、压缩传感器224和/或声传感器226，并且可以使用这些类型的传感器中的一种的一个或多个传感器或多种这些传感器的一个或多个传感器，任何一个可以便于这样的基于力的输入信号的可靠检测和处理。
图3-6分别是根据本发明的方面的与可以由加速度计、压缩传感器、声传感器、陀螺仪或可操作地连接到移动计算设备的其他传感器检测的基于力的输入相对应的随时间的力或加速度的示例图30、40、50和60。图30、40、50和60中的每一个示出如由诸如加速度计222等的传感器在计算设备10上检测的随时间的力的度量。力传感器可以将由图30、40、50和60表示的检测力数据通信到图2的计算设备10的其他元件，诸如处理器200，以将由图30、40、50和60表示的数据与所存储的基于力的输入的参数进行比较来确定检测力数据是否与相应的输入中的一个匹配。尽管图30、40、50和60未标记单位，但根据用户界面工程实践，可以校准用于基于力的输入的随时间的力的适当用户输入轮廓的单位时间的细节，并且可以根据用于轻击或其他输入的典型用户行为和给定计算设备对这样的基于力的用户输入的系统响应来校准用于基于力的用户输入的存储参数。
图3示出在大多数时间接近0(包括轻微振动或周围低电平运动)、但在与用户在计算设备10上的两次轻击的序列(不管直接还是通过中间材料)一致的信号32处的两个相近的不同峰值的由计算设备10随时间检测的施加力的图案。在一些示例中，计算设备10可以首先过滤出轻微运动，诸如在信号32外的图形30上的那些运动，因为太小而不能记录为用户输入，使得计算设备10在执行力信号的基本处理上不会消耗太多处理动作和能力，并且将错误肯定处理为用户输入。例如，如果用于施加力的信号是作为良好候选信号的正确强度和持续时间，计算设备10可以根据更严格的数学方法处理信号以与用户输入信号的存储参数进行比较，其可以基于分析规则系统或由机器学习技术在样本用户输入上训练的系统。计算设备10还可以响应于候选信号而执行进一步步骤，诸如比较计算设备10的当前操作上下文的其他方面，诸如电话呼叫是否是当前正呼入或显示器是否激活。
计算设备10可以具有用于与图3中所示的施加力信号32相对应的双击序列的基于力的用户输入的一个存储参数集。特定相应输入，即与信号32的传感器数据匹配的特定的相应存储参数集可以是对任何应用的任何输入。例如，特定相应输入也可以具有可以由操作系统190确定或由计算设备10的厂家预先选择的初始缺省输入，以及可以对用户选择的任何其他输入自由地用户配置。当检测到信号32时，也可以基于当前操作上下文，不同地选择特定相应输入，使得信号32可以被解释为缺省上下文中的一个输入，或当新的电话呼叫正呼入时的第二输入，或当来自其他传感器的同时数据表明用户当前正驾驶汽车时的第三输入。具体地，例如，通过生成当前时间和关于任何新近接收的电子邮件或文本消息的信息的音频输出，缺省上下文的缺省设置可以响应信号32的双击输入。例如，如果当计算设备10接收信号32的双击输入时，新电话呼叫当前正呼入，在该上下文中的缺省设置可以生成识别呼叫者的音频输出。例如，如果计算设备10在检测到用户当前正驾驶汽车，诸如通过与汽车通信，或通过经由位置传感器(例如GPS和/或WiFi位置传感器)检测以典型车速的运动并且识别到特定车辆属于用户的同时，接收到信号32的双击输入，计算设备10可以通过生成用于街道导航语音用户界面的音频输出来响应。也可以以用于与信号32的检测力相对应的基于力的用户输入进行响应的这些上下文的任何一个中，使用或选择任何其他相应的功能和输出。
类似地，可以选择任何缺省或用户可配置功能和输出来对应于诸如由图4的图40中的信号42(对应于用户的三击序列)、图5的图50中的信号52(对应于用户摇动计算设备10)、图6的图60中的信号62(对应于用户的单击)或其他信号表示的其他用户输入。作为另一示例，计算设备10还可以将对本身的不同部分的轻击解释为不同输入，例如，可以区分其前后的轻击，或侧沿或角的轻击，以及基于那些不同输入来应用不同的非视觉响应。例如，计算设备10可以通过对计算设备10的本体内的不同方位或不同位置中的加速度计的输入来区分这些输入。图3-6中所示的信号是示例，但信号的任何其他类型或图案也可以被保存为用户输入参数并且可以被解释为相应的用户输入。其他示例也可以合并来自各种基于力的传感器的信号，诸如对应于一个或多个压缩传感器的一次或多次挤压或压缩的信号。关于对应于图6中的单击的检测力，在一些示例中，计算设备10可以仅在特殊操作上下文中，诸如在呼入电话呼叫期间(例如当电话铃响时)，才对该输入应用缺省响应，但在缺省操作上下文中不施加动作，因为单一、临时力有时很可能来自普通运动，使得在普通上下文中避免响应有助于防止当不是用户预期输入时将周围运动解释为错误的肯定。
图7描述根据本发明的方面的具有图形用户界面(GUI)20并且为用于响应于基于力的输入而生成非视觉输出的非视觉I/O应用120的示例性用户配置界面22的代表性部分来输出GUI内容的计算设备10。计算设备10在可以是触摸屏的存在敏感显示器12上呈现GUI20。如在存在敏感显示器12上所示，用户配置界面22包括各种操作上下文，以及在每一操作上下文下列出的各种基于力的用户输入，以及可以分配给每一对应的基于力的输入的相应非视觉输出功能。如图7所示，用户配置界面22当前所示的示例设置包括缺省上下文和“呼入呼叫”上下文。如图7中进一步所示，分配给在缺省上下文下的各种基于力的输入的非视觉输出功能包括用于单击的当前时间的音频输出(对应于图6中的检测力信号62)；对应于双击输入的关于新近接收的电话呼叫、文本消息和电子邮件的信息的音频输出(对应于图3中的检测力信号32)；以及响应于三击输入的关于未决日历项的信息的音频输出(对应于图4中的检测力信号42)。图7还示出当前未分配缺省上下文下的单一挤压输入和摇动输入，并且分配当前呼入电话的上下文下的单一轻击来生成表示呼叫者的音频输出。
用户配置界面22还可以向下滚动来展示在呼入电话呼叫上下文或各种其他操作上下文中的任何一个下的许多另外的输入/输出分配。用户配置界面22还可以包括用户添加另外的输入和分配相应的功能和输出的选项。可以使得用户能够从列表选择另外的输入，或通过计算设备10运动学地定义新的基于力的输入，记录用户向其施加何种力图案，以生成新的用户定义的基于力的输入。计算设备10还可以使用户能够定义响应于被选输入而将生成的任何非视觉输出，并且可以提供工具来允许用户将任何应用的功能与本公开的非视觉I/O系统集成并且将任何应用的功能分配为非视觉I/O系统集成并响应于基于力的用户输入而生成的输出。
对于一个或多个预存或用户定义的非视觉I/O选择，计算设备10可以存储与多个力输入相关联的多个力参数，使得确定检测力与相应的输入匹配包括将检测力与和多个力输入相关联的力信号参数比较，诸如图3-6所述。
计算设备10还可以使得能够结合基于力的输入来区分和确定指示各种另外的操作上下文的各种一个或多个另外的输入。计算设备10可以还在接收施加到计算设备10的检测力的指示的定义时间间隔内接收一个或多个另外的输入的指示，并且至少部分地基于一个或多个另外的输入来生成非视觉输出。例如，计算设备10可以检测是否存在来自存在敏感显示器的指示与存在敏感显示器的大面积接触的输入，诸如用户是否正应用她的手掌或她的手的大面积来向触摸屏施加轻击，其可以是例如输入基于力的输入的用户意图的有用的另外指示。作为另一个示例，计算设备10可以检测来自光传感器的输入，并确定光传感器输入是否指示低于所选择的阈值的光水平。然后，计算设备10可以对用户处于黑暗中，诸如当用户晚上在床上时，应用不同的操作上下文。例如，在该上下文中的示例性差异I/O响应可以是将所选择的基于力的输入解释为使计算设备10静音，或生成确认闹钟打开并且为其设置的时间的音频输出。
作为按操作上下文来转变非视觉I/O响应的另一示例，诸如在语音用户界面导航功能期间，计算设备10可以比较来自磁场传感器的输入并且基于由磁场传感器指示的行进方向来应用不同的非视觉输出。作为另一示例，计算设备10可以检测来自近场通信(NFC)标签传感器的一个或多个另外的输入并且基于所检测的NFC标签来修改非视觉I/O响应。
另外，响应于基于力的用户输入，可以生成多种非视觉输出中的任何一个。一些示例可以使用力输入来激活语音用户界面，使得用户可以轻击计算设备，然后发出语音输入，并且计算设备可以通过音频输出来响应，包括涉及搜索和导航的功能。在这种情况下，响应于检测发起语音用户界面模式的相应的基于力的用户输入，计算设备可以将语音输入检测为执行相应功能的一部分。例如，计算设备10可以接收语音输入并且对语音输入执行语音文本功能，以基于语音输入来生成文本查询。在一个示例中，然后，计算设备10可以将文本查询输入到搜索应用，其中，生成非视觉输出包括生成Web搜索的结果的语音合成音频输出。作为另一示例，然后，计算设备10可以至少部分地基于一个或多个位置传感器来确定当前位置，并且至少部分地基于文本查询和当前位置来执行基于位置的搜索，其中生成非视觉输出包括生成基于位置的搜索的结果的语音合成音频输出。作为又一示例，然后，计算设备10可以至少部分地基于一个或多个位置传感器来确定当前位置，并且通过导航应用来至少部分地基于文本查询和当前位置执行基于位置的导航路线搜索，其中，生成非视觉输出包括生成基于位置的导航路线搜索的结果的语音合成音频输出。
计算设备10还可以发出各种其他非视觉输出中的任何一个，利用各种应用、数据源或其他资源的任何一个。例如，计算设备10可以使用来自新闻应用的数据生成新闻的语音合成音频输出，或使用来自金融数据应用的数据生成金融信息的语音合成音频输出，或使用来自电话应用的数据生成具有关于呼入电话的识别信息的语音合成音频输出。计算设备10可以应用各种其他形式：接收语音输入、对语音输入执行语音文本功能来基于语音输入生成文本并且将文本输入到应用、基于语音输入从应用得出某种形式的响应输出或数据。
计算设备10还可以在非视觉I/O响应中应用各种基于位置的功能。例如，计算设备10可以响应于检测到基于力的用户输入而执行相应的功能，其中，相应的功能包括至少部分地基于一个或多个位置传感器来确定当前位置，并且至少部分地基于位置来执行另外的功能或生成输出。例如，这可以包括在路线跟踪应用的当前位置，开始或停止所记录的跟踪，提供与当前位置相关的本地广告内容，在基于位置的社交网络应用中提供当前位置的用户登记，或在地理藏宝应用中标记当前位置。
计算设备10还可以将语音输入记录和输入到各种应用中的任何一个，作为响应于检测基于力的用户输入而执行相应的功能的一部分。例如，这可以包括与电子邮件应用、文本消息应用或字处理应用交互。计算设备10可以执行另外的功能，诸如基于语音输入来发送包括所输入的文本的电子邮件或文本消息，或将文本保存在字处理文件中。
图8是图示根据上述示例的任何一个的可以由诸如图1、2和7的计算设备10的计算设备和/或其任何一个或多个处理器执行或实现的用于响应于与所检测的力相对应的输入而生成非视觉输出的非视觉I/O系统的示例性过程300或方法的流程图。过程300仅是一个示例，并且其他实现可以包括比图8所述的更多或更少的方面。
在过程300，计算设备10或其处理器200可以执行指令，诸如非视觉I/O应用120的指令。在该示例中，计算设备10的可操作地连接到计算设备10的传感器(例如加速度计222、压缩传感器224、声传感器226)或检测施加到计算设备10的力，并且传递指示所检测的力的数字信号或其他数据。计算设备10或处理器200接收施加到计算设备10的力的该指示(302)。计算设备10或计算设备10的一个或多个处理器200确定所检测的力和计算设备10将其与由计算设备10可执行的对应功能相关联的相应输入匹配(304)。例如，所检测的力的可以通过与通过一次或多次轻击、挤压或摇动并且在相互的时间间隔内的用户轻击、挤压或摇动计算设备10一致的力参数来表征。计算设备10可以将具有不同力参数的不同力输入与不同的相应功能相关联，使得可以由不同力输入指示相应功能中的每一个，如上参考图3-7所述。然后，计算设备10或一个或多个处理器200响应于确定所检测的力与相应的输入匹配而生成基于相应功能的非视觉输出(306)。计算设备可以进一步执行上面参考图1-7所述的功能和过程中的任一个。
示例1.一种方法，包括：由计算设备接收施加到所述计算设备的检测力的指示；由所述计算设备确定所述检测力与所述计算设备将其与可由所述计算设备执行的相应功能相关联的相应输入匹配；以及由所述计算设备响应于确定所述检测力与所述相应输入匹配而基于所述相应功能来生成非视觉输出。
示例2.如示例1所述的方法，进一步包括：由所述计算设备确定当可操作地连接到所述计算设备的存在敏感显示器处于失活状态时所述力被施加到所述计算设备；以及由所述计算设备响应于确定所述力与所述相应输入匹配并且在所述存在敏感显示器处于失活状态时所述力被施加到所述计算设备而生成所述非视觉输出。
示例3.如示例1至2中的任何一个所述的方法，进一步包括：由所述计算设备从可操作地连接到所述计算设备的传感器接收所述检测力的所述指示，所述传感器包括加速度计、压缩传感器和声传感器中的至少一个。
示例4.如示例1至3中的任何一个所述的方法，其中，所述计算设备将其与所述相应功能相关联的所述相应输入与单击一致。
示例5.如示例1至3中的任何一个所述的方法，其中，所述计算设备将其与所述相应功能相关联的所述相应输入与在前输出后的一时间间隔内的后续轻击一致。
示例6.如示例1至3中的任何一个所述的方法，其中，所述计算设备将其与所述相应功能相关联的所述相应输入与挤压一致。
示例7.如示例1至3中的任何一个所述的方法，其中，所述计算设备将其与所述相应功能相关联的所述相应输入与指示所述计算设备被摇动的振动加速度一致。
示例8.如示例1至7中的任何一个所述的方法，进一步包括：由所述计算设备存储与多个力输入相关联的多个力参数，其中，确定所述检测力与所述相应输入匹配包括将所述检测力与和所述多个力输入相关联的所述多个力参数中的力参数进行比较。
示例9.如示例1至8中的任何一个所述的方法，进一步包括：由所述计算设备在接收被施加到所述计算设备的所述检测力的所述指示的定义时间间隔内接收一个或多个另外的输入的指示，其中，由所述计算设备生成所述非视觉输出还至少部分地基于所述一个或多个另外的输入。
示例10.如示例9所述的方法，其中，所述一个或多个另外的输入包括下述中的至少一个：来自位置传感器的指示位置和速度中的至少一个的输入；来自网络接口的指示位置和速度中的至少一个的输入；来自全球定位系统接口的指示位置和速度中的至少一个的输入；来自光传感器的指示光水平的输入；以及来自磁场传感器的指示速度和方位中的至少一个的输入。
示例11.如示例1至10中的任何一个所述的方法，进一步包括：由所述计算设备接收语音输入；由所述计算设备对所述语音输入执行语音文本功能来基于所述语音输入生成文本查询；以及由所述计算设备将所述文本查询输入到web搜索应用，其中，生成所述非视觉输出包括生成web搜索的结果的语音合成音频输出。
示例12.如示例1至10中的任何一个所述的方法，进一步包括：由所述计算设备接收语音输入；由所述计算设备对所述语音输入执行语音文本功能来基于所述语音输入生成文本查询；由所述计算设备至少部分地基于一个或多个位置传感器来确定当前位置；以及由所述计算设备至少部分地基于所述文本查询和所述当前位置来执行基于位置的搜索，其中，生成所述非视觉输出包括生成基于位置的搜索的结果的语音合成音频输出。
示例13.如示例1至10中的任何一个所述的方法，进一步包括：由所述计算设备接收语音输入；由所述计算设备对所述语音输入执行语音文本功能以基于所述语音输入来生成文本查询；由所述计算设备至少部分地基于一个或多个位置传感器来确定当前位置；以及由所述计算设备利用导航应用至少部分地基于所述文本查询和所述当前位置来执行基于位置的导航路线搜索，其中，生成所述非视觉输出包括所述基于位置的导航路线搜索的结果的语音合成音频输出。
示例14.如示例1至10中的任何一个所述的方法，其中，生成所述非视觉输出包括生成包括下述中的至少一个的语音合成音频输出：使用来自时钟应用的数据的当前时间；使用来自新闻应用的数据的新闻；以及使用来自金融数据应用的数据的金融信息。
示例15.如示例1至10中的任何一个所述的方法，其中，生成所述非视觉输出包括使用来自电话应用的数据生成具有关于呼入电话呼叫的识别信息的语音合成音频输出。
示例16.如示例1至10中的任何一个所述的方法，其中，生成所述非视觉输出包括使用来自电子邮件应用的数据生成具有来自一个或多个电子邮件消息的信息的语音合成音频输出。
示例17.如示例1至10中的任何一个所述的方法，其中，生成所述非视觉输出包括使用来自文本消息应用的数据生成具有来自一个或多个文本消息的信息的语音合成音频输出。
示例18.如示例1至10中的任何一个所述的方法，其中，生成所述非视觉输出包括使用来自社交网络应用的数据生成具有来自一个或多个社交网络消息的信息的语音合成音频输出。
示例19.如示例1至10中的任何一个所述的方法，进一步包括：至少部分地基于一个或多个位置传感器来确定当前位置，其中，生成所述非视觉输出包括在路线跟踪应用中的所述当前位置开始或停止所记录的跟踪。
示例20.如示例1至10中的任何一个所述的方法，进一步包括：至少部分地基于一个或多个位置传感器来确定当前位置，其中，生成所述非视觉输出包括在基于位置的社交网络应用中提供对所述当前位置的用户登记。
示例21.如示例1至10中的任何一个所述的方法，进一步包括：至少部分地基于一个或多个位置传感器来确定当前位置，其中，生成所述非视觉输出包括在跟踪位置的应用中标记所述当前位置。
示例22.如示例1至10中的任何一个所述的方法，进一步包括：接收语音输入；以及对所述语音输入执行语音文本功能以基于所述语音输入来生成文本的集合，其中，生成所述非视觉输出包括将所述文本的集合输入到应用中。
示例23.如示例22所述的方法，其中，所述应用包括下述中的至少一个：电子邮件应用、文本消息应用和字处理应用，以及所述方法进一步包括下述中的至少一个：发送包括所述文本的电子邮件；发送包括所述文本的文本消息；以及将所述文本保存在字处理文件中。
示例24.如示例1至23中的任何一个所述的方法，进一步包括：至少部分地基于一个或多个位置传感器来确定当前位置，其中，生成所述非视觉输出包括提供与所述当前位置相关的本地广告内容。
示例25.一种计算设备，包括用于执行示例1-24中的任何一个所述的方法的装置。
示例26.一种计算机可读存储介质，包括可由至少一个处理器执行来实现如示例1-24中的任何一个所述的方法的指令。
如上所述，可以用可以以各种语言中的任何一个编写的软件，利用各种工具集的、框架、API、编程环境、虚拟机、库和其他计算资源中的任何一个，来实现在此所述的各种技术。例如，可以以Java、C、Objective-C、C++、Go、JavaScript、Dart、Python、Ruby、Clojure、汇编语言、机器代码或任何其他语言来编写软件代码。作为一个特定的示例，上述公开的方面可以例如用以可在图7的虚拟机198上执行的Java编写的软件模块来实现。
本公开的方面同样可以适用于并且实现在任何计算设备或任何操作系统中，并且使用任何其他API、框架和工具集。在此所述的方面用于解码和处理基于力的输入和非视觉输出的数据，其可以与任何数据存储或应用交互。当以软件或固件实现时，在此公开的各种技术可以至少部分由包括当执行时使处理器执行上述方法中的一个或多个的指令的计算机可读数据存储介质实现。例如，计算机可读数据存储介质可以存储这样的用于由处理器执行的指令。
计算机可读介质可以形成计算机程序产品的一部分，其可以包括封装材料。计算机可读介质可以包括计算机数据存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)、闪存、磁性或光数据存储介质等等。在各个示例中，制品可以包括一个或多个计算机可读存储介质。
在各个示例中，数据存储设备和/或存储器可以包括可以包含非瞬时介质的计算机可读存储介质。术语“非瞬时”可以指示不以载波或传播信号来实现存储介质。在某些示例中，非瞬时存储介质可以存储能随时间改变的数据(例如在RAM或高速缓存中)。数据存储设备可以包括可能要求定期电刷新来维护存储器中的数据的各种形式的易失性存储器中的任何一个，但本领域的普通技术人员将意识到这也构成物理、有形、非瞬时计算机可读数据存储设备的示例。当在非瞬时物理介质或设备上加载、存储、中继、缓存或高速缓存程序代码时，可执行指令存储在非瞬时介质上，包括只在短持续时间内或仅以易失性存储器格式的情况。机器可读代码可以存储在数据存储设备和/或存储器上，并且可以包括可由至少一个处理器执行的可执行指令。“机器可读代码”和“可执行指令”可以指任何形式的软件代码，包括机器代码、汇编指令或汇编语言、字节代码、C的软件代码或以可以被编译或解释成可由至少一个处理器执行的可执行指令的任何高级编程语言编写的软件代码，包括以将代码处理为待处理的数据、或使代码能够操作或生成代码的语言编写的软件代码。
代码或指令可以是由处理电路执行的软件和/或固件，所述处理电路包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他等效集成或离散逻辑电路。因此，如在此所使用的术语“处理器”可以指上述结构或适合于实现在此所述的技术的任何其他结构中的任何一个。此外，在一些方面中，在本公开中所述的功能可以在软件模块或硬件模块内提供。
上面在图1-8中描述和所示的各个实施例以及另外的实施例在下述权利要求中的一个或多个的范围内。

Claims (20)

1.一种用于对用户输入提供力触发的非视觉响应的方法，包括：
由计算设备接收施加到所述计算设备的检测力的指示；
由所述计算设备确定所述检测力与相应输入匹配，其中所述计算设备将所述相应输入与可由所述计算设备执行的相应功能相关联；
由所述计算设备接收语音输入；
响应于确定所述检测力与所述相应输入匹配，由所述计算设备对所述语音输入执行语音文本功能来基于所述语音输入生成文本；
由所述计算设备将所述文本提供给至少部分地基于所述文本执行所述相应功能的应用；以及
由所述计算设备至少部分地基于所述相应功能来生成与由所述应用执行的所述相应功能的至少一个响应相关联的音频输出。
2.如权利要求1所述的方法，进一步包括：
由所述计算设备确定当可操作地连接到所述计算设备的存在敏感显示器处于失活状态时所述力被施加到所述计算设备；以及
由所述计算设备响应于确定所述力与所述相应输入匹配并且在所述存在敏感显示器处于失活状态时所述力被施加到所述计算设备而生成所述音频输出。
3.如权利要求1所述的方法，进一步包括：由所述计算设备从可操作地连接到所述计算设备的传感器接收所述检测力的所述指示，所述传感器包括加速度计、压缩传感器和声传感器中的至少一个。
4.如权利要求1所述的方法，其中，所述相应输入与单击一致，其中所述计算设备将所述相应输入与所述相应功能相关联。
5.如权利要求1所述的方法，其中，所述相应输入与在前输出后的一时间间隔内的后续轻击一致，其中所述计算设备将所述相应输入与所述相应功能相关联。
6.如权利要求1所述的方法，其中，所述相应输入与挤压一致，其中所述计算设备将所述相应输入与所述相应功能相关联。
7.如权利要求1所述的方法，其中，所述相应输入与指示所述计算设备被摇动的振动加速度一致，其中所述计算设备将所述相应输入与所述相应功能相关联。
8.如权利要求1所述的方法，进一步包括：由所述计算设备存储与多个力输入相关联的多个力参数，其中，确定所述检测力与所述相应输入匹配包括将所述检测力与和所述多个力输入相关联的所述多个力参数中的力参数进行比较。
9.如权利要求1所述的方法，进一步包括：
由所述计算设备在接收被施加到所述计算设备的所述检测力的所述指示的定义时间间隔内接收一个或多个另外的输入的指示，
其中，由所述计算设备生成所述音频输出还至少部分地基于所述一个或多个另外的输入。
10.如权利要求9所述的方法，其中，所述一个或多个另外的输入包括下述中的至少一个：
来自位置传感器的指示位置和速度中的至少一个的输入；
来自网络接口的指示位置和速度中的至少一个的输入；
来自全球定位系统接口的指示位置和速度中的至少一个的输入；
来自光传感器的指示光水平的输入；以及
来自磁场传感器的指示速度和方位中的至少一个的输入。
11.如权利要求1至10中的任何一个所述的方法，进一步包括：
其中，将所述文本提供给至少部分地基于所述文本执行所述相应功能的应用包括将文本查询提供给执行web搜索的web搜索应用，以及
其中，生成所述音频输出包括生成由所述web搜索应用执行的web搜索的结果的语音合成音频输出。
12.如权利要求1至10中的任何一个所述的方法，进一步包括：
由所述计算设备至少部分地基于一个或多个位置传感器来确定当前位置，
其中，将所述文本提供给至少部分地基于所述文本执行所述相应功能的应用包括由所述应用至少部分地基于所述文本查询和所述当前位置来执行基于位置的搜索，
其中，生成所述音频输出包括生成由所述应用执行的基于位置的搜索的结果的语音合成音频输出。
13.如权利要求1至10中的任何一个所述的方法，进一步包括：
由所述计算设备至少部分地基于一个或多个位置传感器来确定当前位置，
其中，将所述文本提供给至少部分地基于所述文本执行所述相应功能的应用包括由导航应用至少部分地基于所述文本查询和所述当前位置来执行基于位置的导航路线搜索，
其中，生成所述音频输出包括由所述导航应用执行的所述基于位置的导航路线搜索的结果的语音合成音频输出。
14.如权利要求1至10中的任何一个所述的方法，其中，生成所述音频输出包括生成包括下述中的至少一个的语音合成音频输出：
使用来自时钟应用的数据的当前时间；
使用来自新闻应用的数据的新闻；以及
使用来自金融数据应用的数据的金融信息。
15.如权利要求1至10中的任何一个所述的方法，其中，生成所述音频输出包括使用来自电话应用的数据生成具有关于呼入电话呼叫的识别信息的语音合成音频输出。
16.如权利要求1至10中的任何一个所述的方法，其中，生成所述音频输出包括使用来自电子邮件应用的数据生成具有来自一个或多个电子邮件消息的信息的语音合成音频输出。
17.如权利要求1至10中的任何一个所述的方法，其中，生成所述音频输出包括使用来自文本消息应用的数据生成具有来自一个或多个文本消息的信息的语音合成音频输出。
18.如权利要求1至10中的任何一个所述的方法，其中，生成所述音频输出包括使用来自社交网络应用的数据生成具有来自一个或多个社交网络消息的信息的语音合成音频输出。
19.如权利要求1至10中的任何一个所述的方法，其中，所述应用包括下述中的至少一个：电子邮件应用、文本消息应用和字处理应用，以及所述方法进一步包括下述中的至少一个：发送包括所述文本的电子邮件；发送包括所述文本的文本消息；以及将所述文本保存在字处理文件中。
20.一种计算设备，包括用于执行如权利要求1-19中的任何一个所述的方法的装置。
CN201380055530.XA 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备 Active CN104737101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710522162.5A CN107544670B (zh) 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261718059P 2012-10-24 2012-10-24
US61/718,059 2012-10-24
US13/732,946 US9152247B2 (en) 2012-10-24 2013-01-02 Computing device with force-triggered non-visual responses
US13/732,946 2013-01-02
PCT/US2013/066158 WO2014066373A1 (en) 2012-10-24 2013-10-22 Computing device with force-triggered non-visual responses

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710522162.5A Division CN107544670B (zh) 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备

Publications (2)

Publication Number Publication Date
CN104737101A CN104737101A (zh) 2015-06-24
CN104737101B true CN104737101B (zh) 2017-07-18

Family

ID=50484882

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710522162.5A Active CN107544670B (zh) 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备
CN201380055530.XA Active CN104737101B (zh) 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710522162.5A Active CN107544670B (zh) 2012-10-24 2013-10-22 具有力触发的非视觉响应的计算设备

Country Status (5)

Country Link
US (3) US9152247B2 (zh)
CN (2) CN107544670B (zh)
DE (1) DE112013004816B4 (zh)
GB (1) GB2522579B (zh)
WO (1) WO2014066373A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721705B2 (en) 2000-02-04 2004-04-13 Webley Systems, Inc. Robust voice browser system and voice activated device controller
US7516190B2 (en) 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
US9152247B2 (en) 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9936335B2 (en) * 2012-12-13 2018-04-03 Microsoft Technology Licensing, Llc Mobile computing device application sharing
US9842584B1 (en) * 2013-03-14 2017-12-12 Amazon Technologies, Inc. Providing content on multiple devices
US9542040B2 (en) * 2013-03-15 2017-01-10 Smart Technologies Ulc Method for detection and rejection of pointer contacts in interactive input systems
US20140306893A1 (en) * 2013-04-11 2014-10-16 Rashed Siddiqui Computer Pointing Device based on Hand/Foot Directional Pressure
CN104142791A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 资源更换方法、装置及终端
US9564145B2 (en) * 2013-07-07 2017-02-07 Dsp Group Ltd. Speech intelligibility detection
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10325457B2 (en) * 2013-08-29 2019-06-18 Sony Corporation Wristband-type information processing device, information processing system, and information processing method
TWI545471B (zh) 2013-09-03 2016-08-11 蘋果公司 用於使用者介面物件操縱之電腦實施方法、非暫時性電腦可讀儲存媒體及電子器件
CN104468679B (zh) * 2013-09-24 2018-03-02 腾讯科技（深圳）有限公司 分享地理位置的方法、终端及系统
US9588591B2 (en) * 2013-10-10 2017-03-07 Google Technology Holdings, LLC Primary device that interfaces with a secondary device based on gesture commands
US10019075B2 (en) * 2013-10-24 2018-07-10 Chunsheng ZHU Control input apparatus
EP3126932A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Harmonizing a projected user interface
US9575508B2 (en) * 2014-04-21 2017-02-21 Apple Inc. Impact and contactless gesture inputs for docking stations
WO2015187731A1 (en) 2014-06-02 2015-12-10 Schlage Lock Company Llc System and method for signifying intent for lock operation
EP2986012A1 (en) * 2014-08-14 2016-02-17 mFabrik Holding Oy Controlling content on a display device
US9788277B2 (en) * 2015-01-15 2017-10-10 Mediatek Inc. Power saving mechanism for in-pocket detection
CN104657072B (zh) * 2015-01-15 2018-06-12 小米科技有限责任公司 一种触发执行操作指令的方法和装置
CN105306669A (zh) * 2015-05-28 2016-02-03 广东维沃软件技术有限公司 一种事件提醒方法及移动终端
US10572147B2 (en) * 2016-03-28 2020-02-25 Verizon Patent And Licensing Inc. Enabling perimeter-based user interactions with a user device
WO2017175021A1 (en) * 2016-04-06 2017-10-12 Otis Elevator Company Preset elevator calls
US10595012B2 (en) * 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
US10002243B1 (en) 2017-03-24 2018-06-19 Wipro Limited System and method for powering on electronic devices
US11126258B2 (en) * 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10332367B1 (en) * 2018-10-17 2019-06-25 Capital One Services, Llc Systems and methods for using haptic vibration for inter device communication
US11006200B2 (en) * 2019-03-28 2021-05-11 Sonova Ag Context dependent tapping for hearing devices
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
IT201900016142A1 (it) * 2019-09-12 2021-03-12 St Microelectronics Srl Sistema e metodo di rilevamento di passi a doppia convalida
US10757499B1 (en) * 2019-09-25 2020-08-25 Sonos, Inc. Systems and methods for controlling playback and other features of a wireless headphone
USD954019S1 (en) 2020-06-05 2022-06-07 Sonos, Inc. Headphone
CN216531736U (zh) 2020-10-08 2022-05-13 搜诺思公司 音频回放耳机系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160017A (zh) * 2008-10-07 2011-08-17 高通股份有限公司 使用运动传感器来生成虚拟按钮
CN103257827A (zh) * 2010-09-01 2013-08-21 诺基亚公司 模式切换

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US7422145B2 (en) 2006-05-08 2008-09-09 Nokia Corporation Mobile communication terminal and method
EP1930835A1 (en) 2006-12-08 2008-06-11 Research In Motion Limited System and method for locking and unlocking access to an electronic device
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
WO2009105821A1 (en) * 2008-02-29 2009-09-03 Hamish Mclennan A method and system responsive to intentional movement of a device
JP2009278294A (ja) 2008-05-13 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input
KR20110031797A (ko) * 2009-09-21 2011-03-29 삼성전자주식회사 휴대 단말기의 입력 장치 및 방법
US10254824B2 (en) * 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US20120031645A1 (en) * 2010-08-03 2012-02-09 Steven Tartaglia System, method and apparatus for connecting battery cells
US8587542B2 (en) * 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US20120316456A1 (en) * 2011-06-10 2012-12-13 Aliphcom Sensory user interface
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9152247B2 (en) 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160017A (zh) * 2008-10-07 2011-08-17 高通股份有限公司 使用运动传感器来生成虚拟按钮
CN103257827A (zh) * 2010-09-01 2013-08-21 诺基亚公司 模式切换

Also Published As

Publication number Publication date
US10338884B2 (en) 2019-07-02
GB2522579A (en) 2015-07-29
US9519345B2 (en) 2016-12-13
DE112013004816B4 (de) 2022-11-10
CN107544670A (zh) 2018-01-05
US9152247B2 (en) 2015-10-06
CN107544670B (zh) 2020-07-31
US20140111415A1 (en) 2014-04-24
WO2014066373A1 (en) 2014-05-01
GB2522579B (en) 2020-08-19
CN104737101A (zh) 2015-06-24
DE112013004816T5 (de) 2015-10-01
US20170046125A1 (en) 2017-02-16
GB201508047D0 (en) 2015-06-24
US20160011656A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
CN104737101B (zh) 具有力触发的非视觉响应的计算设备
EP3092555B1 (en) Audio triggers based on context
CN108595275B (zh) 一种提示信息推送的方法及终端
JP2018506802A (ja) コンテキスト依存触覚通知フレームワークを提供するためのシステム及び方法
CN107957776A (zh) 主动虚拟助理
CN107846511A (zh) 一种接入移动广告的方法、终端及计算机可读存储介质
CN104969289A (zh) 数字助理的语音触发器
CN107408238A (zh) 从音频数据和计算机操作上下文自动捕获信息
CN109815462A (zh) 一种文本生成方法及终端设备
CN103984433A (zh) 用于控制触摸键操作的方法和设备
CN109951373A (zh) 一种文件发送方法及终端设备
CN107948429A (zh) 一种内容演示方法及终端设备
CN113220590A (zh) 语音交互应用的自动化测试方法、装置、设备及介质
CN110286836A (zh) 用于移动应用接口元素的设备、方法和图形用户界面
CN108540671A (zh) 一种日程提醒方法及终端设备
WO2021185174A1 (zh) 一种电子卡的选取方法、装置、终端以及存储介质
CN109783722A (zh) 一种内容输出方法及终端设备
CN109634550A (zh) 一种语音操作控制方法及终端设备
CN113780978A (zh) 到站提醒方法、装置、存储介质及电子设备
CN113780975B (zh) 日程信息智能提醒方法、设备、存储介质和软件程序产品
CN108681567A (zh) 一种信息推荐方法及装置
CN109446773A (zh) 一种验证方式提示方法及终端设备
KR20120057256A (ko) 휴대 단말기 및 그 동작 방법
CN110377384A (zh) 界面快速访问方法及移动终端
CN108363781A (zh) 一种图片发送方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.