CN1826636A - 自适应计算环境 - Google Patents

自适应计算环境 Download PDF

Info

Publication number
CN1826636A
CN1826636A CNA2004800014367A CN200480001436A CN1826636A CN 1826636 A CN1826636 A CN 1826636A CN A2004800014367 A CNA2004800014367 A CN A2004800014367A CN 200480001436 A CN200480001436 A CN 200480001436A CN 1826636 A CN1826636 A CN 1826636A
Authority
CN
China
Prior art keywords
computer
user
readable medium
computing equipment
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800014367A
Other languages
English (en)
Other versions
CN1826636B (zh
Inventor
R·E·辛克莱尔二世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1826636A publication Critical patent/CN1826636A/zh
Application granted granted Critical
Publication of CN1826636B publication Critical patent/CN1826636B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一种方法和系统，用于：响应于计算设备周围的环境中的变化，或响应于该用户的规定的参数选择，来使该计算设备适应。该计算设备包括感测该环境的一个或多个传感器。检测该环境的更改的特征。响应于该更改的特征，来确定要更改的一个或多个设置。然后，更改这些设置中的一个或多个设置，以便使该计算设备按不同的模式来与该用户交互动作。模式可以包括：哪些输入、输出和/或过程被用来与该用户进行通信。模式也可以包括：应用程序如何对输出进行格式化，或如何接收输入。

Description

自适应计算环境
发明领域
本发明通常涉及计算设备，更具体地说，涉及使计算设备适应其环境。
背景
计算设备正日益成为日常生活的一部分。用户可以与相对固定的计算设备(例如，台式计算机)交互动作，或者与相对可移动的计算设备(例如，掌上型计算机、无线电话等)交互动作。此外，用户可以拥有许多输入信息或从计算设备接收信息的方法。例如，大多数计算机与键盘、监视器、鼠标连接。一些计算机也与音频输入设备(通常是话筒)和音频输出设备(通常是扬声器或耳机)连接。
并不是所有用户都更喜欢或能够用相同的方法来与计算设备交互动作。例如，一些用户是盲人或有视力障碍，他们在看计算机监视器上所显示的事物方面可能有困难。其他用户可能无法区别一些颜色。一些用户可能无法读字或打字。一些显示图形的方法(例如，弹出菜单)可能会使一些用户经历癫痫病发作。
响应于这些挑战，一些公司已尝试提供各种与计算设备交互动作的方法。这些尝试中的部分尝试已富有成效，但它们对于用户而言，在选择和配置方面通常很麻烦。例如，计算设备可以具有放大该屏幕上所显示的字体的选项，但用户可能不知道存在该选项，或者可能在寻找和启用该选项方面有困难。例如，盲人用户在寻找计算设备上的选项——它允许该用户按适合该用户的方式来与该计算设备交互动作——方面可能有困难。
需要一种方法和系统，用于使计算设备适应其环境(包括正与该计算设备交互动作的该用户)。理想的情况是，这种方法和系统将会自动检测环境变化并相应地适应。
概述
简而言之，本发明提供了一种方法和系统，用于响应于计算设备周围的环境中的变化来使该计算设备适应。在一项实施中，该计算设备包括感测该环境的一个或多个传感器。经由一个或多个传感器，来检测该环境的更改的特征。确定：是否将要响应于这个更改的特征来更改一个或多个设置。更改这个或这些设置，以便使该计算设备按不同的模式来与该用户交互动作。模式可以包括：哪些输入、输出和/或过程被用来与该用户进行通信。模式也可以包括：应用程序如何对输出进行格式化，或如何接收输入。
在本发明的一个方面中，可以在该计算设备更改它与该用户交互动作的那个模式之前，提示该用户。在本发明的另一个方面中，该计算设备响应于该环境中的变化来自动调整它与该用户交互动作的那个模式。
该用户可以拥有更改该计算设备的那个模式的其他方法。例如，该用户可能能够通过选择控制面板、选项菜单中的选项或者用别的方式来修改该计算设备的那个模式。
通过以下的详细说明并结合附图，其他优点将变得一目了然。在这些附图中：
附图简述
图1是框图，表示了本发明可以被并入其中的计算机系统；
图2是框图，表示了根据本发明的一个方面的、可以适应环境的系统；
图3是数据流程图，它通常表示了根据本发明的各个方面的、可以出现的用于获得和使用用户参数选择的示范步骤；
图4是数据流程图，它通常表示根据本发明的各个方面的、可以出现的用于适应环境的示范步骤；
图5是数据流程图，它通常表示根据本发明的各个方面的、可以出现的用于适应可变光条件的示范步骤；
图6是数据流程图，它通常表示根据本发明的各个方面的、可以出现的用于适应可变环境噪声条件的示范步骤。
详细说明
示范操作环境
图1展示了可以在其上执行本发明的合适的计算系统环境100的例子。该计算系统环境100只是合适的计算环境的一个例子，它并不意在对本发明的使用或功能性的范围提出任何限制。也不应该将计算环境100解释为具有涉及示范操作环境100中所展示的任何一个组件或组件的组合的任何从属性或要求。
本发明可用于众多其他的通用或专用计算系统环境或配置。可能适用于本发明的众所周知的计算系统、环境和/或配置的例子包括(但不局限于)个人计算机、服务器计算机、手持设备或便携式设备、多处理器系统、基于微控制器的系统、置顶盒、可编程的消费电子设备、网络PCs、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
可以在正由计算机执行的计算机可执行指令(例如，程序模块)的一般上下文中描述本发明。通常，程序模块包括执行特殊任务或实施特殊的抽象数据类型的例行程序、程序、对象、组件、数据结构等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括记忆存储设备的本地计算机存储介质和远程计算机存储介质中。
参照图1，用于执行本发明的示范系统包括采取计算机110的形式的通用计算设备。计算机110的组件可以包括(但不局限于)处理单元120、系统存储器130和系统总线121，系统总线121将包括该系统存储器的各种系统组件耦合到处理单元120。系统总线121可以是几种类型的总线结构(包括存储总线或存储控制器、外围总线、以及使用各种总线构造中的任何总线构造的局域总线)中的任何总线结构。举例来讲(不作限制)，这类结构包括“工业标准结构”(ISA)总线、“微通道结构”(MCA)总线、“增强型ISA”(EISA)总线、“视频电子标准协会”(VESA)局域总线和“外围部件互连”(PCI)总线(也被称作“夹层(Mezzanine)总线”)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计算机110存取的任何可用介质，它包括易失性和非易失性介质、可移动和不可移动的介质。举例来讲(不作限制)，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括易失性和非易失性的可移动和不可移动的介质，该介质用用于信息(例如，计算机可读指令、数据结构、程序模块或其他数据)存储的任何方法或技术来加以实现。计算机存储介质包括(但不局限于)RAM、ROM、EEPROM、快闪存储器或其他存储技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设备、或可以被用来存储所需信息并可以由计算机110来进行存取的其他任何介质。通信介质通常具体体现为计算机可读指令、数据结构、程序模块或调制数据信号(例如，载波或其他传送机制)中的其他数据，它包括任何信息传递介质。术语“调制数据信号”意味着一种信号，其一个或多个特征按为该信号中的信息编码的这样一种方式来加以设置或更改。举例来讲(不作限制)，通信介质包括有线介质(例如，有线网络或直线连接)和无线介质(例如，声音、RF、红外线和其他无线介质)。以上任何内容的组合也应该被包括在计算机可读介质的范围以内。
系统存储器130包括采取易失性和/或非易失性存储器(例如，只读存储器(ROM)131和随机存取存储器(RAM)132)的形式的计算机存储介质。基本输入/输出系统133(BIOS)通常被存储在ROM 131中，该基本输入/输出系统包含有助于在计算机110内的各个元件之间传送信息(例如，在启动期间)的这些基本例行程序。RAM 132通常包含可立即由处理单元120存取并且/或者目前正由处理单元120进行操作的数据和/或程序模块。举例来讲(不作限制)，图1展示了操作系统134、应用程序135、其他程序模块136和程序数据137。
计算机110也可能包括其他可移动/不可移动的易失性/非易失性计算机存储介质。只举例来讲，图1展示了从不可移动的非易失性磁性介质读取或对其写入的硬盘驱动器140、从可移动的非易失性磁盘152读取或对其写入的磁盘驱动器151，以及从可移动的非易失性光盘156(例如，CD ROM或其他光学介质)读取或对其写入的光盘驱动器155。可以被用于该示范操作环境中的其他可移动/不可移动的易失性/非易失性计算机存储介质包括(但不局限于)卡型盒式磁带机、快闪存储卡、数字通用光盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器141通常通过不可移动的存储接口(例如，接口140)而被连接到系统总线121，磁盘驱动器151和光盘驱动器155通常由可移动存储接口(例如，接口150)连接到系统总线121。
以上所讨论的和图1中所展示的这些驱动器及其关联的计算机存储介质为计算机110提供计算机可读指令、数据结构、程序模块和其他数据的存储。在图1中，例如，硬盘驱动器141被展示为存储操作系统144、应用程序145、其他程序模块146和程序数据147。注意，这些组件可以等同于或不同于操作系统134、应用程序135、其他程序模块136和程序数据137。这里为操作系统144、应用程序145、其他程序模块146和程序数据147提供不同的号码，以展示：它们至少是不同的副本。用户可以通过输入设备(例如，键盘162和通常被称作“鼠标”、“跟踪球”或“触垫”的指点设备161)，来将命令和信息输入计算机20。其他输入设备(未示出)可以包括话筒、操纵杆、游戏垫、圆盘式卫星电视天线、扫描仪、手持PC的触摸传感屏或其他书写板、或类似的输入设备。这些和其他的输入设备经常通过被耦合到该系统总线的用户输入接口160而被连接到处理单元120，但也可以由其他接口和总线结构(例如，并行端口、游戏端口或通用串行总线(USB))来加以连接。监视器191或其他类型的显示设备也经由接口(例如，视频接口190)而被连接到系统总线121。除该监视器以外，计算机也可以包括其他外围输出设备(例如，扬声器197和打印机196)，这些外围输出设备可以通过输出外围接口190来加以连接。
计算机110可以使用与一台或多台远程计算机(例如，远程计算机180)的逻辑连接而在联网环境中进行操作。远程计算机180可能是个人计算机、服务器、路由器、网络PC、对等设备或其他共同的网络节点，它通常包括以上相对于计算机110而描述的许多或所有这些元件，尽管图1中只展示了记忆存储设备181。图1中所描绘的这些逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其他网络。这类联网环境在办公室、企业范围的计算机网络、内联网和因特网中很普遍。
当被用于LAN联网环境中时，计算机110通过网络接口或适配器170而被连接到LAN 171。当被用于WAN联网环境中时，计算机110通常包括调制解调器172或用于在WAN 173(例如，因特网)上建立通信的其他装置。调制解调器172(可能是内置的，也可能是外置的)可以经由用户输入接口160或其他适当的机制而被连接到系统总线121。在联网环境中，相对于计算机110或其各个部分而描绘的程序模块可以被存储在该远程记忆存储设备中。举例来讲(不作限制)，图1将远程应用程序185展示为驻留在存储设备181上。将会理解：所示的这些网络连接起示范的作用，可以使用在这些计算机之间建立通信链路的其他手段。
用于适应环境的示范系统
图2是框图，表现了根据本发明的一个方面的、可以适应环境的系统。计算机110包括自适应计算引擎(ACE)205。如图2中所表现的，该计算机110被连接到传感器220-222、输入设备225-227和输出设备230-232。注意，图2中示出三个传感器、输入设备和输出设备，但是，可理解：给定系统中可能是任何实际的数量；并且，给定系统中可能有不同数量的传感器、输入设备和/或输出设备。
一般而言，这些传感器220-222感测关于该计算机110驻留在其中的该环境的特征，并可以将这些特征提供给该ACE 205。可以动态地增加或拆卸传感器——例如，通过即插即用机制来实行。传感器可以被内建在该计算机110中，或者与该计算机110分开。传感器包括能够检测该环境的特征/特点的任何设备。注意，计算机的环境的概念包括正在与该计算设备交互动作的这一位或多位当前用户。示范传感器包括光电元件、话筒、GPSs、陀螺仪、电肤响应带(galvanic skin response strips)、照相机、热传感器、运动传感器、湿度传感器等。以下更详细地描述“如何可以使用这些传感器中的部分传感器”的一些例子。
可以使用光电元件，来(例如)测量易发生于显示器的光。例如，计算机110可能是笔记本式计算机、掌上型计算机或个人数字助理(PDA)。该用户可以将该计算机110从具有人工照明的环境携带入室外日光下，反之亦然。该日光可以使计算机110的该显示器在该显示器的当前亮度下难以阅读。根据该光电元件正在测量和报告的该光亮度，该ACE 205可以调整被连接到计算机110的显示器的该亮度，以便该显示器在更明亮的光下仍然可阅读。例如，当计算机110被带回到室内并且该光亮度变小时，该ACE 205可以降低该显示器的该亮度，以保存电池功率。
作为选择或此外，该ACE 205可以指出：应该经由声音来向用户传达信息，以便如果明亮的光使该显示器不能阅读，则该用户仍然可以从计算机110的输出设备那里获得信息。
可以使用话筒来测量环境噪声等级。例如，如果计算机110是移动设备(例如，手机)，那么，计算机110可以检测(通过话筒)背景噪声的增加。作为响应，该ACE 205可以提高该电话听筒的这个音量，以帮助该用户在该环境的噪声增加的情况下听见。当该背景噪声减少时，该ACE 205可以自动降低该电话听筒的这个音量。如果该背景噪声达到或超过预定义的或选择的门限，那么，该ACE 205可以输入“无音频”模式。注意，固定的计算机也可以根据背景噪声等级来调整输出音量。
GPS(全球定位系统)传感器可以被用来确定位置，并相应地提供输出。例如，在机场的盲人可能正携带便携式计算设备，并且可能正在寻找他或她需要到那里去搭乘飞机的入口。该计算设备可以包括GPS和扬声器，由此，该计算设备可以通过该GPS来检测该位置，并经由这些扬声器来将那个人指引到该入口。
可以使用一个或多个陀螺仪来检测运动。例如，一个或多个陀螺仪可以连到输入设备上，以检测该输入设备正在移动的那个方向。例如，一个或多个陀螺仪可以连到手套状机械装置上，以跟踪用户的手的这些运动。例如，可以执行这一点，来检测手语手势表示或用作操作设备(例如，作为能够沿多个轴来检测运动的鼠标)。
可以使用电肤响应带来检测用户的忧虑或状态变化。例如，该电流外壳检测器可以根据刚刚安装的应用程序来感测用户的焦虑水平。然后，该ACE 205可以相应地调整该应用程序的该行为。例如，该应用程序可以提供暗示、向导(wizards)或帮助助理，可以移去高级选项，可以简化该用户界面，等等。
照相机是另一个传感器，它可以(例如)被用来检测运动和启用面部识别。例如，通过结合面部识别来加以使用，照相机可以检测哪位用户正与计算设备进行接口。然后，该计算设备可以根据与那个用户关联的参数选择和设置来调整它交互动作的方式。
将会认识到：其他传感器也可以独自地或结合其他传感器来加以使用。另外，在不脱离本发明的精神或范围的前提下，可以按与所提及的方法不同的方法来使用上述传感器。
输入设备225-227包括用户可以用来将输入提供到计算机110中的任何设备或过程。输入设备225-227可以包括键盘、鼠标、话筒、笔、照相机、吸喷式头戴式耳机、头部跟踪或眼睛跟踪设备、自然语言输入、莫尔斯电码输入设备等。
输入设备可以包括用于与程序交互动作的简化机制。例如，输入设备可以包括与文本输入框关联的过程，该文本输入框允许用户打字输入所需的内容，而不是在菜单中找到该所需选项。例如，为了在文字处理应用程序中打开粗体，该用户可以在该文本输入框内键入“bold on”或类似物。作为另一个例子，用户可以在该文本输入框内键入“autocorrect on”，而不是仔细搜寻菜单来打开自动更正特点。
输出设备230-232包括可以将信息提供给该用户或另一个设备的任何设备或过程。输出设备230-232可以包括(例如)显示器、布莱叶盲文输出设备、打印机、文件、闭路字幕说明输出、合成语音、其他音频输出等。
将会认识到：一些输入设备也可能是传感器，反之亦然。例如，可以使用键盘来感测用户何时正在使用该键盘。可以使用照相机或运动传感器来感测运动或逼近。话筒可以从用户那里接收语音输入，并且/或者测量环境噪声。
也将认识到：一些输出设备也可能是输入设备，反之亦然。例如，触屏可以向用户显示信息，并从该用户那里接收输入。包括传感器、输入设备和输出设备中的两项或更多项的组合的设备在本发明的精神和范围以内。
该ACE 205从传感器220-222、输入设备225-227、以及应用程序215那里接收输入。此外，该ACE 205可以对参数选择与设置数据库245读或写数据。该参数选择与设置数据库245可以包括与较佳外观(例如，颜色、对比度、尺寸、字体、文本对图像等)、较佳输入(例如，键盘、鼠标、笔、语音、自然语言、莫尔斯电码等)、较佳输出(例如，视觉的、听觉的、触觉的、打印、嗅觉的等)、较佳UI复杂性、较佳定时(例如，超时期间、闪烁速率、双击速度等)、较佳多媒体设置(例如，动画、视频、音频、闭路字幕说明、音频说明等)、较佳呈现效果(例如，被改编并且可以为每位观众选择的皮肤效应(skinning))、以及该用户的体验等级有关的信息。该ACE 205可以根据参数选择与设置数据库245中所包含的数据，来调整输入与输出模式和/或应用程序与用户交互动作的那个方法。例如，该ACE 205可以根据该数据来调整颜色、字体、字体尺寸、动画设置、题目、背景、或任何其他可修改的用户交互动作模式。
参数选择与设置数据库245可以被存储在本地(例如，在硬盘上或用别的方式)，被远程地加以存储(例如，在服务器上)，或者被存储在可移动存储设备(例如，光盘或USB存储设备)上。可以通过使用用户名和密码或某个其他的安全机制(例如，智能卡、拇指印扫描仪、视网膜扫描仪等)，来访问这些参数选择和设置。例如，为了从远程设备那里获得这些参数选择和设置，用户可以登录到远程服务器上，并输入用户名和密码。当该用户在可以访问该远程服务器的任何计算设备上时，该用户可以登录到该远程服务器上。这样，甚至当用户正在使用不是该用户自己的计算机(例如，在公共图书馆或在别处)时，也允许该ACE 205访问该用户的参数选择和设置。利用可移动存储设备，该用户可以携带该设备，并将它连接到可以读取该存储设备的任何计算设备。然后，该计算设备可以使用这些参数选择和设置，来使它本身适应该用户。在该用户结束使用该计算设备之后，该计算设备可以回复到默认操作。
该ACE 205可以从设备定义240那里下载驱动器。可以自动地或在提示用户之后执行这类下载。例如，在用户将该用户的参数选择与设置数据库245(例如，采取USB存储设备的形式)连到计算机110上之后，该ACE 205可以确定：计算机110需要一些设备驱动器，以便适当地与该用户交互动作。然后，该ACE205可以自动定位这些设备驱动器(例如，在这些设备定义240中)，并且安装它们。在该用户已结束使用计算机110之后，该ACE 205随后可以自动卸载这些设备驱动器。这些设备定义240可以被存储到计算机110本地，可以位于存储该用户的参数选择和设置的相同的介质上，或者可以位于可通过网络(例如，因特网)来存取的远程设备上。与驱动器来源的web站点链接可能是这些设备定义的一部分。
同样，响应于用户的参数选择，该ACE 205可以从另一台计算机那里下载应用程序235。例如，在用户将该用户的参数选择与设置数据库245(例如，采取USB存储设备的形式)连到计算机110上之后，该ACE 205可以确定：该用户使用远程服务器上可用的特定屏幕阅读器。然后，该ACE 205可以下载该屏幕阅读器，并将它安装到计算机110上。在该用户退出计算机110之后，该ACE 205可以卸载该屏幕阅读器。可以使用Web服务来定位这些应用程序235。例如，这种Web服务可以根据该“统用描述、发现和集成”(UDDI)协议来使用一协议。这些应用程序也可以在与该用户的参数选择与设置数据库245相同的介质上。
如果这类设备驱动器或应用程序不适合于计算机110，那么，该ACE 205可能不会下载一些设备驱动器或应用程序。例如，对于具有全长键盘的计算机而言，或者对于手机而言，关于PDA的备选键盘驱动程序可能不会很适用。
如上所述，该ACE 205可以从应用程序215接收输入。例如，该ACE 205可以从文字处理应用程序接收信息，该信息指出：该用户频繁地将该文字处理应用程序的该图象放大调整到200％。根据该信息，该ACE 205可以确定：该用户在看按小尺寸来显示的信息方面有困难。该ACE 205可以询问该用户：该用户是否喜欢也按较大的图象放大设置来显示的其他应用程序。作为选择，该ACE205可以自动调整其他应用程序上的该图象放大设置。此外，该ACE 205可以记住该用户为每个应用程序频繁设置的该图象放大设置，并且指示每个应用程序一启动就按那个图象放大设置来显示。可以完成这一点，而无须该用户手动地转到参数选择页并设置图象放大选项。不言而喻，这些选项中的任何选项都可以是用户可配置的(例如，用于取代默认行为)。
应用程序215可以为该ACE 205提供信息——关于这些应用程序215正在处理的该信息的该性质。例如，用户可能正在浏览银行帐户信息或安全站点。即使环境噪声增加，该ACE 205也可以确定：它不应该转换到音频输出或者提高已是输出的该音频音量，这是由于该应用程序正在输出的该信息具有保密性质。
在一项实施中，这些应用程序215中的至少部分应用程序不需要知道如何接收其输入或如何发送其输出。在一些实施例中，这些应用程序215可以根据这些输出或输入设备的该性质来调整它们输出或接收的内容。在其他实施例中，该ACE 205(或某个其他的部件)将这些应用程序215的该标准输出转化为适合这一个或多个被选择的输出设备和环境的输出。同样，该ACE 205(或某个其他的部件)可以将这一个或多个被选择的输入设备的该输入转化为这些应用程序215可接受的输入。
该ACE 205或这些应用程序215中的一个应用程序可以接收或收集关于用户的打字样式的信息。该信息可以指出：该用户有与同时按压多个键(例如，control-alt-delete、control-c、shift-s等)相关联的问题。响应于该信息，该ACE 205可以询问该用户“该用户是否希望启用粘连键”，或者，该ACE 205可以自动启用粘连键。如果该ACE 205自动启用粘连键，那么，该ACE 205可以通知该用户：已启用粘连键的这个特点。粘连键的这个特点使控制或交替键有效地保持被压下，直到按压下一个键为止。
同样，该ACE 205可以确定：用户有与每次只按压一个键相关联的问题。作为响应，该ACE 205可以询问该用户“该用户是否希望启用过滤键”，或者，该ACE 205可以自动启用过滤键并相应地通知该用户。过滤键的这个特点忽视重复的键击或几乎没有按压好的键。
如果该ACE 205确定“用户有与特殊键(例如，Caps Lock、Num Locks等)相关联的问题”，那么，该ACE 205可以自动地或在询问该用户之后启用切换键。当特殊键的该状态改变时，触发键会引起听得见的警告。这可以帮助该用户避免打字错误。
在某些条件下，该ACE 205可以向该用户通知关于串连键，并询问：该用户是否愿意使用这个特点。串连键允许用户连接和使用外部的选择性输入设备，而不是传统键盘或鼠标。
将会认识到：在不脱离本发明的精神或范围的前提下，可以按其他方法来使用关于该用户的打字样式的信息，以适应该用户的需求。
该ACE 205或这些应用程序215中的一个应用程序可以在一段时期内跟踪用户一直使用计算机110的时间数量。如果该用户在一段延伸的时期内一直使用计算机110，那么，该ACE 205可以更改该输出，以便使该用户更容易地与计算机110交互动作。例如，该ACE 205可以自动地或依据命令来增加该字体尺寸或亮度，以帮助该用户。作为选择，该用户可以指出：该用户希望通过言语和声音来与计算机110交互动作。然后，计算机110可以开始通过话筒来接收输入，并通过扬声器来向该用户发送信息。
响应于它所接收的该输入，该ACE 205可以使输出设备230-232将其输出更改得有助于在该环境中传达信息。该ACE 205也可以将设置存储在数据库中(包括当前设置210)，或存储在参数选择与设置数据库245中。
该当前设置210可以包括指出“计算机110在与该用户交互动作的过程中应该如何运转”的信息。例如，当前设置210可以包括指出适当的字体尺寸、色彩设计、是否已启用粘连键、是否启用语音输入、以及其他输入和输出选项的信息。当更改当前设置210时，机制(例如，操作系统组件或别的方式)可以将这些变化播送给所有打开的应用程序。
该ACE 205可以检测设备何时已与计算机110连接或已与计算机110解除连接，并相应地采取行动。例如，当布莱叶盲文输出设备已被连到计算机110上时，该ACE 205可以指示应用程序：它们很可能正在与可能有视力障碍的用户交互动作。这些应用程序可以相应地调整其输出，或者依靠该ACE 205来进行适合于该布莱叶盲文输出设备的转化。一当将新设备连到计算机110上，该ACE 205就可以就该用户的参数选择来询问该用户。例如，一当连接布莱叶盲文输出设备，该ACE 205就可以询问该用户：该用户是否希望经由该布莱叶盲文输出设备来进行通信。一当除去显示器，该ACE 205就可以询问该用户：是否应该经由音频和/或打印来执行输出。
将会认识到：该ACE 205不需要更改存储数据的该方法，以便使用不同的输出设备或者向不同的用户输出数据。例如，图形应用程序可以包括患有色盲症的人难以观看的图表。该ACE 205可以使该图表用更适合于该用户的颜色来加以显示，而无须更改与该图表关联的这些原始颜色或文件。
回到本发明的该操作的解释，图3是数据流程图，它通常表示根据本发明的各个方面的、可以出现的用于获得和使用用户参数选择的示范步骤。该过程始于方框301。在方框302处，该设备引导。在引导过程中，该设备可以呈现意在可由各种用户理解的输出。例如，除了在显示器上显示该信息以外，该设备还可以对该用户说出该信息。
在方框305处，确定：这是否是该设备第一次引导。如果是，那么，处理分支到方框315；否则，处理分支到方框310——在那里，加载以前保存的用户参数选择和设置。
在方框315处，该向导收集这些用户参数选择。在方框325处，该向导存储这些用户参数选择。在方框330处，该设备按照该设备正在其中操作的该环境来适应这些用户参数选择。
虚线方框312和327表现可以用于获得用户参数选择的事件。随后获得的这些用户参数选择可以取代或增加当前在该设备上运行的这些参数选择。例如，用户可能希望提供更多参数选择，以便设备将能够更好地适应该用户。在方框312处，该用户指出：该用户希望让向导收集用户参数选择。在方框312之后，继续在方框315处进行处理，并且执行先前所描述的动作。
作为另一个例子，用户可以在可移动介质(例如，USB存储设备)上携带该用户的参数选择和设置。一当访问计算设备，该用户就可以插入该介质，以便该计算设备可以适应该用户的参数选择，而无须手动地再输入所有这些参数选择。例如，在方框327处，用户插入包含被存储的用户参数选择和设置的介质。用户可以在任何时候(甚至在该设备引导之前)插入该介质。在该设备已检测到该被插入的介质之后，该设备随后可以读取其上包含的这些用户参数选择和设置，并适应这些用户参数选择和设置(方框330)。
图4是数据流程图，它通常表现根据本发明的各个方面的、可以用于适应环境的示范步骤。该过程始于方框405。
在方框410处，检测已更改的该环境的特征。该特征可能是：传感器已检测该环境中的变化；已检测或启用新的输入或输出设备；已移去或禁止使用输入或输出设备；用户已登录到该系统上；以上内容的某个组合；等等。例如，照相机或运动传感器可以检测指出“用户已进屋”的运动。光传感器可以检测到：更多光正射中显示屏幕。话筒可以检测环境噪声中的变化。可以检测这里先前所描述的其他特征、或已更改的任何其他的特征。
在方框415处，确定：是否应该调整输出或者使用输入来适应该环境。例如，诸如显示的输出可以让该亮度被加以调整，以考虑到更多的光。响应于正与计算设备连接的布莱叶盲文输出设备，该系统可以开始使用该布莱叶盲文输出设备。响应于正被连到该计算设备上的话筒，可以启用语音识别。
在方框420处，确定：是否启用自动调整。如果是，那么，继续在方框425处进行处理；否则，继续在方框430处进行处理。例如，用户可以指出：该用户希望使用该话筒来与该计算设备交互动作。
在方框425处，进行该调整，并且，可任选地通知该用户。在方框430处，询问该用户：是否应该进行该调整。例如，当该用户接通布莱叶盲文输出设备时，可以询问该用户：是否应该使用该布莱叶盲文输出设备来向该用户传达信息。
在方框435处，如果该用户已指出“应该进行调整”，那么，处理分支到方框440——在那里，进行调整；否则，处理分支到方框445。在方框445处，该过程结束。
图5是数据流程图，它通常表现根据本发明的各个方面的、可以用于适应可变光条件的示范步骤。该过程始于方框505。
在方框510处，传感器检测易发生于显示器的该光亮度中的变化。在方框515处，确定：该用户是否已选择自动调整。如果是，处理分支到方框530；否则，处理分支到方框520。在方框520处，询问该用户：他或她是否想要调整该显示器的亮度。在方框525处，如果确定“该用户想要让该显示器的亮度被加以调整”，那么，处理分支到方框530；否则，处理分支到方框530。在方框530处，调整该显示器的亮度。在方框535处，处理结束。
图6是数据流程图，它通常表现根据本发明的各个方面的、可以出现的用于适应可变环境噪声条件的示范步骤。该过程类似于结合图5而描述的过程。但是，在方框620和630中出现一个差别。可以选择不同的通信模式(例如，显示器)来向该用户传达信息，而不是提高扬声器的音量来补偿该噪声。另一个差别是：如果该数据如在步骤618中所评估的那样敏感，即使该用户已选择自动变化，也可以在步骤620中询问该用户，以便用户将不会让感测信息因疏忽而变成听得见、被显示出来并且/或者被打印出来。例如，财务应用程序可以将事件发送到该ACE，并且/或者设置指出“该输出可能是敏感的”的标志。此外，独立于该应用程序，该用户可以向该ACE指定：某个应用程序具有敏感数据，因此，当这些程序具有其数据输出时，不应该进行自动模式变化或其他调整。这种独立指定允许没有被写入的应用程序了解该ACE，从而得益于ACE技术。
图5和图6中的这些数据流程图包括可以用于适应可变环境条件的示范步骤。将会认识到：在不脱离本发明的精神和范围的前提下，可以执行许多其他的变更。
从前述的详细说明中可见，提供了一种用于使计算设备适应其环境的改进的方法和系统。本发明容易经历各种修改和选择性构造，但这些附图中示出其某些被展示的实施例，并且，以上已详细描述这些实施例。但是，应该理解：并不意在将本发明局限于所揭示的这些特殊形式，而正相反，本发明将要包括处于本发明的精神和范围以内的所有修改、选择性构造和相等物。

Claims (44)

1.一种具有计算机可执行指令的计算机可读介质，其特征在于包括：
提供用于与计算设备交互动作的模式集，这些模式中的至少部分模式可以由该计算设备的用户来选择，这些模式与该计算设备的设置相关联，该计算设备按第一模式来与该用户交互动作；
检测该计算设备的环境的特征，该特征已更改；
响应于这个更改的特征，来确定要更改的这些设置中的至少一个设置；以及，
更改这些设置中的该至少一个设置，以便使该计算设备按第二模式来与该用户交互动作。
2.权利要求1的计算机可读介质，其特征在于：进一步包括：询问该用户关于“该用户是否想要按该第二模式来与该计算设备交互动作”。
3.权利要求1的计算机可读介质，其特征在于：其中，响应于“该特征已更改”，来自动完成更改该设置。
4.权利要求1的计算机可读介质，其特征在于：其中，该特征是易发生于该计算设备的显示器的光。
5.权利要求4的计算机可读介质，其特征在于：其中，在更改该设置之前，该显示器按第一亮度来显示；并且，其中，在更改该设置之后，该显示器按第二亮度来显示。
6.权利要求4的计算机可读介质，其特征在于：其中，该设置使输出来自音频设备。
7.权利要求6的计算机可读介质，其特征在于：其中，该输出是语音。
8.权利要求5的计算机可读介质，其特征在于：进一步包括：检测到“该特征又更改了”，并且，作为响应将该显示器调整为按该第一亮度来显示。
9.权利要求1的计算机可读介质，其特征在于：其中，该特征是该计算设备周围的环境噪声。
10.权利要求9的计算机可读介质，其特征在于：其中，在更改该设置之前，与该计算设备关联的扬声器按第一音量来输出声音；并且，其中，在更改该设置之后，该扬声器按第二音量来输出声音。
11.权利要求9的计算机可读介质，其特征在于：其中，当该环境噪声大于或等于门限时，与该计算设备关联的扬声器停止输出声音。
12.权利要求1的计算机可读介质，其特征在于：其中，经由手机、话筒、全球定位系统(GPS)、陀螺仪、电肤响应带、照相机、热传感器、运动传感器和湿度传感器中的至少一项，来实现对该特征的检测。
13.权利要求1的计算机可读介质，其特征在于：其中，检测该特征包括：检测到：设备已被连到该计算设备上。
14.权利要求1的计算机可读介质，其特征在于：其中，检测该特征包括：检测到：设备已与该计算设备解除连接。
15.权利要求1的计算机可读介质，其特征在于：进一步包括：将与至少一个设置有关的用户参数选择存储在可移动存储介质中。
16.权利要求15的计算机可读介质，其特征在于：进一步包括：将该可移动存储介质连到另一个计算设备上；其中，该另一个计算设备从该可移动存储介质那里获得该用户参数选择。
17.权利要求16的计算机可读介质，其特征在于：其中，该另一个计算设备响应于该用户参数选择来下载应用程序。
18.权利要求17的计算机可读介质，其特征在于：其中，该应用程序是由该用户参数选择指出的屏幕阅读器。
19.权利要求16的计算机可读介质，其特征在于：其中，该另一个计算设备响应于该用户参数选择来安装驱动程序。
20.权利要求19的计算机可读介质，其特征在于：其中，在该用户从该另一个计算设备中移走该可移动存储介质之后，该另一个计算设备卸载该驱动程序。
21.权利要求1的计算机可读介质，其特征在于：进一步包括：将与至少一个设置有关的用户参数选择存储在服务器上。
22.权利要求21的计算机可读介质，其特征在于：其中，另一个计算设备从该服务器访问该用户参数选择，并根据该用户参数选择来与该用户交互动作。
23.权利要求1的计算机可读介质，其特征在于：其中，该输入或输出设备包括在该计算设备上执行的应用程序。
24.一种具有计算机可执行指令的计算机可读介质，其特征在于包括：
多个应用程序，这些应用程序可以由计算设备来执行，每个应用程序具有与之关联的一个或多个设置，这些设置中的至少一个设置指出用于与跟该设置关联的该应用程序的用户交互动作的模式；
检测到：该计算设备的环境的特征已更改；
作为响应，更改至少一个设置，被更改的这些设置中的该至少一个设置影响该计算设备与该用户交互动作的模式。
25.权利要求24的计算机可读介质，其特征在于：其中，自动出现更改这些设置中的该至少一个设置。
26.权利要求24的计算机可读介质，其特征在于：进一步包括：询问该用户“该用户是否想要该计算设备按不同的模式来与该用户交互动作”。
27.权利要求24的计算机可读介质，其特征在于：其中，该模式包括该计算设备利用其来与该用户进行通信的设备集。
28.权利要求24的计算机可读介质，其特征在于：其中，该模式包括字体的特征。
29.权利要求28的计算机可读介质，其特征在于：其中，该字体的该特征包括尺寸、名称、权重、前景颜色和背景颜色中的至少一项。
30.权利要求24的计算机可读介质，其特征在于：其中，该模式包括对用户提供的特点集。
31.权利要求24的计算机可读介质，其特征在于：进一步包括：检测该用户的焦虑水平何时已提高；并且，作为响应，简化为该用户提供的该特点集。
32.权利要求31的计算机可读介质，其特征在于：其中，经由电肤响应带来检测该焦虑水平。
33.权利要求24的计算机可读介质，其特征在于：其中，检测到“该环境的特征已更改”包括：检测到：新用户已开始与该计算设备交互动作。
34.权利要求33的计算机可读介质，其特征在于：其中，检测到“新用户已开始与该计算设备交互动作”包括：检测到：存储介质已被连到该计算设备上，该存储介质包括与该新用户关联的参数选择。
35.权利要求24的计算机可读介质，其特征在于：进一步包括：检索与该用户关联的参数选择。
36.权利要求35的计算机可读介质，其特征在于：其中，这些参数选择涉及外观、较佳输入、较佳输出、较佳用户界面复杂性、较佳多媒体设置和较佳呈现效果中的至少一项。
37.一种用于与用户交互动作的系统，其特征在于包括：
一个或多个传感器，它们被配置成感测该系统的环境中的变化；
一个或多个输入设备，它们被配置成将输入输入该系统；
一个或多个输出设备，它们被配置成向该用户输出数据；以及，
一个引擎，它被配置成：从这一个或多个传感器接收数据，并确定该系统与该用户交互动作的模式。
38.权利要求37的系统，其特征在于：其中，该系统与该用户交互动作的该模式至少部分地取决于该系统的该环境内的这些变化中的至少一个变化。
39.权利要求38的系统，其特征在于：其中，该环境的变化包括光中的变化。
40.权利要求39的系统，其特征在于：其中，这一个或多个输出设备包括显示器；并且，其中，响应于光中的该变化，该引擎使该显示器按不同的亮度来显示。
41.权利要求39的系统，其特征在于：其中，这一个或多个输出设备包括扬声器；并且，其中，当光中的该变化超过门限时，该引擎使输出被指引到该扬声器。
42.权利要求37的系统，其特征在于：其中，这一个或多个传感器检测到：该用户有与“经由键盘来输入数据”相关联的问题。
43.权利要求42的系统，其特征在于：其中，该问题包括在同时按压多个键方面的困难。
44.权利要求43的系统，其特征在于：其中，响应于“检测到：该用户在同时按压多个键方面有困难”，该引擎询问该用户“该用户是否愿意让粘连键被启用”，粘连键在逻辑上使第一个键保持被压下，直到压下第二个键为止。
CN2004800014367A 2003-11-18 2004-07-28 用于与计算设备的用户进行交互的方法 Expired - Fee Related CN1826636B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/715,765 2003-11-18
US10/715,765 US7983920B2 (en) 2003-11-18 2003-11-18 Adaptive computing environment
PCT/US2004/024580 WO2005057327A2 (en) 2003-11-18 2004-07-28 Adaptive computing environment

Publications (2)

Publication Number Publication Date
CN1826636A true CN1826636A (zh) 2006-08-30
CN1826636B CN1826636B (zh) 2012-03-21

Family

ID=34574276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800014367A Expired - Fee Related CN1826636B (zh) 2003-11-18 2004-07-28 用于与计算设备的用户进行交互的方法

Country Status (6)

Country Link
US (1) US7983920B2 (zh)
EP (1) EP1665235A4 (zh)
JP (1) JP2007511833A (zh)
KR (1) KR20060114280A (zh)
CN (1) CN1826636B (zh)
WO (1) WO2005057327A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515447B (zh) * 2008-02-22 2012-01-25 鸿富锦精密工业（深圳）有限公司 电子设备和显示器及其显示参数设置方法
CN103026691A (zh) * 2010-06-16 2013-04-03 高通股份有限公司 Rf测距辅助式局部运动感测
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN105446454A (zh) * 2014-09-24 2016-03-30 延世大学校产学协力团 提高处理速度且降低电力消耗的cpu控制方法及装置
CN112015257A (zh) * 2019-05-31 2020-12-01 罗技欧洲公司 具有同步电力模式的外围电子装置
US11803352B2 (en) 2018-02-23 2023-10-31 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7159194B2 (en) * 2001-11-30 2007-01-02 Palm, Inc. Orientation dependent functionality of an electronic device
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
JPWO2005076661A1 (ja) * 2004-02-10 2008-01-10 三菱電機エンジニアリング株式会社 超指向性スピーカ搭載型移動体
US8237952B2 (en) * 2004-06-18 2012-08-07 Samsung Electronics Co, Ltd. Method of setting default printer in a host device
US20060084449A1 (en) * 2004-10-15 2006-04-20 Motorola, Inc. Method and apparatus for evaluating locations according to Feng Shui principles
US7210633B2 (en) * 2004-11-19 2007-05-01 Intermec Ip Corp. Self-compensating speaker volume control system for data collection terminal
KR100685093B1 (ko) * 2004-12-06 2007-02-22 엘지전자 주식회사 휴대용 메모리를 이용한 디지털 재생기의 환경 설정 방법및 장치
US7467162B2 (en) * 2005-06-27 2008-12-16 Microsoft Corporation Pre-configured settings for portable devices
DE102005032075B4 (de) * 2005-07-08 2007-06-28 Lenze Drive Systems Gmbh Verfahren zum Datenabgleich aus einem und für einen Antriebsregler einer Maschine
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP2007174229A (ja) * 2005-12-21 2007-07-05 Funai Electric Co Ltd カラー映像表示装置
KR100808991B1 (ko) * 2006-05-04 2008-03-07 삼성전자주식회사 이동통신 단말기에서 전자사전을 이용한 단어검색 방법 및장치
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR100853426B1 (ko) * 2006-12-20 2008-08-21 한국생산기술연구원 인간형 로봇의 장치관리자 및 관리 방법
ITUD20070076A1 (it) * 2007-04-26 2008-10-27 Eurotech S P A Dispositivo di visualizzazione interattivo e procedimento di configurazione con unita' di calcolo
US20080274705A1 (en) * 2007-05-02 2008-11-06 Mohammad Reza Zad-Issa Automatic tuning of telephony devices
US20090055739A1 (en) * 2007-08-23 2009-02-26 Microsoft Corporation Context-aware adaptive user interface
US8096657B2 (en) * 2007-10-01 2012-01-17 SimpleC, LLC Systems and methods for aiding computing users having sub-optimal ability
JP5256712B2 (ja) * 2007-11-28 2013-08-07 ブラザー工業株式会社 インストールプログラムおよび情報処理装置
JP4935658B2 (ja) * 2007-12-11 2012-05-23 ブラザー工業株式会社 ブラウザプログラムおよび情報処理装置
TW200934207A (en) * 2008-01-21 2009-08-01 Inventec Appliances Corp Method of automatically playing text information in voice by an electronic device under strong light
US20090198735A1 (en) * 2008-02-01 2009-08-06 Samsung Electronics Co., Ltd. Method and apparatus for managing user registration on ce device over network
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20090282228A1 (en) * 2008-05-06 2009-11-12 Avaya Inc. Automated Selection of Computer Options
US8205169B1 (en) * 2008-06-10 2012-06-19 Pixar Multiple editor user interface
WO2010006273A1 (en) * 2008-07-10 2010-01-14 Claudia Zayfert Device, system, and method for treating psychiatric disorders
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
KR101571723B1 (ko) * 2008-09-02 2015-11-25 엘지전자 주식회사 단말기 및 그 제어 방법
US8103956B2 (en) * 2008-09-12 2012-01-24 International Business Machines Corporation Adaptive technique for sightless accessibility of dynamic web content
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9298823B2 (en) * 2009-05-08 2016-03-29 International Business Machines Corporation Identifying core content based on citations
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9310880B2 (en) * 2009-09-29 2016-04-12 Ncr Corporation Self-service computer with dynamic interface
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5672934B2 (ja) * 2010-10-15 2015-02-18 株式会社日立製作所 センシングデータ表示装置および表示システム
WO2012054063A1 (en) 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
US20120102439A1 (en) * 2010-10-22 2012-04-26 April Slayden Mitchell System and method of modifying the display content based on sensor input
US20120124470A1 (en) * 2010-11-17 2012-05-17 The Johns Hopkins University Audio display system
JP5928344B2 (ja) * 2011-01-27 2016-06-01 日本電気株式会社 ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）作成支援装置、ＵＩ作成支援方法及びプログラム
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
EP2511794A1 (en) * 2011-04-15 2012-10-17 Doro AB A portable electronic device having user-configurable multi-function key entry timeout
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
EP2565865A1 (en) 2011-09-01 2013-03-06 Research In Motion Limited Data display adapted for bright ambient light
US9294612B2 (en) 2011-09-27 2016-03-22 Microsoft Technology Licensing, Llc Adjustable mobile phone settings based on environmental conditions
US9727232B2 (en) 2011-09-30 2017-08-08 Nokia Technologies Oy Methods, apparatuses, and computer program products for improving device behavior based on user interaction
WO2013067513A1 (en) 2011-11-04 2013-05-10 Massachusetts Eye & Ear Infirmary Contextual image stabilization
US20130159917A1 (en) * 2011-12-20 2013-06-20 Lenovo (Singapore) Pte. Ltd. Dynamic user interface based on connected devices
KR101866774B1 (ko) 2011-12-22 2018-06-19 삼성전자주식회사 휴대용 단말기에서 음량을 조절하기 위한 장치 및 방법
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US8933916B1 (en) 2012-06-26 2015-01-13 Jeffrey B. Doar Ambient light sensing for display
US9483981B2 (en) * 2012-06-27 2016-11-01 Amazon Technologies, Inc. Dynamic display adjustment
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
GB2508016A (en) * 2012-11-19 2014-05-21 Samsung Electronics Co Ltd Switching a device to a restricted mode
US9807445B2 (en) * 2012-11-29 2017-10-31 Echostar Technologies L.L.C. Photosensitivity protection for video display
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9733821B2 (en) * 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9134952B2 (en) * 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9245494B2 (en) 2013-11-06 2016-01-26 Software Ag Colorblind accessibility test for corresponding screen displays
US9384565B2 (en) 2013-11-06 2016-07-05 Software Ag Colorblind accessibility test for a screen display
US9792276B2 (en) 2013-12-13 2017-10-17 International Business Machines Corporation Content availability for natural language processing tasks
US10365800B2 (en) * 2013-12-16 2019-07-30 Samsung Electronics Co., Ltd. User interface (UI) providing apparatus and UI providing method thereof
WO2015097689A1 (en) * 2013-12-29 2015-07-02 Inuitive Ltd. A device and a method for establishing a personal digital profile of a user
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN104635927A (zh) * 2015-01-27 2015-05-20 深圳富泰宏精密工业有限公司 互动显示系统及方法
CN105992033A (zh) * 2015-02-10 2016-10-05 阿里巴巴集团控股有限公司 一种调整终端的应用设置的方法、装置和系统
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
TW201732582A (zh) * 2016-03-02 2017-09-16 宏碁股份有限公司 用於一電腦系統之輸出介面切換方法及系統
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN106251827B (zh) * 2016-07-26 2018-09-11 广东欧珀移动通信有限公司 控制方法及控制装置
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN109416726A (zh) 2016-09-29 2019-03-01 惠普发展公司，有限责任合伙企业 基于位置调整计算设备的设置
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10241747B2 (en) 2017-06-30 2019-03-26 International Business Machines Corporation Noise control service for activities
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US10698582B2 (en) 2018-06-28 2020-06-30 International Business Machines Corporation Controlling voice input based on proximity of persons
US11620366B2 (en) 2019-12-04 2023-04-04 Motorola Mobility Llc Device enabling user preferred functions, preferences, and settings in another electronic device and corresponding methods
US11980495B2 (en) * 2020-04-28 2024-05-14 GE Precision Healthcare LLC Method and system for providing enhanced color flow doppler and pulsed wave doppler ultrasound images by applying clinically specific flow profiles
US11650720B2 (en) * 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
EP4337148A2 (en) 2021-05-12 2024-03-20 Accessibe Ltd. Systems and methods for making websites accessible
WO2022238936A2 (en) * 2021-05-12 2022-11-17 accessiBe Ltd. Systems and methods for making websites accessible

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
JPH0559996U (ja) * 1992-01-16 1993-08-06 アルパイン株式会社 電話器
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JPH0984074A (ja) * 1995-09-13 1997-03-28 Nec Shizuoka Ltd 無線選択呼出受信機
WO1997016932A1 (en) * 1995-11-03 1997-05-09 Elonex Technologies, Inc. Selective notification method for portable electronic devices
US5966438A (en) 1996-03-05 1999-10-12 Ericsson Inc. Method and apparatus for adaptive volume control for a radiotelephone
US6012926A (en) * 1996-03-27 2000-01-11 Emory University Virtual reality system for treating patients with anxiety disorders
JP3034658U (ja) * 1996-07-16 1997-02-25 京セラ株式会社 電話機の音量調整装置
GB2323245A (en) 1997-03-14 1998-09-16 Nokia Mobile Phones Ltd Mobile phone
JPH11196174A (ja) * 1997-12-25 1999-07-21 Matsushita Electric Ind Co Ltd 音声信号送受話装置及び受話音量制御方法
US6420975B1 (en) * 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
JPH11295691A (ja) * 1998-04-15 1999-10-29 Matsushita Electric Ind Co Ltd 液晶表示装置と液晶表示パネルの製造方法
US7019778B1 (en) * 1999-06-02 2006-03-28 Eastman Kodak Company Customizing a digital camera
US6490698B1 (en) * 1999-06-04 2002-12-03 Microsoft Corporation Multi-level decision-analytic approach to failure and repair in human-computer interactions
US20020173721A1 (en) * 1999-08-20 2002-11-21 Novasonics, Inc. User interface for handheld imaging devices
US6446056B1 (en) * 1999-09-10 2002-09-03 Yamaha Hatsudoki Kabushiki Kaisha Interactive artificial intelligence
JP3769433B2 (ja) * 1999-11-01 2006-04-26 株式会社ケンウッド 通信端末
GB2358553B (en) 2000-01-21 2002-04-10 Motorola Ltd Generation of alert signals in radio transceivers
JP2001265463A (ja) * 2000-03-17 2001-09-28 Nec Shizuoka Ltd 情報機器
JP2001356849A (ja) * 2000-05-08 2001-12-26 Ken Tamada ヒューマン・インターフェイスのビジネスモデルおよびハードウェア
US7289102B2 (en) * 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
JP2002189459A (ja) * 2000-12-20 2002-07-05 Hitachi Ltd 携帯端末装置
US7089237B2 (en) * 2001-01-26 2006-08-08 Google, Inc. Interface and system for providing persistent contextual relevance for commerce activities in a networked environment
EP1227642A1 (en) * 2001-01-26 2002-07-31 Telefonaktiebolaget L M Ericsson (Publ) Back light device for a hand-held electronic device
GB2372135B (en) * 2001-01-31 2004-10-13 Nokia Mobile Phones Ltd Improved liquid crystal display device
DE10106587A1 (de) * 2001-02-13 2002-08-14 Siemens Ag Display
US7089499B2 (en) * 2001-02-28 2006-08-08 International Business Machines Corporation Personalizing user interfaces across operating systems
GB0107689D0 (en) * 2001-03-28 2001-05-16 Ncr Int Inc Self service terminal
WO2002093923A2 (en) * 2001-05-14 2002-11-21 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
JP2002370183A (ja) * 2001-06-15 2002-12-24 Yamaha Motor Co Ltd 監視装置及び監視システム
JP2003174680A (ja) 2001-12-06 2003-06-20 Matsushita Electric Ind Co Ltd 無線通信装置及び移動体通信システム
US20030122810A1 (en) * 2001-12-31 2003-07-03 Tsirkel Aaron M. Method and apparatus to adjust the brightness of a display screen
KR20030059624A (ko) * 2002-01-03 2003-07-10 삼성전자주식회사 휴대용컴퓨터의 볼륨제어시스템 및 볼륨제어방법
US20030153240A1 (en) * 2002-02-14 2003-08-14 Dejule Aaron M. Hanging mobile device with electronic display
US20040127198A1 (en) * 2002-12-30 2004-07-01 Roskind James A. Automatically changing a mobile device configuration based on environmental condition
US7827232B2 (en) * 2003-05-05 2010-11-02 Microsoft Corporation Record button on a computer system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515447B (zh) * 2008-02-22 2012-01-25 鸿富锦精密工业（深圳）有限公司 电子设备和显示器及其显示参数设置方法
CN103026691A (zh) * 2010-06-16 2013-04-03 高通股份有限公司 Rf测距辅助式局部运动感测
CN103026691B (zh) * 2010-06-16 2015-09-16 高通股份有限公司 Rf测距辅助式局部运动感测
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN105446454A (zh) * 2014-09-24 2016-03-30 延世大学校产学协力团 提高处理速度且降低电力消耗的cpu控制方法及装置
CN105446454B (zh) * 2014-09-24 2018-06-08 延世大学校产学协力团 提高处理速度且降低电力消耗的cpu控制方法及装置
US11803352B2 (en) 2018-02-23 2023-10-31 Sony Corporation Information processing apparatus and information processing method
CN112015257A (zh) * 2019-05-31 2020-12-01 罗技欧洲公司 具有同步电力模式的外围电子装置
CN112015257B (zh) * 2019-05-31 2023-10-03 罗技欧洲公司 具有同步电力模式的外围电子装置

Also Published As

Publication number Publication date
KR20060114280A (ko) 2006-11-06
EP1665235A4 (en) 2009-02-25
WO2005057327A2 (en) 2005-06-23
JP2007511833A (ja) 2007-05-10
EP1665235A2 (en) 2006-06-07
US7983920B2 (en) 2011-07-19
US20050108642A1 (en) 2005-05-19
WO2005057327A3 (en) 2006-01-26
CN1826636B (zh) 2012-03-21

Similar Documents

Publication Publication Date Title
CN1826636B (zh) 用于与计算设备的用户进行交互的方法
US10394328B2 (en) Feedback providing method and electronic device for supporting the same
EP3349510B1 (en) Method for limiting usage of application program, and terminal
CN105278745B (zh) 移动终端及其控制方法
US11350885B2 (en) System and method for continuous privacy-preserved audio collection
US11138251B2 (en) System to customize and view permissions, features, notifications, and updates from a cluster of applications
CN110045819A (zh) 一种手势处理方法及设备
CN112532865B (zh) 慢动作视频拍摄方法及电子设备
KR20180106744A (ko) 이동 단말기 및 그 제어 방법
US20070128899A1 (en) System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US20110242059A1 (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
EP3493112B1 (en) Image processing method, computer device, and computer readable storage medium
WO2021018169A1 (zh) 一种电子设备的隐私保护方法及电子设备
CN1790326A (zh) 语义画布
WO2021213084A1 (zh) 应用通知管理方法和电子设备
WO2022100221A1 (zh) 检索处理方法、装置及存储介质
CN105849758B (zh) 多模式内容消费模型
CN111465918A (zh) 在预览界面中显示业务信息的方法及电子设备
CN112752121B (zh) 一种视频封面生成方法及装置
CN106502569A (zh) 一种功能调节方法及装置
CN109582194A (zh) 一种显示控制方法及移动终端
CN104347070A (zh) 以语音识别来选择控制客体的装置及方法
WO2014103544A1 (ja) 表示制御装置、表示制御方法および記録媒体
US20120210277A1 (en) Usage based screen management
US20230196836A1 (en) Human Presence Sensor for Client Devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321