CN1312554C - 前摄的用户接口 - Google Patents

前摄的用户接口 Download PDF

Info

Publication number
CN1312554C
CN1312554C CNB2003101248491A CN200310124849A CN1312554C CN 1312554 C CN1312554 C CN 1312554C CN B2003101248491 A CNB2003101248491 A CN B2003101248491A CN 200310124849 A CN200310124849 A CN 200310124849A CN 1312554 C CN1312554 C CN 1312554C
Authority
CN
China
Prior art keywords
user
user interface
adaptive system
mobile information
information apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003101248491A
Other languages
English (en)
Other versions
CN1652063A (zh
Inventor
李钟九
埃亚尔·托莱达诺
纳坦·林德
亚里夫·艾森伯格
拉·本-亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1652063A publication Critical patent/CN1652063A/zh
Application granted granted Critical
Publication of CN1312554C publication Critical patent/CN1312554C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72472User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons wherein the items are sorted according to specific criteria, e.g. frequency of use
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406Transmission via wireless network, e.g. pager or GSM
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6027Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

一种前摄的用户接口,该用户接口可选的安装在任何类型的计算设备上(或者对计算设备进行控制和/或与其相关连)。前摄的用户接口可根据先前的特殊用户的经验和/或各种预编程的模型来主动地建议用户,计算设备可根据用户的行为从该预编程的模型中进行选择。通过下列方式可选择性地生成这些建议:改变所出现的至少一部分显示,例如改变其菜单或一部分;提供不同的菜单以对其进行显示;和/或改变触摸屏的功能。这些建议可选地被做成可听见的。

Description

前摄的用户接口
技术领域
本发明具有一种前摄的用户接口(proactive user interface),以及尤其是移动信息设备所使用的系统及其方法。
背景技术
近年来移动便携式无线电设备的使用已显著地扩大。目前存在有许多其具有各种功能、内部资源、以及性能的设备,该设备包括有,但并不局限于移动电话、个人数字助理、医疗和实验室测试设备、智能卡、以及机顶盒。所有这些设备均是移动式信息设备。它们趋向于专用的、有限的功能设备,而不是早已为大家所熟知的通用计算机设备。这些设备中有许多与国际互连网相连,并且用于各种应用。
这种移动式信息设备的一个例子就是蜂窝式电话。蜂窝式电话已迅速普及;蜂窝式电话的使用甚至已超过了传统PSTN(公共交换电话网)电话或“陆上通信线路”电话的使用。蜂窝式电话本身已更加完善,并且事实上其是实际上具有嵌入式操作系统的计算设备。
由于蜂窝式电话成进一步被完善,因此它们所提供的功能范围也可能更广泛。然而,当前这些功能是典型地与已存在于常规(陆上通信线路)电话中的功能扩展和/或将PDA的特定功能与蜂窝式电话的功能组合在一起有关。蜂窝式电话所装备有的用户接口与键盘一样,其不完善的典型特征就是用于从头至尾翻滚少许的简单菜单。虽然花费了很多钱的顾客明确要求定制个性化响铃声及其他蜂窝式电话配件,但是该定制仍然局限于蜂窝式电话的个别功能。此外,蜂窝式电话目前不能使诸如设备用户接口自动的个性化、不具有为更好的使用移动式信息设备而所需的定制功能、和/或不能能够因应用户行为。
然而,个人计算机(桌式或膝上计算机)及其他计算设备的用户接口也同样不够完善。通常只是以很简单的方式来定制这些计算设备。同时,必须由其不懂计算机功能的用户和/或不能轻松执行这种定制任务的用户来执行这种定制。目前,与用户接口的自适应系统一样,计算设备不能学习用户行为的模式并且因此不能调整他们自己的行为。如果用户不能人工地调整计算机,那么用户必须调整他的/她的行为以调节计算机,反之则不亦然。
已经开发了能够学习的软件,虽然只是用于专门的实验室功能。例如已经开发出“人工智能”(AI)软件。已经对术语“AT”做出了多种定义,其中一种是:“AI是对其可使感知、推理等等成为可能的计算进行研究“(摘引于Stuart Russell所著的人工智能:现代方法(再版),Peter Norvig(Prentice Hall,Pearson Education Inc,2003))。AI软件组合有若干个不同的诸如感知这样的原理,该软件提供了与世界(world)的接口,其中AI软件需要推理和动作(act)。例子包括但不局限于自然语言处理——通信、理解文档内容和自然语言的上下文;计算机视觉——从象源中感知对象;以及传感器系统——感知对象和所感知对象的特征以对感知的数据进行分析等等。
另一个重要的原理就是知识基础。知识表达负责表示提取并存储该知识。这些原则同时提供了用于归纳知识、特征提取、列举、对象状态结构以及定义的技术。通常通过利用诸如图表、矢量、表格等等这样的已知数据结构来执行实施本身。
另一个重要的原理就是推理。自动推理结合了其可使用知识表达和感知的算法以获得新的结论、推断问题答案并实现代理目标。下列概念框架是AT推理的例子:规则库——依照知识库和用于推理的感知状态来评估系统规则;搜索系统——根据感知状态、可用的知识以及目标(例如包括决策树、状态图、极大极小决定等等),通过利用众所周知的数据结构来搜索一智能结论;分类器——分类器推理系统的目标是对感知状态进行分类,该感知状态被表示为其不具有分类标记的一实验。根据之前所分类的知识库,分类器推断新实验的分类(例如包括启发式的矢量距离、支持向量机、分类器神经网络等等)。
另一个重要的原理是用于学习。学习的目的是通过对经验进行归纳来改善AI推理系统的潜在性能。学习算法的输入是实验并且输出是根据结果对知识库的修改(例如包括巩固学习、分批学习、支持向量机等等)
AI软件的一些例子包括但不局限于:(下述的所有例子均可在″人工智能:现代方法″中找到,S.Russell and P.Norvig(eds),Prentice Hall,Pearson Education Inc.,NJ,USA,2003):
自主的规划与调度:NASA远端代理程序成为第一个机载的自主规划程序以控制由地面所指定的高级目标的规划所产生的宇宙飞船远端代理的操作调度,并且因为该规划被执行——检测、诊断以及恢复它们所发生的问题,它监控宇宙飞船的操作。
博弈:IBM公司的Deep Blue成为第一个击败人间冠军的计算机程序。
自主控制:ALVINN计算机视觉系统被训练成驾驶一汽车以使其遵循一车道。ALVINN根据上述训练得分数的经验来计算最好的驾驶方向。
诊断:基于概率分析的医疗诊断程序已能以各个医疗领域内的专家医师的水平进行执行。
后勤规划:在1991年的波斯湾危机期间,美国部署了一个被成为DRAT的动态分析和再规划工具(Dynamic Analysis and ReplanningTool)以执行自动的后勤规划并调度运输。
机器人:许多外科医生最近使用机器人来辅助显微外科。HipNav是这样一个系统,即该系统使用计算机视觉技术以创建患者的国内解剖学的三维模型并且使用机器人控制以引导人工宽关节的插入。
语言理解并问题解决:PROVERB是一计算机程序,该程序可利用对可能的填入字的约束,可比人类更好的解决纵横组字谜、一大型数据库(如果是过去的字谜)、各种信息源。
对于软件的遗传算法和演变算法也做了些工作。该软件的一个例子在Karl Sims所著的″演变虚拟动物″(计算机图形学、SIGGRAPH′94Proceedings,1994年7月,第15-22页)中有所描述。该参考文献描述了其可通过一三维虚拟世界而移动的软件″动物″,该软件是实际物质世界的仿真版本。通过利用遗传算法来学习动物,从而无需直接的外部输入就可改变它们的行为。因此这些遗传算法描绘了可能行为的超空间,其具有虚拟世界中的不同的″适应性″或奖励(rewards)。通过利用直接的图表来实现该算法本身,该图表描述了动物的基因型(组分)以及他们的行为。
参考文献中所描述的结果表明实际上虚拟动物可以改变并且演变。然而,动物只能在其虚拟世界内活动,并且不具有基准点或不能与实际的物质世界打交道,和/或不能与计算机操作员打交道。
发明内容
该背景技术没有教导或提出这样一种系统或方法,使得智能软件可至少使移动信息设备可学习与人类用户的相互作用。背景技术也没有教导或提出一种用于计算设备的前摄用户接口,其中前摄的用户接口学习用户的行为并能主动地提出允许用户选择。背景技术也没有教导或提出一种用于移动信息设备的自适应系统,其中根据用户的行为可主动地改变用户接口。该背景技术也没有教导或提出一种用于移动信息设备的智能代理(intelligent agent),该智能代理能够通过一动漫形象而与人类用户相互作用。
本发明通过提供一前摄的用户接口而克服了背景技术的不足之处,该用户接口可选的安装在任何类型的计算设备上(要不对计算设备进行控制和/或与其相关连)。前摄的用户接口可根据先前的特殊用户的经验和/或各种预编程的模型来主动地建议用户和/或要不参与非确定的或未预料到的行为。计算设备根据用户的行为从该预编程的模型中进行选择。通过下列方式可选择性地生成这些建议:改变所出现的至少一部分显示,例如改变其菜单或一部分;提供不同的菜单以对其进行显示;和/或改变触摸屏的功能。还可选的听得见这些建议。其他类型的建议或传送机构也是可能的。
通过“建议”,值得注意的是该系统实际上可选的执行自动的动作,给定某种用户偏爱性并且该系统取决于系统状态是否允许专门执行该动作。
通常,强调该前摄用户接口最好至少是智能的和交互的,这是很重要的,并且该用户接口最好是至少有些“自由”的与用户进行通信(例如非手写体或部分手写体)。从用户期望最好是可实现与“智能”代理/设备进行交互这个意义上来说智能的出现是很重要的。由诸如能够通信、接口可选的出现、利用拟人的属性等等这样的因素而可选的形成了该期望,这些因素最好是用于根据从用户所接收到的通信来增加在用户与前摄接口之间进行交互过程中的智能意义,该前摄用户接口最好是可检测到用户想怎样与移动信息设备进行交互。可选择的,通信可能是仅在一个方向上;例如,该接口可选择性地将消息或信息呈现给用户,而不是接收来自用户的消息,或者可相反的实现。最好是,为了与用户更好的进行交互,因此通信是双向的。
最好是该智能代理至少看起来对用户是智能的。该智能性可选择的是通过完全的确定机制来提供的;然而,最好是使至少出现智能性的基础包括至少一个或多个随机元件或半随机元件。再次,最好是存在这种元件以便相对于智能代理的表现而言其与关心智能性的用户期望相一致。
为了使智能代理多少都可改变行为以满足用户的要求或其他的通信,则最好是呈现出一定的自适应性。即使前摄用户接口可选的不包括与用户进行通信的一智能代理,但是自适应最好是可使接口是前摄的。对用户与移动信息设备的交互作用的观测最好可使该自适应性被执行,虽然可选的且最好是由一知识库和/或一规则库来引导该前摄用户接口对该观测的反应。
具体的说,对于其包括有多个菜单的一特定的移动信息设备而言,该自适应性的一个较好的例子但并不局限于该例子,即该自适应性最好是包括能够改变菜单的至少一个方面。例如,选择性地提供了一个或多个捷径,当分路至少一个(最好是所有的)上级菜单或子菜单时,该捷径可使用户直接到达一菜单选择。该上级菜单或子菜单的菜单级别比最后的选择的级别要高。可选的(换句话说或是另外的)根据前摄用户接口的自适应性来重新安排一个或多个菜单,例如根据使用频率。该重排可选的包括将诸如一菜单选择和/或一子菜单这样的菜单一部分移动到一新的位置,即移动到其菜单级别比当前位置的级别要高的一新位置。通过对比位于更低级别上的菜单选择还要少的菜单选择进行选择,可更快的到达其菜单级别较高的的子菜单。
可选的且最好是通过使用前摄用户接口进行学习的奖励来协助自适应性。最好是用户所赞同的建议或动作将一奖励或一积极激励提供给前摄接口以继续该建议或动作;用户所不赞同的建议或动作最好是可抑制前摄用户接口继续这种行为。为前摄用户接口所提供的积极的或消极激励/抑制最好是可使接口的行为更有细微差别,而不是更多的“黑”或者“白”处理,其中行为或者被批准或者被禁止。当用户至少有几分共同地赞同/不赞同这种行为,则这种细微差别最好是还可反对或对立将要处理的行为。
前摄用户接口的另一个可选的但是最好的功能包括可教导用户。可选择的执行这种教导以便告知用户有关移动用户设备的能力。例如,如果用户没有正确的操作该设备,例如输入了不正确的选择,那么该教导功能最好是可帮助用户学习如何正确使用该设备。然而,更好是该教导功能可为用户提供与至少一个非设备相关主题有关的指令。根据该教导功能的一个优选方案,所提供的指令可选的且最好是有关于多个主题(至少是通过改变非设备相关主题),更好的是通过一灵活的应用框架。
根据本发明的一个可选的但是优选的实施例,最好是通过前摄用户接口与用户的交互作用来构造一用户模型。该模型可选的且最好是集成了根据用户的行为和/或预编程所决定的AI知识库。另外,该模型还选择性的可使前摄用户接口估计用户对由用户接口所推选的特殊建议所做出的反应,从而适应于用户的隐含的偏爱。
该计算设备的非限制性例子包括ATM(例如,用户行为的某些模型可以发出一警报,因此其还具有安全指示)、任何类型的常规电脑(诸如桌上型电脑、膝上型电脑、轻系列客户机、可佩带的电脑等等)、诸如蜂窝式电话、传呼机设备、其它无线电通信设备这样的移动信息设备、其具有一操作系统的常规电话、PDA和无线PDA、以及其具有一操作系统的消费者设备。在下文中,该术语"计算设备"包括其具有一操作系统并能够执行计算的任何电子设备。该操作系统可选的是一嵌入式系统和/或另一种软件和/或硬件运行时间环境。在下文中,该术语"移动信息设备"包括但并不局限于任何类型的无线电通信设备,该无线电通信设备包括但并不局限于蜂窝式电话、无线传呼机、无线PDA等等。
本发明较好的实现了可提高用户经验并与计算设备交互作用,并且将目前该设备的一般的、不灵活的用户接口改变成为灵活的、真正用户友善的接口。更好的是,本发明按照其可与用户相交互的动漫形象的形式来构造用户接口。
根据本发明的另一个实施例,提供一种移动信息设备,该设备包括一个像上述用户接口一样的自适应系统,它还依赖于用户的先前经验和/或预编程的模型。然而,该自适应系统可选的且最好是局限于移动信息设备的功能和环境内部的操作。
或者可选的且最好是利用人工智能(AI)算法、机器学习(ML)算法、以及其可执行习得行为的软件/计算设备来实现移动信息设备自适应系统和前摄用户接口。或者这两者还可选的且最好是提供了一高级的声音命令、触摸屏命令、以及键盘′捷径′。
根据本发明另一个可选的但是优选的实施例,提供了移动信息设备通过一移动信息设备网络而使用的一个或多个智能代理,该智能代理最好是包括一动漫形象(avatar)(或″动物″;在下文中可以可互换地的使用这些术语),代理通过该智能代理可与用户通信。因此该动漫形象最好是提供了与用户进行交互的一用户接口。该智能代理最好还包括这样一个代理,该代理通过网络对移动信息设备的至少一个交互作用进行控制。通过该实施例还可选择性的提供多种应用,该应用包括但不局限于一般的教导和/或学习如何使用该移动信息设备,这种应用尤其是指教学语言、游戏、娱乐、过滤广告及其他非请求信息、角色扮演等等。理论上,该代理本身就是给定的作为装饰物的“宠物″。
该智能代理还可以选择性地且最好是通过教导用户如何操作移动信息设备本身的各种功能来教育用户,例如教导用户如何发送或接收消息、使用警报等等。如下面更加详细的描述,还可以选择性地将这种教导功能延至教导用户有关移动信息设备本身以外的信息/功能。最好是通过多个代理在一网络中进行通信而增强了这种教导功能,从而可使代理获得在该网络上代理之间所分配的信息。
因此,根据本发明的各种实施例可允许多个不同的交互作用。这些交互作用包括下列任何一个或多个交互作用:该设备的用户与一动漫形象或与该设备的其他特征符号或拟人(personification)之间的交互作用;该设备的用户与该设备之间的交互作用,以通过该动漫形象或其他特征符号或拟人来操作该设备。如下更加详细的描述,根据本发明的实施例可确定可能的交互作用或相互作用。
本发明得益于计算设备和/或诸如蜂窝式电话这样的移动信息设备的相对的限制环境,因为该环境的参数是事先已知的,即使这种设备通过诸如蜂窝式电话网络这样的网络进行通信,该环境的参数仍可以是预先确定的。目前,计算设备仅仅提供了一普通接口,而几乎没有定制,即使该定制是所准许的用户手控的直接介入的定制。
值得注意的是术语″软件″还可选择性地包括固件或硬件所操作的指令。
根据本发明,提供了一种用于计算设备的前摄用户接口,该计算设备具有操作系统,该设备包括:(a)接口单元,使用户与所述操作系统之间进行通信;以及(b)学习模块,检测可使用户与所述接口单元相交互的至少一个模型并且根据所述所检测到的模型来前摄的改变所述接口单元的至少一个功能,该学习模块包括感知单元,用来确定所述用户接口的状态和所述操作系统的状态、知识库,用来存储采集的作为所述用户和所述操作系统之间相互作用的结果的信息、以及推理系统,用所述知识库信息处理当前状态并且产生执行那个动作的决定。
根据本发明的另一方面,提供了一种通过用户接口而使用户与具有图形显示的计算设备之间进行前摄交互的方法,该计算设备具有操作系统,该方法包括:通过利用学习模块根据用户与用户接口的至少一个交互作用来检测用户行为的模型;根据检测的模式选择将要显示的菜单;以及通过显示所述菜单前摄地改变至少一部分所述图形显示。
根据本发明的再一个方面,提供了一种通过用户接口而使用户与具有音频显示的计算设备之间进行前摄交互的方法,该计算设备具有操作系统和用户接口,该方法包括:通过利用学习模块根据用户与用户接口的至少一个交互作用来检测用户行为的模型;以及根据检测的模式选择将要显示的菜单;以及改变由计算设备所产生的至少一个可听声音。
根据本发明的另一方面,提供了一种用于计算设备的自适应系统,该计算设备具有操作系统,包括:(a)用户接口,用于用户与所述操作系统之间的通信;(b)由所述操作系统所控制的至少一个软件应用;(c)知识库,知识库用于保存从组中所选择的信息,该组是由根据用户与所述用户接口的至少一个先前交互作用所确定的模式以及预定模式,或者其组合构成的;以及(d)人工智能(AI)构架,用于支持所述应用并且与所述操作系统的主平台进行通信,以便使得所述用户接口能够作为参照所述知识库信息推理的结果而前摄地操作。
根据本发明的另一方面,提供了一种在移动信息装置网络上与移动信息装置使用的智能代理,包括:动漫形象,用来为用户接口提供所述智能代理;以及代理,用来通过所述移动信息装置网络控制至少一个所述移动信息装置的相互作用,其中所述移动信息装置采用SMS与至少一个其他的移动信息装置进行通信。
根据本发明的另一方面,提供了一种移动信息装置的前摄用户接口,该装置具有操作系统并且在移动信息装置网络上通信,包括:(a)用户接口,用来在用户和所述操作系统之间通信,所述用户接口具有用来与用户进行信息交换的代理;(b)其中所述代理由所述移动信息装置网络通过至少一个与所述用户接口的用户相互作用模型为用户提供通信上的控制功能。
根据本发明的另一方面,提供了一种在移动信息装置网络上与移动信息装置使用的智能代理,包括:动漫形象,用来为用户接口提供与用户的相互作用;以及教导模块,用来教导用户,以及代理,用来通过所述移动信息装置网络控制至少一个所述移动信息装置的相互作用。
附图说明
这里参考随后的附图,仅通过举例说明的方式来对本发明进行详细的描述。
图1给出了根据本发明的一示例性学习模块的方框图;
图2给出了根据本发明的其使用了前摄用户接口的一示例性系统的方框图;
图3给出了根据本发明所实现的一示例性前摄用户接口系统;
图4给出了根据本发明所实现的一示例性自适应系统的方框图;
图5A和5B分别给出了根据本发明的一示例性应用管理系统的方框图和序列图;
图6A和6B给出了根据本发明的自适应系统所需的用于通过移动信息设备来执行一个或多个动作的示例性基础结构以及根据本发明的其示例性的序列图;
图7A-7C给出了示例性的事件,以及如何处理移动信息设备与本发明的系统之间的交互作用(通过设备的操作系统);
图8包括图8A和图8B,给出了智能代理的示例性结构(图8A)并且还包括智能代理的示例性操作序列图(图8B);
图9A和9B给出了根据本发明的用于选择一动作的两个示例性的方法;
图10给出了根据本发明的文本通信的一示例性序列图;
图11A和11B分别给出了根据本发明的用于电话呼叫处理的一示例性类别框图和一示例性序列图;
图12A和12B分别描述了根据本发明的SMS消息处理类的说明性的、非限制性的示例以及其示例性的序列图;
图13给出了根据本发明的一示例性菜单处理类的框图;
图14给出了根据本发明的一示例性游戏类的框图;
图15给出了一示例性教学机类的框图并且图17B给出了根据本发明的一示例性教学机的序列框图;
图16给出了根据本发明所实现的一示例性动作选择系统的方框图;以及
图17A-17B给出了根据本发明的移动信息设备的屏幕上的动漫形象的一些示例性框图。
具体实施方式
本发明具有一前摄的用户接口,该用户接口可选的安装在任何类型的计算设备上(要不对计算设备进行控制和/或与其相关连)。前摄的用户接口可根据先前的特殊用户的经验和/或各种预编程的模型来主动地建议用户,计算设备可根据用户的行为从该预编程的模型中进行选择。通过下列方式可选择性地生成这些建议:改变所出现的至少一部分显示,例如改变其菜单或一部分;提供不同的菜单以对其进行显示;和/或改变触摸屏的功能。还可选的听得见这些建议。
如前面所描述的,该前摄的用户接口最好是用于一计算设备,该计算设备包括一操作系统。该接口可选的且最好是包括一个可使用户与操作系统进行通信的用户接口。该接口也最好是包括一学习模块,该学习模块检测可使用户与用户接口相交互的至少一个模式并且根据所检测到的模式而前摄的改变该用户接口的至少一个功能。因此,该前摄的用户接口可以预料用户的要求,并且从而帮助用户对所期望的计算设备的功能进行选择。
可选的并且最好是,从这样一组中选择至少一个模式,该组包括根据用户与用户接口的至少一个先前交互作用所确定的一模式、一预先决定的模式、或其组合。第一种模式表示学习行为,而第二种模式可选的是预编程的或者是预先确定的,特别是当用户首次对一特定的计算设备进行操作时第二种模式可帮助用户。第三种可选的模式将结合这两个方面,并且可根据用户行为来至少部分的确定该模式,而不是完全地;例如,可选的根据多个规则和/或根据对可能的世界环境状态和/或设备的状态和/或用户接口的限制性定义来引导该模式选择。
最好是该用户接口的特征在于一图形显示器,以便可根据该模式而前摄的改变该图形显示器至少一个功能。例如,该图形显示器的至少一部分可选的且最好是可改变的,进一步最好是根据所检测到的模式来选择要显示的菜单;并且显示该菜单。可选的可通过从多个菜单选项中构造一菜单来选择该菜单,例如为了创建一菜单″不工作(on thefly)″。
用户接口另外的或者另一个特征在于一声音显示,这样改变用户接口的至少一个功能包括改变计算设备所产生的至少一个可听声音。
可选的且最好是根据本发明的方法来实现前摄的用户接口,最好是该方法可使用户与计算设备通过一用户接口而前摄的相交互。最好是该方法根据用户与用户接口的至少一个交互作用来检测用户行为的一模式;以及根据该模式而前摄的改变用户接口的至少一个功能。
根据本发明的另一个实施例,提供了一移动信息设备,该设备包括一个与上述用户接口一样的自适应系统,它还信赖于用户和/或预编程模式的先前经验。然而,可选的且最好是该自适应系统进一步局限于在诸如蜂窝式电话这样的移动信息设备的功能以及环境之内进行操作。该蜂窝式电话目前还包括PDA的某些基本功能。
最好是该自适应系统利用其特征在于一操作系统的移动信息设备来进行操作。可选的该操作系统包括一嵌入式系统。可选的该移动信息设备包括一蜂窝式电话。
最好是该自适应系统可通过分析多个用户与移动信息设备的交互作用来对用户行为进行分析,在此之后进一步最好是该自适应系统对至少一个预定模式的多个用户交互作用进行比较以查看该预定模式是否与改变用户接口的至少一个功能相关。或者另外,可选的该分析包括对多个用户与先前所检测到的用户行为的至少一个模式的交互作用进行比较,其中先前所检测到的用户行为的模式与用于改变用户接口的至少一个功能相关。
可选的该用户接口的功能包括由移动信息设备产生了一可听声音,进一步最好是该声音是从这样一组中选择出来的,该组包括至少一个响铃声、一警报声、以及一呼入声。或者另外,可选的这可与移动信息设备的一可见显示有关。可选的该可见显示包括例如显示一菜单。
该自适应系统可选的然而并非必须由该移动信息设备本身进行操作。或者,如果该移动信息设备与一网络相连,可选的可根据网络发送到移动信息设备的命令来至少部分地操作该自适应系统。为此,最好是将与该自适应系统的一操作相关的数据存储在除移动信息设备以外的一位置上,其中可通过该网络来存取该位置。
根据该本发明的优选实施例,该自适应系统还包括一学习模块,该学习模块根据所接收到的输入信息以及先前所获得知识来执行该分析。可选的可先前从用户的行为中获得这样的知识,和/或该知识是从与特定的移动信息设备的自适应系统进行通信的另一个自适应系统传送而来的。可选的且最好是可根据任何一个或多个AI算法、机器学习算法、或遗传算法而使自适应系统适应于用户行为。
本发明的另一个可选的优选实施例,提供了供移动信息设备通过移动信息设备网络而使用的一个或多个智能代理,最好是其包括一动漫形象,该代理通过该动漫形象可与人类用户进行通信。因此最好是该动漫形象提供了与用户交互作用的一用户接口。最好是该智能代理还包括一代理,该代理通过该网络来控制移动信息设备的至少一个交互作用。可选的该实施例可包括多个其通过移动信息设备网络而相连的多个动漫形象。
按照专门的实施过程,最好是本发明可对位于一设备上的受限系统进行操作(按照存储器,数据处理容量,屏幕显示大小以及分辨率等等),该设备完全专用于用户。例如,最好是该设备是诸如蜂窝式电话这样的移动信息设备,该移动信息设备适宜可携带且容易使用,因此其具有上述限制中的一个或多个,或者全部。最好是本发明的实施方面适合这种特征的综合。因此,为了克服设备本身的限制,同时仍然保持使用户称心的人格化及“个人感觉”,因此下面提出了各种解决方案。应该注意的是这些解决方案只是示例性的,并不对各方面做出限制。
实例1:前摄接口-通用的
本发明的前摄用户接口最好是可控制和/或与任何类型的计算设备有关,以便可根据先前的特殊用户的经验和/或各种预编程的模型来主动地建议用户,计算设备可根据用户的行为从该预编程的模型中进行选择。通过下列方式可选择性地生成这些建议:改变所出现的至少一部分显示,例如改变其菜单或一部分;提供不同的菜单以对其进行显示;和/或改变触摸屏的功能。可选的还听得见这些建议。
如先前所描述的,最好是该前摄用户接口是用于计算设备,该计算设备包括一操作系统。可选的且最好是该接口包括一用户接口以使用户与操作系统之间进行通信。最好是该接口可检测用户与用户接口交互作用的至少一个模式,例如通过学习模块的操作,并且因此该接口可根据所检测到的模式而前摄的改变用户接口的至少一个功能,该前摄用户接口可预见用户的请求,从而帮助用户选择所希望的计算设备的功能。
这类前摄行为,尤其是与学习该行为以及用户的要求有关的前摄行为,需要一些就前摄接口而言的学习能力。可选的可通过为本领域所熟知的关于学习(由软件学习)且使软件对象与环境相交互的算法和方法论来提供这种学习能力。软件被认为是何时它可随着时间改善其动作的学习。人工智能需要表明智能的动作选择(推理),以便最好是该软件能够探测其环境(它的″世界″)并且能够发现可能的动作。最好是该软件还具有可表示世界状态以及其自己的内部状态的能力。最好是该软件因而可选择一智能动作(利用上述的知识)且可执行该动作。
可选的且最好是用奖励的方法加固诸如学习接口模块这样的学习,其中该学习模块因为根据环境的状态而产生特定的动作而受到奖赏。这类学习实际上包括训练该学习模块使其以某一方式工作。如果允许不止一个行为,因而该学习过程是非确定的且可创建与前摄用户接口有关的不同行为,例如,可选的且最好是该奖励包括使学习模块检测所提供的选择何时会导致了一用户选择,而不是检测所提供的选择何时会使用户查找不同类的一个或多个选择,例如选择除前摄用户接口所提供的唯一菜单之外的不同菜单。显而易见的是,前摄用户接口将设法该提供的百分比达到最大,这导致了用户从该提供中直接进行窜咱,由此可见该接口可正确地理解用户行为。
为了帮助该过程,最好是加强学习模块的学习,例如根据下列可选的但是优选的学习关键特点:
自适应学习过程-该学习过程是反复的,以便使学习模块反复学习要执行的适当动作。最好是环境方面的变化导致行为方面的变化。该学习模块可被训练以执行某些动作。
低存储器消耗-诸如神经网络或者MAS这样的推理系统算法具有较小的存储器复杂性,因为环境和内部状态被简化为一小组数字值。在学习过程中该算法不需要更多的存储器。
快速的交互作用-可选的,在各个反复时根据先前的反复计算来选择一动作,因而执行很少计算以选择下一个动作。该用户经历了一快速反应程序。在该动作发生之后执行下一个反复的学习过程。
设备空闲时间的使用-因为可选的该学习模块无需用户交互作用即可从环境本身中学习,最好是可利用空闲的计算设备时间来进行学习。
图1是根据本发明的用于反应(reactive)学习的一示例性学习模块的方框图。如图所示的,最好是学习模块100包括一知识库102,该知识库最好是用作学习模块100的存储器,由于与环境相交互而使知识库102具有学习模块100所集聚的信息。可选的知识库102可保存在非易失性存储器(未给出)。最好是知识库102具有其可帮助学习模块100选择适当动作的信息。可选的这些信息可包括诸如用于内部神经网络的权衡值这样的值,或者具有动作奖励值的一表格,或者任何其他信息的类型。
为了使学习模块100可接收与环境有关的信息,最好是学习模块100的特征在于多个传感器104。最好是传感器104可使学习模块100感知其环境状态,传感器104与环境相连并输出所检测到的值。该值可来自程序本身(例如,在屏幕上的位置、能级等等),或者来自实际的设备值(例如,电池值和操作状态,诸如用于蜂窝式电话的弹动器(flipper)状态,可通过打开“弹动器”来激活该蜂窝式电话中的设备或应答呼入的电话)。
传感器104显而易见的可提供有价值的信息;然而,在学习模块100理解该信息之前,需要对这些信息进行处理。因此,最好是学习模块100还包括一感知单元106,该感知单元将传感器104的当前输出处理成世界的统一表现,其被称为一″状态″。最好是该状态因而是推理系统108的输入,该推理系统被描述为学习模块100的″大脑″。这些设计支持世界状态(world state)及传感器机构的扩展,而且为若干个主平台支持该系统的便于移植(easy porting)(不同的计算设备和环境),以便可根据该设备来改变世界状态。
最好是推理系统108利用知识库102来处理知识库102,从而产生了有关于哪个动作将要执行的一决定。推理系统108接收世界的当前状态,输出将要执行的动作,且接收对所选择的动作的反馈。根据该反馈,最好是推理系统108更新知识库102。这是一迭代过程,在该迭代过程中学习模块100学习与该状态相关的动作。
根据本发明的可选实施例,该计算设备的特征在于一个或多个生物传感器,以用于检测与用户有关的诸如兴奋状态、物理状态、运动等等这样的各种生物信息。可将这些信息提供给传感器104以帮助感知单元106确定用户的状态,由此确定该设备的固有状态。这种生物传感器可包括但是不局限于用于体温、心率、氧饱和度的传感器,或者任何其他类型的用于测量用户的生物参数的传感器。
图2给出了根据本发明一示例性实施例的用于提供该前摄用户接口的系统200,该系统的特征也在于学习模块100。学习模块100与计算设备(未显示)的操作系统202进行通信,该计算设备与学习模块100相关和/或控制学习模块100和/或由学习模块100进行操作。最好是操作系统202控制接口单元204的操作以及至少一个其他软件应用206(虽然当然可选的存在许多这种软件应用)。
最好是用户通过接口单元204进行通信,例如通过从一菜单进行选择。操作系统202可使这些通信被接收并被被转换为数据。最好是学习模块100因而接收这种数据,并且可选的将一命令发送回操作系统202,例如用于改变接口单元204的某些方面的命令(例如通过提供不同菜单),和/或对软件应用206进行操作。用户因而通过接口单元204而做出响应;由此反应,最好是学习模块100学习该动作(即由学习模块100所发送的命令)是否是适当的。
图3给出了根据本发明的一示例性前摄用户接口系统300。如所示的,最好是系统300的特征在于一三级结构,其具有由AI(人工智能)体系所支持的一应用层,该AI体系依次与主平台计算设备进行通信(如"主平台"所示)。
可选的并且最好是该应用层的特征在于多个不同应用,这样不同的应用例如是但并不局限于诸如MutateApp 302、PreviousApp 304、以及TeachingApp 306。
可选地实现TeachingApp 306,以便教导该用户有关于如何操作该计算设备,和/或有关于除计算设备之外的不同主题。TeachingApp 306提供了与如下所述的AI基础结构进行通信的一教导应用,提供了一个性化学习经历。最好是TeachingApp 306可调整这种教导、教学法、传授新信息的比率、加强作用以及实践作用等等以符合特定用户的个人需要。此外,TeachingApp 306还可可选的调整多个不同用户的性能,例如成群地或者课堂学习情景。
TeachingApp 306不受限于通用应用这样一个唯一的例子,该通用应用可能是在AI体系层上实现的。
AI体系层本身包含一个或多个可使用户接口以前摄方式工作的部件。可选的且最好是,该体系包括一DeviceWorldMapper 308,用于确定计算设备的状态及虚拟世界的状态,以及两个状态间的关系。最好是DeviceWorldMapper 308接收输入,例如来自EventHandler 310的多种事件的输入,以便确定虚拟世界的状态以及设备的状态。
DeviceWorldMapper 308还最好是与对所输入的数据进行分析的AI/ML模块312进行通信。最好是AI/ML module 312确定系统行为以响应各种激励,并且还可使系统300例如根据用户对不同类型的用户接口动作的响应进行学习。
这些不同AI型应用与EventHandler 310之间,最好是一个或多个不同低水平管理者可支持不同事件的接收及处理,以及系统300的不同动作的性能。可选的这些管理者包括但是不局限于一ActionManager316、a UIManager 318、一StorageManager 320、以及一ApplicationManager 322。
下面将对ActionManager 316进行更加详细的描述,但是最好是简短地其可使系统300确定将应产生哪个动作,例如通过AI/ML模块312的操作。
最好是UIManager 318管理用户接口的出现与功能,例如如先前所描述的直接改变成接口。
最好是StorageManager 320管理存储器及数据的处理,例如与系统300(未给出)的知识库有关。
最好是ApplicationManager 322与先前所描述的应用层中的应用进行通信。
所有这些不同的管理者最好是接收来自EventHandler 310的事件。
在AI体系层之内,AI基础结构324可选的且最好是支持与主平台的通信。该主平台本身最好是以主平台接口326为特征,可选的且最好是例如通过主平台的操作系统而提供了该主平台接口326。
AI基础结构324可选的且最好是包括一I/O模块328,该模块用于接收来自主平台接口326的输入并且可选的用于将命令发送到主平台接口326。屏幕模块330最好是将用户接口显示在该主平台设备的屏幕上。资源模块332最好是可使系统300存取各种主平台资源,诸如存储数据等等。
当然,上述附图仅仅表示一个用于学习模块的可选结构。例如该学习模块还可被表示为一组单独代理,其中代理具有一简单的目标。该学习模块选择一代理以根据当前状态来执行一动作。还可以由学习模块来学习当前状态与代理间的适当对应以加强学习。
可选的还可监督学习。该学习模块具有如何工作并如何学习领导所给定的模式这样一组例子。在学习模块学习该规则之后,它尽可能的根据其已了解的信息来动作并尽可能的概括出新的状态。
实例2:移动信息设备的自适应系统
这个例子涉及移动信息设备的本发明自适应系统的示例性实现,然而应该明白的是该实现是优选的但是是可选的,并且并不对各个方面做出限制。
该自适应系统可选的包括上述例子所述的任何功能,并且可选的还可如先前所描述的那么实现。该例子更多集中于与移动信息设备操作有关的自适应系统的实际结构上。同时,该例子根据本发明描述了可选的但是优选的动物或者动漫形象的实现。
下面的部分根据本发明描述了可选的但是优选的专门实现自适应系统各个方面的实施例。这仅仅是示例性的并没有做出任何限制,这些实施例是一自适应系统的优选实施例,该自适应系统通过智能代理与用户相交互,该智能代理可选的被表示为可见的一动漫形象或“动物”。
第1部分:事件驱动系统
该部分根据本发明描述了一事件驱动系统的优选实施例,其包括但是并不局限于一应用管理,并且可使设备本身与本发明的系统之间相交互,宛如由设备进行操作。
图4给出了根据本发明的一示例性自适应系统的方框图,以及系统400与移动信息设备402的交互作用。如所示的,系统400和移动信息设备402最好是与用户404相交互。
可选的且最好是移动信息设备402具有多个标准功能,仅仅为了说明的目的,将这些功能分成两类:数据和机构。可选的机构可包括但是不局限于这种起下述作用的一UI(用户接口)系统406(屏幕,小键盘或者触摸屏输入等等);输入和输出呼叫作用408;诸如用于SMS的信息作用410;用于告知用户404有呼入电话或者信息的声音412和/或振动414,和/或警报等等;以及存储器416。
可选的数据可包括诸如地址(电话)簿418这样的信息;呼入呼叫或者呼出呼叫信息420;移动信息设备402的位置,如位置422所示;报文信息424;高速缓冲存储器互连网数据426;以及与用户有关的数据404,如所有者数据428所示。
值得注意的是移动信息设备402可选的包括任何一个或者多个上述数据/机构,但是未必包括所有的,和/或可包括未给出的附加数据/机构。这些只不过是作为有关于移动信息设备402,特别是用于蜂窝式电话的非限制性例子。
根据本发明的自适应系统最好是与移动信息设备402的数据/机构相交互,以便可提供一自适应的(最好是前摄的)用户接口,从而提高其与移动信息设备402相交互的用户404的舒适性和效率。
最好是自适应系统400以逻辑430为特色,该逻辑430最好是与先前所描述的学习模块类似的方式来起作用,并且该逻辑430还可选的且最好是根据先前所描述的AI及机器学习算法来进行操作。
最好是逻辑430可与知识库102进行通信,与如图1所描述的一样(以相同的附图标记为特征的部件具有或者相同的或者类似的功能,除非另有说明)。信息存储器432最好是包括与移动信息设备402的动作、用户信息等等有关的数据,并且最好是将数据添加到知识库102中。
可选的,自适应系统400能够通过正文和/或如语言模块436所支持的可听语言而直接与用户404进行通信。
此外可选的对于自适应系统400而言,可选的用户接口可为用户404呈现出一动漫形象(未给出)。如果呈现了,则可选的可通过一三维立体图438以及一动画模块440(参见下文更加详细的描述)来创建这样一个动漫形象。
图5A给出了一示例性的应用管理系统500的方框图,该应用管理系统500是用于支持本发明的自适应系统的一核心基础结构。可选的系统500还可用于支持教导应用功能这种实施例,如先前所描述的以及下面所详细描述的。系统500最好是以应用管理502为特色,该应用管理502根据本发明来管理其属于自适应系统的不同类型的应用。应用管理502与BaseApp 504所调用的一应用接口进行通信,该BaseApp 504是由系统500中的所有应用来实现的。应用管理502和BaseApp 504通过一EventHandler 506来传送事件。
应用管理502负责管理并提供用于执行该系统应用的运行时间(属于系统500的应用)。在BaseApp 504中定义了各个应用的生命周期,该BaseApp 504可使应用管理器502开始、暂停、重新开始、及退出(停止)各个应用。应用管理器502通过BaseApp 504的接口的阶段法来管理所执行的运行时间。值得注意的是可选的且最好是该阶段法用于执行,因为系统500最好是状态性的,以便各个阶段最好是与一个或多个状态向对应。然而,可选的还可以根据进程活动和/或任何类型的执行方法来执行。
应用管理502接收来自移动信息设备的记时事件。如下面更加详细的描述,最好是该移动信息设备以一操作系统为特色,以便最好是从操作系统层接收该记时事件。当调用一计时器时,应用管理502调用正在执行的当前应用的阶段。当用户激活不同的应用时,例如当利用该菜单系统时,最好是应用管理502将一个应用转换到另一个应用。
给出了该系统应用的一些非限制性的例子,其包括但是并不局限于一TeachingMachineApp 508、一MutateApp 510、一GeneStudioApp514、一TWizardApp 516、一FloatingAgentApp 518、以及一TCWorldApp522。
TeachingMachineApp 508是这样一个应用的一说明性的并非限制性的例子,该应用即就是可选的涉及通过利用该设备本身来提供与其有关的指令,但是最好是提供有关于其与设备本身的直接操作无关的主题的指令。因此,TeachingMachineApp 508表示这样一个应用的可选的例子,该应用即就是提供于移动信息设备至少以用于除使用该设备本身以外的一目的。
TCWorldApp 522是其运行智能代理的一应用,最好是控制代理智能方面以及动物或者动漫形象的图形显示(这两者均在下面进行详细的描述)。
根据本发明的应用的其他非限制性例子包括游戏。游戏的一个非限制性例子是″捉迷藏″游戏,在该游戏中自适应系统和用户可选的彼此相交互。最好是通过使动物或者动漫形象″藏在″有级别的菜单中来执行该捉迷藏游戏,以便最好是用户往返移动至少一个子菜单以发现该动漫形象或者动物,从而使得用户学习更多的分级结构的菜单和结构。许多其他游戏应用也在本发明的范畴内。
FloatingAgentApp 518可选的且最好是控制用户接口的外形,特别是动漫形象的外形(如果已呈现)。FloatingAgentApp 518可显示用户接口的可视显示方面而与动漫形象的显示无关,该动漫形象因此看来似乎例如在用户接口上″浮动″。当没有别的应用运行时,FloatingAgentApp 518最好是将被操作的缺省应用。
图5B给出了根据本发明的应用管理操作的一示例性序列图。如图所示,EventHandler 506最好是将一事件的通知发送到应用502,如箭头1所示。如果事件是一记时事件,那么应用管理502调用已被调用的有关应用的情况的阶段(动作),如箭头1.1.1所示。如果事件将启动执行一应用,那么应用管理502调用有关应用的情况,如箭头1.2.1所示。如果应用的当前运行情况是暂停,那么应用管理502将暂停命令发送到应用,如箭头1.3.1所示。如果重新开始先前暂停的一应用的情况,那么应用管理502将重新开始命令发送到应用,如箭头1.4.1所示。在任何情况下,该阶段的成功执行将返回到应用管理502,如上述有关的回返箭头所示。应用管理502因而通知EventHandler 506成功的执行或者故障。
对于使自适应控制移动信息设备的操作的各个方面而言,这些不同的应用是很重要的。然而,该自适应系统还需要能直接通过移动信息设备操作系统而与各种移动信息设备部件进行通信。可选的可通过通信系统600来执行这种通信,如图6所示,最好是利用如下所述的动作算法。
图6A和6B给出了根据本发明的自适应系统所需的一示例性基础结构以通过移动信息设备的操作系统来执行一个或多个动作(图6A),以及通信系统600的操作的序列图(图6B)。根据本发明可选的但是优选的实施例,该基础结构是“AI包装(wrappers)”的更一般概念的例子,或者能够使现有的UI(用户接口)系统与革新的AI及机器学习能力“包装”在一起。
通信系统600最好是利用与先前所描述的EventHandler 506进行通信的一基本类事件602来处理各种类型的事件。EventDispatcher 604因而将事件路由到位于本发明的系统之内的正确对象上。最好是通过利用用于特定事件的EventDispatcher 604来寄存该对象而确定路由。EventDispatcher 604最好是管理对处理机的寄存,该处理机实现了用于这种通知的EventHandler 506接口。
用于实现特定处理机的确定事件可选的且最好是包括一个用于蜂窝式电话的弹动器(flipper)事件处理程序606,其中通过打开一弹动器来激活该设备或者响应打进来的电话;当弹动器被打开或者关闭时,发生了该事件。根据本发明所操作的应用可选的彼此发送事件,这最好是由InterAppEvent处理机608来处理。最好是由CallEvent处理机612来处理呼入的或者呼出的电话,该CallEvent处理机612依次最好是具有两个处理机,用于启动电话呼叫的一CallStartedEvent处理机614及用于结束电话呼叫的一CallEndedEvent处理机616。
最好是由SMSEvent处理机618来处理SMS事件(输入的消息或者输出的消息)。可选的但是优选的其包含在事件中的参数包括与一个移动信息设备的动物或者动漫形象与另一个移动信息设备的动物或者动漫形象的杂交有关的参数,如下面所详细描述的。
与关键的操作有关的事件最好是由例如KeyEvent处理机620和/或KeyCodeEvent处理机622来处理,如果用户压下了移动信息设备的一按键,则KeyEvent处理机620最好是处理该事件,该事件与用于根据本发明的系统的操作的输入信息有关。在该序列图中,key_event是来自class keyevent的一对象,这个对象表示关键事件信息对象。对象KeyEvent处理机620处理key_event本身,同时KeyCodeEvent处理机622注意听输入码(所有的输入事件通过钩(hook)来获得输入到操作系统中)。
BatteryEvent处理机624最好是处理与电池有关的诸如低电池这样的事件,或者将低电耗模式转换成高电耗模式。
DayTimeEvent处理机626最好是涉及警报、日历或者提醒/约会日记事件。
图6B是其给出了如何处理移动信息设备操作系统或者其他控制结构与本发明的系统间的事件的序列图。在该例子中,移动信息设备具有一操作系统,虽然可选的同样的操作流程可用于其没有这样一个操作系统的设备。如果存在,操作系统对设备的输入和输出进行处理,并且管理状态和设备所出现的事件。图6B中的序列图是用于促进对这些事件的处理以及与这些事件有关的一概括
操作系统模块(os_module)628可引擎或者涉及一事件;可选的可存在多个这种模块,但是为了清楚起见仅给出了一个模块,然而并不是对任何方面做出限制。操作系统模块628属于移动信息设备的操作系统。操作系统模块628最好是将一事件的通知发送给钩630,该通知即就是是否由操作系统模块628来接收或者创建该事件。钩630属于根据本发明的系统,并且用于使操作系统与根据本发明的系统进行通信。钩630注意听来自操作系统的相应事件。钩630能够解释来自操作系统的事件,并且能够构造其可被事件602所理解的信息中的事件。钩630同时将事件发送到EventDispatcher 604,该EventDispatcher604与事件的各个处理机进行通信,如EventHandler 506所示(虽然存在有多个这种处理机)。EventDispatcher 604因而向钩630汇报,而钩630向操作系统模块628汇报有关事件的处理。
附图7A-7C说明了典型的事件,以及它们如何通过在所述移动信息装置(通过所述装置的操作系统)以及本发明的系统之间的相互作用,来处理上述典型事件。还应注意的是,本发明所述系统内可以选择性地处理的一些事件,与所述移动信息装置无关。
附图7A示出一典型关键事件顺序图,根据一具有Qualcomm公司的数据多路复用子系统操作系统基础结构的移动信息装置所描述的,用于它们的MSM(消息状态机)CDMA(码分多址)移动式平台。该操作系统提供诸如用户界面服务,I/O服务以及通过使用电话键(小键盘)进行交互式输入之类的操作系统服务。该实例示出来自一按键的输入事件是如何产生,并通过本发明的系统进行处理的。其他事件以几乎相同的方式发送至该系统,尽管根据发送所述事件的操作系统模块,改变了钩630的功能;可选的且最好是,存在许多这样的钩,以使每一个钩具有一关于所述操作系统的相互作用的不同的功能。
如附图7A所示,一ui_do_event模块700是所述操作系统的一组成部分,且被周期性地调用。当按压所述移动装置上的一按键时,将信息传送至ui_do_event模块700的所述用户界面(UI)结构,包含所述按键的值。然后,钩630接收所述按键值,可选的且最好是将所述事件识别为一关键事件(特别是如果ui_do_event模块700发送一全球事件),且产生一关键事件702。然后,关键事件702被发送至EventDispatcher604。然后,该事件被发送至一具有请求接收上述一事件的通知的应用方704,最好是通过一如前所述的事件处理程序(非示出)。然后,在处理所述事件中成功(或故障)的通知,最好是返回给EventDispatcher 604,并由此送至钩630和ui_do_event模块700。
附图7B示出一用于处理一事件的第二说明性实例的顺序图;在该例中,所述事件从本发明的所述系统,传送至所述操作系统,并且涉及所述移动信息装置屏幕上进行的绘制。通过所述操作系统的屏幕存取方法传送该信息,其中由一帧缓冲器代表(典型地)所述屏幕。所述帧缓冲器是一存储段,该存储段通过使用所述屏幕驱动程序(用于驱动所述屏幕硬件)复制,并通过所述屏幕显示。本发明的所述系统产生用于控制所述屏幕上进行的绘制的必要信息,并送至所述操作系统。
现在转到附图7B,如通过箭头“1”所示,所述操作系统(通过scrn_update_main模块710)首先更新用于所述画面的帧缓冲器。该更新可以可选的包括绘制例如显示在屏幕的每一部分上的所述背景,而其中的数据是无法根据本发明的所述系统提供的信息来进行绘制的。可选的,上述背景的存在支持半透明窗口的应用,其中可以可选的且最好是,用于以下所详述的动漫形象或代理。
然后,scrn_update_main模块710将一用于更新数据的要求发送至一屏幕模块712,所述屏幕模块712是本发明所述系统的一部分,且其特征在于一用于与所述操作系统通信的钩。然后,屏幕模块712将一要求发送至各应用窗口,所述每一应用窗口,均表示一代理窗口714,其中可以可选的存在多个窗口,用于更新将绘制在所述屏幕上的信息。如果发生变化,进而需要更新,那么代理窗口714通知屏幕模块712要求所述更新。然后,屏幕模块712询问所述改变的位置和大小,最好是以两个单独的请求(分别表示为箭头2.1.2.1和2.1.2.2),所得到的答案通过代理窗口714发送。
屏幕模块712通过scm_update_main 710以一更新矩形的形式,最好是如下所述的形式,将所述信息返回至所述操作系统。scrn_update_main710通过将所述帧缓冲器复制至一预缓冲器(过程3.1),响应关于一更新的存在的通知。然后,屏幕模块712将各窗口的改变,绘制写入所述预缓冲器,如箭头3.2.1.所示。然后,所示预缓冲器被复制到所述帧缓冲器,并由此送至所述屏幕(箭头3.3)。
附图7C示出用于在所述屏幕上进行绘制的本发明所述系统的类结构。屏幕模块71 2和代理窗口714二者都已经进行了说明。所述类代理窗口714还与其他三个提供关于更新(转换为)窗口信息的窗口类进行通信:返回屏幕窗口716,缓冲窗口718和直接存取窗口720。缓冲窗口718具有二个与其进行通信的更深一层的窗口:传输缓冲窗口722和预缓冲窗口724。
第2部分:动作先择系统
本部分描述了基于本发明动作选择系统的一优选实施例,其所包括的并不局限于可选方式选择基于鼓励(s)/阻碍(s)的描述,还包括其它的描述等。为了辅助说明如何选择所述智能代理的动作,提供了关于所述智能代理结构的原始说明,并且最好是通过本发明所述系统提供智能代理与所述虚拟环境之间的相互作用。
附图8描述了一所述智能代理的典型结构(附图8A),以及一用于所述智能代理的操作(附图8B)的典型顺序图。如附图8A所示,一智能代理800最好是包括多个类。所述主类是AICreature 802,其中包括关于所述智能代理的介绍,例如它的状态,个性,目标等等,以及关于出现的可视化表示所述代理的所述动漫形象的介绍,例如位置,颜色,其当前是否可视等等。
AICreature802与世界804进行通信,所述世界804是所述智能代理的虚拟环境的基本类。世界804依次与包含所述虚拟环境的多个类进行通信,其中描述了一些非局限性的实例。世界804最好是与一世界对象806的各种实例进行通信,所述世界对象806的各种实例表示为在所述虚拟环境中发现的对象,以及所述智能代理可以相互作用的对象。世界804管理这些不同的对象,并且接收关于它们的特征的介绍,所述特征包括它们的性质,例如位置等等。世界804还管理所述虚拟环境本身的性质,比如大小,可视性等等。世界对象806的直观表示可以可选的使用二维或三维的图形,或者一个二维和三维相混合的图形,且也可以可选的使用所述移动信息装置的其他性能,例如发音等等。
世界对象806本身可以可选的表示为一属于多个类之一的对象。这些抽象概念使不同的对象类,被添加到所述虚拟环境,或从所述虚拟环境中移动。例如,所述对象可以可选的是一“球状物”,其可作为菜单的一部分开始,然后,通过“移动”所述动漫形象,从而对其进行播放,如MenuBallObject 808所示。一好动物对象810最好是也与世界对象806通信;随后,诸如食品对象812(表示为所述动漫形象的食品),坏动物对象814(例如骚扰所述动漫形象的动物以及导致它们相互打架)以及住宅对象816(所述动漫形象的住宅)之类的类,最好是与好动物对象810通信。好动物对象810包括能够将对象绘制到所述屏幕上等等的动作,该动作是其它类和对象最好是与好动物对象810进行通信。当然,该系统中也可能存在许多其他的类和对象,因为例如,可以可选的将其他的小动物提供给所述动漫形象。
世界对象806也可能可选的且最好是涉及所述智能代理的状态,例如通过将一分级输入提供给所述状态。该输入最好是分级的,在某种意义上,将一激励提供给所述智能代理,或者将一阻碍提供给所述智能代理;它也可以可选的具有一中间值的改变。所述多个上述分级输入的集合,最好能够确定所述智能代理的状态。以上分别描述了关于附图8B的所述顺序图,以及关于附图9A和9B的所述图搜索策略和动作选择策略图,为了使从虚拟环境返回给所述智能代理的奖励达到最大值,所述分级输入最好是合计的。
所述分级输入也可以可选的包括以激励或阻碍的形式从所述用户反馈的输入,以使所述智能代理分别具有一激励或者阻碍,从而继续提供反馈的行为。所述世界状态关于来自所述用户的反馈的计算,可选的且最好是以如下方式进行:
Grade=(weighting_factor*feedback_reward)+((1-weighting_factor)*world_reward),其中所述feedback_reward由所述用户提供的反馈得到,且所述world_reward是如上所述的虚拟环境中的所合计的奖励的总数。weighting_factor是可选的且最好是在0和1之间的一个值,该值表示所述用户反馈与所述虚拟环境(世界)反馈相反的权数。
对代理动作的这种报酬的非限制性示例包括对代理提议的正负反馈;向代理提出了诸如球或食物这样的世界对象;电话使用期;用户教导期等等。为这些示例的每一个均分配一预定得分并且根据对应累计得分来限制或者扩大代理的动作。例如,为用户所提供的正负反馈分别分配正负点值;遇到敌人或者坏的动物:-20点;获得食物、玩具、或者房间对象:+5点;低电池告警;-1点;当代理教导用户时,正确的和错误的回答:分别是+1点和-1点;不激活20分钟;-1点;错误拨号:-1点;使用SMS;+1点;等等。上述示例也可应用在其他方面。
附图8B示出了说明一组典型的,在所述虚拟世界和本发明的所述智能代理之间的相互作用的顺序图。所述序列从一由虚拟世界模块818到AICreature802的请求开始,从而在所述智能代理的身份上进行更新。虚拟世界模块818控制并管理所述全部的虚拟环境,包括所述智能代理本身在内。
然后,所述智能代理认为执行一个动作,如箭头1.1.1所示。所述动作最好是通过一对全部世界对象的搜索(箭头1.1.1.1)进行选择,然后通过与世界804和世界对象806之间的相互作用,对每一个对象循环所有的动作。对每一个动作的潜在的奖励进行评估(箭头1.1.1.1.1.1)和分级(箭头1.1.1.1.1.1.2)。选择具有最高奖励的动作。然后,确定所述智能代理的整体分级,且AICreature 802执行所选择的动作。
然后,Virtual_world81 8通过与世界804和世界对象806进行通信,更新在所述世界中的所有对象的位置和身份。
基于许多不同方法中一个或多个方法,可以可选的执行在各种潜在动作中的搜索。附图9A和9B示出了基于本发明,选择一个动作的两个典型方法。
附图9A示出了用于动作选择的一个典型方法,在这里称为基于选择一个动作的策略的规则。在第1阶段,通过所述世界状态,确定所述虚拟环境的身份。一世界事件发生之后,在第2阶段调用适用于该事件的所述状态处理机。所述状态处理机最好是在第3阶段中对一知识库进行查询,所述知识库基于已调用的所述状态处理机,可以被分为单独的部分和/或单独的知识库。在第4阶段,将一响应返回给所述状态处理机。
在第5阶段,执行规则库的确认,其中所述响应(由此所暗示的动作随后使所述智能代理变成一指定状态)与所述规则相比,是违反规则的。如果所述动作是无效的,那么这个过程将返回至第1阶段。如果所述动作有效,那么在第6阶段产生所述动作。然后,最好是在第7阶段确定所述动作的优先级(以下关于附图9C中的详细描述);更好的是,基于多个输入确定所述优先级,包括而不局限于一动作概率,一动作效用和一用户优先权。在第8阶段,所述动作处于一个用于所述动作管理器的队列中。在第9阶段,所述动作管理器检索(retrieve)所述最高优先级动作,然后,在第10阶段通过所述智能代理执行该动作。
附图9B示出了基于一图搜索策略的典型动作选择方法。此外,在第1阶段所述过程从确定所述世界(虚拟环境)的状态开始,包括所述智能代理的状态和所述世界中的对象的状态。在第2阶段,查询所述智能代理。在第3阶段,所述智能代理获得一组用于每一世界对象的,符合规则的(允许或可能的)动作;最好是如图所示查询的每一个世界对象。
所述方法现在分成两个部分。第一部分,在右边示出的,是每一动作执行的途经。在第4阶段,将模拟一个所要执行的动作。在第5阶段,模拟的效果确定所述世界,并且最好是分别在第6阶段和第7阶段确定每一世界对象,从而确定用于每一动作效果的等级。
在第8阶段,确定所述对象以及世界的状态,作为一个动作的所有积累的奖励。在第9阶段,在所述智能代理上模拟所述动作的效果;最好是在阶段10,也考虑在所述智能代理和每一世界对象之间的所述效果。
现在轮到所述方法的左支,在第11阶段,所有这样的信息最好是通常被确定为具有最高奖励的动作途经。在第12阶段,产生所述动作。在第13阶段,最好是基于所述动作分级或奖励,设置所述动作优先级。在第14阶段,所述动作处于一个所述动作管理器的队列中,如附图9A所示。在第15阶段,所述动作管理器基于优先级,考虑所述动作;选择所述最高优先级动作,且最好是在第16阶段执行所述选择。
第3部分:与所述用户进行通信
本部分描述了基于本发明的,用于与所述用户进行通信的一通信系统的优选实施例,包括而不局限于文本通信,声音通信以及图形通信。仅仅为了描述而没有任何被限制的意图,以文本通信作为这类通信的一个实例进行描述。
附图10示出基于本发明,用于文本通信的典型顺序图。正文技术1200是产生正文的原因,也就是说,涉及到某一事件且该事件可通过所述智能代理进行通信。文本工具1200最好是包括基于预定的模板的自然语言生成的句子或短语,以及用于补白的位置标志符。将所述模板和补白一起合并,使文本工具1200产生大量的短语,所述短语与模板所属于的事件有关。将所述模板和补白一起合并,使文本工具1200产生大量的短语,所述短语与模板所属于的事件有关。
因为能够增加附加的模板作为另外的补白,所以该结构可以选择性的扩展的,用于许多新的与/或改变事件或主题。
如附图10所示,移动代理装置1006首先通过发送一个产生文本的请求与文本工具1200通讯,所述产生文本的请求,最好是用于一个特别的事件(箭头1)。文本工具1200最好是选择一模板,最好是从多个适用于该事件(箭头1.1)的模板中进行选择。此外,文本工具1200最好是选择一用于所述模板的补白,最好是从多个适用于该事件(箭头1.2.1)的补白中进行选择。然后,所述填满的模板被返回至移动代理装置1006。
以下提供一个产生用于一情绪改变事件的文本的实例,该事件中所述智能代理是高兴的,具有一些典型的,非限制性的模板和补白。所述模板是如下可选的:
高兴模板1:″%noun1 is%happy_adj2″
高兴模板2:″%self_f_pronoun%happy_adj1″
所述补白是如下可选的:
%noun 1={″the world″,″everything″,″life″,″this day″,″thespirit″}
%happy_adj1={″happy″,″joyful″,″glad″,″pleased″,″cheerful″,″inhigh spirits″,″blissful″,″exultant″,″delighted″,″cheery″,″jovial″,″oncloud nine″}
%happy_adj2={″nice″,″beautiful″,″great″,″happy″,″joyful″,″good″,″fun″}
%self_f_pronoun={″I am″,″I′m″,″your intelligent agent″,″youragent friend″}
合并模板和补白中的文本通信短语的结果的实例:
I′m cheerful(我是快乐的)
the spirit is joyful(心里是高兴的)
I am exultant(我是非常高兴的)
life is beautiful(生活是美丽的)
life is good(生活是好的)
I′m pleased(我是满意的)
I′m jovial(我是快乐的)
I am joyful(我是欢喜的)
the world is joyful(世界是欢喜的)
I′m glad(我是高兴的)
the spirit is joyful(心里是欢喜的)
the spirit is happy(心里是高兴的)
the world is nice(世界是美好的)
I am happy(我是高兴的)
如其它非限制性的实例,一个未接来电模板可以可选的具有如下结构:
%user missed a call from%missed%reaction
该例中,所述用户的姓名用作%user;所记录的姓名或其它标识符(例如电话号码)为%missed;%reaction是可选的且用作所述智能代理的反应,诸如表示为失望等等(例如“我是难过的”)。
如上述的实例所示,文本工具1200能够产生用于从未接来电事件到低电池事件等许多事件的相关的句子,使所述用户在所述移动信息装置之间的相互作用更丰富和更易理解。
第4部分:用于电话呼叫以及SMS消息的自适应系统
该部分描述了一个基于本发明,用于自适应处理电话呼叫以及SMS消息的自适应系统的优选实施例。该描述以用于操作本发明所述系统的一些优选算法的概括描述开始,然后,描述了所述电话呼叫处理以及SMS消息处理的类和顺序图。
智能选择号码(SAN)
所述SAN算法是设计用于学习在一次呼叫尝试失败后,选择最有可能拨叫的号码的。所述算法学习产生这样地配对,然后能够动态地适应于新用户行为。在通过所述用户的一次呼叫尝试失败之后,这样的关联对被用来暗示一个所要拨叫的号码。
该算法可以可选的以如下方式执行:将最常使用的项目插入至第一层(可选的插入物出现之后,所述项目频率是比一个预定阈值大的);最好是基于列表中的所述配对的频率,将所关联对暗示至一个电话号码;确定呼叫成功或失败;并保留一确定每个号码配对的历史的窗口,以便可以可选的删除最旧的。
用于该算法的所述知识库,可以可选的被表示为对于每一呼出号码的森林,其中包含一个可供选择的/顺次的电话与/或其他动作的列表。对于每个呼出电话,所接下来呼叫最好是被认为是顺次的,如果首次呼叫失败,则应在一预定时限内执行第二次呼叫。顺次的电话号码被添加至用于第一个电话号码的,上述顺次呼叫号码的列表。当所述列表装满时,最好是遗忘最旧的电话号码。
智能电话簿管理(SPBM)
所述SPBM系统是一个智能电话簿系统的非限制性实例,该系统应用移动信息装置利用率统计和呼叫统计,以学习可能的联系人关系及其共有的属性。该系统提供多个新的电话簿特征,包括而不局限于自动联系人小组产生以及自动联系人补充/删除。
例如,一自动小组管理算法最好是能够自动根据所述用户的利用率,将联系人电话号码分组。
自动状态检测(ASD)
所述ASD系统最好是能够使所述移动信息装置确定用户当前的使用状态(例如正在开会,用户离开),并建议改变所述UI,声音和AI行为系统,从而适应当前状态(例如激活呼入电话无声模式和/或发送一条自动SMS答复“会议中”)。该系统可选的且最好是,与一个或多个生物学传感器进行通信,所述生物学传感器可以可选的且最好是感测所述用户的生物学状态,且/或感测所述用户的活动等等。这些辅助传感器最好是提供能够使所述自适应系统确定所述移动信息装置的准确位置的信息,而不用接收来自所述用户指定输入和/或关于所述用户当前状态的查询。对于通过一装置捕获图形,照相机也是可选用于该目的的。
另一个可选的传感器种类,能够使所述装置识别一位特别的用户,例如通过指纹分析和/或其它类型的生物学信息。上述信息还可以可选的用于保密原因。
所述会议模式顾问算法是设计用来帮助所述用户管理所述请勿打扰模式的。所述算法具有一规则库,该规则库表示所述用户在会议中且不想被打扰的概率,与该概率相反,所述用户不能改变所述模式,但是要准备接听电话。所述算法的目的在于协助管理这样地转换。
所述算法最好是通过AI状态处理机进行操作,如前所述,通过确定所述电话世界状态,以及确定当所述规则库表示所暗示的会议模式时(例如用户停止当前电话响起且不能应答所述电话等等)。所述状态处理器也最好是服从所述相反类型的事件,所述事件表示其将取消所述会议模式。
附图11A和11B分别示出了用于基于本发明的电话呼叫处理的一典型的类图和一典型的顺序图。
就附图11A而言,一电话呼叫处理类图1300的特征在于一呼叫状态处理器1302,其作为通过建议呼叫类1304,对所产生的建议呼叫动作的响应。呼叫状态处理器1302最好是一基于规则的算法,其服从诸如呼叫起始事件1306,呼叫结束事件1308以及呼叫失败事件1310之类的电话事件;这些事件中间的每一个依次与呼叫事件1312类通信。呼叫状态处理器1302也最好是保存一个负责两种主要功能的规则库,所述两种主要功能为:机器学习,其保存所述电话关系知识库;以及基于是否建议一用于电话呼叫的号码给所述用户的推理的所述AI概率(这些建议最好是通过建议依次呼叫1314或建议选择呼叫1316进行处理)。
所述电话事件对象通过使用如前所述的事件模型产生的,重新具有所述移动信息装置操作系统中钩功能。所述呼叫数据最好尽可能被具有关于所产生的事件的信息(电话号码,联系人姓名,开始时间,持续时间等等)填满。
所述建议呼叫类(参考符号1304,1314以及1316)实现在所述自适应动作模型中描述的基础动作界面。这些类的任务在于给予所述用户一个建议,将所述用户在一呼叫结束之后,存放随后呼叫的电话号码建议给所述用户,或在一呼叫失败之后,将可选的呼叫建议给所述用户。
呼叫状态处理器1302服从于呼叫事件,并基于它的规则库(使用一规则库策略进行动作选择)对所述事件进行分类。以下将给出一说明性的,可选呼叫建议规则库的实例:
1、如果一电话呼叫开始且没有在先标记的电话呼叫->标记呼叫作为开始
2、如果所述电话呼叫结束且呼叫标记为开始->标记作为第一电话呼叫
3、如果电话呼叫开始且所述在先电话呼叫标记为第一呼叫,且多次呼叫之间的时间<依次呼叫阈值->标记为依次呼叫
4、如果标记为依次呼叫->更新知识库
5、如果标记为依次呼叫->标记呼叫作为第一呼叫(重新设置与下一电话呼叫相比的当前第一电话呼叫)
6、如果呼叫失败且在先呼叫标记为呼叫开始->标记呼叫作为第一失败
7、如果呼叫开始且在先呼叫标记为第一失败,且多次呼叫之间的时间<失败呼叫阈值->标记为备选呼叫
8、如果标记为备选呼叫->更新知识库
9、如果呼叫结束且从结束以后的时间<建议依次呼叫阈值和推断依次呼叫->产生建议依次电话呼叫动作(例如在电话呼叫之后采取的动作)
10、如果呼叫失败且从失败以后的时间<建议备选呼叫阈值和推断依次呼叫->产生建议备选电话呼叫动作
11、如果从最后标记的时间>阈值->不标记所有呼叫
所述呼叫建议知识库可选的且最好是设计作为一历史窗口,其中当所述对象的历史中发生所述呼叫时,就将其关联添加。在该例中,一备选或依次电话呼叫用于一确定联系人的所关联的对象,是联系人本身,且所有相关呼叫都最好通过在备选电话呼叫或依次电话呼叫历史窗口中按发生顺序定位。
例如,对于联系人电话号码054-545191,在历史窗口中相关联的呼叫可以可选的提供如下:
054-545191→
052-552211 052-552212 051-546213 052-552211 051-546213 052-552211 051-897555 051-897555 052-552211 052-552211
所述历史窗口的大小,最好是通过作为关系(发生)的数目的算法进行定义,所述算法在于管理(或记忆)。通过所述历史窗口饱和,则最好是将新的事件添加在前面,并将最后一个事件删除,以使所述窗口不超过所定义的大小。由于删除(遗忘)了旧的关系,从而有利于更多最新的关系,所以该知识库能够适应于在所述用户模式方面中的变化。
所述知识库不足以建议备选或依次呼叫,作为一个好的建议需要能够从所述知识库中推断出。所述推理算法最好是一种基于推理的简单概率,用于基于所述知识库,确定最有可能的关系目标。给出如下参数:
C0-联系人
H0(Ci)-能够在历史窗口C0中找到联系人Ci的次数
Hsize-历史窗口大小
所述方法最好建议如下联系人I:
P(Ci)=Max(H0(Ci)/Hsize)
上例中的C0=054-545191:
P(052-552211)是最大值且=0.6
只有当所述推理过程可以推断一大于%50的概率,同时最好所述历史窗口饱和时,该推理过程才被认为是有效的。
附图11B示出了一个用于电话呼叫处理的实例程序图。如图所示,EventDispatcher604(参见附图6中的详细描述)将一个呼叫事件的通知发送至呼叫状态处理器1302(箭头1),然后评价所述规则库(箭头1.1)。从而产生将一个联系添加到历史窗口1318的要求(箭头1.1.1)。
对于一个呼叫结束或失败事件,EventDispatcher604将一个通知发送至呼叫状态处理器1302(箭头2),然后评价所述规则库(箭头2.1)。从而产生从历史窗口1318接收一个可能的联系的要求(箭头2.2)。例如,所述可能的联系表示将要呼叫的一个电话号码,且将其从呼叫状态处理器1302发送至建议呼叫1304(箭头2.3)。该动作通过动作管理器进行排队(箭头2.4)。
其他算法可选但最好是辅助用户管理未接来电和所述呼叫等待功能。该算法以识别未接的重要呼叫(可能处于呼叫等待期间)作为目标,并建议智能回叫。仅仅对由所述用户(或知识库)识别为重要的号码建议该智能回叫。
所述知识库是基于两种可能的(补充的)选项。第一种选项是明确的,其中在执行所述呼叫之后,该用户标出所述呼叫的重要性和扩展地址簿字段的其他信息。第二种明确选项是由所述呼叫的频率和其他参数给出的。
如果呼叫号码是重要的且该用户在一段时间内没有排入该呼叫和/或所述目标号码没有被排入一呼入呼叫,则该算法可以建议一个回叫。基于内容的SMS地址推断(CSAI)
所述CSAI算法,被设计用于可选的且最好是通过所述消息的内容,预报一个消息地址。该算法最好是在消息中学习识别确定的单词模式,并将其与已存在地地址簿联系人相关联。一旦消息结束,就建议该联系人作为所述消息的接收方。
该算法可以基于一个或多个规则进行可选的操作,其中通过一规则解释程序解释所述规则。该自适应系统(例如,通过学习模块)能够最好是学习(例如)1000单词的一个表格。在一个呼出SMS消息中出现的每一个新的单词,都被添加至所述列表。对于每一个单词,都存在每一个SMS联系人的记录(例如,联系人的至少一个SMS消息被发送)。每一个单词/联系人的记录,包含所述单词在给该联系人的SMS消息中出现的次数,最好具有发送给每一个联系人的SMS消息的数目。
为了使所述推断机制能够运行,最好为当前SMS消息中的每一个单词W和每一个联系人C,计算概率P(C|W),基于表格中给出的P(W|C)和从所述表格中还计算了P(C)。然后,添加根据当前SMS消息中单词的数目而进行归一化处理的术语的数目。
所述SMS处理方法的目的在于分析所述SMS消息内容和推断所“送到”的地址。该算法可选的且最好是使用如下直观推断法,即当将一消息发送至一指定地址时,再现具有指定标识的单词。
一个呼出SMS消息中出现的每一个新的单词均被添加至所述列表。对于每一个单词,都存在对应于每一个SMS联系人的记录(例如,联系人的至少一个SMS消息被发送)。每一个单词/联系人的记录,包含所述单词在给该联系人的SMS消息中出现的次数。此外,最好是存储发送给每一个联系人的SMS的数目。最好是通过对最新发送的SMS消息进行语法分析之后更新所述单词表,来实现学习。
所述AI推断方法最好是通过前述的简单概率来完成。
附图12A和12B基于本发明,分别描述了所述SMS消息处理类和顺序图的说明性的,非限制性的实例。
附图12A基于本发明,示出了一个典型的SMS消息处理类框图1400。中示出了一 SMSStateHandler1402类和一SuggestSMStoSend1404类。SMSStateHandler1402是负责接收关于发送一SMS的状态的消息;SuggestSMStoSend1404是负责与建议所述SMS应该发送到的地址(电话号码)相关联。
附图12B示出了用于执行上述建议的一个典型顺序图。EventDispatcher604(参见附图6中的详细解释)将一个关于一个SMS事件的通知发送给SMSStateHandler1402(箭头1)  。SMSStateHandler1402先对所述知识库进行语法分析(箭头1.1.1);然后将一个请求发送至用于关于联系人信息的SMSdata1406(箭头1.1.1.1)。所述SMS最好是在箭头1.1.1.2中进行标记化(tokenized)(例如语法分析),并且从SMSdata1406中请求一个建议联系人地址(箭头1.1.1.3)。
如果得到一个建议联系人地址,SMSStateHandler1402最好产生一个动作,以将其发送至SuggestSMStoSend1404(箭头1.1.2.1.1),接着通过设置该动作的一个目标(箭头1.1.2.1.2),并通过将其发送至动作管理器1008,将该动作排序(箭头1.1.2.1.3)。
一旦所述SMS被发送,则EventDispatcher604将通知发送给SMSStateHandler1402(箭头2),SMSStateHandler1402处理该状态(箭头2.1),最好包括更新所述知识库(箭头2.1.1)和将新的SMS事件插入其中(箭头2.1.1.1,在与SMSdata1406通信中)。
第5部分:用于菜单的自适应系统
本部分描述了基于本发明,用于自适应菜单处理的一个自适应系统的一个优选实施例。首先描述了一个用于构造、排列和重排菜单的算法的概述,接下来,是一个典型菜单处理类框图的描述(附图15)。
所述自适应菜单系统是以能够通过应用自动推断,改变所述菜单系统或提供具有移动信息装置的操作系统的所述人类用户界面为基础的。所有具有一个图形用户接口的操作系统,都具有一个菜单,窗口或相应的用户界面系统。许多操作系统都具有一个选项,以手工的或人工的改变所述菜单系统或用于指定用户的窗口系统。上述系统提供自动改变所述用户界面的可能性。通过上述系统产生自动动作(用户赞成或自动的可能性)。为了推断所述正确的定制动作,并提供自动使用操作系统所提供的可变选项,所述系统使用菜单系统结构,并提供所需的抽象概念以及所需的知识库。
智能菜单汇编程序(IMA)
所述IMA算法被设计用于基于所述指定用户嗜好和移动信息设备利用率,动态生成UI(用户界面)菜单。所述算法最好是识别所述电话利用率特性,并根据上述特性,建立一个指定个人菜单。
该算法可以依次可选的以两个用于构造所述菜单的其他算法为特征。所述自动菜单快捷菜单算法的目的在于产生最喜爱和最常使用的应用及其子应用的自动快捷方式。该算法的焦点在于改善所述无法通过多数用户的使用而设置其个人快捷菜单的人工方式。对于所述知识库和学习,PhoneWorldMapper积累应用和子应用的执行,并使用所述知识库来推断应用/子应用在所述个人菜单选项中得到一菜单快捷方式,并为所述用户建立该快捷方式。
所述快捷方式的原因在于下列实用函数:所使用应用的频率通过在该快捷方式中需要保存的点击的数目(在正式菜单中的点击-(减去)在所述快捷方式中进行的点击)来进行加权。所述最高效用应用/子应用/屏幕将建议和快捷方式的组成部分提供给所述用户。
上述菜单的其他算法可以可选的包括自动菜单重组算法。该算法的目的在于在菜单系统中缺乏个性化。许多用户使用所述电话用户界面的方法是不同的,但他们所有的是同样的菜单系统和界面。该算法学习所述用户指定利用率,并据此重组该菜单系统,特别是提供一个完整的自适应菜单系统。
对于所述知识库,所述PhoneWorldMapper积累应用和子应用的执行,且存储对于指定目标的点击的次数。当向同一菜单中添加项目时,所述PhoneWorldMapper将给出一个所使用的分层视图。在一个菜单中,所述项目根据它们的效用进行组织。
周期性的,所述菜单系统最好是评估其对于所述用户是否是最佳的(通过上述定义的参数),依据所推断的最佳选项,可选的进行如下重组。
附图13示出了一个自适应菜单系统类图1500。该类算法通过一个PhoneWorldMapper1502类和一个PhoneWorldNode1504类提供所必需的抽象概念。PhoneWorldMapper1502是绘制所述菜单和用户界面系统的原因。该绘制由PhoneWorldNode1504来进行。PhoneWorldNode1504在图形结构中表示一个菜单,一个子菜单或一个菜单选项。
PhoneWorldMapper1502最好包括一个PhoneWorldNode1504对象的图形;在所述节点之间的所述边缘是菜单转换,且所述顶点是所绘制的菜单或选项。当所述用户在菜单系统中进行浏览时,PhoneWorldMapper1502跟随PhoneWorldNode1504对象的对象图形,并将其指向所述用户的准确定位。当用户激活某一选项时,当前节点最好记录该动作并计算该激活动作。PhoneWorldMapper1502提供了本发明,本发明能够计算每个菜单选项之间的差距(在点击中)及其从根部开始的差距,所述从根部开始的差距可能是由于菜单系统的图形表示而产生的。这样,PhoneWorldMapper1502将抽象概念提供给所述菜单结构,菜单导航,菜单激活和菜单中项目之间的距离。
类图1500还包括一个用于处理菜单事件的MenuEvent类1506和一个用于通过菜单建议快捷方式的SuggestShortcut1508。PhoneWorldMapper1502是最好与一个MyMenuData类1510和一个PhoneWorldMenuNode1512进行通信,所述MyMenuData类1510,是用于描述关于菜单的所述用户的个人使用模式的,所述PhoneWorldMenuNode1512,是用于提供前述图形的菜单节点的。一PhoneWorldLeafNode1514是与用于支持前述图形的PhoneWorldNode1504进行通信的。
前述系统提供三层的自适应用户界面算法。所述第一个定制层的特征在于一菜单项目激活快捷方式建议算法。该算法使用PhoneWorldMapper1502,监控对选项的激活。该算法监控一个菜单选项的激活的平均次数。当一个确定选项的激活的数目大于一个阈值(可选的大于一平均值),且所述快捷方式激活的差距小于该选项激活其自身所需次数时,最好建议一个快捷方式。由于该自动快捷方式减少了用户为激活所需功能而执行的操作的数目,因而该用户从所述自动快捷方式中受益。建立该流程,所述动作的产生是一个基于规则的策略,该策略使用PhoneWorldMapper1502作为其知识库。该算法自动定制用户指定的快捷方式。
所述第二个定制层最好包括菜单选项重排。该算法使用PhoneWorldMapper1502,监控选项的激活,并根据激活的次数,重排一指定菜单内的选项,例如最常使用的选项出现在第一位。该算法通过自适应所述用户的指定利用率,定制所述菜单选项的顺序。该算法最好使用与前面的算法相同的激活知识库,来重排菜单选项。
第三个定制层最好包括菜单组成部分。该算法监控所述选项和菜单的利用率,并选择最常用的选项。对于这些选项,该算法选择在PhoneWorldMapper1502图形中的第一常用节点。该节点成为所述菜单,且最常用的选项成为该节点的菜单选项。该菜单最好位于所述菜单系统中的第一位。这也将所述PhoneWorldMapper图形改变为一个新的图形,所述新的图形表示在菜单系统中的改变。该算法最好在递减选项激活顺序中重复并构造菜单。
第6部分:用于游戏的自适应系统
本部分描述了基于本发明的一个用于游戏的自适应系统的优选实施例。附图14中示出了一个基于本发明的典型游戏类图。
所述智能代理的一些目标是可选且最好是能够使所述用户得到娱乐。此外,所述智能代理可选的具有个人目标,例如用以通信。
为了管理这些目标的状态,该系统最好在游戏类图1600中具有两个类,附图14:UserBoredStateHandler 1602和CreatureStateHandler 1604。两个类最好根据基于规则的策略来产生动作。通过上述类限定的所述规则与其所表示的目标相关。两个类使用所述事件模型作为用于评估规则和状态变化的输入方法(例如均为事件处理器)。
作为一个等待动作(例如如果不考虑其他占用),所述智能代理最好选择所述移动动作(未示出),所述移动动作可以适应于所述用户的嗜好,例如关于卡通动作,声音等。
所述移动动作最好是首先在移动状态或休息状态之间进行选择。该选择是基于概率的。在每一状态中,所述移动动作同样基于概率,选择用于该状态的适当的卡通动作。用于每一个选项的概率均预设为50%。
所述用户输入影响当前所选择的配对(状态,卡通动作)。如果该用户给定一个错误的输入,则所述状态的概率和当前卡通动作的概率减少,且对于正确的输入,则上述概率增加。所述概率最好具有一个确定的阈值,所述阈值为用于阻止所述确定状态和所述卡通动作的概率不被选择的最小值和最大值。
此外,示出了一CommAction1606。该动作通过所述目标驱动来进行通信,且通过CreatureStateHandler1604可选的产生,依靠所述表示和所述用户与智能代理通信状态的嗜好。例如,如果所述智能代理暂时不能与所述用户通信,且所呈现的是一段试图与所述用户通信的正常的时间(根据所述状态处理机规则库),最好是产生一个通信动作。该动作可以引起摆动与或回响,同时可以尽可能的可选的使用文本通信。
一行为显示动作是可选的且最好是通过所述情绪模型取得;只要情绪状态改变,所述智能代理最好是表示所述新的情绪状态,可选的通过使用文本,声音,二维和三维的动漫形象。
一GameAction 1608最好是在所述浮动应用空间中开始一个游戏。该动作可选的从所述虚拟AI世界应用中选择一个或多个对象。所述智能代理探测所述对象并作用于所述对象。例如在所述智能代理能够移动并踢所述球状物之后,选择一个球状物,所述用户可以将所述球状物移动至一个新的地方等。一些对象可以可选的被用户界面对象遮蔽(在所述AI世界应用中已描述)。最好是该游戏动作的特征在于它仅仅是所述智能代理决定选中一可能的动作,而没有所述用户的支援。
所述捉迷藏动作1610,运用所述PhoneWorldMapper能够跟踪所述菜单系统中和所述不同的主屏幕中用户的定位。在所述用户浏览所述菜单系统,直到所述用户发现所述智能代理或所述搜索时间结束之后,所述智能代理最好是选择在所述菜单树中的一个定位并隐藏。在所述用户发现(或未发现)所述智能代理之后,最好是发送一消息告诉所述用户某些关于在所述菜单系统中的所述当前位置的事情与/或某些对所述当前屏幕有益的事情。这样所述用户可以了解所述主平台的特征及其他可用选项。所述有益的工具-提示最好是可以通过所述PhoneWorldNode用于所述智能代理,所述PhoneWorldNode包括所述工具-提示,该提示与通过那一级的目标实例描述的特定节点有关的。
一SuggestTmTrivia 1612可以可选的将一小游戏提供给所述用户,最好是关于一其中所述用户表示有兴趣的主题。
第7部分:训练系统
本部分描述了根据本发明的,一训练系统的优选实施例,包括而不局限于用于就一主题训练所述用户,也就是说没有直接与所述装置本身的操作有关系的本发明的优选实施例。提供所述训练机器的一般说明,后面是一可选但是最好是根据附图15A的所述训练机器(典型训练机器类图)和15B(典型训练机器顺序图)。
前述描述的应用层最好是运用所述训练机器的基础结构,以在本发明的范围内产生不同的训练应用。
所述训练机器最好能处理与/或提供如内容,训练逻辑,存储,更新,与所述智能代理相互作用(如果存在),课程结构,读音(如果听觉单词将被说出或了解),作为训练和学习的上述方面的支持。后者的问题对于训练语言是特别重要的,每一语言都需要存储以下数据:语言定义(姓名,字符组,元音等等);规则(语法,句法)和单词。最好是,一个规则就是一个简单的语言元素,其可以通过实例来训练,且很容易被检验。词汇最好是解释为单词的组,其中每个单词组最好是具有一个级且可以同时可选的根据不同的标准分类(例如工作单词,,旅行单词,简单会话单词等等)。其他的重要方面包括上下文,以使所述词汇中的每个单词w具有至少3个上下文和关系,以使所述词汇中的每个单词w1,w2,具有一个关系的最大集。一个关系最好是解释为一组4个单词w1∶w2和同样的w3∶w4.。
所述高级教学机器结构最好是包括称为第一类的TMLanguage,其提供用于所述当前TM语言的抽象概念,允许仅可能的扩充为所述全部的TM基础结构。还有最好是被称为第一类的TMLesson,其用于组织独立的课程,例如根据一组中的单词,规则,小测验或练习问题等等。
一个课程周期是可选的定义为一周。一个课程由一个作为用于该课程的当前词汇的单词组;一包括一个或多个在该课程中教学的规则的规则组;允许所述用户的练习到所述材料的练习;和可选的一小测验组成。
附图15A显示用于所述教学机器基础结构的一典型教学机器类图1700,其目的是提供一用于普通的和自适应的教学应用的可扩展结构。所述应用类TeachingMachineApp1702负责提供用于一个基于应用的小测验的所述运行时间和用户界面。所述应用最好是嵌入一个TMEngine1704中,其负责在所述调查领域建立所述用户分布图(用户模型)。例如,如果普通领域是英文词汇,TMEngine 1704最好是学习所述用户在所述英语词汇的不同子领域就单词关系,否定词,功能,主题等而言的成功率。
在所述普通领域的不同子领域中分析所教授的应用的所述用户的特性之后,TMEngine 1704最好是引导所述应用至测试,并在性能较薄弱的所述主题和子领域提高所述用户的知识。TMEngine 1704最好是进行用户评价的循环,其后是教学和适应于所述用户的性能,为了产生小测验问题,也就是说与所述用户的新的状态有关。
TMEngine 1704同时收集所述用户额外时间的性能,且可以可选的提供具有与用户成功率有关统计数字的TeachingMachineApp 1702。
所述可扩展小测验结构最好是通过使用抽象概念层和界面来提供。TMEngine 1704最好是一个小测验的集装箱;因为全部所述小测验最好是实现TMQuiz1706标准界面,所以小测验可以可选的是无缝的(seamlessly)。每个小测验可以使用所述TMDataAccess类1708,存取并存储它相应的问题,答案和用户成功率的数据库。所述教学机器的小测验和主题培训方面最好是分开的,其均允许所述自适应的教学应用,从而操作许多不同类型的主题且被高度扩展。
一些不同类型的小测验的实例包括一个TMWordNet小测验1710,一个TMTrivia小测验1712和一个TMRelation小测验1714。
附图15B根据本发明,示出了一个典型教学顺序图。应用管理器502(详细描述参见对附图5的详细描述)将一个步骤发送至TeachingMachineApp 1702(箭头1)。然后,TeachingMachineApp 1702将一个请求发送至TMEngine 1704,以准备所述下一教学循环(箭头1.1)。该准备最好是开始于来自TMQuiz 1706请求所述下一个问题(箭头1.2.1和1.2.1.1)。所述答案来源于所述用户且通过TMEngine 1704和TMQuiz 1706进行评价(箭头1.2.2)。如果正确,TMQuiz 1706更新所述正确的答案统计(箭头1.2.2.1.1.1);否则更新所述错误的答案统计(箭头1.2.2.1.2.1);所述总体成功率也被更新。TMEngine 1704最好是保存所述小测验统计值。可选的且最好是,如果选择一错误的答案,则将所述正确的答案显示给所述用户。
如果所述用户之前已经测试了至少一次,则所述序列的下一个部分可以可选的被执行。应用管理器502再次发送一个步骤(箭头2)。TeachingMachineApp 1702发送一个请求,以准备一个教学循环(箭头2.1)。定位所述用户的较薄弱的主题(箭头2.1.1),且所述用户的小测验的最弱类型同时最好是也被定位(箭头2.1.1.2)。对于循环中的每一问题,TeachingMachineApp 1702最好是如同上述获得下一个问题并评估所述用户前述的答案。
该结构最好是可扩展用于新的主题以及新的小测验结构的。所述新的主题最好是包括一个普通主题(例如英文)和一种内容的类型(例如美国俚语或旅行单词)。所述主题最好是包括用于该主题的所述数据以及一小测验结构,以使所述教学机器可以自动地合并所述数据和所述小测验结构。每个小测验最好是基于一个小测验模板,关于所述数据的指令,可以可选的处于所述模板内部的具体地点。
实例3-用于网络移动信息设备的智能代理
这些实例涉及利用网络移动信息设备上的智能代理,最好是利用蜂窝式电话。可选的且最好是,该智能代理包括与用户相交互的一动漫形象以及与网络上的诸如其它移动信息设备这样的其它元件相交互和/或网络本身相交互的一代理。因此最好是该动漫形象形成了用户接口(或者其一部分)并且具有一外观,该外观更好是立体的。可选的该外观可以是人形机,但是换句话说根据任何类型的特征或动物,无论是真的还是虚构的。最好是该代理可处理动漫形象与移动信息设备、和/或网络上的其他部件、和/或其它移动信息设备上的其它动漫形象间的通信。还应注意的是尽管利用诸如蜂窝式电话这样的移动信息设备描述了该实现过程,但是可选的也可利用如先前所描述的自适应系统(实例2)和/或前摄用户接口(实例1)来实现该实现过程的动漫形象方面(乃至代理本身)。
该动漫形象还最好是具有多个重要的可见方面。例如,可选的外部剪辑(clip)大小可以达到60×70像素,尽管当然可根据移动信息设备的屏幕显示特征来选择不同的分辨率。最好是利用若干个颜色来将动漫形象表示成一3D多边对象,但是在任何情况下最好是具有多个不同3D视觉特性,例如阴影、纹理、卡通制作支持等等。可选的可以通过以前所创建的即存储在移动信息设备中的可视结构单元(buildingblocks)来提供这些能力。最好是在运行时刻构成了该外观。
最好是如所示的利用后台中的移动信息设备用户接口而使动漫形象可在移动信息设备显示器上浮动,但是可选的一旦用户请求还可使其离开。最好是该动漫形象能明白当前用户与移动信息设备的正常相互作用并且努力使通过用户的强制隐藏/解散最小化。
该动漫形象看起来还改变了屏蔽的外观,将正文写入到用户和/或通过电话发出声音;这最好是通过智能代理的操作智能代理而完成的。可选的该代理还可激活振动模式,例如当动漫形象撞到虚拟世界中的坚硬对象时或者当设法获得用户的注意时。可选的该动漫形象还仿佛是主动地操作电话的用户接口屏幕。
为了实现该动漫形象和/或智能代理的这些不同功能,可选的且最好是按照图7-12所如下所述的来构造智能代理,虽然应该注意的是这些图仅仅描述了一个示例性的实现过程,但是许多不同的实现过程也是可能的。又,可选的智能代理的实现过程结合了或者信赖于上述实例1和2中所描述的实现过程。
该智能代理最好是以″可察觉″及智能的软件体系为特色。该系统的内部操作最好是包括若干算法工具,这些算法工具包括但不局限于AI和ML算法。
图16给出了根据本发明的一示例性动作选择系统2900的方框图,该动作选择系统2900提供了可使智能代理选择一动作的基础结构。
动作选择系统2900最好是以一ActionManager 2902为特色,该ActionManager 2902实际上执行该动作。BaseAction接口2904最好是为ActionManager 2902所执行的所有动作提供接口。
可选的动作可使用如AnimationManager 2906和SoundManager2908所表示的设备和应用能力,也就是说执行特定动作所需的设备和应用能力。可选的且最好是各动作聚集了适当的管理器以正确的执行。
可选的且最好是animationmanager 2906还可控制ChangeUIAction2910,该ChangeUIAction 2910改变用户接口的可见显示的外观。另外或者,如果动漫形象用来向用户描述该智能代理,那么可选的且最好是AnimationManager 2906还可控制GoAwayFromObjectAction 2912和GoTowardObjectAction 2914,该GoTowardObjectAction 2914可使动漫形象与动漫形象的虚拟世界中的虚拟对象相交互。
图17A和17B给出了移动信息设备的屏幕上的根据本发明的二个示例性的、非限制性动漫形象的抓图。图17A给出了用户接口的一示例性抓图用以通过与动漫形象的交互作用来调准铃声音量。图17B给出了用户接口的一示例性抓图用以通过与动漫形象的交互作用来接收一消息。
虽然已根据有限的实施例对本发明进行了描述,但是应该理解的是也可对本发明做出许多变化、修改及其他应用。

Claims (88)

1.一种用于计算设备的前摄用户接口,该计算设备具有操作系统,该设备包括:
(a)接口单元,使用户与所述操作系统之间进行通信;以及
(b)学习模块,检测可使用户与所述接口单元相交互的至少一个模型并且根据所述所检测到的模型来前摄的改变所述接口单元的至少一个功能,该学习模块包括感知单元,用来确定所述用户接口的状态和所述操作系统的状态、知识库,用来存储采集的作为所述用户和所述操作系统之间相互作用的结果的信息、以及推理系统,用所述知识库信息处理当前状态并且产生执行那个动作的决定。
2.根据权利要求1的前摄用户接口,其中从这样一组中选择所述至少一个模型,该组包括有根据用户与所述接口单元的至少一个之前交互所确定的模型、预定模型、或其组合。
3.根据权利要求1或2的前摄用户接口,其中所述接口单元的特征在于图形显示器,并且所述的改变所述接口单元的至少一个功能包括改变所述图形显示器的至少一部分。
4.根据权利要求3的前摄用户接口,其中所述的改变所述图形显示器的至少一部分包括:
根据所述所检测到的模型来选择所要显示的菜单;以及
显示所述菜单。
5.根据权利要求4的前摄用户接口,其中所述的对所述菜单的选择包括:
根据多个菜单选项来构造菜单。
6.根据权利要求1或2的前摄用户接口,其中所述接口单元的特征在于音频显示器,并且所述的改变所述接口单元的至少一个功能包括改变计算设备所产生的至少一个可听声音。
7.根据权利要求1的前摄用户接口,其中从这样组中选择计算设备,该组是由常规计算机、ATM、其包括有蜂窝式电话的移动信息设备、PDA、或其具有操作系统的消费者设备组成的。
8.根据权利要求1或2的前摄用户接口,其中所述学习模块包括知识库,该知识库用于保持信息,所述信息是被集聚为与用户和/或操作系统进行相互作用的结果的信息。
9.根据权利要求8的前摄用户接口,其中所述知识库包括根据用户行为以及预编程的信息所确定的多个综合知识。
10.根据权利要求8的前摄用户接口,其中所述学习模块进一步包括用于感知操作系统状态的多个传感器。
11.根据权利要求10的前摄用户接口,其中感知单元用于对所述传感器的输出进行处理以确定操作系统的状态以及所述接口单元的状态。
12.根据权利要求11的前摄用户接口,其中推理系统用于更新所述知识库并且用于学习所述接口单元的变化与操作系统的状态之间的相关性。
13.根据权利要求1或2的前摄用户接口,其中所述学习模块进一步包括人工智能算法和机器学习算法中的至少一个。
14.根据权利要求1或2的前摄用户接口,其中所述学习模块使其可导致从所述变化中进行直接用户选择的前摄变化的百分率最大化。
15.根据权利要求14的前摄用户接口,其中通过加强学习来执行所述最大化。
16.根据权利要求15的前摄用户接口,其中通过反复学习过程来执行所述加强学习。
17.根据权利要求16的前摄用户接口,其中在已执行所述变化之后执行所述学习过程的每一次反复。
18.根据权利要求3的前摄用户接口,其中前摄地改变所述接口单元的至少一个功能包括通过操作系统来激活附加的软件应用。
19.根据权利要求1的前摄用户接口,进一步包括能够与人类用户进行通信的智能代理。
20.根据权利要求18的前摄用户接口,其中所述智能代理通过网络来对计算设备的至少一个交互作用进行控制。
21.一种通过用户接口而使用户与具有图形显示的计算设备之间进行前摄交互的方法,该计算设备具有操作系统,该方法包括:
通过利用学习模块根据用户与用户接口的至少一个交互作用来检测用户行为的模型;
根据检测的模式选择将要显示的菜单;以及
通过显示所述菜单前摄地改变至少一部分所述图形显示。
22.根据权利要求21的方法,其中从这样的组中选择所述至少一个模型,该组包括有根据用户与所述用户接口的至少一个先前交互所确定的模型以及预定模型,或其组合。
23.根据权利要求21的方法,其中所述对所述菜单进行选择包括:用多个菜单选项来构造菜单。
24.一种通过用户接口而使用户与具有音频显示的计算设备之间进行前摄交互的方法,该计算设备具有操作系统和用户接口,该方法包括:
通过利用学习模块根据用户与用户接口的至少一个交互作用来检测用户行为的模型;以及
根据检测的模式选择将要显示的菜单;以及
改变由计算设备所产生的至少一个可听声音。
25.根据权利要求21的方法,其中从这样的组中选择计算设备,该组是由常规计算机、ATM、蜂窝式电话、移动信息设备、PDA或其具有操作系统的消费者设备构成的。
26.根据要求21或22的方法,其中所述学习模块包括知识库,并且该方法进一步包括通过利用知识库来保存所集聚为与用户和/或操作系统进行相互作用的结果的信息。
27.根据权利要求26的方法,其中所述知识库包括根据用户特性以及预编程的信息所确定的多个综合知识。
28.根据权利要求26的方法,其中所述学习模块进一步包括多个传感器,并且使用所述传感器来感知操作系统的状态。
29.根据权利要求28的方法,其中所述学习模块进一步包括感知单元,并且使用该感知单元以对所述传感器的输出进行处理以确定操作系统的状态以及所述接口单元的状态。
30.根据权利要求29的方法,其中所述学习模块进一步包括推理系统,并且使用该推理系统以更新所述知识库并且学习所述接口单元的变化与操作系统的状态之间的相关性。
31.根据权利要求21或22的方法,其中所述学习模块进一步包括人工智能算法和机器学习算法中的至少一个,并且该方法是通过学习模块来执行的。
32.根据权利要求21或22的方法,其中所述学习模块使可导致从所述变化中进行直接用户选择的前摄变化的百分率最大化。
33.根据权利要求32的方法,其中通过加强学习来执行所述最大化。
34.根据权利要求33的方法,其中通过反复学习过程来执行所述加强学习。
35.根据权利要求34的方法,其中在已执行所述变化之后执行所述学习过程的每一次反复。
36.根据权利要求21的方法,其中前摄地改变所述接口单元的至少一个功能包括通过操作系统来激活附加的软件应用。
37.根据权利要求36的方法,其中该方法是利用可与人类用户进行通信的智能代理来执行的。
38.根据权利要求37的方法,其中所述智能代理通过网络来对计算设备的至少一个交互作用进行控制。
39.一种用于计算设备的自适应系统,该计算设备具有操作系统,包括:
(a)用户接口,用于用户与所述操作系统之间的通信;
(b)由所述操作系统所控制的至少一个软件应用;
(c)知识库,知识库用于保存从组中所选择的信息,该组是由根据用户与所述用户接口的至少一个先前交互作用所确定的模式以及预定模式,或者其组合构成的;以及
(d)人工智能(AI)构架,用于支持所述应用并且与所述操作系统的主平台进行通信,以便使得所述用户接口能够作为参照所述知识库信息推理的结果而前摄地操作。
40.根据权利要求39的自适应系统,其中所述AI构架包括:
人工智能/机器学习(AI/ML)模块:
应用管理器,用于处理与所述应用进行通信;
存储管理器,用于对存储进行管理并且对与系统的知识库有关的数据进行处理;
动作管理器,用于使自适应系统确定应使哪个动作通过AI/ML模块的操作;
用户接口(UI)管理器,用于将变化应用于用户接口来管理用户接口的外形及功能;以及
设备世界映射器,用于确定计算设备的状态、虚拟世界的状态、以及所述两个状态之间的关系。
41.根据权利要求40的自适应系统,其中所述AI/ML模块确定响应各种刺激,自适应系统的动作,并且使自适应系统学习用户对不同类型的动作的响应。
42.根据权利要求40的自适应系统,其中所述AI构架进一步包括事件处理器,该事件处理器用于接收并对应用与多个不同低级管理器之间的不同事件进行处理,所述低级管理器包括动作管理器、UI管理器、存储管理器、以及应用管理器。
43.根据权利要求40的自适应系统,其中应用管理器能够开始、暂停、重新开始、及停止每个所述至少一个软件应用。
44.根据权利要求39的自适应系统,其中所述计算设备是从组中选择出来的,该组是由常规计算机、ATM、包括蜂窝式电话的移动信息设备、PDA、以及其具有操作系统的消费设备组成的。
45.根据权利要求39的自适应系统,其中所述自适应系统应该采取的动作是由智能代理来执行的。
46.根据权利要求45的自适应系统,其中所述智能代理是通过3D图形模型来创建的。
47.根据权利要求46的自适应系统,其中所述智能代理对与用户接口的可视显示方面独立的所显示的动漫形象进行控制。
48.根据权利要求47的自适应系统,其中所述智能代理执行在从组中所选择的应用程序中所定义的处理,所述组包括:教学机器应用,用于提供与设备本身的直接操作无关的主题的指令;浮动代理应用,与动漫形象的显示独立地显示用于使用户接口的可视显示方面;以及TC世界应用,运行智能代理。
49.根据权利要求45的自适应系统,其中自适应系统执行与移动信息设备的部件的直接通信。
50.根据权利要求49的自适应系统,其中当出现事件时,执行所述的自适应系统与移动信息设备的直接通信,所述事件是从组中选择出来的,该组包括:
导板事件,当打开或闭合移动信息设备的导板时出现;
互应用程序事件,使应用程序选择性的彼此发送事件;
呼叫事件,包括用于通知呼叫开始的呼叫开始事件以及用于通知呼叫结束的呼叫结束事件;
收到或发出SMS消息事件,包括与一个移动信息设备的动物或动漫形象与另一移动信息设备的动物或动漫形象的杂交有关的参数;
关键事件,与移动信息设备的关键操作有关;
电池事件,用于对与电池有关的事件进行处理;以及
日时间事件,该事件与告警、日历、以及提醒/约会日记中的至少一个有关。
51.根据权利要求45的自适应系统,其中智能代理与在虚拟环境中所得到的对象进行通信。
52.根据权利要求51的自适应系统,其中该对象包括球、好的动物、食品、坏的动物、房间、以及玩具中的至少一个。
53.根据权利要求51的自适应系统,其中该对象包括对智能代理状态的分级输入。
54.根据权利要求52或53的自适应系统,其中该对象可刺激或阻碍智能代理以继续已为其提供了反馈的特性。
55.根据权利要求39的自适应系统,其中通过基于规则的策略来确定自适应系统应该采取的所述动作。
56.根据权利要求55的自适应系统,其中所述基于规则的策略包括:
a)当出现事件时查询知识库,并且接收来自其的响应;
b)确定该事件是否是有效的;
c)产生与该事件相对应的动作并且确定该动作的优先级;以及
d)执行与该事件相对应的动作当中的最高优先级的动作。
57.根据权利要求56的自适应系统,其中最高优先级的动作是可使虚拟环境中的集合总报酬或按照鼓励或阻碍反馈形式的分级输入最大化的动作。
58.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统执行与用户的文本通信、声音通信、以及图形通信。
59.根据权利要求55-57中任一个权利要求的自适应系统,其中对于每个电话号码而言,在利用某个电话号码来进行呼叫尝试失败之后,自适应系统得知移动信息设备很可能被另一电话号码拨打,并且在用户进行呼叫尝试失败之后建议呼叫另一电话号码。
60.根据权利要求59的自适应系统,其中自适应系统使用移动信息设备的使用统计以及呼叫统计以学习该设备可能的联络关系以及相互特性,并且此后根据学习结果来自动建立联络电话号码组。
61.根据权利要求59的自适应系统,其中自适应系统可根据学习结果而实现知识库,并且此后利用该知识库来执行相应操作。
62.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统与生物传感器进行通信,该生物传感器可自动的感测移动信息设备用户的当前使用状态,并且该自适应系统可自动的改变移动信息设备的操作环境以使其适应于所检测到的当前使用状态。
63.根据权利要求62的自适应系统,其中在自动改变操作环境之后,自适应系统将用户的当前使用状态返回相对应部分。
64.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统与可对移动信息设备的用户信息进行识别的传感器进行通信,以便该自适应系统可自动识别所述移动信息设备的用户信息。
65.根据权利要求55-57中任一个权利要求的自适应系统,其中一旦接收到来自电话号码的电话,该电话号码被知识库或者被移动信息设备的用户所寄存的信息识别为重要的电话号码,自适应系统自动执行向所述电话号码的回叫。
66.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统通对移动信息设备的SMS消息中的某个字型进行识别来预测所新创建的消息的收件人。
67.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统根据特定用户偏爱以及移动信息设备的使用来创建唯一的且个人用户接口(UI)菜单。
68.根据权利要求67的自适应系统,其中个人UI菜单的特征在于可提议菜单项的快捷方式。
69.根据权利要求67的自适应系统,其中个人UI菜单的特征在于菜单项重新排序。
70.根据权利要求67的自适应系统,其中个人UI菜单的特征在于菜单布局。
71.根据权利要求55-57中任一个权利要求的自适应系统,其中自适应系统可使用户对动漫图形感兴趣。
72.根据权利要求71的自适应系统,其中自适应系统可提供“捉迷藏”游戏以便动漫图像隐藏在分级的菜单中并且该用户寻找该动漫图像。
73.根据权利要求55-57中任一个权利要求的自适应系统,进一步包括用于教授用户的教学模块。
74.根据权利要求73的自适应系统,其中所述教学模块可操作的向用户教授有关于移动信息设备的至少一个方面。
75.根据权利要求73的自适应系统,其中所述教学模块可操作的向用户教授有关于移动信息设备之外的至少一个主题。
76.一种在移动信息装置网络上与移动信息装置使用的智能代理,包括:
动漫形象,用来为用户接口提供所述智能代理;以及
代理,用来通过所述移动信息装置网络控制至少一个所述移动信息装置的相互作用,其中所述移动信息装置采用SMS与至少一个其他的移动信息装置进行通信。
77.根据权利要求76所述的智能代理,其中所述移动信息装置包括自动化的状态检测(ASD)系统,该系统能够使得所述移动信息装置确定用户的当前使用状态并且根据当前状态执行控制操作。
78.根据权利要求77所述的智能代理,其中根据当前状态的所述的控制操作包括激活沉默模式,用来接收电话呼叫和/或者发送自动的SMS回复以告知当前状态。
79.根据权利要求77所述的智能代理,其中所述的ASD系统与一个或者多个生物传感器通信,其中所述的传感器感知用户的生物状态,和/或感知用户的移动。
80.根据权利要求76所述的智能代理,还包括:
基于内容的SMS收件人推论运算,用来通过消息的内容预测消息收件人,其中所述的运算学习如何识别所述消息中的某种文字模型,并且以将它们与现存的地址簿联系,其中所述联系被建议为根据消息完成的消息目的地。
81.一种移动信息装置的前摄用户接口,该装置具有操作系统并且在移动信息装置网络上通信,包括:
(a)用户接口,用来在用户和所述操作系统之间通信,所述用户接口具有用来与用户进行信息交换的代理;
(b)其中所述代理由所述移动信息装置网络通过至少一个与所述用户接口的用户相互作用模型为用户提供通信上的控制功能。
82.根据权利要求81所述的前摄用户接口,其中通过所述移动信息装置网络的通信的功能是在呼叫尝试失败之后提供最可能被拨号的可选择的号码。
83.根据权利要求81所述的前摄用户接口,其中通过所述移动信息装置网络的通信的功能是被自动接触的组创建和自动联系的增加/删除。
84.一种在移动信息装置网络上与移动信息装置使用的智能代理,包括:
动漫形象,用来为用户接口提供与用户的相互作用;以及
教导模块,用来教导用户,以及
代理,用来通过所述移动信息装置网络控制至少一个所述移动信息装置的相互作用。
85.根据权利要求84的智能代理,其中所述的教导模块能够对所述用户进行所述移动信息装置的至少一个方面的教导。
86.根据权利要求85的智能代理,其中所述教导是学习使用移动信息装置的方法。
87.根据权利要求85的智能代理,其中所述教导是语言教导。
88.根据权利要求87的智能代理,其中所述教导模块支持教导方面,其中所述的方面包括教导内容、教导逻辑、存储、更新、与智能的相互作用、课程构建以及可听到的词汇的发音中的至少一个。
CNB2003101248491A 2003-09-05 2003-12-31 前摄的用户接口 Expired - Fee Related CN1312554C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US50066903P 2003-09-05 2003-09-05
US60/500,669 2003-09-05
US10/743,476 US20050054381A1 (en) 2003-09-05 2003-12-23 Proactive user interface
US10/743,476 2003-12-23

Publications (2)

Publication Number Publication Date
CN1652063A CN1652063A (zh) 2005-08-10
CN1312554C true CN1312554C (zh) 2007-04-25

Family

ID=34228747

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2003101248491A Expired - Fee Related CN1312554C (zh) 2003-09-05 2003-12-31 前摄的用户接口
CNA2004100771975A Pending CN1619470A (zh) 2003-09-05 2004-09-06 具有演变代理的前摄用户接口

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA2004100771975A Pending CN1619470A (zh) 2003-09-05 2004-09-06 具有演变代理的前摄用户接口

Country Status (13)

Country Link
US (1) US20050054381A1 (zh)
EP (2) EP1522918A3 (zh)
JP (2) JP2005085256A (zh)
KR (6) KR100720023B1 (zh)
CN (2) CN1312554C (zh)
AU (1) AU2003288790B2 (zh)
BR (1) BR0318494A (zh)
CA (1) CA2540397A1 (zh)
IL (1) IL174117A0 (zh)
MX (1) MXPA06002131A (zh)
RU (1) RU2353068C2 (zh)
UA (1) UA84439C2 (zh)
WO (1) WO2005025081A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988161B (zh) * 2011-12-09 2017-12-26 微软技术许可有限责任公司 用于调整应用的屏幕流的方法和系统
TWI689220B (zh) * 2015-09-22 2020-03-21 香港商阿里巴巴集團服務有限公司 預處理方法及裝置

Families Citing this family (509)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6773994B2 (en) * 2001-12-26 2004-08-10 Agere Systems Inc. CMOS vertical replacement gate (VRG) transistors
WO2003058483A1 (en) 2002-01-08 2003-07-17 Seven Networks, Inc. Connection architecture for a mobile network
US20050064916A1 (en) * 2003-09-24 2005-03-24 Interdigital Technology Corporation User cognitive electronic device
US20050147054A1 (en) * 2003-10-23 2005-07-07 Loo Rose P. Navigational bar
KR20050073126A (ko) * 2004-01-08 2005-07-13 와이더댄 주식회사 무선 인터넷에서의 개인화된 웹 페이지 제공 방법 및 시스템
CA2551782A1 (en) * 2004-01-30 2005-08-11 Combots Product Gmbh & Co. Kg Method and system for telecommunication with the aid of virtual control representatives
US8001120B2 (en) * 2004-02-12 2011-08-16 Microsoft Corporation Recent contacts and items
JP4151728B2 (ja) * 2004-03-04 2008-09-17 日本電気株式会社 データ更新システム、データ更新方法、およびデータ更新プログラム、ならびにロボットシステム
JP2005292893A (ja) * 2004-03-31 2005-10-20 Nec Access Technica Ltd 携帯情報端末装置
US7555717B2 (en) * 2004-04-30 2009-06-30 Samsung Electronics Co., Ltd. Method for displaying screen image on mobile terminal
US20070203589A1 (en) * 2005-04-08 2007-08-30 Manyworlds, Inc. Adaptive Recombinant Process Methods
US9047388B2 (en) * 2004-07-01 2015-06-02 Mindjet Llc System, method, and software application for displaying data from a web service in a visual map
US7580363B2 (en) * 2004-08-16 2009-08-25 Nokia Corporation Apparatus and method for facilitating contact selection in communication devices
KR100673162B1 (ko) * 2004-08-17 2007-01-22 에스케이 텔레콤주식회사 자율적 이동 컴퓨팅을 위한 모바일 에이전트, 이를 구비한이동단말기, 및 이를 이용한 서비스 방법
KR100612859B1 (ko) * 2004-08-26 2006-08-14 삼성전자주식회사 사용패턴에 의한 대화형 사용자 인터페이스 운영 방법 및시스템
DE602005001373T2 (de) * 2004-08-26 2008-02-21 Samsung Electronics Co., Ltd., Suwon Mobiles System, Verfahren und Computerprogramm zur Steuerung einer dialogfähigen Bedienschnittstelle in Abhängigkeit von erfassten Verhaltensmustern
US7912186B2 (en) * 2004-10-20 2011-03-22 Microsoft Corporation Selectable state machine user interface system
US7551727B2 (en) * 2004-10-20 2009-06-23 Microsoft Corporation Unified messaging architecture
US7590430B1 (en) * 2004-11-01 2009-09-15 Sprint Communications Company L.P. Architecture and applications to support device-driven firmware upgrades and configurable menus
KR100757906B1 (ko) * 2004-11-26 2007-09-11 한국전자통신연구원 네트워크 기반 로봇 시스템 및 그 실행 방법
KR100755433B1 (ko) * 2004-12-20 2007-09-04 삼성전자주식회사 휴대단말기의 통화 관련 이벤트 처리 장치 및 방법
US7913189B2 (en) * 2005-02-21 2011-03-22 Canon Kabushiki Kaisha Information processing apparatus and control method for displaying user interface
US20060195797A1 (en) * 2005-02-25 2006-08-31 Toshiba Corporation Efficient document processing selection
US20060247851A1 (en) * 2005-03-08 2006-11-02 Morris Robert P Mobile phone having a TV remote style user interface
US20060206364A1 (en) * 2005-03-14 2006-09-14 Nokia Corporation Relationship assistant
US8438633B1 (en) 2005-04-21 2013-05-07 Seven Networks, Inc. Flexible real-time inbox access
DE102005020688B4 (de) * 2005-05-03 2008-01-03 Siemens Ag Mobiltelefon
JP4698281B2 (ja) * 2005-05-09 2011-06-08 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末、情報推奨方法及びプログラム
WO2006126205A2 (en) * 2005-05-26 2006-11-30 Vircomzone Ltd. Systems and uses and methods for graphic display
WO2006136660A1 (en) 2005-06-21 2006-12-28 Seven Networks International Oy Maintaining an ip connection in a mobile network
JP4681965B2 (ja) * 2005-07-19 2011-05-11 富士通東芝モバイルコミュニケーションズ株式会社 通信端末
KR100842866B1 (ko) * 2005-08-18 2008-07-02 (주)인피니티 텔레콤 학습기능을 가지는 이동통신 단말기와 이동통신 단말기를이용한 학습방법
US9152982B2 (en) 2005-08-19 2015-10-06 Nuance Communications, Inc. Method of compensating a provider for advertisements displayed on a mobile phone
US8549392B2 (en) * 2005-08-30 2013-10-01 Microsoft Corporation Customizable spreadsheet table styles
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070061189A1 (en) * 2005-09-12 2007-03-15 Sbc Knowledge Ventures Lp Method for motivating competitors in an enterprise setting
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
JP2007075446A (ja) * 2005-09-15 2007-03-29 Square Enix Co Ltd ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US8539374B2 (en) * 2005-09-23 2013-09-17 Disney Enterprises, Inc. Graphical user interface for electronic devices
US7477909B2 (en) * 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US7840451B2 (en) * 2005-11-07 2010-11-23 Sap Ag Identifying the most relevant computer system state information
US8805675B2 (en) * 2005-11-07 2014-08-12 Sap Ag Representing a computer system state to a user
US8401884B1 (en) * 2005-11-07 2013-03-19 Avantas L.L.C. Electronic scheduling for work shifts
US7979295B2 (en) * 2005-12-02 2011-07-12 Sap Ag Supporting user interaction with a computer system
US20070135110A1 (en) * 2005-12-08 2007-06-14 Motorola, Inc. Smart call list
US20070174235A1 (en) * 2006-01-26 2007-07-26 Michael Gordon Method of using digital characters to compile information
JP2007249818A (ja) * 2006-03-17 2007-09-27 Graduate School For The Creation Of New Photonics Industries 電子カルテシステム
US20070286395A1 (en) * 2006-05-24 2007-12-13 International Business Machines Corporation Intelligent Multimedia Dial Tone
KR100763238B1 (ko) 2006-05-26 2007-10-04 삼성전자주식회사 모바일 디바이스를 위한 특이성 탐지 장치 및 방법
US20080034396A1 (en) * 2006-05-30 2008-02-07 Lev Zvi H System and method for video distribution and billing
WO2007139342A1 (en) * 2006-05-30 2007-12-06 Samsung Electronics Co., Ltd. User-interest driven launching pad of mobile application and method of operating the same
KR101295155B1 (ko) 2006-06-26 2013-08-09 삼성전자주식회사 사용자의 행동 분석 결과에 따라 대기화면을 표시하는이동통신단말기 및 그 방법
CA2657176C (en) * 2006-07-12 2015-09-08 Medical Cyberworlds, Inc. Computerized medical training system
EP1895505A1 (en) * 2006-09-04 2008-03-05 Sony Deutschland GmbH Method and device for musical mood detection
KR100834646B1 (ko) * 2006-09-05 2008-06-02 삼성전자주식회사 소프트웨어 로봇 메시지 전송 방법
US8014760B2 (en) 2006-09-06 2011-09-06 Apple Inc. Missed telephone call management for a portable multifunction device
US20080055263A1 (en) * 2006-09-06 2008-03-06 Lemay Stephen O Incoming Telephone Call Management for a Portable Multifunction Device
AU2011244866B2 (en) * 2006-09-06 2015-01-29 Apple Inc. Incoming telephone call management for a portable multifunction device with touch screen display
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7881990B2 (en) * 2006-11-30 2011-02-01 Intuit Inc. Automatic time tracking based on user interface events
US8731610B2 (en) * 2006-12-13 2014-05-20 Samsung Electronics Co., Ltd. Method for adaptive user interface in mobile devices
US20080161045A1 (en) * 2006-12-29 2008-07-03 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Link to Contacts on the Idle Screen
US7975242B2 (en) 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
US8225227B2 (en) 2007-01-19 2012-07-17 Microsoft Corporation Managing display of user interfaces
US8024660B1 (en) 2007-01-31 2011-09-20 Intuit Inc. Method and apparatus for variable help content and abandonment intervention based on user behavior
EP2129086A4 (en) * 2007-02-06 2014-11-26 Nec Corp MOBILE PHONE, MOBILE PHONE ADJUSTMENT PROCEDURE AND MOBILE PHONE ADJUSTMENT PROGRAM
US8014995B2 (en) * 2007-02-09 2011-09-06 Mobile Complete, Inc. Virtual device interactive recording
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
WO2008106196A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Virtual world avatar control, interactivity and communication interactive messaging
US8843376B2 (en) * 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US7870491B1 (en) 2007-04-27 2011-01-11 Intuit Inc. System and method for user support based on user interaction histories
US20080297515A1 (en) * 2007-05-30 2008-12-04 Motorola, Inc. Method and apparatus for determining the appearance of a character display by an electronic device
US20080301556A1 (en) * 2007-05-30 2008-12-04 Motorola, Inc. Method and apparatus for displaying operational information about an electronic device
US8805425B2 (en) 2007-06-01 2014-08-12 Seven Networks, Inc. Integrated messaging
US8886259B2 (en) * 2007-06-20 2014-11-11 Qualcomm Incorporated System and method for user profiling from gathering user data through interaction with a wireless communication device
US8892171B2 (en) * 2007-06-20 2014-11-18 Qualcomm Incorporated System and method for user profiling from gathering user data through interaction with a wireless communication device
US8065429B2 (en) 2007-06-28 2011-11-22 Nokia Corporation System, apparatus and method for associating an anticipated success indication with data delivery
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
KR100934225B1 (ko) * 2007-09-21 2009-12-29 한국전자통신연구원 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
US8312373B2 (en) 2007-10-18 2012-11-13 Nokia Corporation Apparatus, method, and computer program product for affecting an arrangement of selectable items
US8326979B2 (en) * 2007-11-22 2012-12-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for agile computing
US9002828B2 (en) 2007-12-13 2015-04-07 Seven Networks, Inc. Predictive content delivery
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US8862657B2 (en) 2008-01-25 2014-10-14 Seven Networks, Inc. Policy based content service
US20090193338A1 (en) 2008-01-28 2009-07-30 Trevor Fiatal Reducing network and battery consumption during content delivery and playback
US8042061B1 (en) 2008-02-18 2011-10-18 United Services Automobile Association Method and system for interface presentation
US7827072B1 (en) 2008-02-18 2010-11-02 United Services Automobile Association (Usaa) Method and system for interface presentation
US9659011B1 (en) * 2008-02-18 2017-05-23 United Services Automobile Association (Usaa) Method and system for interface presentation
US8171407B2 (en) * 2008-02-21 2012-05-01 International Business Machines Corporation Rating virtual world merchandise by avatar visits
US8997018B2 (en) * 2008-03-04 2015-03-31 Synaptics Incorporated Presenting a menu
JP5159375B2 (ja) 2008-03-07 2013-03-06 インターナショナル・ビジネス・マシーンズ・コーポレーション メタバースにおけるオブジェクトの真贋判断システム、方法及びそのコンピュータ・プログラム
EP2101230B1 (de) 2008-03-13 2012-11-07 Rational AG Verfahren zum Bereitstellen eines intelligenten Mensch-Maschinen-Interfaces bei Gargeräten
ATE526616T1 (de) * 2008-03-13 2011-10-15 Rational Ag Verfahren zum bereitstellen eines intelligenten mensch-maschinen-interfaces bei gargeräten
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR101461949B1 (ko) * 2008-04-24 2014-11-14 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 캐릭터 연동 방법
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20090298020A1 (en) * 2008-06-03 2009-12-03 United Parcel Service Of America, Inc. Systems and methods for improving user efficiency with handheld devices
US8787947B2 (en) 2008-06-18 2014-07-22 Seven Networks, Inc. Application discovery on mobile devices
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US20100042469A1 (en) * 2008-08-18 2010-02-18 Microsoft Corporation Mobile device enhanced shopping experience
US9223469B2 (en) * 2008-08-22 2015-12-29 Intellectual Ventures Fund 83 Llc Configuring a virtual world user-interface
US8805450B2 (en) * 2008-09-05 2014-08-12 Microsoft Corp. Intelligent contact management
US20100082515A1 (en) * 2008-09-26 2010-04-01 Verizon Data Services, Llc Environmental factor based virtual communication systems and methods
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8909759B2 (en) 2008-10-10 2014-12-09 Seven Networks, Inc. Bandwidth measurement
US8255086B2 (en) 2008-10-27 2012-08-28 Lennox Industries Inc. System recovery in a heating, ventilation and air conditioning network
US8452906B2 (en) 2008-10-27 2013-05-28 Lennox Industries, Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US9377768B2 (en) 2008-10-27 2016-06-28 Lennox Industries Inc. Memory recovery scheme and data structure in a heating, ventilation and air conditioning network
US8352080B2 (en) 2008-10-27 2013-01-08 Lennox Industries Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8548630B2 (en) 2008-10-27 2013-10-01 Lennox Industries, Inc. Alarm and diagnostics system and method for a distributed-architecture heating, ventilation and air conditioning network
US9261888B2 (en) 2008-10-27 2016-02-16 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8774210B2 (en) 2008-10-27 2014-07-08 Lennox Industries, Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8874815B2 (en) 2008-10-27 2014-10-28 Lennox Industries, Inc. Communication protocol system and method for a distributed architecture heating, ventilation and air conditioning network
US8433446B2 (en) 2008-10-27 2013-04-30 Lennox Industries, Inc. Alarm and diagnostics system and method for a distributed-architecture heating, ventilation and air conditioning network
US9268345B2 (en) 2008-10-27 2016-02-23 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US9651925B2 (en) 2008-10-27 2017-05-16 Lennox Industries Inc. System and method for zoning a distributed-architecture heating, ventilation and air conditioning network
US8239066B2 (en) 2008-10-27 2012-08-07 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8600558B2 (en) 2008-10-27 2013-12-03 Lennox Industries Inc. System recovery in a heating, ventilation and air conditioning network
US8802981B2 (en) 2008-10-27 2014-08-12 Lennox Industries Inc. Flush wall mount thermostat and in-set mounting plate for a heating, ventilation and air conditioning system
US9678486B2 (en) 2008-10-27 2017-06-13 Lennox Industries Inc. Device abstraction system and method for a distributed-architecture heating, ventilation and air conditioning system
US8564400B2 (en) 2008-10-27 2013-10-22 Lennox Industries, Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8452456B2 (en) 2008-10-27 2013-05-28 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US9325517B2 (en) 2008-10-27 2016-04-26 Lennox Industries Inc. Device abstraction system and method for a distributed-architecture heating, ventilation and air conditioning system
US8615326B2 (en) 2008-10-27 2013-12-24 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8655491B2 (en) 2008-10-27 2014-02-18 Lennox Industries Inc. Alarm and diagnostics system and method for a distributed architecture heating, ventilation and air conditioning network
US8560125B2 (en) 2008-10-27 2013-10-15 Lennox Industries Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8437877B2 (en) 2008-10-27 2013-05-07 Lennox Industries Inc. System recovery in a heating, ventilation and air conditioning network
US8762666B2 (en) 2008-10-27 2014-06-24 Lennox Industries, Inc. Backup and restoration of operation control data in a heating, ventilation and air conditioning network
US9152155B2 (en) 2008-10-27 2015-10-06 Lennox Industries Inc. Device abstraction system and method for a distributed-architecture heating, ventilation and air conditioning system
US8892797B2 (en) 2008-10-27 2014-11-18 Lennox Industries Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8463443B2 (en) 2008-10-27 2013-06-11 Lennox Industries, Inc. Memory recovery scheme and data structure in a heating, ventilation and air conditioning network
US8977794B2 (en) 2008-10-27 2015-03-10 Lennox Industries, Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US9632490B2 (en) 2008-10-27 2017-04-25 Lennox Industries Inc. System and method for zoning a distributed architecture heating, ventilation and air conditioning network
US8655490B2 (en) 2008-10-27 2014-02-18 Lennox Industries, Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8437878B2 (en) 2008-10-27 2013-05-07 Lennox Industries Inc. Alarm and diagnostics system and method for a distributed architecture heating, ventilation and air conditioning network
US8788100B2 (en) 2008-10-27 2014-07-22 Lennox Industries Inc. System and method for zoning a distributed-architecture heating, ventilation and air conditioning network
US8543243B2 (en) 2008-10-27 2013-09-24 Lennox Industries, Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8600559B2 (en) 2008-10-27 2013-12-03 Lennox Industries Inc. Method of controlling equipment in a heating, ventilation and air conditioning network
US8694164B2 (en) 2008-10-27 2014-04-08 Lennox Industries, Inc. Interactive user guidance interface for a heating, ventilation and air conditioning system
US8442693B2 (en) 2008-10-27 2013-05-14 Lennox Industries, Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8463442B2 (en) 2008-10-27 2013-06-11 Lennox Industries, Inc. Alarm and diagnostics system and method for a distributed architecture heating, ventilation and air conditioning network
US8295981B2 (en) 2008-10-27 2012-10-23 Lennox Industries Inc. Device commissioning in a heating, ventilation and air conditioning network
US8855825B2 (en) 2008-10-27 2014-10-07 Lennox Industries Inc. Device abstraction system and method for a distributed-architecture heating, ventilation and air conditioning system
US9432208B2 (en) 2008-10-27 2016-08-30 Lennox Industries Inc. Device abstraction system and method for a distributed architecture heating, ventilation and air conditioning system
US8725298B2 (en) 2008-10-27 2014-05-13 Lennox Industries, Inc. Alarm and diagnostics system and method for a distributed architecture heating, ventilation and conditioning network
US8352081B2 (en) 2008-10-27 2013-01-08 Lennox Industries Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8661165B2 (en) 2008-10-27 2014-02-25 Lennox Industries, Inc. Device abstraction system and method for a distributed architecture heating, ventilation and air conditioning system
US8744629B2 (en) 2008-10-27 2014-06-03 Lennox Industries Inc. System and method of use for a user interface dashboard of a heating, ventilation and air conditioning network
US8994539B2 (en) 2008-10-27 2015-03-31 Lennox Industries, Inc. Alarm and diagnostics system and method for a distributed-architecture heating, ventilation and air conditioning network
US8798796B2 (en) 2008-10-27 2014-08-05 Lennox Industries Inc. General control techniques in a heating, ventilation and air conditioning network
US9396455B2 (en) 2008-11-10 2016-07-19 Mindjet Llc System, method, and software application for enabling a user to view and interact with a visual map in an external application
US10102534B2 (en) * 2008-12-09 2018-10-16 International Business Machines Corporation System and method for virtual universe relocation through an advertising offer
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
US9009661B2 (en) * 2008-12-18 2015-04-14 Adobe Systems Incorporated Platform sensitive application characteristics
US9009662B2 (en) 2008-12-18 2015-04-14 Adobe Systems Incorporated Platform sensitive application characteristics
DE102008055011A1 (de) 2008-12-19 2010-07-01 Deutsche Telekom Ag Verfahren zur Steuerung einer Benutzerschnittstelle
US9635195B1 (en) * 2008-12-24 2017-04-25 The Directv Group, Inc. Customizable graphical elements for use in association with a user interface
US8209638B2 (en) * 2008-12-31 2012-06-26 Sap Ag Customization abstraction
CN101770339B (zh) * 2009-01-05 2012-12-19 深圳富泰宏精密工业有限公司 使用者行为追踪及记录系统与方法
US8401992B2 (en) * 2009-02-06 2013-03-19 IT Actual, Sdn. Bhd. Computing platform based on a hierarchy of nested data structures
US8151199B2 (en) 2009-02-09 2012-04-03 AltEgo, LLC Computational delivery system for avatar and background game content
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
DE102009018491A1 (de) * 2009-04-21 2010-11-11 Siemens Aktiengesellschaft Einstellen eines Feld- oder Leitgerätes
US9760573B2 (en) 2009-04-28 2017-09-12 Whp Workflow Solutions, Llc Situational awareness
US10565065B2 (en) 2009-04-28 2020-02-18 Getac Technology Corporation Data backup and transfer across multiple cloud computing providers
US8311983B2 (en) * 2009-04-28 2012-11-13 Whp Workflow Solutions, Llc Correlated media for distributed sources
US10419722B2 (en) 2009-04-28 2019-09-17 Whp Workflow Solutions, Inc. Correlated media source management and response control
KR101052411B1 (ko) * 2009-05-11 2011-07-28 경희대학교 산학협력단 패턴 추론 방식으로 사용자의 상황을 예측하는 방법
US8412662B2 (en) * 2009-06-04 2013-04-02 Motorola Mobility Llc Method and system of interaction within both real and virtual worlds
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
KR101562792B1 (ko) * 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
US11520455B2 (en) * 2009-06-29 2022-12-06 International Business Machines Corporation Dioramic user interface having a user customized experience
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
DE112010000035B4 (de) * 2009-08-03 2015-04-30 Honda Motor Co., Ltd. Roboter und Regelungs- /Steuerungssystem
US8491504B2 (en) * 2009-08-04 2013-07-23 University Of South Carolina Devices and methods for monitoring sit to stand transfers
KR101544371B1 (ko) * 2009-08-07 2015-08-17 삼성전자주식회사 사용자 상황을 반영하는 휴대 단말기 및 이의 운용 방법
KR101584058B1 (ko) * 2009-08-07 2016-01-12 삼성전자주식회사 현재 상황에 적합한 사용 환경을 제공하는 휴대 단말기 및 이의 운용 방법
JP5333068B2 (ja) * 2009-08-31 2013-11-06 ソニー株式会社 情報処理装置、表示方法及び表示プログラム
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US20110087975A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Method and arrangement in a data
USD648641S1 (en) 2009-10-21 2011-11-15 Lennox Industries Inc. Thin cover plate for an electronic system controller
USD648642S1 (en) 2009-10-21 2011-11-15 Lennox Industries Inc. Thin cover plate for an electronic system controller
FR2952200A1 (fr) * 2009-10-29 2011-05-06 Alcatel Lucent Dispositif et procede d'analyse automatique de l'utilisation de l'interface utilisateur d'une application
US20110118557A1 (en) * 2009-11-18 2011-05-19 Nellcor Purifan Bennett LLC Intelligent User Interface For Medical Monitors
US20110143728A1 (en) * 2009-12-16 2011-06-16 Nokia Corporation Method and apparatus for recognizing acquired media for matching against a target expression
US20110153868A1 (en) * 2009-12-18 2011-06-23 Alcatel-Lucent Usa Inc. Cloud-Based Application For Low-Provisioned High-Functionality Mobile Station
US8305433B2 (en) * 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
US20110179303A1 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Persistent application activation and timer notifications
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US20110202864A1 (en) * 2010-02-15 2011-08-18 Hirsch Michael B Apparatus and methods of receiving and acting on user-entered information
US8260444B2 (en) 2010-02-17 2012-09-04 Lennox Industries Inc. Auxiliary controller of a HVAC system
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10551992B2 (en) * 2010-03-07 2020-02-04 Brendan Edward Clark Interface transitioning and/or transformation
US9348615B1 (en) * 2010-03-07 2016-05-24 Brendan Edward Clark Interface transitioning and/or transformation
US8527530B2 (en) * 2010-03-22 2013-09-03 Sony Corporation Destination prediction using text analysis
US20110248822A1 (en) * 2010-04-09 2011-10-13 Jc Ip Llc Systems and apparatuses and methods to adaptively control controllable systems
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8922376B2 (en) * 2010-07-09 2014-12-30 Nokia Corporation Controlling a user alert
US8838783B2 (en) 2010-07-26 2014-09-16 Seven Networks, Inc. Distributed caching for resource and mobile network traffic management
PL3407673T3 (pl) 2010-07-26 2020-05-18 Seven Networks, Llc Koordynacja ruchu w sieci komórkowej pomiędzy różnymi aplikacjami
US20120042263A1 (en) 2010-08-10 2012-02-16 Seymour Rapaport Social-topical adaptive networking (stan) system allowing for cooperative inter-coupling with external social networking systems and other content sources
US20120054626A1 (en) * 2010-08-30 2012-03-01 Jens Odenheimer Service level agreements-based cloud provisioning
US8504487B2 (en) * 2010-09-21 2013-08-06 Sony Computer Entertainment America Llc Evolution of a user interface based on learned idiosyncrasies and collected data of a user
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
GB2484715A (en) * 2010-10-21 2012-04-25 Vodafone Ip Licensing Ltd Communication terminal with situation based configuration updating
WO2012060995A2 (en) 2010-11-01 2012-05-10 Michael Luna Distributed caching in a wireless network of content delivered for a mobile application over a long-held request
US8484314B2 (en) 2010-11-01 2013-07-09 Seven Networks, Inc. Distributed caching in a wireless network of content delivered for a mobile application over a long-held request
US8843153B2 (en) 2010-11-01 2014-09-23 Seven Networks, Inc. Mobile traffic categorization and policy for network use optimization while preserving user experience
WO2012071384A2 (en) 2010-11-22 2012-05-31 Michael Luna Optimization of resource polling intervals to satisfy mobile device requests
CN102479024A (zh) * 2010-11-24 2012-05-30 国基电子(上海)有限公司 手持装置及其用户界面构建方法
US20120162443A1 (en) * 2010-12-22 2012-06-28 International Business Machines Corporation Contextual help based on facial recognition
GB2501416B (en) 2011-01-07 2018-03-21 Seven Networks Llc System and method for reduction of mobile network traffic used for domain name system (DNS) queries
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9084105B2 (en) 2011-04-19 2015-07-14 Seven Networks, Inc. Device resources sharing for network resource conservation
US8621075B2 (en) 2011-04-27 2013-12-31 Seven Metworks, Inc. Detecting and preserving state for satisfying application requests in a distributed proxy and cache system
WO2012149221A2 (en) 2011-04-27 2012-11-01 Seven Networks, Inc. System and method for making requests on behalf of a mobile device based on atomic processes for mobile network traffic relief
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
EP2737742A4 (en) 2011-07-27 2015-01-28 Seven Networks Inc AUTOMATIC PRODUCTION AND DISTRIBUTION OF GUIDELINES INFORMATION ON MOBILE MOBILE TRANSPORT IN A WIRELESS NETWORK
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8425308B2 (en) 2011-09-07 2013-04-23 International Business Machines Corporation Counter-balancing in-play video game incentives/rewards by creating a counter-incentive
US9485411B2 (en) * 2011-10-28 2016-11-01 Canon Kabushiki Kaisha Display control apparatus and method for controlling display control apparatus
EP2789138B1 (en) 2011-12-06 2016-09-14 Seven Networks, LLC A mobile device and method to utilize the failover mechanisms for fault tolerance provided for mobile traffic management and network/device resource conservation
US8934414B2 (en) 2011-12-06 2015-01-13 Seven Networks, Inc. Cellular or WiFi mobile traffic optimization based on public or private network destination
EP2788889A4 (en) 2011-12-07 2015-08-12 Seven Networks Inc FLEXIBLE AND DYNAMIC INTEGRATION SCHEMES OF A TRAFFIC MANAGEMENT SYSTEM WITH VARIOUS NETWORK OPERATORS TO REDUCE NETWORK TRAFFIC
US9277443B2 (en) 2011-12-07 2016-03-01 Seven Networks, Llc Radio-awareness of mobile device for sending server-side control signals using a wireless network optimized transport protocol
EP2792188B1 (en) 2011-12-14 2019-03-20 Seven Networks, LLC Mobile network reporting and usage analytics system and method using aggregation of data in a distributed traffic optimization system
GB2497935A (en) * 2011-12-22 2013-07-03 Ibm Predicting actions input to a user interface
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
GB2499306B (en) * 2012-01-05 2014-10-22 Seven Networks Inc Managing user interaction with an application on a mobile device
EP2801040B1 (en) * 2012-01-08 2018-04-11 Teknision Inc. Method and system for dynamically assignable user interface
US9348430B2 (en) 2012-02-06 2016-05-24 Steelseries Aps Method and apparatus for transitioning in-process applications to remote devices
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
JP5938987B2 (ja) * 2012-03-28 2016-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8812695B2 (en) 2012-04-09 2014-08-19 Seven Networks, Inc. Method and system for management of a virtual network connection without heartbeat messages
WO2013155208A1 (en) 2012-04-10 2013-10-17 Seven Networks, Inc. Intelligent customer service/call center services enhanced using real-time and historical mobile application and traffic-related statistics collected by a distributed caching system in a mobile network
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130325758A1 (en) * 2012-05-30 2013-12-05 Microsoft Corporation Tailored operating system learning experience
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
JP6028429B2 (ja) * 2012-07-10 2016-11-16 富士ゼロックス株式会社 表示制御装置、サービス提供装置、及びプログラム
US8775631B2 (en) 2012-07-13 2014-07-08 Seven Networks, Inc. Dynamic bandwidth adjustment for browsing or streaming activity in a wireless network based on prediction of user behavior when interacting with mobile applications
JP5954037B2 (ja) * 2012-08-09 2016-07-20 沖電気工業株式会社 紙幣処理装置、及び紙幣処理方法
US20140057619A1 (en) * 2012-08-24 2014-02-27 Tencent Technology (Shenzhen) Company Limited System and method for adjusting operation modes of a mobile device
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
KR20140033672A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 이벤트에 관련된 정보를 전송하는 방법 및 디바이스
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140111523A1 (en) * 2012-10-22 2014-04-24 Google Inc. Variable length animations based on user inputs
US9161258B2 (en) 2012-10-24 2015-10-13 Seven Networks, Llc Optimized and selective management of policy deployment to mobile clients in a congested network to prevent further aggravation of network congestion
US9652744B2 (en) * 2012-12-10 2017-05-16 Sap Se Smart user interface adaptation in on-demand business applications
US20140177497A1 (en) 2012-12-20 2014-06-26 Seven Networks, Inc. Management of mobile device radio state promotion and demotion
US8690578B1 (en) 2013-01-03 2014-04-08 Mark E. Nusbaum Mobile computing weight, diet, nutrition, and exercise tracking system with enhanced feedback and data acquisition functionality
CN112130874A (zh) 2013-01-11 2020-12-25 辛纳科尔股份有限公司 背景控制面板配置选择的方法和系统
US9241314B2 (en) 2013-01-23 2016-01-19 Seven Networks, Llc Mobile device with application or context aware fast dormancy
US8874761B2 (en) 2013-01-25 2014-10-28 Seven Networks, Inc. Signaling optimization in a wireless network for traffic utilizing proprietary and non-proprietary protocols
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9326185B2 (en) 2013-03-11 2016-04-26 Seven Networks, Llc Mobile network congestion recognition for optimization of mobile traffic
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
WO2014178306A1 (ja) * 2013-04-30 2014-11-06 グリー株式会社 表示情報提供方法、表示情報提供プログラム及びサーバ装置
US9223413B2 (en) * 2013-04-30 2015-12-29 Honeywell International Inc. Next action page key for system generated messages
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9065765B2 (en) 2013-07-22 2015-06-23 Seven Networks, Inc. Proxy server associated with a mobile carrier for enhancing mobile traffic management in a mobile network
WO2015016723A1 (en) 2013-08-02 2015-02-05 Auckland Uniservices Limited System for neurobehavioural animation
US9204288B2 (en) 2013-09-25 2015-12-01 At&T Mobility Ii Llc Intelligent adaptation of address books
TWI651640B (zh) * 2013-10-16 2019-02-21 3M新設資產公司 在使用者介面上組織數位便箋
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US20150127593A1 (en) * 2013-11-06 2015-05-07 Forever Identity, Inc. Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20150162000A1 (en) * 2013-12-10 2015-06-11 Harman International Industries, Incorporated Context aware, proactive digital assistant
US10928976B2 (en) 2013-12-31 2021-02-23 Verint Americas Inc. Virtual assistant acquisitions and training
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
WO2015123217A1 (en) 2014-02-11 2015-08-20 Gentex Corporation Systems and methods for adding a trainable transceiver to a vehicle
US20150248193A1 (en) * 2014-02-28 2015-09-03 Fuhu Holdings, Inc. Customized user interface for mobile computers
GB2527184A (en) * 2014-04-10 2015-12-16 Ford Global Tech Llc Usage prediction for contextual interface
CN106463044B (zh) 2014-04-18 2020-03-20 金泰克斯公司 可训练收发器和移动通信设备系统及方法
RU2580434C2 (ru) * 2014-05-22 2016-04-10 Общество С Ограниченной Ответственностью "Яндекс" Сервер и способ обработки электронных сообщений (варианты)
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9807559B2 (en) 2014-06-25 2017-10-31 Microsoft Technology Licensing, Llc Leveraging user signals for improved interactions with digital personal assistant
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9959560B1 (en) 2014-08-26 2018-05-01 Intuit Inc. System and method for customizing a user experience based on automatically weighted criteria
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US11354755B2 (en) 2014-09-11 2022-06-07 Intuit Inc. Methods systems and articles of manufacture for using a predictive model to determine tax topics which are relevant to a taxpayer in preparing an electronic tax return
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
KR102319983B1 (ko) * 2014-09-24 2021-11-01 삼성전자주식회사 정보제공 방법 및 그 방법을 처리하는 전자장치
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US10096072B1 (en) 2014-10-31 2018-10-09 Intuit Inc. Method and system for reducing the presentation of less-relevant questions to users in an electronic tax return preparation interview process
US10255641B1 (en) 2014-10-31 2019-04-09 Intuit Inc. Predictive model based identification of potential errors in electronic tax return
CN111651159A (zh) * 2014-11-21 2020-09-11 习得智交互软件开发公司 提供原型设计工具的方法及非暂时性计算机可解读的媒介
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US20160180352A1 (en) * 2014-12-17 2016-06-23 Qing Chen System Detecting and Mitigating Frustration of Software User
US10628894B1 (en) 2015-01-28 2020-04-21 Intuit Inc. Method and system for providing personalized responses to questions received from a user of an electronic tax return preparation system
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US10065502B2 (en) * 2015-04-14 2018-09-04 Ford Global Technologies, Llc Adaptive vehicle interface system
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10176534B1 (en) 2015-04-20 2019-01-08 Intuit Inc. Method and system for providing an analytics model architecture to reduce abandonment of tax return preparation sessions by potential customers
US10255258B2 (en) * 2015-04-23 2019-04-09 Avoka Technologies Pty Ltd Modifying an electronic form using metrics obtained from measuring user effort
US10740853B1 (en) 2015-04-28 2020-08-11 Intuit Inc. Systems for allocating resources based on electronic tax return preparation program user characteristics
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10296168B2 (en) * 2015-06-25 2019-05-21 Northrop Grumman Systems Corporation Apparatus and method for a multi-step selection interface
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR101684454B1 (ko) * 2015-07-02 2016-12-08 주식회사 엘지씨엔에스 하이브리드 애플리케이션 및 이의 이벤트 처리 방법
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9665567B2 (en) 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10740854B1 (en) 2015-10-28 2020-08-11 Intuit Inc. Web browsing and machine learning systems for acquiring tax data during electronic tax return preparation
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
CN105262905A (zh) * 2015-11-20 2016-01-20 小米科技有限责任公司 管理联系人的方法及装置
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
US10884718B2 (en) 2015-12-01 2021-01-05 Koninklijke Philips N.V. Device for use in improving a user interaction with a user interface application
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10937109B1 (en) 2016-01-08 2021-03-02 Intuit Inc. Method and technique to calculate and provide confidence score for predicted tax due/refund
DE102017000063B4 (de) * 2016-01-14 2019-10-31 Fanuc Corporation Robotereinrichtung mit Lernfunktion
EP3206170A1 (en) 2016-02-09 2017-08-16 Wipro Limited System and methods for creating on-demand robotic process automation
US10140356B2 (en) 2016-03-11 2018-11-27 Wipro Limited Methods and systems for generation and transmission of electronic information using real-time and historical data
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN107229965B (zh) * 2016-03-25 2021-10-22 陕西微阅信息技术有限公司 智能机器人的拟人系统和模拟遗忘效果的方法
US10158593B2 (en) 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US10757048B2 (en) 2016-04-08 2020-08-25 Microsoft Technology Licensing, Llc Intelligent personal assistant as a contact
US20170301255A1 (en) * 2016-04-14 2017-10-19 Motiv8 Technologies, Inc. Behavior change system
US10410295B1 (en) 2016-05-25 2019-09-10 Intuit Inc. Methods, systems and computer program products for obtaining tax data
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
CN106201833A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 WiFi信号图标的展示方法、装置和移动终端
KR102577584B1 (ko) * 2016-08-16 2023-09-12 삼성전자주식회사 기계 번역 방법 및 장치
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10268335B2 (en) * 2016-09-29 2019-04-23 Flipboard, Inc. Custom onboarding process for application functionality
DE102016118888A1 (de) * 2016-10-05 2018-04-05 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung eines Fahrzeugs
US10552742B2 (en) 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
US10802839B2 (en) * 2016-11-21 2020-10-13 Vmware, Inc. User interface customization based on user tendencies
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10963774B2 (en) * 2017-01-09 2021-03-30 Microsoft Technology Licensing, Llc Systems and methods for artificial intelligence interface generation, evolution, and/or adjustment
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US20180247554A1 (en) * 2017-02-27 2018-08-30 Speech Kingdom Llc System and method for treatment of individuals on the autism spectrum by using interactive multimedia
US10636418B2 (en) 2017-03-22 2020-04-28 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
US9865260B1 (en) * 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10812539B2 (en) * 2017-06-09 2020-10-20 International Business Machines Corporation Enhanced group communications with external participants
US10742435B2 (en) 2017-06-29 2020-08-11 Google Llc Proactive provision of new content to group chat participants
JP6218057B1 (ja) 2017-07-14 2017-10-25 Jeインターナショナル株式会社 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム
US10409132B2 (en) 2017-08-30 2019-09-10 International Business Machines Corporation Dynamically changing vehicle interior
KR102499379B1 (ko) 2017-09-18 2023-02-13 삼성전자주식회사 전자 장치 및 이의 피드백 정보 획득 방법
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN111386553A (zh) * 2017-11-29 2020-07-07 斯纳普公司 用于电子消息传递应用的图形渲染
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11568236B2 (en) 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
US10671283B2 (en) * 2018-01-31 2020-06-02 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing intelligently suggested keyboard shortcuts for web console applications
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10474329B2 (en) 2018-04-09 2019-11-12 Capital One Services, Llc Selective generation and display of interfaces of a website or program
US11922283B2 (en) 2018-04-20 2024-03-05 H2O.Ai Inc. Model interpretation
US11386342B2 (en) * 2018-04-20 2022-07-12 H2O.Ai Inc. Model interpretation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
WO2020018592A1 (en) 2018-07-17 2020-01-23 Methodical Mind, Llc. Graphical user interface system
JP7099126B2 (ja) * 2018-07-25 2022-07-12 セイコーエプソン株式会社 表示制御装置および表示制御プログラム
JP2020017839A (ja) 2018-07-25 2020-01-30 セイコーエプソン株式会社 スキャンシステム、スキャンプログラムおよび機械学習装置
WO2020022294A1 (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
JP2021182172A (ja) * 2018-07-31 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10846105B2 (en) * 2018-09-29 2020-11-24 ILAN Yehuda Granot User interface advisor
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR102639695B1 (ko) * 2018-11-02 2024-02-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11003999B1 (en) 2018-11-09 2021-05-11 Bottomline Technologies, Inc. Customized automated account opening decisioning using machine learning
US11597394B2 (en) 2018-12-17 2023-03-07 Sri International Explaining behavior by autonomous devices
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR102305177B1 (ko) * 2019-01-22 2021-09-27 (주)티비스톰 Ai 개체에 대한 정보 수집 플랫폼 및 이를 통한 정보 수집 방법
US11048385B2 (en) * 2019-02-14 2021-06-29 Toshiba Tec Kabushiki Kaisha Self-order processing system and control processing method
US11301780B2 (en) 2019-02-15 2022-04-12 Samsung Electronics Co., Ltd. Method and electronic device for machine learning based prediction of subsequent user interface layouts
US11409990B1 (en) 2019-03-01 2022-08-09 Bottomline Technologies (De) Inc. Machine learning archive mechanism using immutable storage
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
USD956087S1 (en) 2019-04-23 2022-06-28 Bottomline Technologies, Inc Display screen or portion thereof with a payment transaction graphical user interface
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11687807B1 (en) 2019-06-26 2023-06-27 Bottomline Technologies, Inc. Outcome creation based upon synthesis of history
US11436501B1 (en) 2019-08-09 2022-09-06 Bottomline Technologies, Inc. Personalization of a user interface using machine learning
US11747952B1 (en) 2019-08-09 2023-09-05 Bottomline Technologies Inc. Specialization of a user interface using machine learning
US11188923B2 (en) * 2019-08-29 2021-11-30 Bank Of America Corporation Real-time knowledge-based widget prioritization and display
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
KR20210036167A (ko) * 2019-09-25 2021-04-02 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 어플리케이션의 테스트 자동화
KR102298070B1 (ko) * 2019-10-02 2021-09-07 최대철 모바일 디바이스 기반 능동형 인공지능 영상 캐릭터 시스템
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
KR102349589B1 (ko) * 2020-01-13 2022-01-11 한국과학기술원 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치
US11099719B1 (en) * 2020-02-25 2021-08-24 International Business Machines Corporation Monitoring user interactions with a device to automatically select and configure content displayed to a user
US11386487B2 (en) 2020-04-30 2022-07-12 Bottomline Technologies, Inc. System for providing scores to customers based on financial data
US11929079B2 (en) 2020-10-27 2024-03-12 Samsung Electronics Co., Ltd Electronic device for managing user model and operating method thereof
US11663395B2 (en) 2020-11-12 2023-05-30 Accenture Global Solutions Limited Automated customization of user interface
USD1009055S1 (en) 2020-12-01 2023-12-26 Bottomline Technologies, Inc. Display screen with graphical user interface
US11893399B2 (en) 2021-03-22 2024-02-06 Samsung Electronics Co., Ltd. Electronic device for executing routine based on content and operating method of the electronic device
KR20220131721A (ko) * 2021-03-22 2022-09-29 삼성전자주식회사 콘텐츠에 기초하여 루틴을 실행하는 전자 장치 및 전자 장치의 동작 방법
US20230179675A1 (en) * 2021-12-08 2023-06-08 Samsung Electronics Co., Ltd. Electronic device and method for operating thereof
US20230351661A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Artificial intelligence character models with goal-oriented behavior
US20230410191A1 (en) * 2022-06-17 2023-12-21 Truist Bank Chatbot experience to execute banking functions
DE102022118722A1 (de) 2022-07-26 2024-02-01 Cariad Se Anpassungsvorrichtung, eingerichtet zur Anpassung eines Betriebs einer Steuervorrichtung eines Fahrzeugs, Verfahren und Fahrzeug
WO2024049415A1 (en) * 2022-08-30 2024-03-07 Google Llc Intelligent asset suggestions based on both previous phrase and whole asset performance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US20020157096A1 (en) * 2001-04-23 2002-10-24 Nec Corporation Method of and system for recommending programs

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5535321A (en) * 1991-02-14 1996-07-09 International Business Machines Corporation Method and apparatus for variable complexity user interface in a data processing system
US7242988B1 (en) * 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6418424B1 (en) * 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5388198A (en) * 1992-04-16 1995-02-07 Symantec Corporation Proactive presentation of automating features to a computer user
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
JPH07160462A (ja) * 1993-12-06 1995-06-23 Nissan Motor Co Ltd 画面表示制御装置
JP3127084B2 (ja) * 1994-08-11 2001-01-22 シャープ株式会社 電子秘書システム
US5633484A (en) * 1994-12-26 1997-05-27 Motorola, Inc. Method and apparatus for personal attribute selection and management using a preference memory
US5726688A (en) * 1995-09-29 1998-03-10 Ncr Corporation Predictive, adaptive computer interface
US5821936A (en) * 1995-11-20 1998-10-13 Siemens Business Communication Systems, Inc. Interface method and system for sequencing display menu items
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
EP0794647A1 (fr) * 1996-03-06 1997-09-10 Koninklijke Philips Electronics N.V. Téléphone à écran et procédé de gestion de menu d'un téléphone à écran
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US6804726B1 (en) * 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US5727129A (en) * 1996-06-04 1998-03-10 International Business Machines Corporation Network system for profiling and actively facilitating user activities
US6021403A (en) * 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US5966126A (en) * 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP3159242B2 (ja) * 1997-03-13 2001-04-23 日本電気株式会社 感情生成装置およびその方法
JP3393789B2 (ja) * 1997-05-20 2003-04-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理端末
US6260192B1 (en) * 1997-06-02 2001-07-10 Sony Corporation Filtering system based on pattern of usage
US6292480B1 (en) * 1997-06-09 2001-09-18 Nortel Networks Limited Electronic communications manager
JPH11259446A (ja) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置
JP3286575B2 (ja) * 1997-09-04 2002-05-27 株式会社エニックス ビデオゲーム装置及びコンピュータプログラムを記録した記録媒体
JP4158213B2 (ja) * 1997-10-23 2008-10-01 カシオ計算機株式会社 通信システム及び該システムの制御方法
KR19990047854A (ko) * 1997-12-05 1999-07-05 정선종 메타데이타에 의한 정보 검색의 지능형 사용자 인터페이스 방법
KR100249859B1 (ko) * 1997-12-19 2000-03-15 이계철 차세대지능망 지능형정보제공시스템 지능망응용프로토콜 시험장치
EP1073941A2 (en) * 1998-04-16 2001-02-07 Choice Logic Corporation Methods and apparatus for gauging group choices
US6483523B1 (en) * 1998-05-08 2002-11-19 Institute For Information Industry Personalized interface browser and its browsing method
US6121968A (en) * 1998-06-17 2000-09-19 Microsoft Corporation Adaptive menus
KR100306708B1 (ko) * 1998-10-09 2001-10-19 오길록 지능형 정보 제공 시스템 및 그 시스템의 호처리 방법
US6845370B2 (en) * 1998-11-12 2005-01-18 Accenture Llp Advanced information gathering for targeted activities
JP4465560B2 (ja) 1998-11-20 2010-05-19 ソニー株式会社 情報表示制御装置及び情報表示制御装置の情報表示制御方法
JP2000155750A (ja) * 1998-11-24 2000-06-06 Omron Corp 行動生成装置、行動生成方法及び行動生成プログラム記録媒体
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
US6842877B2 (en) * 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6317718B1 (en) * 1999-02-26 2001-11-13 Accenture Properties (2) B.V. System, method and article of manufacture for location-based filtering for shopping agent in the physical world
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6408187B1 (en) * 1999-05-14 2002-06-18 Sun Microsystems, Inc. Method and apparatus for determining the behavior of a communications device based upon environmental conditions
KR20010011752A (ko) * 1999-07-30 2001-02-15 김진찬 인터넷에서의 지능형 정보 제공 시스템 운용 장치
JP2001084072A (ja) * 1999-09-09 2001-03-30 Fujitsu Ltd 次操作誘導型ヘルプ表示装置
GB2354609B (en) * 1999-09-25 2003-07-16 Ibm Method and system for predicting transactions
KR100648231B1 (ko) * 1999-10-19 2006-11-24 삼성전자주식회사 터치 스크린을 갖는 보조 액정디스플레이 패널을 이용한 포인팅 장치를 구비하는 휴대용 컴퓨터 및 그 방법
US6828992B1 (en) * 1999-11-04 2004-12-07 Koninklijke Philips Electronics N.V. User interface with dynamic menu option organization
US20050086239A1 (en) * 1999-11-16 2005-04-21 Eric Swann System or method for analyzing information organized in a configurable manner
KR100602332B1 (ko) * 1999-12-18 2006-07-14 주식회사 케이티 통신시스템에서의 아바타 활용 장치 및 그 방법
US6826540B1 (en) * 1999-12-29 2004-11-30 Virtual Personalities, Inc. Virtual human interface for conducting surveys
JP2001203811A (ja) * 2000-01-19 2001-07-27 Index:Kk 移動体通信システム
AU764470B2 (en) * 2000-02-11 2003-08-21 Dean Gerrard Anthony Maroun Gaming apparatus and gaming method
WO2001069380A2 (en) * 2000-03-14 2001-09-20 Edapta, Inc. A system and method for enabling dynamically adaptable user interfaces for electronic devices
US20040006473A1 (en) * 2002-07-02 2004-01-08 Sbc Technology Resources, Inc. Method and system for automated categorization of statements
DE60138894D1 (de) * 2000-04-02 2009-07-16 Tangis Corp Thematische antwort auf den kontext eines computerbenutzers, so wie ein zusammenhang mit einem am körper tragbaren personalcomputer
US7228327B2 (en) * 2000-05-08 2007-06-05 Hoshiko Llc Method and apparatus for delivering content via information retrieval devices
KR20010111127A (ko) * 2000-06-08 2001-12-17 박규진 통신인터페이스를 이용한 상호대화가 가능한 인간형시계,데이터제공시스템 및 이를 이용한 인터넷 사업방법
KR100383391B1 (ko) * 2000-06-28 2003-05-12 김지한 음성인식서비스 시스템 및 방법
US8495679B2 (en) * 2000-06-30 2013-07-23 Thomson Licensing Method and apparatus for delivery of television programs and targeted de-coupled advertising
ATE378629T1 (de) * 2000-07-28 2007-11-15 Symbian Ltd Rechnergerät mit verbesserter benutzerschnittstelle für menüs
JP2002073233A (ja) * 2000-08-29 2002-03-12 Pineapple Company:Kk 処理方法、処理システム、処理装置、処理支援装置、及び記録媒体
KR100426280B1 (ko) * 2000-09-27 2004-04-08 (주) 고미드 네트웍 기반 사용자 행동 패턴 분석 시스템 및 그 방법
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US20020133347A1 (en) * 2000-12-29 2002-09-19 Eberhard Schoneburg Method and apparatus for natural language dialog interface
JP2002215278A (ja) * 2001-01-16 2002-07-31 Mitsubishi Electric Corp ユーザインタフェース生成装置及びユーザインタフェース生成方法
US7158913B2 (en) * 2001-01-31 2007-01-02 Mobigence, Inc. Automatic activation of touch sensitive screen in a hand held computing device
US7089499B2 (en) * 2001-02-28 2006-08-08 International Business Machines Corporation Personalizing user interfaces across operating systems
US6701144B2 (en) * 2001-03-05 2004-03-02 Qualcomm Incorporated System for automatically configuring features on a mobile telephone based on geographic location
EP1256875A1 (en) * 2001-05-10 2002-11-13 Nokia Corporation Method and device for context dependent user input prediction
US7313621B2 (en) * 2001-05-15 2007-12-25 Sony Corporation Personalized interface with adaptive content presentation
US20020180786A1 (en) * 2001-06-04 2002-12-05 Robert Tanner Graphical user interface with embedded artificial intelligence
US20050193335A1 (en) * 2001-06-22 2005-09-01 International Business Machines Corporation Method and system for personalized content conditioning
US20030040850A1 (en) * 2001-08-07 2003-02-27 Amir Najmi Intelligent adaptive optimization of display navigation and data sharing
US20030030666A1 (en) * 2001-08-07 2003-02-13 Amir Najmi Intelligent adaptive navigation optimization
US20030093419A1 (en) * 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
JP3545370B2 (ja) * 2001-08-17 2004-07-21 株式会社ジャパンヴィステック テレビジョンでのキャラクタ制御システム
KR20030021525A (ko) * 2001-09-06 2003-03-15 유주성 사용자(나)만의 독립적 3차원 캐릭터 인터페이스
US7725554B2 (en) * 2001-09-28 2010-05-25 Quanta Computer, Inc. Network object delivery system for personal computing device
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US6761442B2 (en) * 2001-11-02 2004-07-13 International United Technology Co., Ltd. Ink container with improved ink flow
KR100580617B1 (ko) * 2001-11-05 2006-05-16 삼성전자주식회사 오브젝트 성장제어 시스템 및 그 방법
US6912386B1 (en) * 2001-11-13 2005-06-28 Nokia Corporation Method for controlling operation of a mobile device by detecting usage situations
US20030090515A1 (en) * 2001-11-13 2003-05-15 Sony Corporation And Sony Electronics Inc. Simplified user interface by adaptation based on usage history
US7457735B2 (en) * 2001-11-14 2008-11-25 Bentley Systems, Incorporated Method and system for automatic water distribution model calibration
US20030147369A1 (en) * 2001-12-24 2003-08-07 Singh Ram Naresh Secure wireless transfer of data between different computing devices
US7136909B2 (en) * 2001-12-28 2006-11-14 Motorola, Inc. Multimodal communication method and apparatus with multimodal profile
WO2003061195A1 (en) * 2002-01-04 2003-07-24 Ktfreetel Co., Ltd. Method and device for providing one button-service in mobile terminal
US20030128236A1 (en) * 2002-01-10 2003-07-10 Chen Meng Chang Method and system for a self-adaptive personal view agent
KR100580618B1 (ko) * 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
WO2003073235A2 (en) * 2002-02-27 2003-09-04 Sater Neil D System and method that facilitates customizing media
US7203909B1 (en) * 2002-04-04 2007-04-10 Microsoft Corporation System and methods for constructing personalized context-sensitive portal pages or views by analyzing patterns of users' information access activities
US6731323B2 (en) * 2002-04-10 2004-05-04 International Business Machines Corporation Media-enhanced greetings and/or responses in communication systems
US7512906B1 (en) * 2002-06-04 2009-03-31 Rockwell Automation Technologies, Inc. System and methodology providing adaptive interface in an industrial controller environment
KR100465797B1 (ko) * 2002-07-12 2005-01-13 삼성전자주식회사 휴대용 컴퓨터 및 그 제어방법
US7401295B2 (en) * 2002-08-15 2008-07-15 Simulearn, Inc. Computer-based learning system
US7668885B2 (en) * 2002-09-25 2010-02-23 MindAgent, LLC System for timely delivery of personalized aggregations of, including currently-generated, knowledge
KR20040048548A (ko) * 2002-12-03 2004-06-10 김상수 지능형 데이터베이스 및 검색 편집 프로그램을 통한사용자 맞춤 검색 방법 및 시스템
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US7443971B2 (en) * 2003-05-05 2008-10-28 Microsoft Corporation Computer system with do not disturb system and method
US7409639B2 (en) * 2003-06-19 2008-08-05 Accenture Global Services Gmbh Intelligent collaborative media
KR100576933B1 (ko) * 2003-10-13 2006-05-10 한국전자통신연구원 지능형 웹 에이전트를 이용한 위치기반정보 제공장치 및방법
US7454608B2 (en) * 2003-10-31 2008-11-18 International Business Machines Corporation Resource configuration in multi-modal distributed computing systems
US20050108406A1 (en) * 2003-11-07 2005-05-19 Dynalab Inc. System and method for dynamically generating a customized menu page
US7983920B2 (en) * 2003-11-18 2011-07-19 Microsoft Corporation Adaptive computing environment
US20050131856A1 (en) * 2003-12-15 2005-06-16 O'dea Paul J. Method and system for adaptive user interfacing with an imaging system
US20050266866A1 (en) * 2004-05-26 2005-12-01 Motorola, Inc. Feature finding assistant on a user interface
US20060165092A1 (en) * 2004-12-23 2006-07-27 Agovo Communications, Inc. Out-of-band signaling system, method and computer program product
US7539654B2 (en) * 2005-01-21 2009-05-26 International Business Machines Corporation User interaction management using an ongoing estimate of user interaction skills

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US20020157096A1 (en) * 2001-04-23 2002-10-24 Nec Corporation Method of and system for recommending programs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988161B (zh) * 2011-12-09 2017-12-26 微软技术许可有限责任公司 用于调整应用的屏幕流的方法和系统
TWI689220B (zh) * 2015-09-22 2020-03-21 香港商阿里巴巴集團服務有限公司 預處理方法及裝置

Also Published As

Publication number Publication date
KR100642432B1 (ko) 2006-11-10
EP1528464B1 (en) 2013-06-05
CN1619470A (zh) 2005-05-25
AU2003288790A1 (en) 2005-03-29
KR100703531B1 (ko) 2007-04-03
KR20050025222A (ko) 2005-03-14
CN1652063A (zh) 2005-08-10
EP1528464A3 (en) 2007-01-31
RU2353068C2 (ru) 2009-04-20
KR20050025220A (ko) 2005-03-14
BR0318494A (pt) 2006-09-12
CA2540397A1 (en) 2005-03-17
KR100720023B1 (ko) 2007-05-18
RU2006110932A (ru) 2007-10-20
JP2005100390A (ja) 2005-04-14
KR20060110247A (ko) 2006-10-24
US20050054381A1 (en) 2005-03-10
KR100721518B1 (ko) 2007-05-23
KR20060101447A (ko) 2006-09-25
AU2003288790B2 (en) 2009-02-19
KR20060101448A (ko) 2006-09-25
UA84439C2 (ru) 2008-10-27
EP1522918A2 (en) 2005-04-13
KR100680190B1 (ko) 2007-02-08
KR100724930B1 (ko) 2007-06-04
KR20060101449A (ko) 2006-09-25
JP2005085256A (ja) 2005-03-31
WO2005025081A1 (en) 2005-03-17
MXPA06002131A (es) 2006-05-31
IL174117A0 (en) 2006-08-01
EP1528464A2 (en) 2005-05-04
EP1522918A3 (en) 2007-04-04

Similar Documents

Publication Publication Date Title
CN1312554C (zh) 前摄的用户接口
CN100377044C (zh) 具有情绪代理的前摄用户接口
US7725419B2 (en) Proactive user interface including emotional agent
US8990688B2 (en) Proactive user interface including evolving agent
US11158202B2 (en) Systems and methods for customized lesson creation and application
CN110812843B (zh) 基于虚拟形象的交互方法及装置、计算机存储介质
AU2014218509A1 (en) Computer-implemented frameworks and methodologies for generating, delivering and managing adaptive tutorials
KR102579332B1 (ko) 동적 학습 콘텐츠와 결합된 맞춤형 게임 서비스 제공 시스템 및 방법
AU2004271482B2 (en) Proactive user interface including evolving agent
Toy et al. Metacognition is all you need? Using Introspection in Generative Agents to Improve Goal-directed Behavior

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070425

Termination date: 20191231