CN107005612A - 数字助理警报系统 - Google Patents

数字助理警报系统 Download PDF

Info

Publication number
CN107005612A
CN107005612A CN201580066203.3A CN201580066203A CN107005612A CN 107005612 A CN107005612 A CN 107005612A CN 201580066203 A CN201580066203 A CN 201580066203A CN 107005612 A CN107005612 A CN 107005612A
Authority
CN
China
Prior art keywords
equipment
user
digital assistants
data
wake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580066203.3A
Other languages
English (en)
Other versions
CN107005612B (zh
Inventor
M.林
A.休
W.卢
Y.多冈杰夫
H.蒙奇维斯
C.奥康诺尔
C.科兰多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107005612A publication Critical patent/CN107005612A/zh
Application granted granted Critical
Publication of CN107005612B publication Critical patent/CN107005612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services

Abstract

在诸如智能电话、平板型设备、个人计算机、游戏控制台等的设备上被支持的数字助理暴露了经更新和增强的集合,以通过以感知上下文的方式对多种被收集或者感应的数据和输入应用自动化规则以便显露在上下文上有意义并且满足该具体设备用户的需求的用户体验和内容来改进设备的用户唤醒惯例的警报功能。所述数字助理可以支持具有与其它设备和外部系统的网络连接的警报系统,所述警报系统使所述用户能够设置警报以及使用诸如是声音、语音、音乐、光和触觉的多种刺激被唤醒,以及然后使用口头叙述和在所述设备上的图形化的显示被给予即将到来的一天的摘要。

Description

数字助理警报系统
背景技术
诸如是智能电话和平板型设备这样的计算机和移动设备提供对用户是有益的并且使执行任务和获取信息更容易的多种功能和特征。然而,这些现存的设备中的一些设备上的时钟和警报特征并不比在传统的闹钟和时钟无线电上被提供的特征综合得多。
提供该背景以便介绍下面的摘要和详细说明的简要上下文。该背景不旨在是在确定所要求保护的主题的范围时的辅助,也不被认为将所要求保护的主题限于解决上面呈现的缺点或者问题中的任何或者全部缺点或者问题的实现方式。
发明内容
在诸如智能电话、平板型设备、个人计算机(PC)、游戏控制台等设备上被支持的数字助理暴露了警报功能的经更新和增强的集合,以通过以感知上下文的方式对多种被收集或者感应的数据和输入应用自动化规则以便显露在上下文上有意义并且满足该具体设备用户的需求的用户体验和内容来改进设备的用户唤醒惯例。数字助理可以支持具有与其它设备和外部系统的网络连接的警报系统,所述警报系统使用户能够设置警报以及使用诸如是声音、语音、音乐、光、和触觉的多种刺激被唤醒,以及然后使用口头叙述和在设备上的图形化显示而给出即将到来的一天的摘要。所述摘要提供用户感兴趣并且在上下文上与一天/时间、位置、用户行为/情绪和/或什么将在用户的一天中发生有关的信息。因此,摘要可以包括关于当前天气和交通状况、新闻头条、新文本、诸如是笑话和琐事的娱乐报道、通知、所接收的消息、针对即将到来的任务的提醒和用户日历中的约会的信息。
除了控制声音、图形化显示和数字助理警报系统位于其上的设备上的其它用户界面之外,该数字助理警报系统可以与诸如智能家用设备/系统的其它设备和外部系统连接,以便作为警报和唤醒体验的部分控制用户环境。所述系统可以根据需要变更房间氛围,以便与多种不同的唤醒场景相匹配。在一个场景中,仅设备显示屏在亮度上非常渐进地调高,同时梦幻般的爵士音乐柔和地在背景中播放。在另一个场景中,当摇滚音乐通过家用声音系统以大音量被播放时,明亮的房间灯被突然打开。
一旦醒来,在用户听或者看她的满足需要的摘要时,数字助理警报系统可以与家庭中的被连接的设备交互,以便帮助开始用户的一天。可以提前于用户为开始她的具体一天可能需要或者想要使用的具体内容和体验来操作家用电器和触发用户的PC或者其它设备启动应用并且进行导航。因此,数字助理警报系统可以取决于用户是在度假圣地度假并具有为这一天计划的滑雪出游还是该用户在家并且未来具有在办公室的满满的一天而采取不同的行动,以便支持不同的唤醒和摘要体验。如果用户正在一个具体的早晨延误了时间表,则数字助理警报系统可以跳过摘要中的笑话,以及作为代替与用户交互以便推迟即将到来的约会,并且远程地开启用户的汽车以便使它准备好开车去工作。
数字助理警报系统可以初始被配置为使用用户可选择的默认行为,以及也可以被调整为随时间学习具体的用户的唤醒模式和惯例,以使得可以自动地提供恰当地满足需求的唤醒和摘要体验。因此,如果在工作日用户例行地在她的平板型设备上检查股票价格和天气,同时等待咖啡煮好,则数字助理警报系统可以作为她的满足需要的唤醒体验的部分而自动地读出当前股票和天气信息并且打开咖啡机。如果在周末用户早晨首先出去跑步——如通过被维护在设备上的用户的时间表或者通过可以指示何时她正在跑步的运动传感器数据(例如,由设备或者诸如腕带的配套设备捕获的数据)显而易见的——则数字助理警报系统可以在跑步开始之前自动地开始播放快节奏的音乐,以便给用户打气和使该用户准备好锻炼。
提供本概要以便以简化形式介绍下面在详细说明中进一步描述的概念的选择。本概要不旨在标识所要求保护的主题的关键特征或者必要特征,其也不旨在被用作在确定所要求保护的主题的范围时的辅助。此外,所要求保护的主题不限于解决在本公开内容的任何部分中指出的任何或者全部缺点的实现方式。将认识到,上面描述的主题可以被实现为受计算机控制的装置、计算机进程、计算系统或者诸如一个或多个计算机可读存储介质这样的制品。通过阅读下面的详细说明和回顾关联的附图,这些和各种其它的特征将是显而易见的。
附图说明
图1示出了由数字助理警报系统在自动化的满足需要的唤醒体验期间暴露的说明性特征;
图2、2A、2B、2C、2D、2E和2F描绘了涉及用户和数字助理警报系统的说明性使用场景;
图3示出了设备可以在其中通过网络进行通信和交互的说明性计算环境;
图4示出了与说明性的已连接网络的家用设备交互的数字助理警报系统;
图5示出了包括数字助理部件和警报应用的说明性分层架构;
图6和7示出了用户与数字助理警报系统之间的说明性接口。
图8示出了对于数字助理警报系统的说明性输入和可以被数字助理警报系统执行的通用功能的说明性分类法;
图9、10和11示出了由数字助理暴露的说明性用户界面(UI)的截屏;
图12示出了可以由数字助理警报系统在给定的唤醒和摘要体验期间执行的具体的功能的说明性分类法;
图13、14和15示出了在实现本发明的数字助理警报系统时可以被执行的说明性方法;
图16是可以部分上为了实现本发明的数字助理警报系统而被使用的诸如个人计算机(PC)的说明性计算机系统的简化方框图;
图17示出了可以部分上为了实现本发明的数字助理警报系统而被使用的说明性设备的方框图;
图18是说明性移动设备的方框图;以及
图19是说明性多媒体控制台的方框图。
类似的参考标号在附图中指示类似的元件。除非另外指出,否则元件不是按比例绘制的。应当强调,被显示在附图中的具体的UI可以根据具体的实现方式的需要与所示的内容不同。尽管在附图中在纵向模式下示出了UI,但也可以使用横向模式实现本发明的安排。
具体实施方式
图1示出了在设备110上被实例化的本发明的数字助理警报系统112可以作为自动化的满足需要的唤醒体验115的部分暴露的特征和功能的种类的概览。如所示的,数字助理警报系统112可以控制氛围120、播放适于用户的具体的一天的唤醒音乐125(和/或其它音频)、提供那天重要的事的摘要130(口头地或者在设备显示器上图形化地),以及可以与自动化的家用设备135集成以便支持针对设备用户105的综合的和有帮助的唤醒体验。
数字助理警报系统112可以在多种场景中被使用,现在呈现这样的场景中的几个场景。在图2中示出了第一说明性使用场景,其中,用户105与平板型设备110上的系统112交互,以及,利用由数字助理暴露的自然语言界面(在该示例中被称为“Cortana”)使用她的语音责令设置针对下一个早晨的警报。数字助理警报系统口头地对指令作出响应,并且确认用户期望的唤醒惯例。
下一个早晨在所设置的警报时间处,如图2A、2B和2C中所示的,数字助理警报系统112缓慢地调高音乐以便唤醒用户,发起并且继续进行与用户的对话,以及使用诸如用户位置、情绪和所观察的行为的上下文数据执行用于开始用户的一天的各种任务和行动,以便使唤醒体验满足具体的用户的需要,并且使其是有帮助和有益的。例如,如果确定了用户处于愉快的情绪中和/或用户在那天具有轻松的时间表,则数字助理警报系统可以通过讲一些笑话使一天开始。然而,如果用户在未来具有繁忙或者紧张的一天(例如,学校考试、大型业务演讲等),则数字助理警报系统可以省掉笑话,并且作为代替,帮助用户通过回顾一天的时间表准备好迎接一天的挑战,提醒用户带上合适的材料,提供鼓励的话等。数字助理还可以取决于用户的情绪而使用不同的语音音调。
如图2C中所示,数字助理警报系统还可以跨用户的各种设备工作,以使得可以无缝地支持唤醒体验,其中,用户与膝上型PC 1102上的数字助理警报系统1122的另一个实例交互。例如,如所示的,用户可以获得与PC上的数字助理警报系统的交互以便回顾她的日常规划器。在其它示例(未示出)中,用户可以从她的平板型设备切换到使用PC的较大显示屏在该PC上读通知,较大显示屏可能是更方便的。在典型的实现方式中,用户的被连接的设备(例如,智能电话、平板型设备、PC和可穿戴设备)中的每个设备可以在用户醒来时显露警报和被通知。
在图2D、2E和2F中示出了第二说明性使用场景。数字助理警报系统可以从用户的过去行为和惯例中学习显露上下文相关的信息。在该场景中,通过用户的准许,数字助理警报系统112已在过去观察到用户115一般每天晚上在睡觉前检查天气预报。相应地,该使用场景中的数字助理警报系统已在设置针对下一个早晨的警报时检查和通知用户天气预报作为用户的睡觉时间惯例的部分。数字助理警报系统还使用从用户的电子时间表(其被维护在该设备或者被连接的设备上)中检索的上下文数据,以便显露关于即将到来的一天的上下文相关的提醒。
如图2E中所示的,下一个早晨在所设置的警报时间处,数字助理警报系统从对用户简档的用户输入和/或用户行为中知道用户具有学龄孩子。因此,数字助理警报系统在警报时间之前检查外部资源以获得第三方内容,以便查明本地学校是否由于天气而被关闭。替换地,可以对设备110进行注册以从外部资源接收推送通知,以便获悉诸如天气相关的延迟和关闭的事件。数字助理警报系统还可以与远程设备上的对应系统交互以检索信息和完成任务。
如图2F中所示的,数字助理警报系统可以利用诸如运动传感器和环境传感器(例如,可以感应周围光、温度等的那些环境传感器)的设备传感器,以便知道如何显露警报和其它信息。数字助理警报系统还可以使用户能够定制特定的交互,诸如是为其他用户提供特殊的唤醒消息和/或在其它设备上为其他用户设置警报。例如,父母可以使用设备上的数字助理警报系统为孩子设置警报,并且在孩子醒来时被通知。
应当强调,上面的使用场景旨在是说明性的,以及,在支持满足需要的唤醒管理时,可以由数字助理警报系统执行多种任务和采取多种行动。这些例如包括与用户交互(这可以涉及数字助理询问澄清性的问题和/或跟进用户)、执行各种任务、提供服务、搜集信息(例如,通过访问搜索服务或者与诸如web页面的远程资源交互)、使用语音、视频或者消息传送建立通信、操作设备和其它已连接网络的设备和家电、以及执行用于在唤醒管理期间辅助用户的各种其它功能。
数字助理警报系统112可以在提供警报和唤醒体验时使用将可用的输入、上下文和用户行为和交互考虑在内的各种启发式应用(heuristics)、模式识别方法、学习算法和/或策略。例如,如果用户已建立例如醒来后的使用应用的具体序列或者访问网站的具体序列的历史,则数字助理警报系统112可以自动地在用户设备上建立那些体验以节省早晨的时间。
如果用户通常在醒来后检查新闻站点上的头条,则数字助理警报系统可以自动地从站点抓出头条,并且作为用户的摘要的部分为该用户读它们。如果用户已建立伴随她的早晨咖啡观看电视新闻的惯例,则数字助理警报系统可以在煮用户的早晨咖啡的同时打开电视机并且调谐到正确的频道。在一些实现方式中,可以暴露使用户能够精细地调谐数字助理警报系统在提供满足需要的体验时将使用学习和模式识别的程度的用户界面。在用户覆写的实例可以被包括为数字助理的习得行为的部分的一些情况下,也可以使用户能够通过UI来覆写数字助理警报系统的自动化的行为。
有优势地,本发明的数字助理警报系统使用户的一天能够以提供综合的特征和唤醒用户体验的方式进入有效的开始,而同时以最优化计算资源和网络带宽的使用和分配的方式控制诸如已连接网络的家电和设备这样的用户环境中的技术。
现在呈现本发明的数字助理警报系统的说明性实现方式的各种细节。图3示出了各种用户105在其中使用通过通信网络315进行通信的相应设备110的说明性环境100。每个设备110包括数字助理警报系统112。设备110在一些情况下可以支持语音电话能力,并且除了各种其它特征之外通常支持诸如互联网浏览和多媒体(例如,音乐、视频等)消费的数据消费型应用。设备110可以例如包括用户经常用于发出和接收语音和/或多媒体(即,视频)呼叫、参与消息传送(例如,文本传送)和电子邮件通信、使用应用和访问使用数据的服务、浏览万维网等的用户装置、移动电话、蜂窝电话、特征电话、平板型计算机和智能电话。
然而,还设想替换类型的电子设备是在通信环境100内可用的,只要它们被配置为具有通信能力并且可以连接到通信网络315即可。这样的替换的设备以各种方式包括手持型计算设备、PDA(个人数字助理)、便携式媒体播放器、使用头戴式耳机和耳塞耳机的设备(例如,兼容蓝牙的设备)、平板电话型设备(即,智能电话/平板型设备组合)、可穿戴计算机、诸如GPS(全球定位系统)系统的导航设备、膝上型PC(个人计算机)、台式计算机、多媒体控制台、游戏系统等。在下面的讨论中,对术语“设备”的使用旨在覆盖被配置为具有通信能力并且能够连接到通信网络115的全部设备。
环境100中的各种设备110可以支持不同的特征、功能和能力(在这里被概括地称为“特征”)。在给定的设备上被支持的特征中的一些特征可以是与在其它设备上被支持的那些特征类似的,而其它特征可以是对于给定的设备唯一的。在各种设备110上被支持的特征之间的重叠和/或独特的程度可以随实现方式改变。例如,一些设备110可以支持触摸控制、手势识别和语音命令,而其它设备110可以使能实现更有限的UI。一些设备可以支持视频消费和互联网浏览,而其它设备可以支持更有限的媒体处置和网络接口特征。
如所示的,设备110可以访问通信网络315以便实现各种用户体验。通信网络可以包括采用各种组合或者子组合的多种网络类型和网络基础设施中的任何网络类型和网络基础设施,所述多种网络类型和网络基础设施包括蜂窝网络、卫星网络、诸如Wi-Fi和以太网这样的IP(互联网协议)网络、公共交换电话网(PSTN)和/或诸如蓝牙®网络这样的短距网络。网络基础设施可以例如由移动运营商、企业、互联网服务提供商(ISP)、电话服务提供商、数据服务提供商等支持。通信网络315通常包括支持与互联网320的连接的接口,以使得移动设备110可以访问由一个或多个内容提供商325提供的内容以及在一些情况下还访问服务提供商330。相应地,通常使通信网络315能够支持各种类型的设备到设备通信,以便在各方之间提供连接,所述设备到设备通信包括过顶(over-the-top)通信和不使用常规的电话号码的通信。
诸如腕带和其它可穿戴设备的附属设备314也可以出现在环境100中。这样的附属设备314通常适于使用例如是蓝牙这样的短距通信协议与设备110互操作,以支持诸如监控穿戴者的生理情况(例如,心率、迈出的步伐、燃烧的卡路里等)和环境状况(温度、湿度、紫外线(UV)水平等)以及显露来自被耦合的设备110的通知这样的功能。
图4示出了通常可以使用网络与诸如智能家电、照明、声音系统、环境控制等这样的已连接网络的家用设备400运行地耦合在一起的设备110和数字助理警报系统112。
图5示出了可以在给定的设备110上被实例化的说明性分层架构500。架构500通常用软件来实现,但在一些情况下也可以使用软件、固件和/或硬件的组合。架构500被分层地安排,并且包括应用层505、OS(操作系统)层510和硬件层515。硬件层515向它上面的层提供对被设备110使用的各种硬件(例如,输入和输出设备、网络和无线电硬件等)的抽象。在该说明性示例中,硬件层支持麦克风520和音频端点525,音频端点525可以例如包括设备的内部扬声器、有线或者无线的头戴式耳机/耳塞式耳机、外部扬声器/设备等。
该说明性示例中的应用层505支持各种应用530(例如,web浏览器、地图应用、电子邮件应用等)以及警报应用545。应用通常使用在本地执行的代码来实现。然而,在一些情况下,这些应用可以依赖于由远程服务器或者其它计算平台(诸如由服务提供商330或者其它基于云的资源支持的那些)提供的服务和/或远程代码执行。尽管警报应用在这里被示为在应用层505中被实例化的组件,但将认识到,由给定的应用提供的功能可以整体上或者部分上使用在OS或者硬件层中被支持的组件来实现。
OS层510支持数字助理550和各种其它OS组件555。在一些情况下,数字助理550可以如由线560指示的那样与服务提供商330交互。即,一些实现方式中的数字助理550可以部分上使用或者完全使用在服务提供商330处被支持或者使用其它的远程资源的远程代码执行。另外,它可以根据实现本文中描述的各种特征和功能的需要使用和/或交互其它OS组件555(和/或在架构500的其它层中被实例化的其它组件)。
在一些实现方式中,可以如在图5中由虚线矩形示出的那样,将被警报应用545支持的功能中的一些功能或者全部功能并入数字助理。在本说明中,术语“数字助理警报系统”指包括本文中描述的本发明的警报功能的数字助理550,不论这样的功能由诸如警报应用545的分立的组件支持还是直接由数字助理支持。
如图6中所示,数字助理警报系统112可以使用自然语言用户界面(UI)605,自然语言用户界面605可以将语音输入610看作来自用户105的输入。语音输入610可以被用于调用设备110上的各种行动、特征和功能、向系统和应用提供输入等。在一些情况下,语音输入610可以在支持具体的用户体验时被独自地使用,而在其它情况下,语音输入可以结合其它非语音输入或者诸如实现设备上的物理控制或者在UI上被实现的虚拟控制的那些输入或者使用手势的那些输入(如下面描述的)的输入被使用。
数字助理警报系统112还可以使用如图7中所示的手势UI 705。在这里,手势UI705可以将由用户105执行的手势710感应为用于调用设备110上的各种行动、特征和功能、向系统和应用提供输入等的输入。可以使用诸如光学感应、触摸感应、接近感应等的各种技术感应用户手势710。在一些情况下,可以使用语音命令、手势和对实际或者虚拟控件的物理操纵的各种组合来与数字助理交互。在一些场景中,可以自动地调用数字助理。例如,因为数字助理通常维持对设备状态和其它上下文的感知,所以可以通过诸如用户输入、被接收的通知或者被检测的事件这样的具体的上下文来调用数字助理。
图8示出了通常可以被数字助理警报系统112支持的功能800的说明性分类法。对数字助理警报系统112的输入通常可以包括用户输入805、来自内部源的数据810和可以包括第三方内容818的来自外部源的数据815。例如,来自内部源的数据810可以包括由设备上的GPS(全球定位系统)部件或者某个其它位置感知部件报告的设备110的当前位置。外部源数据815包括例如由诸如服务提供商330(图3)的外部系统、数据库、服务等提供的数据。各种输入可以单独地或者以各种组合被使用,以便使数字助理警报系统112能够在它运行时使用上下文数据820。上下文数据可以例如包括时间/日期、用户位置、语言、时间表、被安装在设备上的应用、用户的偏好、用户的行为(其中,利用对用户的通知和用户的准许来监控/跟踪这样的行为)、已存储的联系人(在一些情况下包括诸如由外部社交网络服务维护的那些链接的对于本地用户或者远程用户的社交图的链接)、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力、通信网络类型和/或本文中提供的特征/功能、移动数据计划约束/限制、与通信的其他方相关联的数据(例如,他们的时间表、偏好等)等。
如所示的,功能800说明性地包括:与用户825交互(例如,通过自然语言UI和其它图形UI);执行任务830(例如,在用户的日历中制作约会的笔记、发送消息和电子邮件等);提供服务835(例如,回答来自用户的问题、绘制对于目的地方向的地图、设置警报、转发通知等);搜集信息840(例如,找出被用户请求的关于书或者电影的信息、定位最近的意大利餐厅等);操作设备845(例如,设置偏好、调整屏幕亮度、打开和关闭诸如Wi-Fi和蓝牙这样的无线连接、与其它设备通信、控制智能家电等);以及,执行各种其它功能850。功能800的列表不旨在是穷举性的,并且其它功能可以在可能对于本发明的数字助理警报系统的具体的实现方式来说需要时被数字助理提供。
可以通过被显示在设备110上的UI向用户105暴露数字助理警报系统112。例如,图9、10和11示出了可以被本发明的数字助理警报系统使用的说明性UI的各种截屏。应当强调,被显示在附图中的具体的UI可以随根据具体的实现方式的需求被显示的内容而不同。图9中的UI 900示出了由图块905代表的数字助理(如上面讨论的,被称为“Cortana”),将图块905与代表其它应用或者用户体验的图块一起显示在设备的开始屏幕上。数字助理还可以被配置为,从设备上的任何UI内的任何位置或者从任何当前用户体验内被启动。例如,用户105可以正处于电话呼叫中、正在浏览web、正在看视频或者听音乐,并且同时地从那些体验中的任一个体验内启动数字助理。可以在一些情况下通过操纵物理的或者虚拟的用户控件和/或在其它情况下通过语音命令和/或手势启动数字助理。
在用户例如通过触摸图块905或者通过调用语音命令(例如,“嘿,Cortana”)或者手势调用数字助理时,图10中所示的UI 1000被显示在设备110上,UI 1000包括询问用户是否需要某个东西的文本串1005。在替换的实现方式中,可以使用文本到语音转换,以使得可以代替或者补充文本串1005而播放音频消息。如所示的,UI包括被配置为用于示出所接收的语音命令或者其它用户输入的文本表示的方框1010。
一个或多个图形对象1015可以被显示在UI 1000上,以便向用户表示数字助理。该示例中的图形对象1015是圆形,该圆形可以被制作成动画,以例如使得它在数字助理执行任务、提供信息、与用户交互等时候变更它的形状、颜色、透明度、运动或者外观。
如图1100中的UI 1100中所示,用户已例如使用键区或者语音输入向方框1110中输入串1105“设置针对上午7点的警报”。响应于该输入,数字助理可以如在上面的使用场景中说明性地描述的那样启动设备110上的警报设置例程。
图12提供了可以被提供的特征和可以被数字助理警报系统112执行的用于支持唤醒和摘要体验的功能的各种说明性示例的分类法1200。这里呈现的特征和功能旨在是说明性的而非穷举性的,并且可以使用其它的特征/功能以满足具体的实现方式的需求,并且并非所述特征/功能中的全部特征/功能需要在每个实现方式中被支持和/或使用。
如所示的,分类法1200包括数字助理警报系统:播放诸如音乐、视频和/或动画的媒体内容(如由参考标号1205指示的),其中,数字助理警报系统在一些情况下可以通过介绍被播放的音乐充当电台节目主持人;通过在设备的显示屏或者被连接的设备上显示信息,或者通过大声地读信息而提供新闻、交通或者天气更新1210;提供可以被示出或者读出的诸如是新的Facebook®通知这样的针对社交媒体的更新1215;提供关于诸如电子邮件、文本消息等这样的消息的更新1220;启动例如用于帮助用户迅速地得到感兴趣的内容或者体验的应用1225;提供提醒1230;维护和更新用户的时间表和日历1235;操作诸如已连接网络和家用的自动化设备这样的设备和/或家电1240;控制氛围1245;在满足唤醒体验的需要时使用用户的被检测的情绪、位置或或者物理活动1250;显露诸如天气警告、应用通知等这样的警告或者通知1255;为用户的圈内的联系人提供特殊的处置1260,诸如在摘要期间给予来自诸如是家庭成员、同事、朋友等这样的特别指定的联系人的电子邮件优先级;与其他人的设备上的数字助理交互1265;与诸如与工作、学校等相关联的web资源的远程资源/服务/数据源交互1270;与诸如Bing®的搜索服务交互1275;支持针对其他人的个性化的唤醒消息1280;将内容和体验与其他人共享出来1285;与其他人通信1290;以及,支持如对于数字助理警报系统的给定的实现方式来说可能是需要的其它特征和功能1295。
就用户的被检测的情绪来说,可以对多种数据进行分析以便确定精神或者情感状态。例如,可以使用以下各项中的一项或多项执行分析:i)面部表情;ii)位置;iii)包括设备打开/关闭或者输入交互的速率中的一项或多项的物理输入特性;iv)应用交互;v)包括心率、皮电活动数据、心电图数据或者脑电图数据这样的用户的生理特性;vi)设备/网络连接数据;vii)设备电池/充电数据;viii)设备与物体或者人的接近度;ix)被明确地提供的关于精神或者情感状态的用户输入;或者x)向UI的语音输入。
图13示出了用于操作设备上的数字助理的说明性方法1300的流程图。除非专门指出,否则在该流程图中被示出和在伴随的文本中被描述的方法或者步骤不限于具体的次序或者顺序。另外,其方法或者步骤中的一些方法或者步骤可以并发地发送或者被执行,以及,在给定的实现方式中,取决于这样的实现方式的要求,并非全部方法或者步骤必须被执行,并且一些方法或者步骤可以可选地被使用。
在步骤1305中,数字助理响应于诸如来自设备用户的那些指令的所接收的指令设置唤醒警报。在步骤1310中,例如从在图8中被示出和在伴随的文本中被描述的各种源获得与用户有关的上下文数据。在步骤1315中,在警报发作时,数字助理使用上下文数据通过操作设备在设备上渲染所选择的音乐、声音或者图形显示来为用户创建唤醒体验。在步骤1320中,数字助理使用用于确定在上下文上与用户相关的信息的上下文数据生成摘要。在步骤1325中,数字助理例如通过向用户大声读摘要和/或在设备显示器上显示摘要以用于用户细阅来向用户提供摘要。
图14示出了可以被充当数字助理的宿主的设备执行的说明性方法1400的流程图。在步骤1405中,暴露用于设置针对给定的一天的唤醒警报和用于通过监控用户行为和与设备的交互维护设备用户的上下文感知的数字助理。在步骤1410中,访问设备用户的时间表。通常,时间表被存储在设备上,但它在一些情况下也可以从远程存储库和/或资源被访问。在步骤1415中,在根据时间表中的准则满足用户的需要的唤醒惯例期间通过设备UI播放音频。因此,例如,在用户具有一周期间的繁忙的一天时,数字助理可以播放旨在使用户被激励并且准备好应付那一天的音乐。在周末,在用户可能具有更轻松的时间表时,数字助理可以播放更柔和、更平静的音乐以温柔地唤醒用户。在步骤1420中,数字助理例如通过读出约会和事件或者在设备显示器上显示它们而在UI上显露时间表的各种部分。
在步骤1425中,数字助理在UI上提供与在警报设置与唤醒惯例之间发生的与设备的通信有关的信息。取决于用户的选择,可以在设备显示器上图形化地或者使用声音提供该信息。在步骤1430中,数字助理在UI上暴露根据数字助理的上下文感知而具有与用户的相关性的内容。取决于用户的选择,可以在设备显示器上图形化地或者使用声音暴露该内容。
图15示出了可以被服务器(诸如被远程提供商(例如,在图3中被示出并且在伴随的文本中被描述的服务提供商330和/或内容提供商325)使用的服务器)执行的说明性方法1500的流程图。在步骤1505中,在某个时间间隔内为用户在与充当数字助理的宿主的设备交互时的活动而记录日志。在步骤1510中,使被记录的活动与用户的逐日的时间表相关。因此,例如,这样的相关可以使用户在工作日的行为和惯例能够与在周末发生的那些行为和惯例区分开。或者,用户可以由于夜间课程而在周一和周三具有与一周的剩余时间不同的时间表。在步骤1515中,创建根据逐日的时间表而改变的唤醒惯例。在步骤1520中,向用户的设备提供唤醒惯例,以使得其运行根据惯例被控制。
图16是可以利用其实现本发明的数字助理警报系统的说明性计算机系统1600(诸如PC、客户端机器或者服务器)的简化方框图。计算机系统1600包括处理器1605、系统存储器1611和将包括系统存储器1611的各种系统部件耦合到处理器1605的系统总线1614。系统总线1614可以是包括存储器总线或者存储器控制器、外设总线或者使用多种总线架构中的任一种总线架构的本地总线的几种类型的总线结构中的任一种总线结构。系统存储器1611包括只读存储器(ROM)1617和随机存取存储器(RAM)1621。包含诸如在启动期间帮助在计算机系统1600内的元件之间传输信息的基本例程的基本输入/输出系统(BIOS)1625被存储在ROM 1617中。计算机系统1600可以进一步包括用于从被安置在内部的硬盘(未示出)读和向被安置在内部的硬盘写的硬盘驱动器1628、用于从可移除磁盘1633(例如,软盘)读或者向可移除磁盘1633写的磁盘驱动器1630和用于从诸如CD(压缩盘)、DVD(数字多功能光盘)或者其它光学介质这样的可移除光盘1643读或者向可移除光盘1643写的光盘驱动器1638。分别通过硬盘驱动器接口1646、磁盘驱动器接口1649和光盘驱动器接口1652将硬盘驱动器1628、磁盘驱动器1630和光盘驱动器1638连接到系统总线1614。驱动器及其关联的计算机可读存储介质为计算机系统1600提供对计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。尽管该说明性示例包括硬盘、可移除磁盘1633和可移除光盘1643,但在本发明的数字助理警报系统的一些应用中,也可以使用诸如盒式磁带、闪存卡、数字视频磁盘、数据带盒、随机存取存储器(RAM)、只读存储器(ROM)等这样的可以存储可被计算机访问的数据的其它类型的计算机可读存储介质。另外,如本文中使用的,术语计算机可读存储介质包括一种媒体类型的一个或多个实例(例如,一个或多个磁盘、一个或多个CD等)。出于本说明和权利要求的目的,短语“计算机可读存储介质”及其变型不包括波、信号和/或其它的暂时性的和/或无形的通信介质。
可以将包括操作系统1655、一个或多个应用程序1657、其它程序模块1660和程序数据1663的一些程序模块存储在硬盘、磁盘1633、光盘1643、ROM 1617或者RAM 1621上。用户可以通过诸如键盘1666这样的输入设备和诸如鼠标这样的指点设备1668向计算机系统1600中输入命令和信息。其它的输入设备(未示出)可以包括麦克风、操纵杆、游戏摇杆、碟形卫星天线、扫描仪、轨迹球、触摸板、触摸屏、触摸敏感设备、语音命令模块或者设备、用户运动或者用户手势捕获设备等。这些和其它的输入设备通常通过耦合到系统总线1614的串行端口接口1671被连接到处理器1605,但也可以通过诸如并行端口、游戏端口或者通用串行总线(USB)这样的其它接口被连接。监视器1673或者其它类型的显示设备也经由诸如是视频适配器1675的接口被连接到系统总线1614。除了监视器1673之外,个人计算机通常包括诸如扬声器和打印机这样的其它外设输出设备(未示出)。图16中所示的说明性示例还包括主机适配器1678、小型计算机系统接口(SCSI)总线1683和被连接到SCSI总线1683的外部存储设备1676。
计算机系统1600是可使用与诸如远程计算机1688这样的一个或多个远程计算机的逻辑连接在联网环境中运行的。远程计算机1688可以被选择为另一个个人计算机、服务器、路由器、网络PC、对端设备或者其它常见的网络节点,并且通常包括上面关于计算机系统1600描述的元件中的许多或者全部元件,尽管在图16中示出了仅单个有代表性的远程存储器/存储设备1690。图16中所描绘的逻辑连接包括局域网(LAN)1693和广域网(WAN)1695。这样的网络环境通常例如被部署在办公室、企业级计算机网络、内联网和互联网中。
当在LAN网络环境中被使用时,通过网络接口或者适配器1696将计算机系统1600连接到局域网1693。当在WAN网络环境中被使用时,计算机系统1600通常包括宽带调制解调器1698、网关或者用于建立通过诸如互联网这样的广域网1695的通信的其它装置。经由串行端口接口1671将可以位于内部或者外部的宽带调制解调器1698连接到系统总线1614。在连网环境中,可以将与计算机系统1600或者其部分相关的程序模块存储在远程存储器存储设备1690中。应当指出,图16中所示的网络连接是说明性的,并且取决于本发明的数字助理警报系统的应用的具体的要求,可以使用在计算机之间建立通信链路的其他装置。
图17示出了能够执行本文中描述的各种部件的用于提供本发明的数字助理警报系统的设备的说明性架构1700。因此,图17中图示的架构1700示出了可以适于服务器计算机、移动电话、PDA、智能电话、台式计算机、上网本计算机、平板型计算机、GPS设备、游戏控制台和/或膝上型计算机的架构。可以使用架构1700来执行本文中呈现的部件的任一个方面。
图17中图示的架构1700包括CPU(中央处理单元)1702、包括RAM 1706和ROM 1708的系统存储器1704以及将存储器1704耦合到CPU 1702的系统总线1710。包含诸如在启动期间帮助在架构1700内的元件之间传输信息的基本例程的基本输入/输出系统被存储在ROM1708中。架构1700进一步包括用于存储被用于实现应用、文件系统和操作系统的软件代码或者其它计算机执行的代码的大容量存储设备1712。
通过被连接到总线1710的大容量存储控制器(未示出)将大容量存储设备1712连接到CPU 1702。大容量存储设备1712及其关联的计算机可读存储介质为架构1700提供非易失性存储。
尽管包含在本文中的对计算机可读存储介质的说明指诸如硬盘或者CD-ROM驱动器这样的大容量存储设备,但本领域的技术人员应当认识到,计算机可读存储介质可以是任何可以被架构1700访问的可用存储介质。
通过示例而非限制,计算机可读存储介质可以包括使用任何用于存储诸如计算机可读指令、数据结构、程序模块或者其它数据这样的信息的方法或者技术实现的易失性和非易失性、可移除和非可移除介质。例如,计算机可读介质包括但不限于RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或者其它固态存储器技术、CD-ROM、DVD、HD-DVD(高清DVD)、蓝光或者其它光学存储装置、盒式磁带、磁带、磁盘存储装置或者其它磁性存储设备、或者任何其它的可以被用于存储期望的信息并且可以被架构1700访问的介质。
根据各种实施例,架构1700可以使用通过网络的与远程计算机的逻辑连接在连网环境中运行。架构1700可以通过被连接到总线1710的网络接口单元1716连接到网络。应当认识到,网络接口单元1716也可以被用于连接到其它类型的网络和远程计算机系统。架构1700还可以包括用于接收和处理来自包括键盘、鼠标或者电子手写笔(未在图17中示出)这样的一些其它设备的输入的输入/输出控制器1718。类似地,输入/输出控制器1718可以向显示屏、打印机或者其它类型的输出设备(也未在图17中示出)提供输出。
应当认识到,本文中描述的软件组件在被加载到CPU 1702中并且被执行时将CPU1702和整个架构1700从通用计算系统变换为被定制为促进本文中呈现的功能的专用计算系统。可以由可以单个地或者集体地假设任意数量的状态的任意数量的晶体管或者其它分立的电路元件构造CPU 1702。更具体地,CPU 1702可以响应于包含在本文中公开的软件模块内的可执行指令而运行为有限状态机。这些计算机可执行指令可以通过指定CPU 1702如何在状态之间转变对CPU 1702进行变换,因此对构成CPU 1702的晶体管或者其它分立的硬件元件进行变换。
对本文中呈现的软件模块进行编码还可以对本文中呈现的计算机可读存储介质的物理结构进行变换。在本说明的不同的实现方式中,对物理结构的具体的变换可以取决于各种因素。这样的因素的示例可以包括但不限于:被用于实现计算机可读存储介质的技术、计算机可读存储介质被表征为主要还是次要存储装置等。例如,如果计算机可读存储介质被实现为基于半导体的存储器,则可以通过变换半导体存储器的物理状态将本文中公开的软件编码在计算机可读存储介质上。例如,软件可以变换组成半导体存储器的晶体管、电容器或者其它分立的电路元件的状态。软件也可以变换这样的部件的物理状态,以便在其上存储数据。
作为另一个示例,本文中公开的计算机可读存储介质可以使用磁性或者光学技术来实现。在这样的实现方式中,本文中呈现的软件可以变换磁性或者光学介质的物理状态(在软件被编码在其中时)。这些变换可以包括改变给定的磁性介质内的具体的位置的磁性特性。这些变换还可以包括改变给定的光学介质内的具体的位置的物理特征或者特性,以变更那些位置的光学特性。对物理介质的其它变换是可能的,而不脱离本说明的范围和精神,并且仅为了促进本讨论而提供了前述示例。
鉴于以上内容,应当认识到,为了存储和执行本文中呈现的软件组件,许多类型的物理变换在架构1700中发生。还应当认识到,架构1700可以包括其它类型的计算设备,包括手持型计算机、嵌入式计算机系统、智能电话、PDA和本领域的技术人员已知的其它类型的计算设备。还设想架构1700可以不包括图17中所示的部件中的全部部件,可以包括未在图17中被明确地示出的其它部件,或者可以使用与图17中所示的架构完全不同的架构。
图18是包括如在1802处概括地示出的多种可选的硬件和软件部件的说明性设备110(诸如移动电话或者智能电话)的功能性方框图。移动设备中的任何部件1802可以与任何其它部件通信,尽管为了易于说明,并非全部连接被示出。移动设备可以是多种计算设备(例如,蜂窝电话、智能电话、手持型计算机、PDA等)中的任一种计算设备,并且可以允许与诸如蜂窝或者卫星网络这样的一个或多个移动通信网络1804的无线双向通信。
所图示的设备110可以包括用于执行诸如信号编码、数据处理、输入/输出处理、功率控制和/或其它功能这样的任务的控制器或者处理器1810(例如,信号处理器、微处理器、微控制器、ASIC(专用集成电路)或者其它控制和处理逻辑电路)。操作系统1812可以控制对部件1802的分配和使用,包括控制功率状态、上锁定状态和下锁定状态,并且为一个或多个应用程序1814提供支持。应用程序可以包括常见的移动计算应用(例如,图像捕获应用、电子邮件应用、日历、联系人管理器、web浏览器、消息传送应用)或者任何其它计算应用。
所图示的设备110可以包括存储器1820。存储器1820可以包括非可移除存储器1822和/或可移除存储器1824。非可移除存储器1822可以包括RAM、ROM、闪存、硬盘或者其它公知的存储器存储技术。可移除存储器1824可以包括闪存或者在GSM(全球移动通信系统)系统中是公知的订户身份模块(SIM)卡或者诸如“智能卡”这样的其它公知的存储器存储技术。存储器1820可以被用于存储用于运行操作系统1812和应用程序1814的数据和/或代码。示例数据可以包括web页面、文本、图像、声音文件、视频数据或者经由一个或多个有线或者无线网络被发送到一个或多个网络服务器或者其它设备和/或从一个或多个网络服务器或者其它设备被接收的其它数据集。
存储器1820可以还被安排为或者包括使用任何用于存储诸如计算机可读指令、数据结构、程序模块或者其它数据的方法或者技术实现的一个或多个计算机可读存储介质。例如,计算机可读介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或者其它固态存储器技术、CD-ROM(压缩盘ROM)、DVD(数字多功能光盘)、HD-DVD(高清DVD)、蓝光或者其它光学存储装置、盒式磁带、磁带、磁盘存储装置或者其它磁性存储设备、或者任何其它的可以被用于存储期望的信息并且可以被设备110访问的介质。
存储器1820可以被用于存储诸如国际移动订户身份(IMSI)这样的订户标识符和诸如国际移动装置标识符(IMEI)这样的装置标识符。可以将这样的标识符发射到网络服务器以便标识用户和装置。设备110可以支持一个或多个输入设备1830;诸如是触摸屏1832;用于实现用于语音识别、语音命令等的语音输入的麦克风1834;照相机1836;物理键盘1838;轨迹球1840;和/或接近度传感器1842;以及一个或多个输出设备1850,诸如是扬声器1852和一个或多个显示器1854。在一些情况下,使用手势识别的其它输入设备(未示出)也可以被使用。其它可能的输出设备(未示出)可以包括压电式或者触觉输出设备。一些设备可以提供多于一项输入/输出功能。例如,可以将触摸屏1832和显示器1854组合到单个输入/输出设备中。
无线调制解调器1860可以被耦合到天线(未示出),并且如本领域中公知的那样,可以支持处理器1810与外部设备之间的双向通信。调制解调器1860被图形化地示出,并且可以包括用于与移动通信网络1804通信的蜂窝调制解调器和/或其它基于无线的调制解调器(例如,蓝牙1864或者Wi-Fi 1862)。无线调制解调器1860通常被配置为用于与诸如GSM网络这样的一个或多个蜂窝网络的通信,用于单个蜂窝网络内、蜂窝网络之间或者设备与公共交换电话网(PSTN)之间的数据和语音通信。
设备可以进一步包括至少一个输入/输出端口1880、电源1882、诸如GPS接收器的卫星导航系统接收器1884、加速度计1886、陀螺仪(未示出)和/或物理连接器1890,物理连接器1890可以是USB端口、IEEE 1394(火线)端口和/或RS-232端口。所图示的部件1802不是必需的或者无所不包的,因为任何部件可以被删除,以及其它部件可以被添加。
图19是多媒体控制台1104的说明性功能性方框图。多媒体控制台1104具有中央处理单元(CPU)1901,中央处理单元1901具有1级高速缓存1902、2级高速缓存1904和闪存ROM(只读存储器)1906。1级高速缓存1902和2级高速缓存1904临时地存储数据,并且因此减少存储器访问循环的数量,因此提升处理速度和吞吐量。CPU 1901可以被配置为具有多于一个核,并且因此具有额外的1级和2级高速缓存1902和1904。闪存ROM 1906可以存储在多媒体控制台1104被加电时的开机过程的初始阶段期间被加载的可执行代码。
图形处理单元(GPU)1908和视频编码器/视频编解码器(编码器/编解码器)1914形成用于高速和高分辨率图形处理的视频处理管道。经由总线将数据从GPU 1908运送到视频编码器/视频编解码器1914。视频处理管道将数据输出到A/V(音频/视频)端口1940以用于向电视机或者其它显示器发射。将存储器控制器1910连接到GPU 1908以便促进对诸如但不限于RAM这样的各种类型的存储器1912的处理器访问。
多媒体控制台1104包括优选在模块1918上被实现的I/O控制器1920、系统管理控制器1922、音频处理单元1923、网络接口控制器1924、第一USB(通用串行总线)主机控制器1926、第二USB控制器1928和前端面板I/O组件1930。USB控制器1926和1928充当外设控制器1942(1)和1942(2)、无线适配器1948和外部存储器设备1946(例如,闪存、外部CD/DVD ROM驱动器、可移除介质等)的主机。网络接口控制器1924和/或无线适配器1948提供对网络(例如,互联网、家庭网络等)的访问,并且可以是包括以太网卡、调制解调器、蓝牙模块、线缆模块等的多种有线或者无线适配器部件中的任一种有线或者无线适配器部件。
提供系统存储器1943以便存储在开机过程期间被加载的应用数据。介质驱动器1944被提供,并且可以包括DVD/CD驱动器、硬盘驱动器或者其它可移除介质驱动器等。介质驱动器1944可以位于多媒体控制台1104的内部或者外部。可以经由介质驱动器1944访问应用数据以用于被多媒体控制台1104执行、回放等。经由诸如串行ATA总线或者其它高速连接(例如,IEEE 1394)的总线将介质驱动器1944连接到I/O控制器1920。
系统管理控制器1922提供与确保多媒体控制台1104的可用性相关的多种服务功能。音频处理单元1923和音频编解码器1932形成具有高保真度和立体声处理的对应的音频处理管道。经由通信链路在音频处理单元1923与音频编解码器1932之间运送音频数据。音频处理管道将数据输出到A/V端口1940以用于被具有音频能力的外部音频播放器或者设备再现。
前端面板I/O组件1930支持电力按钮1950和弹出按钮1952以及被暴露在多媒体控制台1104的外表面上的任何LED(发光二极管)或者其它指示器的功能。系统电源模块1939向多媒体控制台1104的部件提供电力。风扇1938冷却多媒体控制台1104内的电路。
经由包括串行和并行总线、存储器总线、外设总线和使用多种总线架构中的任一种总线架构的处理器或者本地总线的一个或多个总线使CPU 1901、GPU 1908、存储器控制器1910和多媒体控制台1104内的各种其它部件互连。通过示例,这样的架构可以包括外设部件互连(PCI)总线、PCI-Express总线等。
在多媒体控制台1104被加电时,应用数据可以从系统存储器1943被加载到存储器1912和/或高速缓存1902和1904中,并且在CPU 1901上被执行。应用可以呈现在导航到多媒体控制台1104上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在运行时,可以从介质驱动器1944启动或者播放被包含在介质驱动器1944内的应用和/或其它媒体,以便向多媒体控制台1104提供额外的功能。
多媒体控制台1104可以通过简单地将该系统连接到电视机或者其它显示器而被运行为独立的系统。在该独立模式下,多媒体控制台1104允许一个或多个用户与系统交互、看电影或者听音乐。然而,伴随着集成通过网络接口控制器1924或者无线适配器1948使之变得可用的宽带连接,多媒体控制台1104可以进一步被运行为较大网络社区中的参与者。
在多媒体控制台1104被加电时,一定量的硬件资源被多媒体控制台操作系统预留给系统使用。这些资源可以包括对存储器(例如,16 MB)、CPU和GPU循环(例如,5%)、网络带宽(例如,8 kbps)等的预留。因为这些资源在系统开机时间时被预留,所以被预留的资源从应用的角度看不存在。
具体地,存储器预留优选是大得足以包含启动内核、并发的系统应用和驱动器的。CPU预留优选是不变的,以使得如果被预留的CPU使用未被系统应用使用,则空闲线程将消耗任何未被使用的循环。
就GPU预留而言,通过使用GPU中断来调度用于将弹出窗口渲染到覆盖中的代码而显示由系统应用生成的轻量级消息(例如,弹出窗口)。覆盖所需的存储器的量取决于覆盖区域大小,并且覆盖优选地随屏幕分辨率而缩放。在整个用户界面被并发的系统应用使用的情况下,优选使用独立于应用分辨率的分辨率。可以使用缩放器来设置该分辨率,以使得消除对于变更频率和导致TV重新同步的需求。
在多媒体控制台1104开机并且系统资源被预留之后,并发的系统应用执行以便提供系统功能。将系统功能封装在上面描述的被预留的系统资源内执行的系统应用的集合中。操作系统内核标识系统应用线程与游戏应用线程的线程。系统应用优选被调度为以预定的时间和间隔在CPU 1901上运行,以便向应用提供一致的系统资源视图。调度将对于在控制台上运行的游戏应用最小化高速缓存中断。
在并发的系统应用需要音频时,由于时间敏感性,所以异步地将音频处理调度到游戏应用。多媒体控制台应用管理器(在下面被描述)控制在系统应用活跃时的游戏应用音频水平(例如,静音、衰减)。
输入设备(例如,控制器1942(1)和1942(2))被游戏应用和系统应用共享。输入设备不是被预留的资源,而将在系统应用与游戏应用之间被切换,以使得每个应用将具有设备的焦点。应用管理器优选控制输入流的切换,而不知道游戏应用的知识,并且驱动器维护与焦点切换有关的状态信息。
现在通过图示而非作为全部实施例的穷举性的列表呈现本发明的数字助理警报系统的各种示例性实施例。一个示例包括用于使用在设备上运行的数字助理来提供满足需要的唤醒体验的方法,所述方法包括:响应于接收的指令设置唤醒警报;获得与设备用户有关的上下文数据;在唤醒警报发作时,使用上下文数据通过操作设备在设备上渲染所选择的音乐、声音或者图形显示来为用户创建唤醒体验;使用用于确定在上下文上与用户相关的信息的上下文数据生成摘要;以及,将摘要提供给用户。
在另一个示例中,所述方法进一步包括:将唤醒警报设置为在一个时间处或者响应于事件的发生而出现,数字助理被配置为监控所述事件发生。在另一个示例中,上下文数据包括以下项的一项或多项,即:时间/日期、用户或者设备的位置、语言、时间表、被安装在设备上的应用、用户偏好、用户行为、用户活动、已存储的联系人、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力或者通信网络类型。在另一个示例中,所述方法进一步包括:将数字助理配置为用于口头地读出摘要,或者在所述设备上显示摘要,或者在被运行地耦合到所述设备的另一个设备上显示摘要。在另一个示例中,所述方法进一步包括:监控一个时间间隔内的用户行为,以及,响应于所监控的用户行为而调整满足需要的唤醒体验。在另一个示例中,所述方法进一步包括:使用声音、音乐或者照明中的一项对氛围进行控制。在另一个示例中,所述方法进一步包括:控制已连接网络的家电或者设备。在另一个示例中,所述方法进一步包括:与在已连接网络的家电或者设备上被实例化的数字助理交互。在另一个示例中,所述方法进一步包括:启动用于预取用于用户在醒来之后回顾的数据的应用,在所述设备或者在被连接的设备上启动所述应用。在另一个示例中,所述方法进一步包括:响应于语音输入、手势输入或者手工输入将数字助理配置为用于执行以下操作中的至少一项操作:共享联系人信息、共享已存储的联系人、对会议进行调度、查看用户的日历、对提醒进行调度、发出呼叫、操作设备、玩游戏、作出购买、记笔记、对警报或者唤醒提醒进行调度、发送消息、针对更新检查社交媒体、抓取网站、与搜索服务交互、共享或者示出文件、发送对于网站的链接或者发送对于资源的链接。
一个进一步的示例包括设备,所述设备包括:一个或多个处理器;用于使用视觉显示或者音频中的一项与设备的用户交互的用户界面(UI);以及,存储计算机可读指令的存储器设备,所述计算机可读指令在被一个或多个处理器执行时执行包括以下步骤中的步骤的方法:暴露数字助理,以用于设置针对给定的一天的唤醒警报,以及用于通过监控用户行为和与设备的交互维持设备用户的上下文感知;访问针对所述一天的设备用户的时间表;在根据时间表中的准则满足用户的需求的唤醒惯例期间通过UI播放音频;在UI上显露时间表的被选择的部分,根据与数字助理的用户交互而图形化地或者在听觉上渲染时间表部分;在UI上提供与在警报设置与唤醒惯例之间发生的与设备的通信有关的信息,根据与数字助理的用户交互而图形化地或者在听觉上渲染被提供的信息;以及,在UI上暴露根据数字助理的上下文感知而具有与用户的相关性的内容,根据与数字助理的用户交互而图形化地或者在听觉上渲染被暴露的内容。
在另一个示例中,所述设备进一步包括:运动传感器;以及,使用来自运动传感器的数据来在设备被摇晃时将警报置于睡眠状态下。在另一个示例中,所述设备进一步包括:在设备中的传感器指示设备已被捡起时,执行所述显露、提供或者暴露中的一项。在另一个示例中,所述设备进一步包括:用于检测周围状况的一个或多个传感器。在另一个示例中,所述设备进一步包括:与远程服务器互操作,以便检索用于支持满足需要的唤醒体验的数据或者服务。在另一个示例中,通信信息与文本消息、电子邮件、警告或者社交媒体通知中的一项有关。在另一个示例中,UI包括图形用户界面或者自然语言界面。在另一个示例中,所述设备进一步包括:相对于应用使用和web浏览而监控用户行为和与设备的交互。在另一个示例中,所述设备进一步包括:使用对以下各项中的一项或多项的分析检测用户的情绪:i)面部表情;ii)位置;iii)包括设备打开/关闭或者输入交互的速率中的一项或多项的物理输入特性;iv)应用交互;v)包括心率、皮电活动数据、心电图数据或者脑电图数据这样的用户生理特性;vi)设备/网络连接数据;vii)设备电池/充电数据;viii)设备与物体或者人的接近度;ix)被明确地提供的关于精神或者情感状态的用户输入;或者x)向所述UI的语音输入;以及,根据所检测的情绪调整唤醒惯例。
一个进一步的示例包括存储指令的一个或多个计算机可读存储介质,所述指令在被安置在计算机服务器中的一个或多个处理器执行时执行包括以下步骤中的步骤的方法:在时间间隔内为用户在与用作数字助理的宿主的设备交互时的活动记录日志;使被记录日志的活动与用户的逐日的时间表相关;创建根据逐日的时间表改变的唤醒惯例,所述唤醒惯例包括唤醒体验和对将在上下文上是相关的满足用户的需要的信息的每日摘要;向用户的设备提供唤醒惯例以使得设备的运行根据唤醒惯例被控制,所述设备至少包括图形用户界面和对音频端点的支持。
基于前述内容,应当认识到,已在本文中公开了用于数字助理警报系统的技术。尽管已使用专用于计算机结构化特征、方法学和变换性动作、具体的计算机器和计算机可读存储介质的语言描述了本文中呈现的主题,但应当理解,在所附权利要求中定义的本发明不必限于本文中描述的具体的特征、动作或者介质。相反,作为实现权利要求的示例形式公开了具体的特征、动作和介质。
上面描述的主题仅作为图示被提供,并且不应当理解为是限制。可以对本文中描述的主题作出各种修改和变更,而不遵循所图示和描述的示例实施例和应用,并且不脱离在下面的权利要求中被阐述的本发明的真实的精神和范围。

Claims (15)

1.一种用于使用在设备上运行的数字助理来提供满足需要的唤醒体验的方法,包括:
响应于接收的指令,设置唤醒警报;
获得与设备用户有关的上下文数据;
在所述唤醒警报发作时,使用所述上下文数据通过操作所述设备在所述设备上渲染所选择的音乐、声音或者图形显示来为所述用户创建唤醒体验;
使用用于确定在上下文上与所述用户相关的信息的所述上下文数据而生成摘要;以及
将所述摘要提供给所述用户。
2.根据权利要求1所述的方法,进一步包括:将所述唤醒警报设置为在一个时间处或者响应于事件的发生而出现,所述数字助理被配置为监控所述事件发生。
3.根据权利要求1所述的方法,其中,所述上下文数据包括以下项中的一项或者多项,即:时间/日期、用户或者设备的位置、语言、时间表、被安装在设备上的应用、用户偏好、用户行为、用户活动、已存储的联系人、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力或者通信网络类型。
4.根据权利要求1所述的方法,进一步包括:将所述数字助理配置为用于口头地读出所述摘要,或者在所述设备上显示所述摘要,或者在被运行地耦合到所述设备的另一个设备上显示所述摘要。
5.根据权利要求1所述的方法,进一步包括:监控一个时间间隔内的用户行为,以及,响应于所监控的用户行为,调整所述满足需要的唤醒体验。
6.根据权利要求1所述的方法,进一步包括:使用声音、音乐或者照明中的一项对氛围进行控制。
7.根据权利要求1所述的方法,进一步包括:启动用于预取用于用户在醒来之后回顾的数据的应用,在所述设备或者在被连接的设备上启动所述应用。
8.一种设备,包括:
一个或多个处理器;
用户界面(UI),其用于使用视觉显示或者音频中的一项与所述设备的用户交互;以及
存储器设备,其存储计算机可读指令,所述计算机可读指令在被所述一个或多个处理器执行时执行包括以下步骤中的步骤的方法:
暴露数字助理,以用于设置针对给定的一天的唤醒警报,以及用于通过监控用户行为和与所述设备的交互维持设备用户的上下文感知,
访问针对所述一天的所述设备用户的时间表,
在根据所述时间表中的准则满足所述用户的需求的唤醒惯例期间通过所述UI播放音频,
在所述UI上显露所述时间表的被选择的部分,根据与所述数字助理的用户交互,图形化地或者在听觉上渲染所述时间表部分,
在所述UI上提供与在所述警报设置与所述唤醒惯例之间发生的与所述设备的通信有关的信息,根据与所述数字助理的用户交互,图形化地或者在听觉上渲染被提供的信息,以及
在所述UI上暴露根据所述数字助理的所述上下文感知而具有与所述用户的相关性的内容,根据与所述数字助理的用户交互,图形化地或者在听觉上渲染被暴露的内容。
9.根据权利要求8所述的设备,进一步包括:运动传感器,以及,使用来自所述运动传感器的数据而在所述设备被摇晃时将所述警报置于睡眠状态下。
10.根据权利要求8所述的设备,进一步包括:在所述设备中的传感器指示所述设备已被捡起时,执行所述显露、提供或者暴露中的一项。
11.根据权利要求8所述的设备,进一步包括:用于检测周围状况的一个或多个传感器。
12.根据权利要求8所述的设备,进一步包括:与远程服务器互操作,以便检索用于支持所述满足需要的唤醒体验的数据或者服务。
13.根据权利要求8所述的设备,其中,所述通信信息与文本消息、电子邮件、警告或者社交媒体通知中的一项有关。
14.根据权利要求8所述的设备,其中,所述UI包括图形用户界面或者自然语言界面。
15.根据权利要求8所述的设备,进一步包括:使用对以下项中的一项或多项的分析检测所述用户的情绪:i)面部表情,ii)位置,iii)包括设备打开/关闭或者输入交互的速率中的一项或多项的物理输入特性,iv)应用交互,v)包括心率、皮电活动数据、心电图数据或者脑电图数据的用户生理特性,vi)设备/网络连接数据,vii)设备电池/充电数据,viii)设备与物体或者人的接近度,ix)被明确地提供的关于精神或者情感状态的用户输入,或者x)对UI的语音输入;以及,根据所检测的情绪调整所述唤醒惯例。
CN201580066203.3A 2014-12-05 2015-12-02 数字助理警报系统 Active CN107005612B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/561916 2014-12-05
US14/561,916 US10764424B2 (en) 2014-12-05 2014-12-05 Intelligent digital assistant alarm system for application collaboration with notification presentation
PCT/US2015/063302 WO2016089930A1 (en) 2014-12-05 2015-12-02 Digital assistant alarm system

Publications (2)

Publication Number Publication Date
CN107005612A true CN107005612A (zh) 2017-08-01
CN107005612B CN107005612B (zh) 2020-07-03

Family

ID=55025380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066203.3A Active CN107005612B (zh) 2014-12-05 2015-12-02 数字助理警报系统

Country Status (5)

Country Link
US (1) US10764424B2 (zh)
EP (1) EP3227843A1 (zh)
KR (1) KR102346043B1 (zh)
CN (1) CN107005612B (zh)
WO (1) WO2016089930A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364152A (zh) * 2018-01-17 2018-08-03 拉扎斯网络科技(上海)有限公司 一种配送方法及装置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738732B2 (en) * 2005-09-14 2014-05-27 Liveperson, Inc. System and method for performing follow up based on user interactions
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
AU2015312344B2 (en) * 2014-09-02 2018-04-19 Apple Inc. Semantic framework for variable haptic output
US10338794B2 (en) * 2015-05-15 2019-07-02 Spotify Ab Playback of media streams in dependence of a time of a day
US20160357354A1 (en) * 2015-06-04 2016-12-08 Apple Inc. Condition-based activation of a user interface
US9766596B2 (en) * 2015-07-08 2017-09-19 Google Inc. Wake up to a cast alarm or an alarm plus content prompt
US11328261B2 (en) * 2015-08-05 2022-05-10 Vivint, Inc. System and methods for home automation system calendar coordination
CN107921317B (zh) 2015-08-20 2021-07-06 苹果公司 基于运动的表盘和复杂功能块
US11328590B2 (en) * 2015-10-29 2022-05-10 InterNetwork Media, LLC System and method for internet radio automatic content management
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
CN106101460A (zh) * 2016-08-27 2016-11-09 韩斌 一种基于特殊信息的智能信息提醒系统
CN106331350B (zh) * 2016-08-27 2019-05-14 深圳品创兴科技有限公司 一种基于特殊联系人的智能信息提醒系统
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US11594111B2 (en) 2016-09-16 2023-02-28 Bose Corporation Intelligent wake-up system
US10434279B2 (en) 2016-09-16 2019-10-08 Bose Corporation Sleep assistance device
US10963146B2 (en) * 2016-09-16 2021-03-30 Bose Corporation User interface for a sleep system
US10653856B2 (en) 2016-09-16 2020-05-19 Bose Corporation Sleep system
DE202017105994U1 (de) * 2016-11-17 2018-03-19 Google LLC (n.d.Ges.d. Staates Delaware) Ändern der Tastaturbeleuchtung vor dem Schlafengehen des Benutzers
US11231943B2 (en) * 2017-03-24 2022-01-25 Google Llc Smart setup of assistant services
CN108733666B (zh) * 2017-04-13 2022-03-08 腾讯科技(深圳)有限公司 服务器信息推送方法、终端信息发送方法及装置、系统
WO2018194612A1 (en) 2017-04-20 2018-10-25 Hewlett-Packard Development Company, L.P. Non-wakeable system states
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10147303B1 (en) * 2017-08-18 2018-12-04 Lenovo (Singapore) Pte. Ltd. Adjusting alarm settings based on context
EP3457242B1 (en) * 2017-09-14 2023-03-01 Rohde & Schwarz GmbH & Co. KG Method for automatically notifying an intended person as well as a test and measurement device
US11200027B2 (en) * 2017-09-19 2021-12-14 Google Llc Virtual assistant configured to automatically customize groups of actions
US10803730B2 (en) 2017-11-30 2020-10-13 International Business Machines Corporation Cognitively determining a time of an alarm
CN108847243B (zh) * 2018-06-19 2020-07-07 Oppo广东移动通信有限公司 声纹特征更新方法、装置、存储介质及电子设备
US10993110B2 (en) * 2018-07-13 2021-04-27 Nvidia Corp. Connectionless fast method for configuring Wi-Fi on displayless Wi-Fi IoT device
US11134308B2 (en) * 2018-08-06 2021-09-28 Sony Corporation Adapting interactions with a television user
EP3657325A4 (en) * 2019-02-20 2021-05-26 LG Electronics Inc. FREQUENTLY USED APPLICATION BYPASS PROCESS, AND BYPASS DEVICE USING THIS PROCESS
US10607500B1 (en) 2019-05-21 2020-03-31 International Business Machines Corporation Providing background music tempo to accompany procedural instructions
US20210174309A1 (en) * 2019-12-09 2021-06-10 Microsoft Technology Licensing, Llc Updating alarm settings based on a meeting invitation that is received outside of predefined business hours
US11526256B2 (en) 2020-05-11 2022-12-13 Apple Inc. User interfaces for managing user interface sharing
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
CN112153223B (zh) * 2020-10-23 2021-12-14 北京蓦然认知科技有限公司 一种语音助手识别并执行被叫用户指令的方法及语音助手
KR102420663B1 (ko) * 2020-12-31 2022-07-13 동의대학교 산학협력단 게임 및 광고를 제공하는 알람 시스템 및 이를 이용한 알람 방법
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11630557B2 (en) 2021-06-10 2023-04-18 Hewlett-Packard Development Company, L.P. Alerts for virtual meetings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195194B1 (en) * 2010-11-02 2012-06-05 Google Inc. Alarm for mobile communication device
CN102742255A (zh) * 2011-11-10 2012-10-17 华为终端有限公司 一种信息提醒方法、装置和移动终端
CN102769691A (zh) * 2011-05-03 2012-11-07 中兴通讯股份有限公司 新信息的提示方法和通信终端
CN103488384A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技(天津)有限公司 一种语音助手应用界面显示方法和装置
US20140253319A1 (en) * 2013-03-06 2014-09-11 Google Inc. Contextual Alarm and Notification Management

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4585358A (en) * 1984-05-23 1986-04-29 Jonathan Shay Shakeable shutoff alarm clock
US6209011B1 (en) * 1997-05-08 2001-03-27 Microsoft Corporation Handheld computing device with external notification system
US6185534B1 (en) 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US7468934B1 (en) * 1999-07-12 2008-12-23 Ez4Media, Inc. Clock with link to the internet
US6757362B1 (en) 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US20040082839A1 (en) 2002-10-25 2004-04-29 Gateway Inc. System and method for mood contextual data output
US7521623B2 (en) 2004-11-24 2009-04-21 Apple Inc. Music synchronization arrangement
US7831199B2 (en) 2006-01-03 2010-11-09 Apple Inc. Media data exchange, transfer or delivery for portable electronic devices
JP2005190388A (ja) 2003-12-26 2005-07-14 Matsushita Electric Ind Co Ltd プログラム実行方法、電子機器及び携帯端末装置
US7543330B2 (en) 2004-04-08 2009-06-02 International Business Machines Corporation Method and apparatus for governing the transfer of physiological and emotional user data
US20060026499A1 (en) * 2004-07-28 2006-02-02 Corey Weddle Calendar based graphical user interface for manipulation of spatial operations and information
US7912720B1 (en) 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
US20070043687A1 (en) 2005-08-19 2007-02-22 Accenture Llp Virtual assistant
US7720784B1 (en) 2005-08-30 2010-05-18 Walt Froloff Emotive intelligence applied in electronic devices and internet using emotion displacement quantification in pain and pleasure space
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
EP1984803A2 (en) 2005-09-26 2008-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for analysing an emotional state of a user being provided with content information
WO2007077534A1 (en) 2006-01-06 2007-07-12 Koninklijke Philips Electronics N.V. Sound device with informative sound signal
WO2007096564A2 (fr) 2006-02-27 2007-08-30 France Telecom Systeme et procede d'assistance d'une personne dans la realisation d'activites preetablies
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080096533A1 (en) 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
US8170960B1 (en) 2006-11-22 2012-05-01 Aol Inc. User behavior-based remotely-triggered automated actions
US8698727B2 (en) 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
JP5251039B2 (ja) * 2007-08-23 2013-07-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8943425B2 (en) 2007-10-30 2015-01-27 Google Technology Holdings LLC Method and apparatus for context-aware delivery of informational content on ambient displays
US9192300B2 (en) 2008-05-23 2015-11-24 Invention Science Fund I, Llc Acquisition and particular association of data indicative of an inferred mental state of an authoring user
US8230075B1 (en) 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US8866699B2 (en) 2008-12-02 2014-10-21 Fuji Xerox Co., Ltd. Systems and methods for interacting with mobile devices using external displays
KR101708682B1 (ko) 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US8715179B2 (en) 2010-02-18 2014-05-06 Bank Of America Corporation Call center quality management tool
WO2011153318A2 (en) 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
US20120142429A1 (en) 2010-12-03 2012-06-07 Muller Marcus S Collaborative electronic game play employing player classification and aggregation
EP2460464A1 (en) * 2010-12-03 2012-06-06 Koninklijke Philips Electronics N.V. Sleep disturbance monitoring apparatus
US20130198694A1 (en) * 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
KR20130055429A (ko) 2011-11-18 2013-05-28 삼성전자주식회사 감정 세그먼트 기반의 감정 인식 장치 및 방법
US9082402B2 (en) 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
US20130159377A1 (en) * 2011-12-15 2013-06-20 AsystMe, LLC Proactive automated personal assistant
US8898133B2 (en) * 2011-12-20 2014-11-25 Yahoo! Inc. User behavior-driven background cache refreshing
KR101330810B1 (ko) 2012-02-24 2013-11-18 주식회사 팬택 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
CN103428339A (zh) 2012-05-17 2013-12-04 西安闻泰电子科技有限公司 通过语音输入控制手机进行操作的方法
US9418390B2 (en) 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
WO2014055939A1 (en) 2012-10-04 2014-04-10 Huawei Technologies Co., Ltd. User behavior modeling for intelligent mobile companions
CN102946491B (zh) 2012-11-23 2014-11-05 广东欧珀移动通信有限公司 一种根据用户心情自动调整壁纸的方法及系统
US10504339B2 (en) 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US9858777B2 (en) * 2013-03-08 2018-01-02 Sensormedia Inc. System, method and computer readable medium for managing mobile devices
WO2014157903A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for displaying service page for executing application
US9639889B2 (en) * 2013-12-23 2017-05-02 Ebay Inc. Discovery engine storefront
US8782122B1 (en) * 2014-01-17 2014-07-15 Maximilian A. Chang Automated collaboration for peer-to-peer electronic devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195194B1 (en) * 2010-11-02 2012-06-05 Google Inc. Alarm for mobile communication device
CN102769691A (zh) * 2011-05-03 2012-11-07 中兴通讯股份有限公司 新信息的提示方法和通信终端
CN102742255A (zh) * 2011-11-10 2012-10-17 华为终端有限公司 一种信息提醒方法、装置和移动终端
US20140253319A1 (en) * 2013-03-06 2014-09-11 Google Inc. Contextual Alarm and Notification Management
CN103488384A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技(天津)有限公司 一种语音助手应用界面显示方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364152A (zh) * 2018-01-17 2018-08-03 拉扎斯网络科技(上海)有限公司 一种配送方法及装置

Also Published As

Publication number Publication date
CN107005612B (zh) 2020-07-03
EP3227843A1 (en) 2017-10-11
KR20170094306A (ko) 2017-08-17
WO2016089930A1 (en) 2016-06-09
US20160165038A1 (en) 2016-06-09
US10764424B2 (en) 2020-09-01
KR102346043B1 (ko) 2021-12-30

Similar Documents

Publication Publication Date Title
CN107005612A (zh) 数字助理警报系统
US11024070B2 (en) Device and method of managing user information based on image
CN107209781A (zh) 使用自然语言的上下文搜索
US11146670B2 (en) Electronic device and method of executing function of electronic device
CN107209624A (zh) 用于设备个性化的用户交互模式提取
Case Calm technology: principles and patterns for non-intrusive design
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
CN104484796B (zh) 便携式终端及其日程管理方法
Greenfield Everyware: The dawning age of ubiquitous computing
CN105264524B (zh) 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US20170206064A1 (en) Persistent companion device configuration and deployment platform
CN107636613A (zh) 到第三方应用的数字助理可扩展性
CN105025173B (zh) 移动计算设备上的自知简档切换
CN108121490A (zh) 用于处理多模式输入的电子装置、方法和服务器
US20160171979A1 (en) Tiled grammar for phrase spotting with a persistent companion device
CN107491285A (zh) 智能设备仲裁和控制
CN107004412A (zh) 用于监听设备的设备仲裁
CN107077292A (zh) 剪贴信息提供方法和装置
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
KR102343084B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN105409197A (zh) 用于提供持久伙伴装置的设备和方法
CN108476257A (zh) 电子设备和管理其应用程序的方法
CN108694944A (zh) 通过使用框架生成自然语言表达的方法和设备
CN107004182A (zh) 来自实时共享的可行动的纪念物
CN108351892A (zh) 用于提供对象推荐的电子装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant