CN113553449A - 机器智能预测通信和控制系统 - Google Patents

Abstract

本公开的实施例涉及机器智能预测通信和控制系统。机器智能通信和控制系统能够动态地预测和适配被呈现给各种用户的信息。该系统提供个性化体验，利用个性化体验的能力以：标识用户，变得在上下文中感知用户的位置和环境，标识对象和动作，并且呈现针对用户和当前环境而被定制的定制的信息。该系统还能够基于各种用户偏好考虑来控制环境内的连接的项目。

Description

机器智能预测通信和控制系统

本申请是国际申请号为PCT/US2017/033441、国际申请日为2017年05月19日、于2018年11月28日进入中国国家阶段、中国国家申请号为201780033140.0、发明名称为“机器智能预测通信和控制系统”的中国发明专利申请的分案申请。

技术领域

本公开的实施例涉及机器学习领域，并且更具体地涉及机器智能预测通信和控制系统。

背景技术

人们希望接收一些适时的信息以帮助管理他们的日常生活，包括安排的事件的通知、用于完成不熟悉任务的教育帮助以及医疗保健相关信息，包括对服用药物的提醒。此外，人们希望在适当的时间、在适当的位置、通过适当的介质、以适当的细节水平以及在适当的设备上接收信息。

传统上，信息可能在不方便的时间或以不方便的格式被提供给用户。例如，用户可能在他们驾驶时接收电子邮件或文本消息，这可能难以访问并且如果用户检查消息则可能导致分心。另外，通知可能在会议期间打扰用户。

发明内容

本文中提供了系统和方法，其标识正在与系统交互的用户并且在方便的时间、在适当的位置、通过一个或多个可用介质、以基于用户的知识的合理的复杂性水平、以适当的细节水平并且在适当的设备上提供上下文相关信息。该系统是机器智能的，其包括机器视觉和机器学习以支持上下文感知、环境内的对象检测和标识以及活动检测和标识。系统使用这一信息来将环境内的一个或多个用户的体验个性化。

根据一些实施例，一种系统包括光学传感器，光学传感器可以是彩色相机、深度相机(诸如红外相机)、光传感器或其他类型的光学传感器。该系统还可以包括一个或多个音频传感器，诸如用于捕获声音并且生成音频数据的麦克风，该音频数据可以被分析以搜索语音声纹识别、单词识别、语音到文本转换或某种其他操作。一个或多个显示器优选地被提供以向用户呈现信息。显示器可以包括各种尺寸、各种级别的分辨能力，并且还可以在显示器内并入一个或多个光学传感器和/或音频传感器。一个或多个用户设备也可以是系统的一部分，并且用户设备可以并入光学传感器、音频传感器、显示器以及位置数据硬件和软件。附加的辅助传感器也可以形成所描述的系统的一部分，并且可以生成与影响环境或用户的各种因素相关的数据。

在一个实现方式中，该系统收集信息(诸如通过光学传感器、音频传感器、辅助传感器和一个或多个数据库)，以确定针对用户的上下文并且还确定用户的目标。光学传感器和音频传感器例如可以确定与系统交互的用户的身份，并且还可以通过捕获用户的视频数据并且将用户的动作与包含已知动作的数据库比较以确定用户参与的活动的目标或期望结果来确定用户参与的活动。

此外，系统从用户简档数据库收集关于用户的信息，用户简档数据库可以包括诸如用户的偏好、用户的例程或习惯、历史行为、健康信息、社交媒体信息、历史购买行为、教育和专业资格以及用户在各种任务处的技能水平等信息。

基于该系统收集的关于环境和用户的信息，该系统能够周到地向用户提供信息。也就是说，该系统可以在适当的时间、以适当的详细程度、在适当的设备上并且以适当的格式向用户提供相关信息。

附图说明

参考附图描述具体实施方式。在附图中，附图标记的(多个)最左边的数字标识在其中首次出现附图标记的图。不同的图中的相同附图标记指示相似或相同的元素。

图1是机器智能预测通信和控制系统的一个实施例的图示。

图2是可以与图1的系统一起被使用的上下文服务器的样本实施例的图示。

图3是用于基于上下文和与图1的系统交互的用户来提供相关信息的示例过程的流程图。

图4是用于确定上下文的示例过程的流程图。

图5是用于将信息个性化并且向与图1的系统交互的具体用户呈现信息的示例过程的流程图。

图6是用于基于上下文感知来控制环境内的对象的示例过程的流程图。

图7是用于通过与用户的重复交互的机器学习的示例过程的流程图。

具体实施方式

本文中描述的技术和系统可以被用于提供机器智能系统，该机器智能系统可以使用机器视觉和机器学习来变为在上下文中感知环境、标识环境内的一个或多个用户、检测和标识环境内的对象和动作以及向用户提供通知以及与由用户执行的任务相关联的信息，以帮助用户实现确定的目标。通知和信息在适当的时间、通过适当的介质、在适当的设备上并且以正确的详细程度被提供给一个或多个用户。该信息还可以包括提醒、完成任务时的教育帮助或对来自用户的请求的响应。

在一个实现方式中，该系统可以是智能且体贴的通知系统，其可以在方便的时间以方便的方式向用户提供提醒和信息。例如，在标识的用户已经针对需要全天服用的药物而被开处方时，在早上在准备好工作时，该系统可以提供可听语音通知从而提醒用户服用他的药物，诸如通过家用立体声系统的扬声器。然而，当在当天晚些时候的商务午餐时，该系统可以提供更微妙的提醒，诸如通过用户的手表的振动，这对于用户而言可能比提供可能令用户在公众场合尴尬的可听提醒更为优选。系统基于一个或多个因素来在上下文中感知用户可能正在进行商务午餐会议，这些因素诸如例如来自由用户携带的电子设备的指示用户在餐馆的GPS位置数据、来自在线可访问日历系统的指示用户在目的地处有会议的日历信息(其还可以包括与会者信息)或者通过某种其他机制。

另一方面提供了一种可以提供帮助以完成不熟悉的任务的上下文感知系统。例如，通过各种传感器(诸如相机、深度传感器或其他数据收集传感器)，该系统可以确定用户在厨房中并且开始准备膳食。该系统可以访问由用户准备或被提供给用户的膳食计划，并且可以基于厨房中的活动来确定用户何时开始准备膳食。作为示例，在用户开始取回准备膳食所必需的材料时，该系统可以标识用户正在从食品室、冰箱或橱柜取回的物体，并且感知到用户的目标是膳食准备。

通过使用各种传感器，该系统能够确定上下文，诸如位置、用户的身份、环境中存在的对象和发生的活动。继续该示例，当用户开始准备膳食时，该系统可以自动地取回配方并且将其显示在多个设备中的任何设备上，诸如在厨房内的壁挂式显示器上、在被嵌入在厨房岛内的显示器上，或者当用户继续膳食准备时，可以向用户提供听觉指令。此外，在存在用户可能不熟悉的任务时，该系统可以提供建议或意见，并且在一些情况中，可以动态地将视频指令输出提供给壁挂式或厨房岛嵌入式显示器。该系统可以附加地或备选地提供照相指令、将指令转换为线条画指令(其中需要更简单的指令或者其中显示器能够更好地显示较低分辨率指令)，或者可以取决于上下文来提供口头指令。

所得到的系统能够智能地确定应当提供什么信息、应当在何时提供信息、应当如何提供信息，并且信息可以针对系统正在与之交互的标识的个人而被定制。例如，在系统将用户标识为几乎没有烹饪经验的青少年时，该系统可以确定用户将受益于具有视频帮助的逐步指令以按照食谱要求教导用户如何对西红柿漂洗和剥皮。然而，在系统确定(诸如通过用户的简档，简档可以包括社交联网简档)用户的最后三个职位是在各个餐馆的主厨时，该系统可以适当地确定这样的详细指令不是必需的，并且将会针对训练有素的厨师提供更为稀疏的指令集。

该系统该可以利用其获知的关于个体用户的信息(诸如用户的关于特定主题或活动的知识或经验水平)来更新用户的简档，从而使得系统可以在将来提供适当的详细程度和帮助。例如，当帮助特定用户在厨房中准备膳食时，该系统可以识别出用户在开始食谱时总是忘记预热烤箱。该系统可以在用户的简档中注释这一点，并且此外，可以在用户开始准备膳食时自动地开启烤箱。当然，该系统可以首先提示用户预热烤箱，或者询问用户是否希望系统开始预热烤箱，或者在某些情况中，该系统可以自动地开启烤箱。以这种方式，该系统学习如何与个体用户交互以提供最大的益处。

图1示出了机器智能预测通信和控制系统100(“系统”)的一个实施例，并且包括各种硬件组件和软件组件。用户102存在于环境104中，环境104可以包括一个或多个成像传感器106和一个或多个音频传感器108。成像传感器106可以包括电荷耦合器件(“CCD”)、互补金属氧化物半导体(“CMOS”)、红外(“IR”)、近红外(“NIR”)或其他合适类型的成像传感器106，以生成关于环境104的数据以确定上下文。如本文中使用的，词语“上下文”是广义术语并且被用于指代环境104、环境104内的对象以及在环境104内发生的活动。因此，本文中描述的上下文感知系统收集数据以查明存在的用户的身份、存在的对象以及(多个)用户在环境104中正在做什么。

成像传感器106可以被配置为捕获环境并且生成视频数据或静止图像数据以便确定上下文。此外，可以存在一个或多个音频传感器108，以便捕获音频信号并且生成音频数据，诸如提供与系统100的可听交互。此外，在一些实施例中，音频数据可以与系统100的声纹识别能力一起被使用，以便基于用户的语音来标识环境104内存在的(多个)用户。

可以存在一个或多个显示器110，以便向环境104内的用户提供视觉信息。显示器110可以是任何合适的显示设备或显示设备的组合，诸如例如计算机监视器、电视显示器、头戴式透视(see-through)显示器、移动计算设备、平板显示器、投影设备、智能电话显示器或任何其他这样的合适的显示设备。

用户设备112可以被与系统100集成以从环境104接收输入或者向用户102输出信息。应当领会到，很多用户设备112(诸如智能电话、平板计算机、台式或膝上型计算机设备、头戴式计算设备、可穿戴设备、智能手表等)具有用于捕获音频和视频的内置能力，其可以与成像传感器106和音频传感器108结合地被使用或代替成像传感器106和音频传感器108而被使用，并且还具有可以由系统利用以用于信息呈现的内置显示器。在一些实例中，用户设备112允许系统100在通过任何合适的连接方法(诸如Wi-Fi、有线因特网、蜂窝信号或其他有线或无线连接方法)提供因特网访问的任何位置处与用户交互。

可以在环境104内提供辅助传感器114(“辅助传感器”)以用于生成与任何感兴趣的测量相关的数据。例如，一些这样的辅助传感器114可以包括温度传感器、湿度传感器、pH传感器、生物信息学传感器、光度计、UV传感器、激光传感器、气体传感器、运动传感器、相机、麦克风以及可以向系统100提供数据以用于评估以帮助系统100确定上下文的其他合适的传感器。

在一些实施例中，成像传感器106、音频传感器108、显示器110、用户设备112和辅助传感器114可以被连接到网络116，网络116可以提供与设备中的每个设备的通信连接并且可以提供与一个或多个上下文服务器118的进一步通信。在一般描述级别，上下文服务器118能够接收由传感器生成的数据、分析数据并且确定上下文，该确定可以包括确定位置、标识对象、标识用户以及标识活动等等。此外，上下文服务器118还能够确定要被提供给用户102的信息以及基于用户102的简档来将该信息个性化。例如，细节水平可以基于用户102在与要被提供的信息的主题内容相关的领域中的技能或知识而被调节。

参考图2，上下文服务器118可以包括一个或多个处理器202和被通信地耦合到一个或多个处理器202的计算机可读介质204。上下文服务器118可以被定位在环境104附近，或者可以被远程地定位。在一些实例中，上下文服务器118是通过网络116接收数据的基于云的计算资源。

计算机可读介质204存储一个或多个模块，并且可以存储或访问数据库。这样的模块和数据库可以包括成像模块206、音频模块208、用户标识模块210、简档数据库212、对象检测模块214、对象数据库216、动作检测模块218、动作数据库220、推荐模块222、决定模块224、通信模块226和控制模块228。

计算机可读介质204是非暂态的，并且可以存储在被执行时使得处理器执行各种活动的各种指令、例程、操作和模块。在一些实现方式中，一个或多个处理器202是中央处理器单元(CPU)、图形处理单元(GPU)或CPU和GPU两者、或者任何其他种类的处理单元。

非暂态计算机可读介质204可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的技术而被实现的易失性和非易失性、可移除和不可移除的有形物理介质。系统存储器、可移除存储装置和不可移除存储装置都是非暂态计算机可读介质的示例。非暂态计算机可读存储介质可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、磁带、磁带、磁盘存储装置或其他磁存储设备、或者可以被用于存储期望的信息并且可以由系统访问的任何其他有形物理介质。

成像模块206以帧的形式从成像传感器106接收数据，并且能够处理数据，诸如校正曝光设置(诸如白平衡、锐化、色调、饱和度和其他类型的图像处理步骤)以改善数字帧。成像模块206可以接收视频数据的帧，并且可以提取一个或多个帧作为静止图像，以用于由上下文服务器118内的其他模块进一步处理或使用。

音频模块208从音频传感器108接收音频数据并且处理音频数据以在音频数据内寻找提示，诸如命令、指令、问题、请求或可以指向系统100的其他这样的信息。音频模块208可以被编程为检测指示用户正在向系统100引导口头评论的某些短语，诸如请求帮助或发出命令以用于系统100采取动作或提供信息。在一些情况中，某些短语由系统100预先记录和分析以创建可以与由音频模块208接收的音频数据匹配的模式。例如，音频模块108内的语音识别引擎获取由音频传感器108接收的音频信号，并且将其转换成表征音频数据中的口声的一系列数值。可以将数值与各种数据库(诸如例如声学模型、词典或语言模型)比较。与声学模型的比较可以导致与由特定用户生成的预定义声学声音的匹配，并且用户标识模块210可以被训练以识别特定用户的语音模式和声学环境的特征。以这种方式，音频模块208可以基于声纹匹配来标识特定用户。

音频模块208还可以将接收的音频数据与列出语言中的大量单词的词典比较，并且提供关于如何对每个单词发音的信息。语言模型表示其中可以组合单词以提高系统100对用户所说内容的理解的准确性的方式。

用户标识模块210可以接收成像数据和音频数据以标识与系统交互的特定用户。例如，用户标识模块210可以使用成像数据以及面部识别编程来标识正在与系统100交互的特定用户。成像模块206接收数字图像或视频帧，并且被配置为提取与面部特征对应的地标。用户标识模块210可以使用这些地标，诸如眼睛、鼻子、颧骨和颌的相对位置、大小和/或形状，并且将它们与被存储在简档数据库212内的已知个体的面部特征比较。与用户102相关联的简档可以包含由用户标识模块210快速可搜索以标识正在与系统100交互的用户102的面部特征。除了简单地标识个体之外，用户标识模块210还可以使用面部特征来确定可以对应于用户的情绪状态的用户的面部姿势。例如，取决于用户是快乐还是悲伤，用户的面部特征将展现可重复的地标。该系统可以检测用户102的面部特征、身体语言和姿势的细微变化以确定用户的身体和/或情绪状态。这一信息可以与音频数据被组合以进一步确定用户的身体或情绪状态。

另外，通过使用语音生物测定法，用户标识模块210可以使用由音频模块208接收的音频数据来将语音模式与被存储在简档数据库212中的用户的简档语音匹配。讲话者识别是一种模式识别问题，并且可以被实现以在简档数据库212中处理和存储声纹以用于讲话者识别匹配的各种技术中的一些技术包括频率估计、模式匹配算法、隐马尔可夫模型、高斯混合模型、矩阵表示和矢量量化。简而言之，可以实现任何合适的技术以基于先前存储的声纹来标识讲话者。

与用户标识模块210类似，对象检测模块214以大致相同的方式工作。成像数据和音频数据两者可以被接收并且与被存储在对象数据库216中的对象比较以找到匹配对象。当人通过视觉标识对象时，比如苹果，他们通过判断形状、大小、颜色、光泽和其他视觉特征来标识对象。以非常相同的方式，对象检测模块可以确定形状、大小、颜色、光泽并且将这些值与被存储在对象数据库216中的已知对象比较以标识环境104内的对象。

对象标识模块210能够分析从成像传感器106生成的成像数据并且通过各种算法(诸如边缘检测)来检测某些类的语义对象的实例。存在很多方式来执行边缘检测；然而，常见和最简单的方式之一是实现高斯平滑的阶梯边缘算法(其是误差函数)以检测数字图像中的相邻像素之间的颜色值步长。通过检测边缘，对象标识模块210能够隔离可能的对象并且然后将这些对象与被存储在对象数据库216中的对象比较以确定匹配。以这种方式，对象检测模块214能够检测和标识环境104内的对象。

动作检测模块218可以从成像模块206接收视频数据。在一些实施例中，视频数据可以包括深度数据(诸如来自红外或近红外成像设备)，并且可以在视频数据内跟踪正在发生的运动。运动可以例如通过比较视频数据的连续的帧之间的变化而被跟踪。在一些实施例中，可以从视频数据移除静态对象并且可以隔离运动以便通过将运动与被存储在动作数据库220内的已知动作比较以确定正在环境104内发生的动作来更有效地确定发生的动作。

推荐模块222可以被配置为向用户提供推荐。基于确定的上下文，系统100可以建议用户采取一个或多个动作。作为示例，室内药草园可以存在于环境104中，并且通过被捕获并且提供给系统100的数据，系统100可以分析并且确定药草园将受益于附加的光。这一推荐可以例如通过由一个或多个传感器检测光的数量和质量，或者通过检测植物或土壤内的化学水平而被进行。推荐模块222然后可以向用户102推荐药草园被移动到阳光充足的地方，或者可以提供反射器以增加药草园接收的阳光的质量和数量，或者采取某种其他动作来改善系统100已经检测到的状况。

决定模块224可以被配置为分析从环境内的各种传感器捕获的数据，并且做出关于系统100应当采取的动作的决定。例如，在其中推荐模块222确定附加的光将有益于药草园的先前示例中，决定模块224可以确定仅在用户102已经从工作返回家之后才应当通知用户，因为当用户102在工作并且不能采取推荐的动作时提供关于药草园的通知不会是有益的。另外，在系统100确定用户102正在环境104内执行动作时，决定模块224可以确定用户102将受益于关于如何完成任务的指令。例如，作为动作检测模块218确定用户102正在执行的动作并且注意到与被存储在动作数据库220内的类似动作的偏差的结果，决定模块224可以做出这一确定。

决定模块224还能够针对具体用户定制信息。例如，在系统100确定应当向用户102提供信息时，决定模块224可以确定应当取决于用户102是七岁的孩子还是成年人而不同地或以不同的细节水平呈现信息。同样地，可以取决于用户在具体区域中具有的知识或技能水平来定制信息。例如，在系统100确定可以改善环境104内的植物的健康时，系统100可以向一个用户通知该植物需要更多的水。例如，当向植物学家提供信息时，系统100可以提供土壤的pH水平并且推荐农业石灰以增加pH水平。在某些情况中，在用户102可能手头没有农业石灰时，系统100可以进行交易以购买农业石灰并且将其运送到用户102的家。系统100可以在咨询用户102之后执行这一操作，并且在一些情况中，可以自动地执行这一操作，诸如在购买是用于用户102定期购买和库存的消耗品时。

通信模块226优选地被编程为通过能够通信的可用设备中的任何可用设备与一个或多个用户通信。例如，在决定模块224确定用户102可以从附加指令受益时，通信模块226确定向用户提供信息的最佳方式。在很多情况中，可能存在多个设备能够接收信息并且以视觉、听觉或触觉方式将其提供给用户102。通信模块226提供信息的方式中的一些方式是通过SMS文本消息接发、电子邮件通信、听觉通知、语音通信、视频通信和触觉反馈等。通信模块226可以确定重要消息需要到达用户，但是系统100在上下文中感知到用户102当前正在商务会议中。通信模块226因此确定不是用可能打扰商务会议的可听信号来打扰用户102，而是通过与用户102相关联的手表而被提供的文本消息或触觉反馈才是使用户102获取信息的最体贴的方式。

在另一实例中，通信模块226可以确定指导视频将对用户102最有帮助，并且其向被定位在用户102的当前位置附近的显示器108提供指导视频。与通信模块226协作的是控制模块228。控制模块228可以有效地执行由决定模块224和通信模块226确定的活动。例如，在决定模块224和通信模块226确定面向新手技能水平的指导视频将使用户受益时，控制模块228可以开启电视显示器并且将其调谐到适当的输入以允许通信模块226在与用户102在同一房间中的电视显示器上呈现指导视频。

控制模块228可以能够控制环境内的很多设备和电器。随着“智能”电器变得更加丰富，控制模块228可以被配置为根据本文中描述的方法与这些电器中的任何电器交互。例如，在系统100确定用户开始准备膳食时，控制模块228可以自动地将烤箱开启到适当的温度。然而，在系统100然后确定用户已经离开厨房并且已经被其他任务分心时，控制模块228可以调低烤箱上的温度，或者完全地关闭烤箱。

应当领会到，上下文服务器118可以被定位在远离环境104的位置、可以被定位在环境104内或者可以是在本地计算资源与远程计算资源之间被共享的某些任务的组合。例如，一些用户可能对将他们的完整简档提供给在线存储库犹豫不决，并且作为替代可能更喜欢将他们的简档存储在位置计算资源上。在任一情况中，上下文服务器118都能够确定与系统交互的用户102的位置，并且能够在上下文中感知用户102。上下文服务器118可以通过各种方法来确定用户102的位置，诸如例如通过一个或多个用户设备112上的全球定位服务(“GPS”)功能，或者通过用户的当前环境102内的成像传感器106，通过确定一个或多个用户设备112被连接到的Wi-Fi网络的位置、RFID标签的存在，或任何其他合适的方法。

图3至图7是示出根据本文中公开的实施例的用于确定上下文、向用户提供相关信息以及控制环境内的对象的若干说明性例程的流程图。应当领会到，本文中关于图3到图7而被描述的逻辑操作被实现为(1)在计算系统上运行的计算机实现的动作或程序模块的序列和/或(2)计算系统内的互连的机器逻辑电路或电路模块。该实现方式是取决于计算系统的性能和其他要求的选择问题。因此，本文中描述的逻辑操作被不同地称为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以在软件、固件、专用数字逻辑或它们的任何组合中被实现。还应当领会到，可以执行比图中所示和本文中描述的更多或更少的操作。这些操作也可以并行执行，或者以与本文中描述的顺序不同的顺序执行。此外，所描述的操作可以在多个电子计算设备上执行，其中一些操作在多个设备之间共享。

图3示出了用于基于上下文和与系统100交互的用户102来提供相关信息300的示例过程。在框302处，系统确定用户102。如上所述，系统100可以依赖于面部标识、声纹标识或某种其他形式的标识。身份标识的其他示例可以包括用户对系统的自标识、提供登录凭证、RFID标签的存在、移动设备的存在、通过与特定用户相关联的已知电子设备与系统交互、或者用于标识用户的某种其他合适的方法。

在框304处，系统确定上下文。使用可用的传感器，系统能够确定用户的位置，并且通过成像传感器106标识环境内的对象和动作。例如，在系统100标识坐在桌子旁边的用户时，其中计算机组件分布在桌子上并且台式计算机盖子关闭，系统可以标识出用户正在尝试构建、修复或升级计算机。如果需要，系统100然后可以提供上下文相关的帮助。

在框306处，系统确定与用户相关的信息。例如，系统100可以通过确定诸如由成像传感器116生成的成像数据内描绘的对象和动作等上下文来确定用户100的目标是替换计算机中的视频卡并且系统100可以取回与手头任务相关的信息。

在框308处，系统100针对用户102将信息个性化。例如，在系统100分析与用户102相关联的用户简档中的数据并且确定用户102是专业计算机技术人员时，与用户102被确定为具有非常少的计算机硬件经验的厨师相比，系统100可以提供非常不同的信息。在第一种情况中，系统100可以提醒用户102他可能需要在BIOS设置中禁用板载视频以便使用正在安装的专用视频卡。在后一种情况中，系统可以确定用户102可以从开启计算机机箱、标识主板上的正确插槽、选择正确的电缆和安装驱动器的逐步指南中受益。

在框310处，确定呈现信息的方法。例如，系统100可以确定存在几种用于格式化信息的方式和几种用于传递信息的输出设备。在上面的第一种情况中，向有经验的用户102提供建议，系统100可以在诸如壁挂式显示器或台式安装显示器等显示器110上显示文本，而没有进一步的操作。在用户102相对缺乏经验的后一种情况中，系统100可以在显示器110上以文本形式提供逐步指令，同时提供演示如何在另一显示器110上完成任务的指导视频。

在框312处，系统将信息呈现给用户102。作为另一示例，当视频呼叫到达时，用户102可以在第一房间中。系统100可以在第一房间中的壁挂式显示器上显示视频呼叫。然而，当用户102从第一房间移动到第二房间时，系统100可以在诸如家庭房间中的电视等第二显示器上显示视频呼叫。当用户102然后移动到办公室并且坐在桌子旁边时，视频呼叫可以自动地转移到被定位在桌子上的计算机监视器。

以这种方式，系统100能够确定上下文，诸如用户102的位置、用户102正在看哪个方向以及用户102如何在整个环境中移动以向适当的显示器110呈现信息(在这种情况中是视频呼叫)以允许用户在保持视频呼叫的同时自由地在整个环境104中移动。

作为另一示例，系统100可以确定用户102正站在厨房中在厨房岛中。系统100通过其对象检测模块214可以确定用户102拿着刀并且在厨房岛上有洋葱。系统100还可以跟踪用户102的运动，并且通过将运动与动作数据库220比较，可以确定用户102正在切洋葱。另外，通过对象检测模块214，系统100可以确定用户102正在切洋葱。然而，系统100可以知道用户102正在遵循的食谱指示应当将洋葱切块。系统100可以通过各种机制感知配方，诸如通过用户先前输入系统100的用餐计划，或者通过用户更早地搜索要准备的特定配方。

系统100可以根据配方来提供关于如何准备洋葱的建议。在一个实例中，通过用户标识模块210，系统100可以标识出切洋葱的用户102是非常有经验的家庭厨师。在这种情况中，系统可以提供一个温和的提示，即食谱要求将洋葱切成块而不是切成薄片。然而，在另一实例中，在系统100确定用户102是经验较少的新手家庭厨师时，系统100可以在安装在厨房中的显示器110上提供视频指令，以向用户102示出如何将洋葱切块。系统100可以替代地或附加地在诸如内置于厨房岛中的低分辨率显示器等另一显示器上提供呈现如何切洋葱的图表的图像或一系列图像。

在一些情况中，环境内的各种显示器110的能力可能非常不同，诸如具有不同的宽高比、分辨率设置、颜色再现能力等。系统100可以基于要使用的显示器110来音译要被呈现给用户102的信息。例如，继续洋葱示例，安装在厨房中的高分辨率显示器可以能够再现高分辨率视频，这可能适合于向用户102显示视频和音频。嵌入厨房岛内的显示器可以是低分辨率显示器，并且可能只适用于线条图和文字。系统100可以确定将信息呈现为一个或多个简单线条图是向用户102提供信息的有效方式。因此，系统100可以从指导视频中提取视频数据帧并且将这些帧转换为线条图用于在低分辨率显示器上呈现，从而将信息从一种格式音译成另一种更方便的格式并且在适当的显示器110上提供信息。

此外，系统还可以在多个显示器上以不同的格式提供信息，诸如通过在显示器110上呈现图像，在另一显示器110上呈现视频文件，以及通过与另一用户设备112相关联的扬声器提供声音。

图4提供了用于确定上下文400以便系统100以适当的细节水平提供信息的示例过程。应当理解，所示出和描述的逻辑操作可以以替代顺序并行执行，并且在一些实现方式中可以省略一些操作。在框402处，确定用户的位置。这可以例如通过定位与用户102相关联的用户设备112来完成，诸如通过从用户设备112取回GPS位置数据。另外，系统100可以检测到一个或多个用户设备112连接到特定的Wi-Fi网络以确定用户102的位置。在一些情况中，一个或多个光学传感器106可以安装在环境104内并且具有已知位置。当光学传感器106检测到用户102时，可以基于光学传感器106的位置确定用户的位置。当然，用于确定用户的位置的其他方法可以与本文中描述的系统100一起被使用。

在框404处，系统100接收视频数据。视频数据可以由一个或多个相机生成，诸如利用任何合适的成像传感器的彩色相机。在一些实现方式中，存在1、2、3或更多个相机，其可以包括CCD成像传感器、CMOS成像传感器或其他类型的彩色成像传感器。另外，可以使用红外或近红外成像传感器(统称为“IR传感器”)代替彩色成像传感器或与彩色成像传感器结合使用。IR传感器可以被配置为捕获与IR传感器的视场内的对象相关联的深度信息，这可以有助于确定在IR传感器的视场内发生的对象或动作的相对大小。

在框406处，系统100接收音频数据。音频数据可以由诸如被定位在环境104内的一个或多个麦克风等一个或多个音频传感器108捕获。另外，很多用户设备112可以具有集成在其中的可以用于捕获音频信号的音频传感器108。可以分析音频数据以用于声纹标识，语音标识，标识环境内的对象，或者某种其他有用的目的。作为一个示例，用户102的家中的音频传感器108可以生成音频数据，该音频数据指示机动车库门已经打开并且车辆停放在车库内。系统100可以结合用户102的每日时间表并且进一步与一天中的时间组合来利用该音频数据，以确定用户102已经下班回家。然后，系统可以基于该上下文来采取适当的动作或提供相关信息。

在框408处，系统100确定视频数据帧。换言之，系统可以从视频流中选择并且提取一个或多个图像帧以进行分析。或者，系统100最初可以从成像传感器106取回一个或多个静止图像。在框410处，分析图像帧以进行对象检测。使用上下文服务器118，系统100可以使用任何适当的分析算法(诸如边缘检测、边缘匹配、梯度匹配、解释树和姿势聚类，仅举几个示例)来分析图像帧，以隔离在图像帧中描绘的对象。在框412处，上下文服务器118然后可以将检测到的对象与已知对象的一个或多个数据库比较，以标识图像帧内的对象。

在框414处，可以分析多个视频数据帧以确定视频数据内描绘的动作。多帧视频数据可以是连续帧，或者可以是间隔的，诸如每2帧、5帧、10帧或某种其他视频数据序列。上下文服务器118可以隔离帧的指示动作或移动的那些部分。通过在框410处发生的对象检测和在框414处的动作检测，上下文服务器可以能够确定在环境104内发生的动作。例如，上下文服务器118可以确定第一用户102已经进入厨房，从冰箱里取出一根胡萝卜，并且现在拿着一把刀正在切碎胡萝卜。此外，上下文服务器118可以标识动作发生的结果，即，上下文服务器118可以基于切割后的胡萝卜的大小来标识用户102正在将胡萝卜切碎，而不是切片，削皮，切碎，或切丝。

图5示出了用于将要被提供的信息个性化的示例过程500。在框502处，系统确定与系统100交互的用户102的身份。如前所述，这可以通过语音打印匹配、面部标识、RFID信息、检测已经进入环境的移动用户设备112、或通过某种其他机制来执行。在框504处，系统100取回与所标识的用户102相关联的用户简档。用户简档可以包括诸如偏好、具有各种任务的用户102的技能水平、各种主题的知识、医疗信息、日历信息以及用户102特有的其他这样的信息等信息。

在框506处，确定要被提供给用户102的信息。这可以基于环境内的对象检测或动作检测，在系统100确定应当提供的通知时，响应于来自用户102的请求，或通过某种其他指示来进行。该信息可以包括例如提醒、用于帮助用户完成任务的教育信息、从其他方接收的新消息、关于环境的信息、购物清单等。

在框508处，信息被格式化以用于经由一个或多个用户设备112或显示器110呈现给用户102。可以将信息从一种格式转换为另一种格式，诸如从视频图像转换为一个或多个静止图像，或者从静止图像转换为线条图，从语音消息转换为文本消息，等等。这可以基于要提供的信息的类型、将在其上呈现信息的用户设备112、或者组合。例如，在用户102请求关于如何在其车辆上更换瘪胎的信息时，当用户不在另一方便显示器110附近时，系统100可以在与用户102相关联的智能电话上向用户102提供指导视频。例如，在系统100确定用户102在自动地修复方面具有中等技能水平时，系统100可以从指导视频中提取示出与用户102相关联的车辆上的插孔点的视频数据帧。视频数据帧也可以被转换为线条图或示意图以减少带宽并且快速地向用户102提供必要的信息，因为系统100将不需要向比新手具有更多技能的用户102显示整个视频以便完成任务。

在框510处，系统100确定何时向用户102呈现信息。例如，在系统分析数据并且标识出用户102在忙或者传递信息将是不方便时，系统100可以在将来时间或当用户102在未来位置时传递消息。作为示例，在系统100确定用户102的房屋内的植物需要附加水时，系统100可以延迟向用户102提供该信息直到用户102从工作返回家中。系统可以确定当用户102离开房屋并且不能解决问题时用户102接收关于房屋植物的信息没有提供益处。然而，在系统100确定用户离开延长的时间段时，系统100可以将该信息提供给用户102，使得用户102可以做出安排以使植物在他不在时被照顾。

在框512处，系统100确定如何呈现信息。在一些实施例中，系统100可以包括用于向用户102呈现信息的多于一个设备。可以存在多个用户设备112，诸如智能电话、平板计算机、台式计算机、膝上型计算机、电视、可穿戴设备、声音系统、或能够向用户提供信息的其他这样的设备。另外，系统100还可以包括可以被定位在用户102的整个家中的一个或多个显示器110。系统100确定如何呈现信息以及在何处呈现信息对用户102来说是方便的。继续前面的植物示例中，系统100可以在与植物处于同一房间的显示设备上提供与植物的水合需求相关的信息。另外，如果系统100确定问题尚未解决，则系统可以通过在用户102的智能电话上提供文本消息来逐步增强通知，并且可以例如在用户102与植物处于同一房间时这样做。系统100还可以确定简单文本消息在最初是足够的，但是稍后提供可听消息，或者取决于用户关于植物护理的技能水平，以在线文章或视频演示的形式提供附加的详细指令，以提高用户102关于植物护理的教育和理解水平。

在框514处，系统在所确定的设备上向用户102呈现信息。作为图5的过程的示例，系统100可以通过确定当前上下文来标识在电话呼叫到达与用户102相关联的移动电话时用户102正处于商务会议中。系统100可以禁止手机响铃和中断业务会议，并且录制语音邮件。语音邮件消息可以被音译成文本，并且如果系统确定消息是紧急的，则将消息作为文本消息传送到与用户102相关联的智能电话，使得用户102可以立即接收消息而不被中断。然而，如果系统确定消息可能不紧急，则可以在用户102完成商务会议之后将消息作为文本消息、电子邮件、语音消息或组合传递给用户102。

图6示出了控制环境104内的对象600的示例过程。在框602处，系统100通过任何合适的方法确定用户102，其中几个方法在先前已经描述。在框604处，系统100确定上下文。这可以包括从环境内的传感器、由用户102携带的传感器或某种其他方法收集数据。在一些情况中，系统100利用成像传感器106和音频传感器108来捕获关于环境的视频和音频信息。在一些情况中，系统100将从与用户102相关联的一个或多个用户设备112捕获数据，并且可以使用源的组合来确定上下文，其还可以包括对象检测和/或动作检测。

在框606处，系统100确定用户简档。一旦系统100能够标识用户102，系统100就可以取回与用户102相关联的简档，该简档可以包括诸如姓名、年龄、健康信息、偏好、教育水平、学习领域、朋友和熟人、调度信息、习惯、过敏、在某些领域的技能和知识水平等信息。

在框608处，系统100控制环境内的对象。例如，在系统100通过对象检测标识出用户已经在厨房柜台上放置面粉、糖、蛋、牛奶、发酵粉和黄油时，系统可以确定用户正在准备烤蛋糕。然后系统100可以开启烤箱以开始预热烤箱。系统100可以自动地开启烤箱，可以提醒用户102开启烤箱，或者可以向用户102询问用户102是否希望系统开启烤箱。基于与用户102的历史交互，系统100可以标识出用户102习惯性地忘记开启烤箱，并且系统100可以在将来自动地这样做。

作为另一示例，系统100可以根据用户102的调度数据来确定用户102当天具有繁忙的时间表，其中具有与上层管理的很多约会。在捕获指示用户102已经到达家中的数据时，诸如通过音频传感器108捕获指示车库门已经打开的数据或者用户的智能电话的GPS数据，系统100可以通过家里的音乐系统自动地开始播放舒缓的音乐并且自动地开启燃气壁炉以为用户102提供舒适的氛围。

图7示出了机器学习700的示例过程。在框702处，系统100如先前描述的那样确定用户102。在框704处，系统确定与用户102相关联的简档，诸如通过从特定于用户102的数据库取回信息。在框706处，系统100经由一个或多个用户设备与用户102交互。交互可以通过任何传感器或用户设备112来进行。例如，这种交互可以在用户102与系统交谈以取回信息时，在用户102与环境交互并且执行各种任务时，或者在用户102重复某些任务(诸如在醒来后制作咖啡)时发生。简而言之，交互可以是系统100可以收集的与特定用户102相关的任何信息。

在框708处，系统更新用户简档并且存储与用户相关联的附加信息。例如，在系统100标识特定用户102在星期一至星期五的上午7:00醒来，在7:05启动咖啡机，并且然后将淋浴开启至华氏102度的模式时，系统100可以将这个早晨例行信息添加到用户简档。此外，系统100可以通过在上午7:00设置警报并自动地启动咖啡机并且然后开启淋浴器并且将温度适配到102华氏度的优选温度来辅助用户102执行该例程。

如图7中进一步所示，系统100可以在框706处重复与用户102交互的过程并且在框708处更新用户简档。以这种方式，系统100学习习惯、例程和偏好，并且可以使用该信息以及其他信息(诸如用户关于某些主题和任务的技能或知识级别)不断更新用户简档。此外，一旦系统向用户102提供指令，诸如例如如何切碎胡萝卜，系统可以更新与用户102相关联的简档以指示用户102已经理解该主题并且系统100可以适当地将被提供给用户102的未来信息个性化。

虽然本文中公开的系统和方法提供了系统如何操作以及可以实现什么的一些示例，但是将提供另外的示例作为本文中描述的机器智能预测通信和控制系统的进一步说明。

示例I-情绪检测

当用户102进入环境(例如，房屋)时，使用成像传感器106，系统100可以检测用户102的姿势以及用户102的面部上的标志，并且基于比较来自用户102的基线扫描的标志的变化，系统100可以确定用户102正在经历悲伤。例如，系统100可以确定用户正在表现出下垂的眼睑，向下翻转的嘴角，弓形眉毛或从眼睛发出的眼泪。在一些情况中，系统100可以开启用户设备112上的音乐，该音乐具有抵消用户102中的悲伤感的倾向。使用控制模块228，系统可以开启环境104内的立体声接收器并且将接收器调谐到适当的电台，或者播放被存储在一个或多个用户设备112上的音乐。或者，使用控制模块228，系统100可以开启电视并且显示旨在使人们满意或者笑的节目。在其他情况中，系统100可以向用户102推荐系统呼叫在历史上已经改善了用户102的情绪的用户102的姐妹，并且可以为用户102发起语音呼叫或视频呼叫。

系统100可以存储关于用户102的指示用户102在悲伤期间的偏好的历史数据，并且根据偏好采取适当的未来动作。

此外，系统可以确定用户102处于积极情绪并且正在积极地完成平凡的家庭任务。例如，积极情绪的确定可以通过用户102的肢体语言，通过用户102选择的音乐风格，通过确定用户102正在唱出乐观的歌曲，通过面部表情，或者用户的其他确定的上下文来做出。系统100可以确定这是提醒用户102给他们的植物浇水的好时机，并且做出适当的推荐。

示例II-急救

系统100可以确定上下文涉及用户102用刀切蔬菜。例如，系统可以依赖于由成像传感器106生成的视频数据，并且对象检测模块214可以分析视频数据帧并且确定环境内的对象包括在用户102手中的刀和在切菜板上的蔬菜。另外，通过动作检测模块218，系统100可以确定用户102的手臂以切片动作操纵刀具以切穿蔬菜。然后，系统100可以基于所标识的刀、蔬菜和动作来确定用户的目标是将蔬菜切片。系统100可以通过动作检测模块218或对象检测模块214或两者来确定用户102的反应是疼痛和抓握手指之一。或者，系统100可以检测来自用户102的手指的滴红色液体。通过这些实例中的任一个，系统100可以确定用户102意外地切到了他的手指。然后，系统100可以自动地提供关于如何治疗伤口以保持其清洁并且停止出血的建议。系统100还可以向用户102通知绷带所在的位置。

系统100可以获取并且分析伤口的成像数据，并且进一步确定伤口需要缝合并且可以相应地通知用户。或者，系统100可以通过成像传感器106获取伤口的成像数据，并且经由通信模块226将其发送给可以确定是否需要缝针的医疗专业人员。

示例III-在驾驶时

在用户102在车辆中时，系统100可以禁止用户通过与用户102相关联的智能电话接收或发送电话呼叫或文本消息。系统100可以利用GPS数据来确定用户102处于移动车辆中并且可以改变与用户102相关联的用户设备112的功能。此外，系统100可以确定用户102正骑在车辆的乘客座位上，而不是驾驶，并且因此可以允许用户设备112的功能。系统100可以通过被定位在车辆中的传感器(诸如佩戴在用户102的手腕上的加速度计、移动计算设备的相机)或者通过内置于车辆中的传感器来收集数据以确定用户102是正在操作车辆还是车辆内的乘客。在系统100确定用户102正在操作车辆时，系统100可以延迟某些消息(诸如文本消息)的传送，直到用户102接收和响应消息是安全的。

作为另一示例，在系统100通过GPS位置数据或其他方式确定用户102已经在提供酒精的机构中花费前两个小时时，系统100可以要求用户102在操作车辆之前提交血液酒精水平测试。血液酒精水平测试可以通过将样品(诸如呼吸)提交到适当的传感器上来进行。

示例IV-医疗保健

与用户102相关联的简档数据212可以指示特定用户102的某些健康风险。例如，用户102可能已经被诊断为患有糖尿病并且需要监测他的血糖。系统100可以与血糖水平监测器通信以跟踪用户102的血糖水平。血糖水平监测器可以是用户102定期实现以检查血糖水平的装置，或者可以是提供持续数据的嵌入式监测器。系统100可以跟踪血糖水平，并且如果血糖水平超过最大阈值或者降至最小阈值以下则向用户102提供信息。系统100可以向用户102提供指示血糖水平的信息，并且提供维持健康血糖水平的建议。该信息可以通过任何合适的设备提供给用户，诸如通过一个或多个用户设备112的可听通知，通过一个或多个用户设备112上的文本通信，或者通过一个或多个用户设备112上的触觉通信。

类似地，在没有化学监测时，系统100可以观察用户102的血糖水平问题的物理指示。例如，如果用户102的脚变得不稳定，开始表现出含糊不清的言论，或者表现出告知低血糖的其他迹象，则系统可以向用户102或该区域内的其他用户警告用户102存在潜在的健康风险。系统100可以提供与情况的严重程度相称的通知。例如，在系统100先前向用户102通知血糖水平降低并且用户没有采取适当的动作并且现在表现出低血糖的身体症状时，系统100可以向用户或预定距离内的其他人提供逐步增强的警告。例如，虽然给用户的初始通知可以包括文本消息或通过用户佩戴的手表的触觉振动，但是逐步增强的警告可以包括给能够帮助到表现出危险状况的症状的用户的其他用户的闪光灯、喇叭或警报器、声音警告或紧急语音或基于文本的消息。

此外，在存在严重的健康问题时，诸如例如，当用户的血糖水平急剧下降并且用户102失去意识时，系统可以尝试与用户102交互，并且如果没有来自用户的响应，则系统可以提醒医疗专业人员并且请求立即帮助。另外，系统100的通信模块226可以被编程为拨打紧急电话号码并且解释用户102的医疗状况和用户正在表现出的症状。

示例V-危险状况

系统100可以被配置为确定何时存在危险状况。例如，系统100可以与环境104内的气体传感器通信，气体传感器能够检测环境104内的一氧化碳水平。如果该水平超过阈值，则系统100可以向环境104内的用户警告危险状况。警告优选地指示状况的严重性，并且可以被配置为听觉警告、视觉警告或组合，并且可以随着状况持续而逐步增强。

类似地，在系统通过对象检测模块214和动作检测模块218检测到环境102内的用户102正在进行危险活动(诸如例如，在桌子上跳舞)时，系统可以向用户102警告危险活动。此外，在用户102被标识为小孩时，系统可以向用户102的父母警告危险活动。

示例VI-智能控制

在系统100确定用户102在厨房中并且准备烘烤蛋糕时，系统可以自动地开启烤箱以预热它以烘烤蛋糕。例如，系统100可以分析由成像传感器106捕获的成像数据以确定用户已经取回了面粉、糖、蛋、香草和发酵粉，并且结合指示第二天是用户女儿的生日的日历数据，系统100可以相当肯定地确定用户102正在准备烘烤蛋糕，并且可以自动地将烤箱开启到适当的温度。然而，如果系统100确定用户102已经离开环境104以与邻居交谈或跑到商店，则系统100可以自动地调低烤箱，或者完全关闭烤箱。当然，如果用户未能在预定量的时间内恢复烘焙活动，则系统可以最初调低烤箱并且然后关闭烤箱。

示例条款

根据一些实施例，一种系统包括成像传感器；音频传感器；显示器；与成像传感器、音频传感器和显示器通信的一个或多个计算设备，一个或多个计算设备具有存储器、一个或多个处理器以及被存储在存储器中的一个或多个模块。模块由一个或多个处理器可执行以执行操作，包括诸如通过分析由成像传感器生成的成像数据或由音频传感器生成的音频数据中的至少一项来确定用户的身份。另外，模块可执行以通过分析成像数据确定被定位在成像传感器的视场内的对象；接收指示用户的位置的位置数据；通过分析用户的身份、音频数据、对象和位置来确定用户的上下文和用户的目标；至少部分基于上下文来确定要被呈现给用户以实现目标的信息；至少部分基于与用户相关联的简档来确定用户的知识水平和以其呈现信息的复杂性水平；确定通过其呈现信息的输出设备；至少部分基于用户的上下文和知识水平来音译用于输出设备的信息；以及通过输出设备以复杂性水平呈现信息。

在一些情况中，成像数据包括两个或更多个帧，并且操作还包括至少部分基于比较成像数据的两个或更多个帧来确定在成像传感器的视场内发生的动作。要被呈现给用户的信息可以包括与在成像传感器的视场内发生的动作相关的指令。此外，系统可以至少部分基于要被呈现给用户的信息来更新与用户相关联的简档。信息的呈现可以至少部分基于指示输出设备正在移动的位置数据而被延迟。

可以提供辅助设备，并且一个或多个处理器可以向一个或多个辅助设备发送控制指令。例如，以开启或关闭设备、以控制设备的设置、计划或操作。

根据另一实现方式，一种计算机实现的方法包括：(i)确定用户的位置，该位置对应于环境；(ii)接收环境内的用户的视频数据；(iii)从环境接收音频数据；(iv)通过分析视频数据或音频数据中的至少一项来确定用户的身份；(v)通过分析视频数据来确定环境中的对象；(vi)通过分析视频数据或音频数据中的至少一项来确定在环境内发生的动作；(vii)至少部分基于在环境内发生的动作来确定要被呈现给用户的信息；(viii)取回与用户相关联的简档，该简档至少指示用户关于在环境内发生的动作的技能水平或知识水平；(ix)至少部分基于技能水平或知识水平来将要被提供给用户的信息从第一格式音译成第二格式；(x)在第二种形式中向用户呈现信息。

在一些情况中，该方法包括向环境内的一个或多个对象发送指令以控制一个或多个对象的指令。向用户呈现信息可以至少部分基于用户的位置。此外，确定要被呈现给用户的信息可以至少部分基于用户的面部表情。用户的技能水平或知识水平可以至少部分基于被呈现给用户的信息而被更新。

在一些情况中，被定位在环境内的传感器跟踪并且发送与环境内的生物相关的健康信息。健康相关信息可以涉及植物、动物、人或其他生物。

该信息可以包括通知，并且至少部分基于用户在环境内的确定来向用户呈现通知。例如，一旦用户进入环境(诸如家庭)，就可以向用户传递通知。

该方法还可以包括至少部分基于与用户相关联的简档来音译该信息以降低信息的复杂性。也就是说，在体验用户需要较少细节或者新手用户需要较低复杂度时，信息被音译到用户的适当的详细程度和复杂性。附加地或替代地，该信息可以是视频数据、图像数据、线条图、语音数据、文本数据中的一种，并且该信息可以被音译成第二格式，该第二格式是视频数据、图像数据、线条图、语音数据或文本数据中的不同的一种。

根据另一实施例，一种系统包括一个或多个传感器；一个或多个显示设备；以及一个或多个计算设备。计算设备包括存储器；一个或多个处理器；以及一个或多个模块，一个或多个模块被存储在存储器中并且由一个或多个处理器可执行以执行操作。操作包括(i)通过由一个或多个传感器生成的数据确定用户的身份；(ii)通过由一个或多个传感器生成的数据确定用户的位置，该位置对应于环境；(iii)通过由一个或多个传感器生成的数据确定被定位在环境内的一个或多个对象；(iv)接收与用户相关联的简档，该简档包括日历数据、偏好数据、用户的技能或知识水平或与用户相关联的医疗信息中的一项或多项；(v)至少部分基于由一个或多个传感器生成的数据和简档来控制被定位在环境内的一个或多个对象。

操作还可以包括至少部分基于位置、对象和简档来确定要被提供给用户的信息。在另一实例中，操作还包括将信息从第一细节级别音译到第二细节级别，其中第二细节级别比第一级别的细节更复杂。

操作还可以包括确定在其上呈现信息的设备，并且在该设备上呈现信息。在另一实施例中，系统能够开启或关闭环境内的一个或多个对象。

结论

尽管本公开内容可以使用特定于结构特征和/或方法动作的语言，但是本发明不限于本文中描述的具体特征或动作。相反，具体特征和动作被公开作为实现本发明的说明性形式。

Claims (20)

1.一种用于基于与上下文相关联的复杂性水平和知识水平来提供预测信息的系统，所述系统包括：

成像传感器；

音频传感器；

显示器；

一个或多个计算设备，其中所述一个或多个计算设备与所述成像传感器、所述音频传感器和所述显示器通信，所述一个或多个计算设备包括一个或多个处理器、存储器，所述存储器包括指令，所述指令在由所述一个或多个处理器执行时执行以下操作：

由上下文服务器接收输入数据的集合，其中输入数据的所述集合包括以下至少一项：

由所述成像传感器捕获的成像数据，以及

由所述音频传感器捕获的音频数据；

由所述上下文服务器基于输入数据的所述集合来确定所述上下文，其中所述上下文包括：

操作者；

所述操作者的位置数据；

由所述操作者采取的动作；以及

对象，其中所述操作者通过所述动作与所述对象交互；

由所述上下文服务器基于所述上下文来确定所述操作者的目标，其中所述目标包括由所述操作者基于操作者简档数据库对预期对象的至少一个预期动作；

由所述上下文服务器标识所述上下文从所述目标的偏差；

由所述上下文服务器基于所述偏差来生成所述预测信息，其中所述预测信息包括意见、提醒、警告和指令中的至少一项；

由所述上下文服务器基于所述上下文和所述操作者简档数据库来确定所述预测信息的复杂性水平，其中所述复杂性水平与所述操作者关于所述上下文的主题内容的所述知识水平匹配；

由所述上下文服务器至少基于所述位置数据来确定输出设备；以及

由所述上下文服务器根据所述预测信息的所确定的所述复杂性水平通过所述输出设备提供所述预测信息。

2.根据权利要求1所述的系统，其中所述成像数据包括两个或更多个帧，并且所述操作还包括至少部分基于比较所述成像数据的所述两个或更多个帧来确定在所述成像传感器的视场内发生的动作。

3.根据权利要求1所述的系统，其中要被呈现给所述操作者的所述预测信息包括与在所述成像传感器的视场内发生的所述动作相关的指令。

4.根据权利要求1所述的系统，其中所述一个或多个处理器还执行以下操作：至少部分基于要被呈现给所述操作者的所述预测信息来更新与所述操作者相关联的所述操作者简档数据库。

5.根据权利要求1所述的系统，所述操作还包括：

由所述上下文服务器基于输入数据的所述集合来确定提供所述预测信息的定时；以及

延迟提供所述预测信息直到所确定的所述定时达到为止。

6.根据权利要求1所述的系统，还包括辅助设备，并且所述一个或多个处理器还执行操作以向所述辅助设备中的一个或多个辅助设备发送控制指令。

7.一种用于基于与上下文相关联的复杂性水平和知识水平来提供预测信息的计算机实现的方法，所述方法包括：

由上下文服务器接收输入数据的集合，其中输入数据的所述集合包括以下至少一项：

成像数据，以及

音频数据；

由所述上下文服务器基于输入数据的所述集合来确定所述上下文，其中所述上下文包括：

操作者的身份；

所述操作者的位置数据；

由所述操作者采取的动作；以及

对象，其中所述操作者通过所述动作与所述对象交互；

由所述上下文服务器基于所述上下文来确定所述操作者的目标，其中所述目标包括由所述操作者基于操作者简档数据库对预期对象的至少一个预期动作；

由所述上下文服务器基于所述上下文和所述目标来生成所述预测信息，其中所述预测信息包括意见、提醒、警告和指令中的至少一项；

由所述上下文服务器基于所述上下文和所述操作者简档数据库来确定所述预测信息的复杂性水平，其中所述复杂性水平与所述操作者关于所述上下文的主题内容的所述知识水平匹配；

由所述上下文服务器根据所确定的所述复杂性水平来修改所述预测信息；以及

由所述上下文服务器通过所述输出设备提供经修改的所述预测信息。

8.根据权利要求7所述的计算机实现的方法，还包括由所述上下文服务器向区域内的一个或多个对象发送指令以控制所述一个或多个对象。

9.根据权利要求7所述的计算机实现的方法，其中提供经修改的所述预测信息至少部分基于所述操作者的所述位置数据。

10.根据权利要求7所述的计算机实现的方法，其中确定所述上下文至少部分基于所述操作者的面部表情。

11.根据权利要求7所述的计算机实现的方法，还包括由所述上下文服务器至少部分基于所述预测信息来更新所述操作者的技能水平或所述知识水平。

12.根据权利要求7所述的计算机实现的方法，其中当与输入数据的所述集合相关联的传感器将所述对象检测为生命物质时，输入数据的所述集合还包括所述对象的健康信息。

13.根据权利要求7所述的计算机实现的方法，还包括：

确定所述操作者的所述位置数据何时与输入数据的所述集合的位置匹配；以及

当所述操作者在输入数据的所述集合的所述位置时，提供经修改的所述预测信息。

14.根据权利要求7所述的计算机实现的方法，其中对所述预测信息的所述修改至少部分基于与所述操作者相关联的所述操作者简档数据库而降低所述预测信息的复杂性。

15.根据权利要求7所述的计算机实现的方法，其中所述预测信息具有第一数据格式，并且经修改的所述预测信息具有与所述第一数据格式不同的第二数据格式。

16.一种用于基于与上下文相关联的复杂性水平和知识水平来提供预测信息的系统，所述系统包括：

一个或多个传感器；

一个或多个显示设备；以及

一个或多个计算设备，包括存储器、一个或多个处理器、以及一个或多个编程指令，所述一个或多个编程指令被存储在所述存储器中并且由所述一个或多个处理器可执行以执行操作，所述操作包括：

由上下文服务器基于所述一个或多个传感器来接收输入数据的集合，其中输入数据的所述集合包括以下至少一项：

区域的由成像传感器捕获的成像数据，以及

所述区域的由音频传感器捕获的音频数据；

由所述上下文服务器确定所述操作者的上下文和所述操作者的目标，其中所述上下文包括以下至少一项：

操作者，

所述操作者的位置，

由所述操作者采取的动作，

对应于所述区域的位置数据，以及

位于所述区域内的一个或多个对象，

并且所述目标包括由所述操作者基于操作者简档数据库对所述一个或多个对象的至少一个预期动作，其中所述操作者简档数据库包括以下至少一项：

一个或多个日历数据，

偏好数据，

所述操作者的技能水平或知识水平；

由所述上下文服务器标识所述上下文从所述目标的偏差；

由所述上下文服务器基于所述偏差来生成所述预测信息；以及

根据所述预测信息控制所述一个或多个对象。

17.根据权利要求16所述的系统，其中所述操作还包括：

由所述上下文服务器基于所述上下文和所述操作者简档数据库来确定所述预测信息的复杂性水平，其中所述复杂性水平与所述操作者关于所述上下文的主题内容的所述知识水平匹配；

由所述上下文服务器基于所述偏差来生成所述预测信息，其中所述预测信息包括意见、提醒、警告和指令中的至少一项；以及

由所述上下文服务器根据所述预测信息的所确定的所述复杂性水平通过输出设备提供所述预测信息。

18.根据权利要求17所述的系统，其中所述操作还包括将所述预测信息从第一细节水平音译成第二细节水平，其中所述第二细节水平比所述第一细节水平更详细。

19.根据权利要求16所述的系统，其中所述操作还包括由所述上下文服务器至少基于所述位置数据来确定输出设备。

20.根据权利要求16所述的系统，其中控制所述一个或多个对象包括以下中的一项或多项：

当所述一个或多个对象能够显示用于显示在所述一个或多个对象上的消息时，传输所述消息；

当所述一个或多个对象通电时，改变所述一个或多个对象的电源开关；以及

改变所述一个或多个对象的设置。

Images