CN111557012B - 跨传感器预测性推断 - Google Patents

Abstract

需要用于高效且可靠地执行基于传感器的预测性数据分析的解决方案。这种需要可以通过例如用于执行跨传感器预测性数据分析的解决方案来解决。在一个示例中，一种用于执行跨传感器预测性数据分析的方法包括：识别包括一个或多个图像数据对象的传感器输入数据对象；基于传感器输入数据对象来确定传感器特征数据对象；通过使用跨传感器预测性推断模型处理传感器特征数据对象，来生成与传感器输入数据对象相关联的目标预测性实体的预测；以及基于跨传感器预测来执行基于预测的动作。

Description

跨传感器预测性推断

相关申请的交叉引用

本申请要求于2019年12月2日提交的美国专利申请号16/699,838的优先权，其要求临时专利申请号62/774,569、62/774,573、62/774,579和62/774,602的优先权，所有这些临时专利申请均提交于2018年12月3日，并且所有这些申请通过引用全文合并于此。

背景技术

本发明的各种实施例解决了与执行基于传感器的预测性数据分析相关的技术挑战。现有的基于传感器的预测性数据分析解决方案不适于高效且可靠地执行这种基于传感器的预测性数据分析。本发明的各种实施例解决了所述的基于传感器的预测性数据分析解决方案的缺点，且公开了用于高效且可靠地执行基于传感器的预测性数据分析的各种技术。

发明内容

总体上，本发明的实施例提供了高效且可靠地执行基于传感器的预测性数据分析的方法、装置、系统、计算设备、计算实体及/或类似物。某些实施例利用使用单传感器(per-sensor)特征定义模型、单传感器特征提取模型和跨传感器预测性推断模型中的至少一个来执行基于传感器的预测性数据分析的系统、方法和计算机程序产品。

根据一个方面，提供了一种方法。在一个实施例中，该方法包括：识别包括一个或多个图像数据对象的多个传感器输入数据对象；至少部分地基于多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定多个传感器特征数据对象包括：(i)对于多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及(ii)对于与多个传感器输入数据对象中的传感器输入数据对象相关联的一个或多个期望观察度量中的每个期望观察度量，通过使用与传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理传感器输入数据对象来确定多个传感器特征数据对象中的传感器特征数据对象，其中多个特征提取模型包括一个或多个图像特征提取模型；通过使用跨传感器预测性推断模型处理多个传感器特征数据对象来生成用于与多个传感器输入数据对象相关联的目标预测性实体的一个或多个跨传感器预测；以及至少部分地基于一个或多个跨传感器预测来执行一个或多个基于预测的动作。

根据另一方面，提供了一种计算机程序产品。计算机程序产品可以包括至少一个计算机可读存储介质，其具有存储在其中的计算机可读程序代码部分，计算机可读程序代码部分包括可执行部分，被配置为：识别包括一个或多个图像数据对象的多个传感器输入数据对象；至少部分地基于多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定多个传感器特征数据对象包括：(i)对于多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及(ii)对于与多个传感器输入数据对象中的传感器输入数据对象相关联的一个或多个期望观察度量中的每个期望观察度量，通过使用与传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理传感器输入数据对象来确定多个传感器特征数据对象中的传感器特征数据对象，其中多个特征提取模型包括一个或多个图像特征提取模型；通过使用跨传感器预测推断模型处理所述多个传感器特征数据对象，生成用于与所述多个传感器输入数据对象相关联的目标预测实体的一个或多个跨传感器预测；以及至少部分地基于所述一个或多个跨传感器预测来执行一个或多个基于预测的动作。

根据又一方面，提供了一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器。在一个实施例中，至少一个存储器和计算机程序代码可以被配置为与处理器一起使得装置：识别包括一个或多个图像数据对象的多个传感器输入数据对象；至少部分地基于多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定多个传感器特征数据对象包括：(i)对于多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及(ii)对于与多个传感器输入数据对象中的传感器输入数据对象相关联的一个或多个期望观察度量中的每个期望观察度量，通过使用与传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理传感器输入数据对象来确定多个传感器特征数据对象中的传感器特征数据对象，其中多个特征提取模型包括一个或多个图像特征提取模型；通过使用跨传感器预测推断模型处理所述多个传感器特征数据对象，生成用于与所述多个传感器输入数据对象相关联的目标预测实体的一个或多个跨传感器预测；以及至少部分地基于所述一个或多个跨传感器预测来执行一个或多个基于预测的动作。

附图说明

已经概括地描述了本发明，现在将参考附图，附图不必然按比例绘制，并且其中：

图1提供了可以用于实施本发明的实施例的架构的示例性概述。

图2提供了根据本文所讨论的一些实施例的示例跨传感器预测性推断计算实体。

图3提供了根据本文所讨论的一些实施例的示例客户端计算实体。

图4是根据本文所讨论的一些实施例的用于执行跨传感器预测性推断的示例过程的数据流程图。

图5是根据本文所讨论的一些实施例的用于确定传感器特征数据对象的示例过程的流程图。

图6是根据本文所讨论的一些实施例的用于确定传感器输入数据对象的期望观测度量的示例过程的流程图。

图7提供了根据本文所讨论的一些实施例的用于传感器输入数据对象的层次特征定义模型的操作示例。

图8是根据本文所讨论的一些实施例的用于使用合格模型定位来确定传感器特征数据对象的示例过程的流程图。

图9是根据本文所讨论的一些实施例的用于使用联邦学习(federated learning)确定传感器特征数据对象的示例过程的流程图。

图10是根据本文所讨论的一些实施例的用于确定基于图像的传感器特征数据对象的示例过程的数据流程图。

图11提供了根据本文所讨论的一些实施例的基于图像的对象检测输出的操作示例。

图12提供了根据本文所讨论的一些实施例的概率性的基于图像的对象检测输出的操作示例。

图13提供了根据本文所讨论的一些实施例的用于数据交互平台的用户界面的操作示例。

图14提供了根据本文所讨论的一些实施例的用于各种生命体(living)数据对象的多对象可视化空间的用户界面的操作示例。

图15提供了根据本文所讨论的一些实施例的用于生命体数据对象的逐对象可视化空间的用户界面的操作示例。

图16提供了根据本文所讨论的一些实施例的用于将数据对象添加到数据模型的用户界面的操作示例。

图17提供了根据本文所讨论的一些实施例的用于动作数据对象的层次划分的用户界面的操作示例。

图18提供了根据本文所讨论的一些实施例的用于各种任务数据对象的多对象可视化空间的用户界面的操作示例。

图19提供了根据本文所讨论的一些实施例的用于任务数据对象的逐对象可视化空间的用户界面的操作示例。

图20提供了根据本文所讨论的一些实施例的用于知识数据对象的层次划分的用户界面的操作示例。

图21提供了根据本文所讨论的一些实施例的用于访问事物数据对象的文件选择用户界面的操作示例。

图22提供了根据本文所讨论的一些实施例的用户界面的操作示例，该用户界面使得用户能够选择用于数据交互平台的环境状态。

图23提供了根据本文所讨论的一些实施例的用于各种生命体数据对象的多对象可视化空间的用户界面的另一操作示例。

图24提供了根据本文所讨论的一些实施例的用于显示数据检索查询的数据对象结果的用户界面的操作示例。

图25提供了根据本文所讨论的一些实施例的用于显示数据检索查询的数据对象结果和数据对象关系结果的用户界面的操作示例。

图26是根据本文所讨论的一些实施例的利用动态关系认知的数据交互系统的逻辑数据流程图。

图27是根据本文所讨论的一些实施例的用于确定存储在数据交互平台中的数据对象的关系认知评分的示例过程的流程图。

具体实施方式

现在将在下文中参考附图更全面地描述本发明的各种实施例，其中示出了本发明的一些而非全部实施例。实际上，这些发明可以以许多不同的形式实施，并且不应被解释为限于本文阐述的实施例；相反，提供这些实施例是为了使本公开满足适用的法定要求。除非另有说明，术语“或”在本文中以可替代和连接的意义使用。术语“说明性”和“示例性”被用作不指示质量等级的示例。相同的数字始终表示相同的部件。此外，尽管参考预测数据分析描述了本发明的某些实施例，但是本领域的普通技术人员将认识到，所公开的概念可以用于执行其他类型的数据分析。

I.概述

本发明的各种实施例解决了与使用来自多个传感器设备的传感数据来执行预测性数据分析相关联的可扩展性挑战。当涉及高效且可靠地组合单传感器预测性信号以生成协调的跨传感器预测性信号时，许多现有的基于传感器的预测性数据分析系统面临相当大的挑战。当传感器的数量增加，并且因此底层的预测性推断问题的传感器复杂性增加时，这样的挑战增加。所产生的困境使得各种现有的基于传感器的预测性数据分析系统对于与大量传感器设备相关联的预测性推断空间而言是低效和无效的。

本发明的各种实施例通过基于传感器特定特征定义模型调整单传感器预测性推断来解决基于传感器的预测性数据分析模型的上述可扩展性挑战，所述传感器特定特征定义模型将与预测性推断问题相关联的相关信息集成到各个单传感器预测性推断例程。在一些实施例中，使用单传感器期望观测度量来执行所述调整，该单传感器期望观测度量是使用单传感器特征定义模型来定义的。利用传感器特定特征定义模型来定义用于各种传感器的期望观测度量提供了一种在执行单传感器预测性推断的同时集成跨传感器考虑的直观且可扩展的方法。以这种方式，维持单传感器特征提取的操作完整性，同时将跨传感器信号集成为单传感器特征提取模型的非侵入性且非结构改变的输出定义参数。这种创新特征进而解决了基于传感器的预测性数据分析系统的可扩展性挑战，并且对具有大量传感器的基于传感器的预测性数据分析系统的效率和有效性做出重要贡献。

此外，本发明的各种实施例通过基于在单传感器级别上提取的特征生成跨传感器预测来解决基于传感器的预测性数据分析系统的上述可扩展性挑战。以这种方式，所述的实施例可以利用最先进的传感器特定特征提取技术(例如，用于图像传感器的卷积神经网络)，同时使用智能集成模型来组合单传感器预测，以生成跨传感器预测。所产生的跨传感器预测示出了由底层传感器特定模型的稳健性以及跨传感器集成模型的灵活性和强度所产生的强平均准确度水平。这种创新特征还解决了基于传感器的预测性数据分析系统的可扩展性挑战，并且对具有大量传感器的基于传感器的预测性数据分析系统的效率和有效性做出重要贡献。

此外，本发明的各种实施例解决了传统的基于图的数据库的技术缺点。例如，本发明的各种实施例引入了创新的数据模型，其不将数据对象之间的关系处理为独立于那些数据对象记录的静态关联，而是根据那些数据对象的各种属性将其处理为由数据对象记录和吸收的动态关联。根据一些方面，数据对象具有关于其相关联的数据对象关系中的每一个的关系认知评分。这允许数据对象具有对各种数据对象关系的独立识别，包括通常在传统图模型中建模为间接数据对象关系的数据对象关系，同时能够区分更重要的数据对象关系(例如，具有较高的相应关系认知评分的数据对象关系)和较不重要的数据对象关系(例如，具有较低的相应关系认知评分的数据对象关系)。因此，变化的实时关系评分和对象以实时或接近实时的方式，基于相关对象的变化理解它们自身的改变的能力，以及基于它们自身的变化理解其它对象的改变的能力，允许信息变得上下文相关并因此更有价值。

II.某些术语的定义

术语“传感器输入数据对象”可以指，描述传感器关于物理环境的一个或多个真实世界观测的数据。传感器输入数据对象的示例包括由图像传感器(例如，摄像机)记录的图像数据对象、由温度计记录的温度数据对象、由接近传感器记录的接近数据对象、由加速度计记录的加速度数据对象、由压力传感器记录的压力数据对象、由位置传感器记录的位置数据对象等。

术语“期望观测度量”可以指，描述真实世界现象的数据，其中期望从对应的传感器输入数据对象提取所述的数据。例如，图像数据对象的第一期望观测度量可以描述与图像数据对象相关联的物理环境在一段时间内的平均占用的真实世界现象。作为另一示例，图像数据对象的第二观测度量可以描述与图像数据对象相关联的物理环境在一段时间内的平均照明的真实世界现象。作为又一示例，图像数据对象的第三观测度量可以描述与图像数据对象相关联的物理环境中的一个或多个对象在一段时间内的位置的真实世界现象。作为再一示例，图像数据对象的第四观测度量可以描述一个或多个对象在与图像数据对象相关联的物理环境中一段时间内的使用的真实世界现象。

术语“特征定义模型”可以指，描述基于对应传感器数据对象的一个或多个性质(例如，对应传感器数据对象的格式)和/或与对应传感器数据对象相关联的目标预测性实体的一个或多个推断性质，从对应传感器输入数据对象提取什么期望观测度量的数据。在一些实施例中，特征定义模型可以是静态特征定义模型和/或动态特征定义模型。静态特征定义模型针对对应的传感器输入数据对象定义要始终从对应传感器输入数据对象中提取的一组期望观测度量。例如，用于图像数据对象的静态特征定义模型可以指示该图像数据对象应当总是被配置为提取对应物理环境的占用水平。动态特征定义模型针对对应传感器输入数据对象定义要从该传感器输入数据对象提取的期望观测度量集合，其中期望观测度量集合至少部分地基于指南来确定，该指南规定一些期望观测度量对正确检测的适用性和/或与其它期望观测度量对应的特征数据的特定值的正确检测。例如，用于图像数据对象的动态特征定义模型可以指示，如果图像数据对象指示对于对应物理环境的足够照明的可接受检测，则图像数据对象应当被配置成提取与该对应物理环境的占用相关的期望观察度量。在一些实施例中，可以至少部分地基于与传感器输入数据对象相关联的传感器来确定用于传感器输入数据对象的特征定义模型。例如，任何图像传感器的所有图像数据对象和/或与一个或多个指定传感器相关联的所有图像数据对象可以与共同特征定义模型相关联，例如共同动态特征定义模型。

术语“传感器特征数据对象”可以指，基于传感器输入数据对象描述该传感器输入数据对象的期望观测度量的提取值的数据。例如，如果图像数据对象的期望观测度量是对应物理环境在一时间段内的估计平均占用，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的对应物理环境在该时间段内的估计平均占用的结论。作为另一示例，如果图像数据对象的期望观测度量是对应物理环境在一时间段内的估计平均照明，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的对应物理环境在该时间段内的估计平均照明的结论。作为另一示例，如果图像数据对象的期望观测度量是特定对象在对应物理环境中在一段时间内的估计平均使用，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的该特定对象在对应物理环境中在一段时间内的估计平均使用的结论。

术语“特征提取模型”可以指，描述被配置为从一个或多个传感器输入数据对象提取一个或多个传感器特征数据对象的任何推断模型的参数和/或超参数的数据。特征提取模型的示例包括机器学习模型，例如神经网络模型。在一些实施例中，特征提取模型包括图像特征提取模型。在那些实施例的一些中，图像特征提取模型包括一个或多个卷积神经网络、基于胶囊的机器学习模型(例如，诸如CapsNet的基于胶囊的卷积神经网络)等。通常，可以静态地、动态地和/或使用训练算法(例如，基于优化的训练算法，诸如梯度下降、具有反向传播的梯度下降、具有通过时间的反向传播的梯度下降等)来确定特征提取模型的参数和/或超参数。

术语“跨传感器预测性推断模型”可以指，描述被配置为处理两个或更多传感器特征数据对象以便生成关于与传感器输入数据对象相关联的目标预测性实体的跨传感器预测的任何推断模型的参数和/或超参数的数据。例如，跨传感器预测性推断模型可以被配置为利用描述特定物理环境的平均占用的基于图像的传感器特征数据对象、描述特定物理环境的平均照明的基于图像的传感器特征数据对象、描述特定物理环境的平均温度的基于温度的传感器特征数据对象、以及描述特定物理环境的平均占用的基于压力的传感器特征数据对象(例如，基于估计在特定物理环境中的特定压力记录点(诸如特定物理环境的入口区域)上提取的压力)，以确定特定物理环境的预测舒适度水平。作为另一示例，跨传感器预测性推断模型可以被配置为利用描述特定物理环境的平均占用的基于图像的传感器特征数据对象、描述特定物理环境的平均照明的基于图像的传感器特征数据对象、描述特定物理环境的平均温度的基于温度的传感器特征数据对象、以及描述特定物理环境的平均占用的基于压力的传感器特征数据对象，以确定在该特定物理环境中空调系统的预测维护需要。作为又一示例，跨传感器预测性推断模型可以被配置为利用描述第一物理环境的平均占用的基于图像的传感器特征数据对象、描述第一特定物理环境的平均照明的基于图像的传感器特征数据对象、描述第二物理环境的平均温度的基于温度的传感器特征数据对象、以及描述第三物理环境的平均占用的基于压力的传感器特征数据对象，以确定与这三种物理环境相关联的空调系统的预测维护需要。作为另一示例，跨传感器预测性推断模型可以被配置为利用描述第一物理环境的平均占用的基于图像的传感器特征数据对象、描述第一特定物理环境的平均照明的基于图像的传感器特征数据对象、描述第二物理环境的平均温度的基于温度的传感器特征数据对象、以及描述第三物理环境的平均占用的基于压力的传感器特征数据对象，以确定与这三种物理环境相关联的空调系统相关联的空调系统模型的预测质量评分。在一些实施例中，跨传感器预测性模型的输入可以包括图像数据、温度数据、液体属性数据(例如，气味、空气质量、化学成分、形状成分、色谱、反射率、透明度等)、固体属性数据、气体属性成分数据等中的一个或多个。

术语“跨传感器预测”可以指，描述由跨传感器预测性推断模型基于处理两个或更多传感器特征数据对象而生成的预测的数据。跨传感器预测的实例包含产品质量评分预测、产品维护需要预测、建筑设计评分预测等。在一些实施例中，跨传感器预测是由跨传感器预测性推断模型生成的集成预测，该跨传感器预测性推断模型是被配置为组合两个或更多预测性推断模型和/或两个或更多特征提取模型的预测的集成模型。

术语“目标预测性实体”可以指，描述预测性推断模型试图预测的特定真实世界现象的数据。目标预测性实体的示例包括产品质量评分、产品维护需求、建筑设计评分等。在一些实施例中，每个目标预测性实体与基于目标预测性实体的一个或多个性质的预测性推断模型相关联。例如，与数值评分相关联的目标预测性实体可以与回归预测性推断模型相关联。作为另一示例，与质量类别(例如，选自包括高质量类别、中等质量类别及低质量类别的范围的质量类别)相关联的目标预测性实体可与分类预测性推断模型相关联。

术语“基于预测的动作”可以指，被配置为基于一个或多个预测来启用一个或多个最终用户功能的计算机实现的例程。例如，基于指示空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为安排维护预约。作为另一示例，基于指示空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为向最终用户生成指示所述的维护需要的数字通知。作为又一示例，基于指示特定房间的空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置成自动更新该特定房间的日历邀请以改变该日历邀请的位置性质。作为再一示例，基于指示服务器系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为自动执行对服务器系统的维护(例如，负载均衡维护)。

术语“推断性质”可指描述目标预测性实体的性质的数据，所述性质可用于(例如，根据特征定义模型)确定被配置为提取与目标预测性实体相关的传感器特征数据对象的传感器输入数据对象的期望观测度量。例如，目标预测性实体的推断性质可以描述目标预测性实体是否是数值评分生成任务、类别检测任务等。作为另一实例，目标预测性实体的推断性质可描述与目标预测性实体相关联的物理环境和/或时间范围。

术语“个体吸收评分”可以指，在给定特定数据对象的一个或多个个体属性的情况下描述该特定数据对象的估计或计算的关系认知趋势的数据。例如，至少部分地基于用于推断个体吸收评分的示例模型，与具有高教育程度的特定个人相关联的数据对象可以被认为具有高吸收评分。作为另一示例，至少部分地基于用于生成个体吸收评分的另一示例模型，与具有特定身体特征(例如，年龄、身高、体重等)的特定个人相关联的数据对象可被认为具有高吸收评分。

术语“层次吸收评分”可以指在给定特定数据对象的父数据对象的一个或多个个体属性的情况下描述该特定数据对象的估计或计算的关系认知趋势的数据。在一些实施例中，至少部分地基于作为数据对象的层次父级的父数据对象的每个个体吸收评分来确定数据对象的层次吸收评分。在一些实施例中，特定数据对象的一个或多个父数据对象包括特定数据对象的层次元类型，其中特定数据对象的层次元类型指示特定数据对象是否包括多个预定义的层次元类型指定中的一个或多个相关层次元类型指定。在一些实施例中，多个预定义的层次元类型指定包括：与生命体真实世界实体相关联的第一预定义层次元类型指定、与非生命体对象真实世界实体相关联的第二预定义层次元类型指定、与位置定义真实世界实体相关联的第三预定义层次元类型指定、与时间定义真实世界实体相关联的第四预定义层次元类型指定、与通信定义实体相关联的第五预定义层次元类型指定、与组定义实体相关联的第六预定义层次元类型指定、以及与知识定义实体相关联的第七预定义层次元类型指定。

术语“操作吸收评分”可以指，在给定至少一个数据对象的一个或多个个体属性的情况下描述特定数据对象的估计或计算的关系认知趋势的数据，其中所述至少一个数据对象被认为与该特定数据对象操作地相关(例如，具有足够强的关系)。在一些实施例中，至少部分地基于与特定数据对象操作地相关的相关数据对象的每个个体吸收评分来确定数据对象的操作吸收评分。在一些实施例中，如果在两个数据对象之间存在非层次关系，则相关数据对象被认为与特定数据对象相关。在一些实施例中，特定数据对象的一个或多个相关数据对象包括与特定数据对象相关联的一个或多个用户定义对象，和与特定数据对象相关联的一个或多个访问定义数据对象。在一些实施例中，与特定数据对象相关联的一个或多个用户定义对象包括与该特定数据对象相关联的一个或多个主用户定义对象，和与特定数据对象相关联的一个或多个协作者用户定义对象。在一些实施例中，与特定数据对象相关联的一个或多个访问定义数据对象包括与特定数据对象相关联的一个或多个共享空间数据对象(例如，公共共享空间数据对象、协作者空间对象、共享空间对象等)。

术语“环境状态”可以指，描述在特定时间使用诸如数据交互平台的软件环境背后的推断的用户目的和/或指示的用户目的的数据。可以至少部分地基于用户提供的信息和/或通过对在不同的时间间隔和/或在不同的位置的数据使用执行机器学习分析来生成环境状态。例如，跨传感器预测性推断计算实体可以至少部分地基于用户交互数据来推断用户在不同的时间间隔使用单独的数据对象组，并且因此断定单独的数据对象组属于不同的环境。此外，可以至少部分地基于明确的用户选择和/或至少部分地基于检测到用户在与特定环境状态相关联的一天中的时刻和/或位置处来执行对用于特定使用会话的一个或多个环境状态的选择。例如，跨传感器预测性推断计算实体可以在工作时间和/或当用户位于用户办公室的地理位置时，推断用户的特定使用会话的“工作”环境状态。作为进一步的示例，跨传感器预测性推断计算实体可以推断用户在非工作时间期间的特定使用会话的“工作”环境状态，这是由于在与家庭或休闲相关而与工作不相关的时间段内被访问的动作和信息，尽管该时间段和位置可能指示其他。然而，在工作时间-位置期间，尽管用户可能已经执行了休闲活动并且因此已经存在于“休闲”环境中，但是由于与位置和时间相关联的因素，对工作环境的访问可能由于对工作的较高现有关系评分而以低于正常的附加用户动作来反应。如下面进一步讨论的，本发明的创新方面涉及利用由环境状态提供的用于数据交互平台的使用的关系认知信号，以生成特定数据对象的关系认知评分。在一些实施例中，数据交互平台的环境状态选自数据交互平台的多个候选环境状态。在那些实施例的一些中，数据交互平台的多个候选环境状态指示以下中的至少一个：一个或多个私有环境状态、一个或多个专业环境状态、一个或多个休闲环境状态、以及一个或多个公共环境状态。

术语“关系认知评分”可以指，描述与特定数据对象相关联的关系对建模数据模型试图建模的该特定数据对象的现实世界和/或虚拟关系的估计和/或预测的重要性的数据。在一些实施例中，关系的关系认知评分指示当执行与特定数据对象相关联的数据检索和/或数据搜索时，与该特定数据对象相关联的关系的估计的和/或预测的优先级。根据本发明的一些方面，数据对象具有关于其相关联的数据对象关系中的每一个的关系认知评分。这允许数据对象具有对各种数据对象关系的独立识别，包括通常在传统图模型中建模为间接数据对象关系的数据对象关系，同时能够区分更重要的数据对象关系(例如，具有较高的相应关系认知评分的数据对象关系)和较不重要的数据对象关系(例如，具有较低的相应关系认知评分的数据对象关系)。在一些实施例中，关系认知评分可以是预测性关系评分，例如，同事之间的关系评分，当在两者受雇于同一公司时，这个评分可能很高，但是通过对同事的其他关系模型的评估(例如，使用一个或多个机器学习模型)，可以基于作为同事的其他用户在关系评分中的改变来预测他们的未来关系评分。例如，与不参与工作环境之外的相互活动的两个同事相比，也参与工作环境之外的重要活动的两个同事在一个同事离开另一个同事的雇用之后将来可能具有维持更高关系评分的更高概率。

III.计算机程序产品、方法和计算实体

本发明的实施例可以以各种方式实现，包括实现为包括制品的计算机程序产品。这种计算机程序产品可以包括一个或多个软件组件，该软件组件包括例如软件对象、方法、数据结构等。软件组件可以用各种编程语言中的任何一种来编码。例示的编程语言可以是诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言等较低级的编程语言。包括汇编语言指令的软件组件在由硬件体系结构和/或平台执行之前可能需要由汇编器转换为可执行机器代码。另一示例性编程语言可以是可跨多个体系结构移植的较高级编程语言。包括高级编程语言指令的软件组件可能需要在执行之前由解释器或编译器转换成中间表示。

编程语言的其它示例包括但不限于宏语言、外壳(shell)或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、和/或报告书写语言。在一个或多个示例性实施例中，包括编程语言的前述示例之一中的指令的软件组件可以由操作系统或其他软件组件直接执行，而不必首先转换成另一形式。软件组件可以作为文件或其它数据存储结构来存储。类似类型或功能地相关的软件组件可以存储在一起，例如存储在特定目录、文件夹或库中。软件组件可以是静态的(例如，预先建立的或固定的)或动态的(例如，在执行时创建或修改)。

计算机程序产品可以包括非暂时性计算机可读存储介质，其存储应用、程序、程序模块、脚本、源代码、程序代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等(在本文中也称为可执行指令、用于执行的指令、计算机程序产品、程序代码和/或在本文中可互换地使用的类似术语)。这种非暂时性计算机可读存储介质包括所有计算机可读介质(包括易失性和非易失性介质)。

在一个实施例中，非易失性计算机可读存储介质可以包括软盘(floppy disk)、软磁盘(flexible disk)、硬盘、固态存储器(SSS)，例如，固态驱动器(SSD)、固态卡(SSC)、固态模块(SSM)、企业闪存驱动器、磁带或任何其他非暂时性磁介质等。非易失性计算机可读存储介质还可以包括穿孔卡、纸带、光学标记纸(optical mark sheet)(或具有孔图案或其他光学可识别标记的任何其他物理介质)、光盘只读存储器(CD-ROM)、可重写光盘(CD-RW)、数字通用光盘(DVD)、蓝光光盘(BD)、任何其他非易失性光学介质等。这种非易失性计算机可读存储介质还可以包括只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存(例如，串行、NAND、NOR等)、多媒体存储卡(MMC)、安全数字(SD)存储卡、智能媒体(SmartMedia)卡、紧凑闪存(CompactFlash(CF))卡、记忆棒(Memory Stick)等。此外，非易失性计算机可读存储介质还可以包括导电桥接随机存取存储器(CBRAM)、相变随机存取存储器(PRAM)、铁电随机存取存储器(FeRAM)、非易失性随机存取存储器(NVRAM)、磁阻随机存取存储器(MRAM)、阻变式随机存取存储器(RRAM)、硅-氧化物-氮化物-氧化物-硅存储器(SONOS)、浮结栅随机存取存储器(FJG RAM)、千足虫存储器(Millipede memory)、赛道存储器(racetrack memory)等。

在一个实施例中，易失性计算机可读存储介质可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、快速页面模式动态随机存取存储器(FPM DRAM)、扩展数据输出动态随机存取存储器(EDO DRAM)、同步动态随机存取存储器(SDRAM)、双数据速率同步动态随机存取存储器(DDR SDRAM)、双数据速率类型二同步动态随机存取存储器(DDR2 SDRAM)、双数据速率类型三同步动态随机存取存储器(DDR3SDRAM)、Rambus动态随机存取存储器(RDRAM)、双晶体管RAM(TTRAM)、晶闸管RAM(T-RAM)、零电容器(Z-RAM)、Rambus直插式存储器模块(RIMM)、双列直插式存储器模块(DIMM)、单列直插式存储器模块(SIMM)、视频随机存取存储器(VRAM)、高速缓存存储器(包括各种级别)、闪存、寄存器存储器等。将理解，在实施例被描述为使用计算机可读存储介质的情况下，其他类型的计算机可读存储介质可以代替上述计算机可读存储介质或与上述计算机可读存储介质一起使用。

如应当理解的，本发明的各实施例也可被实现为方法、装置、系统、计算设备、计算实体等。这样，本发明的实施例可以采取执行存储在计算机可读存储介质上的指令以执行某些步骤或操作的装置、系统、计算设备、计算实体等的形式。因此，本发明的实施例也可以采取完全硬件实施例、完全计算机程序产品实施例和/或包括计算机程序产品和执行某些步骤或操作的硬件的组合的实施例的形式。

以下参照框图和流程图描述本发明的实施例。因此，应当理解，框图和流程图的每个框可以以计算机程序产品、完全硬件实施例、硬件和计算机程序产品的组合，和/或执行指令、操作、步骤和在计算机可读存储介质上可互换地使用以用于执行的类似词语(例如，可执行指令、用于执行的指令、程序代码等)的装置、系统、计算设备、计算实体等的形式来实现。例如，可以顺序地执行代码的检索、加载和执行，使得一次检索、加载和执行一个指令。在一些示例性实施例中，可以并行地执行检索、加载和/或执行，使得一起检索、加载和/或执行多个指令。因此，这种实施例可以产生执行在框图和流程图中指定的步骤或操作的特定配置的机器。因此，框图和流程图图示支持用于执行指定指令、操作或步骤的实施例的各种组合。

IV.示例性系统体系结构

图1是用于执行跨传感器预测性推断的示例性体系结构100的示意图。体系结构100包括一个或多个客户端计算实体102和跨传感器预测性推断计算实体106。跨传感器预测性推断计算实体106可以被配置为通过通信网络(未示出)与客户端计算实体102中的至少一个进行通信。

通信网络可以包括任何有线或无线通信网络，包括例如有线或无线局域网(LAN)、个人区域网(PAN)、城域网(MAN)、广域网(WAN)等，以及实现它所需的任何硬件、软件和/或固件(例如网络路由器等)。虽然在图1中未示出，但是跨传感器预测性推断计算实体106可以从一个或多个外部计算实体(例如，一个或多个外部信息服务器计算实体)检索输入数据。

客户端计算实体102可以被配置为向跨传感器预测性推断计算实体106提供预测性推断请求。跨传感器预测性推断计算实体106可以被配置为处理预测性推断请求并向客户端计算实体102提供相应的输出。跨传感器预测性推断计算实体106包括特征提取引擎112、跨传感器预测性推断引擎113和基于预测的动作引擎114。以下参考图4至12更详细地描述跨传感器预测性推断计算实体106的所述的组件的功能。

存储子系统108可被配置为存储与跨传感器预测性推断计算实体106的各个组件相关联的配置数据，例如与特征提取引擎112、跨传感器预测性推断引擎113和基于预测的动作引擎114相关联的配置数据。存储子系统108可以包括一个或多个存储单元，诸如通过计算机网络连接的多个分布式存储单元。存储子系统108中的每个存储单元可以存储一个或多个数据资产中的至少一个和/或关于一个或多个数据资产的计算特性的一个或多个数据。此外，存储子系统108中的每个存储单元可以包括一个或多个非易失性存储器或存储器介质，包括但不限于硬盘、ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、千足虫存储器、赛道存储器等。

示例性跨传感器预测性推断计算实体

图2提供了根据本发明的一个实施例的跨传感器预测性推断计算实体106的示意图。一般而言，术语计算实体、计算机、实体、设备、系统和/或本文中可互换地使用的类似词语可以指代例如一个或多个计算机、计算实体、台式机、移动电话、平板电脑、平板手机、笔记本电脑、膝上型电脑、分布式系统、自助服务机(kiosk)、输入终端、服务器或服务器网络、刀片服务器、网关、交换机、处理设备、处理实体、机顶盒、中继、路由器、网络接入点、基站等、和/或适于执行本文描述的功能、操作和/或过程的设备或实体的任何组合。这样的功能、操作和/或过程可以包括例如发送、接收、操作、处理、显示、存储、确定、创建/生成、监视、评估、比较和/或本文中可互换地使用的类似术语。在一个实施例中，这些功能、操作和/或过程可以对数据、内容、信息和/或在此可互换地使用的类似术语执行。

如所指出的，在一个实施例中，跨传感器预测性推断计算实体106还可以包括一个或多个通信接口220，用于例如通过传递可以被发送、接收、操作、处理、显示、存储等的数据、内容、信息和/或在此可互换地使用的类似术语来与各种计算实体通信。在一些实施例中，跨传感器预测性推断计算实体106可以被配置为执行一个或多个边缘计算能力。

如图2所示，在一个实施例中，跨传感器预测性推断计算实体106可以包括一个或多个处理部件205(也称为处理器、处理电路和/或在此可互换地使用的类似术语)或与其通信，所述处理部件例如经由总线与跨传感器预测性推断计算实体106内的其他部件通信。如将理解的，处理部件205可以以多种不同的方式来实现。例如，处理部件205可以被实现为一个或多个复杂可编程逻辑器件(CPLD)、微处理器、多核处理器、协处理实体、专用指令集处理器(ASIP)、微控制器和/或控制器。此外，处理部件205可以被实现为一个或多个其他处理设备或电路。术语电路可以指完全硬件的实施例或硬件和计算机程序产品的组合。因此，处理部件205可以被实现为集成电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、硬件加速器、其他电路等。因此，如将理解的，处理部件205可以被配置用于特定用途，或者被配置成执行存储在易失性或非易失性介质中的指令或者处理部件205可访问的指令。这样，无论是由硬件或计算机程序产品配置还是由其组合配置，处理部件205在被相应地配置时能够执行根据本发明的实施例的步骤或操作。

在一个实施例中，跨传感器预测性推断计算实体106还可以包括非易失性介质(也称为非易失性存储装置、存储器、存储存储装置、存储器电路和/或本文可互换使用的类似术语)或与该非易失性介质通信。在一个实施例中，非易失性存储装置或存储器可以包括一个或多个非易失性存储装置或存储器介质210，包括但不限于硬盘、ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJGRAM、千足虫存储器、赛道存储器等。如将认识到的，非易失性存储装置或存储器介质可以存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等。术语“数据库”、“数据库实例”、“数据库管理系统”和/或本文中可互换地使用的类似术语可以指使用一个或多个数据库模型(例如，层次数据库模型、网络模型、关系模型、实体关系模型、对象模型、文档模型、语义模型、图模型等)存储在计算机可读存储介质中的记录或数据的集合。

在一个实施例中，跨传感器预测性推断计算实体106还可以包括易失性介质(也称为易失性存储装置、存储器、存储器存储装置、存储器电路和/或本文可互换地使用的类似术语)或与其通信。在一个实施例中，易失性存储装置或存储器还可以包括一个或多个易失性存储装置或存储器介质215，包括但不限于RAM、DRAM、SRAM、FPM DRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓存存储器、寄存器存储器等。如将认识到的，易失性存储装置或存储器介质可用于存储由例如处理部件205执行的数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等的至少部分。因此，数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等可以用于在处理部件205和操作系统的帮助下控制跨传感器预测性推断计算实体106的操作的某些方面。

如所指出的，在一个实施例中，跨传感器预测性推断计算实体106还可以包括一个或多个通信接口220，用于例如通过传递可以被发送、接收、操作、处理、显示、存储等的数据、内容、信息和/或在此可互换地使用的类似术语来与各种计算实体通信。这种通信可以使用有线数据传输协议来执行，例如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输方式(ATM)、帧中继、有线电缆数据接口规范(DOCSIS)或任何其他有线传输协议。类似地，跨传感器预测性推断计算实体106可以被配置为使用任何的各种协议经由无线外部通信网络进行通信，所述协议诸如通用分组无线服务(GPRS)、通用移动通信系统(UMTS)、码分多址2000(CDMA2000)、CDMA2000 1X(1xRTT)、宽带码分多址(WCDMA)、全球移动通信系统(GSM)、GSM演进的增强数据速率(EDGE)、时分同步码分多址(TD-SCDMA)、长期演进(LTE)、演进的通用陆地无线接入网络(E-UTRAN)、演进数据优化(EVDO)、高速分组接入(HSPA)、高速下行链路分组接入(HSDPA)、IEEE 802.11(Wi-Fi)、Wi-Fi直连、802.16(WiMAX)、超宽带(UWB)、红外(IR)协议、近场通信(NFC)协议、Wibree、蓝牙协议、无线通用串行总线(USB)协议和/或任何其它无线协议。

尽管未示出，但是跨传感器预测性推断计算实体106可以包括一个或多个输入部件(例如，键盘输入、鼠标输入、触摸屏/显示器输入、运动输入、移动输入、音频输入、点击设备输入、操纵杆输入、小键盘输入等)或与其通信。跨传感器预测性推断计算实体106还可以包括一个或多个输出部件(未示出)或与其通信，例如音频输出、视频输出、屏幕/显示屏输出、运动输出、移动输出等。

示例性客户端计算实体

图3提供了表示可结合本发明的实施例使用的客户端计算实体102的说明性示意图。一般而言，术语设备、系统、计算实体、实体和/或本文可互换地使用的类似词语可以指代例如一个或多个计算机、计算实体、台式机、移动电话、平板电脑、平板手机、笔记本电脑、膝上型电脑、分布式系统、自助服务机、输入终端、服务器或服务器网络、刀片服务器、网关、交换机、处理设备、处理实体、机顶盒、中继、路由器、网络接入点、基站等和/或适于执行本文描述的功能、操作和/或过程的设备或实体的任何组合。客户端计算实体102可由各方操作。如图3所示，客户端计算实体102可包括天线312、发射机304(例如，无线电)、接收机306(例如，无线电)、以及相应地向发射机304和接收机306提供信号并从其接收信号的处理设备308(例如，CPLD、微处理器、多核处理器、协处理实体、ASIP、微控制器、和/或控制器)。

相应地，提供给发射机304和接收机306的信号和从其接收的信号可以包括根据适用无线系统的空中接口标准的信令信息/数据。在这方面，客户端计算实体102可以能够利用一个或多个空中接口标准、通信协议、调制类型和接入类型来操作。更特别地，客户端计算实体102可以根据多种无线通信标准和协议中的任何一种来操作，例如以上关于跨传感器预测性推断计算实体106所描述的那些。在特定实施例中，客户端计算实体102可以根据多个无线通信标准和协议进行操作，例如UMTS、CDMA2000、1xRTT、WCDMA、GSM、EDGE、TD-SCDMA、LTE、E-UTRAN、EVDO、HSPA、HSDPA、Wi-Fi、Wi-Fi直连、WiMAX、UWB、IR、NFC、蓝牙、USB等。类似地，客户端计算实体102可以根据多个有线通信标准和协议来操作，诸如上文关于跨传感器预测性推断计算实体106经由网络接口320所描述的那些。

经由这些通信标准和协议，客户端计算实体102可使用诸如非结构化补充业务数据(USSD)、短消息服务(SMS)、多媒体消息业务(MMS)、双音多频信令(DTMF)、和/或用户身份模块拨号器(SIM拨号器)等概念来与各种其它实体通信。客户端计算实体102还可以下载例如对其固件、软件(例如，包括可执行指令、应用、程序模块)和操作系统的改变、附加组件和更新。

根据一个实施例，客户端计算实体102可以包括位置确定方面、设备、模块、功能和/或本文中可互换地使用的类似词语。例如，客户端计算实体102可以包括室外定位方面，诸如适于获取例如纬度、经度、高度、地理编码、路线、方向、前进方向、速度、世界时(UTC)、日期和/或各种其他信息/数据的位置模块。在一个实施例中，位置模块可以通过识别可见卫星的数量和这些卫星的相对位置(例如，使用全球定位系统(GPS))来获取数据，有时称为星历数据。卫星可以是各种不同的卫星，包括低地球轨道(LEO)卫星系统、国防部(DOD)卫星系统、欧盟伽利略定位系统、中国北斗导航系统、印度区域导航卫星系统等。可以使用各种坐标系统来收集该数据，例如十进制度数(DD)；度、分、秒(DMS)；通用横轴墨卡托(UTM)；通用极坐标(UPS)坐标系等。可替代地，位置信息/数据可通过结合包括蜂窝塔、Wi-Fi接入点等的各种其它系统对客户端计算实体102的位置进行三角测量来确定。类似地，客户端计算实体102可以包括室内定位方面，诸如适于获取例如纬度、经度、高度、地理编码、路线、方向、前进方向、速度、时间、日期和/或各种其他信息/数据的位置模块。一些室内系统可以使用各种定位或位置技术，包括RFID标签、室内信标或发射器、Wi-Fi接入点、蜂窝塔、附近的计算设备(例如，智能手机、膝上型计算机)等。例如，这样的技术可以包括iBeacons、万向节接近信标(Gimbal proximity beacons)、蓝牙低功耗(BLE)发射器、NFC发射器等。这些室内定位方面可以在各种环境中使用以将某人或某物的位置确定到几英寸或几厘米内。

客户端计算实体102还可以包括用户界面(其可以包括耦合到处理设备308的显示器316)和/或用户输入界面(耦合到处理设备308)。例如，用户界面可以是在客户端计算实体102上可执行和/或经由其可访问的用户应用、浏览器、用户界面和/或本文中可互换地使用的类似词语，以与跨传感器预测性推断计算实体106交互和/或导致显示来自其的信息/数据，如本文所述。用户输入界面可以包括允许客户端计算实体102接收数据的多个设备或界面中的任何一个，诸如小键盘318(硬或软)、触摸显示器、语音/话音或运动界面、或其他输入设备。在包括小键盘318的实施例中，小键盘318可以包括(或导致显示)传统的数字(0-9)和相关的键(#，*)和用于操作客户端计算实体102的其他键，并且可以包括全套字母键或可以被激活以提供全套字母数字键的一组键。除了提供输入之外，用户输入界面还可以用于例如激活或取消激活某些功能，诸如屏幕保护程序和/或睡眠模式。

客户端计算实体102还可以包括易失性存储装置或存储器322和/或非易失性存储装置或存储器324，其可以是嵌入式的和/或可以是可移除的。例如，非易失性存储器可以是ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、千足虫存储器、赛道存储器等。易失性存储器可以是RAM、DRAM、SRAM、FPM DRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓存存储器、寄存器存储器等。易失性和非易失性存储装置或存储器可以存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等，以实现客户端计算实体102的功能。如所指示的，这可以包括驻留在实体上或者可通过浏览器或其他用户界面访问的用户应用，用于与跨传感器预测性推断计算实体106和/或各种其他计算实体进行通信。

在另一个实施例中，客户端计算实体102可以包括与跨传感器预测性推断计算实体106的组件或功能相同或相似的一个或多个组件或功能，如上文更详细地描述的。如将认识到的，这些体系结构和描述仅出于示例性目的而提供，并且不限制各种实施例。

在各种实施例中，客户端计算实体102可以被实现为人工智能(AI)计算实体，诸如Amazon Echo、Amazon Echo Dot、Amazon Show、Google Home等。因此，客户端计算实体102可以被配置为经由输入/输出机构来提供和/或接收来自用户的信息/数据，所述输入/输出机构诸如显示器、相机、扬声器、语音激活输入等。在某些实施例中，AI计算实体可包括存储在板载存储器存储模块内和/或通过网络可访问的一个或多个预定义且可执行的程序算法。在各种实施例中，AI计算实体可被配置成在发生预定义的触发事件时检索和/或执行预定义的程序算法中的一个或多个。

V.示例性系统操作

本发明的各种实施例通过基于传感器特定特征定义模型调整单传感器预测性推断来解决基于传感器的预测性数据分析模型的各种可扩展性挑战，所述传感器特定特征定义模型将与预测性推断问题相关联的相关信息集成到各个单传感器预测性推断例程。在一些实施例中，使用单传感器期望观测度量来执行所述调整，该单传感器期望观测度量是使用单传感器特征定义模型来定义的。利用传感器特定特征定义模型来定义用于各种传感器的期望观测度量提供了一种在执行单传感器预测性推断的同时集成跨传感器考虑的直观且可扩展的方法。以这种方式，维持单传感器特征提取的操作完整性，同时将跨传感器信号集成为单传感器特征提取模型的非侵入性且非结构改变的输出定义参数。这种创新特征进而解决了基于传感器的预测性数据分析系统的可扩展性挑战，并且对具有大量传感器的基于传感器的预测性数据分析系统的效率和有效性做出重要贡献。

此外，本发明的各种实施例通过基于在单传感器级别上提取的特征生成跨传感器预测来解决基于传感器的预测性数据分析系统的各种扩展性挑战。以这种方式，所述的实施例可以利用最先进的传感器特定特征提取技术(例如，用于图像传感器的卷积神经网络)，同时使用智能集成模型来组合单传感器预测，以生成跨传感器预测。所产生的跨传感器预测示出了由底层传感器特定模型的稳健性以及跨传感器集成模型的灵活性和强度所产生的强平均准确度水平。这种创新特征还解决了基于传感器的预测性数据分析系统的可扩展性挑战，并且对具有大量传感器的基于传感器的预测性数据分析系统的效率和有效性做出重要贡献。

跨传感器预测性推断

图4是用于执行跨传感器预测性推断的示例过程400的数据流程图。经由图4中描绘的各个步骤/操作，跨传感器预测性推断计算实体106可以利用由一组传感器411生成的传感器输入数据对象401A至401D，以高效且有效地集成单传感器预测信号和跨传感器预测信号两者的方式，生成可靠的跨传感器预测403，并基于所生成的跨传感器预测403执行基于预测的动作404。此外，经由图4中描绘的各个步骤/操作，跨传感器预测性推断计算实体106可以以不破坏所述的基于图像的特征提取模型的结构完整性的方式，有效地且高效地将诸如卷积神经网络之类的基于图像的特征提取模型与非基于图像的特征提取模型集成。

如图4所示，过程400在跨传感器预测性推断计算实体106从传感器411A至411D获得传感器输入数据对象401A至401D时开始。特别地，特征提取引擎112从传感器411A至411D接收传感器输入数据对象401A至401D。在图4中描绘的示例实施例中，每个传感器411被配置成生成单个对应的传感器输入数据对象401A至401D，并将对应的传感器输入数据对象401A至401D提供至与传感器411相关联的单个对应的特征提取引擎112。特别地，传感器A411A被配置为生成传感器输入数据对象A 401A并将传感器输入数据对象A 401A提供至特征提取引擎A 112A，传感器B 411B被配置为生成传感器输入数据对象B 401B并将传感器输入数据对象B 401B提供至特征提取引擎B 112B，传感器C 411C被配置为生成传感器输入数据对象C 401C并将传感器输入数据对象C 401C提供至特征提取引擎C 112C，并且传感器D411D被配置为生成传感器输入数据对象D 401D并将传感器输入数据对象D 401D提供给特征提取引擎D 112D。然而，相关技术领域的普通技术人员将认识到，可利用任何数量的传感器，可利用任何数量的特征提取引擎，每个传感器可生成任何数量的传感器输入数据对象，每个传感器可与任何数量的特征提取引擎相关联，且每个特征提取引擎可与任何数量的传感器相关联。

在一些实施例中，传感器输入数据对象是描述传感器关于物理环境的一个或多个真实世界观测的数据对象。传感器输入数据对象的示例包括由图像传感器(例如，摄像机)记录的图像数据对象、由温度计记录的温度数据对象、由接近传感器记录的接近数据对象、由加速度计记录的加速度数据对象、由压力传感器记录的压力数据对象、由位置传感器记录的位置数据对象等。在一些实施例中，特征提取引擎被配置为将特征提取模型应用于传感器输入数据对象，其中特征提取模型是被配置为从一个或多个传感器输入数据对象提取一个或多个传感器特征数据对象的推断模型。特征提取模型的示例包括机器学习模型，例如神经网络模型。在一些实施例中，特征提取模型包括图像特征提取模型。在那些实施例的一些中，图像特征提取模型包括一个或多个卷积神经网络、基于胶囊的机器学习模型(例如，诸如CapsNet的基于胶囊的卷积神经网络)等。通常，可以静态地、动态地和/或使用训练算法(例如，基于优化的训练算法，诸如梯度下降、具有反向传播的梯度下降、具有通过时间的反向传播的梯度下降等)来确定特征提取模型的参数和/或超参数。

如图4中所描绘的，当特征提取引擎112处理传感器输入数据对象401A至401D以生成传感器特征数据对象402A至402E时，过程400继续。在图4中描绘的示例实施例中，每个特征提取引擎112A至112C被配置为生成单个对应的传感器特征数据对象402A至402C，而特征提取引擎D 112D被配置为生成两个传感器特征数据对象D至E 402D至402E。换句话说，特征提取引擎A 112A处理由特征提取引擎A 112A从对应的传感器A 411A接收的对应的传感器输入数据对象A 401A，以生成对应的传感器特征数据对象A 402A，特征提取引擎B 112B处理由特征提取引擎B 112B从对应的传感器B 411B接收的对应的传感器输入数据对象B401B，以生成对应的传感器特征数据对象B 402B，特征提取引擎C112C处理由特征提取引擎C 112C从对应的传感器C 411C接收的对应的传感器输入数据对象C 401C，以生成对应的传感器特征数据对象C 402C，并且特征提取引擎D 112D处理由特征提取引擎D 112D从对应的传感器D 411D接收的对应的传感器输入数据对象D 401D，以生成对应的传感器特征数据对象D至E 402D至402E。通常，相关技术领域的普通技术人员将认识到，每个特征提取引擎可以生成任何数量的传感器特征数据对象。

在一些实施例中，传感器特征数据对象可以是基于传感器输入数据对象的期望观测度量的提取值。例如，如果图像数据对象的期望观测度量是对应物理环境在一时间段内的估计平均占用，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的对应物理环境在该时间段内的估计平均占用的结论。作为另一示例，如果图像数据对象的期望观测度量是对应物理环境在一时间段内的估计平均照明，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的对应物理环境在该时间段内的估计平均照明的结论。作为另一示例，如果图像数据对象的期望观测度量是特定对象在对应物理环境中在一段时间内的估计平均使用，则传感器特征数据对象可以是关于基于处理所述的图像数据对象而确定的该特定对象在对应物理环境中在一段时间内的估计平均使用的结论。在一些实施例中，多个特征提取模型包括卷积神经网络。在一些实施例中，多个特征提取模型包括基于胶囊的机器学习模型。

在一些实施例中，示例特征提取引擎A 112A的步骤/操作可以根据图5的流程图中所描绘的步骤/操作来执行。尽管关于特征提取引擎A 112A描述了本发明的各种实施例，但相关技术领域的普通技术人员将认识到，所描述的步骤/操作可由任何特征提取引擎执行，例如特征提取引擎B 112B、特征提取引擎C 112C和特征提取引擎D 112D中的一个或多个。

如图5所描绘的，当特征提取引擎A 112A识别与特征提取引擎A 112A相关联的传感器输入数据对象A 401A时，所示过程开始于步骤/操作501。尽管参考图像数据对象描述了本发明的各种实施例，但是相关技术领域的普通技术人员将认识到，可以利用具有任何数据格式的任何传感器输入数据对象A 401A。

在步骤/操作502，特征提取引擎A 112A检索用于传感器输入数据对象A 401A的特征定义模型。在一些实施例中，特征定义模型是描述基于对应传感器数据对象的一个或多个性质(例如，对应传感器数据对象的格式)和/或与对应传感器数据对象相关联的目标预测性实体的一个或多个推断性质，从对应传感器输入数据对象提取什么期望观测度量的模型。在一些实施例中，特征定义模型是静态特征定义模型。静态特征定义模型针对对应的传感器输入数据对象定义要始终从对应传感器输入数据对象中提取的一组期望观测度量。例如，用于图像数据对象的静态特征定义模型可以指示该图像数据对象应当总是被配置为提取对应物理环境的占用水平。在一些实施例中，特征定义模型是动态特征定义模型。动态特征定义模型针对对应传感器输入数据对象定义要从该传感器输入数据对象提取的期望观测度量集合，其中期望观测度量集合部分地基于指南来确定，该指南规定一些期望观测度量对正确检测的适用性和/或与其他期望观测度量相对应的特征数据的特定值。例如，用于图像数据对象的动态特征定义模型可以指示，如果图像数据对象指示对于对应物理环境的足够照明的可接受检测，则图像数据对象应当被配置成提取与该对应物理环境的占用相关的期望观察度量。在一些实施例中，可以至少部分地基于与传感器输入数据对象相关联的传感器来定义用于传感器输入数据对象的特征定义模型。例如，任何图像传感器的所有图像数据对象和/或与一个或多个指定传感器相关联的所有图像数据对象可以与共同特征定义模型相关联，例如共同动态特征定义模型。

在步骤/操作503，特征提取引擎A 112A至少部分地基于用于传感器输入数据对象A 401A的特征定义模型来确定传感器输入数据对象A 401A的一个或多个期望观测度量。在一些实施例中，期望观测度量描述了其相关数据预期可从对应的传感器输入数据对象提取的真实世界现象。例如，图像数据对象的第一期望观测度量可以描述与图像数据对象相关联的物理环境在一段时间内的平均占用的真实世界现象。作为另一示例，图像数据对象的第二观测度量可以描述与图像数据对象相关联的物理环境在一段时间内的平均照明的真实世界现象。作为又一示例，图像数据对象的第三观测度量可以描述与图像数据对象相关联的物理环境中的一个或多个对象在一段时间内的位置的真实世界现象。作为再一示例，图像数据对象的第四观测度量可以描述一个或多个对象在与图像数据对象相关联的物理环境中一段时间内的使用的真实世界现象。

在一些实施例中，步骤/操作503可以根据图6的流程图中所描绘的步骤/操作来执行。如图6中所描绘的，当特征提取引擎A 112A识别用于传感器输入数据对象A 401A的一个或多个潜在观测度量时，所描绘的过程开始于步骤/操作601。在一些实施例中，特征提取引擎A 112A基于传感器A 401A的一个或多个性质(例如基于传感器A 401A的类型)，来识别传感器输入数据对象A 401A的一个或多个潜在观测度量。在一些实施例中，特征提取引擎A112A基于传感器输入数据对象A 401A的一个或多个性质(例如基于传感器输入数据对象A401A的类型)，来识别传感器输入数据对象A 401A的一个或多个潜在观测度量。例如，特征提取引擎A112A可确定任何图像数据对象和/或与图像传感器相关联的任何传感器输入数据对象与平均容量潜在观测度量、照明潜在观测度量、基于对象位置的潜在观测度量等中的一个或多个相关联。

在步骤/操作602，特征提取引擎A 112A将在步骤/操作502中确定的特征定义模型应用于在步骤/操作601中确定的潜在观测度量，以选择潜在观测度量的期望子集。在一些实施例中，至少部分基于目标预测性实体的一个或多个推断性质来定义特征定义模型。在那些实施例中的一些中，特征提取引擎A 112A将特征定义模型应用于目标预测性实体的推断性质，以从潜在观测度量中选择期望观测度量。在一些实施例中，至少部分地基于一个或多个潜在观测度量中的每个潜在观测度量的特征置信度度量来定义特征定义模型。在这些实施例的一些中，特征提取引擎A 112A将特征定义模型应用于潜在观测度量的特征置信度度量，以从潜在观测度量中选择期望观测度量。

在一些实施例中，特征定义模型定义一个或多个度量选择规则，每个度量选择规则被配置为提供用于选择潜在观测度量的期望子集的指南，其中，一个或多个度量选择规则可以取决于目标预测性实体的推断性质和度量置信度值中的至少一个。在一些实施例中，目标预测性实体描述预测性推断模型试图预测的特定真实世界现象。目标预测性实体的示例包括产品质量评分、产品维护需求、建筑设计评分等。在一些实施例中，每个目标预测性实体与基于目标预测性实体的一个或多个性质的预测性推断模型相关联。例如，与数值评分相关联的目标预测性实体可以与回归预测性推断模型相关联。作为另一示例，与质量类别(例如，选自包括高质量类别、中等质量类别及低质量类别的范围的质量类别)相关联的目标预测性实体可与分类预测性推断模型相关联。在一些实施例中，目标预测性实体的推断性质描述目标预测性实体的性质，所述性质可用于(例如，根据特征定义模型)确定被配置为提取与目标预测性实体相关的传感器特征数据对象的传感器输入数据对象的期望观测度量。例如，目标预测性实体的推断性质可以描述目标预测性实体是否是数值评分生成任务、类别检测任务等。作为另一实例，目标预测性实体的推断性质可描述与目标预测性实体相关联的物理环境和/或时间范围。在一些实施例中，潜在观测度量的特征置信度度量描述了对应于潜在观测度量的推断预测的置信度水平。

图7示出了层次特征定义模型700的操作示例，其是上述动态特征定义模型的示例，其取决于目标预测性实体的推断性质以及特征置信度度量。根据图7中描绘的示例层次特征定义模型700，给定具有类型TA 701的目标预测性实体，期望观测度量包括度量M1 711和M2 712，以及以检测到其置信度值超过置信度值阈值的度量M2 712的值为条件的度量M3713。此外，给定具有类型TB 702的目标预测性实体，期望观测度量包括度量M3 713和M4714，以及以检测到其置信度值超过置信度值阈值的度量M4 714的值为条件的度量M2 712。

回到图6，在步骤/操作603，特征提取引擎A 112A基于在步骤/操作602中选择的潜在观测度量的子集来确定期望观测度量。在一些实施例中，特征提取引擎A 112A采用潜在观测度量的所选子集作为期望观测度量。在一些实施例中，特征提取引擎A 112A对潜在观测度量的所选子集执行一个或多个降维操作以生成期望观测度量。在一些实施例中，特征提取引擎A 112A根据经训练的度量生成模型处理潜在观测度量的所选子集，以生成期望观测度量。

返回图5，在步骤/操作504，对于在步骤/操作503中确定的期望观测度量中的每个期望观测度量，特征提取引擎A 112A通过使用与传感器输入数据对象A 401A相关联的特征提取模型处理传感器输入数据对象来确定多个传感器特征数据对象中的传感器特征数据对象。在一些实施例中，至少部分地基于与传感器输入数据对象A 401A相关联的传感器来定义特征提取模型。例如，任何图像传感器的所有图像数据对象和/或与一个或多个指定传感器相关联的所有图像数据对象可以与共同特征定义模型相关联，例如共同动态特征定义模型。在一些实施例中，特征提取模型包括一个或多个图像特征提取模型。在一些实施例中，一个或多个图像特征提取模型包括卷积神经网络。在一些实施例中，一个或多个图像特征提取模型包括基于胶囊的机器学习模型(例如，CapsNet，参见例如Hinton et al.,“Dynamic Routing Between Capsules,”arXiv:1710.09829v2，公布于2017年11月7日)。

在一些实施例中，步骤/操作504可以根据图8中描绘的步骤/操作来执行，图8是使用合格模型定位来执行单传感器特征提取的示例过程的流程图。如图8所描绘的，当特征提取引擎A 112A识别用于处理传感器输入数据对象A 401A的通用模型和局部模型以生成传感器特征数据对象A 402A时，所示过程开始于步骤/操作801。在一些实施例中，局部模型是基于与传感器数据对象A 411A的物理环境相关联的局部训练数据生成的特征提取模型。在一些实施例中，通用模型是基于与传感器数据对象A 411A的物理环境无关联的全局训练数据生成的特征提取模型。在一些实施例中，通用模型是使用外部库导入的特征提取模型。

在步骤/操作802，特征提取引擎A 112A基于局部模型的局部模型置信度度量是否超过模型置信度阈值来选择特征提取模型。在一些实施例中，响应于确定局部模型的局部模型置信度度量超过模型置信度阈值，特征提取引擎A 112A采用局部模型作为第一特征提取模型。在一些实施例中，响应于确定局部模型的局部模型置信度度量未超过模型置信度阈值，特征提取引擎A 112A采用通用模型作为第一特征提取模型。在一些实施例中，至少部分地基于通用模型的通用模型置信度度量来确定模型置信度阈值。例如，模型置信度阈值可以等于通用模型的通用模型置信度度量。作为另一示例，可以通过将权重(例如，使用经训练的算法确定的权重)应用于通用模型的通用模型置信度度量来生成模型置信度阈值。作为又一示例，可以基于与测试数据相关联的各个测试预测标签的估计的先验可靠性的分布来确定模型置信度阈值。

在一些实施例中，通过对与测试预测标签相关联的测试数据使用局部模型并且将由局部模型生成的推断标签与测试预测模型进行比较来生成局部模型的局部模型置信度度量。在一些实施例中，基于局部模型的多层丢失函数来生成局部模型的局部模型置信度度量，该多层丢失函数采用不同的置信度度量生成方程，以基于测试数据的大小和与测试数据相关联的测试预测标签的估计的先验可靠性中的至少一个来生成局部模型置信度度量。在一些实施例中，通过对与测试预测标签相关联的测试数据使用通用模型并且将由通用模型生成的推断标签与测试预测模型进行比较来生成通用模型的通用模型置信度度量。在一些实施例中，基于局部模型的多层丢失函数来生成局部模型的通用模型置信度度量，该多层丢失函数采用不同的置信度度量生成方程，以基于测试数据的大小和与测试数据相关联的测试预测标签的估计的先验可靠性中的至少一个来生成通用模型置信度度量。

在步骤/操作803，特征提取引擎A 112A使用在步骤/操作802中选择的特征提取模型确定传感特征数据对象A 402A。在一些实施例中，通过仅在局部模型置信度度量超过模型置信度阈值时选择局部模型，特征提取引擎A112A在选择单传感器推断模型时启用合格模型定位。尽管本发明的各种实施例关于单传感器推断模型描述了所述的合格模型定位技术，但是相关技术领域的普通技术人员将认识到，所述的合格模型定位技术可以用于部署任何种类的局部模型，例如，部署局部跨传感器预测性推断模型。

在一些实施例中，步骤/操作504可以根据图9中描绘的步骤/操作来执行，图9是使用联邦学习来执行单传感器特征提取的示例过程。如图9中所描绘的，当特征提取引擎A112A识别一个或多个模型生成设备时，所描绘的过程开始于步骤/操作901。模型生成设备的示例包括客户端计算设备102，诸如客户端个人计算机设备、客户端智能电话设备、客户端平板设备、客户端智能手表设备等。

在步骤/操作902，特征提取引擎A 112A从在步骤/操作902中识别的每个模型生成设备接收用于特征提取模型的权重更新数据。在一些实施例中，从模型生成设备接收的权重更新数据包括用于特征提取模型的参数的推荐值，其中基于在模型生成设备上执行的特征提取模型的训练来确定接收的推荐值。在一些实施例中，从模型生成设备接收的权重更新数据包括用于特征提取模型的参数的推荐值，其中基于使用训练数据在模型生成设备上执行的特征提取模型的训练来确定接收的推荐值，训练数据至少部分地使用模型生成设备的一个或多个传感器来获得。在一些实施例中，从模型生成设备接收的权重更新数据包括用于特征提取模型的参数的推荐值，其中基于使用训练数据在模型生成设备上执行的特征提取模型的训练来确定接收的推荐值，训练数据至少部分地从一个或多个数据收集设备获得，数据收集设备将训练数据发送至模型生成设备。数据收集设备的示例包括客户端计算设备102，诸如客户端个人计算机设备、客户端智能电话设备、客户端平板设备、客户端智能手表设备等。

在步骤/操作903，特征提取引擎A 112A至少部分地基于从一个或多个模型生成设备中的模型生成设备接收的每个权重更新数据来确定特征提取模型。在一些实施例中，确定特征提取模型还包括至少部分地基于一个或多个模型生成设备中的模型生成设备的每个训练强度度量来确定特征提取模型。在一些实施例中，至少部分地基于由模型生成设备使用的训练数据的量来确定用于模型生成设备的训练强度度量，以生成用于特征提取模型的推荐参数。在一些实施例中，至少部分地基于由模型生成设备执行的训练的计算复杂度来确定模型生成设备的训练强度度量，以生成用于特征提取模型的推荐参数。在一些实施例中，至少部分地基于由模型生成设备执行的训练的存储复杂度(例如，RAM存储复杂度、硬盘存储复杂度、RAM存储复杂度和硬盘存储复杂度两者等)来确定模型生成设备的训练强度度量，以生成用于特征提取模型的推荐参数。

在步骤/操作904，特征提取引擎A 112A使用在步骤/操作903中确定的特征提取模型确定传感器特征数据对象A 402A。在一些实施例中，通过基于从模型生成设备接收的权重更新数据确定特征提取模型，特征提取引擎A 112A使得能够在确定传感特征数据时利用联邦学习。尽管本发明的各种实施例关于单传感器推断模型描述了联邦学习技术，但是相关技术领域的普通技术人员将认识到，所述的联邦学习技术可以用于生成任何预测性推断模型，例如跨传感器预测性推断模型。

在一些实施例中，步骤/操作504可以根据图9中描绘的步骤/操作来执行，图9是基于图像传感器输入数据确定图像传感器特征数据的示例过程。如图9所示，所描述的过程包括接收图像(在步骤/操作1001)，对所接收的图像执行预处理(这使得参考图像是单个示例，尽管输入可以包括其他形式，诸如热、气体成分、声音、移动等)(步骤/操作1002)，对所接收的图像执行建模(步骤/操作1003)，以及基于建模的图像生成推断输出(步骤/操作1004)。基于图像的推断输出的示例包括图11的基于图像的对象检测输出1100(例如，包括检测到的对象1101)和图12的概率性的基于图像的对象检测输出1200(例如，包括概率性的检测到的对象1201，其与0.94％的检测置信度评分相关联)。

返回图4，当跨传感器预测性推断引擎113使用跨传感器预测性推断模型处理传感器特征数据对象402A至402E以生成与传感器输入数据对象401A至401D相关联的目标预测性实体和/或与传感器411A至411D相关联的目标预测性实体的跨传感器预测403时，过程400继续。在一些实施例中，跨传感器预测性推断模型是被配置为处理两个或更多传感器特征数据对象以生成跨传感器预测推断模型，其中跨传感器预测是关于与被配置为提取传感器特征数据对象的传感器输入数据对象相关联的目标预测性实体。

例如，跨传感器预测性推断模型可以被配置为利用描述特定物理环境的平均占用的基于图像的传感器特征数据对象、描述特定物理环境的平均照明的基于图像的传感器特征数据对象、描述特定物理环境的平均温度的基于温度的传感器特征数据对象、以及描述特定物理环境的平均占用的基于压力的传感器特征数据对象(例如，基于估计在特定物理环境中的特定压力记录点(诸如特定物理环境的入口)上提取的压力)，以确定特定物理环境的预测舒适度水平。

作为另一示例，跨传感器预测性推断模型可以被配置为利用描述特定物理环境的平均占用的基于图像的传感器特征数据对象、描述特定物理环境的平均照明的基于图像的传感器特征数据对象、描述特定物理环境的平均温度的基于温度的传感器特征数据对象、以及描述特定物理环境的平均占用的基于压力的传感器特征数据对象，以确定在该特定物理环境中空调系统的预测维护需要。

作为又一示例，跨传感器预测性推断模型可以被配置为利用描述第一物理环境的平均占用的基于图像的传感器特征数据对象、描述第一特定物理环境的平均照明的基于图像的传感器特征数据对象、描述第二物理环境的平均温度的基于温度的传感器特征数据对象、以及描述第三物理环境的平均占用的基于压力的传感器特征数据对象，以确定与这三种物理环境相关联的空调系统的预测维护需要。

作为另一示例，跨传感器预测性推断模型可以被配置为利用描述第一物理环境的平均占用的基于图像的传感器特征数据对象、描述第一特定物理环境的平均照明的基于图像的传感器特征数据对象、描述第二物理环境的平均温度的基于温度的传感器特征数据对象、以及描述第三物理环境的平均占用的基于压力的传感器特征数据对象，以确定与这三种物理环境相关联的空调系统相关联的空调系统模型的预测质量评分。

在一些实施例中，跨传感器预测403是由跨传感器预测性推断模型基于处理两个或更多传感器特征数据对象而生成的预测。跨传感器预测的实例包含产品质量评分预测、产品维护需要预测、建筑设计评分预测等。在一些实施例中，跨传感器预测是由跨传感器预测性推断模型生成的集成预测，该跨传感器预测性推断模型是被配置为组合两个或更多预测性推断模型和/或两个或更多特征提取模型的预测的集成模型。

返回图4，当基于预测的动作引擎114至少部分地基于一个或多个跨传感器预测403来执行一个或多个基于预测的动作404时，过程400继续。在一些实施例中，基于预测的动作是被配置为基于一个或多个预测来启用一个或多个最终用户功能的计算机实现的例程。

例如，基于指示空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为安排维护预约。作为另一示例，基于指示空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为向最终用户生成指示所述的维护需要的数字通知。作为又一示例，基于指示特定房间的空调系统的维护需要的预测，跨传感器预测性推断计算实体可被配置成自动更新该特定房间的日历邀请以改变该日历邀请的位置性质。作为进一步的示例，基于指示服务器系统的维护需要的预测，跨传感器预测性推断计算实体可被配置为自动执行对服务器系统的维护(例如，负载均衡维护)。

预测输出数据建模

在一些实施例中，基于跨传感器预测性推断引擎的任何输出而生成的数据可被存储和/或呈现在由跨传感器预测性推断计算实体106生成的数据交互平台中。图13提供了用于这种数据交互平台的用户界面1300的操作示例。用户界面1300包括用户界面元素1301-1308以及用户界面元素1310。用户界面元素1301-1308各自对应于表征数据交互平台所利用的数据对象之间的层次依赖性结构的根节点的层次元类型指定。如以下进一步描述的，数据交互平台维护数据对象的层次，其中每个子数据对象在层次上依赖于一个或多个父数据对象。例如，与作为特定公司的雇员和特定大学的毕业生的特定人相对应的数据对象可以是与特定公司的雇员相关联的数据对象和与特定大学的毕业生相关联的数据对象的层次依赖关系。与特定公司的雇员相关联的数据对象又可以是与工作成人相关联的数据对象的层次依赖关系，而与特定大学的毕业生相关联的数据对象又可以是与大学毕业生相关联的数据对象的层次依赖关系。如下面进一步讨论的，本发明的创新方面涉及利用在数据对象之间的层次依赖性结构的每个级别提供的关系认知信号(例如，特定数据对象的每个父数据对象的吸收评分)来为特定数据对象生成关系认知评分。

在某些实施例中，跨层次依赖性结构将每个数据对象与各种预先配置的层次元类型指定中的至少一个相关，其中每个层次元类型指定可涉及数据对象的基本特性，其中该数据对象的基本特性向其与其它数据对象的关系给予通用含义。如上所述，预配置层次元类型指定可作为数据交互平台所利用的数据对象之间的层次依赖性结构的根节点。各种方法可适于定义这种预配置层次元类型指定，其中每个方法可利用数据对象的不同基本特性来定义预配置层次元类型指定和/或维护用于定义预配置层次元类型指定的不同粒度级别。在图13的用户界面1300中所描绘的示例性方法中，基于主要和潜在次要特征/分类来定义预配置层次元类型指定，以包括与用户界面元素1301相关联的“生命体”指定、与用户界面元素1302相关联的“地点”指定、与用户界面元素1303相关联的“事物”指定、与用户界面元素1304相关联的“时间”指定、与用户界面元素1305相关联的“动作”指定、与用户界面元素406相关联的“通信”指定、与用户界面元素307相关联的“分组”指定、以及与用户界面元素1308相关联的“知识”指定。然而，相关技术领域的普通技术人员将认识到，各种预先配置的层次元类型指定的其他构想是可行的，并且可以在各种实施方式和使用情况中赋予特定优点。

取决于系统语义，“生命体”层次元类型指定可以涉及描述人、联系人、动物、植物等的数据对象。图14中呈现了描绘可响应于用户对用户界面元素1301的选择而生成的特定“生命体”数据对象的视觉关系的用户界面的操作示例。图14中所描绘的用户界面包括各种目标“生命体”数据对象的可视化，诸如对应于名为“Pooya Shokhi”的个人的“生命体”数据对象，其视觉表示是使用图14的用户界面中的用户界面元素1401来描绘的。如图15的用户界面中所示，用户界面元素1401的用户选择描绘了与所选择的“生命体”数据对象相关的数据对象，其中数据对象又由以上关于用户界面元素1301-1308讨论的预配置层次元类型指定来组织，此处分别与用户界面元素1501-1508相关联。图15中描绘的用户界面还使得能够通过经由用户界面元素1510选择用于新数据对象的指定并且选择用户界面元素1511来添加与所选择的“生命体”数据对象相关的新数据对象，这进而导致显示图16中描绘的用户界面，其包括用于输入新数据对象的属性的表格(诸如可以使用用户界面元素1601输入的公司名称属性名称、可以使用用户界面元素1602输入的公司行业部门属性名称、以及可以使用用户界面元素1603输入的公司地址属性)。

取决于系统语义，“地点”层次元类型指定可以涉及描述位置、城市、区域、国家、大陆等的数据对象。“地点”数据对象可以与其他层次元类型指定的数据对象具有关系。例如，“地点”数据对象可以与“生命体”数据对象具有“出生于”关系。作为另一示例，“地点”数据对象可以与“动作”数据对象具有“将被执行于”关系。作为又一示例，“地点”数据对象可以与“事物”数据对象具有“位于...中”关系。作为另一示例，“地点”数据对象可以与“通信”数据对象具有“发生于”关系。

取决于系统语义，“事物”层次元类型指定可以涉及描述建筑物、产品、无生命对象、装备、库存等的数据对象。“事物”数据对象可以与其他层次元类型指定的数据对象具有关系。例如，“事物”数据对象可以与“生命体”数据对象具有“购买”关系。作为另一示例，“事物”数据对象可以与“动作”数据对象具有“使用...生成”关系。作为又一示例，“事物”数据对象可与“地点”数据对象具有“位于...中”关系。作为进一步的示例，“事物”数据对象可以与“通信”数据对象具有“为其对象”关系。在一些实施例中，“事物”数据对象可以经由预配置格式的文件来选择，所述预配置格式的文件被配置为生成所述的“事物”数据对象的可视化，例如使用与建筑物或产品相关联的关系认知建模数据来描述建筑物或产品的可视化的文件。图21提供了文件选择用户界面的操作示例，该文件选择用户界面可响应于用户对用户界面元素1303的选择而生成，以使用户能够选择具有描述“事物”数据对象的可视化的预配置格式的文件。

取决于系统语义，“时间”层次元类型指定可涉及描述秒、分钟、小时、日期和/或类似物的数据对象。“时间”数据对象可以与其它层次元类型指定的数据对象具有关系。例如，“时间”数据对象可以与“生命体”数据对象具有“出生于”关系。作为另一个例子，“时间”数据对象可以与“动作”数据对象具有“被执行于”关系。作为又一示例，“时间”数据对象可与“事物”数据对象具有“被购买于”关系。作为另一示例，“时间”数据对象可与“通信”数据对象具有“发生于”关系。在一些实施例中，时间数据对象可以是特定事件的类别。在一些实施例中，时间数据对象可以以线性和非线性方式使用，并且可以被认为与动作数据对象相关。时间数据对象也可以用来描述“活动”和“非活动”状态，例如一个人在落入其生命期内的时间段期间被认为是“活动”的而在其死亡时间段之后被认为是不活动。

取决于系统语义，“动作”层次元类型指定可涉及描述事件、任务、项目、表演、音乐会等的数据对象。“动作”数据对象可以与其它层次元类型指定的数据对象具有关系。例如，“动作”数据对象可与“生命体”数据对象具有“由...执行”关系。作为另一示例，“动作”数据对象可与“时间”数据对象具有“将被执行于”关系。作为又一示例，“动作”数据对象可与“事物”数据对象具有“可由...执行”关系。作为进一步的示例，“动作”数据对象可与“通信”数据对象具有“使用...处理”关系。在一些实施例中，“动作”层次元类型指定可以具有两个子数据对象，“任务”子数据对象和“项目”子数据对象。图18提供了可响应于与“动作”层次元类型指定相关联的用户界面元素1305的用户界面而生成的用户界面的操作示例。如图18所示，所描绘的用户界面包括用户界面元素1801-1802，其分别对应于“任务”数据对象和“项目”数据对象。如图19的用户界面中进一步描绘的，对与“任务”数据对象相关联的用户界面元素1801的选择涉及描绘取决于“任务”数据对象的各种目标数据对象，包括与用户界面元素1801相关联的“Install ViZZ”数据对象。如图20的用户界面中进一步所示，对与所选择的“任务”数据对象相关的用户界面元素1801数据对象的选择，其中数据对象进而由以上关于用户界面元素1301-1308讨论的预配置层次元类型指定来组织。

取决于系统语义，“通信”层次元类型指定可涉及描述电子邮件、电话呼叫、文本消息、寻呼机消息、会议等的数据对象。“通信”数据对象可以与其它层次元类型指定的数据对象具有关系。例如，“通信”数据对象可与“生命体”数据对象具有“被...接收”关系。作为另一示例，“通信”数据对象可与“动作”数据对象具有“包括对...的指南”关系。作为又一示例，“通信”数据对象可与“事物”数据对象具有“讨论...的价格”关系。作为另一示例，“通信”数据对象可与“时间”数据对象具有“发生于”关系。

取决于系统语义，“分组”层次元类型指定可以涉及描述公司、团队、组织、电子邮件列表等的数据对象。“分组”数据对象可以与其它层次元类型指定的数据对象具有关系。例如，“分组”数据对象可与“生命体”数据对象具有“为...的参与者”关系。作为另一个例子，“分组”数据对象可与“动作”数据对象具有“预期执行”关系。作为又一示例，“分组”数据对象可与“事物”数据对象具有“是...的拥有者”关系。作为另一示例，“分组”数据对象可与“时间”数据对象具有“形成于”关系。在一些实施例中，分组数据对象可以表示每个组中的数据对象之间的关系，例如，人员的集合可以由公司的数据对象组来表示，从而经由该公司创建那些联系人的关系。

取决于系统语义，“知识”层次元类型指定可以涉及描述文件、文档、书籍、文章等的数据对象。“知识”数据对象可以与其它层次元类型指定的数据对象具有关系。例如，“知识”数据对象可与“生命体”数据对象具有“由...创作”关系。作为另一示例，“知识”数据对象可与“动作”数据对象具有“描述如何执行”关系。作为又一示例，“知识”数据对象可与“事物”数据对象具有“包括关于...的信息”关系。作为另一示例，“知识”数据对象可与“时间”数据对象具有“被创造于”关系。在某些实施例中，“知识”层次元类型指定可具有两个子数据对象，“文件”子数据对象和“文档”子数据对象。图20提供了可响应于与“知识”层次元类型指定相关联的用户界面元素408的用户界面而生成的用户界面的操作示例。如图20所示，所描绘的用户界面包括用户界面元素2001-2002，其分别对应于“文件”数据对象和“文档”数据对象。知识数据对象还可以具有在知识项的相同特征类别内的“与之相关”的信息以及关于相同主题的其他信息。

返回图13，用户界面1300还包括用户界面元素1310，其使得用户能够选择数据交互平台的一个或多个环境状态。数据交互平台的环境状态可以指示在特定时间使用数据交互平台背后的推断的用户目的和/或指示的用户目的。可以至少部分地基于用户提供的信息和/或通过对在不同的时间间隔和/或在不同的位置的数据使用执行机器学习分析来生成环境状态。例如，跨传感器预测性推断计算实体106可以至少部分地基于用户交互数据来推断用户在不同的时间间隔使用单独的数据对象组，并且因此断定单独的数据对象组属于不同的环境。此外，可以至少部分地基于明确的用户选择和/或至少部分地基于检测到用户在与特定环境状态相关联的一天中的时刻和/或位置处来执行对用于特定使用会话的一个或多个环境状态的选择。例如，跨传感器预测性推断计算实体106可以在工作时间和/或当用户位于用户办公室的地理位置时，推断用户的特定使用会话的“工作”环境状态。如下面进一步讨论的，本发明的创新方面涉及利用由环境状态提供的用于数据交互平台的使用的关系认知信号，以生成特定数据对象的关系认知评分。

图22提供了使得用户能够选择环境状态的用户界面的操作示例。如图22的用户界面中所描绘的，定义的环境状态被分成四个元类型指定：包括环境状态“Pooya的私人工作空间”2211的“生活(live)”指定2201(例如，与私有或个人环境状态有关)、“工作”指定2202(例如，与专业环境状态有关)、包括环境状态“Pooya的娱乐”2213的“玩乐”指定2203(例如与娱乐相关或休闲相关的环境状态相关)、以及包括环境状态“全局公共”2214的“全局”指定2204(例如，与一般或公共环境状态有关)。用户可通过将勾选标记(checkmark)放置在与环境状态相关联的用户界面元素旁边并选择提交按钮来选择该环境状态。环境状态的选择或取消选择可以影响检索到的数据项的可视化。例如，如相对于图14的用户界面在图23的用户界面中所描绘的，在选择环境状态“全局公开”2214之后，与在选择环境状态“全局公开”2214之前相比，用户界面元素1301的选择导致生成和显示具有更多数量的所描绘的数据对象的更拥挤的可视化。在一些实施例中，可以利用环境来定义用于访问特定数据对象和/或特定对象间关系的安全参数。

这里使用图13-23示出和描述的示例性数据交互平台可以用于处理数据检索查询并生成响应查询输出，其中数据检索查询是检索与特定数据检索查询标准(例如，一个或多个过滤标准、一个或多个搜索标准等)相对应的一个或多个数据对象的任何请求。例如，图24提供了用于使用所述数据交互平台处理数据检索查询的用户界面2400的操作示例。如图24所示，用户界面2400包括用于指定数据检索查询标准的用户界面元素2401、用于指定定义数据的所需可视化的可视化参数的用户界面元素2402、以及描绘搜索结果的用户界面元素2403。如图25的用户界面2500中进一步描绘的，查询输出可以被保存为会话2501-2502，并且可视化结果2503可以包括检索到的数据对象之间的关系。下面将更详细地描述使用所提出的数据交互平台来处理数据检索查询。

为了提供本文讨论的数据建模、数据可视化、外部集成和查询处理功能，利用动态关系认知的数据交互平台需要利用支持所述功能的关系认知建模方面以及动态用户交互方面的稳健逻辑数据模型。图26中提供了用于数据交互系统的这种逻辑数据模型2600的示例。如图26所示，用户节点2601与用户简档对象2602相关联，用户简档对象唯一地标识数据交互平台内的用户节点2601，编码用户节点2601相对于数据交互平台的特性和关系，并使得用户节点2601能够与数据交互平台内的其它用户节点2601交互。用户简档对象2602管理各种数据对象，例如其对数据交互平台的访问由用户节点2601控制的用户简档对象的协作空间2603、由用户节点2601与数据交互平台内的其他用户简档对象共享并且可以包括诸如主数据对象2641的主数据对象或诸如共享空间2642的其他共享空间的数据对象的共享空间2604、使得用户节点2601能够在组级别上管理对其数据的访问的团队对象2605、各自标识与用户节点2601相关联的环境状态的环境对象2606、以及各自标识与用户节点2601相关联的环境状态的元类型指定的环境类2607。

如图26的逻辑数据模型2600中进一步描述的，用户简档对象2602拥有空间对象2608，其可以用作多个数据对象的容器，并且可以包括诸如空间对象2681的一个或多个空间对象、诸如主数据对象2682的一个或多个主数据对象、以及诸如次级数据对象2683的一个或多个次级数据对象。此外，用户简档对象2602拥有主数据对象2609，其可以用作主数据节点，并且可以包括诸如空间对象2691的一个或多个空间对象、诸如主数据对象2692的一个或多个主数据对象、以及诸如次级数据对象2694的一个或多个次级数据对象。在一些实施例中，次级数据对象是通过与另一数据对象相关联而定义的数据对象，使得在删除另一数据对象时将删除该数据对象。次级数据对象的示例是个人数据对象的电话号码数据对象。在一些实施例中，图26的逻辑数据模型2600中描述的至少一些数据对象是“默认”数据对象，意味着它们在创建用户简档对象时被自动创建。在一些实施例中，默认数据对象包括团队对象2605、协作者空间2603和共享空间2604中的一个或多个。

在一些实施例中，参考图13至26描述的数据交互平台基于与数据对象相关联的关系认知评分来对数据建模。在一些实施例中，为了生成数据对象的关系认知评分，跨传感器预测性推断计算实体106执行图26中描绘的过程2600的步骤/操作。如图26所示，当跨传感器预测性推断计算实体106生成特定数据对象的个体吸收评分时，该过程开始于步骤/操作2701。在一些实施例中，特定数据对象的个体吸收评分指示给定特定数据对象的一个或多个个体属性的情况下特定数据对象的估计的关系认知趋势。例如，至少部分地基于用于推断个体吸收评分的示例模型，与具有高教育程度的特定个人相关联的数据对象可以被认为具有高吸收评分。作为另一示例，至少部分地基于用于生成个体吸收评分的另一示例模型，与具有特定身体特征(例如，年龄、身高、体重等)的特定个人相关联的数据对象数据对象可被认为具有高吸收评分。

在步骤/操作2702，跨传感器预测性推断计算实体106生成用于特定数据对象的层次吸收评分。例如，具有层次父级P1、P2和P3的特定数据对象的层次吸收评分可以至少部分地基于P1、P2和P3的个体吸收评分来确定。在一些实施例中，至少部分地基于作为数据对象的层次父级的父数据对象的每个个体吸收评分来确定数据对象的层次吸收评分。在一些实施例中，特定数据对象的一个或多个父数据对象包括特定数据对象的层次元类型，其中特定数据对象的层次元类型指示特定数据对象是否包括多个预定义的层次元类型指定中的一个或多个相关层次元类型指定。

在一些实施例中，多个预定义的层次元类型指定包括：与生命体真实世界实体相关联的第一预定义层次元类型指定、与非生命体对象真实世界实体相关联的第二预定义层次元类型指定、与位置定义真实世界实体相关联的第三预定义层次元类型指定、与时间定义真实世界实体相关联的第四预定义层次元类型指定、与通信定义实体相关联的第五预定义层次元类型指定、与组定义实体相关联的第六预定义层次元类型指定、以及与知识定义实体相关联的第七预定义层次元类型指定。

在步骤/操作2703，跨传感器预测性推断计算实体106为特定数据对象生成操作吸收评分。在一些实施例中，至少部分地基于与特定数据对象操作地相关的相关数据对象的每个个体吸收评分来确定数据对象的操作吸收评分。在一些实施例中，如果在两个数据对象之间存在非层次关系，则相关数据对象被认为与特定数据对象相关。在一些实施例中，特定数据对象的一个或多个相关数据对象包括与特定数据对象相关联的一个或多个用户定义对象，和与特定数据对象相关联的一个或多个访问定义数据对象。在一些实施例中，与特定数据对象相关联的一个或多个用户定义对象包括与该特定数据对象相关联的一个或多个主用户定义对象，和与特定数据对象相关联的一个或多个协作者用户定义对象。在一些实施例中，与特定数据对象相关联的一个或多个访问定义数据对象包括与特定数据对象相关联的一个或多个共享空间数据对象(例如，公共共享空间数据对象、协作者空间对象、共享空间对象等)。

在步骤/操作2704，跨传感器预测性推断计算实体106为特定数据对象生成基于属性的吸收评分。在一些实施例中，至少部分地基于相似数据对象的每个个体吸收评分来执行特定数据对象的基于属性的吸收评分，所述相似数据对象的相应个体属性被确定为与该特定数据对象的一个或多个对象属性足够相似。在一些实施方案中，跨传感器预测性推断计算实体106生成每对数据对象之间的距离度量，并确定其距离度量超过阈值距离度量的特定数据对象对。在这些实施例的一些中，跨传感器预测性推断计算实体106至少部分地基于作为也包括该特定数据对象的特定数据对象对的成员的任何数据对象，为该特定数据对象生成基于属性的吸收评分。

在步骤/操作2705，跨传感器预测性推断计算实体106至少部分基于特定数据对象的个体吸收评分、特定数据对象的层次吸收评分、特定数据对象的操作吸收评分和特定数据对象的属性吸收评分，来生成该特定数据对象的关系认知评分。在一些实施例中，为了生成特定数据对象的关系认知评分，跨传感器预测性推断计算实体106将参数应用于特定数据对象的吸收评分、特定数据对象的层次吸收评分、特定数据对象的操作吸收评分和特定数据对象的属性吸收评分中的每一个，其中可以使用诸如广义线性模型的预配置吸收评分生成模型和/或使用用于确定吸收评分的监督机器学习算法来确定每个参数。

VI.结论

因此，已经描述了本主题的特定实施例。其它实施例也在所附权利要求的范围内。在一些情况下，权利要求中所记载的动作可以以不同的顺序执行并且仍然实现期望的结果。另外，除非另外描述，否则附图中所描绘的过程不必需要所示出的特定顺序或序列顺序来实现所期望的结果。在某些实施方式中，多任务和并行处理可以是有利的。受益于在前述描述和相关附图中呈现的教导，本公开所属领域的技术人员将想到许多修改和其它实施例。因此，应当理解，本公开不限于所公开的具体实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围内。尽管在此使用了特定术语，但是它们仅在一般性和描述性意义上使用，而不是为了限制的目的。

Claims (20)

1.一种用于跨传感器预测性推断的计算机实现的方法，所述计算机实现的方法包括：

识别包括一个或多个图像数据对象的多个传感器输入数据对象；

至少部分地基于所述多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定所述多个传感器特征数据对象包括：

对于所述多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于所述传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及

对于与所述多个传感器输入数据对象中的传感器输入数据对象相关联的所述一个或多个期望观察度量中的每个期望观察度量，通过使用与所述传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理所述传感器输入数据对象来确定所述多个传感器特征数据对象中的传感器特征数据对象，其中所述多个特征提取模型包括一个或多个图像特征提取模型；

通过使用跨传感器预测性推断模型处理所述多个传感器特征数据对象来生成用于与所述多个传感器输入数据对象相关联的目标预测性实体的一个或多个跨传感器预测；以及

至少部分地基于所述一个或多个跨传感器预测来执行一个或多个基于预测的动作，其中，所述基于预测的动作表示被配置为基于一个或多个预测来启用一个或多个最终用户功能的计算机实现的例程。

2.根据权利要求1所述的计算机实现的方法，其中，所述多个特征提取模型包括卷积神经网络。

3.根据权利要求1所述的计算机实现的方法，其中，所述多个特征提取模型包括基于胶囊的机器学习模型。

4.根据权利要求1所述的计算机实现的方法，其中，确定用于所述多个传感器输入数据对象中的传感器输入数据对象的所述一个或多个期望观测度量包括：

识别用于所述传感器输入数据对象的一个或多个潜在观测度量；以及

通过至少部分地基于用于所述传感器的所述特征定义模型选择所述一个或多个潜在观测度量的期望子集来确定所述一个或多个期望观测度量。

5.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述目标预测性实体的一个或多个推断性质来定义所述特征定义模型。

6.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述一个或多个潜在观测度量中的每个潜在观测度量的特征置信度度量来定义所述特征定义模型。

7.根据权利要求1所述的计算机实现的方法，其中，生成与所述多个传感器数据对象中的第一传感器数据对象相关联的所述多个特征提取模型中的第一特征提取模型包括：

识别通用模型和局部模型，其中所述局部模型至少部分地基于与所述第一传感器数据对象的物理环境相关联的局部训练数据而生成；

确定所述局部模型的局部模型置信度度量是否超过模型置信度阈值；

响应于确定所述局部模型的所述局部模型置信度度量超过所述模型置信度阈值，采用所述局部模型作为所述第一特征提取模型；以及

响应于确定所述局部模型的所述局部模型置信度度量未超过所述模型置信度阈值，采用所述通用模型作为所述第一特征提取模型。

8.根据权利要求7所述的计算机实现的方法，其中，至少部分地基于所述通用模型的通用模型置信度度量来确定所述模型置信度阈值。

9.根据权利要求1所述的计算机实现的方法，其中，生成所述多个特征提取模型中的第一特征提取模型包括：

识别与所述第一特征提取模型相关联的一个或多个模型生成设备；

从所述一个或多个模型生成设备中的每个模型生成设备接收用于所述第一特征提取模型的权重更新数据；以及

至少部分地基于从所述一个或多个模型生成设备中的模型生成设备接收的每个权重更新数据来确定所述第一特征提取模型。

10.根据权利要求9所述的计算机实现的方法，其中，确定所述第一特征提取模型还包括至少部分地基于所述一个或多个模型生成设备中的模型生成设备的每个训练强度度量来确定第一特征提取模型。

11.根据权利要求1所述的计算机实现的方法，其中：

所述多个传感器输入数据对象中的每个传感器输入数据对象与多个传感器中的传感器相关联，以及

至少部分地基于与所述传感器输入数据对象相关联的所述多个传感器中的所述传感器来确定所述多个传感器输入数据对象中的传感器输入数据对象的每个特征定义模型。

12.一种用于跨传感器预测性推断的装置，所述装置包括至少一个处理器和包括程序代码的至少一个存储器，所述至少一个存储器和所述程序代码被配置为与所述处理器一起使得所述装置至少：

识别包括一个或多个图像数据对象的多个传感器输入数据对象；

至少部分地基于所述多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定所述多个传感器特征数据对象包括：

对于所述多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于所述传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及

对于与所述多个传感器输入数据对象中的传感器输入数据对象相关联的所述一个或多个期望观察度量中的每个期望观察度量，通过使用与所述传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理所述传感器输入数据对象来确定所述多个传感器特征数据对象中的传感器特征数据对象，其中所述多个特征提取模型包括一个或多个图像特征提取模型；

通过使用跨传感器预测性推断模型处理所述多个传感器特征数据对象来生成用于与所述多个传感器输入数据对象相关联的目标预测性实体的一个或多个跨传感器预测；以及

至少部分地基于所述一个或多个跨传感器预测来执行一个或多个基于预测的动作，其中，所述基于预测的动作表示被配置为基于一个或多个预测来启用一个或多个最终用户功能的计算机实现的例程。

13.根据权利要求12所述的装置，其中，确定用于所述多个传感器输入数据对象中的传感器输入数据对象的所述一个或多个期望观测度量包括：

识别用于所述传感器输入数据对象的一个或多个潜在观测度量；以及

通过至少部分地基于用于所述传感器的所述特征定义模型选择所述一个或多个潜在观测度量的期望子集来确定所述一个或多个期望观测度量。

14.根据权利要求12所述的装置，其中，生成与所述多个传感器数据对象中的第一传感器数据对象相关联的所述多个特征提取模型中的第一特征提取模型包括：

识别通用模型和局部模型，其中所述局部模型至少部分地基于与所述第一传感器数据对象的物理环境相关联的局部训练数据而生成；

确定所述局部模型的局部模型置信度度量是否超过模型置信度阈值；

响应于确定所述局部模型的所述局部模型置信度度量超过所述模型置信度阈值，采用所述局部模型作为所述第一特征提取模型；以及

响应于确定所述局部模型的所述局部模型置信度度量未超过所述模型置信度阈值，采用所述通用模型作为所述第一特征提取模型。

15.根据权利要求12所述的装置，其中，生成所述多个特征提取模型中的第一特征提取模型包括：

识别与所述第一特征提取模型相关联的一个或多个模型生成设备；

从所述一个或多个模型生成设备中的每个模型生成设备接收用于所述第一特征提取模型的权重更新数据；以及

至少部分地基于从所述一个或多个模型生成设备中的模型生成设备接收的每个权重更新数据来确定所述第一特征提取模型。

16.根据权利要求12所述的装置，其中：

所述多个传感器输入数据对象中的每个传感器输入数据对象与多个传感器中的传感器相关联，以及

至少部分地基于与所述传感器输入数据对象相关联的所述多个传感器中的所述传感器来确定所述多个传感器输入数据对象中的传感器输入数据对象的每个特征定义模型。

17.一种非暂时性计算机可读存储介质，其上存储有用于跨传感器预测性推断的计算机程序，其特征在于，所述计算机程序中的计算机可读程序代码部分被配置为：

识别包括一个或多个图像数据对象的多个传感器输入数据对象；

至少部分地基于所述多个传感器输入数据对象来确定多个传感器特征数据对象，其中确定所述多个传感器特征数据对象包括：

对于所述多个传感器输入数据对象中的每个传感器输入数据对象，至少部分地基于用于所述传感器输入数据对象的特征定义模型来确定一个或多个期望观测度量；以及

对于与所述多个传感器输入数据对象中的传感器输入数据对象相关联的所述一个或多个期望观察度量中的每个期望观察度量，通过使用与所述传感器输入数据对象相关联的多个特征提取模型中的特征提取模型处理所述传感器输入数据对象来确定所述多个传感器特征数据对象中的传感器特征数据对象，其中所述多个特征提取模型包括一个或多个图像特征提取模型；

通过使用跨传感器预测性推断模型处理所述多个传感器特征数据对象来生成用于与所述多个传感器输入数据对象相关联的目标预测性实体的一个或多个跨传感器预测；以及

至少部分地基于所述一个或多个跨传感器预测来执行一个或多个基于预测的动作，其中，所述基于预测的动作表示被配置为基于一个或多个预测来启用一个或多个最终用户功能的计算机实现的例程。

18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，确定用于所述多个传感器输入数据对象的传感器输入数据对象的所述一个或多个期望观测度量包括：

识别用于所述传感器输入数据对象的一个或多个潜在观测度量；以及

通过至少部分地基于用于所述传感器的所述特征定义模型选择所述一个或多个潜在观测度量的期望子集来确定所述一个或多个期望观测度量。

19.根据权利要求17所述的非暂时性计算机可读存储介质，其中，生成与所述多个传感器数据对象中的第一传感器数据对象相关联的所述多个特征提取模型中的第一特征提取模型包括：

识别通用模型和局部模型，其中所述局部模型至少部分地基于与所述第一传感器数据对象的物理环境相关联的局部训练数据而生成；

确定所述局部模型的局部模型置信度度量是否超过模型置信度阈值；

响应于确定所述局部模型的所述局部模型置信度度量超过所述模型置信度阈值，采用所述局部模型作为所述第一特征提取模型；以及

响应于确定所述局部模型的所述局部模型置信度度量未超过所述模型置信度阈值，采用所述通用模型作为所述第一特征提取模型。

20.根据权利要求17所述的非暂时性计算机可读存储介质，其中，生成所述多个特征提取模型中的第一特征提取模型包括：

识别与所述第一特征提取模型相关联的一个或多个模型生成设备；

从所述一个或多个模型生成设备中的每个模型生成设备接收用于所述第一特征提取模型的权重更新数据；以及

至少部分地基于从所述一个或多个模型生成设备中的模型生成设备接收的每个权重更新数据来确定所述第一特征提取模型。