CN105556547A - 用于传感器数据的带注释捕获以及活动的群建模的方法、设备和系统 - Google Patents

Abstract

本发明公开了构建和/或使用用于估计用户的行为或用户感兴趣的情况的模型的方法、设备和系统。所述用户具有被配置为捕获与行为或情况有关的传感器数据的至少第一数据集的设备。一组处理能力被配置为捕获包括传感器数据的第一数据集和包括与行为或情况有关的注释数据的第二数据集，以及进一步至少配置模型。该设备进一步被配置为将至少一个模型的参数调节成用户的特性或一组用户的特性。本发明允许通过允许大量的数据的采集来改进现有技术，所述大量的数据将对模型针对行为或情况的拟合进行优化。

Description

用于传感器数据的带注释捕获以及活动的群建模的方法、设备和系统

技术领域

本发明改善了电子设备向其用户提供更加增值的服务的功能。更具体地，本发明应用于使用装备有各种类型的传感器的不同类型设备。传感器用于用户特定的上下文中来捕获数据从而记录和预测任何用户感兴趣的活动、行为或情况。传感器数据与有关于活动、行为或情况的其它数据相结合，被发送到用于开发用于用户特定的上下文中的预测模型的数据库并且存储于其中。

背景技术

为了实现这些改进，本发明使用了两种技术：嵌入式传感器以及数据分析与建模算法。

首先，设备越来越多地被装备有嵌入式传感器。这些设备的一些示例是类似于智能手机或平板设备的消费电子设备、家庭自动与防护系统、健康监视设备、运动装备等。通过示例的方式，智能手机可以包括加速度计、陀螺仪、磁力计、定位接收器(与全球定位系统GPS或其它类型的全球导航卫星系统GNSS(如Galileo或Beidou)相兼容)、压力传感器、照相机等(参见图1a)。在智能手机中所有这些传感器的许多可能的应用中的一个应用是设备的载体的运动、姿态和活动(躺、坐、走、跑等)的表征。指示上下文的信号和数据能够发送并且存储在远程数据库中以用于存储和分析。

其次，数据分析与建模工具的使用允许提取捕获的传感器信号与表征活动、行为或情况的数据之间的关系。可以使用带有概率模型或确定模型的简单的统计分析(例如，单变量或多变量回归分析)。可以使用更复杂的统计技术(主成份分析、贝叶斯建模等等)，对其的选择将取决于应用。这些模型中的一些模型将通过学习步骤(隐式马尔科夫模型、神经网络等)来改善。这些利用运动传感器进行姿态/活动分析的建模技术的应用已经尤其被在n°WO2010/122172下公布的PCT申请公开，本专利申请的申请人是该专利申请的共同受让人之一。该专利申请公开了一种基于观测、传感器测量以及对充分概率函数的选择来确定移动元件的最可能的状态的列表的方法.

模型的精度取决于能够与传感器测量相关的状态数据的数量和质量。创建这些数据库当前需要大量的时间和精力。另外，在对数据的正确捕获和解释中所涉及到的不同类型的知识和技术将不总能在同一公司/组织中可用。

这是将使得对用户带来增加的益处的这些建模技术的更普及使用的大的局限性。

发明内容

这是本发明要克服该局限性的目的。

为此，本发明公开了一种计算机系统，至少包括具有与主计算机通信的能力的第一计算设备，其中：所述第一计算设备被配置为生成第一数据集，每个第一数据集至少包括与至少一个人的行为和感兴趣的情况中的至少一个有关的传感器读数，所述传感器读数由第一计算设备和具备与第一计算设备和主计算机中的至少一个通信的能力的第二计算设备中的一个来处理；所述第一计算设备和第二计算设备中的一个被配置为捕获第二数据集，每个第二数据集至少包括与所述人的行为和感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；所述第一计算机设备进一步被配置为生成第三数据集，每个第三数据集包括对表征用户的行为和感兴趣的情况中的至少一个的状态的估计，所述估计是基于与所述用户的行为和感兴趣的情况中的至少一个有关的至少传感器读数的模型中的输入的，其中所选类型的所述模型由主计算机根据利用用于至少一个人和至少第二人的第一数据集和第二数据集的计算来创建。

本发明还公开了一种创建用于估计用户的行为和感兴趣的情况中的至少一个的模型的方法，所述方法包括：利用第一计算设备来捕获第一数据集的步骤，每个第一数据集至少包括与至少一个人的行为和感兴趣的情况中的至少一个有关的传感器读数；利用第一计算设备和第二计算设备中的一个来捕获第二数据集的步骤，每个第二数据集至少包括与所述人的行为和感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；所述方法进一步包括：在主计算机上选择适于处理第一数据集和第二数据集的模型的类型的步骤，以及在所述主计算机上基于第一数据集和第二数据集的变换之间的比较来计算所述模型的参数的步骤，所述模型考虑到用于至少一个人和至少第二人的第一数据集和第二数据集。

本发明还公开了一种估计对表征用户的行为和感兴趣的情况中的至少一个的状态进行估计的方法，所述方法至少包括：捕获包含与用户的行为和感兴趣的情况中的至少一个有关的至少传感器读数的第一数据集的步骤；根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集来选择在主计算机上创建的模型的步骤，所述第二数据集至少包括与用户的行为和感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；生成至少包括对表征用户的行为和感兴趣的情况中的至少一个的状态进行估计的第三数据集的步骤，所述估计基于用于用户的至少第一数据集的模型中的输入。

本发明还公开一种设备，包括：第一能力，其被配置为生成第一数据集和接收第一数据集中的一个，所述第一数据集至少包括与用户的行为和感兴趣的情况中的至少一个有关的传感器读数；处理能力，其被配置为使用根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集创建的模型，所述第二数据集至少包括与用户的行为和感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；生成第三数据集，该第三数据集至少包括对表征用户的行为和感兴趣的情况中的至少一个的状态的估计，所述估计基于至少所述第一数据集的模型中的输入。

本发明提供了用于开发需要来自如运动传感器、温度传感器、位置传感器等各种传感器的数据融合的应用的完整的且连贯的系统。系统涵盖了整个过程，从监督或引导数据采集和注释，到融合模型构思和修改。该系统被设计为帮助例如在数据融合或传感器管理上没有经验的应用开发者来开发其应用所需的模型。

可以针对单个人或者针对总体开发模型或应用，其中群源技术和云建模技术允许采集大量数据来改善模型的统计精度。本发明还包含了用于对模型进行定制和个性化以考虑到个体或个体群组的具体需求或特性以达到对数据融合模型的性能进行优化的方法。

本发明能够应用于许多不同的配置，其中一个或多个电子设备可以用于捕获与人或总体感兴趣的情况或行为有关的传感器信号或其它数据。电子设备范围涉及个人的以及便携式的，如智能手机，到如用于例如家庭自动化的固定服务器，并且可以包括传感器本身，或者可以从连接(附属)设备接收传感器数据。

附图说明

根据各个实施例的说明以及下面的附图，将更好地理解本发明，并且本发明的各种特征和优点将变得显而易见：

-图1a，1b和1c表示装备有可以用于在本发明各实施例中实现本发明的不同类型的传感器的设备；

-图2表示根据本发明的一些实施例来实施本发明的系统中的数据流；

-图3表示根据本发明的一些实施例来实施本发明的系统的功能体系结构；

-图4a和4b分别表示在对表征本发明的实施例中的活动的该活动和注释数据的监视期间所捕获的运动信号；

-图5表示本发明的实施例中用于捕获、传送和存储关于活动的信息的观测向量和状态向量；

-图6表示根据本发明的实施例的实现注释步骤的系统的功能体系结构的视图；

-图7表示本发明的模型构思阶段的概念图；

-图8a和8b表示本发明的两个实施例中的在模型构思阶段使用来确定人的步长的数据集的图；

-图9表示在本发明的实施例中的模型个性化阶段的概念图；

-图10a和10b表示在本发明的另一实施例中的在模型构思阶段使用来确定人的运动类型的数据集的两个图；

-图11a、11b、11c、11d和11e表示使用具有模型处理的不同定位(localization)的本发明的系统的不同实施例；

-图12a、12b、12c和12d表示本发明的不同实施例，其中模型构思以及使用和数据存储能够在不同位置进行拆分。

具体实施方式

图1a、1b和1c表示装备有可以用于在本发明的各实施例中实现本发明的不同类型的传感器的设备。

消费电子设备正在装备越来越多的传感器并且连接越来越多的传感器。该趋势的典型示例是图1a中显示的智能手机，其中看起来随着每个新的手机型号或新一代手机增加了新的传感器。智能手机包含多个要连接的器件(Bluetooth、wifi、3G/4G，等等)并且装备有若干微机电传感器(或MEMS)，例如，加速度计、陀螺仪、磁力计或压力传感器。这些运动传感器使智能手机能够用于例如在GPS信号不可用的情况下的室内行人导航。如果GPS信号可用，则可能精确地计算出用户在两个位置之间行过的距离并且将该距离与根据走过的步数和步长模型结合加速度计测量所计算出的距离进行比较。第三类型的数据，例如在地图上行过的轨迹(地图匹配)，其能够与前两者融合以改进精度。另外，智能手机装备有键盘、麦克风和语音识别软件，其可能与传感器测量相结合地使用，而使得用户可以描述情况/行为以扩充数据。此外，传感器测量和评论的记录将按时间或者时间对齐地自动引用，并且另外能够利用手机操作公司的非常精确的时钟加以时间戳。

除了若干简单应用之外，模型构思在计算上要求极高。因此，需要例如智能手机的大量处理以及电池电力来在本地执行模型构思。另外，对于许多应用，需要大(群源)数据库来构建模型，这意味着，即使随着技术进步将可能在本地执行计算，可能也不是优选的解决方案。这是本发明要解决的现有技术的局限性。

诸如行人导航、活动监视或如网球拍的电子运动装备的若干应用需要运动传感模块。申请人已经开发出多传感器设备品牌MotionPod^TM，其可以用作附接到手镯上的运动传感模块(表示于图1b中)。传感设备还能够附接到衣物以及用作可佩戴设备。而且，其它销售商的具有类似功能的类似设备可以用作替代的传感设备。

传感设备包括电源以及将运动信号传输到基站的通道，该通道可以是例如智能手机或平板设备(未示出)。射频传输可以利用蓝牙波形和协议或者利用Wi-Fi波形和协议(标准802.11g)来实现。传输能够通过红外或者通过射频来执行。传输的信号可以由嵌入在设备本身中的或者嵌入到基站或者分布在设备与基站之间的计算模块(未示出)来生成。设备至少包括处理传感器的一些处理的计算模块。

该计算模块包括微处理器，例如用于大多数在计算时间方面要求高的应用的DSPTexasInstrumentsTMS320VC5509，或者带有ARM核的32位微控制器，例如那些来自STR9系列，尤其是来自STM的STR9F12FAW32中的一个。计算模块还优选地包括用于存储待执行代码所需的闪速存储器、其所需的永久数据以及动态工作存储器。计算模块接收来自不同传感器的输出作为输入。一方面，角速度传感器(未示出)具有测量设备的与两个或三个轴的旋转有关的功能。这些传感器优选地是陀螺仪。其可以是两轴陀螺仪或三轴陀螺仪。例如，可能使用AnalogDevices所提供的索引为ADXRS300的陀螺仪。但是，任何能够测量角速率或角速度的传感器是可用的。尤其可能设想其中图形处理将连续图像进行比较从而从其中推导出作为平移和旋转的组合的位移的照相机。然而，随后需要具有比陀螺仪所需大很多的计算能力。

还可能的是使用磁力计，磁力计关于陆地磁场的位移的测量使得可能测量相对于该场的参考系的旋转，例如可以使用来自Honeywell公司的索引为HMC1001或HMC1052或者来自NXP公司的KMZ41的磁力计。优选地，这些传感器中的一个是三轴加速度计(未示出)。有益地，传感器均由MEMS(微机电系统)技术生产，任选地在同一电路内(例如，来自AnalogDevices的基准加速度计ADXL103、来自STMicroElectronics的LIS302DL、来自Melixis的基准陀螺仪MLX90609、来自AnalogDevices的ADXRS300)。所使用的陀螺仪可以是EpsonXV3500品牌的那些。

设备因此可以包括三轴加速度计、三轴磁力计、用于预处理来自传感器的信号的预处理能力、用于将所述信号发送到处理模块本身的射频发送模块以及电池。该运动传感器称为“3A3M”传感器(具有三个加速度计轴以及三个磁力计轴)。加速度计和磁力计是小体积、低功耗以及低成本的商用微型传感器，例如来自Kionix^TM的KXPA43628三通道加速度计以及Honeywell^TM的磁力计HMC1041Z(1个垂直通道)以及HMC1042L(2个水平通道)类型。其它供应商是：在磁力计的情况下为Memsic^TM或AsahiKasei^TM，以及在加速度计的情况下是STM^TM、Freescale^TM和AnalogDevice^TM，仅列出几个。在该类型的传感设备中，对于6信号通道，仅可以执行模拟过滤，然后，在模数(12位)转换后，原始信号由在针对该类型的应用中的消耗而优化的Bluetooth^TM(2.4GHz)频带中的射频协议来进行传输。因此，数据原始地到达控制器，控制器能够接收来自一组传感器的数据。该数据由控制器读取并且由软件作用。采样率是可调的。缺省地，采样率设定为200Hz。然而，可以设想更高的值(高达3000Hz，或者甚至更高)，允许例如震动的检测中的更大的精度。上述类型的加速度计对于沿其三个轴的纵向位移是敏感的，对于角位移敏感(除了旋转轴平行于地球重力场的方向的情况以及其与传感器交叉的情况)，以及对关于三维笛卡尔参考系的定向敏感。上述类型的一组磁力计起到测量其相对于地球的磁场固定的传感器的定向，以及因此测量相对于三个参考系轴(除了关于地球磁场的方向)的定向的作用。3A3M组合输送平滑的互补运动信息。

还可能是在设备中包括两个微陀螺仪组件(在电路中的平面中具有两个旋转轴以及与电路的平面正交的一个旋转轴)。这种类型的传感器的添加提供了多种可能。其允许典型的IMU(惯性测量单元)预处理，这使得可以输送动态角测量。3A3M3G组合(其中G表示陀螺仪)输送平滑的互补运动信息，甚至对于快速运动或者在存在干扰磁场的黑色金属的情况下。

根据应用方案，该运动传感模块(MotionPod^TM)能够由用户携带，类似于附着到他/她的手腕上或者附着其脚踝、鞋或其腰部的手表，在所有情况下使用带子。该设备还能够固定到皮带上，或者在口袋中携带。多于一个的设备能够由用户携带，尤其是需要详细监视人的活动的情况。

包括传感器的预校准的该活动监视系统由在n°US-2012-0062718、US-2012-0059494、US-2012-0078594、US-2012-0072165、US-2012-0158351、US-2012-0101785、US-2012-0143094、US-2012-0165705下公布的美国专利申请以及在n°PCT/EP2013/054561和PCT/EP2013/054563下公布的PCT专利申请公开，这些共同转让给本申请人且通过引用方式合并于此。本发明的方法和系统将有益于提高这些系统和方法的效率。

运动装备装备有传感器。例如，通过将运动传感器安装在网球拍中，如图1c所示的一个，能够分析竞赛者的运动并且对网球摆动进行分类。达到该效果的系统和方法由转让给申请人的PCT专利申请n°PCT/EP2013/058719公开，该申请公开了球拍上网球的定时撞击的分类以及在定时撞击之间球拍的运动的监视。该系统将受益于由本发明提供的改进，其将允许不同模型的共享和针对各类竞赛者的参数的共享。同一类型的系统能够用于运动装备的运动或移动是重要的其它体育运动，诸如高尔夫、乒乓球、棒球等等。

更广义地，人们的家中和汽车也越来越多地装备(通信)传感器从而提高安全性、舒适度以及能效。空气污染或过敏传感器用于监视空气质量，这能够起到警告具有脆弱的健康或某种过敏的人。另外，在互联网上连接的‘网络传感器’的网络可以提供例如环境信息(如天气、交通等)。

随着传感器的数量增加，将传感器的各信号转换成用于用户的期望输出所需的数据融合变得越来越复杂。每个个体应用需要大量的实验和测试来优化融合算法并且使得它们对于大量不同用户充分执行。

图2表示根据本发明的一些实施例的实施本发明的系统中的数据流。

从给出一些定义开始，这些定义在本发明的说明书全文中结合图2来使用。

实际的数据融合算法(220，ALGO)并入数据融合模型(210，MDL)。将结合图3详细描述能够用于本发明的架构的各种模型。ALGO的参数称为参数向量(230，PV)，其表示用于控制算法并且使算法适应当前的应用/情况的算法的设置。MDL进一步包含可以用于清除MDL的输入和/或将MDL的输入转换成用于ALGO的正确格式的预处理模块(240，PREP)。预处理可以包含任何类型的信号处理或特征提取(平均化、过滤、快速傅立叶变换，等等)。

MDL的输入称为第一数据集或观测向量(250，OV)，并且MDL的输出称为第二数据集或状态向量(260，SV)。例如，在活动监视设备(AMD)中，其中用户的活动是从运动传感器推导的，OV包括运动传感器的信号，并且SV表示用户在离散状态下的活动(例如，走路、站立、坐下，躺着等等)。在使用运动传感器的室内导航的另一示例中，OV也由运动传感器的信号构成，但是SV包括能够取连续的一系列值的步长。因为用户的步长还取决于他/她的特性(例如，他/她的身高)，所以这些特性也可以包含在OV内。在装备有运动传感器的网球拍中，OV包含了来自传感器的运动信号，而且还包含关于场地的类型或者关于竞赛者(右手型或左手型)的信息。

换言之，OV由作为数据融合模型的输入所需的变量数据和固定数据构成。该信息可以是时间相关数据，诸如传感器信号(在图2中由‘f(t)’来表示)，或者可以是恒定数据，诸如用户的特性(在图2中由‘α’表示)。

在室内行人导航示例中，来自传感器的运动信号必须通过确定用户所行的步数以及他或她的步长而按行走距离来进行转换。用户的步长可以取决于许多不同的因素，诸如用户的身高、性别、年龄和体重。这意味着，为了开发用于行人导航的鲁棒算法，必须针对大量的并且多样化的测试对象来分析运动信号，这花费大量的时间和精力。

类似地，为了开发用于能够表征网球摆动的不同小面的电子网球拍的融合算法，必须执行如下的实验，所述实验针对执行大量的涵盖所有可能摆动变化的摆动的不同类型的网球竞赛者。显然，构建这样的数据库是耗时的努力。

在空气质量监视的示例中，必须在空气质量与其对人所产生的效应之间构建数据库，例如通过监视心脏或呼吸速率。基于所获取的知识，能够创建应用以便当健康状况脆弱的人正在执行或计划执行考虑到当前或预测的空气中质量将耗费过多精力的活动时警告所述健康状况脆弱的人。这些关系可以取决于许多不同的健康和环境因素，并且因此会需要构建广泛的数据库。

这些示例还提出了如下事实：在同一公司不必存在开发完整融合算法的全部的专门技能。在电子网球拍的示例中，生产网球拍的公司最可能不具有开发这些算法的竞争力，并且具有传感器、信号处理和算法创建的专门技能的公司不具有生产运动装备的经验。

当执行实验并且构建数据库来开发融合算法时，必须注意使用正确的多样的测试对象从而获得能够应用于不同情形的融合算法。尽管如此，甚至在构建广泛数据库之后，融合算法可能不是对于每个个体用户最优地执行。因此，用户应当能够对普通融合算法及其参数进行个性化以及优化从而针对他或她的情形来优化其性能。这意味着，用户应当能够生成并提供在个性化过程中调节普通模型所需的他或她的个人数据。

在本发明的架构中，提出了开发、分布、更新和个性化融合算法及其应用。该系统具有如下优点：通过提供用于对数据库的创建和扩增的流水线过程，而利于创建用于新的应用的融合算法，其中所述数据库能够用于开发被设计为提供对表征总体或人的行为或感兴趣的情况的变量/状态的精确估计的模型。“行为”和“感兴趣的情况”的概念意在分别覆盖主动条件和被动条件，即，在主动条件情况下，所观测到的是人的动作，而在后者情况下，所观测到的是发生在人近处的现象。而且，本发明提供了容易地使用这些模型而将有价值的信息带给这些组或其它组用户中的用户的手段。用户能够通过针对他们的需要来对算法进行个性化从而对模型的性能以及输送给用户的服务的价值进行优化。

为了解释本发明以及描述其不同步骤的细节，通常使用开发基本活动监视设备(AMD)的示例。该设备由用户携带，例如夹到用户的皮带上，或者携带在用户的手腕上或者在用户的口袋中，并且能够在例如下述活动中对用户的活动进行分类：行走、站立、坐下、躺下。此外，设备能够通过确定用户的步数和步长来计算用户的行走距离。AMD将装备有运动传感器来确定用户的活动和行走距离。在其最简单的形式中，运动传感器可以是加速度计，但是对于更精确和/或更先进的特征，运动传感器可以包括陀螺仪或者甚至磁力计。来自运动传感器的信号将用于对活动进行分类以及确定行走距离。即使两个问题使用相同的运动信号，也可以独立地处理这两个问题，并且将开发两个不同(非竞争)的融合算法，其中每一个各一个。

虽然在说明书通篇将使用AMD的示例，但是将使用其它示例从而阐明本发明的应用的领域的范围。

配备有智能手机、活动监视设备的用户群组，或者配备有传感器的网球拍将利用他们的智能手机将OV和SV发送给应用服务器。智能手机因此可以同时处于产生OV的传感器平台、用于对SV进行捕获和加时间戳并且输入个人信息(身高、体重、年龄、性别等)的捕获平台以及通信平台。应用服务器可以分布在多个位置，例如，在确定用户附近的一个位置上。

例如，在网球拍的情况下，应用服务器可以是定位在靠近网球场地的智能手机、平板设备或膝上型计算机，球拍将其运动信号(第一数据集，OVa)发送到所述网球场地。服务器还能够接收来自照相机的竞赛者的图像(第二数据集，SVa)。OVa和SVa能够通过3G/4G、卫星连接实时地发送到远程服务器或分布式服务器的群集，或者数据能够离线发送。数据将在服务器上进行处理以设计适合于待进行估计的活动的模型。接着，模型的版本可以下载到应用服务器上以用于本地使用以及定期地更新。结果，不再需要使用照相机来获得SVa。服务器和/或膝上型设备可以包括软件，所述软件包含将由语音命令引导用户执行动作(例如，“在右腿上倾斜更多”等等)的例程。本发明的系统因此可以用作定制的在线教程。

云计算技术允许具有在各种机器(物理机或虚拟机)上分布数据位和模型的该体系结构的多个变型例。可能通过服务提供商创建的用户团体可以共享各种模型。在网球竞赛者的一般总体中各种级别的或者属于各种类别/团体/选区的竞赛者因此可以比较和提高他们的表现。当然，同样适用于姿态的样式是重要的其它体育运动，例如高尔夫、滑雪、游泳。本发明的系统执行的活动监视还可以包括身体训练(跑步、旅行、体重监视等)或者远距离健康监视。在后者情况下，可以设想通过学习在异常情况下触发警报的设备来监视在家中进行心脏病突发康复的人的心跳。

图3表示根据本发明的一些实施例的用于实施本发明的系统的功能体系结构。

提出的发明由3个阶段构成，这3个阶段一般不同并且将在下文中进行更详细说明。

–注释(310，ANN)阶段：该阶段可以被视为在将针对其开发MDL的用户活动、行为或感兴趣的情形期间采集信息的阶段。我们将记录包含传感器读数的带注释的观测向量OVa(还称为第一数据集)，以及包含描述状态的变量数据的带注释的状态向量SVa(还称为第二数据集)。然而，在该注释阶段，我们不试图理解或发现OVa与SVa之间的关联(下标‘a’表示注释)。在活动监视示例中，这意味着我们记录在他或她活动期间用户运动的传感器信号(OVa)并且注释该活动(SVa)。SVa能够手动地输入，或者自动地捕获，例如通过采集关于专家/用户的行为/情形的附加数据的照相机或定位系统。该记录的(OVa，SVa)对被存储在所谓的注释的数据库中。注释阶段可以是监督阶段，其中注释的数据库专门针对某意中的应用而创建。监督意味着对SVa进行注释的专家或用户在已经传送给他/她的协议下行动。注释至少包括记录行为/情况(的序列)已经发生的时间。时间戳可以利用可从传感器(收集注释的设备)附近或者在一个本地或远程的服务器上得到的时钟来实现。重要的是，OVa和SVa按时间引用，使得其总是可以推导出哪个SVa属于哪个OVa。由第一数据集和第二数据集构成的如此构造的注释数据库是在MDL的构造和/或测试的下一步骤中使用的数据库。

–模型构思(320，MC)阶段，在该阶段，开发并且配置适当的算法从而预测当对应的观测向量用作模型的输入时状态向量的精确估计。计算的/估计的状态向量还称为第三数据集。首先，针对某MDL选择适当类型的ALGO，然后利用注释数据库来获得ALGO的参数向量PV。在活动监视示例中，ALGO是将用户活动分类到可用类(跑步、行走、站立、坐下、躺下等)中的一个的分离器。在步长模型中，ALGO是基于将用户的步频(根据运动传感器读数来确定)和特性转换成步长的物理模型的等式。

–使用(330，US)阶段：一旦已经利用第一数据集和第二数据集开发出数据融合模型，则可以发布使用。在用户的设备中，由ALGO和PV构成的MDL将包含传感器信号的OV转换成估计的SV(第三数据集)。根据应用，结果可以显示给用户，或者用于另外的处理。在活动监视示例中，该处理可以包含创建用户的日间活动直方图。在该使用阶段，个性化过程可供用户使用从而针对他或她的个人使用来修正并优化MDL。

值得注意的是，在用户他自己/她自己正在执行注释的实施例中，三个阶段接近实时地发生。模型MDL能够针对具体的(OV，SV)数据集接近实时地进行调节，并且用户能够近似实时地接收数据(即，以对用户透明的方式)，使得使用阶段考虑到更新的MDL。

可以在本发明的实施例中使用的模型包括：

–观测系统(OS)，其包含显式物理模型，作为测量函数(即，其中估计向量根据OV数据直接确定)，或者卡尔曼过滤器或Luenberger类型的状态预测函数，其使用多个传感器测量数据来估计状态向量，利用测量的变差的投射来确定最佳拟合；

–函数的通用近似(UA)，其能够由一组值(输入为PV)来配置；UA的一些示例是神经网络、径向基函数、隐式马尔科夫模型、动态时间规整函数；UA可以是要求的输出是一组状态的分离器，如本发明若干实施例中的。

图4a和4b分别表示本发明的实施例中的在活动监视期间捕获的运动信号以及表征该活动的注释数据。

我们现在描述注释阶段。

第一步是创建注释数据库。在AMD示例中，设备的运动信号(410a、420a、430a)被记录，同时用户执行不同的活动。不同的曲线表示传感器的不同轴，在该示例中传感器为加速度计。同时，用户的活动被注释。图4a显示出3轴加速度计的不同轴的信号。图4b显示出注释的活动。在该情况下，注释手动地完成，但是可以由照相机系统自动提供。例如，状态410b对应于用户正在坐着的情况。状态420b对应于用户正从坐着的状态过渡到站立状态的情况。状态430b对应于用户站立的情况。状态440b对应于用户正在行走的情况。状态450b对应于用户正从站立状态过渡到坐着状态的情况。运动信号(OVa)和注释状态(SVa)具有共同的时间参考(或者时间对齐)。

运动信号被存储为数据库中的注释的OVa。OVa与从注释活动形成的以及可能是行走距离所形成的注释SVa相结合存储。注释数据库因此包含(OVa，SVa)对。为了构建数据库并且得到足够的(OVa，SVa)对，必须针对一组用户执行相同类型的获取，优选地具有不同特性(诸如他们的身高)的用户。诸如用户特性的固定数据可以包含在OVa或SVa中。

正执行注释的用户群组可以是专家、专门训练来执行注释活动的人，例如服务提供商的员工，或者根据在监督模式下传送给他们的操作而行动的标准用户。

图5表示本发明的实施例中的用于捕获、传送和存储关于活动/情况/行为的观测向量和状态向量。

在装备有运动传感器的电子网球拍的示例中，使用类似于AMD示例的示例的方法。一组用户/竞赛者(即，总体)将执行不同类型的网球摆动，同时记录运动信号(510，OVa)并且注释摆动的类型(520，SVa)。在该示例中的状态将不同于图4b的状态(正击、反击、发球，等等)。例如确定用户的特性，竞赛者是左手型还是右手型，可以包含在数据库中的OVa或SVa中。类似地，情况或行为的其它特性，例如场地类型，也可以包含在OVa或SVa中。

图6表示根据本发明的实施例的实现注释步骤的系统的功能体系结构的视图。为了获得高质量数据库，注释实验必须根据所确立的准则来执行，或者使用预定义的攻工具来执行。优选地，实验由专家(610，EXP)并且在受控方式下进行和监视。专家的选择将取决于应用和MDL。在网球拍示例中，生产网球拍的公司是专家的最可能的选择。准则和/或工具620可以由负责开发MDL的监督器630提供给专家。

大数据库的创建表示专家花费大量时间和精力。可替代地，数据库能够以位控制较少方式由用户的总体或群组来进行填充，例如使用人(社交)网络。准则能够可为用户群组使用，但是监督正确执行将更加困难。

前者方法具有受控并且精确的优点，但是其要花费大量工作来构建大的数据库。后者方法是一种受控较少的方式，但是具有更容易构建大数据库的优点。统计可能补偿(个体)精度的缺乏。该最优方法也可能取决于应用类型。两个方法不相互排斥。前者方法可以通过精确注释来构建基础数据库，其随后由大量收集的数据利用后者方法来进行增强。通过不同方法获得的(OVa，SVa)对可能被赋予表示实验正确执行以及数据质量的置信的不同权重。

获得的具有注释向量对(640，OVa，SVa)的数据库随后传递给监督器的服务器，在此处将设计MDL。

能够构思多个注释方案和策略来实现本发明。用户或一组用户进行的不同类型的注释的一些示例在下面给出。一些实施例使用预处理模块240：

–通过指令注释

用户接收来自监督器的指令或准则，并且假设用户将精确地遵从指令。例如，在活动监视的情况下，我们能够指示用户行走一分钟，然后跑一分多钟，然后再行走1分钟，等等。然后，所记录的活动模式(OV)将由指示的活动模式(SV)来注释。即使可能不是精确地遵从时间调度表，如果活动充分不同，则PREP模块(240)也能够对活动进行分离。

指令可以非常严格(如上)或者可以不太严格。当然，指令越不严格，预处理变得越复杂。上述示例的不太严格的版本是指示将行走和跑步混合，但是没有给出任何时间限制。当然，指令越不严格，预处理变得越复杂并且具有不太可靠数据的几率越大。

–通过传感器注释

在该方案中，我们可以使用附加/外部的传感器用于注释。在基于运动传感器的行人导航示例中，GPS能够用于验证行走距离并且因此验证步长。假设运动传感器和GPS位于用于来运行行人导航应用的智能手机中。如果检测到用户正在行走并且GPS信号可用(室外)，则可以利用GPS数据来计算和注释用户的步长。如此得到的步长随后可以在GPS不可用时用于室内导航。

能够用于由传感器进行注释的传感器的另一示例是能够记录例如由专家/用户执行的姿态的照相机。

为使传感器的注释起作用，监督器必须确保每个MDL/应用伴随着能够用于注释的一系列传感器以及关于如何执行注释的准则。运行MDL/应用的系统随后将查找传感器，并且在可能的情况下执行注释。关于是否查找传感器来进行注释的决策可能取决于MDL的性能。如果MDL完好地执行，则无需使用计算和电池电力来执行验证。

-按位置的注释

如果用户正执行对于活动监视设备未知/不可识别但是在已知的位置(例如，通过GPS)处的活动，则系统能够查找其它用户已经在该位置做过什么。例如，如果在游泳池执行活动，则活动是游泳的概率很大。然而，在游泳池处，用户还可能是跳水或者仅仅是观看。因此，我们需要将OV与数据库中的OV进行比较来判定确切的活动。注意的是，该类型的注释需要在用户团体中共享活动位置数据。

-按用户输入的注释

这可以视为不遵从指令的手动注释。在AMD示例中，用户执行由传感器(OVa)测量的活动，并且在时间戳日志(SVa)中，用户将跟踪活动。如果活动充分不同，并且注释是正确的，则预处理模块将能够处置该输入。可替代地，设备或智能手机识别出重复性活动，并且询问用户它是什么。显然，该类型的“免费”注释，需要大量的处理来构造可靠的注释数据。

在专家注释(处于监督下)的情况下，遵从严格的准则，并且控制条件，确保高质量的注释数据库。其它类型的注释可能受到更少的控制和监督，这意味着，如果提供了不精确的注释(OVa，SVa)对，则MDL的质量可能降级。然而，使用户群组提供(OVa，SVa)对(无监督)的优点是扩大数据库从而提高MDL的统计和性能。相比于专家数据该用户数据能够被给予不同的权重从而解释未知的精度。可替代地，所需的数据清除或处理的量还能够是数据质量的指示并且能够用于确定权重。

为了确保数据库的质量，应当可以对进入的数据进行过滤。这避免了用户上传低质量数据，低质量数据可能使得数据库质量降级，并且因此使得MDL的质量降级。过滤还服务于安全性以避免人们故意添加有缺陷的或者被破坏的数据。该过滤能够对数据的源进行，仅允许来自可信源的数据。可替代地，新数据能够与已经在数据库中的数据进行比较，或者与计算的/预测的SV进行比较，并且如果差别过于显著，则拒绝新数据。

通过跟踪数据源，来自可疑源的有缺陷的数据能够被完全去除，即使在成为事实之后。MDL性能的变化还能够用作最新添加数据的质量的指示。

图7表示本发明的MDL构思阶段的概念图。

在数据库转移之后，可以执行第一清除或处理步骤710。清除起到提高OV质量的作用，这将在MDL构思期间受益。返回参考图4a和4b的示例，OV由覆盖若干活动以及活动间的转变的运动信号构成。在清除过程中，我们可以去除转变并且使活动分离，从而使得运动信号适合每个个体活动，得到用于坐、站和走的单独(OVa，SVa)对。在网球示例中，该清除可以包含去除任何在网球摆动之前和/或之后已经被记录的信号从而确保OV仅包含实际的摆动。

这意味着所需的清除类型取决于OV和应用(的质量)。在清除程序之后，数据库可以在存储步骤720中存储在监督器的服务器上以便(重新)用于MDL构思阶段730。

在MDL构思阶段期间数据库能够以不同的方式使用。在结合图8a和8b所描述的第一方法中，数据库仅在ALGO和PV的手动创建之后用于测试，并且在结合图10a和10b所描述的第二方法中，数据库用于学习MDL的参数。

图8a和8b表示在本发明的两个实施例中用于MDL构思阶段以确定AMD示例中人的步长的不同数据集的两个视图。

两个图涉及设计应用的MDL的第一方法，其中能够确定MDL的输入与输出之间的强确定性关系。

第一设计方法可以例如在AMD中使用。其中，当用户正在行走时的步长能够利用考虑到用户的身高和步频的物理模型来进行预测(参见例如：“StepLengthEstimationUsingHandheldInertialSensors”，ValérieRenaudin,MelaniaSusi,andGérardLachapelle,Sensors2012,12(7)，8507-8525)。在该文献中，步长SL与用户身高h之间的最佳线性关系表示为：

SL＝h(af_step+b)+c

其中，f_step是利用运动传感器确定的步频，并且a、b和c是必须进行调节/学习的PV的3个参数。

图8a表示不同身高的用户的注释数据，其中步频(810a)根据在步行期间OVa中的运动信号推导出，并且步长由外部装置(SVa，820a)来进行校验。该图显示出对于三个不同的用户身高830a、840a、850a的步长与步频的线性相关性。从三条线显然看出，该关系取决于用户的特性，所述用户的特性在该情况下为身高。

构成PV的ALGO的参数a、b、c可以基于从文献中取的值或者可以根据几个用户的数据来手动确定。一旦ALGO和PV已经确定，则根据该线性关系创建的MDL的性能能够利用完整的(OVa，SVa)数据库来进行验证。在该情况下，这意味着预处理模块(PREP)根据运动信号来确定用户的步频，然后该步频用作ALGO的输入。所获得的计算出的步长(SV)的结果随后能够与数据库中的注释步长(SVa)进行比较以在考虑到PV的情况下验证ALGO的性能。通过利用例如递归最小二乘方法能够以使MDL的计算的步长与数据库的注释步长之间的误差最小化从而进一步优化性能。这是典型的学习阶段，其中通过调节参数a、b、c，我们使实际的数据集(图8a中的标记符)与MDL的输出SV(图8a中的线)之间的差别最小化。这能够针对不同的用户身高来完成，或者在特定用户的个体学习阶段的情况下针对某感兴趣身高来完成。

在图8a上显示的类型的实施例中，在多数情况下，利用有限量的用户，有限量的(OV,SV)对已经在注释阶段通过实验获得。这意味着，模型可能不是对全部用户都是理想的。图8a显示出步频与步长之间的关系对用户身高的依赖性，这可能对于大多数用户适用。然而，该依赖性不是对于所有用户都确切相同。

图8b示出了对于一些例外的用户，步频与步长之间的关系可以独立于用户的身高，如针对不同的用户身高绘制的曲线830b，840b和850b几乎完全相同这一事实所例示的。这意味着，如图8a中的普通MDL和所获得的PV，对用户身高具有依赖性，对于这些用户而言不适用。

为了提高性能，MDL能够针对具体用户进行定制或个性化，如下文参考图9所说明的。这意味着PV可以基于用户输入来进行调节并且适应用户的要求。在图8b的示例中，这意味着PV的参数a、b、c将基于用户输入来适应个体用户，从而在保持用户身高h固定在他或她的身高的同时得到与数据点的良好线性拟合。个性化还可以意味着，例如，在AMD中，用户可能想要改变活动的类别或者将新类别的活动添加到对应于例如用户爱好的(分类器)模型中。

图9表示在本发明的实施例中MDL个性化阶段的概念图。

个性化基于来自用户的输入，并且在很多情况下暗示由用户进行的注释。这意味着，用户必须创建注释(OVu，SVu)对910，920的数据库，并且将该数据库上传到服务器。利用该数据库，算法的参数是适应性的，并且个性化的PVu能够被创建(而不改变ALGO)。关于如何处理用于个性化算法的用户数据库(DBu)以及个性化PVu的创建，存在若干选项：

–Pvu930仅利用DBu，即用户上传的数据来确定。在该情况下，用户必须提供足够大的数据库。这是具有优化的个人性能的最佳选择，但是需要大的高质量数据库。

–数据库DBu被添加到原注释数据库DBa中以确定PVu。如果DBu与DBa相比而言过小，则DBu对PVu的影响可能过小。在该情况下，仅应使用DBa的部分，或者DBu中的数据应当被给予比DBa中的数据大得多的权重。

–还能够利用针对用户要求而预选的DBa的部分来获得个性化的PVu(而无需用户提供DBu中的实际数据)。例如，对于较高用户的个性化步长估计，我们能够仅利用DBa中与较高测试对象有关的数据(例如，>1m80)来重新计算PVu的参数a、b和c。通过执行这种个性化的预选，能够提高模型的性能。

在上文的列出项中选择的选项将取决于用户数据库的应用和尺寸。定制可能不一定包括调节PV中的所有参数。定制算法可能仅调节参数的子集(PVu<PV)，该参数子集能够例如通过监督器来预先设定。在步长示例中，这将意味着不是所有的参数a、b和c都能够调节，而是仅能调节其中一个或两个。定制的PVu随后能够由用户下载并且应当提高MDL的性能。

以DBu形式的由用户上传的数据可能在PVu推导之后存储在服务器上。DBu可以保留具体用户的所有权，并且可以仅被访问供他个人使用。

然而，个性化和DBu的优点在于，数据能够用于大众。这意味着，DBu能够集成到DBa中以增加其尺寸以及提高MDL的一般性能。DBu的源可能保持完全匿名，并且我们能够将来自DBu的数据链接到用户的特性，而不知道用户的身份。但是，能够合法强制执行的可能因审判权而异，取决于适用于私有数据的隐私、存储和分布的本地规章。即使保留匿名(一些安全性机构可能不100％接受)，一些用户也可能需要具体的安全性措施，包括严格鉴定以将他们的数据交托给服务提供商。而且，必须注意一些法律禁止年龄、性别、宗教或种族歧视，包括基于这些分段的统计数据的提供。

图10a和10b表示本发明的另一实施例中的在MDL构思阶段用于确定人的活动类型的数据集的两个视图。

在下面描述的方法中，利用注释数据库来学习PV，并且PV最适合于没有确定性预测模型可用的情形。在AMD示例中，我们想要利用运动信号来对活动进行分类。如图4a所示，加速度计信号根据用户的姿态而变化(站立1010a，坐1020a)。为了确定加速度计值与活动之间的关系，我们能够使用注释数据库来确定作为所执行的活动的函数的加速度计读数的分布。

在上述示例中，运动信号1010a，1020a能够用于区分活动(站立，坐着)，因为在对应于这些活动的加速度计信号之间没有重叠。这意味着，通过将阈值置于例如0.15g，直接将活动分类为“站立”或“坐着”。然而，在一些情况下，分类不能确定地执行。这是图10b上显示的情况。考虑到使用AMD，我们希望对于行走和跑步具有不同的类。我们可以使用步频作为区分符并且使用注释数据库来获得用于行走和跑步的频率分布(1010b，1020b)。

使用误差最小化方法，我们可以使用数据库来获得阈值频率1030b，其能够用作用于行走和跑步活动的分类器。该示例表明，虽然阈值频率对于大多数情况适用，但是不能对所有情况100％正确地分类；一些人走得比另一些人跑得快。这意味着，对于一些用户，MDL必须个性化从而正确地起作用。个性化过程已经在上文结合能够使用确定性模型的图8a和图8b的实施例的类型进行了说明。个性化能够利用来自用户的(注释的)行走/跑步数据来执行。可替代地，仅那些(OVa，SVa)对用于MDL构思，所述(OVa，SVa)对与类似于要对其执行个性化的用户相对应的用户。例如，对于执行常规练习的拟合用户，仅使用来自在常规基础上跑步并且因此当与一般(未经训练的)总体相比具有较高速度的用户的那些(OVa，SVa)对。

当在学习过程中使用注释数据库时，可以将注释数据库拆分成两个部分，并且在实际的学习阶段使用第一部分，而在测试阶段使用第二部分。第一学习数据库包含了用于在学习阶段期间确定ALOG的PV的(OVa，SVa)对。一旦该PV已经被确定，则利用第二测试数据库来对其性能进行校验。在该测试阶段，OVa用作对应用了学习后的PV的模型的输入，并且将计算的输出SV与注释的SVa进行比较。如果PV已经在学习阶段被正确地确定，则SV将接近于SVa。表达为E＝norm(SV-SVa)的误差能够用于量化ALGO&PV组合的性能。在学习和测试部分中对数据库的这种拆分用于校验PV的正确学习并且避免过拟合/欠拟合。

在许多情形下，ALGO将例如由监督器根据问题来选择。如果存在多个候选算法，则每个候选者可以遵从如上所述的测试程序。这意味着，对于每个候选算法，在利用学习数据库计算PV之后，对于测试数据库确定误差范数E。具有最小误差的候选者是对于问题最可能的候选ALGO。换言之，从候选算法的列表中选出的ALGO是得到最小误差且因此对于应用而言最佳拟合的一个。

现在，我们论述上述的不同示例以表明使用注释数据库的不同方式，以及表明在MDL中使用的ALGO和预处理的类型取决于应用的类型。我们已经使用了简单的示例，从而使得说明书的核心不偏离本发明的主旨。关于AMD和分类的更多信息可以见于专利申请WO2010/122172。本领域技术人员将易于应用更先进的算法用于更复杂的情况；例如，使用感知器或径向基函数的隐式马尔科夫模型或神经网络通常用于预测模型不可用的复杂情况。

图11a、11b、11c、11d和11e表示使用本发明的系统的功能体系结构的不同实施例。

一旦已经设计出MDL，包括PREP、ALGO和PV的版本由管理程序或服务提供商发布给用户。注意的是，在注释和模型构思的论述中，我们使用了一组用户的构思来采集(OVa，SVa)对。在下面的论述中，用户可能仅为不是采集数据来开发MDL的一组用户的部分的MDL的用户。许多应用将集中于连接的个人电子设备(CPED)，诸如智能手机。然而，相同类型的体系结构还能够应用于其它类型的设备，例如，处理家庭自动化的家用服务器。如果使用CPED，则多种使用模式是可能的，其描述如下：

–用户能够将MDL(ALGO+PV)从管理程序的服务器下载到他的CPED并且开始在他的CPED上利用MDL来运行应用。在表示在图11a上的该实施例中，一旦下载完成，则数据捕获(OV)以及处理在用户的CPED上本地进行；处理结果可以通过视觉或口头方式在其CPED上传送给用户。

–在表示在图11b上的另一实施例中，用户将由他的CPED生成的OV上传到管理程序/服务提供商的服务器上。服务器利用MDL来处理用户的OV并且将对应的SV发回给用户。该选项要求发送可能大量的数据，以及可能在服务器上的大的处理功率(对于不同的同时用户)。在用户具有个性化的参数向量PVu的情况下，PVu可以通过OV上传到服务器，或者存储在服务器上。

–在表示在图11c上的中间选项中，用户的CPED在数据上传到管理程序的服务器之前进行一些预处理以减少数据量。MDL确定SV，然后将SV发回用户。

操作模式的选择将取决于应用。在借助于智能手机(CPED)的运动传感器的行人室内导航的示例中，必须立即对连续数据流进行分析以用于导航目的。这可能导致决定，图11a的实施例是最适合的。在AMD示例中，我们能够采集一天期间的数据(OV)，并且此后执行分析(获得SV)。在该情况下，来自AMD的数据能够在获取后进行上传以便由服务器上的MDL进行分析，然后再下载到用户(图11b的选项)。这具有节约CPED上的处理功率和电池寿命的优点。

MDL和生成OV的传感器不一定必须在同一设备(DEV)上。该类型的实施例示意性地表示在图11d上。在电子网球拍的情况下，传感器在球拍中并且MDL可以是用户的CPED，如用户的智能手机或膝上型设备。该解决方案带来了不需要球拍中大量处理功率的优点，这意味着较长的电池寿命。然而，这确实暗示，球拍需要存储数据或者将数据立即发送到执行处理的设备的装置。

不同的设备可能将它们的OV发送到运行MDL的中央CPED。每个设备可能任选地做一些预处理(PREP)从而限制必须发送的数据。在已经在同一应用中使用的如网球拍的专用设备中，PREP模块不大可能需要许多更新。然而，多于多功能设备，PREP模块可能要更新，这取决于应用。

CPED可能也产生其自身的OV，或者通过传感器或者通过另外的数据形式。例如，对于AMD，运动传感器可能处于附属件(例如，腕带，足感器)中，但是MDL需要关于用户的个人输入，诸如用户身高。为了对网球摆动进行分类，MDL需要关于竞赛者是右手型还是左手型的输入。用户的个人特性，换言之用户的简档(UPROF)，可以存储在CPED上。

对于一些应用，个人服务器能够用于运行MDL，如图11e中所示。例如，在涉及到家庭自动化的应用中，MDL可以运行于连接到一个或多个设备(DEV_i)的家用服务器上。用户仍能够使用CPED来获得SV，并且可能甚至将附加的OV发送给服务器。

图11a至11e中呈现的不同的体系结构不意在作为体系结构的穷尽列表。这些体系结构的组合或变型例也是可能的。

图12a、12b、12c和12d表示本发明的不同实施例，其中能够在不同位置拆分模型构思和使用以及数据存储。

在上面的说明中，模型构思已经用表示管理程序/服务提供商的类云符号进行了描绘。对于管理程序而言最可能的选择是数据融合算法领域的技术人员或公司，如本专利申请的申请人。本发明可以实现在管理程序所有的单个服务器上。注释数据库被传送并且存储在该服务器上，并且全部的处理和MDL构思在该服务器上进行。一旦某MDL的版本的设计发布使用，用户能够从管理程序服务器上下载MDL。用于不同应用的不同模型(MDLi)能够同时运行在该服务器上。该类型的体系结构表示在图12a上。

显然，对于有限量用户的更多模型，单个服务器将是不够的。在该情况下，要求服务器网络和存储容量，这称为云。这超越了本文的范围而进入到描述云计算的具体细节(参见例如“CloudComputing:PrinciplesandParadigms”，RajkumarBuyya，JamesBronberg，AndrzejGoscinski，JohnWiley&Sons，Inc.，该文献通过引用方式合并于此)。

对于增加的容量(具有更多用户的更多模型)，管理程序能够使用服务器网络(SRVi)和存储容量(STORi)。服务器能够专用于特定问题(MDLi)并且用户能够从具体服务器下载模型(参见图12b)。可替代地，用户能够浏览中央服务器，所述中央服务器对业务进行处置和分布(参见图12c)。

如果某模型仅指定用于某人/组织/公司以及由于安全性或隐私原因，信息必须保持它们的所有权，则数据库和模型能够存储在私有服务器上。在该情况下，管理程序可以有权访问以提供准则并且监督模型构思(参见图12d)。

在本说明书中公开的示例仅为了对本发明的一些实施例的举例说明。这些示例不以任何方式限制由随附权利要求书限定的所述发明的范围。

权利要求书(按照条约第19条的修改)

1.一种计算机系统，至少包括具有与远程服务器的通信能力的第一设备，其中：

-所述第一设备被配置为生成第一数据集，每个第一数据集至少包括与至少一个人的行为、以及所述至少一个人感兴趣的情况中的至少一个有关的传感器读数，所述传感器读数由所述第一设备和第二设备中的一个来处理，所述第二设备具有与所述第一设备和所述远程服务器中的至少一个的通信能力；

-所述第一设备和所述第二设备中的一个被配置为捕获第二数据集，每个第二数据集至少包括与所述人的行为和所述人感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用，并且与所述第一数据集中的数据不同；

所述第一设备进一步被配置为生成第三数据集，每个第三数据集包括对表征用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于与所述用户的行为以及所述用户感兴趣的情况中的至少一个有关的至少传感器读数在模型中的输入的，其中，选定类型的所述模型是由所述远程服务器根据使用用于所述至少一个人和至少第二人的第一数据集和第二数据集的计算而创建的。

2.如权利要求1所述的计算机系统，其中，选定类型的所述模型通过由所述第一设备、所述第二设备以及所述远程服务器中的至少一个执行的处理而进一步被定制成所述至少一个人的特征。

3.如权利要求1至2中的一项所述的计算机系统，其中，所述第一数据集和所述第二数据集中的至少一个进一步包括与表征所述至少一个人、所述人的行为和所述人感兴趣的情况中的至少一个的一个或多个特征有关的固定数据。

4.如权利要求1至3中的一项所述的计算机系统，其中，选定类型的所述模型是观测系统和通用近似中的一个。

5.如权利要求4所述的计算机系统，其中，所述观测模型是卡尔曼过滤器。

6.如权利要求4所述的计算机系统，其中，所述通用近似是神经网络和分类器中的一个。

7.如权利要求6所述的计算机系统，其中，所述分类器是隐式马尔科夫模型和动态时间规整函数中的一个。

8.如权利要求1至7中的一项所述的计算机系统，其中，所述传感器读数通过包括加速度计、陀螺仪和磁力计中的至少一个在内的感测能力来生成。

9.如权利要求1至8中的一项所述的计算机系统，其中，所述第一计算机设备和所述第二计算设备中的至少一个包括语音或图像输入能力和字符输入能力中的至少一个。

10.一种用于创建用于估计用户的行为和所述用户感兴趣的情况中的至少一个的模型的方法，所述方法包括：

-利用第一设备来捕获第一数据集的步骤，每个第一数据集至少包括与至少一个人的行为和所述至少一个人感兴趣的情况中的至少一个有关的传感器读数；

-利用所述第一设备和第二设备中的一个来捕获第二数据集的步骤，每个第二数据集至少包括与所述人的行为和所述人感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

所述方法进一步包括在远程服务器上选择适于处理所述第一数据集和所述第二数据集的模型的类型的步骤，以及在所述远程服务器上基于所述第一数据集和所述第二数据集的变换之间的比较来计算所述模型的参数的步骤，所述模型考虑到用于所述至少一个人和至少第二人的第一数据集和第二数据集。

11.如权利要求10所述的创建模型的方法，其中，所述比较是基于所述第一数据集与所述第二数据集的变换之间的拟合函数的优化的。

12.如权利要求10至11中的一项所述的创建模型的方法，其中，所述模型是基于优化结果而从模型的列表中选择的。

13.如权利要求10至12中的一项所述的创建模型的方法，其中，用于人的第一数据集和第二数据集中的一个的至少部分是响应于对所述拟合函数的影响的测试而被滤入或滤出的。

14.如权利要求10至13中的一项所述的创建模型的方法，其中，选定类型的模型基于确定用户的第一数据集、第二数据集和一个或多个表征特征中的一个而针对所述确定用户被进一步定制。

15.一种对表征用户的行为和所述用户感兴趣的情况中的至少一个的状态进行估计的方法，所述方法至少包括：

-捕获第一数据集的步骤，所述第一数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的传感器读数；

-在远程服务器上选择根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集而创建的模型的步骤，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

-生成第三数据集的步骤，所述第三数据集至少包括对表征所述用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于用于所述用户的至少所述第一数据集在模型中的输入的。

16.如权利要求15所述的方法，进一步包括：在生成第三数据集的所述步骤之前，在所述模型中输入与表征所述用户、所述用户的行为以及所述用户感兴趣的情况中的至少一个的一个或多个特征有关的数据的步骤。

17.一种设备，包括：

-第一能力，其被配置为生成第一数据集和接收第一数据集中的一个，所述第一数据集至少包括与用户的行为和所述用户感兴趣的情况中的至少一个有关的传感器读数；

-处理能力，其被配置为：

○使用根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集而创建的模型，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

○生成第三数据集，所述第三数据集至少包括对表征所述用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于至少所述第一数据集在所述模型中的输入的。

18.如权利要求17所述的设备，其中，所述处理能力进一步被配置用于在所述模型中接受与表征所述用户、所述用户的行为和所述用户感兴趣的情况中的至少一个的一个或多个特征有关的数据的输入。

19.如权利要求17至18中的一项所述的设备，其中，所述第一能力从具有用于生成传感器读数的能力的第二设备接收所述第一数据集的至少部分。

20.如权利要求17至19中的一项所述的设备，进一步包括被配置为捕获第二数据集的第二能力，所述第二数据集不同于所述第一数据集，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由用于所述用户的对应的第一数据集引用。

21.如权利要求20所述的设备，其中，所述模型是基于所述第一数据集和所述第二数据集中的至少一个的特性来进行调整的。

Claims (21)

1.一种计算机系统，至少包括具有与主计算机的通信能力的第一计算设备，其中：

-所述第一计算设备被配置为生成第一数据集，每个第一数据集至少包括与至少一个人的行为、以及所述至少一个人感兴趣的情况中的至少一个有关的传感器读数，所述传感器读数由所述第一计算设备和第二计算设备中的一个来处理，所述第二计算设备具有与所述第一计算设备和所述主计算机中的至少一个的通信能力；

-所述第一计算设备和所述第二计算设备中的一个被配置为捕获第二数据集，每个第二数据集至少包括与所述人的行为和所述人感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

所述第一计算设备进一步被配置为生成第三数据集，每个第三数据集包括对表征用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于与所述用户的行为以及所述用户感兴趣的情况中的至少一个有关的至少传感器读数在模型中的输入的，其中，选定类型的所述模型是由所述主计算机根据使用用于所述至少一个人和至少第二人的第一数据集和第二数据集的计算而创建的。

2.如权利要求1所述的计算机系统，其中，选定类型的所述模型通过由所述第一计算设备和所述第二计算设备中的至少一个执行的处理而进一步被定制成所述至少一个人的特征。

3.如权利要求1至2中的一项所述的计算机系统，其中，所述第一数据集和所述第二数据集中的至少一个进一步包括与表征所述至少一个人、所述人的行为和所述人感兴趣的情况中的至少一个的一个或多个特征有关的固定数据。

4.如权利要求1至3中的一项所述的计算机系统，其中，选定类型的所述模型是观测系统和通用近似中的一个。

5.如权利要求4所述的计算机系统，其中，所述观测模型是卡尔曼过滤器。

6.如权利要求4所述的计算机系统，其中，所述通用近似是神经网络和分类器中的一个。

7.如权利要求6所述的计算机系统，其中，所述分类器是隐式马尔科夫模型和动态时间规整函数中的一个。

8.如权利要求1至7中的一项所述的计算机系统，其中，所述传感器读数通过包括加速度计、陀螺仪和磁力计中的至少一个在内的感测能力来生成。

9.如权利要求1至8中的一项所述的计算机系统，其中，所述第一计算设备和所述第二计算设备中的至少一个包括语音输入能力和字符输入能力中的至少一个。

10.一种用于创建用于估计用户的行为和所述用户感兴趣的情况中的至少一个的模型的方法，所述方法包括：

-利用第一计算设备来捕获第一数据集的步骤，每个第一数据集至少包括与至少一个人的行为和所述至少一个人感兴趣的情况中的至少一个有关的传感器读数；

-利用第一计算设备和第二计算设备中的一个来捕获第二数据集的步骤，每个第二数据集至少包括与所述人的行为和所述人感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

所述方法进一步包括在主计算机上选择适于处理所述第一数据集和所述第二数据集的模型的类型的步骤，以及在所述主计算机上基于所述第一数据集和所述第二数据集的变换之间的比较来计算所述模型的参数的步骤，所述模型考虑到用于所述至少一个人和至少第二人的第一数据集和第二数据集。

11.如权利要求10所述的创建模型的方法，其中，所述比较是基于所述第一数据集与所述第二数据集的变换之间的拟合函数的优化的。

12.如权利要求10至11中的一项所述的创建模型的方法，其中，所述模型是基于优化结果而从模型的列表中选择的。

13.如权利要求10至12中的一项所述的创建模型的方法，其中，用于人的第一数据集和第二数据集中的一个的至少部分是响应于对所述拟合函数的影响的测试而被滤入或滤出的。

14.如权利要求10至13中的一项所述的创建模型的方法，其中，选定类型的模型基于确定用户的第一数据集、第二数据集和一个或多个表征特征中的一个而针对所述确定用户被进一步定制。

15.一种对表征用户的行为和所述用户感兴趣的情况中的至少一个的状态进行估计的方法，所述方法至少包括：

-捕获第一数据集的步骤，所述第一数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的传感器读数；

-在主计算机上选择根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集而创建的模型的步骤，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

-生成第三数据集的步骤，所述第三数据集至少包括对表征所述用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于用于所述用户的至少所述第一数据集在模型中的输入的。

16.如权利要求15所述的方法，进一步包括：在生成第三数据集的所述步骤之前，在所述模型中输入与表征所述用户，所述用户的行为以及所述用户感兴趣的情况中的至少一个的一个或多个特征有关的数据的步骤。

17.一种设备，包括：

-第一能力，其被配置为生成第一数据集和接收第一数据集中的一个，所述第一数据集至少包括与用户的行为和所述用户感兴趣的情况中的至少一个有关的传感器读数；

-处理能力，其被配置为：

○使用根据用于至少两个人的第一数据集和用于所述至少两个人的第二数据集而创建的模型，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由对应的第一数据集引用；

○生成第三数据集，所述第三数据集至少包括对表征所述用户的行为和所述用户感兴趣的情况中的至少一个的状态的估计，所述估计是基于至少所述第一数据集在所述模型中的输入的。

18.如权利要求17所述的设备，其中，所述处理能力进一步被配置用于在所述模型中接受与表征所述用户、所述用户的行为和所述用户感兴趣的情况中的至少一个的一个或多个特征有关的数据的输入。

19.如权利要求17至18中的一项所述的设备，其中，所述第一能力从具有用于生成传感器读数的能力的第二设备接收所述第一数据集的至少部分。

20.如权利要求17至19中的一项所述的设备，进一步包括被配置为捕获第二数据集的第二能力，所述第二数据集不同于所述第一数据集，所述第二数据集至少包括与所述用户的行为和所述用户感兴趣的情况中的至少一个有关的变量数据，所述变量数据按时间由用于所述用户的对应的第一数据集引用。

21.如权利要求20所述的设备，其中，所述模型是基于所述第一数据集和所述第二数据集中的至少一个的特性来进行调整的。