CN116389554A - 用于提高用户在体育活动中的表现的系统及其方法 - Google Patents

Abstract

提供了一种用于提高用户在体育活动中的表现的方法，包括从相机接收视频数据；分析用户在视频数据中的运动以从用户正在进行的多个活动中确定一个活动；当确定用户正在进行多个活动中的第一活动时，将用户的运动与第一组优选运动进行比较以确定它们之间的至少第一差异；当确定用户正在进行多个活动中的第二活动时，将用户的运动与第二组优选运动进行比较以确定它们之间的至少第二差异；以及使用第一差异和第二差异中的至少一个向用户提供关于用户在体育活动中的表现的信息，信息包括给到用户的关于用户参与体育活动的至少一个建议，信息经由计算设备而被提供到用户。

Description

用于提高用户在体育活动中的表现的系统及其方法

本发明是2017年03月08日所提出的申请号为201710133899.8、发明名称为“用于确定用户状态的系统和方法”的发明专利申请的分案申请。

技术领域

本发明涉及确定用户的状态，更具体地涉及至少使用自述(self-reporting)数据和生物计量数据来确定用户在其后时间的状态并响应于此执行至少一个动作的系统和方法。

背景技术

近来，已经开发出了如下的设备，其能够以方便的形式因子(form factor)来测量、感测、或估计与生理特征相关的至少一个或多个度量(metric)(通常被称为生物计量数据)。例如，已经开发了类似手表的设备，其能够测量个体的心率或脉搏，并且使用该数据与其他信息(例如，个体的年龄、体重等)一起来计算结果，诸如由个体在给定的一天所燃烧的总卡路里。类似的设备已经被开发用于测量、感测或估计其他种类的度量，仅举几例来说诸如血压、呼吸模式、呼吸成分、睡眠模式、以及血液酒精含量。这些设备统称为生物计量设备或生物传感器度量设备。

虽然生物计量设备的类型持续增长，但是使用生物计量数据的方式保持相对静态。例如，心率数据通常用于给出关于其脉搏和燃烧的卡路里的个体信息。通过另一示例，血液酒精和其他数据(例如，眼球运动数据)通常用于给出关于其血液酒精含量的个体信息，并关于他们是否可以安全地或合法地操作机动车辆而告知个体。通过又一示例，个体的呼吸模式(例如通过按分贝的响度水平、或通过在一段时间间隔的分贝水平的变化可测量)可以由医生、护士、或医疗技师进行监视，以确定个体是否患有睡眠呼吸暂停。

虽然生物计量数据在其本身是有用的，但是如果这样的数据可以与其他数据(例如，视频数据等)组合、(例如，无线地、通过网络，等等)提供给远程设备、和/或可搜索(例如，允许诸如升高的心率之类的某些条件被迅速地识别)和/或可交叉搜索(例如，使用生物计量数据来识别图示特定特征的视频部分，反之亦然)，则其将更加信息丰富或动态。这样的数据将也可以指示个体在特定时间或响应于个体在存在至少一个事物(例如，人、地方、文本内容(或包括在其中的词或其主题)、视频内容(或其主题)、音频内容(或包括在其中的词或其主题)等)的情况下感觉如何(例如，至少一个情感状态、情绪、身体状态或精神状态)。

因此，这将是有利的，并且存在对如下的系统和方法的需求，其单独使用或者与其他信息(例如，至少一个事物、兴趣数据、至少一个请求(例如，问题、命令等)等)一起使用所确定的状态(例如，情感状态、情绪、身体状态或精神状态)以产生某个结果，诸如提供给个体某个基于web的内容(例如，某个网页、某个广告等)和/或执行至少一个动作。虽然对每个已知的生物计量状态提供特定消息对于内容创作者理解和目标对准(target)可能不是合理的，但是人类的情感和情绪提供了内容创作者易于理解的用于对准消息的特定背景(context)。

还存在对如下的有效的系统和方法的需求，其能够至少实现一些或实际上所有的前述优点，并且能够合并由通常使用彼此不兼容的操作系统或技术(例如，硬件平台、协议、数据类型等)的各种设备以自动或手动形式所生成的数据。

在本发明的某些实施例中，该系统和/或方法被配置为在适时且成本有效的基础上接收、管理和过滤信息的数量，并且通过精确测量、可视化(例如，同步可视化等)、以及在定义的或预定义的范围外(或内)的数据点的快速通知还可以更有价值。

这样的系统和/或方法可以与个体的同时测量的生物计量数据(例如，心率等)、和/或同时收集的“自述数据”或被检者生成的经验数据一起，由个体(例如，运动员等)或他们的训练员、教练等使用，以实时(实况)或之后使个体在运动事件(例如，慢跑、骑自行车、举重、踢足球等)的表现期间可视化，其中个体在他们的练习、健身或体育活动/训练期间、或在认为记录和/或测量由用户和/或用户的对其即时环境(即，外界)因素、和/或生理、情感或身体状况的主观响应是有用的任何其他活动期间，输入他们自己主观的身体或精神状态(例如，感觉在系统中的肾上腺素“涌现”或内啡肽的发作、感觉疲劳、“再次振作起来”等)，并且，这与通常将需要医疗或实验室环境的客观测量系统相比为相对不显眼的方式。这将允许人(例如，个体、个体的训练员、第三方等)在观看或回顾(review)个体如在上述示例中在运动事件或其他身体活动的表现中、或在健康或情感状态正被监视或观察的情况中的同时，监视/观察个体的生理和/或主观心理特征。可以通过各种方法实现自述数据的这种输入，包括自动地、智能电话、智能手表、启用的(enabled)健身带上的系统中加时间戳的语音说明或注释、短格式或缩写键命令、或者便于个体利用以不妨碍(或尽可能少地妨碍)个体在进行中的活动中的流程和实践的任何其他系统链接的输入方法。

这样的系统和/或方法也将便于例如远程医疗应用中的远程观察和诊断，其中医务人员、或监视方或监护人需要对患者或婴儿身份的明确且迅速的确认以及他们的可见的身体状况，连同他们的同时生成的生物计量数据和/或自述数据。

此外，该系统和/或方法也应该向被检者(subject)或监视方提供使用视频索引的方式，以针对被检者的自己的生物计量历史和/或针对其他被检者的数据样本或人口比较数据，有效且直观地对被检者的数据进行基准测试(benchmark)、映射和评估，而与无论哪个操作平台或应用已被用来生成生物计量和视频信息无关。通过能够过滤/搜索特定的事件(例如，生物计量事件、自述事件、身体事件等)，所获取的数据可被减少或编辑(例如，创建“精彩集锦(highlight reel)”等)，同时保持各个视频片段和所测量和/或收集的数据(例如，生物计量数据、自述数据，GPS数据等)之间的同步。事件的这种全面的索引、以及用它来与(或不与)来自其他个体或其他相关来源的数据执行相关数据(视频及其他)的结构化聚合的能力，也可以用来使用“大数据”分析和“机器学习”的方法并添加用于对动作的推荐和调用的实施的人工智能(“AI”)提供更加丰富水平的信息。

发明内容

本发明(在第一部分)提供了一种单独使用、处理、索引、基准测试、排序、比较和显示生物计量数据或其结果，或者与其他数据(例如，视频数据、自述数据等)一起(例如，同步)使用、处理、索引、基准测试、排序、比较和显示生物计量数据或其结果的系统和方法。本发明的优选实施例根据与至少一个外部设备(例如，用于获取生物计量数据的生物计量设备、用于获取视频数据的视频设备等)通信的计算设备(例如，智能电话等)来操作。在本发明的第一实施例中，将可包括音频数据的视频数据和诸如生物计量数据的非视频数据分开存储在计算设备上并链接到其他数据，这允许视频和非视频数据的搜索和同步。

本发明(在第二部分)还针对个性化偏好优化，或者对个体的/来自个体的生物计量数据和/或自述数据的使用，以确定个体的至少一个情感状态、情绪、身体状态或精神状态(“状态”)，然后其被单独地或与其他数据(例如，在个体正在经历情感时接近个体的至少一个事物、来自基于web的数据(例如，出价(bid)数据等)的来源的兴趣数据等)一起使用以向个体提供某些基于web的数据或执行特定的动作。

关于本发明的第一部分，应用(例如，在计算设备上运行等)可以包括用于执行多个功能的多个模块。例如，该应用可以包括用于从内部和/或外部相机接收视频数据的视频捕获模块、以及用于从内部和/或外部生物计量设备接收生物计量数据的生物计量捕获模块。客户端平台还可以包括允许用户与平台交互的用户界面模块、用于编辑视频数据的视频编辑模块、用于管理数据的文件处置模块、用于复制数据的数据库和同步模块、用于处理所接收的数据的算法模块、用于共享和/或存储数据的共享模块、以及用于与第三方社交媒体网站(诸如Facebook^TM)相接(interface)的中央登录和ID模块。

这些模块能够用来例如开始新的会话、接收用于会话的视频数据(即，经由视频捕获模块)、接收用于会话的自述数据(例如，经由键盘等)、以及接收用于会话的生物计量数据(即，经由生物计量捕获模块)。该数据能够存储在本地存储装置中、本地数据库中、和/或远程存储器设备(例如，在公司云或第三方云服务中，诸如Dropbox^TM等)上。在优选实施例中，数据被存储为使得其被链接到(i)识别会话(例如，相关数据)和(ii)启用同步(例如，时间(temporal)数据)的信息。

例如，视频数据优选至少链接到开始时间(例如，会话的开始时间)和标识符。标识符可以是唯一识别会话的单个数字、或者多个数字(例如，多个全局唯一标识符或通用唯一标识符(GUID/UUID))，其中第一个数字唯一识别会话并且第二个数字唯一识别会话内的活动，从而允许会话包括多个活动。标识符还可以包括会话名称和/或会话描述。关于视频数据的其他信息(例如，视频长度、视频源等)(即，“视频元数据”)也可以被存储并链接到视频数据。生物计量和/或自述数据优选至少链接到开始时间(例如，与链接到视频数据的相同的开始时间)、标识符(例如，与链接到视频数据的相同的标识符)、以及采样率，其识别接收和/或存储生物计量和/或自述数据的速率。

一旦视频、自述和/或生物计量数据被存储和链接，就可以使用算法来将数据显示在一起。例如，如果以每分钟30个样本(spm)的采样率来存储生物计量数据，则可以使用算法来在视频剪辑(clip)的开始显示第一生物计量值(例如，在视频数据下方、与视频数据叠加等)，在两秒钟之后(视频剪辑当中的两秒钟)显示第二生物计量值，在两秒钟之后(视频剪辑当中的四秒钟)显示第三生物计量值，等等。在本发明的替代实施例中，可以用多个时间戳(例如，针对每个存储值的各自的时间戳或偏移(offset)、或者针对每个数据类型的各自的采样率)存储非视频数据(例如，生物计量数据、自述数据等)，所述时间戳可以与开始时间一起用来将非视频数据与视频数据同步。

在本发明的一个实施例中，生物计量设备可以包括用于感测生物计量数据的传感器、用于与用户交互(interface)并显示各种信息(例如，生物计量数据、设置数据、操作数据(诸如开始、停止和暂停)等)的显示器、用于存储所感测的生物计量数据的存储器、用于与示例的计算设备通信的收发器、以及用于操作和/或驱动收发器、存储器、传感器和显示器的处理器。示例的计算设备包括用于从示例的生物计量设备接收生物计量数据的收发器(1)、用于存储生物计量数据的存储器、用于与用户交互并显示各种信息(例如，生物计量数据、设置数据、操作数据(诸如开始、停止和暂停)、输入会话中的注释或添加语音说明等)的显示器、用于接收用户输入数据的键盘(或其他用户输入)、用于将生物计量数据经由因特网提供给主(host)计算设备的收发器(2)、以及用于操作和/或驱动收发器(1)、收发器(2)、键盘、显示器和存储器的处理器。

计算设备中的键盘(或其他输入设备)或者替代地生物计量设备中的键盘(或其他输入设备)可以用来键入(enter)自述数据、或者关于用户在特定时间的感觉如何的数据。例如，如果用户感觉疲劳，则用户可以在键盘上键入“T”。如果用户感觉他们的内啡肽起作用，则用户可以在键盘上键入“E”。并且，如果用户再次振作起来，则用户可以在键盘上键入“S”。替代地，为了进一步便于在练习或体育活动期间的操作，可以预分配诸如“T”、“E”和“S”的短代码键钮，就像智能电话上针对频繁呼叫的联系人的快速拨号电话号码等，这可以手动选择或使用语音识别选择。然后将该数据(例如，条目或其表示)存储并链接到采样率(如生物计量数据)或者时间戳数据，其可以是按下每个按钮的时间或与开始时间的偏移。这会允许自述数据与包括视频和生物计量数据的其他数据同步。其也会允许自述数据如生物计量数据那样被搜索或过滤(例如，为了找到与特定事件(诸如用户何时开始感觉疲劳等)相对应的视频)。

在本发明的替代实施例中，计算设备(例如，智能电话等)还经由广域网(“WAN”)(诸如因特网)与主计算设备通信。该实施例允许计算设备从主计算设备下载应用，卸载主计算设备的上述功能中的至少一些，并将数据存储在主计算设备上(例如，允许单独的或与诸如生物计量数据和自述数据的非视频数据同步的视频数据被另一联网设备观看)。例如，在计算设备上操作的软件(例如，应用、程序等)可以允许用户播放视频和/或音频数据，但是不允许将视频和/或音频数据与生物计量数据同步。这可能是因为主计算设备被用来存储对同步关键的数据(时间戳索引、元数据、生物计量数据、采样率等)，和/或在主计算设备上操作的软件对同步是必须的。通过另一示例，在计算设备上操作的软件可以允许用户播放单独的或与生物计量数据同步的视频和/或音频数据，但是可能不允许计算设备搜索或以其他方式从生物计量数据外推(extrapolate)或处理生物计量数据来识别相关部分(例如，其可以用来创建同步的视频/音频/生物计量数据的“精彩集锦”)或者对生物计量和/或视频数据排序(或者可以限制计算设备的搜索或以其他方式从生物计量数据外推或处理生物计量数据来识别相关部分(例如，其可以用来创建同步的视频/音频/生物计量数据的“精彩集锦”)或者对生物计量和/或视频数据排序的能力)。这可能是因为主计算设备被用来存储对搜索和/或排序生物计量数据关键的数据(生物计量数据、生物计量元数据等)，和/或软件对搜索(或执行高级搜索)和/或排序(或执行高级排序)生物计量数据是必须的。

在本发明的一个实施例中，还可以包括音频数据的视频数据在时间“T”开始并持续“n”的持续时间。视频数据优选存储在存储器中(本地地和/或远程地)并链接到其他数据，诸如标识符、开始时间以及持续时间。这种数据(例如，相关数据)将视频数据至少绑定到特定的会话、特定的开始时间，并识别其中包括的视频的持续时间。在本发明的一个实施例中，每个会话可以包括不同的活动。例如，在特定日期去柏林的旅行(会话)可以涉及骑车穿过城市(第一个活动)和步行穿过公园(第二个活动)。因此，标识符可以包括会话标识符和活动标识符二者，会话标识符经由全局唯一标识符(GUID)唯一地识别会话，活动标识符经由全局唯一标识符(GUID)唯一地识别活动，其中会话/活动关系是父/子的关系。

在本发明的一个实施例中，生物计量数据存储在存储器中并链接到标识符和采样率“m”。这允许生物计量数据在回放时被链接(例如，在关系上(relationally)且在时间上)到视频和/或自述数据。例如，如果标识符是一个，开始时间是1:00PM，视频持续时间是一分钟，并且采样率时30spm，那么在2:00PM播放视频会导致在2:00PM将显示第一生物计量值(例如，在视频下方、在视频之上等)，两秒钟后将显示第二生物计量值(例如，在视频下方、在视频之上等)，以此类推直到视频在2:01PM结束。虽然自述数据可以像生物计量数据一样存储(例如，链接到采样率)，但是，如果仅周期性地接收这种数据，那么存储链接到标识符和时间戳的该数据可以更加有利，其中“m”是接收到自述数据的时间或者该时间与开始时间之间的偏移(例如，开始时间之后十分钟零四秒钟等)。通过将视频和非视频数据彼此分开存储，可以容易地搜索和同步数据。

关于将数据链接到可以与其他数据(例如，开始时间、采样率等)链接的标识符，如果实时接收到该数据，则该数据可被链接到用于当前会话(和/或活动)的标识符。然而，当在事实之后(例如，在会话结束之后)接收到数据时，存在数据可被链接到特定会话和/或活动(或与其关联的标识符)的几种方式。数据可以手动链接(例如，由用户)或经由应用自动链接。关于后者，这可以例如通过以下方式完成：通过将接收的数据的持续时间(例如，视频长度)与会话和/或活动的持续时间比较；通过假设接收的数据与最近的会话和/或活动相关；或者通过分析接收的数据内包括的数据。例如，在一个实施例中，接收的数据内包括的数据(例如，元数据)可以识别与该数据关联的时间和/或位置，这随后可被用来将接收的数据链接到会话和/或活动。在另一个实施例中，计算设备可以显示识别会话和/或活动的数据(例如，条形码，诸如QR码等)。外部摄录机可以连同用户和/或他/她的周围环境一起(例如，之前、之后、或期间)记录识别数据(如计算设备所显示的)。然后，应用可以在视频数据中搜索识别数据，并使用该数据将视频数据链接到会话和/或活动。然后，必要时应用可以删除视频数据的识别部分。

关于本发明操作的第二部分，Web主机可以经由广域网(WAN)与多个内容供应商(即，来源)和至少一个网络设备通信，其中网络设备由个体操作并被配置为将个体的生物计量数据传递给Web主机。内容供应商向Web主机提供内容，诸如网站、网页、图像数据、视频数据、音频数据、广告等。然后，Web主机被配置为从网络设备接收生物计量数据，其中生物计量数据从操作网络设备的个体获取或与操作网络设备的个体关联。然后，应用被用来从接收到的生物计量数据确定至少一个情感、情绪、身体状态或精神状态。这使用已知的算法、生物计量数据与各种状态之间的相关性(correlation)和/或存储在存储器设备中的自述数据来完成。

在本发明的一个实施例中，内容供应商可以表示有兴趣向在特定情感状态中的个体提供基于web的数据。在本发明的另一个实施例中，内容供应商可以表示有兴趣向响应于事物(例如，一个人、一个地方、文本内容的主题、视频内容的主题、音频内容的主题等)而经历了的特定情感的个体或其他有关方(诸如朋友、雇主、护理提供者等)提供基于web的数据。兴趣可以是简单的“是”或“否”，或者可以更复杂，如1-10级(scale)的兴趣、内容所有者愿意每次展示(impression)支付(CPM)的金额、或者内容所有者愿意每次点击支付(CPC)的金额。

单独的或结合其他数据(例如，随机性、人口统计数据等)的兴趣数据可以由应用使用来确定应提供给个体的内容数据(例如，广告等)。例如，如果兴趣数据包括针对特定情感或情感-事物关系的不同出价，则应用可以将具有最高出价的广告提供给经历了该情感的个体。在其他实施例中，在向个体提供内容时考虑其他数据。在这些实施例中，在选择要提供给个体的内容时至少要考虑兴趣数据。

在本发明的一个方法中，生物计量数据从个体接收并用来(单独地或与自述数据一起)确定个体的相应情感，诸如快乐、生气、惊讶、悲伤、厌恶或恐惧。要理解的是，情感分类是层次化的，以及这种方法可以允许目标对准更具体的情感(诸如狂喜、娱乐或宽慰，这些都是欢乐的情感的子集)。关于该情感是否是个体的当前状态、或者其是否基于个体对事物(例如，一个人、一个地方、给个体显示的信息等)的响应而做出确定。如果该情感是个体的当前状态，那么至少基于个体的当前情感状态和兴趣数据选择内容。然而，如果该情感是个体对事物的响应，那么至少基于个体对事物(或其主题)的情感响应和兴趣数据选择内容。然后，所选择的内容提供给个体或者由个体操作的网络设备。

在执行特定动作或执行特定请求(例如，问题、命令等)时，还可以考虑个体的情感、情绪、身体或精神状态。换言之，在执行特定动作(例如，在个体的指导下等)之前，网络连接或网络感知系统或设备可以考虑个体的情感、情绪、身体或精神状态。例如，由个体提供的命令或指令可以单独地或者与同个体相关或来自个体的其他生物计量数据一起被分析，以确定个体的当前情绪、情感、身体或精神状态。然后，网络连接或网络感知系统或设备可以在执行命令或指令时考虑个体的状态。取决于个体的状态，系统或设备在执行所请求的动作之前可以警告个体，或者可以附加地执行另一个动作、或者代替所请求的动作而执行另一个动作。例如，如果确定车辆的驾驶员是生气的或喝醉的(intoxicated)，那么车辆可以在发动引擎之前向驾驶员提供警告，可以限制最大速度，或者可以阻止驾驶员操作车辆(例如，切换到自主模式等)。

通过考虑以下对优选实施例的详细描述，将向本领域技术人员提供对于至少使用自述和生物计量数据来确定用户的状态的系统和方法、以及其附加的优点和目的的实现的更完整的理解。将参考所附的附图，其将首先被简要地描述。

附图说明

图1图示了根据本发明的一个实施例的用于使用、处理和显示生物计量数据以及用于使生物计量数据与其他数据(例如，视频数据、音频数据等)同步的系统；

图2A图示了根据本发明另一实施例的用于使用、处理和显示生物计量数据以及用于使生物计量数据与其他数据(例如，视频数据、音频数据等)同步的系统；

图2B图示了根据本发明的又一实施例的用于使用、处理和显示生物计量数据以及用于使生物计量数据与其他数据(例如，视频数据、音频数据等)同步的系统；

图3图示了根据本发明的一个实施例的与生物计量数据同步的视频数据的示例性显示；

图4图示了根据本发明的一个实施例的用于使用、处理和显示生物计量数据以及用于使生物计量数据与其他数据(例如，视频数据、音频数据等)同步的框图；

图5图示了根据本发明另一实施例的用于使用、处理和显示生物计量数据以及用于使生物计量数据与其他数据(例如，视频数据、音频数据等)同步的框图；

图6图示了根据本发明一个实施例的使视频数据与生物计量数据同步、操作视频数据和搜索生物计量数据的方法；

图7图示了根据本发明另一实施例的与生物计量数据同步的视频数据的示例性显示；

图8图示了优选地链接到标识符(ID)(例如关系数据)、开始时间(T)和结束时间或持续时间(n)(例如，时间数据)的示例性视频数据；

图9图示了包括会话标识符和活动标识符的示例性标识符(ID)(例如，关系数据)；

图10图示了优选地链接到标识符(ID)(例如，关系数据)、开始时间(T)和采样率(S)(例如，时间数据)的示例性生物计量数据；

图11图示了优选地链接到标识符(ID)(例如关系数据)和时间(m)(例如，时间数据)的示例性自述(或“自实现”)数据；

图12图示了根据本发明的一个实施例的如何可以使用采样的生物计量数据点来外推其他生物计量数据点；

图13图示了根据本发明的另一实施例的如何可以使用采样的生物计量数据点来外推其他生物计量数据点；

图14图示了如何可以使用开始时间和与其相关的数据(例如，采样率等)来将生物计量数据与自述数据和/或视频数据同步(例如，在时间上相关)的示例；

图15描绘了应用的示例性“登入(sign in)”屏幕截图，该应用允许用户至少捕获用户进行运动事件(例如，骑自行车等)的视频和生物计量数据，并且与生物计量数据一起(或同步)显示视频数据；

图16描绘了图15中描绘的应用的示例性“创建会话”屏幕截图，允许用户创建新会话；

图17描绘了图15中描绘的应用的示例性“会话名称”屏幕截图，允许用户键入会话的名称；

图18描绘了图15中描绘的应用的示例性“会话描述”屏幕截图，允许用户键入会话的描述；

图19描绘了图15中描绘的应用的示例性“会话开始”屏幕截图，示出了实时接收的视频和生物计量数据；

图20描绘了图15中描绘的应用的示例性“回顾会话”屏幕截图，允许用户稍后回放会话；

图21描绘了图15中描绘的应用的示例性“图形显示选项”屏幕截图，允许用户选择要与视频数据一起显示的数据(例如，心率数据等)；

图22描绘了图15中描绘的应用的示例性“回顾会话”屏幕截图，其中视频数据与生物计量数据一起(或同步)显示；

图23描绘了图15中描绘的应用的示例性“地图”屏幕截图，示出了在谷歌地图上显示的GPS数据；

图24描绘了图15中描绘的应用的示例性“概要”屏幕截图，示出了会话的概要；

图25描绘了图15中描绘的应用的示例性“生物计量搜索”屏幕截图，允许用户在生物计量数据中搜索特定生物计量事件(例如，特定值、特定范围等)；

图26描绘了图15中描绘的应用的示例性“第一结果”屏幕截图，示出了图25中所示的生物计量事件的第一结果以及相应视频；

图27描绘了图15中描绘的应用的示例性“第二结果”屏幕截图，示出了图25中所示的生物计量事件的第二结果以及相应视频；

图28描绘了图15中描绘的应用的示例性“会话搜索”屏幕截图，允许用户搜索满足某些标准的会话；

图29描绘了图15中描绘的应用的示例性“列表”屏幕截图，示出了图28中所示的标准的结果；

图30图示了经由广域网(WAN)与至少一个内容提供商和至少一个网络设备通信的Web主机，其中所述Web主机被配置为响应于如从网络设备接收到的生物计量数据(或与其相关的数据)向网络设备提供某些内容；

图31图示了图30中描绘的Web主机的一个实施例；

图32提供了将不同的生物计量数据链接到不同情感的示例性图表；

图33提供了将不同的响应链接到图表中的不同情绪、不同事物和不同兴趣水平的示例性图表；

图34图示了根据本发明的一个实施例的方法，其使用来自个体的生物计量数据来确定个体的至少一个情感，并且单独地或结合其他数据使用至少一个情感来选择要提供给个体的内容；

图35提供了根据本发明的一个实施例的示例性生物计量传感器数据串；

图36提供了根据本发明的一个实施例的示例性情感响应数据串；

图37提供了根据本发明的一个实施例的示例性情感事物数据串；

图38提供了根据本发明的一个实施例的示例性事物数据串；

图39图示了经由广域网(WAN)与多个远程设备通信并且被配置为使用生物计量数据来确定个体的至少一个状态并使用该至少一个状态来执行至少一个动作的具有网络功能的设备；

图40图示了图39中描绘的具有网络功能的设备的一个实施例；以及

图41图示了根据本发明的一个实施例的方法，其使用来自个体的生物计量数据来确定个体的至少一个状态并使用该至少一个状态来执行至少一个动作。

具体实施方式

本发明(在第一部分中)提供了用于单独地或与其他数据(例如，视频数据、自述数据等)一起(例如，同步)使用、处理、索引、基准测试、排序、比较和显示生物计量数据或其结果的系统和方法。应当理解，虽然此处根据某些生物计量数据(例如，心率、呼吸模式、血液酒精含量等)描述了本发明的该部分，但是本发明不限于此，并且可以与任何生物计量和/或物理数据结合使用，所述数据包括但不限于氧含量、CO₂含量、氧饱和度、血压、血糖、肺功能、眼压、身体和环境条件(温度、湿度、光照水平、海拔和气压)、速度(步行速度、跑步速度)、行进的位置和距离、呼吸频率、心率变异(HRV)、EKG数据、出汗水平、消耗的和/或燃烧的卡路里、酮、废物排放量和/或水平、激素水平、血液成分、唾液成分、可听水平(例如，打鼾等)、情绪水平和变化、皮肤电响应、脑波和/或活动或其他神经学测量、睡眠模式、身体特征(例如，身高、体重、眼睛颜色、头发颜色、虹膜数据、指纹等)或响应(例如，面部变化、虹膜(或瞳孔)变化、语音(或音调)变化等)或其任何组合或结果。

如图1所示，生物计量设备110可以与计算设备108(例如，智能电话)通信，计算设备108又经由广域网(“WAN”)100(例如，因特网)与至少一个计算设备(102，104，106)通信。计算设备可以是使用一个或不同的操作系统或平台的不同类型(例如，PC、膝上型计算机、平板计算机、智能电话、智能手表等)。在本发明的一个实施例中，生物计量设备110被配置为获取(例如，测量、感测、估计等)个体的心率(例如，生物计量数据)。然后，生物计量数据被提供给计算设备108，计算设备108包括视频和/或音频记录器(未示出)。

在本发明的第一实施例中，视频和/或音频数据与心率数据一起经由网络100被提供给主计算设备106。因为同时发生的视频和/或音频数据和心率数据被提供给主计算设备106，所以在主计算设备上操作的主应用(未示出)可以用于同步视频数据、音频数据和/或心率数据，从而，允许用户(例如，经由用户计算设备102、104)在观看生物计量数据的同时，观看视频数据和/或收听音频数据(实时地或有时间延迟地)。例如，如图3所示，主应用可以使用时间戳320，或者使用元数据的其他排序(sequencing)方法，来使视频数据310与生物计量数据330同步(并且，在其他实施例中，使视频数据310与自述数据同步)，以允许用户观看例如在特定时间340(例如，经过开始时间76秒)的个体(例如，医院中的患者、婴儿床中的婴儿等)、以及在特定时间340(例如，经过开始时间76秒)与个体相关联的生物计量数据(在其他实施例中，和自述数据)。

应当理解，主应用还可以被配置为执行其他功能，例如，在视频数据、音频数据、自述数据、生物计量数据和/或元数据中搜索特定的活动，和/或对视频数据、音频数据、自述数据和/或生物计量数据排序。例如，主应用可以允许用户搜索特定的生物计量事件，例如，已经超过特定阈值或特定值的心率、已经下降到特定阈值或特定值以下的心率、在最小时间段中的特定心率(或范围)等。作为另一示例，主应用可以在时间顺序上、按照生物计量大小(magnitude)(从最高到最低、从最低到最高等)、按照评论(review)(从最好到最差、从最差到最好等)、或按照观看(从最多到最少、从最少到最多等)，来对视频数据、音频数据、生物计量数据或多个同步剪辑(例如，精彩集锦)排序。应当进一步地理解，诸如数据的排名、搜索和分析的功能不限于用户的个别会话，而是可以跨越该用户的任何数量的个别会话、以及多个用户的会话或多个会话而执行。所有各种信息(视频、生物计量和其他信息)的这个集合的一个用途是能够生成用于大数据分析和机器学习的足够的数据点，旨在于生成AI推断和推荐。

作为示例，机器学习算法可以用于自动搜索视频数据，寻找最引人注目的内容，随后，最引人注目的内容将被接合(stitch)到一起成为短的“精彩集锦”。可以使用多个体育视频、以及来自用户的用户随着视频进展的感兴趣水平的评级(rating)，来训练神经网络。网络的输入节点可以是帧之间的像素强度变化的样本、以及当前帧的兴奋评级的中值。机器学习算法还可以与多层卷积神经网络结合使用，以对视频内容自动分类(例如，视频中是什么体育运动)。一旦内容被自动地或手动地识别，就可以使用算法来将用户的活动与理想化的活动进行比较。例如，系统可以将用户的高尔夫挥杆的视频记录与职业高尔夫球手的视频记录进行比较。然后，系统可以向用户提供关于用户如何可以改善他们的挥杆的渐进的(incremental)提示。也可以使用算法来预测用户的健身水平(例如，如果他们坚持他们的计划，则给予他们继续锻炼的激励)，将用户与具有类似健身水平的其他用户或从业人员匹配，和/或创建为每个用户优化的习惯(routine)。

还应当理解，如图2A所示，生物计量数据可以直接提供给主计算设备106，而不经过计算设备108。例如，计算设备108和生物计量设备110可以直接地或经由网络100，独立地与主计算设备通信。应当进一步地理解，视频数据、音频数据、自述和/或生物计量数据不需要实时地提供给主计算设备106。例如，视频数据可以在稍晚的时间提供，只要数据可以被识别、或绑定到特定会话即可。如果视频数据可以被识别，那么视频数据可以被同步到实时接收的其它数据(例如，生物计量数据、自述数据等)。

在本发明的一个实施例中，如图2B所示，系统包括计算设备200(例如，智能电话)，计算设备200经由WAN(参见例如图1中100)与包括主计算设备240的多个设备通信，经由WAN(参见例如图1中的100)与第三方设备250通信，并且与本地设备230通信(例如，经由无线或有线连接)。在优选的实施例中，计算设备200从主计算设备240(例如，公司云)下载程序或应用(即，客户端平台)。客户端平台包括被配置为执行多个功能的多个模块。

例如，客户端平台可以包括用于从内部和/或外部相机接收视频数据的视频捕获模块210、以及用于从内部和/或外部生物计量设备接收生物计量数据的生物计量捕获模块212。客户端平台还可以包括允许用户与平台交互(例如，提供自述数据)的用户界面模块202、用于编辑视频数据的视频编辑模块204、用于管理(例如，存储，链接等)数据(例如，视频数据、生物计量数据、识别数据、开始时间数据、持续时间数据、采样率数据、自述数据、环境数据、时间戳数据等)的文件处置模块206、用于复制数据(例如，将存储在计算设备200上的数据拷贝到主计算设备240、和/或将存储在主计算设备240上的用户数据拷贝到计算设备200)的数据库和同步模块214、用于处理所接收的数据(例如，同步数据、搜索/过滤数据、创建精彩集锦等)的算法模块216、用于共享和/或存储涉及单个会话或多个会话的数据(例如视频数据、精彩集锦等)的共享模块220、以及用于与第三方社交媒体网站(例如，Facebook^TM)相接的中央登录和ID模块218。共享模块220可以用于例如经由网络(例如，因特网)向另一设备(例如，移动设备)提供至少一个图像和/或声音，其中图像和/或声音识别用户的状态(或者基于用户的状态来选择)。这样的实施例将允许例如用户直接或间接地(例如，通过识别或描绘他们的状态的表情符号、颜色、图像和/或声音)将他们的状态(例如，当前的状态)传递给朋友、家人等。

关于图2B，可以是智能电话、平板计算机或任何其他计算设备的计算设备200，可以被配置为从主计算设备240下载客户端平台。一旦客户端平台在计算设备200上运行，平台就可以用于开始新会话、为会话接收视频数据(即，经由视频捕获模块210)、并为会话接收生物计量数据(即，经由生物计量捕获模块212)。该数据可以存储在本地存储装置中、本地数据库中、和/或远程存储器设备(例如，在公司云或第三方云(例如Dropbox^TM等)中)上。在优选的实施例中，数据被存储，以便数据被链接到(i)识别会话以及(ii)启用同步的信息。

例如，视频数据优选地至少被链接到开始时间(例如，会话的开始时间)和标识符。标识符可以是唯一地识别会话的单个数字、或多个数字(例如，多个全局(或通用)唯一标识符(GUID/UUID))，多个数字中的第一个数字唯一地识别会话，多个数字中的第二个数字唯一地识别会话内的活动，从而允许会话(例如，去往目的地(例如柏林)的旅行或行程)包括多个活动(例如，骑自行车、步行等)。仅作为示例来说，活动(或会话)标识符可以是具有高概率唯一性的128位标识符，例如8bf25512-f17a-4e9e-b49a-7c3f59ec1e85。标识符还可以包括会话名称和/或会话描述。关于视频数据的其他信息(例如，视频长度、视频源等)(即，“视频元数据”)也可以被存储和链接到视频数据。生物计量数据优选地至少链接到开始时间(例如，与链接到视频数据的相同的开始时间)、标识符(例如，与链接到视频数据的相同标识符)、和采样率，采样率识别该生物计量数据被接收和/或存储的速率。例如，心率数据可以以每分钟三十个样本(30spm)(即，每两秒一次)或某个其它预定时间间隔采样的速率被接收和存储。

在一些情况下，平台使用的采样率可以是生物计量设备的采样率(即，生物计量设备提供数据的速率)。在其他情况下，平台使用的采样率可以与接收数据的速率(例如，固定速率、可配置速率等)无关。例如，如果生物计量设备被配置为以每分钟60个样本(60spm)的速率提供生物计量数据，则平台仍然可以以30spm的速率存储数据。换句话说，对于30spm的采样率，平台将在十秒后存储五个值，其中，第一值是由生物计量设备发送的第二值，第二值是由生物计量设备发送的第四值，以此类推。或者，如果生物计量设备被配置为仅当生物计量数据改变时提供生物计量数据，则平台仍然可以以30spm的速率存储数据。在这种情况下，平台存储的第一值可以是由生物计量设备发送的第一值；如果在存储时生物计量设备没有发送新值，则平台存储的第二值可以是由生物计量设备发送的第一值；如果在存储时生物计量设备正发送一个新值，则平台存储的第三值可以是由生物计量设备发送的第二值，以此类推。

一旦视频和生物计量数据被存储和链接，算法就可以被用于一起显示该数据。例如，如果生物计量数据被以30spm的采样率存储(采样率可以是固定的或可配置的)，则可以使用算法(例如，216)在视频剪辑的开始显示第一生物计量值(例如，在于视频数据下方、叠加在视频数据上等)，两秒钟后(视频剪辑中的两秒)显示第二生物计量值，两秒钟后(视频剪辑中的四秒)显示第三生物计量值，等等。在本发明的替代实施例中，非视频数据(例如，生物计量数据、自述数据等)可以与多个时间戳(例如，每个存储值的各个戳或偏移)一起存储，时间戳可以与开始时间一起用于同步(例如，在时间上链接)不同的非视频数据和/或视频数据。

应当理解，虽然客户端平台可以被配置为自主地运行(即，独立于主网络设备240)，但在本发明的一个实施例中，客户端平台的某些功能由主网络设备240执行，并且只能在计算设备200与主计算设备240通信时执行。这样的实施例的优点在于，它不仅将某些功能卸载到主计算设备240，而且确保这些功能只能由主计算设备240执行(例如，要求用户订阅云服务以便执行某些功能)。卸载到云的功能可以包括将非视频数据与视频数据一起显示所必需的功能(例如，将信息链接到视频数据、将信息链接到非视频数据、将非视频数据同步到视频数据等)，或者可以包括更高级的功能，例如，生成和/或共享“精彩集锦”。在替代实施例中，计算设备200被配置为只要满足某些标准就执行前述功能。该标准可以包括计算设备200正在与主计算设备240通信、或者计算设备200先前正在与主计算设备240通信并且自上次通信以来的时间段等于或小于预定的时间量。本领域技术人员已知的技术(例如，使用加密钥的基于哈希方法的认证码(HMAC)、存储的所述上次通信的时间(允许所述计算设备确定所述增量(delta)是否小于预定时间量)等)可以用于确保在允许执行特定功能之前该标准被满足。

在图5中示出了示例性计算设备和示例性生物计量设备的框图。具体地说，示例性生物计量设备500包括用于感测生物计量数据的传感器、用于与用户交互以及显示各种信息(例如，生物计量数据、设置数据、操作数据(例如，开始、停止和暂停等))的显示器、用于存储所感测的生物计量数据的存储器、用于与示例性计算设备600通信的收发器、以及用于操作和/或驱动收发器、存储器、传感器和显示器的处理器。示例性计算设备600包括用于从示例性生物计量设备500接收生物计量数据(例如，使用遥测、任何WiFi标准、DNLA、AppleAirPlay、蓝牙、近场通信(NFC)、RFID、ZigBee、Z-Wave、线程、蜂窝、有线连接、红外、或其它数据传输、数据广播、流传输等的方法中的任何一个)的收发器(1)、用于存储生物计量数据的存储器、用于与用户交互以及显示各种信息(例如，生物计量数据、设置数据、比如开始、停止和暂停的操作数据、输入会话中的注释或添加语音说明等)的显示器、用于接收用户输入数据(例如，自述数据)的键盘、用于经由因特网(例如，使用遥测、任何WiFi标准、DNLA、Apple AirPlay、蓝牙、近场通信(NFC)、RFID、ZigBee、Z-Wave、线程、蜂窝、有线连接、红外、或其它数据传输、数据广播、流传输等的方法中的任何一个)向主计算设备提供生物计量数据的收发器(2)、以及用于操作和/或驱动收发器(1)、收发器(2)、键盘、显示器、和存储器的处理器。

计算设备600中的键盘、或者生物计量设备500中的键盘，可以用于键入自述数据、或关于用户在特定时间感觉如何的数据。例如，如果用户感觉疲劳，则用户可以敲击键盘上的“T”按钮。如果用户感觉他们的内啡肽起作用了，则用户可以敲击键盘上的“E”按钮。并且，如果用户再次振作起来，则用户可以敲击键盘上的“S”按钮。然后，该数据被存储并链接到采样率(如，生物计量数据)或时间戳数据，时间戳数据可以是每个按钮被按下的时间或与开始时间的偏移。这将允许自述数据与视频和/或生物计量数据同步(或在时间上链接)。它也将允许自述数据被搜索或过滤(例如，为了找到对应于特定事件(例如，用户何时开始感觉疲劳等)的视频、生物计量或环境数据)。

应当理解，本发明不限于图5所示的框图，并且，包括更少或更多组件的生物计量设备和/或计算设备在本发明的精神和范围内。例如，不包括显示器、或者包括照相机和/或麦克风的生物计量设备在本发明的精神和范围内，如同键盘之外的其他数据输入设备或方法(例如，触摸屏、数字笔、语音/听觉识别设备、手势识别设备、所谓的“可穿戴”或本领域技术人员通常已知的任何其它识别设备)那样。类似地，仅包括一个收发器、还包括相机(用于捕获视频)和/或麦克风(用于捕获音频或用于通过记录或测量声音以及声音如何传播来执行空间分析)、或者还包括传感器(参见图4)的计算设备在本发明的精神和范围内。还应当理解，自述数据不限于用户感觉如何，而是还可以包括用户或应用期望记忆的事件。例如，用户可能想要记录(或加时间戳)用户骑车路过野生动物、或特定建筑结构，或者应用可能想要记录(或加时间戳)患者按下“请求护士”按钮、或任何其他感测到的用户的非生物计量活动。

返回参考图1，如上面结合图2B所讨论的，主应用(或客户端平台)可以在计算设备108上运行。在该实施例中，计算设备108(例如，智能电话)可以被配置为从生物计量设备110接收生物计量数据(实时地、或在稍后阶段，利用对应于生物计量数据的出现的时间戳)，并且使生物计量数据与自述数据、由计算设备108(或在其上操作的相机和/或麦克风)记录的视频数据和/或音频数据同步。应当理解，在本发明的该实施例中，除了在本地(例如，在计算设备108上)运行的主应用之外，主应用(或客户端平台)如前所述地运行。

再次参考图1，在本发明的另一实施例中，计算设备108还包括用于感测生物计量数据的传感器。在本发明的该实施例中，主应用(或客户端平台)如先前所讨论地运行(在计算设备108上本地运行)，并且作用以至少同步视频、音频、自述、环境和/或生物计量数据，并且允许同步的数据被播放或呈现给用户(例如，经由显示部分、经由直接连接到计算设备的显示设备、经由连接到(例如，直接地、经由网络等)计算设备的用户计算设备，等等)。

应当理解，在任何实施例中，本发明不限于图1和图2中所示的计算设备(数量或类型)，并且可以包括任何本领域技术人员广泛已知的具有计算、感测、数字记录、GPS或另外定位功能的设备(例如，使用WiFi定位系统“WPS”，或者导出地理位置的其他形式(例如，通过网络三角法(triangulation)))，例如，个人计算机、服务器、膝上型计算机、平板计算机、智能电话、蜂窝电话、智能手表、活动带、心率带、床垫传感器、鞋底传感器、数码相机、近场传感器或感测设备等。还应当理解，本发明不限于任何特定的生物计量设备，并且包括被配置为佩戴在手腕上(例如，像手表)的生物计量设备、佩戴在皮肤上的生物计量设备(例如，像皮肤贴片)或者佩戴在头皮上的生物计量设备、或者被并入到计算设备(例如，智能电话等)中的生物计量设备、被集成或添加到物品(例如，床上用品、可穿戴设备(例如，衣服、鞋类、头盔或帽子、或耳机、或运动设备(例如，球拍、高尔夫球杆或自行车)))上的生物计量设备，其中，其他种类的数据也可以与生物计量同步地测量，并与视频同步，其他种类的数据包括物理性能度量，例如，球拍或球杆头速度、或踏板旋转/秒、或鞋类记录的例如冲击区、步态或切力。其他数据也可以被与视频数据同步地测量(例如，通过至少一个传感器)或键入(例如，通过用户)，其他数据包括动物的生物计量数据(例如，公牛骑乘活动中公牛的加速度或回转运动或猛然弓背跃起、赛马中的与心率相匹配的马的加速度等)、环境数据(例如，用户的位置、位置处的温度、位置的海拔、当日时间等)以及无生命物体的物理性能度量，例如，转/分钟(例如，在比如汽车、摩托车等的车辆中)、英里/小时(诸如此类的)(例如，在比如汽车、摩托车等的车辆、自行车等中)、或G力(例如，由用户、动物和无生命物体等经历的G力)。如上所述，可以使用采样率和/或至少一个时间戳，将所有该数据(统称为“非视频数据”，其可以包括元数据或关于非视频数据的数据)同步到视频数据。

还应当理解，本发明不需要与网络(例如，因特网)结合操作。例如，如图2A所示，生物计量设备110(其比如说可以是用于感测心率的无线活动带)和计算设备108(其比如说可以是数字视频记录器)可以直接连接到运行主应用(未示出)的主计算设备106，其中主应用如前所述地作用。在该实施例中，视频数据、音频数据、自述数据、环境数据和/或生物计量数据可以(i)实时地或(ii)在稍后的时间被提供给主应用，因为数据是与采样率和/或时间戳同步的。这将允许例如至少运动员、或者男运动员或女运动员(例如，橄榄球运动员、足球运动员、赛车手等)的视频与行动中的运动员的生物计量数据(例如参见图7)一起在行动中显示(例如，打橄榄球、踢足球、赛车等)。仅作为示例，这将允许用户在足球运动员运球、踢球、顶球等时，观看足球运动员的心率730。这可以通过以下来完成：使用时间戳720(例如，开始时间等)、或使用采用元数据(例如，采样率等)的其它排序方法，使视频数据710与生物计量数据730同步，从而允许用户观看在特定时间740(例如，76秒)的足球运动员、以及与在该特定时间740(例如，76秒)的运动员相关联的生物计量数据。类似的技术可以用于显示关于其他运动员、卡牌玩家、演员、在线游戏玩家等的生物计量数据。

在期望从相机视图中监视或观看多于一个个体的情况下，例如，从远程护理站观察医院病房中的患者、或者在比如橄榄球比赛的体育赛事(运动场上有多名运动员)的电视广播期间，系统可以这样配置，通过使用蓝牙、或其他可穿戴或NFC传感器(在一些情况下，其感测能力也是具有定位功能的，以便识别要跟踪哪个特定个体)的被检者，传感器能够在可行的距离上发送他们的生物计量(如果必要，则结合中继或信标)，使得观看者可以在视频或广播的同时，切换对要跟踪哪一个或哪些个个体的生物计量数据的选择，并且，如果想要的话并且在所使用的摄像机的视频捕获场的限制之内是可能的，则还使得摄像机的视图集中在缩小的组或特定的个体上。在本发明的替代实施例中，基于例如个体在视频帧中的位置(例如，帧的中心)、移动速率(例如，比其他个体更快地移动)、或与传感器(例如，由个体佩戴、嵌入由个体携带的球中等)的接近程度，生物计量数据的选择可以自动地完成，其中传感器可以预先激活或者通过远程射频信号激活。传感器的激活可以导致个体的生物计量数据被发送到接收器，或者可以允许接收器在正被发送的其他数据(例如，来自其他个体的生物计量数据)中识别个体的生物计量数据。

在健身或运动跟踪的背景中，应当理解，在视频上捕获个体的活动不依赖于第三方的存在来做到这点，但是可以设想各种自拍的方法，例如，安装在被检者的手腕、或身体安全带(harness)上、或安装在自拍附件、或万向架上、或固定到物体上的视频捕获设备(例如，运动器材(比如，自行车车把)、在体育环境中发现的物体(比如，篮球、或网球网、足球门柱、天花板等)、跟随个体的无人机相机、三脚架等)。应当进一步注意，这样的视频捕获设备可以包括多于一个相机镜头，使得不仅可以对个体的活动进行录像，而且可以同时有不同的视图，例如，个体在其前面正在观看的或者看到的(即，用户的周围环境)。视频捕获设备还可以配备有凸镜面透镜、或者将凸镜面透镜作为附件添加在镜头前面、或者是全360度相机、或者链接在一起的多个360度相机，使得使用或者不使用本领域中已知的专门软件，都可以生成360度全景或环绕视图，或者都可以生成所有轴上的360度全局视图。

在增强现实或虚拟现实的背景下，个体佩戴合适装备的增强现实(“AR”)或虚拟现实(“VR”)眼镜、护目镜、耳机，或配备有能够渲染AR、VR、或其它合成的或真实的3D图像的其他类型的观看显示器，个体可以观看到来自传感器的生物计量数据(例如，心率)、连同来自合适装备的传感器(例如，能够测量运动和速度的加速器)的其他数据(例如，锻炼行程或速度)，其中所述数据叠加在他们的视野上。另外，运动中的个体的化身可以叠加在个体的视野前面，使得他们可以监视或改善他们的运动表现，或通过观看到他们自己或他们自己的化身、连同(例如，同步的)他们的表现(比如，生物计量数据)，来提升运动的体验。可选地，也可以在视野中同时显示他们的化身的生物计量数据或竞争化身的生物计量数据。另外(或者替代地)，至少一个附加的训练或竞争化身可以叠加在个体的视图上，这可以显示与个体相关的竞争化身(例如，示出它们叠加在个体的前面、示出它们叠加到用户的侧面、示出它们叠加到用户的后面(例如，在显示器的后视镜部分等)、和/或示出它们与个体相观(例如，显示器的雷达屏幕部分上的光点(blips)等)等)。可以使用任一诸如他们的朋友或者训练熟人之类的真实的人的竞争化身，来激励用户改善或者纠正他们的表现和/或使它们的锻炼习惯更有趣(例如，通过允许个体在锻炼、或训练时在AR、VR、或者混合现实(“MR”)的环境中“竞争”，或者，通过可视化虚拟的目的地或者位置(目的地或者位置可以是想象的或者真实的，可以是扫描的或者通过计算机建模合成的，例如，历史古迹)虚拟地“游戏化”他们的活动)。

另外，在参与正被跟踪和记录的活动时用户被暴露在的任何多媒体源，应当类似地能够利用时间戳记录，以用于个体的生物计量响应的分析和/或相关性。此应用的示例可以是对于当某人正在进行训练活动时对特定的音乐曲目的选择，其中，个体过去的基于例如心率(以及他们达到特定的表现水平或目标如何)的响应与音乐类型(例如，特定音乐曲目、类似于特定音乐曲目的音乐曲目、由听过或喜欢特定音乐曲目的其他人推荐或选择的音乐曲目等)的相关性，被用于开发个性化的算法，以便优化自动化音乐选择，以增强体力、或者在锻炼期间和锻炼之后最大化地恢复。基于个性化的选择算法，个体还可以指定他们希望特定音乐曲目或音乐类型基于他们的地理位置来播放；这样的例子将是经常地或定期地使用特定电路用于训练或娱乐目的某人。或者，可以通过记录或关联过去的生物计量响应、结合当正在收听特定曲目时的自述输入，来选择音乐的曲目或类型。

应当理解，生物计量数据不需要与身体运动或体育活动相关联，而是可以与固定位置(例如，为了随后的回顾，个体正被远程监视或记录的位置)处的个体的视频组合，例如，如图3所示，用于健康原因或医疗状况(例如，在他们的家庭或医院中)、或者辅助生活环境中的老年人、或由父母在另一房间或另一位置中监视的正在睡眠的婴儿。

或者，个体可能正在驾驶通过公园或购物中心，或者在公园或购物中心的附近，其中，通常通过加地理戳(geo-stamping)记录他们的位置，或通过加地理戳(例如，在特定位置的海拔或天气)添加附加信息、以及该信息和内容是什么(其被个体在因特网或智能的/启用的电视上、或者任何其他的包含屏幕的联网设备上观看或者与之交互)(例如，特定广告、电影预告片、约会简档等)、以及通过视频可以观看或者记录的他们与此信息和内容的交互、结合他们的生物计量数据，所有这些数据源能够被同步以供回顾，同步是凭借于每个这些单独的源被加时间戳或者诸如此类的(例如，采样等)。这将允许第三方(例如，服务提供商、广告商、广告提供商、电影制作公司/推广者、约会简档的海报、约会网站等)获取与观众观看特定数据相关联的生物计量数据，来分析他们的响应，其中观众或他们的简档可以有选择性地被第三方的系统识别，或者其中只有观众的交互设备的身份是已知的、或者可以从生物计量发送方的GPS(或其他具有定位功能的)设备获取。

例如，广告商或广告提供商可以看到人们对广告如何响应，或者电影制作公司/推广者可以评估人们对电影预告片如何响应，或者约会简档的海报或约会网站本身可以看到人们对约会介绍如何响应。或者，在线游戏、或eSports广播服务(例如，twitch.tv)、或由电视播送的或流播送的在线扑克游戏的在线玩家的观看者，可以观看活跃参与者的生物计量数据，同时可以观看主视频源以及参与者的可视的响应或表现。如视频/音频一样，这可以使用嵌入的时间戳等(例如，采样率等)实时同步或者稍后同步。另外，在从源视频生成面部表情分析的情况下(例如，在测量个体对广告消息的响应的背景下)，由于视频已经被加了时间戳(例如，利用开始时间)，所以面部表情数据可以被同步到个体的物理生物计量数据，并与个体的物理生物计量数据相关联，个体的物理生物计量数据已经类似地被加了时间戳和/或采样。

如先前所讨论的，主应用可以被配置为执行多个功能。例如，主应用可以被配置为使视频和/或音频数据与生物计量数据同步。这将使得例如(例如在电视、计算机屏幕等上)观看体育赛事的个体可以观看每个玩家的生物计量数据在体育赛事的播放期间如何改变，或者还可以将这些生物计量数据的改变映射到其他玩家或其他比较模型。类似地，医生、护士或医疗技师可以在监视人的生物计量数据的同时记录人的睡眠习惯，并且观看、搜索或稍后回顾该记录(例如，在电视、计算机屏幕等上)。该系统还可以使用机器学习来为每个患者构建简档，识别患者的特定特征(例如，他们的心率节奏、他们的呼吸模式等)，并当所测量的特征出现异常或者不规律时通知医生、护士或医疗技师或触发警报。

主应用还可以被配置为经由诸如因特网的网络向远程用户提供生物计量数据。例如，生物计量设备(例如，具有血液酒精传感器的智能电话)可以用于测量人的血液酒精含量(例如，当人通过智能电话与远程用户交谈时)，并向远程用户提供该人的血液酒精含量。通过将传感器放置在麦克风附近或者将传感器并入麦克风中，这样的系统将使得父母可以通过参与与他们的孩子的电话或视频呼叫来确定他们的孩子是否一直在喝酒。本领域已知的不同传感器可以用于感测人的呼吸中的不同化学物质，或者通过分析声音和速度的变化来检测人的呼吸模式，使得监视方可以确定被检者是否一直使用酒精或其他受控物质，或者为了其他诊断原因进行呼吸分析。

该系统还可以适配于集成在设备本身中的所谓的“芯片实验室”(LOC)，或者适配于添加到其上用于例如血液样品的远程测试的合适的附件，其中智能电话用于样品的采集和到测试实验室用于分析的发送，或用于在设备本身内进行样品采集和分析。在其中任一情况下，系统被适配使得通过在采集和/或提交样品的点同时记录加时间戳的视频并且对样品加时间和/或位置(或GPS)戳，以样本和分析完整性以及患者身份确定性为目的，对被检者的身份及他们的血液样本进行交叉认证。这种对身份的确认对于远程医疗背景下的监管、记录保存和健康保险原因特别重要，因为个体将越来越多地履行如下这样的职能，该职能直到现在通常在相关设施现场由有资质和规定的医疗或者实验室人员执行，而不是由被检者使用联网设备执行，无论是对于上传到中央分析设施，还是对于对设备本身的远程分析。

这种或其他生物计量数据(例如心率或血压)的集合也可以应用于如下情况：对于安全原因而至关重要的是，通过实时的定期远程视频监视来核查是否例如飞机的飞行员、卡车或火车司机处于健康和健全(sound)的状况以控制他们的车辆或船只、或者例如是否他们正在经历突然丧失能力或心脏病发作等。因为被监视的人在与提供加时间戳的、加地理戳的和/或采样的生物计量数据相同的时间正在被录像，所以被监视的人或第三方“欺骗”、“假冒”或绕过系统的可能性更小。在患者/医生远程咨询设置中，该系统可以用于安全视频咨询，其中从法规或健康保险的角度来看，还通过时间和/或地理戳验证来验证该咨询及其发生。此外，在需要更高级别的认证的情况下，系统还可以被适配以使用面部识别或生物计量算法，以确保正确的人被监视，或者面部表情分析可以用于行为模式评价。

可以通过并入各种附加特征来减轻被监视方不希望被持久监视(例如，老年人不想让他们的每一个行动和动作连续被录像)的担忧。在一个实施例中，视频将持久地记录在使用保留的存储空间的循环系统中，在预定时间段记录，然后自动擦除该视频，其中n表示循环中所选择的分钟，E是如下这样的事件，其防止记录的n分钟的循环被擦除，并且触发被监视人的可见状态或动作至监视方的实时发送、以及倒回(rewind)的能力，使得监视方能够回顾导致E的身体表现。E的触发机制可以是例如在预定义范围之外的生物计量数据的发生、或者诸如由运动或位置传感器(例如，老年人所佩戴的健康带设备内、或者在他们的移动电话或其附近的其他联网的运动感测设备上的、例如陀螺仪、加速度计或磁力计)激活的例如下降(fall)警报的其他异常的通知。监视方将不仅能够在E之后查看被监视方的身体状态，同时得到其相关生物计量数据的同时读出，而且还能够回顾直接导致事件触发通知的事件和生物计量数据。可替代地，可以进一步校准，使得尽管如前所述在n循环中记录视频，但是直到E的发生，才实际上将来自n个循环的视频发送给监视方。该系统的优点包括个体隐私方面，其中第三方只可以获得关键事件和事件之前的时间，从而也导致必要的传输带宽和数据存储要求二者的期望优化。应当理解，上述系统还可以被配置使得用于远程老年人、婴儿或患者监控的E通知还被适配为包括面部跟踪和/或表情识别特征。

如果用户的视频数据和生物计量数据由他们自己存储在他们自己的设备上、或者在他们自己外部或自己的安全第三方“云”存储装置上，但是源材料的索引元数据(其使得能够对源数据进行排序、外推、搜索和一般处理)保留在中央服务器中(例如，在医疗记录的情况下，保留在医生的办公室或其他医疗设施)，则对于用户可以进一步提高隐私。这样的系统将使得监视方能够在咨询时有权访问视频和其他数据，但是视频等仍然由被检者拥有。在增强用户的隐私和他们的数据安全性之外，将视频和生物计量源数据的存储的托管(host)与数据的处理分开的进一步优点是，由于其对于被检者本地的存储，不必上传它到计算服务器使得既降低了成本，又提高了存储效率和数据带宽。这在如下情况下也将是有益的：用于在与被检者不同的位置处的有资质的医务人员回顾的这种测试的远程上传，发生在低带宽网络覆盖的区域中。还可以进行选择以降低视频材料的帧速率，只要使其与采样速率一致以确认正确的时间戳(如前所述)。

应当理解，通过将信息存储在中央服务器(或主设备)处，可以实施本领域中已知的各种技术来保护信息，并防止未经授权的个体或实体访问信息。因此，例如，可以向用户提供(或允许用户创建)用户名、密码和/或任何其他识别(或认证)信息(例如，用户生物计量，密钥卡(fob)等)，并且主设备可以被配置为使用识别(或认证)信息来准许(grant)对信息(或其一部分)的访问。可以对例如医疗提供者、保险公司等的第三方实施类似的安全过程，以确保信息仅可由经授权的个体或实体访问。在特定实施例中，认证可以允许访问所有存储的数据或存储的数据的仅一部分(例如，用户认证可以允许访问个人信息以及存储的视频和/或生物计量数据，而第三方认证可以仅允许访问存储的视频和/或生物计量数据)。在其他实施例中，认证用于确定登录到主设备或网站的个体或实体可用什么服务。例如，网站的访问者(或非订阅者)可能仅能够将视频/音频数据同步到生物计量数据和/或执行初级(rudimentary)搜索或其他处理，而订阅者可能能够将视频/音频数据同步到生物计量数据和/或执行更详细的搜索或其他处理(例如，创建精彩集锦等)。

还应当理解，尽管为了存储和数据上传效率而仅仅将索引元数据保持在中央服务器、因此提供用于不同数据类型的互操作性的公共平台并且在用户自己的设备(例如，iCloud^TM、DropBox^TM、OneDrive^TM等)上存储视频和/或音频数据是有利的，但是本发明不限于此。因此，在特定实施例中，在可行的情况下，以下可能是有利的：(1)在用户设备上存储数据(例如，视频、音频、自述、生物计量数据和元数据)(例如，使得用户设备可以独立于主设备操作)；(2)在中央服务器(例如，主设备)上存储数据(例如，视频、音频、自述、生物计量数据和元数据)(例如，允许用户从任何具有网络功能的设备访问数据)；或者(3)在用户设备上存储第一部分(例如，视频和音频数据)，并且在中央服务器(例如，主设备)上存储第二部分(例如，生物计量数据、自述数据和元数据)(例如，使得用户可以在用户设备与主设备通信时仅观看同步的视频/音频/生物计量数据，使得用户可以当用户设备与主设备通信时仅搜索生物计量数据(例如，以便创建“精彩集锦”)或对生物计量数据进行排序(以便按时间顺序、大小(从最高到最低)、大小(从最低到最高)、最佳评论、最差评论、最多观看、最少观看等识别和/或列出数据)，等等)。

在本发明的另一实施例中，系统的功能进一步(或可替代地)受在用户设备和/或主设备上操作的软件限制。例如，在用户设备上操作的软件可以允许用户播放视频和/或音频数据，但是不允许用户将视频和/或音频数据同步到生物计量数据。这可能是因为中央服务器用于存储对同步关键的数据(时间戳索引、元数据、生物计量数据、采样率等)和/或在主机设备上操作的软件对于同步是必要的。作为另一示例，在用户设备上操作的软件可以使得用户可以单独地或与生物计量数据同步地播放视频和/或音频数据，但是或许使得用户设备不可以(或者可以限制用户设备的能力)搜索生物计量数据、或以其他方式从生物计量数据中外推、或处理生物计量数据，以识别相关部分(例如，其可用于创建同步的视频/音频/生物计量数据的“精彩集锦”)或对生物计量和/视频数据排序。这可能是因为中央服务器用于存储对于搜索和/或排序生物计量数据关键的数据(生物计量数据、生物计量元数据等)和/或软件对于搜索(或执行高级搜索)和/或排序生物计量数据(或执行高级排序)是必需的。

在任何或所有上述实施例中，系统还可以适配为包括密码或其他形式的认证，以使得能够在一个或两个方向上对数据进行安全访问(或拒绝对数据的未经授权的访问)，使得用户访问主机或主机访问用户的数据需要许可(permission)。在用户与监视方或主机之间的交互实时地发生(例如，在患者与其医疗从业者或其他医务人员之间的安全视频咨询中)时，可以通过建立虚拟专用网络(VPN)来交换和观看数据。可替代地或进一步地，可以在数据来源处(例如在个体的存储装置处，无论是本地存储装置还是基于云的存储装置)和/或在监视回顾方处(例如，在医疗设施处的患者记录中，或在主管理级别)对于实际数据(生物计量、视频、元数据索引等)加密。

在非常幼小的婴儿的监视的背景下，一个关键的且一般无法解释的问题是突发性婴儿死亡综合征(SIDS)。虽然SIDS的发病率一般无法解释，但是各种设备试图防止其发生。然而，通过将在婴儿床中或附近包括用以测量相关的生物计量数据(包括心率、睡眠模式、呼吸分析器和诸如环境温度的其他量测)的传感器装置的当前系统的元件、与在预定义时间段中捕获运动、可听呼吸或者缺少运动或可听呼吸(即，静默)的记录设备组合在一起，可以由父母或其他监视方结合加时间戳的视频记录来设置各种参数，以提供更全面的警报，以发起用户更及时的动作或干预，或者确实判定实际上不需要动作响应。另外，在例如婴儿床监视情形的情况下，系统可以被配置为从先前观察(具有或不具有来自监视方的输入)开发学习算法以帮助辨别什么是“正常的”、什么是是假阳性、或什么可能构成异常，并因此呼吁采取动作。

主应用还可以被配置为播放已经与生物计量数据同步的视频数据，或者搜索特定的生物计量数据的存在。例如，如先前所讨论的，通过对人睡觉进行带声音的视频记录，并且使记录与生物计量数据(例如，睡眠模式、大脑活动、打鼾、呼吸模式等)同步，可以搜索生物计量数据以识别在哪里特定的量测(诸如，例如以分贝测量的声级、或静默时段)超过阈值或下降到阈值以下，使得医生、护士或医疗技师可以观看对应的视频部分，而不必观看该人睡觉的整个视频。

这种方法在图6中示出，从步骤700开始，其中在步骤702接收(或链接)生物计量数据和时间戳数据(例如，开始时间、采样率)。音频/视频数据和时间戳数据(例如开始时间等)然后在步骤704被接收(或链接)。然后使用时间戳数据(来自步骤702和704)使生物计量数据与音频/视频数据同步。然后在步骤708允许用户操作音频/视频。如果用户选择播放，则在步骤710播放音频/视频。如果用户选择搜索，则使得用户在步骤712可以搜索生物计量数据。最后，如果用户选择停止，则在步骤714停止视频。

应当理解，本发明不限于图6中所示的步骤。例如，允许用户搜索满足至少一个条件的生物计量数据、播放视频的对应部分(或者就在该条件前的一部分)、并且在生物计量数据不再满足该至少一个条件之后(或就在生物计量数据不再满足所述条件之后)停止播放视频的方法，是在本发明的精神和范围内的。作为另一示例，如果该方法涉及在用户设备和主设备之间进行交互以使视频/音频数据和生物计量数据同步和/或搜索生物计量数据，则该方法还可以包括以下步骤：上传生物计量数据和/或元数据至主设备(例如，在该实施例中，视频/音频数据可以存储在用户设备上)；以及使用生物计量数据和/或元数据来创建用于同步的时间戳索引、和/或在生物计量数据中搜索相关或有意义的数据(例如，超过阈值的数据等)。作为又一示例，如果音频/视频数据和生物计量数据实时地一起播放(同步)、或者在数据播放时播放(例如，在步骤710)，则该方法可以不需要步骤706。

在本发明的一个实施例中，如图8所示，也可包括音频数据的视频数据800在时间“T”开始并持续持续时间“n”。视频数据优选地存储在存储器中(本地地和/或远程地)并链接到其它数据，例如，标识符802、开始时间804和持续时间806。这样的数据将视频数据绑定到至少特定会话、特定开始时间，并识别其中包括的视频的持续时间。在本发明的一个实施例中，每个会话可以包括不同的活动。例如，去往位于柏林的目的地或遵循在特定日子的特定行程的旅行(会话)可以包括骑自行车穿过城市(第一活动)和步行穿过公园(第二活动)。因此，如图9所示，标识符802可以包括通过全局唯一标识符(GUID)唯一地识别会话的会话标识符902、和通过全局唯一标识符(GUID)唯一地识别活动的活动标识符904，其中会话/活动关系是父/子的关系。

在本发明的一个实施例中，如图10所示，生物计量数据1000存储在存储器中并链接到标识符802和采样率“m”1104。这使得生物计量数据可以在回放时链接到视频数据。例如，如果标识符802是1，开始时间804是1:00PM，视频持续时间是1分钟，并且采样率1104是30spm，则在2:00PM播放视频将导致：第一生物计量值(生物计量(1))将在2:00PM显示(例如，在视频下方、在视频上等)，要在2秒后显示(例如，在视频下方、在视频上等)第二生物计量值(生物特征(2))，依此类推，直到视频在2:01PM结束。虽然自述数据可以像生物计量数据那样被存储(例如，链接到采样率)，但是，如果这样的数据仅被周期性地接收，则更有利的是如图11所示存储该数据110，即，链接到标识符802和时间戳1104，其中“m”是接收到自述(或自实现)数据1100的时间、或者是该时间与开始时间804之间的偏移(例如，开始时间后10分4秒等)。

这可以在例如图14中看到，其中视频数据在时间T开始，生物计量数据每两秒被采样(30spm)，并且自述数据在时间T+3(或经过开始时间3个单位)被接收。当视频1402正在播放时，在时间T+1显示第一生物计量值1404，在时间T+2显示第一自述数据1406，并且在时间T+4显示第二生物计量值1406。通过以这种方式存储数据，视频和非视频数据可以彼此分开存储，并实时地或者在播放视频时同步。应当理解，虽然数据的分开存储对于具有最小存储器和/或处理能力的设备可能是有利的，但是客户端平台可以被配置为创建新的视频数据、或包括同步显示的视频和非视频数据的数据。不仅可以使用单个“精彩集锦”(单个文件)将不同的非视频和视频数据(在关系上)链接在一起，而且还使得可以使用社交媒体网站(诸如Facebook^TM或Youtube^TM)共享文件，并使用标准回放软件(如Quicktime^TM)播放文件。如下面更详细讨论的，精彩集锦可以包括视频数据的各种部分(或剪辑)(例如，当发生特定活动时等)以及相应的生物计量数据。

当随后显示采样数据时，客户端平台可以被配置为使用特定外推技术来显示该数据。例如，在本发明的一个实施例中，如图12所示，在T+1显示第一生物计量值1202，在T+2显示第二生物计量值1204，在T+3显示第三生物计量值1206，可以使用已知的外推技术(包括线性和非线性内插(interpolation)以及本领域技术人员通常已知的所有其它外推和/或内插技术)在非采样时间显示生物计量数据。在本发明的另一个实施例中，如图13所示，第一生物计量值1202保留在显示器上，直到显示第二生物计量值1204为止，第二生物计量值1204保留在显示器上，直到显示第三生物计量值1206为止，等等。

关于将数据链接到可以链接到其他数据(例如，开始时间、采样率等)的标识符，如果数据被实时接收，则数据可以链接到当前会话(和/或活动)的标识符。然而，当在该事实之后(例如，在会话结束之后)接收数据时，存在数据可以链接到特定会话和/或活动(或与其相关联的标识符)的几种方式。数据可以手动链接(例如，由用户)或通过应用自动链接。对于后者，这可以例如通过以下来完成：将所接收的数据的持续时间(例如，视频长度)与会话和/或活动的持续时间进行比较；假设所接收的数据与最近的会话和/或活动相关；或者分析包括在所接收的数据内的数据。例如，在一个实施例中，包括在接收到的数据内的数据(例如，元数据)可以识别与数据相关联的时间和/或位置，其然后可以用于将接收的数据链接到会话和/或活动。在另一个实施例中，计算设备可以显示或播放识别会话和/或活动的数据(例如，条形码(例如QR码)、声音(例如音符的重复序列)等)。外部视频/音频记录器可以与用户和/或他/她的环境一起(例如，在其之前、之后、或期间)记录识别数据(如由计算设备显示或播放的)。应用然后可以搜索视频/音频数据以识别数据，并且使用该数据将视频/音频数据链接到会话和/或活动。如果想要的话，视频/音频数据的识别部分然后可以由应用删除。在替代实施例中，可以在物理设备(例如，可以使得可以通过网络(例如，经由智能电话)进行医疗数据的通信的医疗测试模块)上打印条形码(例如，QR码)，并且条形码可以用于(如前所述)同步使用设备的用户的视频与设备提供的数据。在医疗测试模块的情况下，在模块上的打印条形码可以用于使测试的视频与模块提供的测试结果同步。在另一个实施例中，计算设备和外部视频/音频记录器都用于记录用户的视频和/或音频(例如，用户陈述“开始柏林骑自行车会话”等)，并使用用户提供的数据以将视频/音频数据链接到会话和/或活动。例如，计算设备可以被配置为将用户提供的数据链接到特定会话和/或活动(例如，已经开始的、即将开始的、刚刚结束的会话和/或活动，等等)，并且被配置为使用视频/音频数据中的用户提供的数据，将视频/音频数据链接到特定会话和/或活动。

在本发明的一个实施例中，客户端平台(或应用)被配置为在智能电话或平板计算机上操作。平台(单独地或与在主机设备上操作的软件一起)可以被配置为创建会话，在会话期间接收视频和非视频数据，以及与非视频数据一起(同步地)回放视频数据。平台还可以使得用户可以搜索会话，搜索某些视频和/或非视频事件，和/或创建精彩集锦。图15-图29示出了这种平台的示例性屏幕截图。

例如，图15示出了示例性“登入”屏幕1500，允许用户登入到应用并且有权访问存储在计算设备和/或主计算设备上的应用相关的、用户特定的数据。登录可以包括对于应用、公司云或社交服务网站(例如Facebook^TM)唯一的用户ID和密码。

一旦用户登入，可以使得用户可以如图16所示通过示例性“创建会话”屏幕1600创建会话。在创建会话时，可以使得用户可以选择将提供视频数据的相机(例如，在计算设备内部、在计算设备外部(例如，可通过因特网访问，通过有线或无线连接连接到计算设备)，等等)。一旦选择了相机，来自相机的视频数据1602就可以显示在屏幕上。还可以使得用户可以选择将提供生物计量数据的生物计量设备(例如，在计算设备内部、在计算设备外部(例如，可通过因特网访问，通过有线或无线连接连接到计算设备)，等等)。一旦选择了生物计量设备，来自生物计量设备的生物计量数据1604就可以显示在屏幕上。然后，用户可以通过点击“开始会话”按钮1608来开始会话。虽然选择处理优选地在会话开始之前执行，但是用户可以推迟相机和/或生物计量设备的选择，直到会话结束之后。这使得应用可以接收不是实时可用的数据、或正在由尚未连接到计算设备的设备(例如，一旦会话结束就将被插入到计算设备中的外部相机)提供的数据。

应当理解，在本发明的优选实施例中，点击“开始会话”按钮1608不仅启动指示会话的当前长度的定时器1606，而且还触发存储在存储器中并且链接到会话的全局唯一标识符(GUID)的开始时间。通过将视频和生物计量数据链接到GUID、并将GUID链接到开始时间，视频和生物计量数据也被(根据定义)链接到开始时间。诸如采样率的其他数据也可以通过将该数据链接到生物计量数据或将该数据链接到GUID而链接到生物计量数据，其中该GUID继而链接到生物计量数据。

在会话开始之前或者在会话结束之后，如图17所示，可以使得用户可以通过示例性“会话名称”屏幕1700键入会话名称。类似地，如图18所示，也可以使得用户可以通过示例性“会话描述”屏幕1800键入会话描述。

图19示出了示例性“会话开始”屏幕1900，其是用户在会话运行时可能看到的屏幕。在该屏幕上，用户可以看到视频数据1902(如果实时提供)、生物计量数据1904(如果实时提供)和会话的当前运行时间1906。如果用户希望暂停会话，则用户可以按下“暂停会话”按钮1908，或者，如果用户希望停止会话，则用户可以按下“停止会话”按钮(未示出)。通过按下“停止会话”按钮(未示出)，会话结束，并且停止时间被存储在存储器中并链接到会话GUID。可替代地，通过按下“暂停会话”按钮1908，将暂停时间(第一暂停时间)存储在存储器中并链接到会话GUID。一旦暂停，会话就可以随后恢复(例如，通过按下“恢复会话”按钮，其未示出)，这将导致恢复时间(第一恢复时间)被存储在存储器中并链接到会话GUID。无论会话是开始和停止(即，导致单个连续视频)，或是开始、暂停(任何次数)、恢复(任何次数)和停止(即，导致多个视频剪辑)，对于存储在存储器中的每个开始/暂停时间，都应当在存储器中存储相应的停止/恢复时间。

一旦会话已经停止，则可以通过示例性“回顾会话”屏幕2000来回顾会话，如图20所示。以其最简单的形式，回顾屏幕可以回放链接到会话的视频数据(例如，单个连续视频(如果会话不包括至少一个暂停/恢复)、一个接一个播放的多个视频剪辑(如果会话包括至少一个暂停/恢复)、或者一起播放的多个视频剪辑(如果多个视频剪辑彼此相关)(例如，执行特定活动的用户的两个视频(例如，从不同的视角)，用户在观看第二视频的同时执行特定活动的第一视频(例如训练视频))。如果用户想要看到与视频数据一起显示的非视频数据，则用户可以按下“显示图形选项”按钮2022。通过按下该按钮，向用户呈现如图21所示的示例性的“图形显示选项”屏幕2100。这里，用户可以选择他/她想要与视频数据一起看到的数据，诸如生物计量数据(例如，心率、心率变异、用户速度，等等)、环境数据(例如，温度、海拔、GPS，等等)或自述数据(例如，用户在会话期间感觉如何)。图22示出了包括视频数据2202和生物计量数据的示例性“回顾会话”屏幕2000，生物计量数据可以以图形形式2204或书写形式2206示出。如果在视频中可以看到多于一个个体，则应用可以被配置为同时或者由用户选择地(例如，使得用户可以通过选择第一个体来回顾关于第一个体的生物计量数据，使得用户可以通过选择第二个体来回顾关于第二个体的生物计量数据)显示关于每个个体的生物计量数据。

图23示出了示例性“地图”屏幕2300，其可以用于向用户显示GPS数据。可替代地，GPS数据可与视频数据一起呈现(例如，在视频数据下方、在视频数据上等)。还可以向用户呈现会话的显示会话信息(例如会话名称、会话描述、各种度量等)的示例性“概要”屏幕2400(参见图24)。

通过分开存储视频和非视频数据，可以容易地搜索数据。例如，图25示出了示例性“生物计量搜索”屏幕2500，其中用户可以搜索特定生物计量值或范围(即，生物计量事件)。作为示例，用户可能想要跳到会话中其心率在每分钟95到105次(bpm)之间的点。图26示出了示例性“第一结果”屏幕2600，其中用户的心率在进入会话20分钟42秒为100.46bmp(例如参见2608)。图27示出了示例性“第二结果”屏幕2700，其中用户的心率在进入会话23分57秒为100.48bmp(例如参见2708)。应当理解，可以在会话中搜索其他事件，包括视频事件和自述事件。

不仅可以搜索会话中的数据，而且可以搜索来自多个会话的数据。例如，图28示出了示例性“会话搜索”屏幕2800，其中用户可以键入特定搜索标准，包括会话日期、会话长度、生物计量事件、视频事件、自述事件等。图29示出了示例性“列表”屏幕2900，其显示满足键入的标准的会话。

本发明(在第二部分中)被描述为个性化偏好优化，或者使用个体的至少一种情感状态、情绪、身体状态或精神状态(“状态”)(例如，使用来自个体的生物计量数据而确定的，等等)来确定响应，该响应可以包括作为至少一个状态的结果单独地或与其他数据(例如，在个体正在经历该至少一种情感的时间在个体附近的至少一个事物(或与其相关的数据)等)一起提供给个体的基于web的数据。

如图30所示，本发明的优选实施例根据至少与内容提供商(例如，基于web的数据的提供商)3104和至少一个网络设备3106通过广域网(WAN)3100通信的Web主机3102操作，其中每个网络设备3106由个体操作并且被配置为将个体的生物计量数据传递到Web主机3102，其中使用至少一个生物计量传感器3108来获取生物计量数据。

尽管图30描述了优选实施例，但应当理解，其它实施例也在本发明的精神和范围内。例如，网络设备3106本身可以被配置为采集(例如，感测等)个体的生物计量数据。这可以例如通过使用至少一个麦克风(例如，以从个体处获取语音数据)、至少一个相机(例如，以获取个体的视频数据)、至少一个心率传感器(例如，以测量个体的心率数据)、至少一个呼吸传感器(例如，以测量个体的呼吸化学成分)等完成。作为另一个示例，主机可以被配置为例如使用诸如蓝牙、Wi-Fi等的无线协议与网络设备直接通信。作为又一示例，主机可以被配置为使用例如至少一个麦克风、至少一个相机、或至少一个传感器(例如，心率传感器、呼吸传感器等)直接从个体获取生物计量数据。在该示例中，主机可以被配置为向个体提供数据(例如，在主机显示器上显示数据)或执行至少一个动作(例如，将汽车切换到自动驾驶、限制速度等)。

参考图30和图31，内容提供商3104向Web主机3102提供基于web的数据，诸如网站、网页、图像数据、视频数据、音频数据、广告等。其它基于web的数据由至少一个其它内容提供商(未示出)进一步提供给Web主机3102。所述多个基于web的数据(例如，多个网站、多个网页、多个图像数据、多个视频数据、多个音频数据、多个广告等)与诸如将不同的生物计量数据链接到不同状态(参见图32)以及兴趣数据(参见图33)的信息的其它数据(如下所述)一起，被存储在存储器设备3204中。应当理解，本发明不局限于图31中所示的存储器设备3204，并且可以包括位于Web主机3102的内部和/或外部的附加存储器设备(例如，数据库等)。

然后，Web主机3102被配置为从网络设备3106接收生物计量数据。如上所述，生物计量数据优选地与正在操作网络设备3106的个体相关(即，从其获取)，并且，可以使用至少一个生物计量传感器3108，诸如外部心率传感器等，接所述收生物计量数据。如上所述，本发明并不局限于图30中所示的生物计量传感器3108，并且可以包括位于网络设备3106外部的附加的(或不同的)生物计量传感器(诸如此类，例如麦克风、相机等)、和/或位于网络设备内部的至少一个生物计量传感器(诸如此类，诸如麦克风、相机等)。如果生物计量传感器位于网络设备的外部，则其可以经由至少一种有线和/或无线(例如，蓝牙、Wi-Fi等)与网络设备通信。

应当理解，本发明不局限于任何特定类型的生物计量数据，并且可以包括例如个体的心率、血压、呼吸率、温度、眼球膨胀(eye dilation)、眼球运动、面部表情、语音基音(speech pitch)、听觉变化(auditory changes)、身体运动、姿势、血液激素水平、尿液化学浓度、呼吸化学成分、唾液化学成分和/或任何其他类型的可测量的身体或生物特征。生物计量数据可以是特定值(例如，特定心率等)或值的变化(例如，心率的变化)，并且可以与多于一个的特征(例如，心率和呼吸率)相关。

还应当理解，尽管最佳结果来自对已知个体的直接测量，但是，相同的相关(correlation)方法可以被应用于一般类别的人。一个示例是面部识别系统可以知道：在特定位置(例如，医院)的90％的人是害怕的，并且已知个体在该位置。即使该个体的生物计量数据不与系统共享，也可以应用相关，从而保护隐私并且仍然允许统计上显著的目标对准。另一个例子是一个酒吧，其在卫生间中集成有尿液化学分析仪，以提供关于酒吧中的人的一般信息。然后，可以将该数据返回到一组人中与时间和位置进行协调(coordinate)，并且提供用于将消息对准个体(例如，在该期间内在酒吧的个体)的显著的相关性。

如图31所示，Web主机3102包括被配置为从接收到的生物计量数据确定至少一个状态的应用3208。这使用已知算法和/或存储在存储器设备3204中的生物计量数据与不同状态(诸如，情感状态)之间的相关性来完成。例如，如图32所示，如果生物计量数据3302指示个体正在微笑(例如，通过使用至少一个相机)，则可以确定该个体正在经历快乐的情感3304。作为其它示例，如果生物计量数据3302指示个体的心率正在稳定地增加(例如，通过使用心率传感器)，则可以确定该个体正在经历生气的情感3304。如果生物计量数据3302指示个体的心率暂时增加(例如，通过使用心率传感器)，则可以确定该个体正在经历惊讶的情感3304。如果生物计量数据3302指示个体正在皱眉(例如，通过使用至少一个相机)，则可以确定该个体正在经历悲伤的情感3304。如果生物计量数据3302指示个体的鼻孔正在张开(例如，通过使用至少一个相机)，则可以确定该个体正在经历厌恶的情感3304。并且，如果生物计量数据3302指示个体的语音是颤抖的(例如，通过使用至少一个麦克风)，则可以确定该个体正在经历恐惧的情感3304。

将不同的生物计量数据与不同的情感等相关联的信息可以来自不同的来源。例如，所述信息可以基于实验室结果(例如，提供不同生物计量数据和不同状态之间的相关性(即，现有的或已知的相关性)的临床数据)、自述试验和情感的二级知识(secondaryknowledge)(例如，个体在其通信中对于表情符号和/或词语的使用)。因为一些信息比其它信息更可靠，所以某些信息可以比其它信息更大地加权。例如，在某些实施例中，临床数据比自述数据更大地加权。在其它实施例中，自述数据比临床数据更大地加权。实验室(或学习的)结果可以包括来自人工神经网络、C4.5、分类和/或回归树、决策树、深度学习、降维、弹性网络、集成学习、期望最大化、k-平均、k-最近邻、核密度估计、核主成分分析、线性回归、逻辑回归、矩阵分解、朴素贝叶斯、近邻技术(neighbor techniques)、偏最小二乘回归、随机森林、岭回归、支持向量机、多元回归和/或所有其它为本领域技术人员通常已知的学习技术的数据。

自述数据可以包括个体识别他们的当前状态的数据，从而允许为该个体定制(customize)生物计量数据。例如，计算语言学不仅可以用于识别个体在说什么，而且还可以识别他们如何说。换句话说，本发明可以用于分析并绘制与个体相关联的语音模式(例如，允许本发明确定谁在说话)和与个体感觉如何相关联的语音模式。例如，响应于“你今天感觉如何”，用户可能会说“现在我很快乐”或“现在我很伤心”。计算语言学可以用于根据个体当前的情感状态、情绪、身体状态或精神状态，绘制个体语音中的差异。因为该数据因人而异，所以它是一种自述数据的形式，并在这里被称为个性化人工智能。当特定的状态被自述和检测并被系统记录到其状态简档数据库时，可以通过交叉引用个体的自述数据和其他生物计量数据(诸如心率数据等)，证实(corroborated)和/或提高该数据的精确性，该数据是通过分析个体的语音(然后通过与系统中随着时间获取并存储的个体状态的历史知识库、和通过对其他用户的语音的分析而定义的潜在的更广泛的其他用户状态的数据库两者的比较)学习的关于个体的状态的数据。

本质上是个体的语音/情绪简档的采集数据(本质上是个体的唯一状态简档的ID的形式)可以由收集生物计量数据的系统使用或与其它系统(例如，个体的智能电话、个体的汽车、具有语音或其它生物计量功能的设备或装置(包括物联网(IOT)设备或IOT系统控制设备)、因特网或“云”存储装置、或任何其它具有语音或其它生物计量功能的计算或机器人设备、或具有与个体交互的能力的计算机操作系统(包括但不限于使用诸如Apple的Siri、Google Assistant、Microsoft Cortana、Amazon的Alexa的语音接口系统及其后续系统操作的设备)共享。因为共享信息对于个体是唯一的，并且可以用于识别个体的当前状态，所以在这里将其称为个性化人工智能ID或“PAIID”。在本发明的一个实施例中，自述数据可以被认为是校准数据、或者是可以用于核查、调整个体的某些语音模式、或将个体的某些语音模式与至少一种状态(例如，至少一种情感、至少一种情绪、至少一种身体状态或至少一种精神状态)相关联的数据。通过应用利用数据标注(labelling)和回归的深度学习方法以及对于本领域技术人员是明显的其他技术，将持续改进PAIID中固有的知识和预测性。

关于计算语言学，应当理解，本发明超越了使用简单的语音分析来识别特定个体或个体正在说什么。而是，本发明可以使用计算语言学来分析个体如何在听觉上(audibly)表达他/她自己以检测并确定至少一个状态，并且使用该确定作为向用户提供内容或者执行至少一个动作(例如，由用户请求的动作等)中的元素。

应当理解，本发明不局限于使用单个的身体的或生物的特征(例如，一组生物计量数据)来确定个体的状态。因此，例如眼球膨胀、面部表情和心率可以用来确定个体是惊讶的。还应当理解，个体可以一次经历多于一个状态，接收到的生物计量数据可以被用来识别多于一个状态，并且系统可以使用其对个体的状态或状态组合的分析来帮助其决定如何最好地响应例如用户请求或用户指令，或者确实是否这样做。还应当理解，本发明不局限于图32中列出的六种情感(即，快乐、生气、惊讶、悲伤、厌恶和恐惧)，并且可以用于识别其它(或替代的)情感状态，例如欢快、吸引、平静、娱乐、兴奋、疲劳、饥饿、口渴、康乐(well-being)、失败、胜利、兴趣、热情、活泼、重新振奋、满意、后悔、爱、焦虑等。最后，本发明不限于如图31所示的应用3208，并且还可以包括在Web主机3102和/或网络设备3106上操作的一个或多个应用。例如，在网络设备3106上操作的应用或程序可以使用生物计量数据来确定个体的情感状态，其中情感状态经由WAN 3100传递到Web主机3102。

尽管是优选实施例，但是本发明不限于单独地使用生物计量数据(例如，使用传感器、麦克风和/或相机收集的)来确定个体的当前情感状态或情绪。例如，个体的语音(单独或与其它生物计量数据(诸如个体的血压、心率等)结合地)可以用于确定个体的当前身体和/或精神健康。身体健康的例子包括个体感觉如何，诸如健康、好、差、疲劳、筋疲力尽、疼、痛和生病(包括诸如发烧、头痛、喉咙痛、充血等的其症状)，精神健康的例子包括精神状态，诸如头脑清晰、疲劳、困惑、头晕、昏睡、无判断力以及喝醉。作为示例，计算语言学可以用于将语音模式与至少一个身体和/或精神状态相关联。这可以使用自述数据(例如，当个体声称他们感觉良好、不太舒服、困惑等时分析个体的语音)、将这种生物计量数据链接到身体和/或精神状态的一般数据(例如，将语音模式(一般地)与至少一个身体和/或精神状态相关联的数据)或其组合来完成。这样的系统例如可以用于在医院确定患者当前的身体和/或精神状态，并且提供当前在患者或医院护理中使用的标准生理或生物计量标记之外的附加信息。如果通过患者做出请求或陈述、或通对系统生成的问题进行响应，身体和/或精神状态高于/低于正常(N)(其可以包括任一方向上的特定容限(T))(例如，N+/-T)，则可以通知护士或其他医务人员。通过对患者的状态的系统分析，这将具有诸如提供额外级别的患者观察自动化或者提供关于患者的早期警告报警或安慰的益处。

如图31所示，Web主机3102还可以包括其它组件，诸如允许用户键入数据的键盘3210、允许Web主机3102向用户(或者在生物计量传感器位于Web主机3102内部的实施例中向个体)显示信息的显示器3206、允许Web主机3102与外部设备通信(例如，经由WAN 3100与网络设备3106通信、经由无线协议与网络设备3106通信、经由无线协议与外部生物计量传感器通信，等等)的收发器3212、以及可以控制到内部和/或外部设备的信息的接收和/或发送和/或运行应用3208或与其相关的机器可读指令的处理器3202。

在本发明的一个实施例中，基于web的数据的来源(例如，内容提供商)可以表示向特定情感状态下的个体提供基于web的数据的兴趣。例如，如图33所示，感觉好的内容(例如，在幽默情况下的小猫等)的所有者可以表示向当前正在感觉悲伤的情感的个体提供该内容的兴趣。兴趣可以简单为“是”或“否”，或者可以更复杂，如1-10级的兴趣。在本发明的另一个实施例中，基于web的数据的来源可以表示向响应于某事物(例如，人、地点、文本数据的主题、视频数据的主题、音频数据的主题等)而经历了特定情感的个体提供基于web的数据的兴趣。例如，如图33所示，婚介服务的所有者可以表示向当接近婚礼(事物)(例如，在婚礼教堂、阅读关于婚礼的电子邮件、观看婚礼视频等)时经历了快乐的情感的个体、他们的朋友或他们的联系人提供相关广告的兴趣($2.50CPM)。作为另一示例，珠宝店的所有者可以表示向当接近钻石(事物)(例如，在销售钻石的商店、阅读关于钻石的电子邮件等)时经历了兴奋的情感的个体提供广告的兴趣(5.00CPC)。还可以基于其它数据(例如，人口统计数据、简档数据、通过点击的响应等)选择基于web的内容和/或兴趣。再次，兴趣可以是简单的“是”或“否”，或者可以更复杂，如1-10级的兴趣、内容的所有者/来源愿意为每次展现支付的金额(CPM)、或内容的所有者/来源愿意为每次点击支付的金额(CPC)。

本发明的另一实施例可以涉及与至少一个辅助系统(诸如语音控制或生物计量安全系统)集成的系统，其中情感上选择的消息主要是警告或安全建议，并且仅是特定相关情况中的广告(将在下文中详细描述)。一个例子是使用语音识别系统接收驾驶方向的用户，其中用户的脉搏和语音数据指示生气。在这种情况下，本发明可以将结果定制(tailor)在附近平静的地方，甚至可以发出“对于激动的驾驶员事故更常见”的温和的警告。这是其使用的主要目的不是情感检测的示例，但是可以从这样的系统中收集情感数据并且将情感数据用于将消息对准个体、联系人、护理提供者、雇主或甚至其他订阅情感内容数据的计算机系统。另一个可替代的例子是使用视网膜扫描来识别脉搏和血压的安全系统。如果生物计量数据与悲伤相关联，则系统可以通过去往其连接的通信设备的振奋的或积极的消息来对准个体，或者甚至警告护理者。在其他情况下，例如，对于装备有自动驾驶系统的车辆，基于对个体的生物计量反馈的系统分析，为了驾驶员和其他人(例如，乘客、其它车辆的驾驶员等)的利益，驾驶系统可以建议谨慎操作或采取其他动作。

应当注意，在本发明中，在某些使用情况下，经用户的同意，个体的私人数据被提供给系统，但是在许多情况下，情感响应可以与当日时间、地点或给定的事物(例如，珠宝店等)相关联，因此个体识别信息(PII)不需要与消息提供者共享。在珠宝店的示例中，系统简单地对准具有强烈的喜悦相关性的个体和他们的朋友。虽然在某些实施例中，可以向个体提供与消息提供者共享个体的PII的机会，但是系统可以在没有这个级别的信息的情况下工作。

应用(图31在3208)可以使用兴趣数据以及可能的其他数据(例如，随机性、人口统计等)来确定应该提供给个体的基于web的数据(例如，广告等)。例如，如果兴趣数据包括针对特定情感或情感-事件关系的不同出价，则应用可以向经历情感的个体(或相关网络设备)提供与最高出价相关联的广告。在其他实施例中，在向个体提供基于web的数据时还考虑其他数据。在这些实施例中，兴趣数据仅是在选择提供给个体的基于web的数据时考虑的一个标准。

应当理解，对特定状态下或对事物具有情感响应的个体的“响应”，不限于向个体提供基于web的内容，并且可以包括与所确定的状态一致的任何动作。换句话说，所确定的状态可以被主机(例如，汽车、智能电话等)用来确定背景，这里被称为“情景背景”。例如，如图39所示，汽车4002可以包括(使用经由相机、麦克风或传感器获取的生物计量数据)确定驾驶员(未示出)受损或情绪化的(例如，生气、兴奋等)的主机4004，可以切换到自动驾驶，或者可以限制车辆的最大速度。在该实施例中，主机可以基于个体提供的命令(例如，口头地或其他)和个体的至少一种情感或情绪执行“响应”，其中基于生物计量数据确定情感/情绪。例如，在执行动作(由其本身)的语音命令可以导致机器人以正常速度(其可以具有电池保护、精确性等的好处)执行动作的情况下，执行该动作的语音命令连同表示紧急情绪的生物计量数据可以导致机器人以更快的速度执行动作。

在本发明的一个实施例中，主机4004是具有网络功能的设备，并且被配置为经由广域网(WAN)4000与至少一个远程设备(例如，4006、4008、4010)通信。例如，主机4004可以被配置为在/从远程数据库(例如，“云”)4010上存储/取回个体状态简档(例如，PAIID)，和/或与其它具有网络功能的设备(例如，4006、4008)共享个体状态简档。可以存储简档以供将来取回，或者共享简档以便允许其他设备确定个体的当前状态。如上所述，主机4004可以收集将个体的特征链接到特定状态的自述数据。通过与其它设备共享该数据，这些设备可以更容易地确定个体的当前状态，而不必(从个体)收集自述(或校准)数据。数据库4010还可以用于存储个体在一段时间内的历史状态或状态(例如，个体的先前状态的历史日志)。然后可以单独地使用或与其他数据结合地使用日志，以确定个体在相关时间或时间段期间(例如，当个体正在增重时、在事故发生时、当执行非连续性或特定动作时，等等)的状态，或者确定关于执行某些功能的心理倾向性或适应性的指示，其中，例如个体的状态是至关重要的，诸如但不限于，驾驶飞机、驾驶重型货车、或金融或商品交易所的交易指示。

状态日志可以进一步用于生成状态“机器人(bot)”，其是能够通过网络分布的个体的代理，以代表个体寻找如下这样的信息，该信息链接到个体具有“兴趣”或希望在他们处于该特定状态的条件下以积极或消极的方式被告知的特定事件。

在替代实施例中，诸如历史日志或个体状态简档(例如，PAIID)之类的信息也或者替代地存储在主机4004中的存储器设备4024上(参见图40)。在该实施例中，主机4004可以包括收发器4032、处理器4022、显示器4026和至少一个应用4028(参见图40)，它们全部的功能与图31中所示的类似组件的功能相同。主机4004还可以包括被配置为从个体(例如，车辆的驾驶员)获取音频/视频的至少一个麦克风和/或至少一个相机4030。如前所述，音频/视频可以用于确定个体的至少一个状态。例如，可以将个体的语音和/或面部特征单独地或与其它数据(例如，从方向盘上的传感器获取的心率数据等)组合地进行分析，以确定个体的至少一个状态。然后可以使用状态来执行至少一个动作。在本发明的一个实施例中，状态用于确定是否应该执行来自个体的请求(例如，命令等)，并且如果是，则是否还应当执行其他动作(例如，限制速度、提供警告等)。例如，如果车辆的驾驶员指示车辆起动，则车辆(或其中的主操作)可以在确定驾驶员疲劳的情况下向驾驶员提供警告，或者可以在确定驾驶员是受损的(例如，在该影响下)的情况下启动自动驾驶模式。在另一个示例中，可以要求航空公司飞行员提供对于他们感觉如何的响应，并根据飞行员如何响应(通过其回复内容的性质及其分析的状态)，空中交通控制可以采取适当的动作确保飞机的安全。在这种情况下，具有类似性质或背景无法提供任何种类的响应的情况将提供警报，其可以指示飞行员不希望响应(其本身是信息)或不处于响应的情况中。

应当理解，在个体对事物做出响应的实施例中，事物可以是与个体接近的任何事物，包括人(或者人的设备(例如智能电话等))、地点(例如，基于GPS坐标等)或向用户显示的内容(例如，诸如电子邮件、聊天消息、文本消息或网页的文本数据的主题、包括在例如电子邮件、聊天消息、文本消息或网页的文本数据中的词语、视频数据的主题、音频数据的主题等)。“事物”或与其相关的数据可以由网络设备提供给Web主机，或者可以已经为Web主机所知(例如，当个体正在对由Web主机提供的基于web的内容做出响应时，对其的情感响应可以触发附加数据，例如广告)。

根据本发明的一个实施例的执行本发明的方法在图34中示出。从步骤3500开始，在步骤3502，接收生物计量数据。如上所述，生物计量数据可以是个体的至少一个身体和/或生物特征，包括但不限于心率、血压、温度、呼吸率、面部特征、语音变化、眼球运动和/或膨胀的变化、和化学成分(血液、汗、唾液、尿或呼吸中的)。然后在步骤3504，生物计量数据用于确定相应的情感，例如快乐、生气、惊讶、悲伤、厌恶或恐惧。在步骤3506，确定情感是否是个体的当前状态，或者是否是基于个体对事物(例如，人、地点、向个体显示的信息等)的响应。如果情感是个体的当前状态(步骤3508)，则在步骤3512基于个体的当前情感状态来选择基于web的数据。然而，如果情感是个体对事物的响应(步骤3510)，则在步骤3512基于个体对事物的情感响应来选择基于web的数据。然后在步骤3514将选择的基于web的数据提供给个体，在步骤3516停止该处理。

应当理解，本发明不限于图34所示的方法，并且，包括额外的、更少的或不同的步骤的方法也在本发明的精神和范围内。例如，在步骤3512，可以使用情感数据(或情感-事物数据)和兴趣数据来选择基于web的数据。作为另一示例，在步骤3514中，还可以(或者替代地)向第三人(例如个体的法定监护人、个体的家庭成员、医疗工作人员(如果个体在医院中)、紧急响应(如果个体不在医院中))提供所选择的内容(例如，基于web的数据、文本消息、电子邮件等)。本发明也不限于以任何特定顺序执行图34中所述的步骤。例如，确定情感是个体的当前状态还是个体对事物的响应，可以在接收生物计量数据之前执行。

虽然生物计量数据等本质上可以非常简单(例如，识别正在测量的特征(诸如血压)和测量值(例如120/80))，但是其也可以是相当复杂的，从而允许数据被存储以供后续使用(例如，创建简档、图表等)。例如，在本发明的一个实施例中，如图35所示，生物计量传感器数据可以包括详细数据，诸如参考id(该基点的技术唯一性标识)、实体id(用户、团队、地方词或数字(place word or number)、设备id)、传感器标注(描述正在测量什么的字符串(string))、数值(整数或浮点)和/或时间(例如，当进行测量时的GMT UNIX)。如图36所示，情感响应数据可以包括参考id(该基点的技术唯一标识符)、实体id(用户、团队、地方词或数字、设备id)、情感标注(将其识别为情感的字符串)、时间(当该记录创建时的GMT UNIX时间戳)、情感强度(数值)、和/或基点(datum)创建数据(对什么系统创建该基点和/或哪些数据用于创建该基点的技术参考)。如图37所示，情感-事物数据可以包括参考id(该基点的技术唯一标识符)、实体id(用户、团队、地方词或数字、设备id)、情感参考(对其他地方记录的特定情感的参考)、事物参考(对其他地方记录的特定事物的参考)、时间(例如，创建此记录时的GMT UNIX时间戳)、相关因子(表示相关性的级别的数值，例如百分比)、情感强度(数值)、和/或基点创建数据(对什么系统创建该基点和/或哪些数据用于创建该基点的技术参考)。如图38所示，事物数据可以包括参考id(该基点的技术唯一标识符)，实体id(用户、团队、地方词或数字、设备id)、事物参考(在其他地方记录的特定“事物”的参考)、时间(例如，创建该记录时的GMT UNIX时间戳)、相关因子(表示相关性的级别的数值，例如百分比)和/或基点创建数据(对什么系统创建该基点和/或哪些数据用于创建该基点的技术参考)。应当理解，本发明不限于图35-38中所示的数据串，并且传递所述数据的其它方法在本发明的精神和范围内。

根据本发明的另一个实施例的执行本发明的方法在图41中示出。从步骤4200开始，在步骤4202，从用户接收请求。如上所述，请求可以包括用户提出的问题(指示响应)或由用户提供的命令(指示动作的执行)。然后在步骤4204，分析该请求(或其他生物计量数据)以确定用户的当前状态，诸如相应的情感状态、情绪、身体状态和/或精神状态。在步骤4206，用户的当前状态被用于确定是否应当执行特定动作。例如，如果用户的状态是正常的，则在步骤4210执行所请求的动作(例如，在步骤4202请求的动作)，在步骤4220结束该方法。如果用户的状态是异常的，而不是令人担忧的(例如，生气)，则在步骤4212可以提供警告。如果用户的状态异常并且令人担忧(例如，喝醉的)，则在步骤4208，可以执行不同的动作(例如，与在步骤4202请求的动作不同的动作)。如果在步骤4212提供了警告，或者在步骤4208执行了不同的动作，则在步骤4220和4214分别确定是否应当执行所请求的动作(例如，在步骤4202请求的动作)。如果答案为是，则在步骤4210执行所请求的动作，在步骤4220结束该方法。如果答案为否，则不采取进一步的动作，在步骤4220结束该方法。

应当理解，本发明不限于图41所示的方法，并且，包括额外的、更少的或不同的步骤的方法在本发明的精神和范围内。本发明也不限于以任何特定顺序执行图41中所述的步骤。

以上描述了一种系统和方法，其用于使用至少自述、生物计量和/或环境数据来评估用户的状态(例如，情绪等)，以从用户状态的多个这样的评估创建数据库，使得系统可以越来越精确地分析用户的状态，使用系统的用户状态数据库来执行动作(例如，所请求的动作、替代动作等)，确定(或预测)在给定背景下的用户的状态(其能够基于系统对用户的与用户的自述数据相关的生物计量和环境数据的累积知识而被识别)，并且通过自述数据改进系统确定用户在特定背景中的状态的能力，自述数据可以包括用户对系统确定(或预测)的状态的确认或校正。并不旨在穷举或将本发明限制为所公开的精确形式，并且，鉴于上述教导，许多修改和变化是可能的。本领域技术人员将理解，存在多种方式来实现前述特征，并且，本发明不限于实现这些特征的任何特定方式。本发明仅由所附权利要求限定。

Claims (20)

1.一种用于提高用户在体育活动中的表现的系统，包括：

至少一个服务器，其与广域网(WAN)通信；以及

至少一个存储器设备，用于存储机器可读指令，所述机器可读指令的至少第一组经由所述至少一个服务器和所述WAN而被提供到计算设备，所述机器可读指令的所述第一组适于在所述计算设备上操作并执行以下步骤：

从相机接收视频数据，所述视频数据包括至少所述用户在参与所述至少一个体育活动的时间段期间的视频；

其中所述机器可读指令的第二组适于执行以下步骤：

分析所述用户在所述视频数据中的运动以从多个活动中确定所述用户正在进行的一个活动，其中所述多个活动中的第一活动包括第一组运动以及所述多个活动中的第二活动包括不同于所述第一组运动的第二组运动；

当确定所述用户正在进行所述多个活动中的所述第一活动时，将所述用户的所述运动与第一组预定运动进行比较以确定它们之间的至少第一差异，所述第一组预定运动包括在所述时间段之前已知和存储的并且与所述多个活动中的所述第一活动中的至少一个先前表现相关联的运动；

当确定所述用户正在进行所述多个活动中的所述第二活动时，将所述用户的所述运动与第二组预定运动进行比较以确定它们之间的至少第二差异，所述第二组预定运动包括在所述时间段之前已知和存储的并且与所述多个活动中的所述第二活动中的至少一个先前表现相关联的运动；以及

使用所述第一差异和所述第二差异中的至少一个向所述用户提供关于所述用户在所述体育活动中的表现的信息，所述信息包括给到所述用户的关于所述用户参与所述体育活动的至少一个指示；

其中，所述信息经由所述计算设备而被提供到所述用户。

2.如权利要求1所述的系统，其中所述多个活动中的所述第一活动和所述第二活动选自于步行、跑步、网球、高尔夫、足球、篮球、橄榄球，以及至少一种锻炼习惯。

3.如权利要求1所述的系统，其中所述机器可读指令的所述第一组还适于从至少一个传感器接收数据，所述至少一个传感器连接到所述用户和所述用户在所述体育活动期间使用的设备中的至少一个，所述数据是在所述时间段期间获取的。

4.如权利要求3所述的系统，其中使用所述第一差异和所述第二差异中的所述至少一个向所述用户提供信息的所述步骤还包括：使用(1)所述第一差异和所述第二差异中的所述至少一个以及(2)从所述至少一个传感器获取的所述数据，向所述用户提供关于所述用户参与所述体育活动的所述信息。

5.根据权利要求4所述的系统，其中所述数据是生物计量数据并且包括心率数据、氧饱和度水平、体温、眼球运动、呼吸率和速度中的至少一种。

6.如权利要求4所述的系统，其中所述设备包括服装、头盔、帽子、鞋类、球拍、高尔夫球杆，以及球中的至少一种。

7.如权利要求4所述的系统，其中所述数据包括速度、旋转、冲击力、步态、切力、加速度和G力之一。

8.如权利要求1所述的系统，其中所述机器可读指令的所述第一组还适于在所述时间段期间从所述用户接收自实现数据，所述自实现数据被所述机器可读指令的所述第一组用于分析所述视频数据，以进行正确运动。

9.如权利要求1所述的系统，其中所述至少一个指示通过向所述用户同时展示所述用户的运动和所述预定运动两者而被以视觉方式提供到所述用户，从而允许用户看见它们之间的相似和差异。

10.如权利要求9所述的系统，其中在所述计算设备的显示部分上向所述用户显示至少一个化身，所述至少一个化身模拟所述用户的运动和所述预定运动中的至少一个。

11.一种用于提高用户在体育活动中的表现的方法，包括以下步骤：

从相机接收视频数据，所述视频数据包括至少所述用户在参与所述体育活动的时间段期间的视频；

分析所述用户在所述视频数据中的运动以从多个活动中确定所述用户正在进行的一个活动，其中所述多个活动中的第一活动包括第一组运动以及所述多个活动中的第二活动包括不同于所述第一组运动的第二组运动；

当确定所述用户正在进行所述多个活动中的所述第一活动时，将所述用户的所述运动与第一组优选运动进行比较以确定它们之间的至少第一差异，所述第一组优选运动包括在所述时间段之前已知和存储的并且与所述多个活动中的所述第一活动中的至少一个优选表现相关联的运动；

当确定所述用户正在进行所述多个活动中的所述第二活动时，将所述用户的所述运动与第二组优选运动进行比较以确定它们之间的至少第二差异，所述第二组优选运动包括在所述时间段之前已知和存储的并且与所述多个活动中的所述第二活动中的至少一个优选表现相关联的运动；以及

使用所述第一差异和所述第二差异中的至少一个向所述用户提供关于所述用户在所述体育活动中的表现的信息，所述信息包括给到所述用户的关于所述用户参与所述体育活动的至少一个建议，所述信息经由计算设备而被提供到所述用户。

12.如权利要求11所述的方法，其中所述多个活动中的所述第一活动和所述第二活动选自步行、跑步、网球、高尔夫、足球、篮球、橄榄球和健身习惯。

13.如权利要求11所述的方法，还包括：从至少一个传感器接收数据的步骤，所述至少一个传感器连接到所述用户和所述用户在所述体育活动期间使用的设备中的至少一个，所述数据是在所述时间段期间获取的。

14.如权利要求13所述的方法，其中使用所述第一差异和所述第二差异中的所述至少一个向所述用户提供信息的所述步骤还包括：使用(1)所述第一差异和所述第二差异中的所述至少一个以及(2)从所述至少一个传感器获取的所述数据，向所述用户提供关于所述用户参与所述体育活动的所述信息。

15.如权利要求14所述的方法，其中所述数据是生物计量数据并且包括心率数据、氧饱和度水平、体温、眼球运动、呼吸率和速度中的至少一种。

16.如权利要求14所述的方法，其中所述设备包括服装、头盔、帽子、鞋类、球拍、高尔夫球杆，以及球中的至少一种。

17.如权利要求11所述的方法，还包括：在所述时间段期间从所述用户接收自实现数据的步骤，所述自实现数据被用于分析所述视频数据，以进行正确运动。

18.如权利要求11所述的方法，其中所述至少一个建议被以听觉和视觉中的至少一种方式提供给所述用户。

19.如权利要求11所述的方法，其中所述至少一个建议通过向所述用户同时展示所述用户的运动和所述优选运动两者而被以视觉方式提供到所述用户，从而允许用户看见它们之间的相似和差异。

20.如权利要求14所述的方法，其中当所述用户正在参与所述多个活动中的所述第一活动和所述第二活动中的至少一个时，所述数据被用于向所述用户提供有关所述设备的运动的反馈。

Images