CN110621228B - 使用基于相机的感测来确定情绪 - Google Patents

Abstract

在一个实施例中，一种体现软件的计算机可读的非暂时性存储介质，所述软件在被执行时可操作以用于实时地：通过单个传感器捕获用户的多个图像；基于多个图像确定用户在一段时间期间的一个或多个短期心脏学信号；基于心脏学信号估计用户的第一短期情绪状态；基于多个图像确定用户在该段时间期间的一个或多个短期神经学信号；基于神经学信号估计用户的第二短期情绪状态；将第一估计情绪状态与第二估计情绪状态进行比较；以及响应于确定第一估计情绪状态对应于第二估计情绪状态，确定用户在该段时间期间的短期情绪。

Description

使用基于相机的感测来确定情绪

技术领域

本公开总体上涉及对个体的生理特征的电子检测和评估。

背景技术

在行为、生物学和社会科学中，可以看出对评估人类情绪和/或生理特征(诸如心血管健康)的兴趣日益浓厚。例如，在不考虑人类情绪的情况下，从个体认知处理到社会和集体行为的许多现象可能无法很好地理解。最近，人们对情感计算产生了兴趣，情感计算是对可以识别、解释、处理和模拟人类情感的计算系统或设备的研究和开发。特别地，用户的情绪可以用作由计算设备或系统进行后续操作的输入。另外，确定生理特征对于检测或预测用户的健康是有用的。

发明内容

根据示例实施例的一方面，提供了一种或多种体现软件的计算机可读的非暂时性存储介质，所述软件在被执行时操作为实时地进行以下操作：通过单个传感器捕获用户的多个图像；基于所述多个图像，确定用户在一段时间期间的一个或多个短期心脏学信号；基于所述心脏学信号，估计用户的第一短期情绪状态；基于所述多个图像，确定用户在所述一段时间期间的一个或多个短期神经学信号；基于所述神经学信号，估计用户的第二短期情绪状态；将第一估计情绪状态与第二估计情绪状态进行比较；以及响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。

根据示例实施例的另一方面，提供了一种方法，包括实时地进行以下操作：通过单个传感器捕获用户的多个图像；基于所述多个图像，确定用户在一段时间期间的一个或多个短期心脏学信号；基于所述心脏学信号，估计用户的第一短期情绪状态；基于所述多个图像，确定用户在所述一段时间期间的一个或多个短期神经学信号；基于所述神经学信号，估计用户的第二短期情绪状态；将第一估计情绪状态与第二估计情绪状态进行比较；以及响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。

根据示例实施例的另一方面，提供了一种系统，包括：一个或多个处理器；以及耦接到所述处理器的非暂时性存储器，所述非暂时性存储器包括可由所述处理器执行的指令，当执行所述指令时，所述处理器操作为实时地进行以下操作：通过单个传感器捕获用户的多个图像；基于所述多个图像，确定用户在一段时间期间的一个或多个短期心脏学信号；基于所述心脏学信号，估计用户的第一短期情绪状态；基于所述多个图像，确定用户在所述一段时间期间的一个或多个短期神经学信号；基于所述神经学信号，估计用户的第二短期情绪状态；将第一估计情绪状态与第二估计情绪状态进行比较；以及响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。

附图说明

图1示出了示例网络环境。

图2示出了用户的面部和颈部上的示例光学测量区域。

图3示出了心脏学度量的示例计算。

图4示出了用于计算用户的心脏学度量的示例方法。

图5示出了用于针对用户执行心率测量的示例方法。

图6A示出了基线数据直方图的示例。

图6B示出了测试数据直方图的示例，其中交感神经迷走神经平衡向左移动。

图6C示出了测试数据直方图的示例，其中交感神经迷走神经平衡向右移动。

图7示出了情绪的环状模型的示例图。

图8示出了用于情绪评估的示例方法。

图9示出了根据本发明的特定实施例的示例计算机系统。

具体实施方式

图1示出了示例网络环境100。网络环境100包括一个或多个光学相机110、客户端系统120、网络130、一个或多个服务器140以及一个或多个数据存储装置150。光学相机110、客户端系统120、服务器140和数据存储装置150可以通过网络130经由链路160彼此连接。在特定实施例中，光学相机110可以与客户端系统120集成。虽然图1示出了光学相机110、客户端系统120、网络130、服务器140和数据存储装置150的特定布置，但是本公开预期用户110、客户端系统120、网络130、服务器140和数据存储装置150的任何合适的布置。

网络环境100包括可以连接到客户端系统120的一个或多个光学相机110。在特定实施例中，光学相机110被配置为测量来自人体的一个或多个系统的数据。作为示例而非通过限制的方式，光学相机110可以被配置为监测人体的心脏活动，如下所述。作为另一个示例，光学相机110可以被配置为监测人体的神经学和神经解剖学活动，如下所述。

在特定的实施例中，光学相机110可以直接地或经由网络130连接到客户端系统120，这可以促进光学相机110和客户端系统120之间的交互和/或数据传输。数据(例如，心率、情绪状态等)可以存储在客户端系统120、数据存储装置150、其他合适的数据库或其任何组合上。另外，对(如下所讨论的)特定算法的数据和计算的处理可以由客户端系统120、服务器140、其他合适的设备/系统或其任何组合来执行。在特定实施例中，可以通过经由网络130从数据存储装置150访问用户数据、参照系/基线数据、医学数据、其他相关数据或其任何组合来执行对特定算法的数据和计算的处理。

作为示例而非通过限制的方式，客户端系统120、服务器140、数据存储装置150或其任何合适的组合中的两项或更多项可以绕过网络130直接彼此连接(例如，以太网或局域网(LAN)连接)。作为另一示例，客户端系统120、服务器140和数据存储装置150中的两个或更多个可以在物理上或逻辑上全部或部分地彼此共处一地。在特定实施例中，客户端系统120可以是任何合适的计算设备，例如，移动计算设备、智能手机、蜂窝电话、平板计算机、膝上型计算机、个人计算机或其任何组合。另外，这些设备可以经由网络130，直接地(例如，通过非网络连接)，通过任何其他合适的方法，或其任何组合来彼此通信。作为示例而非通过限制的方式，客户端系统120可以经由诸如Wi-Fi或蓝牙之类的无线通信协议与网络130通信。在特定实施例中，网络130可以是任何合适的网络。作为示例而非通过限制的方式，网络130的一个或多个部分可以包括ad hoc网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络或这些网络中的两种或更多种的组合。网络130可以包括一种或多种网络。

在特定实施例中，链路160可以将客户端系统120、服务器140和数据存储装置150连接到网络130或将其彼此连接。本公开预期任何合适的链路160。在特定实施例中，一个或多个链路160包括一个或多个有线链路(例如，数字用户线(DSL)或有线数据业务接口规范(DOCSIS))、无线链路(例如，Wi-Fi或全球微波接入互操作性(WiMAX))或光学链路(例如，同步光学网络(SONET)或同步数字体系(SDH))。在特定实施例中，一个或多个链路160均包括ad hoc网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一链路160或两个或更多个这样的链路160的组合。在整个网络环境100中，链路160不必相同，使得一个或多个第一链路160可以在一个或多个方面上不同于一个或多个第二链路160。

在特定实施例中，服务器140可以是任何合适的服务器。每个服务器140可以是单体服务器或跨越多个计算机或多个数据中心的分布式服务器。服务器140可以是各种类型的，例如但不限于：web服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行本文中所述功能或过程的另一服务器或其任何组合。在特定实施例中，每个服务器140可以包括硬件、软件或嵌入式逻辑组件或两个或更多个这样的组件的组合，用于执行由服务器140实现或支持的适当功能。

在特定实施例中，数据存储装置150可以是任何合适的数据存储装置。数据存储装置150可以用于存储各种类型的信息。在特定实施例中，可以根据特定数据结构来组织存储在数据存储装置150中的信息。在特定实施例中，每个数据存储装置150可以是关系数据库、柱状数据库、相关数据库或其他合适的数据库。数据存储装置150可以包括网络存储，诸如云存储或其他网络可访问的存储。另外或备选地，数据存储装置150可以包括在客户端系统120的任何设备内或直接附接到客户端系统120的任何设备的本地存储，诸如固态驱动器(SSD)或硬盘驱动器(HDD)。

在特定实施例中，数据存储装置150可以存储与光学检测设备以及对由光学检测设备采集的数据的处理有关的各种数据结构。作为示例而非通过限制的方式，数据存储装置150可以存储与神经心脏学测量值(例如，心率(HR)、心率变异性(HRV)、从心率(HR)或心率变异性(HRV)导出的数据(例如，交感神经迷走神经平衡(SVB))、神经学数据或神经解剖学数据(例如，偏侧性、姿势、手势或脉络)相对应的数据结构。作为另一示例而非通过限制的方式，数据存储装置150可以存储与基于情绪评估的特征评估过程确定的特征数据和特征向量相对应的数据结构。尽管本公开描述或示出了网络环境100的特定类型的组件和这些组件的用途，但是本公开预期网络环境100的任何合适类型的组件、任何合适的网络拓扑(例如，包括独立设备拓扑)以及这些组件的任何合适的用途。

下文描述的特定实施例描述了通过由光学相机110收集的数据来监测和测量神经系统和心血管系统的病理生理相互作用。可以在用于个性化健康评估的移动监测的背景下测量神经心脏学度量。在移动监测中，光学相机110的使用可以促进实时移动健康评估。在特定实施例中，神经心脏学度量可以是各种心脏疾病或状况的指标。此处，对实时的引用是指在约5秒或更短时间内执行的测量。

对人类情绪的自动评估在行为、生物学和社会应用等方面是有用的。以下讨论的特定实施例描述了在个性化娱乐体验中使用移动监测的背景下对人类情绪的评估。在移动监测中，光学相机110的使用可以促进对人类情绪的实时评估。在特定实施例中，通过测量自主神经系统(ANS)的活动/觉醒(arousal)来评估人类情绪，其中觉醒的变化是各种情绪的指标。

图2示出了用户的面部和颈部上的示例光学测量区域。在特定实施例中，光学相机可以使用光电容积描记图(PPG)在特定的感兴趣区域(ROI)处测量每个脉博的血容量(BVP)。PPG照射用户的皮肤，并基于光吸收的变化确定潜在的心血管活动。作为示例而非通过限制的方式，PPG可以通过照射皮肤(例如，用环境光或从光学相机的发光二极管(LED))并使用光学相机的图像传感器测量在特定频率下反射光的量来测量由压力脉冲引起的血容量的变化。PPG信号与ROI中的血容量成比例。

在特定实施例中，PPG测量可以集中在用户的面部上执行，面部相对容易跟踪并且具有多个独特特征(例如，眼睛、嘴巴或鼻子)。通过使用人体上已知的动脉布局，血容量和硬度分析可以集中在主要但浅表(靠近表面)的动脉上。使用具有特定波长(例如，对应于红色、绿色和蓝色)的光可以进入浅表动脉，并且可以使用光学相机捕获在这些较大的血管中由脉动血调制的测量信号。在特定实施例中，可以在设置相机时预先选择动脉。捕获面部202的特定区域的图像。如图2的示例中所示，用户的面部202的图像可以由边界框204A-204D划分，每个边界框对应于特定的ROI。ROI可以对应于面部202的一个或多个动脉。在特定实施例中，可以从由边界框204A-204D限定的光学相机的图像中提取数据。

通过沿对应于特定浅表动脉的已知方向定位一个或多个边界框204A-204D，计算系统可以根据脉动血的波动来确定血容量脉冲。可以基于信号质量(例如，信号强度)来创建位于面部的不同位置处的多个动脉的图，使得即使当人移动时，仍然可以定位至少一个动脉。作为示例而非通过限制的方式，边界框204A-204D中的一个或多个可以对应于角动脉、上颌动脉、眼动脉或面部动脉中的一个或多个。可以使用预定的人动脉布局信息来定位浅表动脉。在特定实施例中，可以在特定用户的基线测量期间精细化浅表动脉在该特定用户的面部上的位置。例如，包含光学相机110的设备(诸如智能电话)可以请求用户进行基线测试，其中当用户正在注视光学相机110时，光学相机110分析并检测用户面部的浅表动脉。在特定实施例中，可以基于与每个浅表动脉的BVP相关联的信噪比(SNR)来选择一个或多个浅表动脉。作为示例而非通过限制的方式，与在ROI处测量的其余信号相比，可以通过确定主导电磁频率中的能量及其二次谐波来计算与BVP相关联的SNR。一旦针对给定用户映射了动脉，则在调整了面部位置或照明伪像之后，可以选择具有最高SNR的动脉。

图3示出了心脏学度量的示例计算。血压(BP)基于在给定时刻流经人体的血液量而不同。在特定实施例中，可以使用血容量脉冲方法在动脉位置处计算心率或RR间隔。如上所述，一旦动脉被定位，就可以通过分析沿着所选动脉的长度的血流的信号传输模型来确定HR。在特定实施例中，可以使用与动脉相关联的血容量和硬度来计算心脏学度量。可以基于计算PPG信号的曲线下面积(AUC)来确定血容量。基于相机的脉搏波传导时间(PWTT)测量可以检测血容量的变化，其可以用于相关动脉的结构分析。PWTT是对脉搏波在循环系统中的两点之间行进所花费的时间量的测量。作为示例而非通过限制的方式，可以基于PWTT确定与动脉相关联的硬度。在图3的示例中，可以基于从血液沿着动脉的长度L流动的初始时间T1到最终时间T2的时间差来计算PWTT和脉搏波速度，如以下等式(1)和(2)所示。

PWTT＝T2-T1 (1)

脉搏波速度＝L/(T2-T1) (2)

图4示出了用于计算用户的心脏学度量的示例方法。如下所述，可以通过将脑波活动和心脏活动的特征与特定情绪相关联来评估用户的心脏学度量。示例方法400可以被部署在具有合适的通信、处理、感测设施或其任何组合的一个或多个电子设备上，诸如移动电话、平板计算机、移动设备、固定位置计算设备和/或网络或云部署系统。作为示例而非通过限制的方式，处理器或电路系统可以体现该方法(例如，一个或多个计算机处理器可以通信地耦接到存储指令的数据存储设备，该指令可由该一个或多个计算机处理器执行以执行用于心脏学度量评估的示例方法400的操作)。

方法400开始于步骤410，其中与计算系统相关联的光学相机实时地捕获用户的图像。在特定实施例中，光学相机附接到计算系统或与计算系统集成。在步骤420，识别与用户的一个或多个浅表动脉相对应的一个或多个感兴趣区域。在特定实施例中，浅表动脉的识别基于从捕获的图像获得的光电容积描记图(PPG)数据的SNR。在步骤430，计算系统可以基于PPG数据测量血容量脉冲(BVP)信号。在步骤440，基于所测量的BVP信号，计算系统可以计算用户的一个或多个心脏学度量。

在适当的情况下，特定实施例可以重复图4的方法400的一个或多个步骤。尽管本公开将图4的方法的特定步骤描述并示出为以特定顺序发生，但是本公开涵盖图4的方法的任何适当步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于计算用户的心脏学度量的包括图4的方法的特定步骤在内的示例方法，但是本公开涵盖用于计算用户的心脏学度量的包括任何合适步骤的任何合适的方法，在适当的情况下，该任何合适的方法可以包括图4的方法的全部步骤、一些步骤或不包括这些步骤。此外，尽管本公开描述并示出了执行图4的方法的特定步骤的特定组件、设备或系统，但是本公开涵盖实施图4的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。

在特定实施例中，可以使用远程PPG(rPPG)来测量与呼吸相关联的度量，以对位于鼻子上或鼻子附近的多个动脉执行同时分析。在呼吸期间，副交感神经系统通过呼气而被激活。通过测量经由鼻动脉的血液的移动，可以通过测量血容量变化以及流过相应动脉的血液的周期性运动来确定包括吸气时间和呼气时间在内的多个呼吸度量。可以使用复合BVP信号来计算用户的呼吸率。在特定实施例中，复合BVP信号是基于BVP变化跨多个浅表鼻动脉的同时测量的信号。呼吸机制可以引起周期性的头部运动，进而调制来自鼻动脉的信号(例如，通过反射)。在特定实施例中，可以使用跨非鼻动脉的BVP变化的测量来补偿周期性头部运动对所得复合BVP信号的影响。作为示例而非通过限制的方式，可以使用额头动脉来精细化复合BVP信号。额头动脉不具有可以调制来自面部的光反射的情绪表情。尽管本公开示出并描述了使用特定类型的传感器来测量特定的心脏学和呼吸度量，但是本公开涵盖使用任何合适类型的传感器来测量心脏学和呼吸度量。

如上所述，可以基于PPG波形的生理上合理或可分析的子段来计算一个或多个心脏测量值。在特定实施例中，生理上合理或可分析的子段可以被定义为满足阈值SNR的子段。PPG波形的特征(例如，峰值、零交叉或谷值)可以用于查找一个或多个可分析的段，以提取或计算心脏学和呼吸度量。在特定实施例中，取决于捕获的基本过程是使用反射的色度信号还是肺血容量(PBV)信号，可以通过分析PPG信号相对于基线信号的信噪比(SNR)并且然后计算测试信号相对于主导信号及其谐波的噪声商来获得可分析的段。在其他实施例中，信号分量可以从理论模型或从数据库和预期频率分量获得。如下所述，可以计算PPG信号分布以指导病理情况。作为示例而非通过限制的方式，在心律不齐的人中，即使完全没有噪音，基线信号也可能错误地看起来是高度损坏的信号。

从来自相机的图像中提取的PPG波形是可以分段成用于查找HR的可分析子段的时间序列。在特定实施例中，一个或多个预定义的生理信号特征可以用于识别PPG波形的可分析子段。在特定实施例中，可以将BVP和脉冲定时与呼吸分布的预期行为进行比较。有效段应当对应于由测量的BVP预期的特征，例如定时、幅度、形态或呼吸窦性心律不齐(RSA)之间的一致性。可以通过分析PPG波形的呼吸变化并识别具有不一致或不合理的RR间隔(其中“RR”是指心跳之间的时间)或幅度的PPG波形来提取有效的心脏脉冲。生理上合理的脉冲可能符合从BVP测量所预期的特征。作为示例而非通过限制的方式，在呼气期间，BVP逐渐增加，同时RR间隔也逐渐增加，而在吸气期间情况相反。这些信号之间的共现性或高协方差可以指示给定波形的生理合理性。

作为另一示例，PPG波形的可分析子段可以对应于与信号的快速傅立叶变换(FFT)中的主导频率一致的RR间隔。在特定实施例中，可以使用短时间序列段上的频率变换的上下文分析来精细化整个时间序列，以去除导致生理上不合理的HR计算的脉冲。此外，可分析时间段的脉冲起点一定不能发生在生理上不合理的点处。

此外，BVP的分布应与预定义的血液脉搏一致，其中上升部分(收缩部分)小于舒张部分(脉搏的衰减部分)。对于可分析的段，在两个信号之间不存在脉动活动的情况下，血液脉搏的90％宽度应近似等于RR间隔。如上所述，使用预定义的信号特征来识别PPG信号的与生理上合理的预定呼吸分布一致的可分析子段。作为示例而非通过限制的方式，可以分析PPG波形以确定在呼气期间R波对R波(RR)间隔逐渐增加的同时所测量的脉量测量值是否逐渐增大。相反，在吸气期间，可分析子段的脉量测量值应逐渐减小，同时RR间隔逐渐减小。另外，可以通过确定信号的对应收缩部分是否小于相同信号的对应舒张部分来确认PPG信号的可分析子段。

如上所述，从由相机捕获的数据提取的PPG波形包括红色、绿色和蓝色通道分量。与可见光谱的不同颜色(例如，红色、绿色或黄色)相对应的不同波长的可见光根据其波长穿透皮肤到不同的深度。在特定实施例中，可以分析PPG波形以基于预定标准确定与红色、绿色或蓝色通道中的任何一个相关联的信号是否是生理上不合理的。作为示例而非通过限制的方式，一种此类标准基于从用户的面部反射的信号的DC功率。反射信号的功率与皮肤吸收的光的量成反比。可以认为人类皮肤具有两层：表皮和真皮。表皮包含黑色素，黑色素优先吸收较低波长(蓝色)的光，以保护人免受紫外线伤害。因此，入射蓝光的大部分不会穿过表皮并进入真皮。因此，可见光的蓝色分量具有最低的穿透深度，但是大多数光不被反射，而是被表皮吸收。此外，如果蓝光穿透到真皮，则该蓝色分量与血红蛋白(和其他皮肤色素)相互作用，并经受额外的吸收，从而进一步减少了反射量。因此，可见光的蓝色分量具有最低的反射率，使得来自蓝色通道的信号具有整体信号的最低总功率。

红色分量是在皮肤的所有层反射的仅有分量，这导致红色分量具有最高的穿透深度和总功率。在特定实施例中，如果蓝色分量的总功率高于红色或绿色分量的总功率，则PPG段可以作为不可靠或不合理的而被丢弃。DC蓝色反射率应小于DC反射率绿色分量，绿色分量小于红色分量的DC反射率。因此，在PPG波形的可分析段中，红色分量的总功率应大于绿色分量的总功率，绿色分量的总功率应大于蓝色分量的总功率。在特定实施例中，如果一PPG段不符合该模式，则该PPG段可以作为不可靠的而被丢弃。应该注意的是，在入射光是“白色”(大致等量的每种颜色分量(例如，红色、绿色和蓝色)入射到用户的皮肤表面)的假设下，这些标准是严格有效的。例如，如果狭窄的蓝色光源入射到人的皮肤表面，则上述标准可能无效。在特定实施例中，可以在执行基线测量时，使用光学相机来测试“白色”光源的这种假设。

另一示例标准基于信号的AC分量。信号的AC分量是由血液流过(例如，自用户的心跳)ROI时的反射率变化引起的。在特定实施例中，如上所述，可以基于预定义的信号特征来验证来自相机的捕获信号。血液是面部的主要生色团并引起比黑色素更强的衰减，且导致与红色分量相比绿色分量的更大吸收。该效果导致绿色通道的脉动(即AC)功率为这3个分量中最大的。作为示例而非通过限制的方式，如果绿色分量的脉动功率低于红色或蓝色通道分量的脉动功率，则可以将段视为不可靠的而丢弃。所捕获信号的AC分量和DC分量两者的变化可能是由环境照明的变化引起的。可以补偿由环境照明引起的这些变化(例如，如上所述，通过测量额头动脉)，或者可以将对应的段标记为无效。

验证PPG波形的段的另一示例标准是基于信号的协方差。在特定实施例中，可以基于红色、绿色和蓝色通道分量对于特定信号是否是协变的来验证来自相机的捕获信号，使得三个通道分量中的脉冲是时间对准的。如上所述，每个颜色通道主要由血液的流动和光吸收来调制。来自三个通道的分量不具有高协方差的信号段可能被拒绝，并且不被用于计算相关的心脏学或呼吸度量。

在特定实施例中，可以在段的离散傅立叶变换(DFT)功率上拒绝PPG波形的段。作为示例而非通过限制的方式，DFT峰值应与RR或RR-8(delta)一致。在特定实施例中，当将RR值与DFT峰值进行比较时，可以考虑时间段的SNR。作为示例而非通过限制的方式，特定实施例检查窄带频率分量与本底噪声(noise floor)之间的适当高的SNR。如果SNR为低，则丢弃当前窗口(即，正在分析的PPG样本)。基于对时间窗内的值的观察，可以丢弃或校正段。在特定实施例中，可以基于规范化的以平均值为中心的RGB通道之间的窗口化协方差的最大可接受中值的阈值来拒绝时间段。

如上所述，PPG波形的可分析段可以用于计算用户的平均HR或HR范围。在第一步中，可以使用协方差分析来识别可分析的段。在特定实施例中，该步可以在初始化时段期间发生。第二步涉及使用从相机收集的图像对感兴趣动脉的后续跟踪，如上所述。在第三步中，可以在HR计算中去除或忽略高值脉冲(例如，具有尖锐边缘/不连续性)。在第四步中，可以使用血容量脉冲或对数空间的像素商来执行信号变换。在第五步中，可以使用信号特征(例如，峰值、谷值、零交叉、信号分布、SNR等)来计算RR。在第六步中，如上所述，可以基于信号R、G、B通道中从相机所捕获的图像获得的总信号功率和总脉动功率，来识别生理上合理的信号或可分析的段。如上所述，可以使用呼吸、血容量(信号幅度)和时序变化分析来识别生理上合理的或可分析的段。在下一步中，可以使用频率分析去除不合理的脉冲。可以通过将时间序列的SNR与基线信号分布进行比较来识别时间序列中的噪声段。在特定实施例中，使用近端脉冲基于时域分析来确定RR，然后将该RR用于计算平均HR或HR范围。在特定实施例中，可以使用时间序列的独立分量分析(ICA)来执行以上分析，其中时间序列以预定数量的帧的周期性增量而递增，直到独立分量的互信息(MI)接近0为止。可以通过计算最大独立分量的FFT来计算HR。

图5示出了用于针对用户执行心率测量的示例方法。方法500开始于步骤510，其中与计算系统相关联的光学相机实时地捕获用户的图像。在特定实施例中，光学相机附接到计算系统或与计算系统集成。在步骤520，计算系统可以基于多个图像确定用户的时间序列信号。在特定实施例中，该信号包括生理上合理的一个或多个段和生理上不合理的一个或多个段。在步骤530，计算系统可以基于一个或多个预定义的信号特征来识别一个或多个生理上合理的子段。在特定实施例中，该识别可以包括计算时间序列的SNR，并将该SNR与阈值SNR进行比较。可以识别所计算的SNR高于阈值SNR的信号的子段。在步骤540，计算系统可以基于生理上合理的子段来计算一个或多个心率测量值。

在适当的情况下，特定实施例可以重复图5的方法500的一个或多个步骤。尽管本公开将图5的方法的特定步骤描述并示出为以特定顺序发生，但是本公开涵盖图5的方法的任何适当步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于针对用户执行心率测量的包括图5的方法的特定步骤在内的示例方法，但是本公开涵盖用于针对用户执行心率测量的包括任何合适步骤的任何合适的方法，在适当的情况下，该任何合适的方法可以包括图5的方法的全部步骤、一些步骤或不包括这些步骤。此外，尽管本公开描述并示出了执行图5的方法的特定步骤的特定组件、设备或系统，但是本公开涵盖实施图5的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。

心血管系统由ANS调节，ANS包括交感神经系统(SNS)和副交感神经系统(PSNS)。将交感神经迷走神经平衡(SVB)定义为SNS与PSNS之间的平衡点。心脏的节律由窦房结(SA)节点控制，窦房结节点由自主神经系统的交感神经和副交感神经二者的分支调节。心脏通过副交感神经节和交感神经节以及脊柱的侧灰柱接收其神经输入。交感神经活动倾向于增加心率，而副交感神经活动倾向于降低心率。在特定实施例中，基于SVB的情绪评估可以确定稳态平衡，其中交感神经流出和PSNS(例如，迷走神经)流出处于稳定的平衡。因此，可以通过分析SNS和PSNS之间(例如，副交感神经流出和交感神经流出之间)的相对主导和平衡来确定SVB。这种方法本质上是线性的，这使得其对噪声(例如，本质上倾向于非线性)非常稳定。

图6A示出了基线数据直方图的示例。如图6A的示例所示，基线数据直方图600的x轴对应于心率波动(例如，连续心跳之间的RR-δ或RR间隔差)，并且基线数据直方图600的y轴对应于特定心率波动针对基线数据集发生的频率或次数。基线SVB一侧的测量数据集的一部分用于确定心脏活动数据的第一部分内的多个ANS活动标记。计算HRV特征，该HRV特征是涉及心脏活动数据的第一部分内的ANS活动标记的数量和第二部分内的ANS活性标记的数量的比率。SVB由基线数据直方图600的50∶50分布的点来定义，使得基线数据集的50％的数据点在SVB的左侧，并且基线数据集的50％的数据点在SVB的右侧。HRV数据用于确定SVB的变化。HRV描述了连续心跳之间的变化。使用基线数据直方图600，SVB对应于代表“正常”(例如，没有压力)状态的HRV区域。所描述的SVB分析以相等的权重对待SNS和PSNS(例如，因为两者都可能对分析ANS觉醒有用)，并使用RR-δ。

在特定实施例中，为了确定SVB，将压力或觉醒定义为在测试数据t的RR-δ直方图Ht中SNS的主导增加，并且直方图上的数据点对应于测试数据集中一段相邻RR间隔之间的差。在特定实施例中，计算相对映射到SNS的事件数量与相对映射到PSNS的事件数量的比率。HRV的测量可以基于时域分析或频域分析，这两者都有很多缺点。例如，频域分析方法(例如，基于FFT的那些方法)不适用于移动平台上的实施方式，因为它们对噪声伪像极为敏感，并且需要相当长的测量时段。时域方法(例如，连续心跳间隔差的均方根(RMSSD)、NN(心跳与心跳)间隔的标准差(SDNN)以及相差大于50毫秒的连继NN对的数量除以NN总数的比例(pNN50))通常用于分析瞬时心率信号。给定用户的基线SVB和RR-δ直方图Ht，可以将SVB计算为所有RR-δ的中值、所有RR-8的平均值、通过Ht计算的RMSSD的50％、通过Ht计算的SDNN的50％、其他相关值或其任意组合。

图6B示出了其中SVB向左移动的测试数据直方图610的示例，并且图6C示出了其中SVB向右移动的测试数据直方图620的示例。如图6B的示例所示，类似于图6A，测试数据直方图610的x轴对应于心率波动(例如，RR-δ)，并且测试数据直方图610的y轴对应于针对测试数据集的心率波动的次数。在特定实施例中，基于基线SVB值(例如，用户特定的基线SVB值)选择测量数据集的第一和第二部分，其中该基线SVB值将测量数据集的直方图表示划分为第一和第二部分。当针对测试数据集的心率波动平均地导致平衡从直方图A1(例如，对应于基线数据)朝向左方向移动到直方图A2时，或换句话说，(例如，基于基线数据所确定的)SVB左侧的直方图A2的心率波动的测量数量大于SVB右侧的直方图A2的心率波动的测量数量，则确定用户的状态对应于代表“高觉醒”状态的HRV区域。以另一种方式解释，如图6B所示，在给定总面积A的情况下，当直方图向左移动时，确定A2相对于A的面积(例如，A2曲线下方的面积)小于A1相对于A的面积(例如，A1曲线下方的面积)，并且确定用户的状态对应于代表“高觉醒”状态或SVB增加的HRV区域。

在另一方面，如图6C所示，类似于图6A，测试数据直方图620的x轴对应于心率波动(例如，RR-δ)，并且测试数据直方图620的y轴对应于针对测试数据集的心率波动的次数。当针对测试数据集的心率波动平均地导致平衡从直方图A1(例如，对应于基线数据)朝向右方向移动到直方图A2时，或换句话说，(例如，基于基线数据所确定的)SVB右侧的直方图A2的心率波动的测量数量大于SVB左侧的直方图A2的心率波动的测量数量，则确定用户的状态对应于代表“低觉醒”状态的HRV区域。以另一种方式解释，如图6C的示例所示，在给定总面积A的情况下，当直方图向右移动时，确定A2相对于A的面积(例如，A2曲线下方的面积)大于A1相对于A的面积(例如，A1曲线下方的面积)，并且确定用户的状态对应于代表“低觉醒”状态的HRV区域。

特定实施例取决于基于上下文适当的SVB的概念划分RR-δ直方图Ht。作为示例而非通过限制的方式，如果上下文是负责记录时段中的可变性的所有循环分量，则可以通过SDNN模型来评估SVB的比率。

图7示出了情绪的环状模型的示例图。情绪的环状模型700将人的情绪映射到包含觉醒和价态维度的二维圆形空间702中。觉醒水平映射到圆形空间702的竖直轴，并且价态映射到圆形空间702的水平轴。在环状模型700中，价态对应于情绪的类型(例如，正或负)，而觉醒对应于情绪的强度。圆形空间702的中心表示中性价态和觉醒水平。在该模型中，情绪状态可以以价态和觉醒的任何水平、或者以这些因素中的一个或两个的中性水平来表示。另外，圆形空间702可以被划分为四个象限I-IV，每个象限对应于具有类似水平的觉醒和价态的情绪状态分组。作为示例而非通过限制的方式，象限I的情绪对应于正价态和高觉醒情绪状态。在示出的实施例中，象限I的情绪状态包括警觉、兴奋、兴高采烈和快乐。按照价态增加的顺序，象限I的这些情绪状态为警觉、兴奋、兴高采烈和快乐。按照觉醒增加的顺序，象限I的这些情绪状态为快乐、兴高采烈、兴奋和警觉。

象限II的情绪对应于负价态和高觉醒情绪状态。在示出的实施例中，象限II的情绪状态包括紧张、焦虑、有压力和沮丧。按照价态增加的顺序，象限II的这些情绪状态为沮丧、有压力、焦虑和紧张。按照觉醒增加的顺序，象限II的这些情绪状态为沮丧、有压力、焦虑和紧张。

象限III的情绪对应于负价态和低觉醒情绪状态。在示出的实施例中，象限III的情绪状态包括悲伤、郁闷、没精打采和疲劳。按照价态增加的顺序，象限III的这些情绪状态可以列为悲伤、郁闷、没精打采和疲劳。按照觉醒增加的顺序，象限III的这些情绪状态为疲劳、没精打采、郁闷和悲伤。

象限IV的情绪对应于正价态和低觉醒情绪状态。在示出的实施例中，象限IV的情绪状态包括平静、放松、安宁和满足。按照价态增加的顺序，象限IV的这些情绪状态为平静、放松、安宁和满足。按照觉醒增加的顺序，象限IV的这些情绪状态为平静、放松、安宁和满足。将意识到，在替代示例实施例中，可以包括附加的情绪，或者可以省略或重命名图7中的一个或多个情绪。

正面情绪可能只持续10到15秒，因此必须在相对短的时间段内执行正面情绪的检测。在特定实施例中，以心脏学为中心以确定用户情绪的分析可以基于通过组合线性模型和非线性模型的短期情绪预测模型。如下所述，可以至少部分地基于心脏学数据(例如，心率或SVB)并结合通过光学相机(例如，光学相机110)测量的神经解剖学或前庭体反射数据(例如，姿势、手势或偏侧性)来计算或确定用户的情绪估计。在特定实施例中，心脏学信号的同时一致性和前庭体反射数据可以用于检测用户的情绪，其中可以使用线性和非线性方法的复合模型来确定心脏学测量，如上所述。作为示例而非通过限制的方式，可以使用用于基于用户的交感神经迷走神经平衡(SVB)检测情绪的线性模型来测量心脏学数据。作为另一示例，可以使用HR动态的非线性模型来测量心脏学数据，其中该非线性模型基于在大约12秒内会聚的心率动态。在特定实施例中，该非线性模型基于可以针对用户个性化的概率点过程非线性模型。这种方法在给定过去事件的情况下对下一心跳的概率函数进行建模。在特定实施例中，该概率函数可以被完全参数化并且考虑到立方自回归Wiener-Volterra关系以对它的一阶矩(first order moment)建模。也就是说，这些表示可以被认为是输入信号与系统的脉冲响应以及包含输入信号与自身的递增阶积的一系列非线性项的卷积。

在特定实施例中，可以通过分析使用面部动作编码系统(FACS)方法测量的神经学信号来测量以神经学为中心的数据。FACS方法通过解释面部表情背后的肌肉活动来工作，这是通过将不同的面部移动编码为动作单元(AU)来实现的。这些动作单元是基于潜在的肌肉活动，该肌肉活动产生面部表情的给定的并且通常是瞬时的变化。然后通过识别在特定表情背后的动作单元或动作单元的组合来辨识表情。FACS使用的一些关键参数包括从使用相机捕获的图像中提取的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线和/或基于脸颊的微笑线印记。FACS基于给定用户面部表情背后的30个以上的各个动作单元。在特定实施例中，可以采用机器学习(ML)模型(例如，神经网络、隐马尔可夫模型(HMM)或SVM(支持向量机))来训练从由相机捕获的用户图像中提取的动作单元的解释。由于性别不同地表现情绪，因此可以针对性别对调整后的ML模型进行调整。

可以使用光学相机捕获神经解剖学或前庭体反射(例如，姿势、手势或偏侧性)数据。在特定实施例中，可以分析由光学相机捕获的图像以确定用户的偏侧性或姿势的变化。作为示例而非通过限制的方式，计算系统可以基于偏侧性来确定用户正经历正面情绪还是负面情绪，因为负面情绪可在面部左侧更显著地显示，而正面情绪可在面部右侧更显著地显示。作为另一个示例，计算系统可以基于身体姿势来确定用户正经历正面情绪还是负面情绪，因为不良的身体姿势可与负面情绪相关联，而良好的身体姿势可与正面情绪相关联。

如果SVB线性模型和心率动态非线性模型两者的结果被同时感测到并与特定情绪一致，则心脏学信号可以是短期正面情绪的决定因素。超过6秒的情感激发允许前额皮质对刺激信息进行编码，并将其从脑干传输到中央自主神经网络(CAN)的其他区域。因此，正面情绪应具有至少6秒加上要检测的至少一个额外呼吸周期或更多呼吸周期的持续时间。本文的实施例使得能够检测在某处持续约10秒-15秒的情绪过程。在特定实施例中，可以使用与用户相关联的当前上下文信息(包括用户的环境、用户参与的活动、和/或至少部分地基于以神经学为中心的数据检测到的用户的身体性质(例如，用户姿势)，如上所述)来进一步验证对用户正经历短期正面情绪的实时确定(例如，在大约15秒内)。

在特定实施例中，计算系统可以包括情绪评估模块。在本文中，对模块的引用可以指被配置为执行离散功能的独立计算机代码或可执行代码。此外，模块可以是被配置为执行离散功能的专用电子电路。可以分析RBG通道的协方差。在特定实施例中，计算系统通过分析以预定时间间隔(例如，每30秒)测量的HRV的直方图来计算基于HRV的SVB，如图6A-6C的示例所示。如上所述，SVB被定义为SNS与PSNS之间的平衡点，因此，精确SVB计算所需的时间取决于SNS和PSNS测量的稳定时间。作为示例而非通过限制的方式，PSNS测量可能花费约2秒至3秒进行稳定，而SNS测量可能花费约25秒。具有较大直方条(bin)(或较长测量时间)的直方图补偿系统的延迟，而较小直方条(或较小测量时间)可能导致不准确的SVB计算。在示例实施例中，SVB和HR不是二元的，而是对SVB和HR激活的强度进行量化。因此，所计算的强度可以用于增加可估计的情绪状态的分辨率和数量。

在大脑可以通过较高阶的大脑中枢处理情绪之前可能需要特定长度的时间。例如，该时间段可以是6秒或更长。在用户的典型呼吸周期是每次呼吸大约4秒的事实下(这导致HR和HRV以及SVB中基于RSA的变化)，示例实施例可以使用预定的时间窗口(例如，10秒)来确认来自心脏学数据(例如，来自PPG波形)和相机捕获的以神经学为中心的数据的信号的协变趋势。

分类是输出与给定输入的相关性(例如，情绪与以神经学为中心的心脏学数据)。例如，特定特征向量(例如，特征的有序列表)可以与用户的特定情绪相关。可以使用预测器函数来执行分类，其中使用包括输入向量和标记数据的答案向量的“训练”数据集来构建该预测器函数。机器学习分类器算法可以将输入向量与一个或多个权重结合(例如，通过点积)，以构建预测器函数，以使输入向量最适配答案向量。作为示例而非通过限制的方式，分类算法可以包括支持向量机(SVM)、朴素贝叶斯、自适应增强(AdaBoost)、随机森林、梯度增强、K均值聚类、带有噪声的应用的基于密度的空间聚类(DBSCAN)或神经网络算法。

在特定实施例中，在离线训练期间，可以从使用相机捕获的多个用户的神经学(例如，基于FACS)和心脏学(例如，HR和SVB)数据以及用户在数据正被测量时的对应情绪来获得训练数据。作为示例而非通过限制的方式，输入向量可以是所提取的神经心脏学特征的向量，并且答案向量可以是用户报告的对应情绪(例如，高兴)。作为示例而非通过限制的方式，用于情绪评估的训练数据可以是在观看内容(例如，体育比赛、电视节目或电影)时捕获的用户的图像。在特定实施例中，机器学习分类器的输出向量可以是环状模型700的一个或多个象限或情绪，并且输出向量可以与标记数据(例如，用户提供的情绪)的答案向量进行比较，以“训练”机器学习分类器的预测器函数。

面部表情反映了大脑对PNS(周围神经系统)的影响，并且HR/HRV反映了心脏的状态。在特定实施例中，情绪评估模块可以从由相机捕获的用户的图像接收心脏学和神经学数据。在特定实施例中，情绪评估模块可以被配置为基于在显著的时间段(例如，约5秒或更长时间)上心脏学和神经学数据的协方差来确定用户的情绪。在特定实施例中，情绪评估模块可以基于心脏学数据执行用户在一段时间期间的情绪状态的估计。与心脏学和神经学数据的预定阈值相对应的时刻可以用于启动用户的情绪评估。作为示例而非通过限制的方式，可以捕获与阈值(例如，HRV上升到60以上和特定的面部表情)相对应的时刻并将其与特定的情绪(例如，兴高采烈或兴奋)相关联。情绪评估模块可以包括情绪状态比较模块。在特定实施例中，情绪评估模块可以基于确定情绪的环状模型700的与心脏学和神经学数据相对应的特定象限来识别情绪。作为示例而非通过限制的方式，情绪评估模块可以计算出：SVB和HR两者基本上同时增加对应于环状模型700的象限I(右上象限)，SVB减小并且HR增加对应于象限II(左上象限)，SVB和HR都减小对应于象限III(左下象限)，以及SVB增加并且HR减小对应于象限IV(右下象限)。

在特定实施例中，可以使用神经学数据来精细化所确定的用户情绪(例如，基于姿势和活动情境的精细化)。作为示例而非通过限制的方式，减小的SVB和增加的HR以及伴随的面部表情可对应于愤怒。作为示例而非通过限制的方式，减小的SVB和增加的HR以及伴随的面部表情可对应于焦虑。在特定实施例中，情绪评估模块基于由神经解剖学数据(例如，由相机捕获的姿势或手势)确定的用户的情绪来精细化在环状模型700的特定象限内的用户的情绪。

如上所述，SVB的减小和HR的增加指示环状模型700的象限II中的情绪(例如，沮丧、压力、焦虑或紧张)。在特定实施例中，通过对面部的左侧显示的情绪或不良姿势的伴随检测的检测来精细化对愤怒的分析。作为示例而非通过限制的方式，情绪状态比较模块可以基于确定SVB和HR均增加、对应的面部表情、以及同时检测到用户具有良好的姿势或在面部右侧上显示的情绪而估计出用户正感到兴高采烈。如上所述，做出这些确定所需的所有信号可以由诸如光学相机110的光学信号传感器来捕获。如本文所使用的，SVB和HR水平的增加和减少是相对于基线值的。在特定实施例中，如果神经学和心脏学数据(就SVB或HR或两者而言)的相干性趋势保持超过预定的时间量(例如，10秒)，则计算系统可以输出估计的情绪状态。

图8示出了用于情绪评估的示例方法。如下所述，可以通过将脑波活动和心脏活动的特征与特定情绪相关来评估用户的情绪。在特定实施例中，方法800可以由情绪评估系统执行。方法800开始于步骤810，其中单个传感器实时地捕获用户的图像。在步骤820，计算系统基于所捕获的图像实时地确定用户在一段时间期间的一个或多个短期心脏学信号。在特定实施例中，在步骤830，计算系统可以基于心脏学信号实时地估计用户的第一短期情绪状态。在特定实施例中，第一短期情绪状态的估计是基于根据从捕获的图像提取的PPG波形计算出的SVB和HR。在特定实施例中，对短时间的引用对应于大约15秒的时间段。在步骤840，计算系统可以基于所捕获的图像实时地确定用户在该段时间期间的一个或多个短期神经学信号。在步骤850，计算系统基于神经学信号实时地估计用户的第二短期情绪状态。在特定实施例中，第二短期情绪状态是基于上述使用FACS的动作单元的分类。在步骤860，计算系统可以将第一估计情绪状态与第二估计情绪状态进行比较。在步骤870，响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态来确定用户在该段时间期间的短期情绪。

在适当的情况下，特定实施例可以重复图8的方法800的一个或多个步骤。尽管本公开将图8的方法的特定步骤描述并示出为以特定顺序发生，但是本公开涵盖图8的方法的任何适当步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于评估用户的情绪的包括图8的方法的特定步骤在内的示例方法，但是本公开涵盖用于评估用户的情绪的包括任何合适步骤的任何合适的方法，在适当的情况下，该任何合适的方法可以包括图8的方法的全部步骤、一些步骤或不包括这些步骤。此外，尽管本公开描述并示出了执行图8的方法的特定步骤的特定组件、设备或系统，但是本公开涵盖实施图8的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。

在特定实施例中，本文描述的实施例可以用于评估用户的心脏风险。例如，确定颈动脉或桡动脉中的动脉粥样硬化可能对确定中风风险非常重要。在特定实施例中，可以使用血容量脉冲(BVP)和/或PWTT来计算血压的替代标记。作为示例而非通过限制的方式，确定跨颈动脉的PWTT和血容量变化使得能够测量用户的动脉粥样硬化的程度，因为动脉硬度由ANS通过PWTT调节。此外，可以基于跨颈动脉或桡动脉测量的PWTT以及与用户的基线相比在颈动脉或桡动脉中的BVP变化来计算中风风险。类似地，可以通过在用户在早晨时段的时间醒来的时间段期间连续测量跨一个或多个浅表动脉的PWTT和/或一个或多个浅表动脉中的BVP变化来识别心血管(CV)危险。

在特定实施例中，动脉映射可以用于认证用户。如上所述，可以使用由光学相机捕获的面部图像基于沿着用户面部的ROI的SNR来映射面部动脉。特别地，角动脉和滑车上动脉相对容易映射。该面部-动脉映射对于每个用户是独特的，并且可以用作面部签名，该面部签名可以用作区分不同用户的基础。可以使用关键动脉相对于面部界标(例如，眼睛、鼻子、耳朵或动脉)的布局来执行认证。作为示例而非通过限制的方式，可以使用光学相机来捕获该面部签名，并且将其存储在计算系统中。可以通过在认证时映射用户的关键动脉并将其与存储的面部签名进行比较来认证用户。例如，用户可以被认证到设备，诸如包含光学相机的智能电话或ATM。

情绪的准确检测可能非常适用于许多领域，例如虚拟现实(VR)、游戏、娱乐、目标广告、智能家居、健康或教育。客户端系统120可以是具有一个或多个光学相机的计算机或智能TV，该光学相机被配置为测量用户的神经心脏学和神经解剖学数据。在特定实施例中，可以基于评估的用户情绪来调整针对用户显示的内容或与内容相关联的设置。作为示例而非通过限制的方式，通过客户端系统向用户提供内容的服务器可以基于根据由光学相机捕获的数据的用户情绪以交互方式提供视频流。例如，服务器可以提供视频流，同时光学相机可以评估用户的情绪。服务器可以动态地提供内容以唤起特定的情绪。作为示例而非通过限制的方式，服务器可以选择视频流的唤起用户的放松感的一个或多个帧(例如，玩毛线的猫)，并发送所选的帧以在客户端设备上显示。作为另一示例，如果确定用户是有压力的、生气或恐惧的，则客户端系统可以暂停内容。尽管本公开将服务器或客户端系统描述为执行特定动作，但是本公开涵盖客户端或服务器设备可以基于对用户情绪的评估来确定要采取的适当动作。

作为另一示例，服务器可以发送与视频游戏的场景相对应的视频流，以在客户端系统(例如，计算机或智能TV)上显示。服务器可以通过捕获用户的面部图像来评估玩游戏期间用户的情绪，并基于用户的情绪来调整游戏的难度等级。例如，如果用户在玩游戏期间表现出挫败，则服务器可以发送具有较低难度等级的游戏内容。相反，服务器可以基于检测到无趣而发送与较高难度等级相对应的游戏内容。作为另一示例，教育系统可以基于先前使用户在学习时经历正面情绪的内容来确定哪个内容最吸引用户，并且可以定制附加教育内容。

在特定实施例中，服务器可以在消费特定内容的同时，基于评估的用户情绪向用户发送针对附加内容的一个或多个推荐。作为示例而非通过限制的方式，响应于基于在玩特定游戏时由光学相机捕获的面部图像而确定用户正在经历高兴或兴奋，服务器可以发送针对类似类型的游戏(例如，第一人称射击游戏或社交游戏)的推荐。作为另一示例，响应于确定用户在观看特定电影或电视节目时正在经历抑郁或疲劳，服务器可以发送针对不同类型的电影或电视节目(例如，动作或体育)的推荐。

图9示出了根据本发明一些实施例的示例计算机系统900。在特定实施例中，一个或多个计算机系统900执行本文所描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统900提供本文所描述或示出的功能。在特定实施例中，在一个或多个计算机系统900上运行的软件执行本文所描述或示出的一个或多个方法的一个或多个步骤，或者提供本文所描述或示出的功能。特定实施例包括一个或多个计算机系统900的一个或多个部分。在本文中，在适当的情况下，对计算机系统的引用可以包含计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包含一个或多个计算机系统。

本公开涵盖任何合适数量的计算机系统900。本公开涵盖采用任何合适的物理形式的计算机系统900。作为示例而非通过限制的方式，计算机系统900可以是：嵌入式计算机系统、片上系统(SOC)、单板式计算机系统(SBC)(例如，模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网、移动电话、个人数字助理(PDA)、服务器、平板计算机系统或这些项中的两个或更多个的组合。在适当的情况下，计算机系统900可以包括一个或多个计算机系统900；是单一的或分布式的；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，该云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统900可以在没有实质的空间或时间限制的情况下执行本文所描述或示出的一个或多个方法的一个或多个步骤。作为示例而非通过限制的方式，一个或多个计算机系统900可以实时地或以批处理模式来执行本文所描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统900可以在不同时间或在不同位置处执行本文所描述或示出的一个或多个方法的一个或多个步骤。

在特定实施例中，计算机系统900包括处理器902、存储器904、存储装置906、输入/输出(I/O)接口908、通信接口910和总线912。尽管本公开描述并示出了处于特定布置的具有特定数量的特定组件的特定计算机系统，但是本公开涵盖处于任何合适布置的具有任何合适数量的任何合适组件的任何合适的计算机系统。

在特定实施例中，处理器902包括用于执行指令(例如，构成计算机程序的指令)的硬件。作为示例而非通过限制的方式，为了执行指令，处理器902可以从内部寄存器、内部高速缓存、存储器904或存储装置906中检索(或获取)指令；解码并执行指令；并且然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器904或存储装置906。在特定实施例中，处理器902可以包括用于数据、指令或地址的一个或多个内部高速缓存。在适当的情况下，本公开涵盖包括任何合适数量的任何合适的内部高速缓存的处理器902。作为示例而非通过限制的方式，处理器902可以包括一个或多个指令高速缓存、一个或多个数据高速缓存、以及一个或多个转换查找缓冲器(TLB)。指令高速缓存中的指令可以是存储器904或存储装置906中的指令的副本，并且指令高速缓存可以加速处理器902对那些指令的检索。数据高速缓存中的数据可以是：存储器904或存储装置906中的数据的副本，其中在处理器902处执行的指令对所述数据进行操作；在处理器902处执行的先前指令的结果，其中所述结果由在处理器902处执行的后续指令进行访问或用于写入存储器904或存储装置906；或其他合适的数据。数据高速缓存可以加速处理器902的读或写操作。TLB可以加速处理器902的虚拟地址转换。在特定实施例中，处理器902可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开涵盖包括任何合适数量的任何合适的内部寄存器的处理器902。在适当的情况下，处理器902可以包括一个或多个算术逻辑单元(ALU)；是多核处理器；或包括一个或多个处理器902。尽管本公开描述并示出了特定处理器，但本公开涵盖任何合适的处理器。

在特定实施例中，存储器904包括主存储器，用于存储供处理器902执行的指令或供处理器902操作的数据。作为示例而非通过限制的方式，计算机系统900可以将指令从存储装置906或另一个源(例如，另一计算机系统900)加载到存储器904。然后，处理器902可以将指令从存储器904加载到内部寄存器或内部高速缓存。为了执行指令，处理器902可以从内部寄存器或内部高速缓存检索指令并对指令进行解码。在执行指令期间或之后，处理器902可以将一个或多个结果(可以是中间结果或最终结果)写入内部寄存器或内部高速缓存。然后，处理器902可以将那些结果中的一个或多个写入存储器904。在特定实施例中，处理器902仅执行一个或多个内部寄存器或内部高速缓存中或存储器904(与存储装置906或其他地方相对)中的指令，并且仅对一个或多个内部寄存器或内部高速缓存中或存储器904(与存储装置906或其他地方相对)中的数据进行操作。一个或多个存储器总线(每个可以包括地址总线和数据总线)可以将处理器902耦接到存储器904。总线912可以包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器902与存储器904之间，并且便于访问处理器902所请求的存储器904。在特定实施例中，存储器904包括随机存取存储器(RAM)。该RAM可以是易失性存储器，在适当的情况下，该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，该RAM可以是单端口或多端口的RAM。本公开涵盖任何合适的RAM。在适当的情况下，存储器904可以包括一个或多个存储器904。尽管本公开描述并示出了特定存储器，但是本公开涵盖任何合适的存储器。

在特定实施例中，存储装置906包括用于数据或指令的大容量存储装置。作为示例而非通过限制的方式，存储装置906可以包括：硬盘驱动器(HDD)、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或这些项中的两个或更多个的组合。在适当的情况下，存储装置906可以包括可移除或不可移除(或固定)的媒介。在适当的情况下，存储装置906可以在计算机系统900的内部或外部。在特定实施例中，存储装置906是非易失性的固态存储器。在特定实施例中，存储装置906包括只读存储器(ROM)。在适当的情况下，该ROM可以是：掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)或闪速存储器或这些项中的两个或更多个的组合。本公开涵盖采用任何合适的物理形式的大容量存储装置906。在适当的情况下，存储装置906可以包括便于处理器902与存储装置906之间的通信的一个或多个存储控制单元。在适当的情况下，存储装置906可以包括一个或多个存储装置906。尽管本公开描述并示出了特定的存储装置，但是本公开涵盖任何合适的存储装置。

在特定实施例中，I/O接口908包括提供用于计算机系统900与一个或多个I/O设备之间的通信的一个或多个接口的硬件、软件或两者。在适当的情况下，计算机系统900可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以实现人与计算机系统900之间的通信。作为示例而非通过限制的方式，I/O设备可以包括：键盘、键区、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、触控笔、平板计算机、触摸屏、轨迹球、摄像机、另一合适的I/O设备或这些项中的两个或更多个的组合。I/O设备可以包括一个或多个传感器。本公开涵盖任何合适的I/O设备和用于它们的任何合适的I/O接口908。在适当的情况下，I/O接口908可以包括使得处理器902能够驱动这些I/O设备中的一个或多个的一个或多个设备或软件驱动器。在适当的情况下，I/O接口908可以包括一个或多个I/O接口908。尽管本公开描述并示出了特定的I/O接口，但是本公开涵盖任何合适的I/O接口。

在特定实施例中，通信接口910包括提供用于计算机系统900与一个或多个其他计算机系统900或一个或多个网络之间的通信(例如，基于分组的通信)的一个或多个接口的硬件、软件或两者。作为示例而非通过限制的方式，通信接口910可以包括：用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器，或用于与无线网络(例如，WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开涵盖任何合适的网络和用于该网络的任何合适的通信接口910。作为示例而非通过限制的方式，计算机系统900可以与ad hoc网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或互联网的一个或多个部分或这些网络中的两个或更多个的组合进行通信。这些网络中的一个或多个网络的一个或多个部分可以是有线的或无线的。作为示例，计算机系统900可以与以下网络进行通信：无线PAN(WPAN)(例如，蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如，全球移动通信系统(GSM)网络)或其他合适的无线网络或这些网络中的两个或更多个的组合。在适当的情况下，计算机系统900可以包括用于这些网络中的任何网络的任何合适的通信接口910。在适当的情况下，通信接口910可以包括一个或多个通信接口910。尽管本公开描述并示出了特定的通信接口，但是本公开涵盖任何合适的通信接口。

在特定实施例中，总线912包括将计算机系统900的组件彼此耦接的硬件、软件或两者。作为示例而非通过限制的方式，总线912可以包括：加速图形端口(AGP)或其他图形总线、增强型行业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、行业标准架构(ISA)总线、无限带宽(INFINIBAND)互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线或其他合适的总线或这些项中的两个或更多个的组合。在适当的情况下，总线912可以包括一条或多条总线912。尽管本公开描述并示出了特定的总线，但是本公开涵盖任何合适的总线或互连。

在本文中，在适当的情况下，计算机可读的非暂时性存储介质或媒介可以包括一个或多个基于半导体的或其他集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、SECURE DIGITAL卡或驱动器、任何其他合适的计算机可读非暂时性存储介质或这些项中的两个或更多个的任何合适的组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或者是易失性和非易失性的组合。

在本文中，除非另有明确说明或通过上下文另有说明，否则“或”是包含性的而非排他性的。因此，除非另有明确说明或通过上下文另有说明，否则在本文中，“A或B”意味着“A、B或两者”。此外，除非另有明确说明或通过上下文另有说明，否则“和”既是共同的也是个别的。因此，除非另有明确说明或通过上下文另有说明，否则本文中，“A和B”意味着“A和B共同地或分别地”。

本领域普通技术人员将理解的是，本公开的范围包括对本文描述或示出的示例实施例的所有改变、替换、变化、变型和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，本领域普通技术人员将理解的是，尽管本公开将本文中的各个实施例描述并示出为包括特定组件、元件、特征、功能、操作或步骤，但是这些实施例中的任何实施例可以包括本文中任何地方所描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或置换。此外，在所附权利要求中提及装置或系统或装置或系统的组件适用于、被布置为、能够、被配置为、使得能够、可操作用于或操作用于执行特定功能包括该装置、系统、组件，无论其或特定功能是否被激活、接通或解锁，只要该装置、系统或组件适用于、被布置为、能够、被配置为、使得能够、可操作用于或操作用于如此即可。另外，尽管本公开描述或示出了提供特定优点的特定实施例，但是特定实施例可以不提供这些优点，提供这些优点的部分或全部。

Claims (18)

1.一种或多种体现软件的计算机可读的非暂时性存储介质，所述软件在被执行时操作为实时地进行以下操作：

通过传感器捕获用户的多个图像；

基于从所述多个图像获得的光电容积描记图PPG数据，确定用户在一段时间期间的一个或多个心脏学信号；

基于所述心脏学信号，估计用户的第一情绪状态；

在所述多个图像中检测用户的面部；

基于从所述多个图像获得的面部动作编码系统FACS数据，确定用户在所述一段时间期间的一个或多个神经学信号；

基于所述神经学信号，估计用户的第二情绪状态；

基于所述多个图像中的所述用户的偏侧性来确定一个或多个神经解剖学信号；

将第一估计情绪状态与第二估计情绪状态进行比较；

响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的第三情绪状态；以及

基于所述神经解剖学信号和所确定的第三情绪状态之间的一致性，验证所述用户的所述第三情绪状态。

2.根据权利要求1所述的介质，其中，所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。

3.根据权利要求1所述的介质，其中，一个或多个所述神经解剖学信号是检测到的用户的身体性质。

4.根据权利要求1所述的介质，其中，所述软件还操作用于：使用基于用户的交感神经迷走神经平衡SVB的线性模型来确定一个或多个所述心脏学信号。

5.根据权利要求4所述的介质，其中，所述软件还操作用于：

使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号；以及

基于同时感测到所述SVB和心率动态，并基于确定所述SVB和心率动态与正面情绪状态一致，确定所述第三情绪状态对应于正面情绪状态。

6.根据权利要求1所述的介质，其中，所述心脏学信号和所述神经学信号的确定是同时执行的。

7.一种使用基于相机的感测来确定情绪的方法，包括实时地进行以下操作：

通过传感器捕获用户的多个图像；

基于从所述多个图像获得的光电容积描记图PPG数据，确定用户在一段时间期间的一个或多个心脏学信号；

基于所述心脏学信号，估计用户的第一情绪状态；

在所述多个图像中检测用户的面部；

基于从所述多个图像获得的面部动作编码系统FACS数据，确定用户在所述一段时间期间的一个或多个神经学信号；

基于所述神经学信号，估计用户的第二情绪状态；

基于所述多个图像中的所述用户的偏侧性来确定一个或多个神经解剖学信号；

将第一估计情绪状态与第二估计情绪状态进行比较；

响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的第三情绪状态，以及

基于所述神经解剖学信号和所确定的第三情绪状态之间的一致性，验证所述用户的所述第三情绪状态。

8.根据权利要求7所述的方法，其中，所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。

9.根据权利要求7所述的方法，其中，一个或多个所述神经解剖学信号是检测到的用户的身体性质。

10.根据权利要求7所述的方法，其中，确定一个或多个所述心脏学信号包括；使用基于用户的交感神经迷走神经平衡SVB的线性模型。

11.根据权利要求10所述的方法，还包括：

使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号；以及

基于同时感测到所述SVB和心率动态，并基于确定所述SVB和心率动态与正面情绪状态一致，确定所述第三情绪状态对应于正面情绪状态。

12.根据权利要求7所述的方法，还包括：同时执行所述心脏学信号和所述神经学信号的确定。

13.一种使用基于相机的感测来确定情绪的设备，包括：

一个或多个处理器；以及

耦接到所述一个或多个处理器的存储器，所述存储器包括可由所述一个或多个处理器执行的指令，当执行所述指令时，所述一个或多个处理器操作为实时地进行以下操作：

通过传感器捕获用户的多个图像；

基于从所述多个图像获得的光电容积描记图PPG数据，确定用户在一段时间期间的一个或多个心脏学信号；

基于所述心脏学信号，估计用户的第一情绪状态；

在所述多个图像中检测用户的面部；

基于从所述多个图像获得的面部动作编码系统FACS数据，确定用户在所述一段时间期间的一个或多个神经学信号；

基于所述神经学信号，估计用户的第二情绪状态；

将第一估计情绪状态与第二估计情绪状态进行比较；

基于所述多个图像中的所述用户的偏侧性来确定一个或多个神经解剖学信号；

响应于确定第一估计情绪状态对应于第二估计情绪状态，基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的第三情绪状态；以及

基于所述神经解剖学信号和所确定的第三情绪状态之间的一致性，验证所述用户的所述第三情绪状态。

14.根据权利要求13所述的设备，其中，所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。

15.根据权利要求13所述的设备，其中，一个或多个所述神经解剖学信号是检测到的用户的身体性质。

16.根据权利要求13所述的设备，其中，所述一个或多个处理器还操作用于：使用基于用户的交感神经迷走神经平衡SVB的线性模型来确定一个或多个所述心脏学信号。

17.根据权利要求16所述的设备，其中，所述一个或多个处理器还操作用于：

使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号；以及

基于同时感测到所述SVB和心率动态，并基于确定所述SVB和心率动态与正面情绪状态一致，确定所述第三情绪状态对应于正面情绪状态。

18.根据权利要求13所述的设备，其中，所述一个或多个处理器还操作用于：

同时执行所述心脏学信号和所述神经学信号的确定。

Images