CN108697386A - 用于检测生理状态的系统和方法 - Google Patents

Abstract

一种用于健康诊断的系统和方法，更具体地，涉及一种用于检测主体的生理状态的基于图像捕获的系统和方法。该系统提供了远程且非侵入式的途径，通过该方法以高置信度检测生理状态。该系统支持通过光学成像和相关检测系统来监测血红蛋白浓度变化。

Description

用于检测生理状态的系统和方法

技术领域

下文总体涉及健康诊断，并且更具体地，涉及用于检测生理状态的基于图像捕获的系统和方法。

背景技术

远程保健服务利用了电信和/或技术来从远处提供与医疗保健相关的服务。它不仅扩大了获得优质患者护理(特别是向农村地区和服务资源匮乏的人群提供服务)的机会，还提供了降低医疗保健成本的方法。它正在推动着医疗保健交付模式朝向更好的方向改变。据HIS称，使用远程保健服务的患者人数将在2018年从2013年的约35万人增加到至少700万人。

最常见的远程保健服务形式是医生通过视频聊天平台出诊患者。但是，如果医生想要收集患者的更多生命体征，例如心率、呼吸频率和血压，则需要各种额外的设备和培训。这些设备是侵入式的，通常很昂贵，需要在就诊之前提前购买。

各种病状的早期诊断可以改善许多患者的生活质量和寿命。其中一个病状是压力，这已成为主要的健康问题之一。临床研究人员发现，压力是导致心血管疾病、抑郁症和药物滥用等一系列疾病的主要原因。根据美国职业压力研究协会的数据，工作压力每年使美国损失超过3000亿美元，不仅包括在医疗保健方面的费用，还包括在误工、员工流动、工伤赔偿、和保险方面的支出。

目前，主要有两种方法来衡量主体的压力水平。第一种方法依赖于自我报告。研究人员开发了各种问卷来确定患者的压力水平。第二种、并且是更可靠和准确的方法是测量生理特征，例如血压、迷走神经张力或唾液皮质醇。所有这些措施都需要使用先进的设备和专业的培训。

发明内容

在一个方面，提供了一种用于从主体的捕获图像序列检测生理状态的系统，该系统包括：相机，该相机被配置为捕获主体的图像序列，该图像序列包括图像的查询集；处理单元，该处理单元被训练以确定捕获图像序列中表示主体的血红蛋白浓度(HC)变化且最大化了不同生理状态之间的信号差异的多个图像的位面(bitplane)集；分类机，该分类机使用包括具有已知生理状态的主体的HC变化的训练集进行训练，并且被配置为：基于该位面集中的HC变化来检测主体的生理状态；以及输出所检测到的生理状态。

在另一方面，提供了一种用于从主体的捕获图像序列检测生理状态的方法，该方法包括：相机捕获主体的图像序列，该图像序列包括图像的查询集；经训练的处理单元处理所捕获的图像序列以确定捕获图像序列中表示主体的血红蛋白浓度(HC)变化且最大化了不同生理状态之间的信号差异的多个图像的位面集；使用包括具有已知生理状态的主体的HC变化的训练集训练的分类机来处理该位面集以：基于该位面集中的HC变化检测主体的生理状态；以及输出所检测到的生理状态。

附图说明

本发明的特征在参考附图的下列详细描述中将变得更加清楚，其中：

图1是用于生理状态检测的透皮光学成像系统的框图；

图2示出了光从皮肤表皮和皮下层的再发射；

图3是一组表面及相应的透皮图像，示出了与特定时间点的特定人类主体的生理状态相关的血红蛋白浓度的变化；

图4是将经历积极、消极、以及中性生理状态的主体的前额的血红蛋白浓度变化示出为时间(秒)的函数的绘图；

图5是将经历积极、消极、以及中性生理状态的主体的鼻子的血红蛋白浓度变化示出为时间(秒)的函数的绘图；

图6是将经历积极、消极、以及中性生理状态的主体的面颊的血红蛋白浓度变化示出为时间(秒)的函数的绘图；

图7是示出全自动透皮光学成像和不可见生理状态检测系统的流程图；

图8是系统产生的示例性报告；

图9是用于经优化的血红蛋白图像组合的数据驱动机器学习系统的图示；

图10是用于多维生理数据模型建立的数据驱动的机器学习系统的图示；

图11是自动不可见生理状态检测系统的图示；以及

图12是存储器单元。

具体实施方式

现在将参考附图描述实施例。为说明的简单和清楚起见，在认为适当的情况下，可以在附图之间重复参考标号以指示对应的或类似的元件。此外，阐述了许多具体细节以便提供本文描述的实施例的透彻的理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实施本文描述的实施例。在其它实例中，未详细描述公知的方法、过程以及组件以免模糊本文描述的实施例。此外，本说明不应被认为限制本文描述的实施例的范围。

除非上下文另有指示，否则可以如下解读和理解本说明书通篇所使用的各个术语：如通篇使用的，“或”是包括性的，如同写成“和/或”；如通篇使用的，单数冠词和代词包括它们的复数形式，反之亦然；类似地，性别代词包括它们的对应代词，从而代词不应被理解为将本文描述的任何内容限制为由单个性别使用、实现、执行等；“示例性”应被理解为“说明性”或“举例”并且不一定相对于其它实施例是“优选”的。可以在本文陈述术语的其它定义；如通过阅读本说明书将理解的，这些其它定义可应用于那些术语的在先和后续的实例。

本文举例的执行指令的任意模块、单元、组件、服务器、计算机、终端、引擎或设备可包括计算机可读介质或以其它方式访问计算机可读介质，计算机可读介质例如是存储介质、计算机存储介质、或诸如磁盘、光盘、或磁带之类的数据存储设备(可移除的和/或不可移除的)。计算机存储介质可包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块、或其它数据)的任意方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或可用于存储期望信息并可由应用、模块或二者访问的任意其它介质。任意这类计算机存储介质可以是设备的一部分或可供设备访问或可以连接到设备。此外，除非上下文另有清楚指示，否则本文陈述的任意处理器或控制器可被实现为单个处理器或多个处理器。多个处理器可以是阵列式的或分布式的，并且可以通过一个或多个处理器来执行本文提及的任意处理功能，即使可能以单个处理器为例。本文描述的任意方法、应用或模块可以使用可由这类计算机可读介质存储或以其它方式保持并且由一个或多个处理器执行的计算机可读/可执行指令来实现。

下文总体涉及生理诊断，并且更具体地，涉及用于检测健康相关的信息(特别是在一系列图像或视频中捕获的个体的生理状态)的基于图像捕获的系统和方法。该系统提供远程且非侵入式的方法，通过该方法以高置信度检测生理状态。许多人可以出于如本文所公开的分析目的来访问数码相机并因此可以获得他们自己或其它人(例如家庭成员)的图像序列。这样的图像序列可以通过例如网络摄像头、智能手机前置或后置摄像头、平板电脑摄像头、传统数码相机等来捕获。可以将图像序列传送到计算设备以通过计算机网络、可移除介质等进行分析。

交感神经系统和副交感神经系统对压力和疼痛有反应。已经发现，个体的血流是由交感神经系统和副交感神经系统控制的，这超出绝大多数个体的意识控制。因此，可以通过监测个体的血流来容易地检测个体内在经历的压力和疼痛。内在压力和疼痛系统通过调整自主神经系统(ANS)的激活来使人类准备好处理环境中的不同情况；交感神经系统和副交感神经系统在压力和疼痛调节中起不同的作用，前者上调战斗-逃跑反应而后者用于下调应激反应。基本压力和疼痛具有不同的ANS特征。大部分面部(例如，眼睑、面颊以及下巴)中的血流主要由交感神经血管扩张神经元控制，而鼻子和耳朵中的血流主要由交感神经血管收缩神经元控制；相反，前额区域中的血流由交感神经血管扩张和副交感神经血管扩张二者进行神经支配。因此，不同的内在生理状态在面部的不同部分具有不同的空间和时间激活模式。通过从系统捕获血红蛋白数据，可以提取各个特定面部区域中的面部血红蛋白浓度(HC)变化。然后将来自个体的这些多维和动态数据阵列与下面将更详细讨论的基于规范数据的计算模型进行比较。通过这种比较，可以做出关于个体的内在生理状态的基于可靠统计的推论。由于ANS所控制的面部血红蛋白活动不易服从意识控制，因此这类活动提供了进入个体的真正最深处生理状态的良好窗口。

已经发现，可以从传统数字相机拍摄的原始图像分离出血红蛋白浓度(HC)，并将HC的时空变化与人类生理状态相关联。现在参考图2，显示了示出光从皮肤的再发射的图示。光(201)在皮肤(202)下面行进，并且在穿过不同的皮肤组织之后再发射(203)。然后可以通过光学相机捕获再发射的光(203)。影响再发射的光的主要发色团是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，已经发现，可以获得如图3所示的主要反映表皮下面的HC的图像。

系统实现了两步骤方法以生成适合于输出人类主体的生理状态属于多个生理状态中的一个生理状态的估计统计概率以及给定任意主体的视频序列时该生理状态的归一化强度量度的规则。系统可以检测的生理状态对应于系统被训练的那些生理状态。

现在参考图1，示出根据实施例的用于生理数据检测的系统。该系统包括互连的元件，包括图像处理单元(104)、图像滤波器(106)、以及图像分类机(105)。该系统还可包括相机(100)和存储设备(101)，或可以通信地链接到这样的存储设备(101)：该存储设备(101)被预加载和/或定期性地加载有从一个或多个相机(100)捕获的视频成像数据。图像分类机(105)被使用图像的训练集(102)进行训练，并且可操作来针对图像的查询集(103)执行分类，图像的查询集(103)从相机(100)所捕获的图像生成、由图像滤波器(106)处理、并存储在存储设备(102)上。

现在参考图7，显示了示出全自动透皮光学成像和生理数据检测系统的流程图。系统执行图像配准(registration)701以记录关于具有未知生理状态的主体所捕获的视频序列的输入、血红蛋白图像提取702、ROI选择703、多ROI时空血红蛋白数据提取704、生理状态模型705应用、数据映射706(用于映射变化的血红蛋白模式)、生理状态检测707、以及报告生成708。图11描绘了自动生理数据检测系统的另一此类图示。

图像处理单元获取每个所捕获的图像或视频流，并对图像执行操作以生成主体的相应的经优化的HC图像。图像处理单元分离出所获取的视频序列中的HC。在示例性实施例中，使用数字相机以每秒30帧的速度拍摄主体的面部的图像。将理解的是，可以利用替代的数字相机和照明条件来执行该处理。

通过以下处理来实现对HC的分离：分析视频序列中的位面以确定并分离出提供高信噪比(SNR)的位面集并因此优化面部表皮(或任意部分的人类表皮)之下的不同生理状态之间的信号区分。参考构成所捕获的视频序列的图像的第一训练集来确定高SNR位面，该图像的第一训练集与来自从其获得训练集的人类主体的EKG、气动呼吸、血压、激光多普勒、血氧定量计数据相耦合。EKG、气动呼吸数据、血压、血氧数据首先被用来从HC数据中提取心率、呼吸频率、血压、以及血氧数据。第二步骤包括训练机器以使用从大量人类主体的样本的经优化的“位面”图像提取的感兴趣区域(“ROI”)中的透皮HC变化的时空信号模式来建立针对特定生理状态的计算模型。

通过分析视频序列中的位面来获取心率、呼吸频率、血压、血氧指数，以确定和隔离与EKG、气动呼吸、血压和血氧机数据最佳相关的位面集。

人类大脑通过刺激经由自主神经系统(ANS，包括交感神经和副交感神经系统)来支配心脏。交感神经系统的激活导致心率增加，而副交感神经系统诸如降低心率。这两个系统之间的拉锯战的结果是，心脏不断地在加速和减速之间进行调控。心跳之间的时间间隔上的变化(HRV)反映了自主神经系统的状态。

超过四分之一世纪的临床研究表明，HRV可以成为主体的压力水平的可靠指标。当人们暴露于压力源时，副交感神经系统受到抑制并且交感神经系统被激活。激素(例如肾上腺素和去甲肾上腺素)分泌到血流中，这导致一系列生理反应，例如血管收缩、血压升高和心率变异性降低。当压力源不再存在时，身体停止产生皮质醇，交感神经系统和副交感神经系统之间的平衡得以重新建立，并且心率变异性再次增加。

在基于经验的HC隔离程序之后，确定提供最高心跳信噪比的位面组，并且提取经优化的心跳信号。通过定义两个连续心跳峰值之间的距离，计算出心跳间隔时间序列数据。完成几种数字信号转换(例如傅里叶变换)，并获得压力水平指数。通过将压力水平指数与先前生成的规范压力指数分布曲线进行比较，可以评估主体的比较压力水平。可以在任何ROI中从HC提取共同的心跳信号，系统可以利用多个ROI来加强和改进该提取的心跳信号，因为它是在所有/任何ROI中携带的冗余信息。一旦压力水平(和可选的心跳信号)被确定，便可用于输入到分类机以预测主体的整体生理状态。压力指数提供了对于主体生理状态的预测/分类有价值且不同的指示(独立于与实际导出压力指数的心跳信号或HC改变)。

为进行训练，捕获暴露于已知引起特定生理状态的刺激的测试主体的视频图像。可以宽泛地对反应进行分组(中、低、高)，或更详细地对反应进行分组(高度受压、轻微受压、高度疼痛、轻微疼痛等)。在另外的实施例中，可以捕获每个生理状态中的等级。优选地，主体受指示以不在面部表达他们的生理状态，从而所测量的生理反应是不可见生理状态并且仅被表达为HC的变化。为确保主体不在面部表情中“泄露”生理状态，可以利用表面生理表达检测程序来分析表面图像序列。如下所述，还可以使用EKG机、气动呼吸机、连续血压机、激光多普勒机、以及血氧定量计来采集EKG、气动呼吸、血压、激光多普、以及血氧数据，并且这些数据提供了额外的信息以降低来自位面分析的噪声。

手动或自动地为视频图像定义生理状态检测的ROI(例如，前额、鼻子、以及脸颊)。这些ROI是由致力于关于HC如何相关地作为生理状态的指示的领域知识的主题专家优选的。使用包括所有三个R、G、B信道的所有位面的本地图像来提取在特定生理状态(例如，受压)下每个ROI上在特定时间段(例如，10秒)内改变的信号。可以针对其它生理状态(例如，防松或中性)重复该处理。EKG和气动呼吸数据可被用来防止非生理状态系统HC信号掩盖真实的生理相关的HC信号。可以对EKG、呼吸、以及血压数据使用快速傅里叶变换(FFT)以获取EKG、呼吸、以及血压和血氧的峰值频率，然后可以使用陷波滤波器来测量具有以这些频率为中心的时间频率的ROI上的HC活动。可以使用独立分量分析(ICA)来实现相同的目标。

现在参考图9，示出了用于经优化的血红蛋白图像组合的数据驱动机器学习的图示。使用来自两个或更多个示例状态901和902的ROI的经过滤的信号，采用机器学习903来系统地标识将显著增加不同生理状态之间的信号区分的位面904以及不影响或降低不同生理状态之间的信号区分的位面。在丢弃后者之后，获得最优地区分感兴趣的生理状态的剩余位面图像905。更具体地，位面选择包括：选择RGB像素位组合，其将最大化不同生理状态之间的信号区分的信噪比(SNR)。为进一步改善SNR，可以将结果重复地反馈到机器学习903处理直到SNR达到最优渐近值。

作为确定将使不同生理状态之间的信号差异的SNR最大化(例如，使心跳信号的SNR最大化)的位面组包括校准，确定可以在提取过程期间执行一次或者可以周期性地执行，以便在整个提取过程中连续地确保最大的SNR。该频率在提取时间与所期望的信号质量之间提供了折衷。

机器学习处理涉及使用图像减法和加法来操纵位面向量(例如，8×8×8、16×16×16)以针对一部分(例如，70％、80％、90％)主体数据来最大化一段时间内不同生理状态之间的所有ROI中的信号差异，并验证剩余主体数据。以像素方式执行加法或减法。使用现有机器学习算法(长短期存储(LSTM)神经网络、或适当的替代算法)来高效地获取关于不同生理状态之间的区分在精度方面的提升、贡献最佳信息的(一个或多个)位面、以及在特征选择方面没有影响的位面的信息。长短期存储(LSTM)神经网络允许我们执行组特征选择和分类。下面更详细地讨论LSTM机器学习算法。通过该处理，获取将被从图像序列分离出以反映HC中的时间变化的位面集。图像滤波器被配置为在下述后续步骤中分离出所标识的位面。

图像分类机105(先前已经利用使用上面的方法捕获的图像的训练集来训练)将所捕获的图像分类为与生理状态相对应。在第二步骤中，使用从上面提供的经优化位面图像导出的主体生理数据的新训练集，再次采用机器学习来建立感兴趣的生理状态(例如，心脏病发作的高风险与低风险)的计算模型。现在参考图10，示出了用于多维不可见生理状态模型建立的数据驱动的机器学习的图示。为创建这样的模型，征募第二组训练主体(优选地，具有不同皮肤类型的新的多种族训练主体组)，并在他们暴露于引起已知生理反应的刺激时获取图像序列1001。示例性刺激集是已常被用来诱发(induce)生理状态的国际情绪图片系统(International Affective Picture System)以及其它良好建立的生理状态诱发范例。对图像序列1001应用图像滤波器以生成高HC SNR图像序列。刺激还可包括非视觉方面，例如，听觉、味觉、嗅觉、触觉、或其它感觉刺激、或其组合。

使用从位面滤波图像1002导出的主体生理数据1003的该新训练集，再次使用机器学习来建立感兴趣的生理状态(例如，心脏病发作的高风险与低风险)的计算模型1003。注意，用于标识最优地区分感兴趣的生理状态的剩余位面滤波图像的感兴趣的生理状态、与用于建立感兴趣的生理状态的计算模型的状态必须是相同的。对于不同的感兴趣的生理状态，必须在后者开始之前重复前者。

机器学习处理同样涉及一部分主体数据(例如，70％、80％、90％的主体数据)并使用剩余的主体数据来验证模型。该第二机器学习处理因此产生所训练的生理状态的单独的多维(空间和时间)计算模型1004。

为建立不同的生理模型，当主体正在观察特定生理状态诱发刺激时，每个主体的面部图像的每个像素上的面部HC变化数据被(从步骤1)作为时间的函数提取。为提高SNR，根据前面提到的多个ROI的不同底层ANS调节机制来将主体的面部划分为多个ROI，并且平均每个ROI中的数据。

现在参考图4，显示了示出主体前额的血红蛋白分布差异的绘图。虽然人类和基于计算机的面部表情检测系统均不可检测任何面部表情差异，但透皮图像示出了积极401、消极402以及中性403条件之间的血红蛋白分布的显著差异。在图5和图6中分别可以看出主体的鼻子和面颊的血红蛋白分布的差异。

同样可以使用长短期存储(LSTM)神经网络、或诸如非线性支持向量机之类的适当的替代、以及深度学习来评估跨主体的血红蛋白变化的通用时空模式的存在。在来自主体1的一部分(例如，70％、80％、90％)的透皮数据上训练长短期存储(LSTM)神经网络机或替代物以获取针对三个不可见生理分类中的每个不可见生理分类的多维计算模型。然后在来自剩余训练主体的数据上测试这些模型。

遵循这些步骤，现在可能获取任意主体的视频序列并将从所选位面提取的HC应用于感兴趣的生理状态的计算模型。输出将是：(1)主体的生理状态属于所训练的生理状态中的一个生理状态的估计统计概率，以及(2)这样的生理状态的归一化强度量度。对于长的运行视频流，当生理状态变化并且强度波动时，可以报告依赖于基于移动时间窗口(例如，10秒)的HC数据的概率估计和强度得分随时间的变化。将理解的是，分类的置信水平可以小于100％。

在另外的实施例中，可以使用以腕表、腕带、手带、衣服、鞋类、眼镜或方向盘的形式指向或直接附着于任意身体部分(例如，腕或前额)的皮肤的光学传感器。系统还可以从这些身体区域提取与生理状态相关联的动态血红蛋白变化，同时移除心跳伪影以及诸如运动和热干扰之类的其它伪影。

在另外的实施例中，系统可被安装在与人类进行交互的机器人及其变体(例如，人形机器人、类人机器人)中，以使得机器人能够检测正在与机器人进行交互的人类的面部或其它身体部分的血红蛋白变化。因此，配备有透皮光学成像能力的机器人读取人类的不可见生理状态和其它血红蛋白变化相关活动以增强人机交互。

现在将更详细地描述针对以下操作的两个示例实现方式：(1)获取关于生理状态之间的区分在精度方面的改进的信息，(2)标识贡献最佳信息的位面以及在特征选择方面没有影响的位面，以及(3)评估跨主体的血红蛋白变化的通用时空模式的存在。这样的实现方式的一个示例是递归神经网络。

一种递归神经网络被称为长短期存储(LSTM)神经网络，该LSTM神经网络是指定用于序列数据分析和预测的一类神经网络模型。LSTM神经网络包括至少三层单元。第一层为输入层，接受输入数据。第二层(以及可能的额外层)为隐藏层，包括存储单元(见图12)。最后一层为输出层，该输出层使用逻辑回归来基于隐藏层生成输出值。

如所示出的，每个存储单元包括四个主要元素：输入门、具有自递归连接(到它自身的连接)的神经元、遗忘门以及输出门。自递归连接具有1.0的权重并确保(除任何外部干扰以外)存储单元的状态从一个时间步骤到另一时间步骤可以保持不变。这些门用于调制存储单元自身与其环境之间的交互。输入门准许或防止传入信号更改存储单元的状态。另一方面，输出门可以准许或防止存储单元的状态影响其它神经元。最后，遗忘门可以调制存储单元的自递归连接，准许该单元按需记住或遗忘其之前的状态。

下面的等式描述了如何在每个时间步骤t对存储单元层进行更新。在这些等式中：x_t为时刻t时到存储单元层的输入阵列。在本申请中，这是所有ROI处的血流信号：

W_i、W_f、W_c、W_o、U_i、U_f、U_c、U_o以及V_o为权重矩阵；并且b_i、b_f、b_c以及b_o为偏差向量。

首先，我们计算在时刻t时输入门i_t和存储单元的状态的候选值的值：

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

然后，我们计算在时刻t时存储单元的遗忘门的激活f_t的值：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

给定输入门激活i_t、遗忘门激活f_t以及候选状态值的值，我们可以计算在时刻t时存储单元的新状态C_t：

利用存储单元的新状态，我们可以计算它们的输出门的值并随后计算它们的输出：

o_t＝σ(W_ox_t+U_oh_t-1+V_oC_t+b_o)

h_t＝o_t*tanh(C_t)

基于存储单元的模型，对于在每个时间步骤的血流分布，我们可以计算来自存储单元的输出。因此，根据输入序列x₀、x₁、x₂、……、x_n，LSTM层中的存储单元将产生表征序列h₀、h₁、h₂、……、h_n。

目标是将序列分类到不同的条件。逻辑回归输出层基于来自LSTM隐藏层的表征序列生成每个条件的概率。可以如下计算在时间步骤t的概率向量：

p_t＝softmax(W_outputh_t+b_output)

其中，W_output为从隐藏层到输出层的权重矩阵，并且b_output为输出层的偏差向量。具有最大累计概率的条件将是该序列的预测条件。

也可以使用其它机器训练方法，例如深度学习。

现在参考图8，显示了示出用于检测人类生理状态的系统的输出的示例性报告。该系统可以将唯一客户编号801归属于给定主体的名字802和性别803。利用给定概率805来标识生理状态804。标识生理状态强度等级806，以及生理状态强度指数得分807。在实施例中，报告可以包括随时间811将被示作主体808基于给定ROI 809所感受的生理状态与模型数据810进行比较的曲线图。

虽然上述实施例涉及检测压力，但是本领域技术人员将理解，可以使用相同的方法来检测其它生理状态。例如，该方法可用于检测主体中疼痛的存在或不存在。由于疼痛状态和无疼痛状态分别主要激活交感神经和副交感神经系统，可以通过分析主体面部的空间和时间HC变化来将它们区分开。针对疼痛/无疼痛区分而确定最佳位面，使用机器学习方法建立疼痛/无疼痛计算模型，并且该模型用于估计主体经历/没有经历疼痛的统计概率。

上述系统和方法可以应用于多个领域，包括个人生理数据捕获。在一个实施例中，人可以使用传统的数码相机(例如网络相机、内置于智能手机中的相机等)捕获他们自己的一组或多组图像。然后可以使用具有从训练构建的生理数据模型的计算设备来分析图像集。这可以在本地或通过向另一计算设备发送所捕获的图像集而远程地完成(例如在基于视频的远程保健会话期间)。

该方法还可用于检测通常难以在视觉上发现的皮肤病变。从痤疮和丘疹到基底细胞癌和鳞状细胞癌的多种皮肤病变可导致局部血红蛋白/黑色素浓度异常，并且可在很早的阶段从透皮结构图像中检测到。

此外，可以通过上述方法尽早检测到一些疾病。这可用于在边缘和其它检查点处对传染症状进行筛查。

在实施例中，该系统可用于确定不能说话和/或身患肌肉残疾的主体的压力或疼痛状态。

在其它实施例中，该系统可用于在压力事件期间量化主体的压力水平，以确定特定主体对特定位置、角色等有多适应。

该系统可用于标识员工在运输或军事环境中所感受的压力、疼痛以及疲劳程度。例如，疲劳的驾驶员、飞行员、队长、士兵等可被标识为过于疲劳而不能有效地继续轮班工作。除了可能由运输行业制定的安全改进之外，还可以导出通知调度的分析。

在又一方面，该系统可以由寻求降低与贸易实务或贷款有关的风险的金融机构来使用。该系统可以提供对交易者所感受的压力水平的洞察，为风险交易提供制衡。

该系统可以由试图评估用户对于特定词汇、短语、销售策略等的反应电话销售员使用，这些反应可能告知最佳销售方法以激发品牌忠诚度或完成销售。

在另外的实施例中，该系统可被用作情感神经科学中的工具。例如，该系统可以与MRI或NIRS或EEG系统相耦合以不仅测量与主体的压力和/或疼痛相关联的神经活动，还测量透皮血流变化。所采集的血流数据可用于提供关于主体的压力和/或疼痛状态的额外的和验证信息，或用于分离皮质中枢神经系统所生成的生理信号以及自主神经系统所生成的那些生理信号。例如，可以解决皮肤血红蛋白变化经常与头皮血红蛋白变化混合的功能近红外光谱学(fNIRS)研究中的脸红和脑部问题。

在另外的实施例中，该系统可以检测除了视觉之外的声音(例如，音乐、哭泣等)所引起的生理状况。还可以检测由包括嗅觉、气味、味觉以及前庭感觉的其它感觉所引起的生理状况。

其它应用可以变得明显。

虽然已经参考某些具体的实施例描述了本发明，但在不脱离如所附权利要求所概述的本发明的精神和范围的情况下，其中的各种修改对于本领域技术人员将是明显的。上述所有参考文献的全部公开内容通过引用结合于此。

Claims (20)

1.一种用于从主体的捕获图像序列检测生理状态的系统，该系统包括：

相机，该相机被配置为捕获所述主体的图像序列，所述图像序列包括图像的查询集；

处理单元，该处理单元被训练以确定所捕获的图像序列中表示所述主体的血红蛋白浓度HC变化且最大化了不同生理状态之间的信号差异的多个图像的位面集；

分类机，该分类机使用包括具有已知生理状态的主体的HC变化的训练集进行训练，并且被配置为：

基于所述位面集中的HC变化来检测所述主体的生理状态；以及

输出所检测到的生理状态。

2.根据权利要求1所述的系统，其中，确定最大化了不同生理状态之间的差异的所述位面集包括：使用机器学习技术来选择最大化了心跳信噪比的RGB像素位组合。

3.根据权利要求1所述的系统，其中，针对所述主体的与作为生理状态的指示相关的选定多个感兴趣区域ROI而确定表示HC变化的所述位面集。

4.根据权利要求3所述的系统，其中，所述处理单元还被配置为：从一个或多个ROI的HC变化提取主体的心跳信号，处理所述心跳信号以确定所述主体的心跳间隔时间序列数据，对所述心跳间隔时间序列数据执行傅立叶变换以获得压力水平指数，将所述压力水平指数与预定的标准压力指数分布曲线进行比较以确定所述主体的比较应力水平，以及将所述主体的比较应力水平提供给所述分类机用于检测所述主体的生理状态。

5.根据权利要求1所述的系统，其中，基于HC变化检测所述主体的生理状态包括：计算所述主体的生理状态符合来自所述训练集的已知生理状态的估计统计概率，以及计算这样确定的生理状态的标准化强度测量。

6.根据权利要求5所述的系统，其中，输出所述主体的生理状态包括：基于所计算的统计概率和标准化强度测量将每个所检测到的生理状态分组到多个分组中的一个分组。

7.根据权利要求1所述的系统，其中，所述生理状态包括压力水平、疼痛水平或疲劳水平。

8.根据权利要求1所述的系统，其中，所述相机包括直接附接到所述主体的皮肤的光学传感器，并且所述处理单元还被配置为将由于运动和热造成的伪像从所捕获的图像序中移除。

9.根据权利要求1所述的系统，其中，所述处理单元还被配置为处理所捕获的图像序列以检测难以在视觉上发现的皮肤损伤。

10.根据权利要求1所述的系统，还包括用于捕获第二图像序列的磁共振成像单元、近红外光谱成像单元或脑电图成像单元中的一者，并且所述处理单元还被配置为从所述第二图像序列确定所述主体的透皮血流变化。

11.一种用于从主体的捕获图像序列检测生理状态的方法，该方法包括：

相机捕获所述主体的图像序列，所述图像序列包括图像的查询集；

经训练的处理单元处理所捕获的图像序列以确定所述捕获图像序列中表示所述主体的血红蛋白浓度HC变化且最大化了不同生理状态之间的信号差异的多个图像的位面集；

使用包括具有已知生理状态的主体的HC变化的训练集训练的分类机来处理所述位面集以：

基于所述位面集中的HC变化检测所述主体的生理状态；以及

输出所检测到的生理状态。

12.根据权利要求10所述的方法，其中，确定最大化了不同生理状态之间的差异的所述位面集包括使用机器学习技术来选择最大化了心跳信噪比的RGB像素位组合。

13.根据权利要求10所述的方法，其中，针对所述主体的与作为生理状态的指示相关的选定多个感兴趣区域ROI而确定表示HC变化的所述位面集。

14.如权利要求13所述的方法，还包括：由所述处理单元从一个或多个ROI的HC变化提取主体的心跳信号，处理所述心跳信号以确定所述主体的心跳间隔时间序列数据，对所述心跳间隔时间序列数据执行傅立叶变换以获得压力水平指数，将所述压力水平指数与预定的标准压力指数分布曲线进行比较以进一步确定所述主体的比较应力水平，以及将所述主体的比较应力水平提供给所述分类机用于检测所述主体的生理状态。

15.根据权利要求10所述的方法，其中，基于HC变化检测所述主体的生理状态包括：计算所述主体的生理状态符合来自所述训练集的已知生理状态的估计统计概率，以及计算这样确定的生理状态的标准化强度测量。

16.根据权利要求15所述的方法，其中，输出所述主体的生理状态包括基于所计算的统计概率和标准化强度测量将每个所检测到的生理状态分组到多个分组中的一个分组。

17.根据权利要求10所述的方法，其中，所述生理状态包括压力水平、疼痛水平或疲劳水平。

18.根据权利要求10所述的方法，其中，所述相机包括直接附接到所述主体的皮肤的光学传感器，并且所述方法还包括将由于运动和热造成的伪像从所捕获的图像序中移除。

19.根据权利要求10所述的方法，还包括处理所捕获的图像序列以检测难以在视觉上发现的皮肤损伤。

20.根据权利要求10所述的方法，还包括磁共振成像单元、近红外光谱成像单元或脑电图成像单元中的一者捕获第二图像序列，以及处理所述第二图像序列以从所述第二个图像序列确定所述主体的透皮血流变化。