CN108451496B - 检测脑心连通性的信息的方法及其系统 - Google Patents

Abstract

本发明提供一种检测脑心连通性的信息的方法及其系统，所述方法包括：从对象获得瞳孔和心电图(ECG)信号的活动图像；通过在所述ECG信号的R峰值之后的预定时间范围分隔所述活动图像而从所述活动图像获取瞳孔大小变化(PSV)；从所述PSV中提取第一周期和第二周期的信号；分别在预定频率下计算所述第一周期和所述第二周期的所述信号的α功率。

Description

检测脑心连通性的信息的方法及其系统

相关申请的交叉引用

本申请请求在韩国知识产权局于2017年2月17日提交的第10-2017-0021520号韩国专利申请和于2017年11月7日提交的第10-2017-0147608号韩国专利申请的权益，所述韩国专利申请的公开内容以全文引用的方式并入本文中。

技术领域

一或多个实施例涉及通过使用瞳孔反应检测生理信息的方法以及使用所述方法的系统，且更明确地说，涉及从瞳孔大小变化检测脑心连通性的参数的方法以及使用所述方法的系统。

背景技术

在生命信号监测(vital signal monitoring，VSM)中，可通过附接到人体的传感器获取生理信息。此类生理信息包含心电图(electrocardiogram，ECG)、光电容积描记(photo-plethysmograph，PPG)、血压(blood pressure，BP)、皮肤电反应(galvanic skinresponse，GSR)、皮肤温度(skin temperature，SKT)、呼吸(respiration，RSP)以及脑电图(electroencephalogram，EEG)。

心脏和大脑是人体的两个主要器官，且对其进行分析能够评估人类行为并获得可以用于对事件作出响应和用于医学诊断的信息。VSM可适用于各种领域，例如普遍医疗保健(ubiquitous healthcare，U保健)、情感信息和沟通技术(emotional information andcommunication technology，e-ICT)、人因和人体工程学(human factor and ergonomics，HF&E)、人机交互(human computer interface，HCI)以及安全系统。

就ECG和EEG来说，使用附接到人体的传感器来测量生理信号，且因此可能引起患者的不便。即，当使用传感器来测量此类信号时，人体经受相当大的压力和不便。另外，由于附接的传感器硬件，在使用附接传感器的成本和对象的运动方面存在负担和限制。

因此，在通过使用非接触、无创和非强迫性方法同时提供自由运动而以低成本测量生理信号的过程中，需要VSM技术。

近来，考虑到便携式测量设备的开发，已将VSM技术并入到无线穿戴式装置中。这些便携式装置可以通过使用嵌入到例如手表、手镯或眼镜等配饰中的VSM来测量心率(heart rate，HR)和RSP。

预测穿戴式装置技术不久将从便携式装置发展为“可附接”装置。还预测了可附接装置将转变为“可食用”装置。

已经开发出VSM技术，从而通过使用提供自由运动的非接触、无创和非强迫性方法来以低成本测量生理信号。虽然VSM将在技术方面继续进步，但还需要开发基于视觉的创新VSM技术。

发明内容

一或多个实施例包含用于通过无创和非阻塞性方法以低成本推断和检测人类生命体征的系统和方法。

详细地说，一或多个实施例包含通过使用瞳孔节律或瞳孔变化来检测脑心连通性的参数的系统和方法。

额外方面将部分地在以下描述中得到阐述，并且将部分地根据所述描述显而易见，或者可以通过对所提出的实施例的实践而获悉。

根据一或多个示范性实施例，提供了一种检测脑心连通性的信息的方法，所述方法包括：从对象获得瞳孔和心电图(ECG)信号的活动图像；通过基于在所述ECG信号的R峰值之后的预定时间范围分隔活动图像而从所述活动图像获取瞳孔大小变化(pupil sizevariation，PSV)；从所述PSV中提取第一周期和第二周期的信号；分别在预定频率下计算所述第一周期和所述第二周期的信号的α功率。

根据一或多个示范性实施例，所述方法进一步包括：将所述获取重复预定次数以获得多个PSV；以及基于总平均技术将所述多个PSV集成为PSV。

根据一或多个示范性实施例，所述预定时间范围介于56ms到600ms之间。

根据一或多个示范性实施例，所述第一周期的范围在所述R峰值之后介于56ms到248ms之间。

根据一或多个示范性实施例，所述第二周期的范围在所述R峰值之后介于248ms到600ms之间。

根据一或多个示范性实施例，所述第一周期的α功率的频率为10Hz，且所述第二周期的α功率的频率为9Hz或11Hz。

根据一或多个示范性实施例，所述第一周期的范围在所述R峰值之后介于56ms到248ms之间，且所述第二周期的范围在所述R峰值之后介于248ms到600ms之间。

根据一或多个示范性实施例，所述第一周期的α功率的频率为10Hz，且所述第二周期的α功率的频率为9Hz或11Hz。

根据一或多个示范性实施例，根据α功率的相应频率的功率与范围为0Hz到62.5Hz的总频率的总功率的比率获得所述α功率中的每一个。

根据一或多个示范性实施例，采用所述检测脑心连通性的信息的方法的系统包括：视频捕获单元，其配置成捕获对象的活动图像；以及包含分析工具的基于计算机架构的分析单元，其配置成处理、分析所述活动图像，并计算第一周期和第二周期的信号的α功率。

附图说明

通过结合附图对实施例进行的以下描述，这些和/或其它方面将变得显而易见并且更加容易了解，在所述附图中：

图1显示根据一或多个实施例的选择用于示范性检验的声音刺激代表的程序。

图2显示根据一或多个实施例的用于测量上半身运动量的实验程序。

图3为根据一或多个实施例的用于解释实验程序的框图。

图4显示根据一或多个实施例的用于检测瞳孔区的程序。

图5示意性地解释根据一或多个实施例的脑心连通性的理论。

图6显示根据一或多个实施例的心跳诱发脑电位(heartbeat evoked potential，HEP)波形信号的提取过程。

图7A至图7B中显示用于基于瞳孔反应和EEG/ECG信号中的每一个来处理HEP波形信号的详细程序。

图8显示上半身运动量的平均值。

图9显示根据一或多个实施例的用于检测来自瞳孔反应和EEG信号的HEP指数的实验程序。

图10A和图10B显示根据一或多个实施例的在静止不动情况(movelessnesscondition，MNC)下的第一HEP指数和第二HEP指数的比较例。

图11显示根据一或多个实施例的真实数据的第一HEP指数和第二HEP指数(MNC)中的相关性和误差的比较结果。

图12A和图12B显示根据一或多个实施例的从所检验对象的瞳孔反应信号(PSV)和传感器信号(EEG)提取HEP指数的实例。

图13显示根据一或多个实施例的处于MNC的真实数据的结果的比较。

图14显示根据一或多个实施例的用于捕获瞳孔图像的红外网络摄像头系统。

图15显示根据一或多个实施例的实时系统的界面截屏。

附图标号说明

S11、S12、S13、S14、S31、S32、S33：步骤。

具体实施方式

现将对实施例进行详细参考，所述实施例的实例在附图中说明，其中在全文中相同参考标号指代相同元件。就此而言，本实施例可以具有不同形式并且不应被解释为限于本文中所阐述的描述。因此，所述实施例仅通过参考附图在下文中进行描述以解释本说明书的各方面。

在下文中，参考附图描述一种根据本发明概念用于推断和检测生理信号的方法和系统。

然而，本发明可以以许多不同的形式得到实施，并且不应被解释为限于本文中所阐述的实施例；相反地，提供这些实施例是为了使本公开将是透彻且完整的，并且这些实施例将把本发明的概念完整地传达给所属领域的技术人员。在附图中，类似参考标号表示类似元件。在附图中，示意性地说明元件和区域。因此，本发明的概念并不受到附图中所显示的相对大小或距离的限制。

本文所使用的术语仅用于描述特定实施例的目的，且并不希望限制本发明。如本文所使用，单数形式“一”和“所述”希望还包括复数形式，除非上下文另外清楚指示。将进一步理解，术语“包括(comprises和/或comprising)”或“包含(includes和/或including)”在用于本说明书时规定所陈述特征、数目、步骤、操作、元件和/或组件的存在，但并不排除一或多个其它特征、数目、步骤、操作、元件、组件和/或其群组的存在或添加。

除非另有定义，否则本文中所使用的所有术语(包括技术术语和科学术语)具有本发明所属领域的技术人员的通常所理解的相同含义。将进一步理解，术语(如在常用词典中所定义的那些术语)应解释为具有与其在相关技术和/或本申请的上下文中的含义一致的含义，且除非本文中明确地定义，否则将不会以过度正式的意义进行解释。

下文所描述的实施例涉及处理来自从视频信息获得的瞳孔反应的大脑频率信息。

可以通过下文所描述的实施例充分地理解本发明，本发明涉及通过使用视觉系统从瞳孔反应提取大脑频率信息而不会对对象造成任何身体约束或生理压力，所述视觉系统配备有例如网络摄像头的摄像机。尤其，瞳孔反应是从所述图像信息检测，且脑心连通性的信息是从瞳孔反应提取。

在本发明的实验中，将从经由活动图像获取的瞳孔大小变化(PSV)中提取的脑心连通性的参数的可靠性与通过EEG传感器获得的真实数据信号进行比较。

已通过视频设备和基于计算机架构的分析系统来进行本发明的实验，所述基于计算机架构的分析系统用于处理和分析活动图像且包含由软件提供的分析工具。

实验刺激

为了引起生理状态的变化，此实验使用基于拉塞尔的cir复合模型(拉塞尔，1980)的声音刺激。声音刺激包含多个因素，包含唤醒声音、放松声音、积极声音、消极声音以及中性声音。中性声音由缺少声刺激定义。用于选择声音刺激的步骤显示于图1中且如下所列：

(S11)从例如广告、戏剧以及电影等广播媒体收集九百个声源。

(S12)接着将声源分类成四个群组(即唤醒、放松、积极以及消极)。每个群组由基于对总共40种声音刺激的专题小组讨论的10个常选择的项组成。

(S13)这些刺激用以基于从平均分成75个男性和75个女性的150个对象采集的数据进行对于各种情绪(即，A：唤醒，R：放松，P：积极以及N：消极)的适合性的调查。平均年龄为27.36岁±1.66岁。要求主观评估以选择所述四种因素的各项，这可引起一或多个所述项的重复。

(S14)执行对拟合优度(goodness-of-fit)的卡方检验(chi-square test)来确定每种情绪声音是否是同等优选的。对各种情绪声音的偏好同等地分布于群体中(唤醒：6项，放松：6项，积极：8项以及消极：4项)，如表1中所示。

表1展示对拟合优度的卡方检验结果，其中针对各种情绪选择的项是基于观测值与期望值的比较。

<表1>

通过使用基于指示强烈反对的1到指示强烈赞成的7的七分量表(seven-pointscale)来重新调查150个对象的每种情绪与声音刺激的关系。

基于最大方差(正交)旋转法使用主分量分析(Principal Component Analysis，PCA)来分析与每种情绪相关的有效声音。所述分析产生了说明整个变量集合的方差的四个因素。根据分析结果，得到每种情绪的代表性声音刺激，如表2中所示。

在表2中，粗体为相同因素，模糊字符为公因子方差<0.5，且背景中带有阴影的粗浅灰色文字表示每种情绪的代表性声刺激。

<表2>

实验程序

七十名两种性别的大学生志愿者参与了这个实验，所述七十名大学生志愿者平均分成男性和女性，年龄范围为20岁到30岁，平均24.52岁±0.64岁。所有对象具有正常视力或矫正到正常的视力(即0.8以上)，且没有涉及视觉功能、心血管系统或中枢神经系统的疾病的家族史或病史。在研究之前从每个对象获得书面知情同意书。这个实验研究得到韩国首尔祥明大学的机构审查委员会批准(2015-8-1)。

所述实验由两个试验组成，其中各个试验进行5分钟的时间。第一个试验1是基于静止不动情况(MNC)，其涉及不移动或不说话。第二个试验2是基于自然运动情况(naturalmovement condition，NMC)，其涉及简单对话和轻微动作。对参与者反复地进行所述两个试验，且在所述对象中，顺序是随机的。为了验证所述两种情况之间的运动差异，这个实验在实验期间通过使用每个对象的网络摄像头图像定量地测量运动量。在本发明中，活动图像可包含至少一个瞳孔，即，一个瞳孔的图像或两个瞳孔的图像。

通过使用罗技科技公司(Logitech Inc.)的HD Pro C920相机在1920×1080的分辨率下以30帧每秒(frames per second，fps)记录所述图像。基于MPEG-4(泰卡尔普(Tekalp)和奥斯特曼(Ostermann)，2000；简德扎克(JPandzic)和福希海默(Forchheimer)，2002)测量上半身和面部的运动。基于帧差异从整个图像中提取上半身的运动。因为背景静止，所以未追踪上半身线条。

通过使用面容技术公司(Visage Technologies Inc.)的面容SDK 7.4(visageSDK 7.4)软件，基于帧差异从84个MPEG-4动画点提取面部的运动。所有运动数据使用来自实验期间的各个对象的平均值且与两个试验之间的运动的差异相比较，如图2中所显示。

图2显示在脸部位于X轴与Y轴的交叉点的状态下测量对象的上半身的运动量的实例。

在图2中，(A)为上半身图像，(B)为在84个MPEG-4动画点处追踪的面部图像，(C)和(D)显示帧前与帧后之间的差异，(E)为来自上半身的运动信号，以及(F)显示来自84个MPEG-4动画点的运动信号。

为了引起生理状态的变化，在试验期间向参与者提供声音刺激。在5分钟的试验期间，将每种声音刺激随机地提供1分钟，总共五种刺激。在开始任务之前提供参考刺激，持续3分钟。详细实验程序显示于图3中。

实验程序包含传感器附接S31、测量任务S32和传感器移除S33，如图3中所显示，且测量任务S32如下进行。

在由阳光从窗户进入而引起的照度变化的情况下，在室内进行实验。参与者坐在舒适的椅子上盯着相距1.5米的黑色墙壁。在两个试验中通过使用耳机同样地提供声音刺激。要求对象在静止不动试验(MNC)期间停止其动作和说话。然而，自然运动试验(NMC)涉及对象的简单对话和轻微动作。要求对象向另一人介绍自己作为用于声音刺激的对话的一部分，由此涉及声音刺激的感觉和思维。在实验期间，获得EEG、ECG信号及瞳孔图像数据。

基于国际10-20系统(接地：FAz，参考：两耳上的电极之间的平均值，以及DC电平：0Hz到150Hz)以500Hz的采样率记录来自十九个通道(FP1、FP2、F3、Fz、F4、F7、F8、C3、Cz、C4、T7(T3)、T8(T4)、P7(T5)、P8(T6)、P3、Pz、P4、O1以及O2区)的EEG信号。电极阻抗保持在3kΩ以下。在500Hz的采样率下使用Mitsar-EEG 202机器记录EEG信号。

以500Hz取样速率，经由一个通道，利用导入法，通过包含来自BIOPAC System公司的ECG 100C放大器和MP100电力供应器的放大器系统来采样并记录ECG信号。通过国家仪器公司(National Instrument Inc.)的NI-DAQ-Pad 9205将ECG信号数字化。

通过灰点研究公司(Point Grey Research Inc.)的GS3-U3-23S6M-C红外相机在960×400的分辨率下以125印s记录瞳孔图像。

在下文中，将描述一种用于从瞳孔反应提取或构建(恢复)生命征象的方法。

提取瞳孔反应

瞳孔检测程序使用如图12中所显示的红外摄像机系统获取活动图像，且接着需要进行特定图像处理程序。

由于使用红外摄像机捕获图像，因此所述瞳孔检测程序需要以下特定图像处理步骤，如图4中所显示。

图4显示从对象的面部图像中检测瞳孔区的过程。在图4中，(A)展示从对象获得的输入图像(灰度阶)，(B)展示基于自动阈值的二值化图像，(C)通过圆形边缘检测展示瞳孔位置，以及(D)展示瞳孔区的实时检测结果，包含关于中心坐标和瞳孔区的直径的信息。所述阈值由使用整个图像的亮度值的线性回归模型定义，如中方程式1所展示

<方程式1>

阀值＝(-0.418×B_mean+1.051×B_max)+7.973

B＝亮度值

确定瞳孔位置的下一步骤涉及通过使用圆形边缘检测算法处理二值图像，如方程式2中所展示(道格曼(Daugman)，2004；李(Lee)等人，2009)。

<方程式2>

I(x，y)＝(x，y)位置处的灰度级

(x₀，y₀)＝瞳孔的中心位置

r＝瞳孔的半径

如果选择多个瞳孔位置，则使用由红外灯产生的反射光。接着，获得包含质心坐标(x，y)和直径的精确瞳孔位置。

在1Hz到30Hz的频率范围下重采样瞳孔直径数据(信号)，如方程式3中所展示。瞳孔直径数据的重采样程序涉及30个数据点的采样率，所述重采样程序接着在1秒间隔期间通过使用共同滑动运动平均技术(即1秒的窗口大小和1秒的分辨率)计算平均值。然而，重采样程序不涉及由于闭眼而产生的非追踪瞳孔直径数据。

<方程式3>

SMA＝滑动运动平均值

P＝瞳孔直径

检测心跳诱发脑电位指数

现在描述心跳诱发脑电位(HEP)指数的检测。HEP包含从瞳孔反应提取或确定的HEP的第一分量和第二分量的α活动。HEP是一种与由心律和血流引起的大脑α活动的变化有关的现象(桑德瑞(Schandry)和蒙托亚(Montoya)，1996；帕克(Park)等人，2014；帕克(Park)等人，2015)。

人体的主要器官(例如心脏)具有被称为迷走神经的内脏神经元，所述迷走神经经由内脏传入路径将来自心脏的心脏信息传输到大脑。(蒙托亚等人，1993；帕克等人，2014；帕克等人，2015)。将心脏中的传入信息在孤束核处集成，并接着传输到中脑区域，例如下丘脑、丘脑以及扁桃体(健尼(Janig)，1996；帕克等人，2014；帕克等人，2015)。中脑区域与新大脑皮质连通，具体地说，与大脑前额叶区域连通(富斯特(Fuster)，1980；诺塔(Nauta)和法伊尔塔格(Feirtag)，1986；倪汉克(Nieuwenhuys)等人，2007；帕克等人，2015)。这种现象与认知功能、人为表现、情感状态密切相关(劳(Rau)等人，1993；汉森(Hansen)等人，2003；麦卡锡(McCraty)等人，2009；帕克等人，2015)。

图5示意性地解释脑心连通性的理论。如图5中所显示，通过传入和传出路径的神经循环，将心跳诱发脑电位集中于心脏中的迷走神经上。其中，皮质：认知功能、表现；丘脑：同步皮质活动；扁桃体(AG)：情绪记忆；髓质(MD)：压力和ANS调节；V(x)：中枢神经，X迷走神经；HVN：心脏迷走神经；HEP：心跳诱发脑电位。

HEP分成两个周期。第一HEP周期是将来自心脏的心脏传入信息传输到大脑所需的平均时间间隔，且在R峰值之后为50ms到250ms。为了增加平均10Hz下的α功率，增加心脏与大脑之间的连通的激活。HEP的第二周期反映将心血压力波从心脏传输到大脑所需的时间间隔，且在R峰值之后为250ms到600ms。为了增加9Hz及12Hz下的α功率，平均较高认知处理是基于感觉输入发生的。这种现象与前额皮质(例如FP1及FP2)中的大脑α节律相关(沃尔克

等人，1989；麦卡锡等人，2009；帕克等人，2015)。基于R峰值，通过所有试验信号的总平均技术提取HEP波形。通过使用第一周期和第二周期的每个分量的FFT分析，获得对α功率的定量，如图6中所显示(沃尔克等人，1989；麦卡锡等人，2009；帕克等人，2015)。

图6显示从瞳孔反应提取包含HEP的第一分量和第二分量的HEP波形信号的进程。通过使用瞳孔直径的帧差，根据PSV计算125fps下的瞳孔直径的信号，如方程式(4)中所展示。

<方程式4>

PSV＝瞳孔大小变化

P＝瞳孔直径

基于来自在R峰值之后处于56ms到600ms的范围中的ECG信号的R峰值信号，分离PSV数据。这个步骤经由100次试验重复。通过使用总平均技术，将所有试验信号集成为一种信号(PSV数据)(帕克等人，2015)。这个信号分成由在R峰值之后的56ms到248ms的时间帧表示的第一周期和由在R峰值之后的256ms到600ms的时间帧表示的第二周期。使用FFT分析来处理每个周期，如方程式(5)中所展示。

<方程式5>

根据α功率与范围为0Hz到62.5Hz的总频带的总功率的比率计算第一周期的α功率(即10Hz)和第二周期的α功率(即9Hz和11Hz)，如方程式(6)中所展示。

FAP＝HEP第一周期的功率

SAP＝HEP第一二期的功率

基于R峰值位置，从R峰值之后的50ms到600ms的特定范围中提取FP1区和FP2区中的EEG信号。通过使用QRS检测算法，从ECG信号中检测R峰值(帕(Pan)和汤普金斯(Tompkins)，1985)。所有试验提取通过总平均处理的EEG信号(帕克等人，2015)。通过使用总平均将FP1信号和FP2信号集成为HEP波形信号。HEP波形分成在R峰值之后的50ms到250ms的第一周期和在R峰值之后的250ms到600ms的第二周期，其中使用FFT分析来处理每个周期，如方程式(5)中所展示。根据α功率与在0Hz到250Hz的范围中的总功率之间的比率来计算第一周期和第二周期的α功率，如方程式(6)中所展示。

图7A至图7B中显示用于基于瞳孔反应和EEG/ECG信号中的每一个来处理HEP波形信号的详细程序。在图7A展示用于来自瞳孔反应的HEP波形信号的程序，且图7B展示用于来自ECG信号和EEG信号的HEP波形的程序。

结果

处理瞳孔反应，以从检验对象的心时域指数、心频域指数、EEG频谱指数以及HEP指数提取生命体征。基于相关系数(r)和平均误差值(mean error value；ME)比较这些分量与来自传感器信号(即真实数据)的每个指数。在MNC和NMC两种情况下分析检验对象的数据。

为了验证MNC和NMC两种情况之间的运动量的差异，定量地分析运动数据。基于概率值(p)＞0.05的正态性检验且根据独立t检验，运动数据为正态分布。针对所得统计显著性进行邦弗朗尼校正(Bonferroni correction)(邓尼特(Dunnett)，1955)。基于每一个别假设的次数控制统计显著性水平(即，α＝0.05/n)。运动数据的统计显著水平处于至多0.0167(上半身，面部的X轴和Y轴，α＝0.05/3)。还计算基于Cohen’s d的效应量来确认实际显著性。在Cohen’s d中，效应量的0.10、0.25和0.40标准值一般分别被看作小、中和大(寇恩(Cohen)，2013)。

图8显示针对MNC及NMC在上半身中、面部的X轴和Y轴中的运动量的平均值(n＝140，***p＜0.001)。表3展示针对MNC及NMC在上半身、面部的X轴和Y轴中的运动量的所有对象数据。

参考图8和表3，根据分析，相比处于NMC的上半身(t(138)＝-5.121，p＝0.000、Cohen’sd＝1.366，具有最大效应量)、面部的X轴(t(138)＝-6.801，p＝0.000，Cohen’s d＝1.158，具有最大效应量)以及面部的Y轴(t(138)＝-6.255，p＝0.000，Cohen’s d＝1.118，具有最大效应量)，处于MNC(上半身、面部的X轴和Y轴)的运动量显著增加。

<表3>

从瞳孔反应提取心脑同步的HEP指数、第一HEP周期和第二HEP周期的α活动。将这些分量与来自EEG信号和ECG信号(即真实数据)的HEP指数进行比较。

这个研究能够通过心节律与大脑节律之间的同步而从瞳孔反应中确定第一周期和第二周期的HEP α活动。将处于56ms到248ms范围内的第一周期在来自瞳孔反应的HEP波形中的α活动与处于50ms到250ms范围内的第一周期在来自ECG及EEG信号的HEP波形中的α活动同步。将处于256ms到600ms范围内的第二周期在来自瞳孔反应的HEP波形中的α活动与处于250ms到600ms范围内的第一周期在来自ECG及EEG信号的HEP波形中的α活动同步。

图9显示从瞳孔反应(I)和ECG信号(II)中的每一个提取HEP指数的示范性过程。在图9中，(A)展示瞳孔直径信号(瞳孔反应)，(B)展示来自瞳孔反应的心率(HR)，(C)展示瞳孔大小变化，(D)展示基于来自瞳孔反应的HR的数据分离(试验)，(E)展示在所有试验中并根据PSV分成第一周期和第二周期的总平均信号，且(F)展示通过使用来自瞳孔反应的FFT分析的第一周期和第二周期的α功率。在图9中，(G)展示来自ECG信号的心率(HR)信号，(H)展示EEG信号，(I)展示基于来自ECG信号的HR的数据分离(试验)，(J)展示在所有试验中并根据EEG信号分成第一周期和第二周期的总平均信号，且(K)展示通过使用来自EEG信号的FFT分析的第一周期和第二周期的α功率。

图10A和图10B显示处于MNC中的HEP的第一指数和第二指数的比较例，其中A和B：来自EEG及PSV的总平均信号，C和D：第一周期的来自EEG的α功率(50.276％)和来自瞳孔的α功率(51.293％)，E和F：第二周期的来自EEG的α功率(37.673％)和来自瞳孔的α功率(36.636％)。

图11显示真实数据的HEP(MNC)的第一指数和第二指数的相关和误差的比较结果。参考图11，来自瞳孔反应的HEP指数的α功率指示所有参数的强相关性，其中对于第一周期，r＝0.996，且对于第二周期，r＝0.994。所有参数的平均误差之间的差较小，其中对于第一周期，ME＝1.071(在0.100到3.600范围中)，且对于第二周期，ME＝1.048(在0.060到3.090范围中)。第一周期中的α功率的误差分布如下：1(35)、1.25到3(33)，以及超过3(2)。第二周期中的α功率的误差分布如下：1(36)、1.25到3(33)，以及超过3(1)。这个程序将所记录的数据使用300秒。相关性及平均误差是70个检验对象(N＝70)的均值，如表4中所展示。

<表4>

图12A和图12B显示从检验对象中的瞳孔反应信号(PSV)和传感器信号(EEG)提取HEP指数的实例。

在图12A中，(A)和(B)分别展示来自EEG及PSV的总平均信号。在图12B中，(C)和(D)分别展示HEP第一周期的来自EEG及PSV的α功率(15.665％、17.143％)，且(E)和(F)分别展示HEP第二周期的来自EEG及PSV的的α功率(14.886％、16.505％)。

图13显示在MNC下的真实数据的结果的比较。参考图13，来自瞳孔反应的HEP指数的α功率指示所有参数的强相关性，其中对于第一周期，r＝0.991，且对于第二周期，r＝0.988。所有参数的平均误差之间的差较小，其中对于第一周期，ME＝1.415(在0.010到3.900范围中)，且对于第二周期，ME＝1.489(在0.040到4.160范围中)。第一周期中的α功率的误差分布如下：1(30)、1.25到3(35)，以及超过3(5)。第二周期中的α功率的误差分布如下：1(24)、1.25到3(40)，以及超过3(6)。这个程序将所记录的数据使用300秒。相关性及平均误差是70个检验对象(N＝70)的均值，如表5中所展示。

表5展示处于NMC(N＝70)的HEP的第一周期和第二周期的α功率的平均误差的平均值。

<表5>

用于检测心时域参数的实时系统

开发了使用来自红外网络摄像头的瞳孔图像的用于检测人类生命体征的实时系统。这个系统包含红外网络摄像头、近红外光(Infra-Red light；IR)照明器(IR灯)以及用于分析的个人计算机。

红外网络摄像头划分为两种类型：固定类型，其为常见的USB网络摄像头；和便携类型，其由穿戴式装置代表。网络摄像头为罗技科技公司的HD Pro C920，其转换成红外网络摄像头来检测瞳孔区域。

移除网络摄像头内部的IR滤光片，且将来自柯达克公司(Kodae Inc.)的用以阻断可见光的IR通过滤光片(IR passing filter)插入到网络摄像头中，以允许长于750nm的IR波长通过，如图14中所显示。将网络摄像头内部的12mm的镜片替换为3.6mm的镜片，以允许在测量0.5m到1.5m的距离时聚焦在图像上。

图14显示用于获取瞳孔图像的红外网络摄像头系统。

将图12中显示的USB网络摄像头的常规12mm的镜片替换为3.6mm的镜片，使得在拍摄距离为0.5m到1.5m时对象可被聚焦。

图15显示用于检测和分析来自红外网络摄像头和传感器的生物信号的实时系统的界面截屏，其中(A)：红外瞳孔图像(输入图像)，(B)：二值化瞳孔图像，(C)：检测瞳孔区域，(D)：心脏时间参数的输出，(E)：心脏频率参数的输出(VLF功率、LF功率、HF功率、VLF/HF比率以及LF/HF比率)。(F)EEG频谱参数的输出(FP1中的低β功率、FP1中的中β功率、FP1中的SMR功率、F3中的β功率、F8中的高β功率、C4中的μ功率，和P4中的γ功率)，以及(G)HEP参数的输出(HEP第一分量和HEP第二分量的α功率)。

如上文中所描述，本发明开发和提供一种用于根据瞳孔的活动图像测量人类生命体征的先进方法。由此，可通过使用监测瞳孔反应(节律)的低成本红外网络摄像头系统进行心脏时域中的参数的测量。HEP指标表示HEP的第一分量和第二分量的α功率。

针对七十个对象、在两种噪声情况(MNC和NMC)和各种生理状态(通过声音的情绪刺激进行的唤醒和价能级的变化)下验证了这个结果。

对本发明的研究检测了在验证实验期间由唤醒情绪、放松情绪、积极情绪、消极情绪和中性情绪的刺激引起的人类生理状况的变化。根据本发明的基于瞳孔反应的方法是一种用于生命体征监测的先进技术，其可以测量在静态或动态情形下的生命体征。

根据本发明的所提出方法能够使用简单、低成本及无创测量系统测量心脏时域中的参数。本发明可以应用于需要VSM技术的例如U保健、情感ICT、人因、HCI以及安全等各种行业

应理解，本文中所描述的实施例应仅在描述性意义上考虑，而非出于限制的目的。每一个实施例内的特征或方面的描述通常应被认为是可用于其它实施例中的其它类似特征或方面。

尽管已参考附图描述一或多个实施例，但所属领域的普通技术人员应了解，在不脱离由以下权利要求定义的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种变化。

Claims (14)

1.一种检测脑心连通性的信息的方法，其特征在于，所述方法包括：

从对象获得瞳孔及心电图信号的活动图像；

通过基于在所述心电图信号的R峰值之后的预定时间范围分隔所述活动图像而从所述活动图像获取瞳孔大小变化；

从所述瞳孔大小变化中提取第一周期及第二周期的信号；

分别在预定频率下计算所述第一周期及所述第二周期的所述信号的α功率，其中所述α功率指示心电图与脑电图之间所有参数的强相关性。

2.根据权利要求1所述的检测脑心连通性的信息的方法，其特征在于，所述方法进一步包括：将获取重复预定次数以获得多个所述瞳孔大小变化；以及基于总平均技术将所述多个所述瞳孔大小变化集成为瞳孔大小变化。

3.根据权利要求1所述的检测脑心连通性的信息的方法，其特征在于，所述预定时间范围介于56 ms到600 ms之间。

4.根据权利要求3所述的检测脑心连通性的信息的方法，其特征在于，所述第一周期的范围在所述R峰值之后介于56 ms到248 ms之间。

5.根据权利要求3所述的检测脑心连通性的信息的方法，其特征在于，所述第二周期的范围在所述R峰值之后介于248 ms到600 ms之间。

6.根据权利要求5所述的检测脑心连通性的信息的方法，其特征在于，所述第一周期的所述α功率的所述频率为10 Hz，以及所述第二周期的所述α功率的所述频率为9 Hz或11Hz。

7.根据权利要求1所述的检测脑心连通性的信息的方法，其特征在于，所述第一周期的范围在所述R峰值之后介于56 ms到248 ms之间，以及所述第二周期的范围在所述R峰值之后介于248 ms到600 ms之间。

8.根据权利要求7所述的检测脑心连通性的信息的方法，其特征在于，所述第一周期的所述α功率的所述频率为10 Hz，以及所述第二周期的所述α功率的所述频率为9 Hz或11Hz。

9.根据权利要求7所述的检测脑心连通性的信息的方法，其特征在于，根据所述α功率的相应频率的功率与范围为0 Hz到62.5 Hz的总频率的总功率的比率获得所述α功率中的每一个。

10.一种采用权利要求1所述的检测脑心连通性的信息的方法的系统，其特征在于，所述系统包括：

视频捕获单元，其配置成捕获对象的活动图像；以及

包含分析工具的基于计算机架构的分析单元，其配置成处理、分析所述活动图像，以及计算第一周期及第二周期的信号的α功率。

11.根据权利要求10所述的采用权利要求1所述的检测脑心连通性的信息的方法的系统，其特征在于，所述分析单元配置成执行以下操作：将获取重复预定次数以获得多个瞳孔大小变化；以及基于总平均技术将所述多个所述瞳孔大小变化集成为瞳孔大小变化。

12.根据权利要求11所述的采用权利要求1所述的检测脑心连通性的信息的方法的系统，其特征在于，预定时间范围在56 ms到600 ms之间变化。

13.根据权利要求12所述的采用权利要求1所述的检测脑心连通性的信息的方法的系统，其特征在于，所述第一周期的所述α功率的频率为10 Hz，以及所述第二周期的所述α功率的频率为9 Hz或11 Hz。

14.根据权利要求13所述的采用权利要求1所述的检测脑心连通性的信息的方法的系统，其特征在于，根据所述α功率的相应频率的功率与范围为0 Hz到62.5 Hz的总频率的总功率的比率获得所述α功率中的每一个。

Images