CN108451526A - 使用瞳孔反应来检测频域心脏信息的方法及系统 - Google Patents

使用瞳孔反应来检测频域心脏信息的方法及系统 Download PDF

Info

Publication number
CN108451526A
CN108451526A CN201810131256.4A CN201810131256A CN108451526A CN 108451526 A CN108451526 A CN 108451526A CN 201810131256 A CN201810131256 A CN 201810131256A CN 108451526 A CN108451526 A CN 108451526A
Authority
CN
China
Prior art keywords
frequency
ranges
low frequency
frequency band
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810131256.4A
Other languages
English (en)
Inventor
黄珉哲
朴相仁
元明珠
李东原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Sangmyung University
Original Assignee
Syndicate Corp Real Sense Exchange Human Induction Research Group
Industry Academic Cooperation Foundation of Sangmyung University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170147610A external-priority patent/KR101999318B1/ko
Application filed by Syndicate Corp Real Sense Exchange Human Induction Research Group, Industry Academic Cooperation Foundation of Sangmyung University filed Critical Syndicate Corp Real Sense Exchange Human Induction Research Group
Publication of CN108451526A publication Critical patent/CN108451526A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种用于使用瞳孔反应来检测频域心脏信息的方法及系统，所述方法包括：从受试者获取瞳孔的移动图像；从所述移动图像提取瞳孔大小变化(PSV)；通过对所述瞳孔大小变化执行包括频率分析的处理程序来提取心率变异性(HRV)频谱；以及通过分析所述心率变异性频谱来计算多个频带中的至少一者的功率。

Description

使用瞳孔反应来检测频域心脏信息的方法及系统
相关申请的交叉参考
本申请主张于2017年2月17日在韩国知识产权局提出申请的韩国专利申请第10-2017-0021522号以及于2017年11月7日在韩国知识产权局提出申请的第10-2017-0147610号韩国专利申请的权利，所述韩国专利申请的公开内容全文并入本案供参考。
技术领域
一个或多个实施例涉及一种使用瞳孔反应来检测生理信息的方法及一种使用所述方法的系统，且更具体来说，涉及一种依据瞳孔大小变化来检测频域心脏信息的方法及一种使用所述方法的系统。
背景技术
传感器来获取生理信息。此种生理信息包括心电图(electrocardiogram，ECG)、光电体积描记(photo-plethysmograph，PPG)、血压(blood pressure，BP)、皮肤电反应(galvanic skin response，GSR)、皮肤温度(skin temperature，SKT)、呼吸作用(respiration，RSP)、及脑电图(electroencephalogram，EEG)。
心脏及大脑是人体的两个主要器官，且对心脏及大脑的分析提供了评估人类行为以及获得可在对事件的反应中及在医疗诊断中使用的信息的能力。生命信号监测可适用于例如普适健康照护(ubiquitous healthcare，U-healthcare)、情绪信息与沟通技术(emotional information and communication technology，e-ICT)、人类因素与工效学(human factor and ergonomics，HF&E)、人机界面(human computer interface，HCI)、及安全系统等各种领域中。
关于心电图及脑电图，附装到身体的传感器用于测量生理信号，且因此可对患者造成不便。也就是说，当使用传感器来测量此类信号时，人体会感受到相当大的应力及不便。另外，就所附装传感器的使用成本及受试者的移动(因附装有传感器硬件)来说，存在负担及限制。
因此，为在以低成本实现自由移动的同时使用非接触式、无创伤性及非侵入性方法来测量生理信号，需要使用生命信号监测技术。
最近，生命信号监测技术已被并入到无线可穿戴装置中，从而能够开发出便携式测量设备。这些便携式装置可使用嵌入到例如手表、手镯或眼镜等附件中的生命信号监测来测量心率(heart rate，HR)及呼吸作用。
据预测，可穿戴装置技术不久便会从便携式装置发展成“可附装”装置。还预测出，可附装装置将转变成“可食用”装置。
已开发出使用以低成本实现自由移动的非接触式、无创伤性及非侵入性方法来测量生理信号的生命信号监测技术。在生命信号监测将继续在技术上进步的同时，也需要开发创新的基于视力的生命信号监测技术。
发明内容
一个或多个实施例包括一种用于使用无创伤性及非侵入性方法以低成本来推断及检测人类生命征象的系统及方法。
详细来说，一个或多个实施例包括一种用于使用瞳孔反应或瞳孔大小变化来检测频域心脏信息的系统及方法。
额外方面将部分地在以下说明中被阐述，且部分地将依据所述说明而显而易见，或者可通过实践所呈现实施例而被习得。
根据一个或多个示例性实施例，所述检测频域心脏信息的方法包括：从受试者获取瞳孔的移动图像；从所述移动图像提取瞳孔大小变化(pupil size variation，PSV)；通过对所述瞳孔大小变化执行包括频率分析的处理程序来提取心率变异性(heart ratevariability，HRV)频谱；以及依据所述心率变异性频谱来计算多个频带中的至少一者的至少一个功率。
根据一个或多个示例性实施例，一种执行所述方法的系统包括：视频捕获单元，被配置成捕获所述受试者的所述移动图像；以及基于计算机架构的分析系统，包括分析工具，所述分析工具被配置成处理、分析所述移动图像并计算所述功率中的至少一者。
根据一个或多个示例性实施例，所述处理程序包括使用带通滤波器(band passfilter，BPF)进行滤波并使用快速傅里叶变换(fast Fourier transformation，FFT)进行频率分析。
根据一个或多个示例性实施例，所述多个频带与从心电图(ECG)信号提取的多个频带相同。
根据一个或多个示例性实施例，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频(very low frequency，VLF)、处于0.04Hz至0.15Hz范围中的低频(low frequency，LF)、以及处于0.15Hz至0.4Hz范围中的高频(high frequency，HF)。
附图说明
通过结合附图阅读以下对实施例的说明，这些和/或其他方面将变得显而易见且更易于了解，在附图中：
图1示出根据一个或多个实施例用于选择在示例性测试中使用的声音刺激代表的程序。
图2示出根据一个或多个实施例用于测量上身中的移动量的实验程序。
图3是根据一个或多个实施例用于解释实验程序的框图。
图4(A)至图4(D)示出根据一个或多个实施例用于检测瞳孔区的程序。
图5示意性地示出依据瞳孔大小变化(PSV)的瞳孔直径信号及心电图(ECG)信号来获得频域心脏参数的过程。
图6示出上身中的移动量的平均数的样本。
图7示出用于从瞳孔大小变化及心电图信号提取心率变异性(HRV)的处理实例。
图8(A)至图8(E)示出在无运动条件(motionlessness condition，MNC)下从瞳孔反应及心电图信号提取的心脏频率指数的比较例。
图9(A)至图9(E)示出在自然移动条件(natural movement condition，NMC)下从瞳孔反应及心电图信号提取的心脏频率指数的比较例。
图10示出根据一个或多个实施例用于捕获瞳孔图像的红外网络摄像机系统。
图11示出根据一个或多个实施例的实时系统的界面屏幕。
附图标号说明
S11、S12、S13、S14、S15、S31、S32、S33：步骤
具体实施方式
现在将详细参照实施例，所述实施例的实例在附图中示出，其中在所有附图中相同的参考编号指代相同的元件。就此来说，本发明实施例可具有不同的形式，而不应被视为仅限于本文所述的说明。因此，以下通过参照各附图来阐述实施例仅是为了阐释本说明的各方面。
在下文中，参照附图来阐述根据本发明概念用于推断及检测生理信号的方法及系统。
然而，本发明可实施为许多不同的形式，而不应被视为仅限于本文所述的实施例；而是，提供这些实施例仅是为了使本发明将透彻及完整起见，且将向所属领域中的普通技术人员全面地传达本发明的概念。在附图中，相同的参考编号表示相同的元件。在附图中，元件及区是示意性地示出。因此，本发明的概念并不受附图中所示的相对大小或距离限制。
本文所使用的术语仅出于阐述特定实施例的目的，而非旨在限制本发明。本文所使用的单数形式“一个(a、an)”及“所述(the)”旨在也包括复数形式，除非上下文另有清晰指示。应进一步理解，当在本说明书中使用用语“包括(comprise和/或comprising、或者include和/或including)”时，是指明存在所陈述特征、数目、步骤、操作、元件、和/或组件，但并不排除一个或多个其他特征、数目、步骤、操作、元件、组件、和/或其群组的存在或添加。
除非另有定义，否则本文所使用的所有用语(包括技术用语及科学用语)均具有与本发明所属领域中的普通技术人员通常所理解的含义相同的含义。应进一步理解，例如在常用词典中所定义的用语等用语应被解释成具有与其在相关技术和/或本申请的背景中的含义相一致的含义，且不应被解释成具有过度形式化意义，除非本文中明确如此定义。
以下所述的实施例涉及依据从视频信息获得的瞳孔反应来处理频域心脏参数。
通过以下所述实施例可充分理解的本发明涉及使用配备有视频摄像机(例如网络摄像机)的视力系统在对受试者无任何身体限制或心理压力的情况下从瞳孔反应或瞳孔大小变化来提取频域心脏参数。具体来说，依据图像信息检测瞳孔反应，且从所检测到的瞳孔反应提取频域心脏参数。
在本发明的实验中，将从通过移动图像获取的瞳孔大小变化(PSV)所提取的频域心脏参数的可靠性与由心电图传感器得出的真实情况(ground truth)信号进行比较。
与本发明有关的实验是使用视频设备及基于计算机架构的分析系统来执行，所述基于计算机架构的分析系统用于处理及分析移动图像且包括通过软件提供的分析工具。根据示例性实施例的系统是使用Visual C++2010及OpenCV 2.4.3而开发。用于快速傅里叶变换(FFT)、带通滤波器(BPF)等的信号处理功能是由LabVIEW 2010提供。
实验刺激
为引起生理状态的变化，此次实验使用了基于拉塞尔(Russell)的cir复合模型(拉塞尔，1980年)的声音刺激。声音刺激包括多个因素，其中包括唤醒(arousal)声音、放松(relaxation)声音、积极(positive)声音、消极(negative)声音、及中性(neutral)声音。中性声音是通过使声学刺激不存在而界定。用于选择声音刺激的步骤示出于图1中且列出如下：
(S11)从例如广告、戏剧及影片等广播媒体收集九百个声音源。
(S12)接着，将声音源分类成四个群组(即，唤醒、放松、积极、及消极)。基于专题小组讨论使每一群组由10个常选项构成，共计四十个声音刺激。
(S13)使用这些刺激来基于从150个受试者搜集的数据对每一种情绪(即，A：唤醒，R：放松，P：积极，及N：消极)实施适宜性调查，所述150个受试者被均匀地分成75个男性及75个女性。平均年龄为27.36岁±1.66岁。需要进行主观评估来为四个因素选择每一项，这可能使得各项中的一者或多者有重复。
(S14)对拟合优度(goodness-of-fit)执行卡方测试(chi-square test)，以判断每一种情绪声音是否受到均等偏好。如表1中所示，对每一种情绪声音的偏好均等地分布在人群中(唤醒：6项，放松：6项，积极：8项，及消极：4项)。
表1示出拟合优度的卡方测试结果，其中为每一种情绪选择的项是基于对观测值与预期值的比较。
<表1>
使用7分制(seven-point scale)在150个受试者中关于与每一种情绪的关系来对声音刺激实施重新调查，所述7分制是基于1分指示强烈反对直至7分指示强烈同意。
基于最大方差法(Varimax)(正交)旋转来使用主分量分析(principal componentanalysis，PCA)对与每一种情绪有关的有效声音进行分析。所述分析得到对整个变量集合的方差进行解释的四个因素。在获得分析结果之后，导出每一种情绪的代表性声音刺激，如表2中所示。
在表2中，粗体是相同的因素，模糊字符是公因子方差＜0.5，且背景中有阴影的加粗浅灰色字母表示每一种情绪的声学刺激。
<表2>
实验程序
两种性别(在男性与女性之间均匀地分配)的七十个大学生志愿者参与了此次实验，这些志愿者的年龄范围为20岁至30岁，平均值为24.52岁±0.64岁。所有受试者均具有正常或经过矫正而正常的视力(即，超过0.8)，且没有涉及视觉功能、心血管系统或中枢神经系统的家族疾病史或医疗疾病史。在研究之前从每一受试者获得了知情书面同意。此次实验研究经过了韩国首尔(Seoul，South Korea)的祥明大学机构审查委员会(Institutional Review Board of Sangmyung University)的批准(2015-8-1)。
实验由两次试验构成，其中每一次试验实施5分钟的持续时间。第一次试验是基于无运动条件(MNC)，此涉及不移动或不讲话。第二次试验是基于自然移动条件(NMC)，此涉及简单的对话及轻微的移动。参与者反复地实施两次试验，且在各受试者中将次序随机化。为验证两种条件之间的移动差异，此次实验使用每一受试者的网络摄像机图像对实验期间的移动量进行定量测量。在本发明中，移动图像可包括至少一个瞳孔，即，单瞳孔图像或双瞳孔图像。
图像是使用来自罗技公司(Logitech Inc.)的HD Pro C920摄像机以1920×1080的分辨率且以30帧/秒(frame per second，印s)而记录。基于MPEG-4来测量上身及面部的移动(泰卡尔普(Tekalp)及奥斯特曼(Ostermann)，2000年；杰泮迪克(JPandzic)及福希海默(Forchheimer)，2002年)。基于帧间差异从整个图像提取上身中的移动。由于背景是静止的，因此上身线并未进行跟踪。
使用来自面容技术公司(Visage Technologies Inc.)的面容SDK 7.4软件基于帧间差异而从84个MPEG-4动画点提取面部中的移动。所有移动数据均使用在实验期间来自每一受试者的平均值，并被与两次试验之间的移动差异进行比较，如图2中所示。
图2示出测量受试者在面部位于X轴与Y轴的相交点处的状态下，上身的运动量的实例。
在图2中，(A)是上身图像，(B)是在84个MPEG-4动画点处所跟踪的面部图像，(C)及(D)示出前帧与后帧之间的差异，(E)是来自上身的移动信号，且(F)示出来自84个MPEG-4动画点的移动信号。
为引起生理状态的变化，在试验期间向参与者呈现声音刺激。在1分钟内随机地呈现每一声音刺激，在5分钟试验内共计五个刺激。在启始任务之前，呈现参考刺激达3分钟。在图3中示出详细的实验程序。
如图3中所示，实验程序包括传感器附装S31、测量任务S32及传感器拆卸S33，且测量任务S32如下进行。
实验是在室内在由通过窗户进入的日光引起的变化的照明下实施。参与者在坐在舒适椅子中的同时注视1.5m距离处的黑色墙壁。在两次试验中使用耳机均等地呈现声音刺激。在无运动条件试验期间，受试者被要求限制移动及讲话。然而，自然移动条件试验涉及使受试者进行简单的对话及轻微的移动。作为对话的一部分，受试者被要求在进行声音刺激时将自身介绍给另一人，从而涉及声音刺激的感觉及思考。在实验期间，获得心电图信号及瞳孔图像数据。
心电图信号是通过来自BIOPAC系统公司的放大器系统、借助导联I(lead-I)方法、通过一个通道、以500Hz采样率而采样及记录的，所述放大器系统包括心电图100C放大器及MP100电源。心电图信号通过国家仪器公司(National Instrument Inc.)的NI-DAQ-Pad9205被数字化。
瞳孔图像是通过来自灰点研究公司(Point Grey Research Inc.)的GS3-U3-23S6M-C红外摄像机以960×400的分辨率且以125帧/秒而记录。
在下文中，将阐述一种用于从瞳孔反应提取或建构(恢复)生命征象的方法。
瞳孔反应的提取
瞳孔检测程序图10中所示的红外视频摄像机系统来获取移动图像，且接着需要进行特定图像处理程序。
瞳孔检测程序可需要遵循某些图像处理步骤，因为图像是使用红外视频摄像机而捕获，如图4(A)至图4(D)中所示。
图4(A)至图4(D)示出从受试者的面部图像来检测瞳孔区的过程。图4(A)示出从受试者获得的输入图像(灰阶)，图4(B)示出基于自动阈值而二值化的图像，图4(C)示出通过圆形边缘检测得出的瞳孔位置，且图4(D)示出瞳孔区的实时检测结果，其包括关于瞳孔区中心坐标及直径的信息。阈值由使用整个图像的亮度值的线性回归模型而定义，如方程式1中所示。
<方程式1>
阈值＝(-0.418×Bmean+1.051×Bmax)+7.973
B＝亮度值
用以确定瞳孔位置的下一步骤涉及使用圆形边缘检测方法来处理二值图像，如方程式2中所示(多曼(Daugman)，2004年；李(Lee)等人，2009年)。
<方程式2>
I(x，y)＝(x，y)位置处的灰度
(x0，y0)＝瞳孔的中心位置
r＝瞳孔的半径
倘若选择多个瞳孔位置，则可使用由红外灯引起的反射光。接着，获得准确的瞳孔位置，包括形心坐标(x，y)及直径。
作为瞳孔大小变化的瞳孔直径数据(信号)是以1Hz至30Hz的频率范围被重采样，如方程式3中所示。对瞳孔直径数据的重采样程序涉及30个数据点的采样率，接着使用常用的滑动移动平均数技术(sliding moving average technique)来计算1秒间隔期间的平均值(即，窗大小为1秒且分辨率为1秒)。然而，在重采样程序中不会涉及因眼睛闭合而导致瞳孔直径数据未被跟踪。
<方程式3>
SMA＝滑动移动平均数
P＝瞳孔直径
检测心脏活动中的频域指数
现在结合图5来阐述对心脏频域指数(参数)的检测。参照图5，心脏频域参数包括依据瞳孔反应以及心电图信号(真实情况)确定并获得的心率变异性(HRV)指数。
心率变异性指数(例如甚低频(VLF)、低频(LF)、高频(HF)、甚低频/高频比、及低频/高频比)均为自动平衡的指标。甚低频带是交感神经活动的指数，而高频带是副交感神经活动的指数。低频带是由交感神经传出与传入活动及副交感神经传出与传入活动以及血管系统共振构成的复杂混合体(马利克(Malik)，1996年；沈(Shen)等人，2003年；雷耶斯·德尔·帕索(Reyes del Paso)等人，2013年；帕克(Park)等人，2014年)。
参照图5，使用具有甚低频范围、低频范围、高频范围、及总频(total frequency，TF)范围的带通滤波器来处理以1Hz重采样的瞳孔直径数据，如方程式(4)中所示。每一带通滤波器频带是通过心率变异性指数频率来加以应用，例如0.0033Hz至0.04Hz的甚低频范围、0.04Hz至0.15Hz的低频范围、0.15Hz至0.4Hz的高频范围、及0.0033Hz至0.4Hz的总频范围(马利克，1996年；麦克拉迪(McCraty)等人，2009年；帕克等人，2014年)。使用快速傅里叶变换分析来从每一频带的总功率提取经滤波信号(即，汉明窗技术(Hanning windowtechnique))。
<方程式4>
k＝0，…，N-1
依据总频带功率与心率变异性指数频带功率(甚低频、低频及高频)之间的比率来计算甚低频功率、低频功率及高频功率，如方程式(5)中所示。此程序是通过滑动窗技术来处理(窗大小：180秒，及分辨率：1秒)。
<方程式5>
通过心电图信号检测R峰值且接着计算R峰值间隔(R-peak to R-peak interval，RRI)。以2Hz对连续R峰值间隔值进行重采样并使用快速傅里叶变换对其进行分析，以得出心率变异性频谱，如方程式(7)中所示。将心率变异性频谱分类成多个频带：介于0.0033Hz至0.04Hz范围内的甚低频带、介于0.04Hz至0.15Hz范围内的低频带及介于0.15Hz至0.4Hz范围内的高频带。接着，提取每一频带的功率。将甚低频、低频及高频转换成活动比，例如甚低频/高频比或低频/高频比。图5中示出用于处理心电图信号的详细程序，从而示出心脏频率指数的信号处理程序。
结果
对瞳孔反应进行处理，以从测试受试者的心脏时域指数、心脏频域指数、脑电图谱指数、及心跳诱发脑电位(heartbeat evoked potential，HEP)指数提取生命征象。基于相关性系数(r)及平均误差值(ME)将这些分量与来自传感器信号(即，真实情况)的每一指数进行比较。针对测试受试者关于无运动条件及自然移动条件两者对数据进行分析。
为验证无运动条件及自然移动条件这两种条件之间的移动量差异，对移动数据进行定量分析。基于概率值(p)＞0.05的正态性测试且依据独立样本t测试，移动数据是正态分布。对所导出的统计显著性执行邦弗朗尼(Bonferroni)校正(邓尼特(Dunnett)，1955年)。基于每一个别假设的数目来控制统计显著性水平(即，α＝0.05/n)。移动数据的统计显著性水平为0.0167(上身、面部的X轴及Y轴，α＝0.05/3)。还计算基于科恩d(Cohen’s d)的效应量(effect size)，以确认实际的显著性。以科恩d来看，效应量的标准值0.10、0.25及0.40通常分别被视为小、中及大的(科恩，2013年)。
图6示出一个受试者在无运动条件及自然移动条件(n＝140，***p＜0.001)下，上身、面部的X轴及Y轴中的移动量的平均数。表3示出在无运动条件及自然移动条件下，上身、面部的X轴及Y轴中的移动量的所有受试者数据。
参照图6及根据分析而成的表3，对于上身(t(138)＝-5.121，p＝0.000，科恩d＝1.366，具有大效应量)、面部的X轴(t(138)＝-6.801，p＝0.000，科恩d＝1.158，具有大效应量)及面部的Y轴(t(138)＝-6.255，p＝0.000，科恩d＝1.118，具有大效应量)来说，在无运动条件下的移动量(上身、面部的X轴及Y轴)与在自然移动条件下相比显著增加。
<表3>
从瞳孔反应提取心脏输出的心脏频域指数，例如甚低频功率、低频功率、高频功率、甚低频/高频比、及低频/高频比。将这些分量与从心电图信号(真实情况)得出的频率指数进行比较。图7示出从瞳孔反应及心电图信号检测并提取心率变异性指数的实例。
此次实验能够通过捕捉谐波频率而从瞳孔反应确定心脏频率指数(即，甚低频功率、低频功率、高频功率、甚低频/高频功率比、及低频/高频功率比)。
0.0033Hz至0.4Hz的心脏心率变异性指数范围与相同频率范围的昼夜瞳孔节律有密切关联。瞳孔直径的大小变化被划分成三个频带：甚低频(0.0033Hz至0.04Hz)、低频(0.04Hz至0.15Hz)、及高频(0.15Hz至0.4Hz)。
另外，从每一功率频带与总功率频带(0.0033Hz至0.4Hz)之间的比率来提取每一功率频带的大小变化。这些大小变化与1Hz频带内的心率变异性指数同步。接着，依据个别的甚低频分量、低频分量及高频分量来计算甚低频/高频功率比及低频/高频功率比。
在图7中，(A)示出瞳孔大小的帧间差异信号，(B)示出基于滑动移动平均数(窗大小：30帧/秒，及分辨率：30帧/秒)而以1Hz重采样的信号的波形，(C)示出每一频带(甚高频：0.0033Hz至0.04Hz，低频：0.04Hz至0.15Hz，高频：0.15Hz至0.4Hz，及总频：0.0033Hz至0.4Hz)的经带通滤波信号，(D)示出快速傅里叶变换分析的信号，(E)示出依据与总频功率(瞳孔反应)的比例而计算出的甚高频功率、低频功率及高频功率的信号，(F)示出心电图原始信号的实例。(G)示出检测R峰值(QRS复合波)及R峰值间隔，(H)示出心率(R峰值间隔)信号，(I)示出心率变异性(HRV)分析以及甚低频功率、低频功率及高频功率的提取，且(J)示出从心电图信号(真实情况)得出的甚低频功率信号、低频功率信号及高频功率信号。
图8(A)至图8(E)示出在无运动条件下从受试者的瞳孔反应及心电图信号提取的心脏频率指数的实例，其中对于甚低频，r＝0.940，ME＝0.009；对于低频，r＝0.980，ME＝0.179；对于高频，r＝0.989，ME＝0.091；对于甚低频/高频比，r＝0.938，ME＝3.902；对于低频/高频比，r＝0.937，ME＝0.669。
表4示出在无运动条件下心脏频率指数的相关性系数及平均误差的平均数(N＝270，p＜0.01)。这些结果是使用在300秒内记录的数据、利用窗大小为180秒且分辨率为1秒的滑动窗技术来进行处理。相关性及平均误差是70个受试者的平均值(在一个受试者中，N＝120)。
<表4>
在与无运动条件下的真实情况的比较结果中，从瞳孔反应得出的心脏频率指数对于所有参数来说均具有强相关性，其中对于甚低频功率，r＝0.888±0.044；对于低频功率，r＝0.898±0.058；对于高频功率，r＝0.896±0.054；对于甚低频/高频比，r＝0.797±0.080；且对于低频/高频比，r＝0.801±0.086，如表4中所示。
此外，所有参数的平均误差之间的差为低的，其中对于甚低频功率，ME＝0.353±0.258；对于低频功率，ME＝0.329±0.243；对于高频功率，ME＝0.301±0.250；对于甚低频/高频比，ME＝0.497±0.386；且对于低频/高频比，ME＝0.492±0.372。
图9(A)至图9(E)示出在自然移动条件下从受试者的瞳孔反应及心电图信号提取的心脏频率指数的实例，其中对于甚低频，r＝0.945，ME＝0.417；对于低频，r＝0.983，ME＝0.485；对于高频，r＝0.989，ME＝0.935；对于甚低频/高频比，r＝0.985，ME＝0.006；对于低频/高频比，r＝0.990，且ME＝0.016。
表5示出在自然移动条件下受试者的心脏频率指数的相关性系数及平均误差的平均数(N＝120，p＜0.01)。用于表5的程序是使用在300秒内记录的数据、使用其中窗大小为180秒且分辨率大小为1秒的滑动窗技术来执行。
<表5>
将自然移动条件下的结果与真实情况进行比较，从瞳孔反应得出的心脏频率指数表明对于所有参数均具有强相关性，其中对于甚低频功率，r＝0.850±0.057；对于低频功率，r＝0.864±0.062；对于高频功率，r＝0.855±0.066；对于甚低频/高频功率比，r＝0.784±0.073；且对于低频/高频功率比，r＝0.791±0.077。所有参数的平均误差之间的差为低的，其中对于甚低频功率，ME＝0.457±0.313；对于低频功率，ME＝0.506±0.292；对于高频功率，ME＝0.546±0.435；对于甚低频/高频功率比，ME＝0.692±0.436；且对于低频/高频功率比，ME＝0.692±0.467。
用于检测心脏频域参数的实时系统
用于检测心脏频域信息的实时系统是基于对瞳孔图像的捕获及处理而开发。此系统可包括红外网络摄像机、近红外(红外光)照明器(红外灯)、及用于分析的个人计算机。
红外网络摄像机被划分成两种类型：固定型，为常见的通用串行总线(UniversalSerial Bus，USB)网络摄像机；以及便携型，由可穿戴装置表示。网络摄像机是来自罗技公司的HD Pro C920，其被转换成红外网络摄像机以检测瞳孔区域。
拆卸了网络摄像机内的红外(IR)滤光器，并将来自柯达公司(Kodac Inc.)的用于截止可见光的红外通过滤光器插入到网络摄像机中以使得比750nm长的红外波长能够通过，如图10中所示。网络摄像机内的12mm镜头被替换成3.6mm镜头，以能够在测量0.5m至1.5m的距离时聚焦在图像上。
图10示出用于摄取瞳孔图像的红外网络摄像机系统。
图10所示通用串行总线网络摄像机的传统12mm镜头被替换成3.6mm镜头，以便在拍摄0.5m至1.5m的距离时可对受试者进行聚焦。
图11示出用于从红外网络摄像机及传感器检测及分析生物信号的实时系统的界面屏幕，其中(A)：红外瞳孔图像(输入图像)，(B)：经二值化瞳孔图像，(C)：检测瞳孔区域，(D)：心脏频率参数的输出；(E)：甚低频功率、低频功率、高频功率、甚低频/高频比、及低频/高频比的参数曲线图。
如上所述，本发明开发并提供一种用于依据瞳孔的移动图像来测量人类生命征象的先进方法。由此，可使用监测瞳孔反应的低成本红外网络摄像机系统来执行对心脏频域参数的测量。
针对七十个受试者，在噪音条件(无运动条件及自然移动条件)以及各种生理状态(通过情绪声音刺激使唤醒及效价(valence)水平变化)下对此结果进行验证。
本发明的研究调查了在验证实验期间由唤醒心情、放松心情、积极心情、消极心情、及中性心情的刺激引起的人类生理条件的变化。根据本发明的基于瞳孔反应的方法是一种用于生命征象监测的先进技术，其可在静态或动态情景下测量生命征象。
本发明可应用于需要使用生命信号监测(VSM)技术的各种行业，例如普适健康照护、情绪信息与沟通技术(ICT)、人类因素、人机界面(HCI)、及安全性。
应理解，本文所述的实施例应被视为仅具有说明性意义而非用于限制目的。对每一实施例内各特征或方面的说明通常应被视为可用于其他实施例中的其他类似特征或方面。
尽管已参照各附图阐述了一个或多个实施例，然而所属领域中的普通技术人员应理解，在不背离由以上权利要求所界定的本发明精神及范围的条件下，可在形式及细节上对本文作出各种改变。

Claims (12)

1.一种检测频域心脏信息的方法，其特征在于，所述方法包括：
从受试者获取瞳孔的移动图像；
从所述移动图像提取瞳孔大小变化；
通过对所述瞳孔大小变化执行包括频率分析的处理程序来提取心率变异性频谱；以及
依据所述心率变异性频谱来计算多个频带中的至少一者的至少一个功率。
2.根据权利要求1所述的方法，其特征在于，所述处理程序包括使用带通滤波器进行滤波并使用快速傅里叶变换进行频率分析。
3.根据权利要求2所述的方法，其特征在于，所述多个频带与从心电图信号提取的多个频带相同。
4.根据权利要求3所述的方法，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
5.根据权利要求1所述的方法，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
6.根据权利要求2所述的方法，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
7.一种执行根据权利要求1所述的方法的系统，其特征在于，所述系统包括：
视频捕获单元，被配置成捕获所述受试者的所述移动图像；以及
基于计算机架构的分析系统，包括分析工具，所述分析工具被配置成处理并分析所述移动图像且计算所述功率中的至少一者。
8.根据权利要求7所述的系统，其特征在于，所述分析系统使用带通滤波器来执行滤波并使用快速傅里叶变换来执行频率分析。
9.根据权利要求8所述的系统，其特征在于，所述多个频带与从心电图信号提取的多个频带相同。
10.根据权利要求7所述的系统，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
11.根据权利要求8所述的系统，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
12.根据权利要求9所述的系统，其特征在于，所述多个频带包括以下中的至少一者：处于0.0033Hz至0.04Hz范围中的甚低频、处于0.04Hz至0.15Hz范围中的低频、以及处于0.15Hz至0.4Hz范围中的高频。
CN201810131256.4A 2017-02-17 2018-02-08 使用瞳孔反应来检测频域心脏信息的方法及系统 Pending CN108451526A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0021522 2017-02-17
KR20170021522 2017-02-17
KR10-2017-0147610 2017-11-07
KR1020170147610A KR101999318B1 (ko) 2017-02-17 2017-11-07 동공 반응을 이용한 심장 주파수 정보의 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN108451526A true CN108451526A (zh) 2018-08-28

Family

ID=63239635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810131256.4A Pending CN108451526A (zh) 2017-02-17 2018-02-08 使用瞳孔反应来检测频域心脏信息的方法及系统

Country Status (1)

Country Link
CN (1) CN108451526A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568423A (zh) * 2019-02-15 2020-08-25 南京昇翠人工智能有限公司 用户呼吸的共振频率估计值的量测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
CN103956028A (zh) * 2014-04-23 2014-07-30 山东大学 一种汽车多元驾驶安全防护方法
US20140214335A1 (en) * 2010-04-19 2014-07-31 Innerscope Research, Inc. Short imagery task (sit) research method
KR20170004549A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
KR20170004548A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214335A1 (en) * 2010-04-19 2014-07-31 Innerscope Research, Inc. Short imagery task (sit) research method
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
CN103956028A (zh) * 2014-04-23 2014-07-30 山东大学 一种汽车多元驾驶安全防护方法
KR20170004549A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
KR20170004548A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAUGMAN, J: "Statistical richness of visual phase information: Update on recognizing persons by iris patterns", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
刘晓敏: "《基于虹膜识别的商务会馆管理系统的实现》", 31 August 2015, 湖南师范大学出版社 *
柏板令: "《中华医学百科全书 基础医学 人体解剖学》", 31 October 2015, 中国协和医科大学出版社 *
毕宏彦，等: "《智能理论与智能仪器》", 31 October 2010, 西安交通大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568423A (zh) * 2019-02-15 2020-08-25 南京昇翠人工智能有限公司 用户呼吸的共振频率估计值的量测方法及装置
CN111568423B (zh) * 2019-02-15 2023-03-03 南京昇翠人工智能有限公司 用户呼吸的共振频率估计值的量测方法及装置

Similar Documents

Publication Publication Date Title
US11452475B2 (en) Systems and methods for assessing and improving sustained attention
Cho et al. Instant stress: detection of perceived mental stress through smartphone photoplethysmography and thermal imaging
CN107809951B (zh) 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置
Ferreira et al. Assessing real-time cognitive load based on psycho-physiological measures for younger and older adults
US20180279935A1 (en) Method and system for detecting frequency domain cardiac information by using pupillary response
KR101752873B1 (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
Valenza et al. Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification
Park et al. Non-contact measurement of heart response reflected in human eye
Przybyło et al. Eyetracking-based assessment of affect-related decay of human performance in visual tasks
Zou et al. A framework towards quantifying human restorativeness in virtual built environments
Rescio et al. Ambient and wearable system for workers’ stress evaluation
Mehmood et al. Multimodal integration for data-driven classification of mental fatigue during construction equipment operations: Incorporating electroencephalography, electrodermal activity, and video signals
Desai et al. Electrodermal activity (EDA) for treatment of neurological and psychiatric disorder patients: a review
KR102165831B1 (ko) 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템
KR101996027B1 (ko) 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
KR102193726B1 (ko) 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
CN108451494A (zh) 使用瞳孔反应来检测时域心脏参数的方法及系统
CN108451526A (zh) 使用瞳孔反应来检测频域心脏信息的方法及系统
Sadek et al. Sensor data quality processing for vital signs with opportunistic ambient sensing
KR20170004548A (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
CN108451496B (zh) 检测脑心连通性的信息的方法及其系统
JP2024512045A (ja) メンタルヘルスを診断および監視するための視覚システム
JP6158887B2 (ja) 有用情報提示装置
Heravi et al. Recurrence quantification analysis of electrooculography signal to a control question test: A new approach for the detection of deception
Cho et al. Instant Automated Inference of Perceived Mental Stress through Smartphone PPG and Thermal Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Pu Xiangren

Inventor after: Li Dongyuan

Inventor after: Wen Shengzhe

Inventor after: Yuan Mingzhu

Inventor after: Huang Minzhe

Inventor before: Huang Minzhe

Inventor before: Pu Xiangren

Inventor before: Yuan Mingzhu

Inventor before: Li Dongyuan

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20210831

Address after: 20, Hongjimun 2nd Street, Jongno District, Seoul, South Korea (Postal Code: 03016)

Applicant after: SANGMYUNG University SEOUL INDUSTRY ACADEMY COOPERATION FOUNDATION

Address before: 20, Hongjimun 2nd Street, Jongno District, Seoul, South Korea (Postal Code: 03016)

Applicant before: SANGMYUNG University SEOUL INDUSTRY ACADEMY COOPERATION FOUNDATION

Applicant before: CENTER OF HUMAN-CENTERED INTERACTION FOR COEXISTENCE

TA01 Transfer of patent application right