CN108451494B - 使用瞳孔反应来检测时域心脏参数的方法及系统 - Google Patents

使用瞳孔反应来检测时域心脏参数的方法及系统 Download PDF

Info

Publication number
CN108451494B
CN108451494B CN201810120377.9A CN201810120377A CN108451494B CN 108451494 B CN108451494 B CN 108451494B CN 201810120377 A CN201810120377 A CN 201810120377A CN 108451494 B CN108451494 B CN 108451494B
Authority
CN
China
Prior art keywords
pupil
frequency range
normal
intervals
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810120377.9A
Other languages
English (en)
Other versions
CN108451494A (zh
Inventor
朴相仁
李东原
文圣喆
元明珠
黄珉哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Sangmyung University
Center Of Human Centered Interaction for Coexistence
Original Assignee
Industry Academic Cooperation Foundation of Sangmyung University
Center Of Human Centered Interaction for Coexistence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170147609A external-priority patent/KR20180095431A/ko
Application filed by Industry Academic Cooperation Foundation of Sangmyung University, Center Of Human Centered Interaction for Coexistence filed Critical Industry Academic Cooperation Foundation of Sangmyung University
Publication of CN108451494A publication Critical patent/CN108451494A/zh
Application granted granted Critical
Publication of CN108451494B publication Critical patent/CN108451494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle

Abstract

本发明提供一种使用瞳孔反应来检测时域心脏参数的方法及系统，所述方法包括：从受试者获得瞳孔的移动图像；从所述移动图像提取瞳孔大小变化(PSV)；依据所述瞳孔大小变化计算预定频率范围中的R峰值间隔(RRI)；以及通过处理所述R峰值间隔来获得至少一个时域心脏参数。

Description

使用瞳孔反应来检测时域心脏参数的方法及系统
相关申请的交叉参考
本申请主张于2017年2月17日在韩国知识产权局提出申请的韩国专利申请第10-2017-0021521号以及于2017年11月7日在韩国知识产权局提出申请的第10-2017-0147609号韩国专利申请的权利，所述韩国专利申请的公开内容全文并入本案供参考。
技术领域
一个或多个实施例涉及一种使用瞳孔反应来检测生理信息的方法及一种使用所述方法的系统，且更具体来说，涉及一种使用瞳孔反应来检测时域心脏参数的方法及系统。
背景技术
在生命信号监测(vital signal monitoring，VSM)中，可通过附装到人体的传感器来获取生理信息。此种生理信息包括心电图(electrocardiogram，ECG)、光电体积描记(photo-plethysmograph，PPG)、血压(blood pressure，BP)、皮肤电反应(galvanic skinresponse，GSR)、皮肤温度(skin temperature，SKT)、呼吸作用(respiration，RSP)、及脑电图(electroencephalogram，EEG)。
心脏及大脑是人体的两个主要器官，且对心脏及大脑的分析提供了评估人类行为以及获得可在对事件的反应中及在医疗诊断中使用的信息的能力。生命信号监测可适用于例如普适健康照护(ubiquitous healthcare，U-healthcare)、情绪信息与沟通技术(emotional information and communication technology，e-ICT)、人类因素与工效学(human factor and ergonomics，HF&E)、人机界面(human computer interface，HCI)、及安全系统等各种领域中。
关于心电图及脑电图，附装到身体的传感器用于测量生理信号，且因此可对患者造成不便。也就是说，当使用传感器来测量此类信号时，人体会感受到相当大的应力及不便。另外，就所附装传感器的使用成本及受试者的移动(因附装有传感器硬件)来说，存在负担及限制。
因此，为在以低成本实现自由移动的同时使用非接触式、无创伤性及非侵入性方法来测量生理信号，需要使用生命信号监测技术。
最近，生命信号监测技术已被并入到无线可穿戴装置中，从而能够开发出便携式测量设备。这些便携式装置可使用嵌入到例如手表、手镯或眼镜等附件中的生命信号监测来测量心率(heart rate，HR)及呼吸作用。
据预测，可穿戴装置技术不久便会从便携式装置发展成“可附装”装置。还预测出，可附装装置将变成“可食用”装置。
已开发出使用以低成本实现自由移动的非接触式、无创伤性及非侵入性方法来测量生理信号的生命信号监测技术。在生命信号监测将继续在技术上进步的同时，也需要开发创新的基于视力的生命信号监测技术。
发明内容
一个或多个实施例包括一种用于使用无创伤性及非侵入性方法以低成本来推断及检测人类生命征象的系统及方法。
详细来说，一个或多个实施例包括一种用于使用瞳孔反应或瞳孔大小变化来检测时域心脏参数的系统及方法。
额外方面将部分地在以下说明中被阐述，且部分地将依据所述说明而显而易见，或者可通过实践所呈现实施例而被习得。
根据一个或多个示例性实施例，所述检测时域心脏参数的方法，所述方法包括：从受试者获得瞳孔的移动图像；从所述移动图像提取瞳孔大小变化(pupil size variation，PSV)；依据所述瞳孔大小变化计算预定频率范围中的R峰值间隔(R-peak to R-peakinterval，RRI)；以及通过处理所述R峰值间隔来获得至少一个时域心脏参数。
根据一个或多个示例性实施例，一种采用根据权利要求1所述的方法的系统，所述系统包括：视频捕获单元，被配置成捕获所述受试者的所述移动图像；以及基于计算机架构的分析单元，包括分析工具，且被配置成处理及分析所述移动图像并计算所述至少一个时域心脏参数。
根据一个或多个示例性实施例，所述预定频率范围是由传感器获得的心电图信号的频率范围的1/100的谐波频率范围。
根据一个或多个示例性实施例，所述预定频率范围介于0.005Hz至0.012Hz之间。
根据一个或多个示例性实施例，所述至少一个时域心脏参数是以下中的一者：心率(HR)、正常间期的标准偏差(Standard Deviation of the normal to normal，SDNN)、连续正常R峰值间隔的平方的平均值的平方根(square root of the mean of the squaresof successive normal RR intervals，rMSSD)、及pNN50(连续正常R峰值间隔>50ms)。
附图说明
通过结合附图阅读以下对实施例的说明，这些和/或其他方面将变得显而易见且更易于了解，在附图中：
图1显示根据一个或多个实施例用于选择在示例性测试中使用的声音刺激代表的程序。
图2显示根据一个或多个实施例用于测量上身中的移动量的实验程序。
图3是根据一个或多个实施例用于解释实验程序的框图。
图4A至图4D显示根据一个或多个实施例用于检测瞳孔区的程序。
图5示意性地显示依据瞳孔移动图像(瞳孔直径信号)及心电图(ECG)信号来获得时域心脏参数的过程。
图6显示上身中的移动量的平均数的样本。
图7显示用于从瞳孔反应及心电图信号提取心率(HR)的处理实例。
图8A至图8E显示在无移动条件(movelessness condition，MNC)下从瞳孔反应及心电图信号提取的心脏时间指数的比较例。
图9A至图9E显示在自然移动条件(natural movement condition，NMC)下从瞳孔反应及心电图信号提取的心脏时间指数的比较例。
图10显示根据一个或多个实施例用于捕获瞳孔图像的红外网络摄像机系统。
图11显示根据一个或多个实施例的实时系统的界面屏幕。
附图标号说明
S11、S12、S13、S14、S15、S31、S32、S33：步.骤
具体实施方式
现在将详细参照实施例，所述实施例的实例在附图中显示，其中在所有图中相同的参考编号指代相同的元件。就此来说，本发明实施例可具有不同的形式，而不应被视为仅限于本文所述的说明。因此，以下通过参照各附图来阐述实施例仅是为了阐释本说明的各方面。
在下文中，参照附图来阐述根据本发明概念用于推断及检测生理信号的方法及系统。
然而，本发明可实施为许多不同的形式，而不应被视为仅限于本文所述的实施例；而是，提供这些实施例仅是为了使本发明将透彻及完整起见，且将向所属领域中的普通技术人员全面地传达本发明的概念。在附图中，相同的参考编号表示相同的元件。在附图中，元件及区是示意性地显示。因此，本发明的概念并不受附图中所示的相对大小或距离限制。
本文所使用的术语仅出于阐述特定实施例的目的，而非旨在限制本发明。本文所使用的单数形式“一个(a、an)”及“所述(the)”旨在也包括复数形式，除非上下文另有清晰指示。应进一步理解，当在本说明书中使用用语“包括(comprise和/或comprising、或者include和/或including)”时，是指明存在所陈述特征、数目、步骤、操作、元件、和/或组件，但并不排除一个或多个其他特征、数目、步骤、操作、元件、组件、和/或其群组的存在或添加。
除非另有定义，否则本文所使用的所有用语(包括技术用语及科学用语)均具有与本发明所属领域中的普通技术人员通常所理解的含义相同的含义。应进一步理解，例如在常用词典中所定义的用语等用语应被解释成具有与其在相关技术和/或本申请的背景中的含义相一致的含义，且不应被解释成具有过度形式化意义，除非本文中明确如此定义。
以下所述的实施例涉及依据从视频信息获得的瞳孔反应来处理时域心脏参数。
通过以下所述实施例可充分理解的本发明涉及使用配备有视频摄像机(例如网络摄像机)的视力系统在对受试者无任何身体限制或心理压力的情况下从瞳孔反应或瞳孔大小变化来提取时域心脏信息。具体来说，依据图像信息检测瞳孔反应，且从所检测到的瞳孔反应提取时域心脏参数。
在本发明的实验中，将从通过移动图像获取的瞳孔大小变化(PSV)所提取的时域心脏参数的可靠性与由心电图传感器得出的真实情况(groundtruth)信号进行比较。
与本发明有关的实验是使用视频设备及基于计算机架构的分析系统来执行，所述基于计算机架构的分析系统用于处理及分析移动图像且包括通过软件提供的分析工具。根据示例性实施例的系统是使用Visual C++2010及OpenCV 2.4.3而开发。用于快速傅里叶变换(fast Fourier transformation，FFT)、带通滤波器(band-pass filter，BPF)等的信号处理功能是由LabVIEW 2010提供。
实验刺激
为引起生理状态的变化，此次实验使用了基于拉塞尔(Russell)的cir复合模型(拉塞尔，1980年)的声音刺激。声音刺激包括多个因素，其中包括唤醒(arousal)声音、放松(relaxation)声音、积极(positive)声音、消极(negative)声音、及中性(neutral)声音。中性声音是通过使声学刺激不存在而界定。用于选择声音刺激的步骤显示于图1中且列出如下：
(S11)从例如广告、戏剧及影片等广播媒体收集九百个声音源。
(S12)接着，将声音源分类成四个群组(即，唤醒、放松、积极、及消极)。基于专题小组讨论使每一群组由10个常选项构成，共计四十个声音刺激。
(S13)使用这些刺激来基于从150个受试者搜集的数据对每一种情绪(即，A：唤醒，R：放松，P：积极，及N：消极)实施适宜性调查，所述150个受试者被均匀地分成75个男性及75个女性。平均年龄为27.36岁±1.66岁。需要进行主观评估来为四个因素选择每一项，这可能使得各项中的一者或多者有重复。
(S14)对拟合优度(goodness-of-fit)执行卡方测试(chi-square test)，以判断每一种情绪声音是否受到均等偏好。如表1中所示，对每一种情绪声音的偏好均等地分布在人群中(唤醒：6项，放松：6项，积极：8项，及消极：4项)。
表1显示拟合优度的卡方测试结果，其中为每一种情绪选择的项是基于对观测值与预期值的比较。
<表1>
Figure BDA0001571071880000041
Figure BDA0001571071880000051
使用7分制(seven-point scale)在150个受试者中关于每一种情绪对声音刺激实施重新调查，所述7分制是基于1分指示强烈反对直至7分指示强烈同意。
基于最大方差法(Varimax)(正交)旋转来使用主分量分析(principal componentanalysis，PCA)对与每一种情绪有关的有效声音进行分析。所述分析得到对整个变量集合的方差进行解释的四个因素。在获得分析结果之后，导出每一种情绪的代表性声音刺激，如表2中所示。
在表2中，粗体是相同的因素，模糊字符是公因子方差＜0.5，且背景中有阴影的加粗浅灰色字母表示每一种情绪的声学刺激。
<表2>
Figure BDA0001571071880000052
Figure BDA0001571071880000061
实验程序
两种性别(在男性与女性之间均匀地分配)的七十个大学生志愿者参与了此次实验，这些志愿者的年龄范围为20岁至30岁，平均值为24.52岁±0.64岁。所有受试者均具有正常或经过矫正而正常的视力(即，超过0.8)，且没有涉及视觉功能、心血管系统或中枢神经系统的家族疾病史或医疗疾病史。在研究之前从每一受试者获得了知情书面同意。此次实验研究经过了韩国首尔(Seoul，South Korea)的祥明大学机构审查委员会(Institutional Review Board ofSangmyung University)的批准(2015.8.1)。
实验由两次试验构成，其中每一次试验实施5分钟的持续时间。第一次试验是基于无移动条件(MNC)，此涉及不移动或不讲话。第二次试验是基于自然移动条件(NMC)，此涉及简单的对话及轻微的移动。参与者反复地实施两次试验，且在各受试者中将次序随机化。为验证两种条件之间的移动差异，此次实验使用每一受试者的网络摄像机图像对实验期间的移动量进行定量测量。在本发明中，移动图像可包括至少一个瞳孔，即，单瞳孔图像或双瞳孔图像。
图像是使用来自罗技公司(Logitech Inc.)的HD Pro C920摄像机以1920×1080的分辨率且以30帧/秒(frame per second，fps)而记录。基于MPEG-4来测量上身及面部的移动(泰卡尔普(Tekalp)及奥斯特曼(Ostermann)，2000年；杰泮迪克(JPandzic)及福希海默(Forchheimer)，2002年)。基于帧间差异从整个图像提取上身中的移动。由于背景是静止的，因此上身线并未进行跟踪。
使用来自面容技术公司(Visage Technologies Inc.)的面容SDK 7.4软件基于帧间差异而从84个MPEG-4动画点提取面部中的移动。所有移动数据均使用在实验期间来自每一受试者的平均值，并被与两次试验之间的移动差异进行比较，如图2中所示。
图2显示测量受试者在面部位于X轴与Y轴的相交点处的状态下，上身的运动量的实例。
在图2中，(A)是上身图像，(B)是在84个MPEG-4动画点处所跟踪的面部图像，(C)及(D)显示前帧与后帧之间的差异，(E)是来自上身的移动信号，且(F)显示来自84个MPEG-4动画点的移动信号。
为引起生理状态的变化，在试验期间向参与者呈现声音刺激。在1分钟内随机地呈现每一声音刺激，在5分钟试验内共计五个刺激。在启始任务之前，呈现参考刺激达3分钟。在图3中显示详细的实验程序。
如图3中所示，实验程序包括传感器附装S31、测量任务S32及传感器拆卸S33，且测量任务S32如下进行。
实验是在室内在由通过窗户进入的日光引起的变化的照明下实施。参与者在坐在舒适椅子中的同时注视1.5m距离处的黑色墙壁。在两次试验中使用耳机均等地呈现声音刺激。在无移动条件试验期间，受试者被要求限制移动及讲话。然而，自然移动条件试验涉及使受试者进行简单的对话及轻微的移动。作为对话的一部分，受试者被要求在进行声音刺激时将自身介绍给另一人，从而涉及声音刺激的感觉及思考。在实验期间，获得心电图信号及瞳孔图像数据。
心电图信号是通过来自BIOPAC系统公司的放大器系统、借助导联I(1ead-I)方法、通过一个通道、以500Hz采样率而采样及记录的，所述放大器系统包括心电图100C放大器及MP100电源。心电图信号通过国家仪器公司(National Instrument Inc.)的NI-DAQ-Pad9205被数字化。
瞳孔图像是通过来自灰点研究公司(Point Grey Research Inc.)的GS3-U3-23S6M-C红外摄像机以960×400的分辨率且以125帧/秒而记录。
在下文中，将阐述一种用于从瞳孔反应提取或建构(恢复)生命征象的方法。
瞳孔反应的提取
瞳孔检测程序图10中所示的红外视频摄像机系统来获取移动图像，且接着需要进行特定图像处理程序。
瞳孔检测程序可能需要遵循某些图像处理步骤，因为图像是使用红外视频摄像机而捕获，如图4A至图4D中所示。
图4A至图4D显示从受试者的面部图像来检测瞳孔区的过程。在图4A中，显示从受试者获得的输入图像(灰阶)，图4B显示基于自动阈值而二值化的图像，图4C显示通过圆形边缘检测得出的瞳孔位置，且图4D显示瞳孔区的实时检测结果，其包括关于瞳孔区中心坐标及直径的信息。阈值由使用整个图像的亮度值的线性回归模型而定义，如方程式1中所示。
<方程式1>
阈值＝(-0.418×Bmean+1.051×Bmax)+7.973
B＝亮度值
用以确定瞳孔位置的下一步骤涉及使用圆形边缘检测方法来处理二值图像，如方程式2中所示(多曼(Daugman)，2004年；李(Lee)等人，2009年)。
<方程式2>
Figure BDA0001571071880000071
I(x，y)＝(x，y)位置处的灰度
(x0，y0)＝瞳孔的中心位置
r＝瞳孔的半径
倘若选择多个瞳孔位置，则可使用由红外灯引起的反射光。接着，获得准确的瞳孔位置，包括形心坐标(x，y)及直径。
瞳孔直径数据(信号)是以1Hz至30Hz的频率范围被重采样，如方程式3中所示。对瞳孔直径数据的重采样程序涉及30个数据点的采样率，接着使用常用的滑动移动平均数技术(sliding moving average technique)来计算1秒间隔期间的平均值(即，窗大小为1秒且分辨率为1秒)。然而，因眼睛闭合而导致未被跟踪的瞳孔直径数据不会被用于重采样程序中。
<方程式3>
Figure BDA0001571071880000081
SMA＝滑动移动平均数
P＝瞳孔直径
检测心脏活动中的时域指数
现在结合图5来阐述对心脏时域指数(参数)的检测。参照图5，心脏时域参数包括依据瞳孔反应以及心电图信号(真实情况)确定并获得的HR、SDNN、rMSSD、及pNN50。
HR是心跳的间隔且与心跳的速度有关。BPM是1分钟内心跳的次数。BPM是依据60个R峰值间隔(RRI)而计算出。SDNN是R峰值间隔的正常间隔的标准偏差。SDNN反映心脏的固有功能的起伏。此度量是左心室功能不全(left ventricular dysfunction)、峰值肌酸激酶水平(peak creatine kinase level)、心功能分级(Killip class)及心脏性猝死(suddencardiac death)的指标(卡索乐(Casole)等人，1992年；麦克拉迪(McCraty)及阿特金森(Atkinson)，1996年；王(Wang)及黄(Huang)，2012年；帕克(Park)等人，2014年)。SDNN在低于50ms情况下被高度抑制，且在高于100ms情况下被中度抑制(麦克拉迪及阿特金森，1996年)。
rMSSD是连续正常R峰值间隔的平方的平均值的平方根。此度量反映高频率(短期方差)的心率变异性(heart rate variability，HRV)，且是心脏中副交感神经系统的调节(迷走神经间歇)的指标(麦克拉迪及阿特金森，1996年；王及黄，2012年；帕克等人，2014年)。
pNN50是相差超过50ms的连续正常R峰值间隔的百分比(比例)。此度量与高频率的心率变异性密切相关，且是副交感神经系统对心率的控制的指标(凡帕塔纳森(Vongpatanasin)等人，2004年；王及黄，2012年)。
通过0.005Hz至0.012Hz的带通滤波器(BPF)对以1Hz重采样的瞳孔直径数据进行处理，以确保信息与心脏相关，如方程式(4)中所示。
<方程式4>
Figure BDA0001571071880000082
带通滤波器使用基于由Labview 2010提供的巴特沃斯(Butterworth)滤波器的低通滤波器及高通滤波器(波格丹M(Bogdan M.)及帕努M.(Panu M)，数字滤波器的LabVIEW建模与模拟-现代电力系统工程设计(Lab VIEW modeling and simulation，of the digitalfilters-In Engineering of Modern Electric Systems)，2015IEEE)。
0.5Hz至1.2Hz的带通滤波器范围与心血流量有关，且通过谐波频率而以1/100分辨率来加以应用。接着，可使用基于瞳孔直径帧间差异的瞳孔大小变化来计算经滤波数据。依据瞳孔大小变化信号的平均值来计算HR，如方程式(5)中所示。心率意指心跳的速度，由自主神经系统(autonomic nervous system，ANS)控制，且依据心电图信号中的R峰值间隔而计算出(马利克(Malik)，1996年；麦克拉迪等人，2009年；帕克等人，2014年)。此程序可通过滑动窗技术来执行或处理(即，窗大小为30秒且分辨率为1秒)。
<方程式5>
Figure BDA0001571071880000091
PSV＝瞳孔大小变化
P＝瞳孔直径
可从R峰值间隔信号提取其他心脏时域指数，例如SDNN、rMSSD及pNN50。可基于0.5Hz至1.2Hz的正常范围依据R峰值间隔信号的标准偏差来计算SDNN。可依据正常范围内R峰值间隔信号的平方的平均值的平方根来计算rMSSD。可依据相差超过50ms的R峰值间隔的所计数数目来计算pNN50(王及黄，2012年)，如方程式(6)中所示。
<方程式6>
Figure BDA0001571071880000092
Figure BDA0001571071880000093
Figure BDA0001571071880000094
导联I的心电图信号可以500Hz采样率来加以记录并由0.5Hz至0.12Hz的带通滤波器处理。可使用如泮(Pan)及汤普金斯(Tompkins)(1985年)所论述的QRS检测算法来从此记录提取R峰值。RRI是从R峰值间隔所测量的间隔。可基于在以上所提及的瞳孔数据依据方程式(6)来计算SDNN、rMSSD及pNN50。在图5中显示用于处理心电图信号的详细程序，图5显示心脏时间指数的信号处理的程序。
结果
对瞳孔反应进行处理，以从测试受试者的心脏时域指数、心脏频域指数、脑电图谱指数、及心跳诱发脑电位(heartbeat evoked potential，HEP)指数提取生命征象。基于相关性系数(r)及平均误差值(ME)将这些分量与来自传感器信号(即，真实情况)的每一指数进行比较。针对测试受试者关于无移动条件及自然移动条件两者对数据进行分析。
为验证无移动条件及自然移动条件这两种条件之间的移动量差异，对移动数据进行定量分析。基于概率值(p)＞0.05的正态性测试且依据独立样本t测试，移动数据是正态分布。对所导出的统计显著性执行邦弗朗尼(Bonferroni)校正(邓尼特(Dunnett)，1955年)。基于每一个别假设的数目来控制统计显著性水平(即，α＝0.05/n)。移动数据的统计显著性水平为0.0167(上身、面部的X轴及Y轴，α＝0.05/3)。还计算基于科恩d(Cohen′s d)的效应量(effect size)，以确认实际的显著性。以科恩d来看，效应量的标准值0.10、0.25及0.40通常分别被视为小、中及大的(科恩，2013年)。
图6显示一个受试者在无移动条件及自然移动条件(n＝140，***p＜0.001)下，上身、面部的X轴及Y轴中的移动量的平均数。表3显示在无移动条件及自然移动条件下，上身、面部的X轴及Y轴中的移动量的所有受试者数据。
参照图6及根据分析而成的表3，对于上身(t(138)＝-5.121，p＝0.000，科恩d＝1.366，具有大效应量)、面部的X轴(t(138)＝-6.801，p＝0.000，科恩d＝1.158，具有大效应量)及面部的Y轴(t(138)＝-6.255，p＝0.000，科恩d＝1.118，具有大效应量)来说，在无移动条件下的移动量(上身、面部的X轴及Y轴)与在自然移动条件下相比显著增加。
<表3>
Figure BDA0001571071880000101
Figure BDA0001571071880000111
Figure BDA0001571071880000121
从瞳孔反应提取心脏输出的时域指数，即HR、BPM、SDNN、rMSSD、及pNN50。将这些分量与来自心电图信号(即，真实情况)的时域指数进行比较。
图7中显示用于从瞳孔反应及心电图信号提取HR的处理实例。此次实验能够确定通过捕捉谐波频率而从瞳孔反应确定心脏时间指数，即HR、BPM、SDNN、rMSSD、及pNN50。0.5Hz至1.2Hz范围中的心脏节律与0.005Hz至0.012Hz范围内的昼夜瞳孔节律有密切关联。瞳孔直径的大小变化与心脏节律同步，其中谐波频带的分辨率是1/100分辨率。也就是说，频率范围与心电图信号(真实情况)的频率的1/100的谐波频率范围相同。依据HR信号来计算其他时域指数，即BPM、SDNN、rMSSD、及pNN50。
在图7中，(A)显示瞳孔大小的帧间差异信号，(B)显示基于滑动移动平均数(窗大小：30帧/秒，及分辨率：30帧/秒)而重采样的为1Hz的信号的波形，(C)显示在谐波频率为1/100f的情况下经带通滤波的为0.005Hz至0.012Hz的信号，(D)显示瞳孔大小变化的信号，(E)显示从瞳孔反应得出的心率波形，(F)显示心电图原始信号，(G)显示从心电图原始信号检测R峰值(QRS复合波)及R峰值间隔，且(H)显示来自心电图信号(真实情况)的心率波形。
图8A至图8E显示受试者在无移动条件下的心脏时间指数(HR、BPM、SDNN、rMSSD、及pNN50)的比较例，其中对于HR，r＝0.921，ME＝0.018；对于BPM，r＝0.918，ME＝1.063；对于SDNN，r＝0.864，ME＝1.308；对于rMSSD，r＝0.977，ME＝0.100；对于pNN50，r＝0.838，ME＝1.642。
针对所有受试者将无移动条件下的结果与真实情况进行比较，从瞳孔反应得出的心脏时间指数表明所有参数均具有强相关性系数(r)，其中对于HR，r＝0.898±0.064；对于BPM，r＝0.898±0.064；对于SDNN，r＝0.783±0.088；对于rMSSD，r＝0.944±0.059；且对于pNN50，r＝0.804±0.055。所有参数的平均误差ME之间的所有差为低的，其中对于HR，ME＝0.009±0.006；对于BPM，ME＝0.825±0.296；对于SDNN，ME＝3.138±3.453；对于rMSSD，ME＝0.143±0.101；且对于pNN50，ME＝1.433±0.346。
此程序是使用在300秒内记录的数据通过滑动窗技术来执行，其中窗大小为30秒且分辨率为1秒。
表4显示在无移动条件下心脏时间指数的相关性系数及平均误差的平均数(N＝270，p＜0.01)。在表4中，相关性系数及平均误差是70个受试者的平均值(在一个受试者中，N＝270)。
<表4>
Figure BDA0001571071880000131
Figure BDA0001571071880000141
Figure BDA0001571071880000151
图9A至图9E显示从受试者的瞳孔反应及心电图信号(自然移动条件)提取的心脏时间指数的比较例，其中对于HR，r＝0.915，ME＝0.007；对于BPM，r＝0.917，ME＝0.934；对于SDNN，r＝0.841，ME＝3.763；对于rMSSD，r＝0.996，ME＝0.065；对于pNN50，r＝0.636，ME＝4.957。
针对所有受试者将自然移动条件下的结果与真实情况进行比较，从瞳孔反应得出的心脏时间指数对于所有参数均具有强相关性，其中对于HR，r＝0.824±0.091；对于BPM，r＝0.824±0.090；对于SDNN，r＝0.710±0.105；对于rMSSD，r＝0.938±0.077；且对于pNN50，r＝0.748±0.082。所有参数的平均误差之间的差为低的，其中对于HR，ME＝0.013±0.007；对于BPM，ME＝1.295±0.585；对于SDNN，ME＝4.178±2.501；对于rMSSD，ME＝0.154±0.113；且对于pNN50，ME＝1.872±0.979。
此程序是使用在300秒内记录的数据通过滑动窗技术(窗大小：30秒，及分辨率：1秒)来执行及处理。相关性及平均误差是70个受试者的平均值(在一个受试者中，N＝270)，如表5中所示。
表5显示在自然移动条件下的心脏时间指数的相关性系数及平均误差的平均数(N＝270，p＜0.01)。
<表5>
Figure BDA0001571071880000161
Figure BDA0001571071880000171
Figure BDA0001571071880000181
用于检测心脏时域参数的实时系统
用于检测心脏时域信息的实时系统是基于对瞳孔图像的捕获及处理而开发。此系统可包括红外网络摄像机、近红外(红外光)照明器(红外灯)、及用于分析的个人计算机。
红外网络摄像机被划分成两种类型：固定型，为常见的通用串行总线(UniversalSerial Bus，USB)网络摄像机；以及便携型，由可穿戴装置表示。网络摄像机是来自罗技公司的HD Pro C920，其被转换成红外网络摄像机以检测瞳孔区域。
拆卸了网络摄像机内的红外(IR)滤光器，并将来自柯达公司(Kodac Inc.)的用于截止可见光的红外通过滤光器插入到网络摄像机中以使得比750nm长的红外波长能够通过，如图10中所示。网络摄像机内的12mm镜头被替换成3.6mm镜头，以能够在测量0.5m至1.5m的距离时聚焦在图像上。
图10显示用于摄取瞳孔图像的红外网络摄像机系统。
图10所示通用串行总线网络摄像机的传统12mm镜头被替换成36mm镜头，以便在拍摄0.5m至15m的距离时可对受试者进行聚焦。
图11显示用于从红外网络摄像机及传感器检测及分析生物信号的实时系统的界面屏幕，其中(A)：红外瞳孔图像(输入图像)，(B)：经二值化瞳孔图像，(C)：检测瞳孔区域，(D)：心脏时间参数的输出。
如上所述，本发明开发并提供一种用于依据瞳孔的移动图像来测量人类生命征象的先进方法。由此，可使用监测瞳孔反应的低成本红外网络摄像机系统来执行对心脏时域参数的测量。心脏时间指数涉及HR以及依据HR计算出的其他参数，例如BPM、SDNN、rMSSD、及pNN50。针对七十个受试者，在噪音条件(无移动条件及自然移动条件)以及各种生理状态(通过情绪声音刺激使唤醒及效价(valence)水平变化)下对此结果进行验证。
本发明的研究调查了在验证实验期间由唤醒心情、放松心情、积极心情、消极心情、及中性心情的刺激引起的人类生理条件的变化。根据本发明的基于瞳孔反应的方法是一种用于生命征象监测的先进技术，其可在静态或动态情景下测量生命征象。
本发明可应用于需要使用生命信号监测技术的各种行业，例如普适健康照护、情绪信息与沟通技术、人类因素、人机界面、及安全性。
应理解，本文所述的实施例应被视为仅具有说明性意义而非用于限制目的。对每一实施例内各特征或方面的说明通常应被视为可用于其他实施例中的其他类似特征或方面。
尽管已参照各附图阐述了一个或多个实施例，然而所属领域中的普通技术人员应理解，在不背离由以上权利要求所界定的本发明精神及范围的条件下，可在形式及细节上对本文作出各种改变。

Claims (8)

1.一种检测时域心脏信息的方法，其特征在于，所述方法包括：
从受试者获得瞳孔的移动图像；
从所述移动图像提取瞳孔大小变化；
依据所述瞳孔大小变化计算预定频率范围中的R峰值间隔；以及
通过处理所述R峰值间隔来获得至少一个时域心脏参数，
其中所述预定频率范围是由传感器获得的心电图信号的频率范围的1/100的谐波频率范围。
2.根据权利要求1所述的方法，其特征在于，所述预定频率范围介于0.005Hz至0.012Hz之间。
3.根据权利要求1所述的方法，其特征在于，所述至少一个时域心脏参数是以下中的一者：心率、正常间期的标准偏差、连续正常R峰值间隔的平方的平均值的平方根、及pNN50。
4.根据权利要求2所述的方法，其特征在于，所述至少一个时域心脏参数是以下中的一者：心率、正常间期的标准偏差、连续正常R峰值间隔的平方的平均值的平方根、及pNN50。
5.一种采用根据权利要求1所述的方法的系统，其特征在于，所述系统包括：
视频捕获单元，被配置成捕获所述受试者的所述移动图像；以及
基于计算机架构的分析系统，包括分析工具，且被配置成处理及分析所述移动图像并计算所述至少一个时域心脏参数，
其中所述预定频率范围是由传感器获得的心电图信号的频率范围的1/100的谐波频率范围。
6.根据权利要求5所述的系统，其特征在于，所述预定频率范围介于0.005Hz至0.012Hz之间。
7.根据权利要求5所述的系统，其特征在于，所述至少一个时域心脏参数是以下中的一者：心率、正常间期的标准偏差、连续正常R峰值间隔的平方的平均值的平方根、及pNN50。
8.根据权利要求6所述的系统，其特征在于，所述至少一个时域心脏参数是以下中的一者：心率、正常间期的标准偏差、连续正常R峰值间隔的平方的平均值的平方根、及pNN50。
CN201810120377.9A 2017-02-17 2018-02-06 使用瞳孔反应来检测时域心脏参数的方法及系统 Active CN108451494B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0021521 2017-02-17
KR20170021521 2017-02-17
KR1020170147609A KR20180095431A (ko) 2017-02-17 2017-11-07 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
KR10-2017-0147609 2017-11-07

Publications (2)

Publication Number Publication Date
CN108451494A CN108451494A (zh) 2018-08-28
CN108451494B true CN108451494B (zh) 2021-02-02

Family

ID=63166238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810120377.9A Active CN108451494B (zh) 2017-02-17 2018-02-06 使用瞳孔反应来检测时域心脏参数的方法及系统

Country Status (2)

Country Link
US (1) US10631727B2 (zh)
CN (1) CN108451494B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109846473B (zh) * 2019-03-19 2021-11-05 苏州哈特智能医疗科技有限公司 一种检测单导联10秒心电图噪音干扰程度的方法
US20220370018A1 (en) * 2019-10-16 2022-11-24 Click Therapeutics, Inc. System, apparatus, and method for predicting acute coronary syndrome via image recognition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5542051B2 (ja) * 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
KR20170004549A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
KR20170004547A (ko) 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 뇌 정보 (EEG spectrum) 추출 방법 및 그 장치
CN106175742A (zh) * 2016-07-19 2016-12-07 北京心量科技有限公司 一种心脏体征获取方法以及装置
KR101752873B1 (ko) 2016-09-19 2017-06-30 상명대학교산학협력단 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치

Also Published As

Publication number Publication date
US20180235464A1 (en) 2018-08-23
CN108451494A (zh) 2018-08-28
US10631727B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
Blascovich et al. Social psychophysiology for social and personality psychology
KR101722708B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
CN107809951B (zh) 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置
KR101542733B1 (ko) 생리적 상태를 결정하기 위한 방법 및 시스템
US20180279935A1 (en) Method and system for detecting frequency domain cardiac information by using pupillary response
KR101752873B1 (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
McDuff et al. Fusing partial camera signals for noncontact pulse rate variability measurement
Valenza et al. Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification
KR20200071647A (ko) 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법
WO2020175759A1 (ko) 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
Kong et al. Pain detection using a smartphone in real time
Park et al. Non-contact measurement of heart response reflected in human eye
Fiedler et al. Fusion-based approach for respiratory rate recognition from facial video images
CN108451494B (zh) 使用瞳孔反应来检测时域心脏参数的方法及系统
Rescio et al. Ambient and wearable system for workers’ stress evaluation
KR101996027B1 (ko) 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
KR102193726B1 (ko) 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
KR20170004549A (ko) 동공 크기 변화율을 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
Paliwal et al. Real time heart rate detection and heart rate variability calculation
CN108451496B (zh) 检测脑心连通性的信息的方法及其系统
KR20170004548A (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
Saidi et al. Proposed new signal for real-time stress monitoring: Combination of physiological measures
KR20220117632A (ko) 원격 상담 서비스 제공 방법 및 시스템
CN108451526A (zh) 使用瞳孔反应来检测频域心脏信息的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Pu Xiangren

Inventor after: Li Dongyuan

Inventor after: Wen Shengzhe

Inventor after: Yuan Mingzhu

Inventor after: Huang Minzhe

Inventor before: Huang Minzhe

Inventor before: Pu Xiangren

Inventor before: Yuan Mingzhu

Inventor before: Li Dongyuan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant