CN113598741B - 一种房颤评价模型训练方法、房颤评价方法和装置 - Google Patents
一种房颤评价模型训练方法、房颤评价方法和装置 Download PDFInfo
- Publication number
- CN113598741B CN113598741B CN202110734238.7A CN202110734238A CN113598741B CN 113598741 B CN113598741 B CN 113598741B CN 202110734238 A CN202110734238 A CN 202110734238A CN 113598741 B CN113598741 B CN 113598741B
- Authority
- CN
- China
- Prior art keywords
- atrial fibrillation
- training
- vppg
- pulse signal
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010003658 Atrial Fibrillation Diseases 0.000 title claims abstract description 129
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013210 evaluation model Methods 0.000 title claims abstract description 33
- 238000011156 evaluation Methods 0.000 title claims abstract description 26
- 230000033764 rhythmic process Effects 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 36
- 230000009467 reduction Effects 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 230000001020 rhythmical effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 15
- 230000001815 facial effect Effects 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000013186 photoplethysmography Methods 0.000 abstract description 3
- 238000013145 classification model Methods 0.000 abstract description 2
- 125000004122 cyclic group Chemical group 0.000 abstract 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 1
- 238000012216 screening Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 206010003119 arrhythmia Diseases 0.000 description 4
- 230000006793 arrhythmia Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002763 arrhythmic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 206010061592 cardiac fibrillation Diseases 0.000 description 1
- 230000008828 contractile function Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002600 fibrillogenic effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/361—Detecting fibrillation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Abstract
本发明公开了一种房颤评价模型训练方法、房颤评价方法和装置，属于智能医疗技术领域。该房颤评价方法步骤包括：获取包括训练对象的脸部影像，并通过视频光电容积描记法提取所述训练对象脸部的VPPG脉搏信号，将脉搏信号输入基于循环神经网络的降噪自编码器，实现脉搏信号节律变化特征的提取；再将脉搏特征输入到一种特征评分准则约束下的房颤分类模型，实现房颤的检测。本发明可以将失真的面部脉搏信号编码为无干扰的脉搏特征，并对房颤发病期间的脉搏特征进行重点监测，从而提高阵发性房颤检测的鲁棒性和准确性，为现实环境中房颤的快速筛查提供一种便捷途径。
Description
技术领域
本发明属于智能医疗技术领域，具体地说，涉及一种房颤评价模型训练方法、房颤评价方法和装置。
背景技术
心房颤动简称房颤，是一种常见的心律失常疾病，发病时心脏失去正常的收缩功能并出现无序的颤动。卒中是房颤的一种并发症。房颤病人患卒中的概率是普通人的五倍，约有20％的卒中由房颤直接引起。因此，房颤的及时检测和治疗是预防脑卒中的关键步骤。但早期房颤往往为没有持续症状的阵发性房颤。采用普通的短时心电图检查可能无法捕捉到房颤的发病瞬间，从而影响房颤的检出率和治疗效果。
随着PPG(Photoplethysmography,光电体积描记法)信号采集设备的研发和推广PPG采集模块逐渐进入日常运用。目前市面出现的设备以及搭配的算法如基于启发式规则进行房颤检测，如现有的视频光电容积描记术(Video Photoplethysmography,IPPG)是一种基于视频的心血管参数检测技术。应当理解，皮下组织中的血液容量会随着心脏跳动而改变，这种生理现象称为脉搏。血液中血红蛋白对环境光的吸收率又会随着脉搏而变化，并进一步导致人脸皮肤颜色出现微弱的变化。这种肤色变化会被普通摄像头捕捉到，并可以反映皮下脉搏状态。根据正常脉搏的节律均匀规则，而房颤脉搏的节律则杂乱无序这一特点可以用来检测房颤是否发生。然而，目前VPPG技术对受试者头部运动、表情变化、成像设备晃动等不稳定因素非常敏感，导致提取的脉搏信号存在不同程度的失真，容易引起房颤的误检。
发明内容
1、要解决的问题
针对现有技术存在的脉搏信号存在不同程度的失真，导致房颤检测准确率不高的问题，本发明提供一种房颤评价模型训练方法，首先提取所述训练对象脸部的VPPG脉搏信号；进一步提取所述VPPG脉搏信号的节律变化特征作为训练数据，输入softmax分类器中进行训练得到房颤评价模型，通过该节律变化特征重建的PPG脉搏信号不含失真成分，对VPPG脉搏信号中运动伪影具有抗干扰能力；且该节律变化特征维度低于VPPG脉搏信号，是对VPPG脉搏信号冗余性的一种压缩，相比VPPG脉搏信号，具有更好的表达能力和鲁棒性，从而更适用于房颤的识别。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种房颤评价模型训练方法，所述方法包括如下步骤：
获取包括训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的节律变化特征作为训练数据，输入softmax分类器中进行训练得到房颤评价模型。
在一些实施例中，训练基于循环神经网络的降噪自编码器，用以提取VPPG脉搏信号的节律变化特征。
在一些实施例中，所述的降噪自编码器采用RNN网络模型构建；
将VPPG脉搏信号分解为T个片段，分别作为降噪自编码器的输入；获取VPPG脉搏信号在t时刻的隐藏状态特征向量ht作为节律变化特征；
其中，所述隐藏状态特征向量ht包含了t时刻脉搏信号片段的基本信息，还包含了与t-1个时刻所对应的信号片段之间的关联信息。
在一些实施例中，所述的降噪自编码器模型的损失函数表达式如下：
RNNw,b表示RNN降噪自编码器的映射函数，表示与VPPG脉搏信号反向的PPG脉搏信号，L表示损失函数；N表示训练样本数量；IVPPG表示输入的VPPG脉搏信号；n表示第n例训练样本。
在一些实施例中，所述的房颤评价模型训练步骤包括：
将所述的降噪自编码器获取的所有时刻的隐藏层状态特征向量ht作为softmax分类器的训练数据；
通过全连接神经网络学习每个时刻中所述隐藏层状态特征向量ht的评分at；
对评分at进行归一化，并将所述隐藏层状态特征向量按归一化的评分进行加性融合，得到约束下的合成特征向量hsyn；
再将合成特征向量hsyn输入到全连接神经网络中进行房颤分类训练，得到预置的房颤评价模型。
在一些实施例中，所述softmax分类器的损失函数定义为预测输出与训练标签的交叉熵，其表达式如下：
式中，Cw,b表示分类器的映射函数，l(n)是房颤分类的独热编码标签；N表示训练样本数量。
在一些实施例中，完成预置的房颤评价模型的训练之后，还包括微调训练，所述微调训练阶段的损失函数如下：
式中，Enw,b表示编码器的映射函数；Cw,b表示分类器的映射函数，l(n)是房颤分类的独热编码标签；N表示训练样本数量；LC表示微调训练阶段的损失函数，n表示第n例训练样本。
在一些实施例中，所述提取训练对象脸部的VPPG脉搏信号步骤包括：
通过判别响应图拟合算法对包括训练对象的脸部影像中人脸区域和面部特征点进行定位；
基于面部特征点在预定时间段内的位移轨迹，采用KLT算法对影像中的人脸运动进行追踪，抑制训练对象面部刚性运动之干扰；
将影像从RGB空间转化到HIS空间，并提取Hue通道的色度信息用于构建VPPG脉搏信号。
在一些实施例中，所述的提取Hue通道的色度信息用于构建VPPG脉搏信号步骤包括：
计算包含训练对象的脸部影像中人脸区域中所有像素点的灰度平均值，建立时间轴上的一维色度变化信号，获得VPPG脉搏信号。
本发明第二方面提供一种房颤评价方法，所述方法包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的节律变化特征，将所述节律变化特征向量输入到如上述的房颤评价模型中进行分类，得到对应的评价类别，所述评价类别包括非房颤和房颤。
本发明第三方面提供一种房颤评价装置，所述装置包括：
第一提取模块，其用于获取包括训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号；
第二提取模块，其用于提取所述VPPG脉搏信号的节律变化特征；及
被配置为上述的房颤评价模型，其用于接收所述节律变化特征向量，输出与所述节律变化特征向量对应的评价类别，所述评价类别包括非房颤和房颤。
本发明第四方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述的方法。
本发明第五方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
3、有益效果
相比于现有技术，本发明至少具有以下有益效果：
(1)本发明首先提取所述训练对象脸部的VPPG脉搏信号；再提取所述VPPG脉搏信号的节律变化特征作为训练数据，输入softmax分类器中进行训练得到房颤评价模型，通过该节律变化特征重建的PPG脉搏信号不含失真成分，对VPPG脉搏信号中运动伪影具有抗干扰能力。
(2)本发明中节律变化特征可以表现脉搏信号不同时段间的变化规律，重建脉搏信号包含了脉搏信号的主要结构信息，其中脉搏信号的节律变化特性是房颤检测的主要依据，且节律变化特征维度低于VPPG脉搏信号，是对VPPG脉搏信号冗余性的一种压缩，相比VPPG脉搏信号，具有更好的表达能力和鲁棒性，从而更适用于房颤的识别。
(3)本发明设计了基于RNN降噪自编码模型，能够引导模型提取脉搏信号的节律变化信息，将失真的VPPG脉搏信号编码为无干扰的特征向量，从而降低头部运动、表情变化等不稳定因素对房颤检测造成的干扰。
(4)本发明为了让房颤评价模型能够敏锐地捕捉到节律失常片段，通过训练的特征评分系统对不同时段隐藏状态向量的贡献度进行打分，迫使模型赋予房颤发作片段更高的网络权重，使该模型能够重点监测房颤发病期间的脉搏信号片段，从而提高了阵发性房颤的检出率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1为本申请实施例提供的一种房颤评价模型训练方法流程图；
图2为本申请实施例提供的一种房颤评价装置的框图；
图3为本申请实施例提供的房颤评价模型训练流程图；
图4图示了根据本申请实施例的电子设备的框图；
图5为本申请实施例提供的基于RNN降噪编码器结构框图；
图6为本申请实施例提供的房颤检测模型结构框图；
图7为本申请实施例提供的普通自编码器结构框图；
图8为本申请实施例提供的基于房颤评价模型的阵发性房颤长期监测流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性方法
如图1所示，一种房颤评价模型训练方法，所述方法包括如下步骤：
S100：获取包括训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号。
具体的，本示例中为了构建合适的训练数据库，训练对象包括正常人和房颤患者的面部信息；可以同通过图像采集设备获取训练对象的面部信息的影像，这里的影像可以是关于训练对象的一段视频，也可以是关于训练对象面部的在一段时间内的图片。例如，可以采用手机的前置摄像头录制受试者的面部视频，视频时长为1分钟，帧率为30帧/秒，分辨率为1920像素×1080像素。
优选的，为了能够模拟患者可能的状态，受试者手持手机，头部和手机在同一水平线上，两者的距离约为30厘米。视频在室内LED灯照明环境下拍摄，期间受试者可以自由进行头部晃动、说话、眨眼等动作。同时，采用医用级脉搏仪同步地从受试者指尖处采集PPG脉搏信号，作为从视频中提取脉搏信号的参考。本示例中共采集正常人和房颤患者的样本各500例，用于本示例中房颤评价模型的训练和测试，训练和测试样本的比例为4:1。
在一些实施例中，所述提取训练对象脸部的VPPG脉搏信号步骤包括：
首先，通过判别响应图拟合(Discriminative response map fitting)算法对视频每一帧的人脸区域和面部特征点进行定位，其目的为滤除视频背景中的干扰。然后，基于预定时间段内面部特征点的位移轨迹，采用KLT(Kanede-Lucas-Tomasi)算法对视频中的人脸运动进行追踪，抑制面部刚性运动干扰。进一步，为了突出视频的色度变化信息，将视频从RGB(Red Green Blue)空间转化到HIS(Hue Saturation Intensity)空间，并提取Hue通道的色度信息用于构建VPPG脉搏信号。最后，计算视频每一帧人脸区域中所有像素点的灰度平均值，建立时间轴上的一维色度变化信号，即VPPG脉搏信号。
S200：提取所述VPPG脉搏信号的节律变化特征作为训练数据，输入softmax分类器中进行训练得到房颤评价模型。
具体的，阵发性房颤是一种常见的房颤类型，其脉搏信号表现为部分时段出现节律失常现象，其他时段和正常脉搏信号没有区别。这里的节律变化特征可以表现脉搏信号不同时段间的变化规律，脉搏信号的节律变化特性是房颤检测的主要依据，且节律变化特征维度低于VPPG脉搏信号，是对VPPG脉搏信号冗余性的一种压缩，相比VPPG脉搏信号，具有更好的表达能力和鲁棒性，从而更适用于房颤的识别。
如图7所示，作为一个变化例，采用普通自编码器提取VPPG脉搏信号特征。普通自编码器的结构如图7所示，包括依次连接的输入层、隐藏层和输出层。其中在输入层输入VPPG脉搏信号，输出层输出为同步的PPG脉搏信号。输入层、隐藏层和输出层均采用全连接网络相连。该模型的前半部分为编码器，将VPPG脉搏信号编码成特征向量；后半部分为解码器，通过特征向量重建PPG脉搏信号。模型输入输出层单元数相同，隐藏层单元数少于输入层和输出层。基于上述模型结构，该网络的隐藏层会学习到VPPG脉搏信号的一种高阶特征，即节律变化特征。
进一步，该普通自编码器的损失函数表达式如下：
式中IVPPG和IPPG分别表示VPPG脉搏信号与PPG脉搏信号；FCw,b表示降噪自编码器的映射函数，下标w和b分别表示网络的权重和偏置；N表示训练样本数量；n表示第n例训练样本。
作为一个变化例，本示例训练基于循环神经网络(Recurrent Neural Network)的降噪自编码器，用以提取VPPG脉搏信号的节律变化特征。如图7展示的普通自编码器采用了全连接结构，提取的特征主要包含了VPPG脉搏信号的整体结构信息，但是对脉搏信号不同时段间的变化规律表达能力有限。而脉搏信号的节律变化特性是房颤检测的主要依据，RNN网络可以更好提取信号时序变化特征。鉴于此，本示例将降噪自编码器的全连接结构改进为RNN结构，引导模型提取脉搏信号的节律变化信息。
所述的降噪自编码器采用RNN网络模型构建；
将VPPG脉搏信号分解为T个片段,分别同时作为降噪自编码器的输入；获取VPPG脉搏信号在t时刻的隐藏状态向量ht；
具体的，如图5所示，模型的前半部分是编码器，通过一层RNN网络模型构建；将VPPG脉搏信号分解为T个片段[v1,v2...vT],分别作为RNN不同时刻的输入。图中：[v1,v2...vT]表示不同时段的T个片段的VPPG脉搏信号；[h1,h2...hT]表示不同时段RNN网络的隐藏层状态；[a1，a2...aT]表示不同时段的特征评分。
需要说明的是，在RNN结构中，t时刻隐藏状态向量ht不仅取决于当前时刻的输入，还与t-1时刻的隐藏状态有关。因此，t时刻隐藏状态不仅包含了t时刻脉搏信号片段的基本信息，即关于脉搏信号片段振幅、节律、波形等特征的高阶表达，还包含了与之前t-1个时刻所对应的信号片段之间的关联信息，即不同脉搏信号片段特征的变化和联系。
所述的降噪自编码器模型的损失函数表达式如下：
RNNw,b表示RNN降噪自编码器的映射函数，表示与VPPG脉搏信号反向的PPG脉搏信号，N表示训练样本数量；IVPPG表示输入的VPPG脉搏信号，n表示第n例训练样本。
本示例中相比普通自编码器提取的特征，RNN自编码器提取的特征能够更好的表达脉搏信号不同时段间的变化特性，因而更适用于房颤的检测任务。模型的后半部分是解码器，通过一层RNN实现；基于编码器T时刻提取的特征hT，解码器从T时刻开始对每个脉搏信号片段进行重建，其目的是建立与输入VPPG脉搏信号反向的PPG脉搏信号。
如图3和图6所示，作为一个变化例，所述的房颤评价模型训练步骤包括：
需要说明的是，阵发性房颤是一种常见的房颤类型，其脉搏信号表现为部分时段出现节律失常现象，其他时段和正常脉搏信号没有区别；为了让房颤评价模型能够敏锐地捕捉到节律失常片段参见步骤S302-308。
S302：将所述的降噪自编码器获取的所有时刻的隐藏层状态特征向量，如[h1,h2...hT]作为softmax分类器的训练数据；本示例通过一种可训练的特征评分系统对不同时段隐藏状态向量的贡献度进行打分，迫使模型赋予房颤发作片段更高的网络权重。具体的，特征评分系统约束下的房颤分类模型如图6所示。
S304：通过全连接神经网络学习每个时刻中所述隐藏层状态特征向量ht的评分at；
S306：对评分at进行归一化，并将所述隐藏层状态特征向量按归一化的评分进行加性融合，获得约束下的合成特征向量hsyn，其中hsyn＝a1h1+...+aThT。
S308：再将合成特征向量hsyn输入到全连接神经网络中进行房颤分类训练，得到预置的房颤评价模型。
本示例中，所述softmax分类器的损失函数定义为预测输出与训练标签的交叉熵，其表达式如下：
式中，Cw,b表示分类器的映射函数；l(n)是房颤分类的独热编码标签，例如房颤为[1,0]；非房颤为[0,1]；N表示训练样本数量；n表示第n例训练样本。
作为一个变化例，在完成预置的房颤评价模型的训练之后，还包括微调训练，所述微调训练阶段的损失函数如下：
式中，Enw,b表示编码器的映射函数；Cw,b表示分类器的映射函数，l(n)是房颤分类的独热编码标签；N表示。
本示例还提供一种房颤评价方法，所述方法包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的节律变化特征，将所述节律变化特征向量输入到如上述的房颤评价模型中进行房颤评价，得到对应的评价类别，所述评价类别包括房颤和非房颤。
本示例中目标对象指的是待测的病人，通过图像采集设备获取目标对象的面部信息的影像，通过上述方法提取目标对象脸部的VPPG脉搏信号。基于循环神经网络(Recurrent Neural Network)的降噪自编码器，用以提取VPPG脉搏信号的节律变化特征。将所述节律变化特征向量输入到如上述的房颤评价模型中进行房颤评价，得到对应的评价类别。
如图8所示，作为一个变化例，本示例在完成房颤评价模型的训练后，将模型移植到移动终端中，这里的移动终端包括手机、平板电脑等，并开发成阵发性房颤的长期监测系统，构建基于VPPG房颤评价模型的阵发性房颤长期监测系统。首先利用移动终端内置摄像头于后台持续采集面部视频。每隔一分钟，检测视频中人脸是否持续存在。如果持续存在，则通过所述方法从该段面部视频中提取VPPG脉搏信号，并送入上述房颤评价模型中进行房颤识别。如果识别出存在房颤风险，则预警提示有房颤发生可能，并保存这段脉搏信号数据用于二次分析。如果没有识别出房颤风险，则继续进行视频采集。
示例性装置
如图2所示，一种房颤评价装置，所述装置包括：
第一提取模块20，其用于获取包括训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号；
第二提取模块30，其用于提取所述VPPG脉搏信号的节律变化特征；及
被配置为上述的房颤评价模型40，其用于接收所述节律变化特征向量，输出与所述节律变化特征向量对应的评价类别，所述评价类别包括非房颤和房颤。
示例性电子设备
下面，参考图1来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(OBD)、统一诊断服务(UDS)、惯性测量单元(IMU)、摄像头、激光雷达、毫米波雷达、超声波雷达、车载通信(V2X)等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种房颤评价模型训练方法，其特征在于，所述方法包括如下步骤：
获取包括训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的节律变化特征作为训练数据，输入softmax分类器中进行训练得到房颤评价模型；
训练基于循环神经网络的降噪自编码器，用以提取VPPG脉搏信号的节律变化特征；
所述的降噪自编码器采用RNN网络模型构建；
将VPPG脉搏信号分解为T个片段，分别作为降噪自编码器的输入；获取VPPG脉搏信号在t时刻的隐藏状态特征向量ht作为节律变化特征；
其中，所述隐藏状态特征向量ht包含了t个时刻脉搏信号片段的基本信息，还包含了与t-1个时刻所对应的信号片段之间的关联信息；
所述的降噪自编码器模型的损失函数表达式如下：
表示RNN降噪自编码器的映射函数，/>表示与VPPG脉搏信号反向的PPG脉搏信号，/>表示损失函数；/>表示训练样本数量；/>表示输入的VPPG脉搏信号；/>表示第n例训练样本。
2.根据权利要求1所述的房颤评价模型训练方法，其特征在于，所述的房颤评价模型训练步骤包括：
将所述的降噪自编码器获取的所有时刻的隐藏层状态特征向量h t作为softmax分类器的训练数据；
通过全连接神经网络学习每个时刻中所述隐藏层状态特征向量h t的评分a t；
对评分a t进行归一化，并将所述隐藏层状态特征向量按归一化的评分进行加性融合，得到约束下的合成特征向量；
再将合成特征向量输入到全连接神经网络中进行房颤分类训练，得到预置的房颤评价模型。
3.根据权利要求2所述的房颤评价模型训练方法，其特征在于，所述softmax分类器的损失函数定义为预测输出与训练标签的交叉熵，其表达式如下：
式中，表示分类器的映射函数，/>是房颤分类的独热编码标签；/>表示训练样本数量，/>表示第n例训练样本；h T表示编码器T时刻提取的特征。
4.一种房颤评价方法，其特征在于，所述方法包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的节律变化特征，将节律变化特征向量输入到如权利要求1-3任意一项所述的房颤评价模型中进行分类，得到对应的评价类别，所述评价类别包括非房颤和房颤。
5.一种房颤评价装置，其特征在于，所述装置包括：
第一提取模块，其用于获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
第二提取模块，其用于提取所述VPPG脉搏信号的节律变化特征；及
被配置为如权利要求1-3任意一项所述的房颤评价模型，其用于接收节律变化特征向量，输出与节律变化特征向量对应的评价类别，所述评价类别包括非房颤和房颤。
6.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。
7.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734238.7A CN113598741B (zh) | 2021-06-30 | 2021-06-30 | 一种房颤评价模型训练方法、房颤评价方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734238.7A CN113598741B (zh) | 2021-06-30 | 2021-06-30 | 一种房颤评价模型训练方法、房颤评价方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113598741A CN113598741A (zh) | 2021-11-05 |
| CN113598741B true CN113598741B (zh) | 2024-03-22 |
Family
ID=78303868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110734238.7A Active CN113598741B (zh) | 2021-06-30 | 2021-06-30 | 一种房颤评价模型训练方法、房颤评价方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113598741B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116407133B (zh) * | 2023-06-02 | 2023-08-29 | 中国医学科学院阜外医院 | 心电信号的质量评估方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960968A (zh) * | 2017-12-22 | 2019-07-02 | 成都心吉康科技有限公司 | 分类器的生成方法、房颤检测装置及存储介质 |
| CN110547792A (zh) * | 2019-07-31 | 2019-12-10 | 平安科技（深圳）有限公司 | 房颤的检测方法、装置、计算机设备及存储介质 |
| CN110895969A (zh) * | 2018-09-13 | 2020-03-20 | 大连大学 | 房颤预测决策树及其剪枝的方法 |
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014179544A1 (en) * | 2013-05-01 | 2014-11-06 | Worcester Polytechnic Institute | Detection and monitoring of atrial fibrillation |
-
2021
- 2021-06-30 CN CN202110734238.7A patent/CN113598741B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960968A (zh) * | 2017-12-22 | 2019-07-02 | 成都心吉康科技有限公司 | 分类器的生成方法、房颤检测装置及存储介质 |
| CN110895969A (zh) * | 2018-09-13 | 2020-03-20 | 大连大学 | 房颤预测决策树及其剪枝的方法 |
| CN110547792A (zh) * | 2019-07-31 | 2019-12-10 | 平安科技（深圳）有限公司 | 房颤的检测方法、装置、计算机设备及存储介质 |
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 现实场景中基于手机视频的脉搏波检测;刘雪南;中国优秀硕士学位论文全文数据库（电子期刊）;20200115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113598741A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Fernandes et al. | A novel nonintrusive decision support approach for heart rate measurement | |
| Song et al. | Heart rate estimation from facial videos using a spatiotemporal representation with convolutional neural networks | |
| Sathyanarayana et al. | Vision-based patient monitoring: a comprehensive review of algorithms and technologies | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| CN111839489B (zh) | 非接触式生理心理健康检测系统 | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| CN110664395B (zh) | 图像处理方法、图像处理装置以及存储介质 | |
| Li et al. | Non-contact ppg signal and heart rate estimation with multi-hierarchical convolutional network | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| Peng et al. | 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue | |
| CN115312195A (zh) | 一种基于情绪数据计算个体心理异常的健康评估方法 | |
| CN113598741B (zh) | 一种房颤评价模型训练方法、房颤评价方法和装置 | |
| Wu et al. | A compensation network with error mapping for robust remote photoplethysmography in noise-heavy conditions | |
| Vance et al. | Deception detection and remote physiological monitoring: A dataset and baseline experimental results | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 | |
| Tao et al. | Multi-feature fusion prediction of fatigue driving based on improved optical flow algorithm | |
| CN113598742B (zh) | 房颤分类模型训练方法、房颤识别方法及系统 | |
| Magister et al. | Generative image inpainting for retinal images using generative adversarial networks | |
| Yang et al. | Heart rate estimation from facial videos based on convolutional neural network | |
| CN116109818A (zh) | 一种基于面部视频的中医脉候判别系统及方法和装置 | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| Arppana et al. | Real time heart beat monitoring using computer vision | |
| Kuang et al. | Remote photoplethysmography signals enhancement based on generative adversarial networks | |
| CN113040773A (zh) | 一种数据采集处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |