CN113598742B - 房颤分类模型训练方法、房颤识别方法及系统 - Google Patents
房颤分类模型训练方法、房颤识别方法及系统 Download PDFInfo
- Publication number
- CN113598742B CN113598742B CN202110734336.0A CN202110734336A CN113598742B CN 113598742 B CN113598742 B CN 113598742B CN 202110734336 A CN202110734336 A CN 202110734336A CN 113598742 B CN113598742 B CN 113598742B
- Authority
- CN
- China
- Prior art keywords
- atrial fibrillation
- training
- facial
- vppg
- pulse signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010003658 Atrial Fibrillation Diseases 0.000 title claims abstract description 102
- 238000012549 training Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013145 classification model Methods 0.000 title claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims abstract description 67
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- IGODGTDUQSMDQU-UHFFFAOYSA-N 2-amino-2-cyclopropyl-2-(4-phosphonophenyl)acetic acid Chemical compound C=1C=C(P(O)(O)=O)C=CC=1C(N)(C(O)=O)C1CC1 IGODGTDUQSMDQU-UHFFFAOYSA-N 0.000 claims 1
- 238000013186 photoplethysmography Methods 0.000 abstract description 40
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000033764 rhythmic process Effects 0.000 abstract description 12
- 230000004886 head movement Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007920 subcutaneous administration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/361—Detecting fibrillation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Cardiology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了房颤分类模型训练方法、房颤识别方法及系统，属于智能医疗技术领域。该训练方法通过视频光电容积描记法从视频中提取面部脉搏信号；同时采用医用级脉搏仪同步地采集指尖脉搏信号。然后，设计并训练面部与指尖脉搏信号的解耦网络模型，提取两种信号的共享特征。在此基础上，将面部脉搏信号的共享特征输入到分类器中，训练房颤分类模型。再完成模型的训练后，只需往模型中输入面部脉搏信号即可实现房颤检测。本发明可以在潜在特征空间中对脉搏节律特征与干扰信号特征进行分离，从而降低受试者头部运动、表情变化等不稳定因素造成的干扰，实现在实际环境中高精度的非接触式房颤检测。
Description
技术领域
本发明属于智能医疗技术领域，具体地说，涉及房颤分类模型训练方法、房颤识别方法及系统。
背景技术
房颤是最常见的心律失常之一，发病时心脏搏动急剧加快且节律紊乱。中国目前房颤患者已超过1000万，且患病率随着年龄增加而升高，65岁以上人群中的患病率高达3％。随着老龄化进程的加速，我国的房颤患者人数在未来预计将会持续升高。房颤会成倍地增加心力衰竭、脑卒中等并发症的风险，严重危害患者的身体健康。房颤的及时诊断和治疗是预防并发症的重要途径。但是，早期房颤多数没有持续明显的症状，超过30％的房颤患者因不知晓病情而贻误了最佳治疗时机。
筛查可以检测出早期的无症状房颤，从而提高房颤的治疗效果。心电图(Electrocardiogram,ECG)是目前房颤的主要筛查方法，但是依赖于专业的检测设备和操作人员，不适用于大范围人群的房颤筛查。光电容积描记术(Photoplethysmography,PPG)是一种相对便捷的房颤检测技术。PPG技术将特定波段的光线入射至受试者指尖、手腕等部位的皮下组织中，同时利用附着在皮肤表面的光电传感器记录由皮下血液容积变化引起的反射/透视光强度变化，实现脉搏信号的检测。脉搏是一种由心跳搏动对血液的推力以及血管内壁对血液的阻力相互作用形成的生理信号。正常脉搏信号的振动节律具有明显的周期性，而房颤脉搏信号的振动节律往往紊乱不齐。基于两种脉搏信号在振动节律特性上的差异，PPG技术可以对房颤的发生风险进行评估。
目前，随着计算机视觉以及成像技术的快速发展，基于视频的光电容积描记术(Video Photoplethysmography,VPPG)成为了PPG领域一个前沿发展方向。由于，脉搏会改变皮下血液对环境光的吸收率，进而导致人脸皮肤颜色出现相应的变化。这种变化虽然肉眼不可见，但是可以被普通摄像头捕捉到。VPPG技术采用普通摄像头录制受试者的面部视频，再通过计算机视觉方法从视频的色度变化中提取脉搏信号，基于脉搏振动特性实现房颤检测。
例如，现有技术公开了一种脉搏波检测方法，包括：从感兴趣区域的视频中获取三种颜色的灰度变化曲线；通过独立成分分析将所述灰度变化曲线分解为一个或多个独立成分；根据所述一个或多个独立成分的幅值或周期性，从所述一个或多个独立成分确定所述脉搏波。该方法相比传统方法，具有易实现、非接触、低成本等特点。但是，上述VPPG技术对受试者面部运动、表情变化、成像设备晃动等不稳定因素引起的运动干扰非常敏感，导致提取的脉搏信号存在大量的运动伪影，会降低房颤检测的准确性，因此本领域亟需开发一种新的房颤检测方法。
发明内容
1、要解决的问题
针对现有通过VPPG技术检测房颤的准确率较低的问题，本发明提供房颤分类模型训练方法，是基于训练对象的面部及指尖脉搏的共享特征；能够通过神经网络揭示脉搏信号与运动干扰信号之间的相互关系，并采用解耦网络模型实现面部脉搏信号和指尖脉搏信号在潜在特征(latent feature)空间上的有效分离；从而降低受试者头部运动、表情变化等不稳定因素造成的干扰，再基于脉搏信号的振动节律特征作为共享特征，训练分类器网络模型进行房颤识别，能够有效提高房颤分类模型识别的准确率。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种房颤分类模型训练方法，所述方法包括：
同步采集训练对象的面部脉搏信号和指尖脉搏信号；
根据面部脉搏信号和指尖脉搏信号训练解耦网络模型，利用所述解耦网络模型提取所述面部脉搏信号的共享特征作为训练数据；
将所述面部脉搏信号的共享特征输入到分类器中训练，得到房颤分类模型。
在一些实施例中，所述采集训练对象的面部脉搏信号步骤包括：
获取预定帧率训练对象的脸部影像，提取所述训练对象脸部脉搏信号；其中在获取所述训练对象脸部影像的同时，采集所述训练对象与所述预定帧率对应的指尖脉搏信号。
在一些实施例中，所述的提取所述训练对象脸部脉搏信号步骤包括：
通过判别响应图拟合算法对包括训练对象的脸部影像中人脸区域和面部特征点进行定位；
基于面部特征点在预定时间段内的位移轨迹，采用KLT算法对影像中的人脸运动进行追踪，抑制训练对象面部刚性运动之干扰；
计算脸部影像中人脸区域中所有像素点的灰度平均值，构建红、绿、蓝三通道的灰度值在时间轴上的变化信号；
提取绿色通道的灰度变化信号，作为所述训练对象脸部脉搏信号IVPPG。
在一些实施例中，所述解耦网络模型包括编码器和解码器；
利用所述编码器将所述面部脉搏信号和指尖脉搏信号分别编码成潜在特征；
利用所述解码器将所述潜在特征依次进行重组和解码，实现对所述面部脉搏信号和指尖脉搏信号的重建。
在一些实施例中，所述解耦网络模型训练步骤包括：
所述编码器在编码阶段，分别对面部脉搏信号和指尖脉搏信号进行编码，得到面部脉搏信号的潜在特征FVPPG以及指尖脉搏信号的潜在特征FPPG；其中所述潜在特征FVPPG包括共享特征FsVPPG和私有特征FeVPPG；所述潜在特征FPPG包括私有特征FePPG和共享特征FsPPG；
所述解码器在解码阶段，将私有特征FeVPPG和共享特征FsVPPG进行依次进行特征融合和解码，输出第一面部脉搏重建信号；
将私有特征FePPG和共享特征FsPPG依次进行特征融合和解码，输出第一指尖脉搏重建信号；
将私有特征FeVPPG和共享特征FsPpG依次进行特征融合和解码，输出第二面部脉搏重建信号；
将私有特征FePPG和共享特征FsVPPG依次进行特征融合和解码，输出第二指尖脉搏重建信号。
在一些实施例中，所述分类器采用三层全连接网络结构，其中输出层采用softmax函数进行激活；所述的分类器的损失函数定义为预测值和训练标签的交叉熵，其表达式如下：
式中，Cw,b是分类器的映射函数；y是独热编码标签；FsVPPG表示面部脉搏信号的共享特征；N表示训练样本数量；n表示第n例训练样本。
在一些实施例中，完成预置的房颤模型的训练之后，还包括对房颤分类模型以及预配置的解耦网络模型联合微调训练；联合微调训练参数均采用基于反向传播的梯度下降法进行迭代优化，每次迭代中参数更新如下：
式中α表示学习率，设置为0.01；b表示网络偏置；w表示网络权重。
本发明第二方面提供一种房颤识别方法，包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部脉搏信号；
提取所述脸部脉搏信号的共享特征，将所述共享特征向量输入到如上述的房颤分类模型中进行分类，得到对应的评价类别，所述评价类别包括房颤和非房颤。
本发明第三方面提供一种房颤识别系统，包括：
第一提取模块，其用于获取包括目标对象的脸部影像，提取所述目标对象脸部脉搏信号；
第二提取模块，其用于提取所述脸部脉搏信号的共享特征；
被配置为上述的房颤分类模型，其用于接收所述目标对象的共享特征，输出对应的评价类别，所述评价类别包括房颤和非房颤。
本发明第四方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
本发明第五方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本示例提供房颤分类模型训练方法，是基于训练对象的面部脉搏信号及指尖脉搏信号的共享特征，能够通过神经网络揭示脉搏信号与运动干扰信号之间的相互关系，并采用解耦网络模型实现面部脉搏信号和指尖脉搏信号在潜在特征(latent feature)空间上的有效分离；减轻运动干扰对房颤检测的影响，且基于脉搏信号的振动节律特征作为共享特征，训练分类网络进行房颤识别，能够有效提高房颤分类模型识别的准确率，相比传统的心电图和指尖脉搏仪等接触式检测方法具有更好的便捷性和灵活性。
(2)本示例通过交换部分共享特征来重建脉搏信号的方式，首先模型可以将脉搏潜在特征分解成共享特征和私有特征；由于共享特征包含了与房颤密切相关的脉搏节律信息，而私有特征包含了与房颤无关的运动、光照等干扰信息，因此模型可以在潜在特征空间中对房颤相关特征和其他干扰特征进行有效分离，减轻运动干扰对房颤检测的影响，从而降低受试者头部运动、表情变化等不稳定因素造成的干扰。
(3)本示例完成分类器的训练后，进一步对整个房颤分类模型(包含编码器和分类器)进行联合微调训练，让模型参数达到全局最优解，模型的可训练参数均采用基于反向传播的梯度下降法进行迭代优化，从而使损失降到最低。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1为本发明实施例提供的房颤分类模型训练方法流程图；
图2为本发明实施例提供的解耦网络模型结构框图；
图3为本发明实施例提供的房颤分类模型的训练的框图；
图4图示了根据本申请实施例的电子设备的框图；
图5为本发明实施例提供的房颤识别系统的结构框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性方法
如图1和3所示，一种房颤分类模型训练方法，所述方法包括如下步骤：
S100：同步采集训练对象的面部脉搏信号和指尖脉搏信号。
具体的，本示例中为了构建合适的脉搏样本库，训练对象包括正常人和房颤患者的面部信息；获取预定帧率训练对象的脸部影像，提取所述训练对象脸部的VPPG脉搏信号；如可以同通过图像采集设备获取训练对象的面部信息的影像，这里的影像可以是关于训练对象的一段视频，也可以是关于训练对象面部的在一段时间内的图片。
例如，采用某手机摄像头录制20秒的训练对象的面部视频，视频的预定帧率为30帧/秒、分辨率为1920像素×1080像素。视频录制在室内LED灯照明环境下拍摄；录制期间，镜头与人脸处于同一水平线上，两者的距离大约为50厘米，受试者可自由地做出头部晃动、表情变化、说话等动作。
进一步，为了使训练对象脸部影像与指尖脉搏信号采集的对应，获取所述训练对象脸部影像的同时，采集所述训练对象与所述预定帧率对应的指尖脉搏信号。例如，采集所述训练对象面部视频的同时，采用医用级PPG脉搏仪从受试者指尖处采集20秒的PPG脉搏信号IPPG，信号的采样率设置为30帧/秒。分别采集面部视频和PPG脉搏信号各800例用作训练样本，其中400例来自房颤患者，400例来自正常人；采集面部视频和PPG脉搏信号各200例用作测试样本，其中100例来自房颤患者，100例来自正常人。本领域技术人员应该理解，本示例中关于上述面部脉搏信号和指尖脉搏信号的采集只是做出适应性解释，不作为对于本发明的限定。
S200：根据面部脉搏信号和指尖脉搏信号训练解耦网络模型，利用所述解耦网络模型提取所述面部脉搏信号的共享特征作为训练数据。
具体的，如图2所示，解耦网络模型包括编码器和解码器；编码器和解码器均采用三层全连接网络组成，激活函数为Relu。构建并训练基于面部脉搏信号与指尖脉搏信号解耦网络模型。该模型的输入为同步采集的面部VPPG脉搏信号和指尖PPG脉搏信号，通过编码器将输入的两种脉搏信号编码成潜在特征，再通过解码器网络将潜在特征进行重组和解码，实现对输入脉搏信号的重建；利用构建的解耦网络模型提取所述面部脉搏信号的共享特征作为训练数据。
S300：将所述面部脉搏信号的共享特征输入到分类器中训练，得到房颤分类模型。
具体的，在完成解耦网络模型的训练后，将提取的含有脉搏节律信息的VPPG共享特征FsVPPG输入到分类器中，训练房颤分类器。本示例中，分类器采用三层全连接网络，输出层采用softmax函数进行激活。
本示例中，分类器的损失函数定义为预测值和训练标签的交叉熵，其表达式如下：
式中，Cw,b是分类器的映射函数，y是独热编码标签；FsVPPG表示面部的VPPG脉搏信号的共享特征；N表示训练样本数量；n表示第n例训练样本。
作为一个变化例，完成分类器的训练后，进一步对整个房颤分类模型(包含编码器和分类器)进行联合微调训练，其目的是让模型参数达到全局最优解。在本示例中，模型的可训练参数均采用基于反向传播的梯度下降法进行迭代优化，每次迭代中参数更新如下：
式中α表示学习率，本示例设置为0.01；b表示网络偏置；w表示网络权重。
作为一个变化例，所述的提取训练对象脸部的面部VPPG脉搏信号步骤包括：
S202：通过判别响应图拟合算法对包括训练对象的脸部影像中人脸区域和面部特征点进行定位。
具体的，采用DRMF(Discriminative response map fitting)算法定位视频每一帧中人脸及66个面部特征点的位置；此处的面部特征点的识别可以通过现有的asm人脸特征点检测，在此不做赘述。
S204：基于面部特征点在预定时间段内的位移轨迹，采用KLT(Kanede-Lucas-Tomasi)算法对影像中的人脸运动进行追踪，抑制训练对象面部刚性运动之干扰，以此抵消或者减弱人脸刚性运动的影响。
S206：计算脸部影像中人脸区域中所有像素点的灰度平均值，构建红、绿、蓝三通道的灰度值在时间轴上的变化信号。
需要说明的是，图像的彩色都是由红、绿、蓝三基色光按一定的比例组成的，数码相机图像传感器采集的正是这三种色光的光强。视频通常是由数码摄像机采集的彩色视顺，数码摄像机采集图像使用的是图像传感器，基于拜尔阵列技术形成彩色图像。
S208：提取绿色通道的灰度变化信号，作为所述训练对象脸部脉搏信号IVPPG。
作为一个变化例，当房颤分类器模型训练完成后，在实际检测过程中，模型会输出四种结论。(1)真阳：模型将房颤样本正确地检测为房颤；(2)真阴：模型将非房颤样本正确地检测为非房颤；(3)假阳：模型将非房颤样本错误地检测为房颤；(4)假阴：模型将房颤样本错误地检测为非房颤。
基于上述结果，采用以下三个常用统计量对模型的性能进行测试评估：
(1)敏感性：SE＝TP/(TP+FN)
(2)特异性：SP＝TN/(TN+FP)
(3)准确性：AC＝(TP+TN)/(TP+TN+FP+FN)
式中TP、TN、FP、FN分别依次表示测试数据集中的真阳、真阴、假阳、假阴样本数。
作为一个变化例，所述解耦网络模型训练步骤包括：所述编码器在编码阶段，采用全连接网络分别对面部脉搏信号和指尖脉搏信号进行编码，得到面部脉搏信号(VPPG)的潜在特征FVPPG以及指尖脉搏信号(PPG)的潜在特征FPPG。应当理解，输入的面部脉搏信号本质上是面部的脉搏信号、面部运动伪影、环境光照变化信号的一种复杂组合，其编码后的潜在特征FVPPG中应含有描述面部脉搏、运动和光照等因素的特征成分。类似地，输入的指尖脉搏信号(PPG)本质上是指尖脉搏信号、指尖运动伪影、仪器光照变化信号的一种组合，其编码后的潜在特征FPPG应包含描述指尖脉搏、运动和光照等因素的特征成分。
其中，面部脉搏信号FVPPG与指尖脉搏信号FPPG都反映了心脏收缩与舒张的规律，两者具有相同的振动节律。因此，两种脉搏信号的潜在特征中具有相同的成分，即描述脉搏振动特性的特征成分。本示例将相同的特征成分定义为两者的共享特征FsVPPG和FsPPG。此外，VPPG脉搏信号FVPPG与PPG脉搏信号FPPG由于采集部位和信号成像方式的不同，两者的波形存在差异。因此，两种脉搏信号的潜在特征中也具有不同的成分，例如描述运动伪影、光照以及指尖脉搏与面部脉搏差异的特征成分。本示例将不同的特征成分定义为两者的私有特征FeVPPG和FePPG。
如图2所示，在解码阶段，将私有特征FeVPPG和共享特征FsVPPG以向量相加的方式进行特征融合，输入到全连接网络中进行解码，输出第一面部脉搏重建信号IVPPG，其损失函数L1如下：
FeVPPG(n)＝E1w,b(IVPPG)
FsVPPG(n)＝E2w,b(IVPPG)
式中D1w,b和表示解码器1的映射函数；E1w,b和E2w,b分别表示编码器1和编码器2的映射函数；下标w和b分别表示网络的权重和偏置；N表示训练样本的总量，n表示第n例训练样本。
进一步，将PPG私有特征FePPG和PPG共享特征FsPPG以向量相加的方式进行特征融合，再输入到全连接网络中进行解码，得到第一指尖的IPPG脉搏重建信号，其损失函数L2如下：
FePPG(n)＝E4w,b(IPPG)
FsPPG(n)＝E3w,b(IPPG)
式中O4w,b和表示解码器4的映射函数；E3w,b和E4w,b分别表示编码器3和编码器4的映射函数；下标w和b分别表示网络的权重和偏置；N表示训练样本的总量，n表示第n例训练样本。
进一步，将VPPG私有特征FeVPPG和PPG共享特征FsPPG以向量相加的方式进行特征融合，再输入到全连接网络中进行解码；由于PPG共享特征和VPPG共享特征相同(FsPPG＝FsVPPG)，故解码器输出的是第二面部脉搏重建信号IVPPG，其损失函数如下：
式中D3w,b和表示解码器3的映射函数；下标w和b分别表示网络的权重和偏置；N表示训练样本的总量，n表示第n例训练样本。
进一步，将PPG私有特征FePPG和VPPG共享特征FsVPPG以向量相加的方式进行特征融合，再输入到全连接网络中进行解码，得到第二指尖脉搏重建信号IPPG，其损失函数如下：
式中D2w,b和表示解码器3的映射函数；下标w和b分别表示网络的权重和偏置；N表示训练样本的总量，n表示第n例训练样本。
需要说明的是，上述四个损失函数中，L1作用是保证VPPG潜在特征包含了VPPG脉搏信号的全部信息，并能够有效地还原VPPG脉搏信号；L2的作用与L1类似；L3的作用是PPG共享特征能够替代VPPG共享特征，并与VPPG私有特征相结合重建VPPG脉搏信号；L4的作用与L3类似。
本示例通过交换部分特征来重建脉搏信号的方式，解耦网络模型可以将脉搏潜在特征分解成共享特征和私有特征。由于共享特征包含了与房颤密切相关的脉搏节律信息，而私有特征包含了与房颤无关的运动、光照等干扰信息，因此解耦网络模型可以在潜在特征空间中对房颤相关特征和其他干扰特征进行分离。
如图3所述，本示例还提供一种房颤识别方法，包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
提取所述VPPG脉搏信号的共享特征，其中所述共享特征可以采用上述的编码器进行提取；将所述共享特征向量输入到如上述的房颤分类模型中进行分类，得到对应的评价类别，所述评价类别包括非房颤和房颤。
本示例，通过神经网络揭示脉搏信号与运动干扰信号之间的相互关系，并采用解耦模型实现两者在潜在特征(latent feature)空间上的有效分离；在此基础上，将基于脉搏信号的振动节律特征作为共享特征，通过训练分类网络进行房颤识别，能够有效提高房颤识别的。
示例性系统
如图5所示，本示例提供一种房颤识别系统，包括：
第一提取模块20，其用于获取包括目标对象的脸部影像，提取所述目标对象脸部的VPPG脉搏信号；
第二提取模块30，其用于提取所述VPPG脉搏信号的共享特征；其中所述共享特征可以采用上述的编码器进行提取；
被配置为上述的房颤分类模型40，其用于接收所述目标对象的共享特征，输出对应的评价类别，所述评价类别包括非房颤和房颤。
示例性电子设备
下面，参考图1来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(OBD)、统一诊断服务(UDS)、惯性测量单元(IMU)、摄像头、激光雷达、毫米波雷达、超声波雷达、车载通信(V2X)等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种房颤分类模型训练方法，其特征在于，所述方法包括：
同步采集训练对象的面部脉搏信号和指尖脉搏信号；
根据面部脉搏信号和指尖脉搏信号训练解耦网络模型，利用所述解耦网络模型提取所述面部脉搏信号的共享特征作为训练数据；
将所述面部脉搏信号的共享特征输入到分类器中训练，得到房颤分类模型；
所述解耦网络模型包括编码器和解码器；
利用所述编码器将所述面部脉搏信号和指尖脉搏信号分别编码成潜在特征；
利用所述解码器将所述潜在特征依次进行重组和解码，实现对所述面部脉搏信号和指尖脉搏信号的重建；
所述解耦网络模型训练步骤包括：
所述编码器在编码阶段，分别对面部脉搏信号和指尖脉搏信号进行编码，得到面部脉搏信号的潜在特征FVPPG以及指尖脉搏信号的潜在特征FPPG；其中所述潜在特征FVPPG包括共享特征FsVPPG和私有特征FeVPPG；所述潜在特征FPPG包括私有特征FePPG和共享特征FsPPG；
所述解码器在解码阶段，将私有特征FeCPPG和共享特征FsVPPG进行依次进行特征融合和解码，输出第一面部脉搏重建信号；
将私有特征FePPG和共享特征FsPPG依次进行特征融合和解码，输出第一指尖脉搏重建信号；
将私有特征FeVPPG和共享特征FsPPG依次进行特征融合和解码，输出第二面部脉搏重建信号；
将私有特征FePPG和共享特征FsVPPG依次进行特征融合和解码，输出第二指尖脉搏重建信号；
所述分类器采用三层全连接网络结构，其中输出层采用softmax函数进行激活；所述的分类器的损失函数定义为预测值和训练标签的交叉熵，其表达式如下：
式中，Cw,b是分类器的映射函数；y是独热编码标签；FsVPPG表示面部脉搏信号的共享特征；N表示训练样本数量；n表示第n例训练样本。
2.根据权利要求1所述的房颤分类模型训练方法，其特征在于，所述采集训练对象的面部脉搏信号步骤包括：
获取预定帧率训练对象的脸部影像，提取所述训练对象脸部脉搏信号；其中在获取所述训练对象脸部影像的同时，采集所述训练对象与所述预定帧率对应的指尖脉搏信号。
3.根据权利要求2所述的房颤分类模型训练方法，其特征在于，所述的提取所述训练对象脸部脉搏信号步骤包括：
通过判别响应图拟合算法对包括训练对象的脸部影像中人脸区域和面部特征点进行定位；
基于面部特征点在预定时间段内的位移轨迹，对脸部影像中的人脸运动进行追踪，抑制训练对象面部刚性运动之干扰；
计算脸部影像中人脸区域中所有像素点的灰度平均值，构建红、绿、蓝三通道的灰度值在时间轴上的变化信号；
提取绿色通道的灰度变化信号，作为所述训练对象脸部脉搏信号IVPPG。
4.一种房颤识别方法，其特征在于，包括：
获取包括目标对象的脸部影像，提取所述目标对象脸部脉搏信号；
提取所述脸部脉搏信号的共享特征，将共享特征向量输入到如权利要求1-3任意一项所述的房颤分类模型中进行分类，得到对应的评价类别，所述评价类别包括房颤和非房颤。
5.一种房颤识别系统，其特征在于，包括：
第一提取模块，其用于获取包括目标对象的脸部影像，提取所述目标对象脸部脉搏信号；
第二提取模块，其用于提取所述脸部脉搏信号的共享特征；
被配置为权利要求1-3任意一项所述的房颤分类模型，其用于接收所述目标对象的共享特征，输出对应的评价类别，所述评价类别包括房颤和非房颤。
6.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。
7.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734336.0A CN113598742B (zh) | 2021-06-30 | 2021-06-30 | 房颤分类模型训练方法、房颤识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734336.0A CN113598742B (zh) | 2021-06-30 | 2021-06-30 | 房颤分类模型训练方法、房颤识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113598742A CN113598742A (zh) | 2021-11-05 |
| CN113598742B true CN113598742B (zh) | 2024-03-22 |
Family
ID=78336986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110734336.0A Active CN113598742B (zh) | 2021-06-30 | 2021-06-30 | 房颤分类模型训练方法、房颤识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113598742B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114271800B (zh) * | 2021-12-01 | 2024-06-28 | 西北工业大学 | 一种办公环境下的非侵扰式连续血压监测方法及应用 |
| WO2024148288A1 (en) * | 2023-01-05 | 2024-07-11 | Rochester Institute Of Technology | Detecting atrial fibrillation using visually discernible facial expessions |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109199343A (zh) * | 2018-07-17 | 2019-01-15 | 北京邮电大学 | 一种心房颤动的评估方法、系统和设备 |
| CN109960968A (zh) * | 2017-12-22 | 2019-07-02 | 成都心吉康科技有限公司 | 分类器的生成方法、房颤检测装置及存储介质 |
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9913587B2 (en) * | 2013-11-01 | 2018-03-13 | Cardiio, Inc. | Method and system for screening of atrial fibrillation |
| EP3495994A1 (en) * | 2017-12-05 | 2019-06-12 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
-
2021
- 2021-06-30 CN CN202110734336.0A patent/CN113598742B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960968A (zh) * | 2017-12-22 | 2019-07-02 | 成都心吉康科技有限公司 | 分类器的生成方法、房颤检测装置及存储介质 |
| CN109199343A (zh) * | 2018-07-17 | 2019-01-15 | 北京邮电大学 | 一种心房颤动的评估方法、系统和设备 |
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 现实场景中基于手机视频的脉搏波检测;刘雪南;中国优秀硕士学位论文全文数据库;20200115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113598742A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Abnormal respiratory patterns classifier may contribute to large-scale screening of people infected with COVID-19 in an accurate and unobtrusive manner | |
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| Sathyanarayana et al. | Vision-based patient monitoring: a comprehensive review of algorithms and technologies | |
| Monkaresi et al. | A machine learning approach to improve contactless heart rate monitoring using a webcam | |
| ES2960027T3 (es) | Detección de anomalías en las señales de ECG | |
| CN110664395B (zh) | 图像处理方法、图像处理装置以及存储介质 | |
| CN113598742B (zh) | 房颤分类模型训练方法、房颤识别方法及系统 | |
| Li et al. | Non-contact PPG signal and heart rate estimation with multi-hierarchical convolutional network | |
| Molinaro et al. | Multi-roi spectral approach for the continuous remote cardio-respiratory monitoring from mobile device built-in cameras | |
| Fernando et al. | Deep Learning for Medical Anomaly Detection-A Survey. | |
| KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
| Deng et al. | Standoff heart rate estimation from video: A review | |
| Ding et al. | Noncontact multiphysiological signals estimation via visible and infrared facial features fusion | |
| CN116049674A (zh) | 一种基于生成对抗网络的有创血压波形估计的方法及系统 | |
| Liu et al. | Vidaf: A motion-robust model for atrial fibrillation screening from facial videos | |
| Lampier et al. | A deep learning approach to estimate pulse rate by remote photoplethysmography | |
| Sadek et al. | Computer Vision Techniques for Autism Symptoms Detection and Recognition: A Survey. | |
| Liu et al. | VideoCAD: an uncertainty-driven neural network for coronary artery disease screening from facial videos | |
| Chowdhury et al. | LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams | |
| Mirabet-Herranz et al. | LVT Face Database: A benchmark database for visible and hidden face biometrics | |
| Karaman et al. | Activities of daily living indexing by hierarchical HMM for dementia diagnostics | |
| CN113598741B (zh) | 一种房颤评价模型训练方法、房颤评价方法和装置 | |
| CN116994310B (zh) | 一种基于rPPG信号的远程心率检测方法 | |
| Karmuse et al. | A robust rPPG approach for continuous heart rate measurement based on face | |
| KR102493242B1 (ko) | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |