CN110269600A - 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 - Google Patents

基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 Download PDF

Info

Publication number
CN110269600A
CN110269600A CN201910720279.3A CN201910720279A CN110269600A CN 110269600 A CN110269600 A CN 110269600A CN 201910720279 A CN201910720279 A CN 201910720279A CN 110269600 A CN110269600 A CN 110269600A
Authority
CN
China
Prior art keywords
signal
heart rate
input signal
frame video
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910720279.3A
Other languages
English (en)
Other versions
CN110269600B (zh
Inventor
陈勋
汪旻达
宋仁成
成娟
李畅
刘羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910720279.3A priority Critical patent/CN110269600B/zh
Publication of CN110269600A publication Critical patent/CN110269600A/zh
Application granted granted Critical
Publication of CN110269600B publication Critical patent/CN110269600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法，其步骤包括：1、获取视频图像并确定面部感兴趣区域，然后将感兴趣区域分成若干子区域；2、每个子区域选取绿色通道均指信号或者色差信号作为输入信号；3、采用多元经验模态分解处理输入信号，得到输入信号本征模态分量数据集；4、采用联合盲源分离处理输入信号本征模态分量数据集，得到源信号矩阵，并从中筛选出脉冲信号；5、采用频率谱分析的方法从脉冲信号中提取心率。本发明能够鲁棒且准确地获取视频心率检测结果，并在日常的医疗保健方面具有重要的应用前景。

Description

基于多元经验模态分解与联合盲源分离的非接触式视频心率 检测方法
技术领域
本发明属于生物医学信号处理的技术领域，尤其涉及一种基于多元经验模态分解结合联合盲源分离的方法从视频中非接触地提取人体心率的方法。
背景技术
心率作为人体的重要生理参数，它的长期监测对心血管疾病的早期预防和预后诊断，以及对人类健康的监护都具有重大的意义。目前人体心率监测方法按照与人体皮肤接触与否主要分为接触式监测方法与非接触式监测方法两种方法。接触式方法测量结果准确可靠，社会认可程度高，但需要与皮肤长时间接触容易导致身体不适，并且不适用于皮肤敏体质和烧烫伤患者进行心率监测。非接触式监测方法克服了传统接触式方法的不足，能够使被监测者更加放松从而提高监测的可靠性和准确性，同时也能满足长期监测的需求。据监测原理的不同非接触式监测方法分为电容耦合心电图、超声多普勒雷达、微波多普勒雷达、光学心振动图、热成像、成像式光学容积描记法等技术，其中新近兴起的成像式光学描记技术，由于其对设备要求较低，简单易便携，应用范围广等优点引起了国内外学术界的广泛关注。
成像式光学容积描记法等技术又称为远程光电容积描记技术(remotephotoplethysmography，rPPG)技术。它采用普通摄像头捕捉人面部由于心跳和呼吸运动造成的微小变化，并储存成视频图像，之后采用专用的数字信号处理技术以及计算机恢复出人体的生理参数信号，从而计算出人体的心率。在过去的十年中rPPG技术取得极大的发展，在2008年，Verkruysse等人首次在环境光作为光源的条件下从普通数码相机捕捉的人脸视频中恢复出人体心率，但是他们的研究缺乏严格的生理和数学模型作为理论支持，仅仅依靠手动分割原始图像得到结果，缺少足够的性能验证过程。于是2010年，Poh和Picard等人首次提出了一种基于盲源分离的方法提取心率。该研究结合了人脸识别以及盲源分离技术，通过摄像头红绿蓝传感器捕捉人脸视频信号采用独立成分分析(independentcomponent analysis，ICA)的方法首次实现人体心率自动检测。自此以后，越来越多的基于现实环境的光学模型和先进的信号处理技术用于该领域。
最近，AliAl-Naji等人采用自适应噪声完备集合经验模态分解(CompleteEnsemble Empirical Mode Decomposition with Adaptive Noise，CEEMDAN)对感兴趣区域的绿色通道进行分解，然后采用典型相关分析(Canonical Correlation Analysis，CCA)的方法提取rPPG信号，该方法能够有效地减小环境光和运动伪迹对视频心率提取的影响。Qi Huan等人也提出了一种采用联合盲源分离的新方法进行非接触式心率测量。该方法确定多个人脸感兴趣区域，然后每个子区域都分别得到RGB颜色通道数据，最后采用联合盲源分离的方法，识别与PPG信号相对应的可靠的共同潜在源成分。最后结果表明，其得到的心率估计结果优于单个感兴趣区域的结果。然而上述两种方法也存在一些缺陷。AliAl-Naji的方法只考虑了单个感兴趣区域的结果，没有考虑不同面部区域之间的对应的人体心率具有关联性，所以相比于多区域联合分析心率的结果，对单个区域进行心率值估计更容易出现异常值，且缺乏鲁棒性。Qi Huan的方法虽然考虑到了多个区域联合提取心率的优势，但所采用的是每个区域对应的RGB原始数据，缺乏对输入信号进行去噪的预处理，使得不同区域提取的潜在源成分仍然有可能混叠共同的噪声源成分，因此该方法提取的心率容易存在较大误差，使得心率估计结果不准确。
发明内容
本发明是为解决上述技术所存在的不足，提出了一种基于多元经验模态分解与联合盲源分离从视频中非接触地提取人体心率的方法，以期能够提高视频的心率检方法的准确性及鲁棒性，从而增加rPPG技术应用于现实环境下精确提取心率的可能性。
本发明为解决技术问题采用如下技术方案如下：
本发明一种基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法的特点是按照如下步骤进行：
步骤1：获取t帧视频图像，并采用人脸检测及面部追踪法确定所述t帧视频图像中的面部感兴趣区域，将每帧视频图像中的面部感兴趣区域均分成N块子区域；
步骤2：对于每块子区域，选取绿色通道均值信号或者色差信号作为输入信号，并由所有子区域的输入信号构成输入信号数据集G(t)＝[i1(t),i2(t),...,in(t),...,iN(t)]T，in(t)为t帧视频图像的第n个子区域输入信号，其中，1≤n≤N；
步骤3：采用噪声辅助的多元经验模态分解方法将所述输入信号数据集G(t)分解成若干个本征模态分量；
步骤4：采用联合盲源分离法所示的X(t)＝AZ(t)和/或Z(t)＝WX(t)对所述t帧视频图像的本征模态数据集X(t)进行盲源分离处理，得到混合矩阵A，解混矩阵W以及t帧视频图像的源信号矩阵Z(t)＝[Z1(t),Z2(t),...,Zn(t),...,ZN(t)]T，其中，Zn(t)为t帧视频图像的第n个子区域的源信号矩阵，并有：Zn(t)＝[z1n(t),z2n(t),...,zkn(t),...,zKn(t)]T，zkn(t)表示t帧视频图像的第n个子区域的源信号矩阵中第k个源成分向量，1≤k≤K；
步骤5：筛选t帧视频图像的源信号矩阵Z(t)中第一个源成分向量，得到候选心率信号集合其中，zp(t)表示筛选后的t帧视频图像的第p个候选心率信号，1≤p≤P≤K；
步骤6：计算第p个候选心率信号zp(t)的主频率以及二次谐波频率的能量之和bp，从而得到P个候选心率信号总能量集合Bp＝{b1,b2,…,bp,…,bP}，并得到第p个候选心率信号zp(t)的能量比值为
步骤7：筛选所有候选心率信号中最大能量比值作为最佳心率估计信号，并记为脉冲信号；采用快速傅里叶变换将所述脉冲信号转换成频域形式，并得到脉冲信号的主频率fmain，从而得到平均心率为HRavg＝fmain·δ，δ表示测试时间。
本发明所述的非接触式视频心率检测方法的特点也在于，所述步骤3是按如下过程进行：
步骤3.1：添加m个高斯白噪声到所述输入信号数据集G(t)上，从而构成新的输入信号数据集，记为其中，ym(t)为t帧视频图像的第m个通道对应的高斯白噪声，1≤m≤N；
步骤3.2：采用多元经验模态分解将所述新的输入信号数据集分解成Q个本征模态分量后，保留输入信号分解的本征模态分量，去除高斯白噪声分解的本征模态分量，从而得到t帧视频图像的本征模态数据集X(t)＝[X1(t),X2(t),...,Xn(t),...,XN(t)]T；其中，Xn(t)表示t帧视频图像的第n个子区域输入信号in(t)分解的本征模态分量，并有：Xn(t)＝[x1n(t),x2n(t),...,xqn(t),...,xQn(t)]T，xqn(t)为t帧视频图像的第n个子区域输入信号in(t)分解出的第q个本征模态分量，1≤q≤Q；
与已有技术相比，本发明有益效果体现在：
1、本发明输入信号选取两种输入信号方式：绿色通道信号或者色差信号。绿色通道信号是对绿色通道像素值采用空间像素平均的方法得到的信号，它的优势在于所包含的心率信号强度相比于红色和蓝色通道更大。色差信号是指基于皮肤光学反射模型的色差信号算法得到的信号，是一种对红绿蓝通道信号进行预处理得到的信号，优势在于能去除运动伪迹造成的影响。
2、本发明采用噪声辅助的多元经验模态分解的方法将输入信号分解成若干本征模态函数。因为噪声辅助的多元经验模态分解是一种十分有效的去除生物医学信号的噪声伪迹的技术，用在这里相当于对信号进行预处理去噪的过程。该技术相比于传统经验模态分解方法能够有效的解决传统方法分解后的模态混叠问题，同时能够对多通道信号进行分解，最后还能够将多通道分解得到的具有相同频率范围的本征模态函数进行对齐，这对实际应用至关重要。
3、本发明将面部感兴趣区域分解为多个子区域并采用联合盲源分离的方法提取心率。相比于单个感兴趣区域提取心率信号源，该方法更强调多个感兴趣区域所包含的共同的信号源成分，相比于盲源分离方法，联合盲源分离技术增加了信号之间的关联信息，在视频心率监测中，不同的面部感兴趣区域所包含的心脏搏动的信息是相同的，对它们的联合提取能够有效地减少心率信号失真率。
4、本发明采用特定的筛选方法从联合盲源分离得到的解集中选出候选心率信号集合。通过筛选每个子区域数据集对应的第一个源成分向量构成候选心率信号集合，因为所有子区域本征模态分量经过联合盲源分离后得到的源成分向量是按照相关性从高到低一一对应关系进行排序的，所以每个子区域第一个源成分向量对应相关性最强。不同区域最相关的源成分应该代表共同的心率源成分，因为噪声是随机的，相关性较低，所以筛选每个子区域第一个源成分向量作为候选心率信号能够可靠地提取心率源成分。
5、本发明采用特定的筛选方法从候选心率信号集合中选出最佳心率估计信号。通过计算所有候选心率信号主频率及二次谐波频率对应的能量占据总能量的比例，最后选择能量占比最大的信号为最佳心率估计信号，也即脉冲信号。因为心率信号具有准周期性，噪声信号是随机的，所以心率信号相比于噪声信号主频率及二次谐波能量占比会更大，因此这样做能够准确且鲁棒地筛选出最佳心率估计信号，以进行最后的心率提取。
附图说明
图1为本发明方法的流程图；
图2a为本发明面部68特征点示意图；
图2b为本发明面部感兴趣区域示意图；
图2c为本发明面部感兴趣区域分成四块子区域示意图；
图3a为本发明子区域1绿色通道均值信号；
图3b为本发明子区域2绿色通道均值信号；
图3c为本发明子区域3绿色通道均值信号；
图3d为本发明子区域4绿色通道均值信号；
图4a为本发明联合盲源分离经过筛选得到的候选心率信号1；
图4b为本发明联合盲源分离经过筛选得到的候选心率信号2；
图4c为本发明联合盲源分离经过筛选得到的候选心率信号3；
图4d为本发明联合盲源分离经过筛选得到的候选心率信号4；
图5a为本发明联合盲源分离经过筛选得到的候选心率信号1频谱图；
图5b为本发明联合盲源分离经过筛选得到的候选心率信号2频谱图；
图5c为本发明联合盲源分离经过筛选得到的候选心率信号3频谱图；
图5d为本发明联合盲源分离经过筛选得到的候选心率信号4频谱图。
具体实施方式
本实施例中，一种基于多元经验模态分解和联合盲源分离的非接触式视频心率检测方法，如图1所示，首先获取人脸面部视频图像序列，并确定面部感兴趣区域；然后将面部感兴趣区域分为若干子区域，并选择Green或者CHROM信号作为每块子区域的输入信号；之后采用多元经验模态分解处理所有子区域的输入信号并得到所有子区域本征模态分量数据集；对该数据集采用联合盲源分离的方法处理，得到若干源成分向量；筛选每个子区域第一个源成分向量，记为候选心率信号，然后计算所有候选心率信号主频率及二次谐波频率能量占比，筛选能量占比最大的候选心率信号记为最佳心率估计信号；对最佳心率估计信号采用快速傅里叶变换的方法转换到频域，并获取该信号频域主频率，然后计算出人体的心率值。具体的说，按照如下步骤进行：
步骤1：获取t帧视频图像，并采用人脸检测及面部追踪法确定t帧视频图像中的面部感兴趣区域，将每帧视频图像中的面部感兴趣区域均分成N块子区域；本实例中人脸视频图像来自公开数据集UBFC-RPPG(stands for Univ.Bourgogne Franche-Comté RemotePhotoPlethysmoGraphy)。如图2a所示，首先采用一种基于多任务学习的68特征点人脸特征点检测算法进行人脸特征点检测并采用(Kanade-Lucas-Tomasi，KLT)追踪算法追踪这些点在每一帧的位置。如图2b所示，选取其中面颊区域的特征点定义面部感兴趣区域，因为两侧面颊区域相对平坦，具有较大的裸露皮肤区域，相关RGB信号具有较高的信噪比。而其它区域如嘴巴，张开与闭合会引入噪声；前额，会有刘海造成遮挡；下巴会有胡子造成遮挡等造成的影响，所以这样做能够提高输入信号信噪比。如图2c所示，最后将面部感兴趣区域分成N＝4个子区域，N的取值是在实证研究的基础上选取的。这种分割模式不仅保证了每个子区域都包含足够多的像素来形成时间颜色通道信号，还为后续数据处理带来了合理的计算复杂度。
步骤2：对于每块子区域，选取绿色通道均值信号或者色差信号作为输入信号，并由所有子区域的输入信号构成输入信号数据集G(t)＝[i1(t),i2(t),...,in(t),...,iN(t)]T，in(t)为t帧视频图像的第n个子区域输入信号，其中，1≤n≤N；绿色通道均值信号的优势在于其所包含的心率信号强度最大。因为根据研究表明虽然红、绿、蓝三种通道都含有一定程度的光学体积描记信号，但绿色通道是三种中最强的。而且这一发现与绿光比红光更容易被(含氧的)血红蛋白吸收的事实是一致的，与蓝光相比，绿光能穿透更深的皮肤来探测血管系统。而色差信号是指基于皮肤光学反射模型的色差信号算法得到的信号，是一种对红绿蓝通道信号进行预处理得到的信号，优势在于能部分去除运动伪迹造成的影响。本实例中选取绿色通道均值信号作为输入信号，如图3a、图3b、图3c、图3d所示，分别为每个子区域原始绿色通道均值信号波形图。
步骤3：采用噪声辅助的多元经验模态分解方法将输入信号数据集G(t)分解成若干个本征模态分量：
步骤3.1：添加m个高斯白噪声到输入信号数据集G(t)上，从而构成新的输入信号数据集，记为其中，ym(t)为t帧视频图像的第m个通道对应的高斯白噪声，1≤m≤N；
步骤3.2：采用多元经验模态分解将新的输入信号数据集分解成Q个本征模态分量后，保留输入信号分解的本征模态分量，去除高斯白噪声分解的本征模态分量，从而得到t帧视频图像的本征模态数据集X(t)＝[X1(t),X2(t),...,Xn(t),...,XN(t)]T；其中，Xn(t)表示t帧视频图像的第n个子区域输入信号in(t)分解的本征模态分量，并有：Xn(t)＝[x1n(t),x2n(t),...,xqn(t),...,xQn(t)]T，xqn(t)为t帧视频图像的第n个子区域输入信号in(t)分解出的第q个本征模态分量，1≤q≤Q；本实例中采用上述噪声辅助的多元经验模态分解方法将输入信号分解成若干本征模态分量。该方法能够充分利用不同区域输入信号的关联性并且克服了传统经验模态分解方法模式混叠的影响，从而为后面联合盲源分离提取心率打下了坚实的基础。
步骤4：采用联合盲源分离法所示的X(t)＝AZ(t)和/或Z(t)＝WX(t)对t帧视频图像的本征模态数据集X(t)进行盲源分离处理，得到混合矩阵A，解混矩阵W以及t帧视频图像的源信号矩阵Z(t)＝[Z1(t),Z2(t),...,Zn(t),...,ZN(t)]T，其中，Zn(t)为t帧视频图像的第n个子区域的源信号矩阵，并有：Zn(t)＝[z1n(t),z2n(t),...,zkn(t),...,zKn(t)]T，zkn(t)表示t帧视频图像的第n个子区域的源信号矩阵中第k个源成分向量，1≤k≤K；常用的联合盲源分离算法有两种:独立向量分析(independent vector analysis,IVA)和多集典型相关分析(multiset canonical correlation analysis,MCCA)。独立向量分析是独立成分分析从一个数据集到多个数据集的自然扩展，它确保所提取的源在每个数据集中是独立的，同时在多个数据集中具有良好的相关性。多集典型相关分析方法是一种有效且高效的方法，它可以从多个数据集中提取不相关的典型相关变量，同时使数据集之间对应的典型相关变量保持最大的相关性。本实例选择多集典型相关分析方法作为联合盲源分离方法。
步骤5：筛选t帧视频图像的源信号矩阵Z(t)中第一个源成分向量，得到候选心率信号集合其中，zp(t)表示筛选后的t帧视频图像的第p个候选心率信号，1≤p≤P≤K；如图4a、图4b、图4c、图4d所示，本实例中提取了四个源成分向量构成了候选心率信号数据集。
步骤6：计算第p个候选心率信号zp(t)的主频率以及二次谐波频率的能量之和bp，从而得到P个候选心率信号总能量集合Bp＝{b1,b2,…,bp,…,bP}，并得到第p个候选心率信号zp(t)的能量比值为如图5a、图5b、图5c、图5d所示，每张图分别对应单个候选心率信号频率谱图，黑色圆圈对应峰值频率点也即主频率点。4个候选心率信号主频及二次谐波能量占比由1到4分别为0.5325、0.4007、0.6480、0.5657，显然候选心率信号3的信号主频及二次谐波能量占比最大，所以选择它作为脉冲信号进行下一步分析。
步骤7：筛选所有候选心率信号中最大能量比值作为最佳心率估计信号，并记为脉冲信号；采用快速傅里叶变换将脉冲信号转换成频域形式，并得到脉冲信号的主频率fmain，从而得到平均心率为HRavg＝fmain·δ，δ表示测试时间。本实例中测试时间δ＝60秒，并选取图4c候选心率信号3作为脉冲信号。从图5c脉冲信号(候选心率信号3)频谱图可以得到它的主频率为1.607Hz，也即受试者测量的1分钟平均心率为HRavg＝96.42≈96bpm，而受试者1分钟真实平均心率为97bpm，可以看出两者误差非常小。
本实例所有子区域均采用绿色通道信号作为输入信号，并采用多集典型相关分析方法作为联合盲源分离方法来获取视频心率，这里简称为Green-MCCA方法。
为了验证本发明提出的视频心率算法的鲁棒性，本发明采用公开数据集UBFC-RPPG进行算法验证。本实例通过比较公共数据集采集视频的真实心率与待测算法测量心率的误差来分析实验结果，并采用均方根误差(root mean square error，RMSE)，平均绝对误差(mean absolute error，MAE)，相关系数这三种评价指标来评估算法鲁棒性。本实例将Green-MCCA方法与经典视频心率检测算法独立成分分析(independent componentanalysis，ICA)法进行了对比，结果如表1所示。
表1两种方法得到的心率检测结果分析
评价指标 ICA Green-MCCA
MAE(bpm) 5.8649 2.2579
RMSE(bpm) 14.6905 4.1499
相关系数 0.7660 0.9724
表1表示ICA方法与本实例的Green-MCCA方法视频心率检测结果统计分析。本实例所用方法的平均绝对误差比ICA方法要低3.607bpm，均方根误差比ICA方法低10.5406bpm。从这两项指标可以看出，相比于ICA方法，本方法心率检测误差要更小，即算法测量值与真实值偏差更小，说明本算法心率检测结果更精确且鲁棒。从相关系数上可以看到本实例算法心率测量值与真实值相关系数达到0.95以上，而ICA算法心率测量值与真实值仅仅0.7660，说明本方法测得的心率与真实心率有极强的相关性，并且结果要优于传统的ICA方法。
综上所述，本发明中提出的基于多元经验模态分解和联合盲源分离的视频心率检测方法能够准确且鲁棒地从视频中提取出人体心率并获取视频心率检测结果，在日常的医疗保健方面具有重要的应用前景，也为未来非接触式心率检测技术在临床上的应用提供了重要保障。

Claims (2)

1.一种基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法，其特征是按照如下步骤进行：
步骤1：获取t帧视频图像，并采用人脸检测及面部追踪法确定所述t帧视频图像中的面部感兴趣区域，将每帧视频图像中的面部感兴趣区域均分成N块子区域；
步骤2：对于每块子区域，选取绿色通道均值信号或者色差信号作为输入信号，并由所有子区域的输入信号构成输入信号数据集G(t)＝[i1(t),i2(t),...,in(t),...,iN(t)]T，in(t)为t帧视频图像的第n个子区域输入信号，其中，1≤n≤N；
步骤3：采用噪声辅助的多元经验模态分解方法将所述输入信号数据集G(t)分解成若干个本征模态分量；
步骤4：采用联合盲源分离法所示的X(t)＝AZ(t)和/或Z(t)＝WX(t)对所述t帧视频图像的本征模态数据集X(t)进行盲源分离处理，得到混合矩阵A，解混矩阵W以及t帧视频图像的源信号矩阵Z(t)＝[Z1(t),Z2(t),...,Zn(t),...,ZN(t)]T，其中，Zn(t)为t帧视频图像的第n个子区域的源信号矩阵，并有：Zn(t)＝[z1n(t),z2n(t),...,zkn(t),...,zKn(t)]T，zkn(t)表示t帧视频图像的第n个子区域的源信号矩阵中第k个源成分向量，1≤k≤K；
步骤5：筛选t帧视频图像的源信号矩阵Z(t)中第一个源成分向量，得到候选心率信号集合其中，zp(t)表示筛选后的t帧视频图像的第p个候选心率信号，1≤p≤P≤K；
步骤6：计算第p个候选心率信号zp(t)的主频率以及二次谐波频率的能量之和bp，从而得到P个候选心率信号总能量集合Bp＝{b1,b2,…,bp,…,bP}，并得到第p个候选心率信号zp(t)的能量比值为
步骤7：筛选所有候选心率信号中最大能量比值作为最佳心率估计信号，并记为脉冲信号；采用快速傅里叶变换将所述脉冲信号转换成频域形式，并得到脉冲信号的主频率fmain，从而得到平均心率为HRavg＝fmain·δ，δ表示测试时间。
2.根据权利要求1所述的非接触式视频心率检测方法，其特征是，所述步骤3是按如下过程进行：
步骤3.1：添加m个高斯白噪声到所述输入信号数据集G(t)上，从而构成新的输入信号数据集，记为其中，ym(t)为t帧视频图像的第m个通道对应的高斯白噪声，1≤m≤N；
步骤3.2：采用多元经验模态分解将所述新的输入信号数据集分解成Q个本征模态分量后，保留输入信号分解的本征模态分量，去除高斯白噪声分解的本征模态分量，从而得到t帧视频图像的本征模态数据集X(t)＝[X1(t),X2(t),...,Xn(t),...,XN(t)]T；其中，Xn(t)表示t帧视频图像的第n个子区域输入信号in(t)分解的本征模态分量，并有：Xn(t)＝[x1n(t),x2n(t),...,xqn(t),...,xQn(t)]T，xqn(t)为t帧视频图像的第n个子区域输入信号in(t)分解出的第q个本征模态分量，1≤q≤Q。
CN201910720279.3A 2019-08-06 2019-08-06 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 Active CN110269600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720279.3A CN110269600B (zh) 2019-08-06 2019-08-06 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720279.3A CN110269600B (zh) 2019-08-06 2019-08-06 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法

Publications (2)

Publication Number Publication Date
CN110269600A true CN110269600A (zh) 2019-09-24
CN110269600B CN110269600B (zh) 2021-12-21

Family

ID=67965821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720279.3A Active CN110269600B (zh) 2019-08-06 2019-08-06 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法

Country Status (1)

Country Link
CN (1) CN110269600B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110935159A (zh) * 2019-12-25 2020-03-31 青岛英派斯健康科技股份有限公司 一种健身器材心率显示方法、装置、设备及存储介质
CN111714110A (zh) * 2020-05-19 2020-09-29 成都云卫康医疗科技有限公司 一种基于ppg波形的实时心率计算方法
CN111839492A (zh) * 2020-04-20 2020-10-30 合肥工业大学 一种基于面部视频序列的心率非接触式测量方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN112232256A (zh) * 2020-10-26 2021-01-15 南京读动信息科技有限公司 一种无接触式运动及体测数据采集系统
CN112862727A (zh) * 2021-03-16 2021-05-28 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
CN113288103A (zh) * 2021-04-01 2021-08-24 安徽通灵仿生科技有限公司 一种无创心排量监测系统与方法
CN113892930A (zh) * 2021-12-10 2022-01-07 之江实验室 一种基于多尺度心率信号的面部心率测量方法和装置
CN114159050A (zh) * 2021-11-12 2022-03-11 深圳数联天下智能科技有限公司 一种呼吸率监测方法、装置、设备及介质
CN114176596A (zh) * 2021-12-28 2022-03-15 合肥工业大学 一种改进经验模态分解排列熵的心磁信号去噪方法
CN114246570A (zh) * 2021-12-06 2022-03-29 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN115153473A (zh) * 2022-06-10 2022-10-11 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN116965791A (zh) * 2023-06-29 2023-10-31 中国人民解放军国防科技大学 一种抑制运动干扰的四维生物雷达心率测量方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
CN104639799A (zh) * 2013-11-14 2015-05-20 财团法人工业技术研究院 影像式心率活动侦测装置及其方法
CN105046209A (zh) * 2015-06-30 2015-11-11 华侨大学 一种基于典型相关分析的非接触式心率测量方法
CN105147274A (zh) * 2015-08-04 2015-12-16 河北工业大学 一种从可见光谱段人脸视频信号中提取心率的方法
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
CN106580301A (zh) * 2016-12-21 2017-04-26 广州心与潮信息科技有限公司 一种生理参数的监测方法、装置和手持设备
CN106805945A (zh) * 2017-01-22 2017-06-09 合肥工业大学 一种少数通道的脑电信号中肌电伪迹的消除方法
WO2018179150A1 (ja) * 2017-03-29 2018-10-04 日本電気株式会社 心拍推定装置
CN109044322A (zh) * 2018-08-29 2018-12-21 北京航空航天大学 一种非接触式心率变异性测量方法
CN109101949A (zh) * 2018-08-29 2018-12-28 广州洪荒智能科技有限公司 一种基于彩色视频信号频域分析的人脸活体检测方法
US20190008402A1 (en) * 2014-10-04 2019-01-10 Government Of The United States, As Represented By The Secretary Of The Air Force Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
KR20190076420A (ko) * 2017-12-22 2019-07-02 (주)지와이네트웍스 건강지수 표출 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
CN104639799A (zh) * 2013-11-14 2015-05-20 财团法人工业技术研究院 影像式心率活动侦测装置及其方法
US20190008402A1 (en) * 2014-10-04 2019-01-10 Government Of The United States, As Represented By The Secretary Of The Air Force Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array
CN105046209A (zh) * 2015-06-30 2015-11-11 华侨大学 一种基于典型相关分析的非接触式心率测量方法
CN105147274A (zh) * 2015-08-04 2015-12-16 河北工业大学 一种从可见光谱段人脸视频信号中提取心率的方法
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
CN106580301A (zh) * 2016-12-21 2017-04-26 广州心与潮信息科技有限公司 一种生理参数的监测方法、装置和手持设备
CN106805945A (zh) * 2017-01-22 2017-06-09 合肥工业大学 一种少数通道的脑电信号中肌电伪迹的消除方法
WO2018179150A1 (ja) * 2017-03-29 2018-10-04 日本電気株式会社 心拍推定装置
KR20190076420A (ko) * 2017-12-22 2019-07-02 (주)지와이네트웍스 건강지수 표출 방법
CN109044322A (zh) * 2018-08-29 2018-12-21 北京航空航天大学 一种非接触式心率变异性测量方法
CN109101949A (zh) * 2018-08-29 2018-12-28 广州洪荒智能科技有限公司 一种基于彩色视频信号频域分析的人脸活体检测方法
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
HUAN QI等: "《Video-based human heart rate measurement using joint blind sourceseparation》", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 *
MAYANK KUMAR等: "《DistancePPG: Robust non-contact vital signs monitoring using a camera》", 《BIOMEDICAL OPTICS EXPRESS》 *
PALANI THANARAJ: "《Integration of multivariate empirical mode decomposition and independent component analysis for fetal ECG separation from abdominal signals》", 《TECHNOLOGY AND HEALTH CARE》 *
XUEYUAN XU等: "《A Novel Few-Channel Strategy for Removing Muscle Artifacts from Multichannel EEG Data》", 《2017 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING》 *
俞谢益: "《基于典型相关分析的非接触式心率检测方法研究》", 《信息科技辑》 *
刘祎等: "《基于人脸视频的非接触式心率测量方法》", 《纳米技术与精密工程》 *
张言飞等: "《基于ICA和EMD的生理信号提取》", 《计算机工程与应用》 *
李硕: "《脉搏波信号采集质量实时分析研究及设备开发》", 《信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110935159A (zh) * 2019-12-25 2020-03-31 青岛英派斯健康科技股份有限公司 一种健身器材心率显示方法、装置、设备及存储介质
CN111839492A (zh) * 2020-04-20 2020-10-30 合肥工业大学 一种基于面部视频序列的心率非接触式测量方法
CN111714110A (zh) * 2020-05-19 2020-09-29 成都云卫康医疗科技有限公司 一种基于ppg波形的实时心率计算方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN112043257B (zh) * 2020-09-18 2022-12-20 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN112232256A (zh) * 2020-10-26 2021-01-15 南京读动信息科技有限公司 一种无接触式运动及体测数据采集系统
CN112232256B (zh) * 2020-10-26 2024-02-02 南京读动信息科技有限公司 一种无接触式运动及体测数据采集系统
CN112862727A (zh) * 2021-03-16 2021-05-28 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
CN113288103A (zh) * 2021-04-01 2021-08-24 安徽通灵仿生科技有限公司 一种无创心排量监测系统与方法
CN114159050A (zh) * 2021-11-12 2022-03-11 深圳数联天下智能科技有限公司 一种呼吸率监测方法、装置、设备及介质
CN114246570A (zh) * 2021-12-06 2022-03-29 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN114246570B (zh) * 2021-12-06 2023-10-20 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN113892930B (zh) * 2021-12-10 2022-04-22 之江实验室 一种基于多尺度心率信号的面部心率测量方法和装置
CN113892930A (zh) * 2021-12-10 2022-01-07 之江实验室 一种基于多尺度心率信号的面部心率测量方法和装置
CN114176596A (zh) * 2021-12-28 2022-03-15 合肥工业大学 一种改进经验模态分解排列熵的心磁信号去噪方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN114431849B (zh) * 2022-01-10 2023-08-11 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN115153473A (zh) * 2022-06-10 2022-10-11 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN115153473B (zh) * 2022-06-10 2024-04-19 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN116965791A (zh) * 2023-06-29 2023-10-31 中国人民解放军国防科技大学 一种抑制运动干扰的四维生物雷达心率测量方法
CN116965791B (zh) * 2023-06-29 2024-05-17 中国人民解放军国防科技大学 一种抑制运动干扰的四维生物雷达心率测量方法

Also Published As

Publication number Publication date
CN110269600B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN110269600A (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
Wang et al. A comparative survey of methods for remote heart rate detection from frontal face videos
CN107529646B (zh) 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN105678780B (zh) 一种去除环境光变化干扰的视频心率检测方法
CN110706826B (zh) 一种基于视频图像的非接触式的实时多人心率和血压测量方法
CN110384491A (zh) 一种基于普通摄像头的心率检测方法
CN112949349B (zh) 基于人脸视频实时显示脉象波形的方法和系统
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN109350030B (zh) 基于相位放大处理人脸视频心率信号的系统及方法
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
CN111839492B (zh) 一种基于面部视频序列的心率非接触式测量方法
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Li et al. An improvement for video-based heart rate variability measurement
CN105046209A (zh) 一种基于典型相关分析的非接触式心率测量方法
Cui et al. Non-contact time varying heart rate monitoring in exercise by video camera
He et al. Remote photoplethysmography heart rate variability detection using signal to noise ratio bandpass filtering
Hu et al. Study on Real-Time Heart Rate Detection Based on Multi-People.
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
CN116616709A (zh) 基于非静止状态下多通道视频的工作记忆负荷评估方法
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Wang et al. Tongue diagnosis based on biometric pattern recognition technology
CN114246570A (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant