CN112043257A - 一种运动鲁棒的非接触式视频心率检测方法 - Google Patents

一种运动鲁棒的非接触式视频心率检测方法 Download PDF

Info

Publication number
CN112043257A
CN112043257A CN202010983599.0A CN202010983599A CN112043257A CN 112043257 A CN112043257 A CN 112043257A CN 202010983599 A CN202010983599 A CN 202010983599A CN 112043257 A CN112043257 A CN 112043257A
Authority
CN
China
Prior art keywords
total
video image
frame video
interest
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010983599.0A
Other languages
English (en)
Other versions
CN112043257B (zh
Inventor
陈勋
李吉吉
汪旻达
宋仁成
成娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010983599.0A priority Critical patent/CN112043257B/zh
Publication of CN112043257A publication Critical patent/CN112043257A/zh
Application granted granted Critical
Publication of CN112043257B publication Critical patent/CN112043257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts

Abstract

本发明公开了一种运动鲁棒的非接触式视频心率检测方法，其步骤包括：首先获取若干个面部感兴趣区域，对于每个区域，得到该区域多个颜色通道信号，采用集合经验模态分解将这些信号分解为若干本征模态函数并组成本征模态函数集合，其次得到该区域特征点的轨迹作为运动信号，构成运动信号数据集；采用典型相关分析处理上述两个集合，将相关性大于某一阈值的典型相关变量判定为运动噪声，将其置“0”并重构本征模态函数集合；接着对不同区域得到的多个重构的本征模态函数集合做多重集典型相关分析处理，最后从第一组典型相关变量中筛选出脉冲信号从而得到心率。本发明能够去除非接触式心率检测中存在的运动噪声，从而得到更准确的心率测量。

Description

一种运动鲁棒的非接触式视频心率检测方法
技术领域
本发明属于生物医学信号处理的技术领域，尤其涉及一种运动鲁棒的非接触式视频心率检测方法。
背景技术
心率作为一种人体的重要生理参数，它的长期监测对心血管疾病的早期预防和预后诊断，以及对人类健康的监护都具有重大的意义。传统上的临床心率检测手段需要利用心电图机的十二导联线接触人体的多个部位，操作繁杂，自动化程度不高，对使用者有较高的专业知识要求，不适用于特殊场景下的心率检测。
光学体积描记术(Photoplethysmography，PPG)是另一种常用的心率检测的方法，操作较为简便，但是这种接触式测量方法的最大缺点和心电图机类似，就是需要和人体接触。近年来，随着便携式成像设备的快速发展,特别是对于智能手机和笔记本电脑,有一种趋势是将传统的接触式PPG转换为成像光学体积描记术(imaging Photoplethysmography，iPPG)。iPPG技术主要原理是心脏的周期性收缩和舒张会引起体表血管容积发生周期性改变，然后血液所含血红蛋白含量也随之发生周期性变化导致血红蛋白对入射光线的吸收发生变化，最后引起反射光强度产生相应变化，通过视频图像来捕捉这些细微的变化，经过人脸识别，盲源分离和信号处理技术，可以得到心率。相比于PPG技术，iPPG技术优势在于只需要低成本的数码相机，不需要接触探头或者专用光源，简单却有效。但是目前大多数实现iPPG技术的方法仅仅适用于测试者保持相对静止的情况，然而，实际应用时受试者很难保持完全静止，即受试者头部难免会有头部运动(刚性运动)或者面部表情(非刚性运动)，从而会引入运动噪声。由于心脏搏动引起的体表血管容积变化导致血红蛋白对光吸收变化的幅度远远小于运动噪声带来的变化幅度，如何消除这种运动噪声的影响对于非接触式视频心率检测方法的推广使用具有重要研究意义。
发明内容
本发明是为解决上述技术所存在的不足，提供了一种运动鲁棒的非接触式视频心率检测方法，以期能去除运动噪声对非接触式视频心率检测的影响，从而提高非接触式视频心率检测的准确性。
本发明为解决技术问题采用如下技术方案：
本发明一种运动鲁棒的非接触式视频心率检测方法的特点是按照如下步骤进行：
步骤1：获取Ttotal帧视频图像，并在第一帧视频图像中确定K个面部感兴趣区域；对Ttotal帧视频图像均计算第k个面部感兴趣区域的R,G,B三个颜色通道的平均像素值，从而获得Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure BDA0002688392390000021
T是矩阵的转置；
Figure BDA0002688392390000022
表示Ttotal帧视频图像的第k个面部感兴趣区域的R颜色通道中所有像素值平均后的信号，
Figure BDA0002688392390000023
表示Ttotal帧视频图像的第k个面部感兴趣区域的G颜色通道中所有像素值平均后的信号，
Figure BDA0002688392390000024
表示Ttotal帧视频图像的第k个面部感兴趣区域的B颜色通道中所有像素值平均后的信号；
步骤2：利用集合经验模态分解将Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure BDA0002688392390000025
中每个颜色通道的信号分别分解成为Q个本征模态函数，其中m颜色通道所分解的Q个本征模态函数记为
Figure BDA0002688392390000026
其中，
Figure BDA0002688392390000027
表示Ttotal帧视频图像的第k个面部感兴趣区域的m颜色通道所分解的第q个本征模态函数；1≤q≤Q；m＝{R,G,B}；
步骤3：将Ttotal帧视频图像的第k个面部感兴趣区域对应的三个颜色通道的本征模态函数矩阵
Figure BDA0002688392390000028
合在一起构成Ttotal帧视频图像的第k个面部感兴趣区域的本征模态函数集合，记为
Figure BDA0002688392390000029
Figure BDA00026883923900000210
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个本征模态函数；1≤n≤N，N表示三个本征模态函数矩阵合在一起后的通道数，且N＝Q×3；
步骤4：获取第一帧视频图像中第k个面部感兴趣区域的Pk个特征点，并通过追踪算法得到Pk个特征点在Ttotal帧视频图像的运动信号，再从中取纵向方向的运动信号，从而获得Ttotal帧视频图像的的第k个面部感兴趣区域的纵向方向运动信号数据集
Figure BDA00026883923900000211
Figure BDA00026883923900000212
表示Ttotal帧视频图像的第k个面部感兴趣区域的第p个特征点的纵向方向运动信号；
步骤5：根据式(1)的关系式，采用典型相关分析法处理所述第k个面部感兴趣区域的本征模态函数集合{Xk(t)}1≤t≤T以及纵向方向运动信号数据集
Figure BDA00026883923900000213
从而得到第k个面部感兴趣区域的本征模态函数集合对应的混合矩阵Akx和典型相关变量
Figure BDA00026883923900000214
以及运动信号数据集对应的混合矩阵Aky和典型相关变量
Figure BDA00026883923900000215
Figure BDA0002688392390000031
并有：
Figure BDA0002688392390000032
式(2)中，I＝min(N,Pk)，1≤i≤I，且
Figure BDA0002688392390000033
是Ttotal帧视频图像第k个面部感兴趣区域的本征模态函数集合
Figure BDA0002688392390000034
对应的第i个典型相关变量，
Figure BDA0002688392390000035
是Ttotal帧视频图像第k个面部感兴趣区域的纵向方向运动信号数据集
Figure BDA0002688392390000036
对应的第i个典型相关变量，且
Figure BDA0002688392390000037
中相应的典型相关变量所组成的典型相关变量对
Figure BDA0002688392390000038
是按照两者相关系数大小进行降序排列，即
Figure BDA0002688392390000039
的相关性比
Figure BDA00026883923900000310
的相关性高；
步骤6：将所述第k个面部感兴趣区域的相关系数高于阈值rTh的典型相关变量对
Figure BDA00026883923900000311
判断为运动噪声；将典型相关变量矩阵
Figure BDA00026883923900000312
中判定为运动噪声的典型相关变量均置“0”，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的典型相关变量矩阵
Figure BDA00026883923900000313
再用所述混合矩阵Akx对典型相关变量矩阵
Figure BDA00026883923900000314
进行还原，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的本征模态函数集合
Figure BDA00026883923900000315
进而得到Ttotal帧视频图像的K个面部感兴趣区域对应的K个本征模态函数集合
Figure BDA00026883923900000316
步骤7：采用多重集典型相关分析法对所述K个本征模态函数集合
Figure BDA00026883923900000317
进行处理，得到Ttotal帧视频图像的K个最相关的典型相关变量组
Figure BDA00026883923900000318
其中，
Figure BDA00026883923900000319
表示Ttotal帧视频图像的第k个面部感兴趣区域本征模态函数集合对应的典型相关变量矩阵，并有：
Figure BDA00026883923900000320
式(3)中，
Figure BDA00026883923900000321
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个典型相关变量；
步骤8：将所述第1个典型相关变量
Figure BDA00026883923900000322
记为第k个候选心率信号并进行傅里叶变换得到相应的第k个频域信号，同理得到K个频域信号；
从K个频域信号中选出心率频率范围内主频能量最大的信号，并将其对应的候选心率信号作为包含心率信息的脉冲信号，
采用峰值检测法对所述包含心率信息的脉冲信号进行检测，得到峰值数Npeaks，从而得到Ttotal帧视频图像对应的平均心率值HR＝Npeaks×60/(Ttotal/fps)，其中，fps为视频采样率。
与已有技术相比，本发明有益效果体现在：
1、本发明通过分析运动情况下颜色通道信号分解得到的本征模态函数集合以及特征点运动信号数据集的相关性，采用典型相关分析处理，将相关性高的典型相关变量认为是刚性运动噪声，然后将相关性大于阈值的典型相关变量置“0”并重构本征模态函数集合，去除了面部感兴趣区域本征模态函数所包含的刚性运动噪声，这样做的直接好处是去除了刚性运动噪声对视频心率检测的影响，相比于传统的盲源分离方法，能够在运动噪声频率和心率频率接近的情况下得到准确的心率检测。
2、本发明采用多区域联合盲源分离方法提取心率成分，由于不同区域的非刚性运动噪声干扰是不同的，而心率成分是相同的，所以将面部感兴趣区域划分为多个区域，对去除了刚性运动噪声的本征模态函数集合采用多重集典型相关分析的方法，提取最相关的典型相关变量，这样能够去除不同区域非刚性运动噪声的干扰，并从中筛选出包含心率信息的脉冲信号，这样做能更加保证视频心率提取的准确性。
附图说明
图1为本发明方法的流程图；
图2为本发明用于划分面部感兴趣区域的面部特征点示意图；
图3为本发明面部感兴趣区域划分示意图。
具体实施方式
本实施例中，如图1所示，一种运动鲁棒的非接触式视频心率检测方法，是首先获取多个面部感兴趣区域，对于每个区域，利用集合经验模态分解方法获得面部感兴趣区域颜色通道信号对应的本征模态函数，将其组成本征模态函数集合，并对面部感兴趣区域内特征点追踪获得运动信号数据集，利用典型相关分析方法对两个集合进行处理，得到若干典型相关变量，其中相关性较大的典型相关变量代表刚性运动噪声，根据设定的阈值，将相关性大于阈值的典型相关变量置“0”再重构成新的本征模态函数集合，得到面部感兴趣区域去除刚性运动噪声的本征模态函数集合；之后采用多区域联合盲源分离的方法处理每个面部感兴趣区域得到的重构的本征模态函数集合来去除非刚性运动噪声的干扰；将处理得到的第一组典型相关变量作为候选心率信号，然后对这些候选心率信号做傅里叶变换，得到它们的频域信号，频域信号中心率频率范围内主频能量最大的候选心率信号作为包含心率信息的脉冲信号，最后采用峰值检测的方法得到心率。具体来说，是按照如下步骤进行的：
步骤1：利用简单的低成本网络摄像头采集一段时间内受试者自然运动状态下的视频数据，数据采集速度为30帧/秒，分辨率为640×480，其中受试者面对摄像头，面部可以自然运动。采集数据获取Ttotal帧视频图像，并采用openpose在第一帧视频图像进行人脸特征点检测，得到运动情况下人脸特征点，如图2所示，总共有68个面部特征点以及8个姿势特征点；将部分特征点连接，从而在第一帧视频图像中确定K个面部感兴趣区域，且K＝4，图3为面部感兴趣区域划分示意图；对Ttotal帧视频图像均计算第k个面部感兴趣区域的R,G,B三个颜色通道的平均像素值，从而获得Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure BDA0002688392390000051
T是矩阵的转置；
Figure BDA0002688392390000052
表示Ttotal帧视频图像的第k个面部感兴趣区域的R颜色通道中所有像素值平均后的信号，
Figure BDA0002688392390000053
表示Ttotal帧视频图像的第k个面部感兴趣区域的G颜色通道中所有像素值平均后的信号，
Figure BDA0002688392390000054
表示Ttotal帧视频图像的第k个面部感兴趣区域的B颜色通道中所有像素值平均后的信号；
步骤2：由于颜色通道信号只有三个通道，直接做典型相关分析容易使得到的典型相关变量存在混叠，所以利用集合经验模态分解将Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure BDA0002688392390000055
中每个颜色通道的信号分别分解成为Q个本征模态函数，其中m颜色通道所分解的Q个本征模态函数记为
Figure BDA0002688392390000056
其中，
Figure BDA0002688392390000057
表示Ttotal帧视频图像的第k个面部感兴趣区域的m颜色通道所分解的第q个本征模态函数；1≤q≤Q；m＝{R,G,B}；每个本征模态函数满足两个条件：
条件一：极值点的数量和过零点的数量相等或者相差一个；
条件二：由局部最大值和局部最小值分别定义的包络在任一时间点t上的均值为零；
步骤3：将Ttotal帧视频图像的第k个面部感兴趣区域对应的三个颜色通道的本征模态函数矩阵
Figure BDA0002688392390000058
合在一起构成Ttotal帧视频图像的第k个面部感兴趣区域的本征模态函数集合，记为
Figure BDA0002688392390000059
Figure BDA00026883923900000510
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个本征模态函数；1≤n≤N，N表示三个本征模态函数矩阵合在一起后的通道数，且N＝Q×3；
步骤4：通过最小特征值算法，获取第一帧视频图像中第k个面部感兴趣区域的Pk个特征点，并通过追踪算法得到Pk个特征点在Ttotal帧视频图像的运动信号，因为在刚性运动的影响下，纵向方向和横向方向的运动信号具有很高的相关性，可以只使用一个方向的运动信号作为运动噪声数据，所以只取纵向方向运动信号，从而获得Ttotal帧视频图像的的第k个面部感兴趣区域的纵向方向运动信号数据集
Figure BDA0002688392390000061
Figure BDA0002688392390000062
Figure BDA0002688392390000063
表示Ttotal帧视频图像的第k个面部感兴趣区域的第p个特征点的纵向方向运动信号；
步骤5：由于头部运动会使得颜色通道信号分解得到的本证模态函数数据集和面部特征点运动信号数据集具有很高的相关性，所以根据式(1)的关系式，采用典型相关分析法处理第k个面部感兴趣区域的本征模态函数集合{Xk(t)}1≤t≤T以及纵向方向运动信号数据集
Figure BDA0002688392390000064
从而得到第k个面部感兴趣区域的本征模态函数集合对应的混合矩阵Akx和典型相关变量
Figure BDA0002688392390000065
以及运动信号数据集对应的混合矩阵Aky和典型相关变量
Figure BDA0002688392390000066
Figure BDA0002688392390000067
并有：
Figure BDA0002688392390000068
式(2)中，I＝min(N,Pk)，1≤i≤I，且
Figure BDA0002688392390000069
是Ttotal帧视频图像第k个面部感兴趣区域的本征模态函数集合
Figure BDA00026883923900000610
对应的第i个典型相关变量，
Figure BDA00026883923900000611
是Ttotal帧视频图像第k个面部感兴趣区域的纵向方向运动信号数据集
Figure BDA00026883923900000612
对应的第i个典型相关变量，且
Figure BDA00026883923900000613
中相应的典型相关变量所组成的典型相关变量对
Figure BDA00026883923900000614
是按照两者相关系数大小进行降序排列，即
Figure BDA00026883923900000615
的相关性比
Figure BDA00026883923900000616
的相关性高；
步骤6：将第k个面部感兴趣区域的相关系数高于阈值rTh的典型相关变量对
Figure BDA00026883923900000617
判断为运动噪声，rTh＝0.6；将典型相关变量矩阵
Figure BDA00026883923900000618
中判定为运动噪声的典型相关变量均置“0”，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的典型相关变量矩阵
Figure BDA0002688392390000071
再用混合矩阵Akx对典型相关变量矩阵
Figure BDA0002688392390000072
进行还原，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的本征模态函数集合
Figure BDA0002688392390000073
进而得到Ttotal帧视频图像的K个面部感兴趣区域对应的K个本征模态函数集合
Figure BDA0002688392390000074
步骤7：采用多重集典型相关分析法对K个本征模态函数集合
Figure BDA0002688392390000075
进行处理，得到Ttotal帧视频图像的K个最相关的典型相关变量组
Figure BDA0002688392390000076
其中，
Figure BDA0002688392390000077
表示Ttotal帧视频图像的第k个面部感兴趣区域本征模态函数集合对应的典型相关变量矩阵，并有：
Figure BDA0002688392390000078
式(3)中，
Figure BDA0002688392390000079
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个典型相关变量；
步骤8：将第1个典型相关变量
Figure BDA00026883923900000710
记为第k个候选心率信号并进行傅里叶变换得到相应的第k个频域信号，同理得到K个频域信号；
从K个频域信号中选出心率频率范围内主频能量最大的信号，并将其对应的候选心率信号作为包含心率信息的脉冲信号，
采用峰值检测法对包含心率信息的脉冲信号进行检测，得到峰值数Npeaks，从而得到Ttotal帧视频图像对应的平均心率值HR＝Npeaks×60/(Ttotal/fps)，其中，fps为视频采样率。

Claims (1)

1.一种运动鲁棒的非接触式视频心率检测方法，其特征是按照如下步骤进行：
步骤1：获取Ttotal帧视频图像，并在第一帧视频图像中确定K个面部感兴趣区域；对Ttotal帧视频图像均计算第k个面部感兴趣区域的R,G,B三个颜色通道的平均像素值，从而获得Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure FDA0002688392380000011
1≤k≤K，T是矩阵的转置；
Figure FDA0002688392380000012
表示Ttotal帧视频图像的第k个面部感兴趣区域的R颜色通道中所有像素值平均后的信号，
Figure FDA0002688392380000013
表示Ttotal帧视频图像的第k个面部感兴趣区域的G颜色通道中所有像素值平均后的信号，
Figure FDA0002688392380000014
表示Ttotal帧视频图像的第k个面部感兴趣区域的B颜色通道中所有像素值平均后的信号；
步骤2：利用集合经验模态分解将Ttotal帧视频图像的第k个面部感兴趣区域对应的颜色通道信号
Figure FDA0002688392380000015
中每个颜色通道的信号分别分解成为Q个本征模态函数，其中m颜色通道所分解的Q个本征模态函数记为
Figure FDA0002688392380000016
其中，
Figure FDA0002688392380000017
表示Ttotal帧视频图像的第k个面部感兴趣区域的m颜色通道所分解的第q个本征模态函数；1≤q≤Q；m＝{R,G,B}；
步骤3：将Ttotal帧视频图像的第k个面部感兴趣区域对应的三个颜色通道的本征模态函数矩阵
Figure FDA0002688392380000018
合在一起构成Ttotal帧视频图像的第k个面部感兴趣区域的本征模态函数集合，记为
Figure FDA0002688392380000019
Figure FDA00026883923800000110
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个本征模态函数；1≤n≤N，N表示三个本征模态函数矩阵合在一起后的通道数，且N＝Q×3；
步骤4：获取第一帧视频图像中第k个面部感兴趣区域的Pk个特征点，并通过追踪算法得到Pk个特征点在Ttotal帧视频图像的运动信号，再从中取纵向方向的运动信号，从而获得Ttotal帧视频图像的的第k个面部感兴趣区域的纵向方向运动信号数据集
Figure FDA00026883923800000111
1≤p≤Pk，
Figure FDA00026883923800000112
表示Ttotal帧视频图像的第k个面部感兴趣区域的第p个特征点的纵向方向运动信号；
步骤5：根据式(1)的关系式，采用典型相关分析法处理所述第k个面部感兴趣区域的本征模态函数集合{Xk(t)}1≤t≤T以及纵向方向运动信号数据集
Figure FDA00026883923800000113
从而得到第k个面部感兴趣区域的本征模态函数集合对应的混合矩阵Akx和典型相关变量
Figure FDA00026883923800000114
以及运动信号数据集对应的混合矩阵Aky和典型相关变量
Figure FDA00026883923800000115
Figure FDA0002688392380000021
并有：
Figure FDA0002688392380000022
式(2)中，I＝min(N,Pk)，1≤i≤I，且
Figure FDA0002688392380000023
是Ttotal帧视频图像第k个面部感兴趣区域的本征模态函数集合
Figure FDA0002688392380000024
对应的第i个典型相关变量，
Figure FDA0002688392380000025
是Ttotal帧视频图像第k个面部感兴趣区域的纵向方向运动信号数据集
Figure FDA0002688392380000026
对应的第i个典型相关变量，且
Figure FDA0002688392380000027
中相应的典型相关变量所组成的典型相关变量对
Figure FDA0002688392380000028
是按照两者相关系数大小进行降序排列，即
Figure FDA0002688392380000029
的相关性比
Figure FDA00026883923800000210
的相关性高；
步骤6：将所述第k个面部感兴趣区域的相关系数高于阈值rTh的典型相关变量对
Figure FDA00026883923800000211
判断为运动噪声；将典型相关变量矩阵
Figure FDA00026883923800000212
中判定为运动噪声的典型相关变量均置“0”，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的典型相关变量矩阵
Figure FDA00026883923800000213
再用所述混合矩阵Akx对典型相关变量矩阵
Figure FDA00026883923800000214
进行还原，从而得到Ttotal帧视频图像的第k个面部感兴趣区域的消除运动噪声的本征模态函数集合
Figure FDA00026883923800000215
进而得到Ttotal帧视频图像的K个面部感兴趣区域对应的K个本征模态函数集合
Figure FDA00026883923800000216
步骤7：采用多重集典型相关分析法对所述K个本征模态函数集合
Figure FDA00026883923800000217
进行处理，得到Ttotal帧视频图像的K个最相关的典型相关变量组
Figure FDA00026883923800000218
其中，
Figure FDA00026883923800000219
表示Ttotal帧视频图像的第k个面部感兴趣区域本征模态函数集合对应的典型相关变量矩阵，并有：
Figure FDA00026883923800000220
式(3)中，
Figure FDA00026883923800000221
代表Ttotal帧视频图像的第k个面部感兴趣区域的第n个典型相关变量；
步骤8：将所述第1个典型相关变量
Figure FDA00026883923800000222
记为第k个候选心率信号并进行傅里叶变换得到相应的第k个频域信号，同理得到K个频域信号；
从K个频域信号中选出心率频率范围内主频能量最大的信号，并将其对应的候选心率信号作为包含心率信息的脉冲信号，
采用峰值检测法对所述包含心率信息的脉冲信号进行检测，得到峰值数Npeaks，从而得到Ttotal帧视频图像对应的平均心率值HR＝Npeaks×60/(Ttotal/fps)，其中，fps为视频采样率。
CN202010983599.0A 2020-09-18 2020-09-18 一种运动鲁棒的非接触式视频心率检测方法 Active CN112043257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010983599.0A CN112043257B (zh) 2020-09-18 2020-09-18 一种运动鲁棒的非接触式视频心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010983599.0A CN112043257B (zh) 2020-09-18 2020-09-18 一种运动鲁棒的非接触式视频心率检测方法

Publications (2)

Publication Number Publication Date
CN112043257A true CN112043257A (zh) 2020-12-08
CN112043257B CN112043257B (zh) 2022-12-20

Family

ID=73603789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010983599.0A Active CN112043257B (zh) 2020-09-18 2020-09-18 一种运动鲁棒的非接触式视频心率检测方法

Country Status (1)

Country Link
CN (1) CN112043257B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361526A (zh) * 2021-07-16 2021-09-07 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN115153473A (zh) * 2022-06-10 2022-10-11 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN117743832A (zh) * 2024-02-21 2024-03-22 深圳市大数据研究院 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
CN107506716A (zh) * 2017-08-17 2017-12-22 华东师范大学 一种基于视频图像的非接触式实时心率测量方法
WO2019055919A1 (en) * 2017-09-15 2019-03-21 University Of Maryland, College Park HEART RATE MEASUREMENT FOR PHYSICAL CONDITION EXERCISES USING VIDEO
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110367950A (zh) * 2019-07-22 2019-10-25 西安爱特眼动信息科技有限公司 非接触式生理信息检测方法及系统
CN110384491A (zh) * 2019-08-21 2019-10-29 河南科技大学 一种基于普通摄像头的心率检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
CN107506716A (zh) * 2017-08-17 2017-12-22 华东师范大学 一种基于视频图像的非接触式实时心率测量方法
WO2019055919A1 (en) * 2017-09-15 2019-03-21 University Of Maryland, College Park HEART RATE MEASUREMENT FOR PHYSICAL CONDITION EXERCISES USING VIDEO
CN110367950A (zh) * 2019-07-22 2019-10-25 西安爱特眼动信息科技有限公司 非接触式生理信息检测方法及系统
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110384491A (zh) * 2019-08-21 2019-10-29 河南科技大学 一种基于普通摄像头的心率检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨昭等: "抗运动干扰的人脸视频心率估计", 《电子与信息学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361526A (zh) * 2021-07-16 2021-09-07 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN113361526B (zh) * 2021-07-16 2022-09-27 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN114431849B (zh) * 2022-01-10 2023-08-11 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN115153473A (zh) * 2022-06-10 2022-10-11 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN115153473B (zh) * 2022-06-10 2024-04-19 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法
CN117743832A (zh) * 2024-02-21 2024-03-22 深圳市大数据研究院 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统

Also Published As

Publication number Publication date
CN112043257B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN112043257B (zh) 一种运动鲁棒的非接触式视频心率检测方法
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110384491A (zh) 一种基于普通摄像头的心率检测方法
CN112949349B (zh) 基于人脸视频实时显示脉象波形的方法和系统
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
CN109375776B (zh) 基于多任务rnn模型的脑电信号动作意图识别方法
CN105701806A (zh) 基于深度图像的帕金森震颤运动特征检测方法及系统
CN111839492B (zh) 一种基于面部视频序列的心率非接触式测量方法
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN111281367A (zh) 一种基于人脸视频的抗干扰非接触式心率检测方法
CN113591769B (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
Li et al. An improvement for video-based heart rate variability measurement
CN114532993A (zh) 一种癫痫患者脑电高频振荡信号的自动检测方法
CN114569101A (zh) 非接触式心率检测方法、装置和电子设备
US11701015B2 (en) Computer-implemented method and system for direct photoplethysmography (PPG) with multiple sensors
CN112001862B (zh) 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN115153473B (zh) 基于多变量奇异谱分析的非接触式心率检测方法
CN104688199A (zh) 一种基于皮肤色素浓度差分的非接触式脉搏测量方法
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
CN116509359A (zh) 一种工地作业的多目标心率监测方法及装置
CN114246570B (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN113361526B (zh) 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography
CN114092855A (zh) 基于深度学习的非接触智能人体心率预测方法
CN113317766A (zh) 一种基于a311d的嵌入式非接触式生理参数监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant