CN113989880B - 基于人脸视频的人体心率测量方法 - Google Patents
基于人脸视频的人体心率测量方法 Download PDFInfo
- Publication number
- CN113989880B CN113989880B CN202111210078.2A CN202111210078A CN113989880B CN 113989880 B CN113989880 B CN 113989880B CN 202111210078 A CN202111210078 A CN 202111210078A CN 113989880 B CN113989880 B CN 113989880B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- face
- sub
- pulse wave
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000009532 heart rate measurement Methods 0.000 title claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 25
- 238000001228 spectrum Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000017531 blood circulation Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 9
- 238000009827 uniform distribution Methods 0.000 claims description 9
- 210000001061 forehead Anatomy 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000001172 regenerating effect Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 claims description 4
- 241001325280 Tricardia watsonii Species 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 9
- 230000008859 change Effects 0.000 abstract description 3
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 4
- 210000003491 skin Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 241000282344 Mellivora capensis Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Abstract
本发明公开了基于人脸视频的人体心率测量方法，该方法将人脸视频划分为多个时间窗口，对人脸进行追踪获得人脸区域的时间序列以及人脸的相对位移，可得到多个人脸子区域的原始脉搏波信号；把脉搏波信号划分为多个子频段信号，对每个子频段的RGB信号投影到两个正交的方向上，并对两个方向上的信号进行组合，把处理后的子频段信号根据信号强度叠加为全频段的信号；最后根据上一个时间窗口在不同心率变化模式下生成当前窗口的先验候选心率，并根据当前窗口多区域的信号功率谱修正每个候选心率的概率，最后依据取当前时间窗口相对运动求取当前时间窗口的心率。本发明可以在脉搏波信号被人脸运动和外界光照变化干扰的情况下，可靠地测量人体的心率。
Description
技术领域
本发明涉及一种人体非接触式心率测量方法，特别涉及基于人脸视频图像的心率测量方法，应用到人体生理状态检测和身体健康状态监控等领域。
背景技术
通过对人体心率的监控可以有效判断心血管系统的负荷状态，也能够大致判断人体的健康状况，是一种非常重要的生理指标。在日常生活中或者医疗监测中，人们可以依据心率值调整自己的生活习惯和行为，当心率过高或者过低的时候，能够及早发现与治疗。
由于皮肤是半透明的，当光线照射到人脸的皮肤表面，有一部分光线会穿透表皮进入到血管中，这部分光线会被血液中的血红蛋白等吸收一部分然后产生漫反射被摄像头所捕获。随着心脏的周期性搏动，皮下的血液吸收的光线也产生周期性的变化，所以提取人脸的色度信息可以获得人体的脉搏波，从脉搏波的变化的频率可以提取出心率。
公开号为CN112819790A，发明名称为“一种心率检测方法及装置”的发明专利选取符合标准场景的ROI区域，根据信号的波峰状态获得估计的心率值并与参考心率值对齐拟合后获得最终的心率值。
公开号为CN112043257A，发明名称为“一种运动鲁棒的非接触式视频心率检测方法”的发明专利中从脸部多区域获取皮肤颜色分量集合和人脸运动分量集合，采用典型相关性分析来重构本征模态函数集合，再从重构出多区域的函数集合做多重集典型相关分析处理，最后从第一组典型相关变量中筛选出脉冲信号从而得到心率。
公开号为CN112043257A，发明名称为“一种基于环形感兴趣区域加权的非接触式心率信号提取方法”的发明专利中将人脸划分为环形区域，并以0.3-5Hz频谱所占总的功率谱能量和为权值对各区域的心率值进行加权求得最终心率；公开号为CN112200162A，发明名称为“基于端到端网络的非接触式心率测量方法、系统和装置”的发明专利中使用双分支的3D卷积网络学习人脸有效特征，并对心率进行预测；公开号为CN110191675A，发明名称为“用于基于相机的心率跟踪的系统和方法”的发明专利中将图像序列分解为位平面序列，使用已经训练过的血红蛋白浓度提取模型获得面部血流变化，最终求取心率。
但是上述专利都没有考虑运动会引发脉搏波信号的畸变，导致功率谱中能量最高的频率并不是心率，因此会造成求得的心率不够准确。
公开号为CN112507930A，发明名称为“一种利用光照均衡法改善人脸视频心率检测的方法”的发明专利中使用快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度提高心率测量精度；公开号为CN113255585A，发明名称为“一种基于色彩空间学习的人脸视频心率估计方法”的发明专利将人脸视频压缩成时空特征图，使用卷积神经网络和循环神经网络结合的方式对图片进行学习，并加入颜色空间转换模块，使得特征图能够转换为最合适的颜色空间进行心率预测。上述专利没有考虑人脸光照不均，不同的人脸像素携带的血流信息强度不同，因此得到的脉搏波信号的信噪比不高。
发明内容
本发明的目的在于针对现有技术中心率检测对于外部光照变化和人脸运动比较敏感的情况，提出基于人脸视频的人体心率测量方法。
一种基于人脸视频的人体心率测量方法，包括如下步骤：
S1:利用人脸检测器检测人脸在当前视频帧的位置，检测人脸特征点在人脸中的位置，并记录每个视频帧的时间戳；
S2:将人脸稳定时的视频帧作为基准帧并记录，记录该视频帧人脸矩形框和特征点的坐标，后续的视频帧与基准帧对齐；
S21:在后续视频帧中所获得的特征点中筛选出位置追踪准确的特征点，具体方法为：追踪基准帧的特征点所在的位置，并把追踪到的特征点的位置反追踪到基准帧的位置，当两者位置没有偏差时可以认为追踪得到的特征点的位置是准确的；如果准确特征点的数量较少，使用OpenCV的角点检测算法在人脸各区域(主要是左右脸颊和额头)生成特征点；
S22:在后续视频帧中追踪基准帧中特征点的位置，根据特征点在两帧中的坐标计算仿射矩阵，使用仿射矩阵将后续视频帧与基准帧进行图像对齐；
S23:计算特征点在两个视频帧中偏移的平均像素值，大于某一阈值时或者达到更新时间时重新确认基准帧；
S3:使用基准帧的特征点将人脸划分为多个子区域，包括左脸、右脸、鼻子、额头、下颚等，每一个子区域都是一个不规则的多边形；
S4:对每个子区域进行如下操作：
S41:获取人脸图像的亮度信息，亮度高且未饱和的像素值将形成信噪比更高的脉搏波信号，依据亮度信息和位置信息为每个像素生成一个权值，组成一个人脸血流权值图；
S42:根据生成的权值图，获取人脸的子区域所有像素RGB三色通道的加权平均值并记录；
S5:将每一帧的RGB三色通道均值和人脸运动偏移的像素值组成一个时间序列，从人脸图像的时间序列中提取多区域的皮肤色度信息组成原始的脉搏波信号，可得到多个人脸子区域的原始脉搏波信号，并对每个子区域的脉搏波信号进行以下处理：
S51：将每一个脉搏波信号根据时间戳使用插值函数插值为间隔均匀的信号；
S52：将每一个脉搏波信号时域上进行归一化，并消除基线偏移；
S53：将每一个脉搏波信号进行低通滤波，最终获得0.4Hz-5Hz频段内的脉搏波信号；
S6：对每个人脸子区域的脉搏波信号进行以下处理：将0.4Hz-5Hz频段内的脉搏波信号划分为多个子频段信号，将子频段信号抑制运动噪声后合成为全频段信号；
S7：将全频段脉搏波信号划分为多个有部分信号重合的时间窗口，求取每个时间窗口脉搏波信号的功率谱，并计算每个时间窗口对应的心率值：
S71：根据三种心率转换模式下的状态转移函数和上一个时间窗口的心率生成当前窗口的候选心率；所述的三种心率转换模式具体为：每种模式都服从一种均匀分布，平稳心率模式下α1～U(-2，2)，心率上升模式下α2～U(2，6)，心率下降模式下α3～U(-6，-2)；
S72：根据子区域在当前窗口的峰值显著性和当前窗口的人脸相对运动幅度计算候选心率的概率，并依据所求的候选心率的概率重新生成下一个时间窗口的心率的概率分布。
上述技术方案中，进一步地，所述步骤s1使用SeetaFace的模型进行人脸检测和人脸特征点检测。
进一步地，所述步骤S21使用DisFlow光流追踪特征点的位置，设pi，τ，t为当前窗口τ中的第t帧的鲁棒特征点集中的某个点，则该帧的人脸位置表示为
进一步地，所述步骤S3使用SeetaFace的81个特征点将人脸划分为左脸颊、右脸颊、鼻子、额头等区域。
进一步地，所属步骤S41具体为：将人脸图像转换成灰度图，并对灰度值进行归一化，令 G(x，y)为位置在人脸(x，y)处的像素的灰度值，为归一化后的灰度值，rows为人脸灰度图的行数，cols为人脸灰度图的列数，依据像素的不同位置生成人脸血流权值图，B(x，y)为人脸血流权值，Wa为子区域a的权值。
进一步地，所述步骤S42中，采用以下公式计算人脸的子区域所有像素RGB三色通道的加权平均值：其中Ii(x，y)是人脸(x，y)处i通道的像素值，Ct是第t帧的子区域所有像素RGB三色通道的加权平均值。
进一步地，所述步骤S52使用定义的差分矩阵D2∈R(N-3)×(N-1)对原始脉搏波信号进行去基线操作，
其中N为信号长度；
进一步地，所述去基线操作为：其中λ为一个设定的常数，I为单位矩阵，YG为原始信号，为去基线后的信号。
进一步地，所述步骤s6包括如下步骤：
S61使用离散傅里叶变换将脉搏波信号转换到频域：F＝DFT(C)，其中C为当前窗口的RGB三色信号，F为脉搏波信号的整个频段，划分为b个子频段；获取子频段对应脉搏波信号的操作为：
Ck＝real(IDFT(Fk))，k∈[1，b]，real()函数代表取信号的实部，IDFT()函数代表逆离散傅里叶变换；
将信号Ck投影到两个彼此正交的方向：
其中u包含了两个正交的方向向量，代表从RGB空间转向YCrCb空间中CrCb色度的转换矩阵，scb，scr是两个结果信号；并对两个正交方向上的信号进行线性组合：其中σ(scb)σ(scr)是信号的方差；
S62对于划分后的子频段信号，将子频段信号依据该频段能量大小组合为全频段信号P： 其中power(Pk)是第k个子频段脉搏信号的功率谱能量和。
进一步地，所述步骤S71为，当前窗口的先验候选心率的概率密度分布为p(HR(τ)|P(1：τ-1))，其中P(1：τ-1)是前τ-1时间窗口多个子区域脉搏波信号的功率谱，当前窗口的先验候选心率可以通过计算得到，其中Td()是不同心率转换模式下的状态转移函数，d代表模式，取1，2，3；，h∈[1，H]，H是候选心率的数量，Q(τ)代表高斯噪声；所述状态转移函数其中是从上一个时间窗口筛选出的心率值，αd是不同心率转换模式下的均匀分布。
进一步地，所述步骤S72的具体步骤为：
S721：在基准帧中追踪第t帧中获得的特征点，并于基准帧检测到的特征点相比较，欧氏距离低于1个像素的特征点可以认为是鲁棒追踪的特征点，用来计算人脸的运动幅度；设pi，τ，t为当前窗口τ中的第t帧的鲁棒特征点，则该帧的人脸位置表示为获取当前窗口累计运动幅度Mτ： 相对运动幅度为
S722：计算子区域a的频谱的峰值显著性scorea(τ)＝fmax1÷fmax2，峰值显著性score(τ)代表了功率谱能量最高频率为心率的置信得分，fmax1是子区域a的功率谱能量最高的频率，fmax2是子区域a的功率谱能量第二高的频率；
S723：获取当前窗口τ子区域a候选心率值的概率 对多模式多区域候选心率的概率进行归一化Lsn是最大邻近似然函数，A为人脸子区域数量；最终当前窗口的心率值为
S724：对于每个子区域计算心率候选值累计概率密度，c0＝0，y代表第y个心率候选值；重新生成下一个时间窗口的心率候选值每个区域生成H个心率候选值，生成方法为：
对于第τ+1窗口的候选心率值生成一个概率值r，r服从(0，1)的均匀分布，令y＝1，当cy＜r，y＝y+1，循环计算直到cy≥r，若若 若等式右侧的下标1，2，3分别表示三种模式。
本发明的有益效果为：
本发明使用人脸血流权值图对人脸像素进行加权，亮度高且未饱和的像素值携带的血流信息强度更大，将形成信噪比更高的脉搏波信号，提高了心率测量的准确度。同时将脉搏波信号分解到多个子频段，以更小的频段为单位对信号进行处理。将子频段的脉搏信号投影到与亮度变化正交的两个方向，来抑制该频段内的运动失真。同时在心率估计过程中，基于贝叶斯公式，综合考虑了不同时间窗口心率的关联性、不同人脸子区域的心率的关联性和该时间窗口的相对运动幅度，实现了在潜在噪声的影响下心率的鲁棒估计。可以进一步的服务于日常健康检测和医疗监护。
附图说明
图1为本发明实施例的原始脉搏波信号提取流程图。
图2为本发明脉搏波信号处理流程图。
图3为本发明心率估计的流程图。
图4(a)为本发明实施例的一个人脸图像及其特征点。
图4(b)为本发明实施例检测到的像素权重图。
图4(c)为本发明实施例人脸划分的子区域。
具体实施方式
以下结合具体实施例和附图进一步说明本发明。
使用摄像头记录一段人脸视频。在满足最低光照要求的基础上，被测人体与视频采集设备距离不超过2m，进行人脸视频采集，采集的视频帧率不低于20帧每秒，采集时常不低于5s。
使用SeetaFace人脸检测器对人脸视频进行逐帧的检测，并检测每一帧的光照变化与人脸的运动偏移，当光照与人脸比较稳定的时候记录当前的视频帧为基准帧，记录当前的人脸框大小W×H，记录81个特征点在人脸中的位置，如图4(a)。
在后续视频帧中追踪基准帧的特征点的位置，并把追踪到的特征点的位置反追踪到基准帧的位置，当两者位置偏移低于阈值threshold时可以认为追踪得到的特征点的位置是有效的。
在本实施例中设置threshold＝1。
当有效特征点数量低于10时，使用OpenCV的角点检测算法生成特征点，检测的区域应当是左右脸颊和额头，这些区域更加能反映人脸的整体运动。
本实例使用DisFlow光流法追踪特征点的位置。设pi，τ，t为时间窗口τ中的第t帧的鲁棒特征点集中的某个点，则该帧的人脸位置表示为
在此实施例中时需要重新寻找基准帧。
使用SeetaFace的81个特征点将人脸划分为左脸颊、右脸颊、鼻子、额头四个区域；将左脸颊记作LF，右脸颊记作RF，鼻子记作NS，额头记作FH，如图4(c)。
本实例中各人脸子区域包含的特征点序列为LF＝{66，67，69，70，71，41，39，37}，RF＝{74，75，76，77，78，79，48，42，40，38}，NS＝{37，39，41，42，40，38}，FH＝{19，23，21，25，20，27，31，29，33，28}。
获取全脸的亮度信息，亮度高且未饱和的像素值将形成信噪比更高的脉搏波信号，所以依据亮度信息和位置信息为每个像素生成一个权值，组成一个人脸血流权值图。
本实例中将人脸图像转换成灰度图，并对灰度值进行归一化，令G(x，y)为位置在人脸(x，y)处的像素的灰度值，为归一化后的灰度值，rows为人脸灰度图的行数，cols为人脸灰度图的列数，依据像素的不同位置生成人脸血流权值图如图4(b)，Wa为子区域a的权值；获得的子区域所有像素RGB三色通道的加权均值为其中Ii(x，y)是人脸(x，y)处i通道的像素值，Ct是第t帧的子区域像素加权均值。
根据生成的权值图，获取人脸的子区域所有像素RGB三色通道的加权平均值并记录。
将每一帧的RGB三色通道均值和人脸运动偏移量组成一个时间序列，可得到多个人脸子区域的原始脉搏波信号，并对每个子区域的脉搏波信号进行以下处理。
将每一个脉搏波信号根据时间戳使用插值函数插值为间隔均匀的信号；本实例使用三次样条插值函数将信号插值为间隔33ms的信号；在时域上对信号进行归一化。
使用定义的差分矩阵D2∈R(N-3)×(N-1)对原始脉搏波信号进行去基线操作，其中N为信号长度，
所述去基线操作为：其中λ根据视频帧率和低频截止范围确定，I为单位矩阵，YG为原始信号，为去基线后的信号。
将每一个脉搏波信号进行低通滤波，最终获得0.4Hz-5Hz频段内的脉搏波信号。
使用离散傅里叶变换将脉搏波信号转换到频域：F＝DFT(C)，其中C为当前窗口的RGB三色信号，划分为b个子频段；本实例中b设置为9。
获取子频段对应脉搏波信号的操作为：Ck＝real(IDFT(Fk))，k∈[1，b]。
将信号Ck投影到两个正交的方向的操作为
其中u包含两个正交的方向向量，代表了从RGB空间转向YCrCb空间中CrCb色度的转换矩阵，scb，scr是两个结果信号。
对信号进行线性组合的操作为：其中σ(scb)σ(scr)是信号的方差。
将子频段信号依据该频段能量大小组合为全频段信号：其中power(Pk)是第k个子频段脉搏信号的功率谱能量和。
将脉搏波信号划分为τ个时间窗口，对1～τ时间窗口重复以下步骤：
步骤一：计算当前窗口累计运动幅度为：相对运动幅度为
步骤二：生成当前窗口的先验候选心率；当前窗口的先验候选心率的概率密度分布为p(HR(τ)|P(1：τ-1))，其中P(1：τ-1)是前τ-1时间窗口的功率谱，从概率密度生成的当前窗口的先验候选心率可以通过状态转移函数计算，其中Td()是不同心率转换模式下的状态转移函数，d代表模式状态，h∈[1，H]，H是候选心率的数量，Q(τ)代表高斯噪声。
本实例状态转移函数为其中是从上一个时间窗口筛选出的心率值，αd是不同心率转换模式下的均匀分布；有三种模式状态，每种模式都服从一种均匀分布，平稳心率模式下α1～U(-2，2)，心率上升模式下α2～U(2，6)，心率下降模式下α3～U(-6，-2)。
步骤三：计算子区域a的频谱的峰值显著性scorea(τ)＝fmax1÷fmax2，峰值显著性score(τ)代表了功率谱能量最高频率为心率的置信得分，fmax1是功率谱能量最高的频率，fmax2是功率谱能量第二高的频率。
步骤四：获取当前窗口τ子区域a候选心率值的概率， fmax1代表子区域a的功率谱能量最高的频率；对多模式多区域候选心率的权值进行归一化Lsn是最大邻近似然函数。
步骤五：最终当前窗口的心率值为
步骤六：对于每个子区域计算心率候选值累计概率密度，y代表第y个心率候选值；重新生成下一个时间窗口的心率候选值每个区域生成H个心率候选值，生成方法为：
对于第τ+1窗口的候选心率值生成一个概率值r，r服从(0，1)的均匀分布，令y＝1，当cy＜r，y＝y+1，循环计算直到cy≥r，若若 若等式右侧的下标1，2，3分别表示三种模式。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (6)
1.一种基于人脸视频的人体心率测量方法，其特征在于，包括如下步骤：
S1:利用人脸检测器检测人脸在当前视频帧的位置，检测人脸特征点在人脸中的位置，并记录每个视频帧的时间戳；
S2:将视频中的第一个包含人脸图像的视频帧作为基准帧并记录，记录该视频帧人脸矩形框和特征点的坐标，后续的视频帧与基准帧对齐；
S21:在后续视频帧所获得的特征点中筛选出位置追踪准确的特征点；
S22:在后续视频帧中追踪基准帧中特征点的位置，根据特征点在两帧中的坐标计算仿射矩阵，使用仿射矩阵将后续视频帧与基准帧进行图像对齐；
S23:计算特征点在两个视频帧中偏移的像素值，大于某一阈值时或者达到更新时间时重新确认基准帧；
S3:使用基准帧的特征点将人脸划分为多个子区域，包括左脸、右脸、鼻子、额头、下颚；
S4:对每个子区域执行如下操作：
S41:获取人脸图像的亮度信息，依据亮度信息和位置信息为每个像素生成一个权值，组成一个人脸血流权值图；
S42:根据生成的权值图，获取人脸的子区域所有像素RGB三色通道的加权平均值并记录；
S5:将每一帧的RGB三色通道均值和人脸运动偏移的像素值组成一个时间序列，得到多个人脸子区域的原始脉搏波信号，并对每个人脸子区域的脉搏波信号进行以下处理：
S51:将每一个脉搏波信号根据时间戳使用插值函数插值为间隔均匀的信号；
S52:将每一个脉搏波信号时域上进行归一化，并消除基线偏移；
S53:将每一个脉搏波信号进行低通滤波，最终获得0.4Hz-5Hz频段内的脉搏波信号；
S6:对每个人脸子区域的脉搏波信号进行以下处理：将0.4Hz-5Hz频段内的脉搏波信号划分为多个子频段信号，将子频段信号抑制运动噪声后合成为全频段信号；
S7:将全频段脉搏波信号划分为多个有部分信号重合的时间窗口，求取每个时间窗口脉搏波信号的功率谱，并计算每个时间窗口对应的心率值：
S71:根据三种心率转换模式下的状态转移函数和上一个时间窗口的心率生成当前窗口的先验候选心率；所述的三种心率转换模式具体为：每种模式都服从一种均匀分布，平稳心率模式下α1～U(-2,2),心率上升模式下α2～U(2,6)，心率下降模式下α3～U(-6,-2)；
S72:根据子区域在当前窗口的峰值显著性和当前窗口的人脸相对运动幅度计算候选心率的概率，并依据所求的候选心率的概率重新生成下一个时间窗口的心率的概率分布。
2.根据权利要求1所述的基于人脸视频的人体心率测量方法，其特征在于，所述步骤S41具体为：将人脸图像转换成灰度图，并对灰度值进行归一化，令G(x,y)为位置在人脸(x,y)处的像素的灰度值，为归一化后的灰度值，rows为人脸灰度图的行数，cols为人脸灰度图的列数，依据像素的不同位置生成人脸血流权值图，B(x,y)为人脸血流权值，Wa为子区域a的权值。
3.根据权利要求2所述的基于人脸视频的人体心率测量方法，其特征在于，所述步骤S42中，采用以下公式计算人脸的子区域所有像素RGB三色通道的加权平均值：其中Ii(x,y)是人脸(x,y)处i通道的像素值,Ct是第t帧的子区域所有像素RGB三色通道的加权平均值。
4.根据权利要求3所述的基于人脸视频的人体心率测量方法，其特征在于，所述步骤S6包括如下步骤：
S61使用离散傅里叶变换将脉搏波信号转换到频域：F＝DFT(C)，其中C为当前窗口的RGB三色信号，F为脉搏波信号的整个频段，划分为b个子频段；获取子频段对应脉搏波信号的操作为：Ck＝real(IDFT(Fk)),k∈[1,b]，real()函数代表取信号的实部，IDFT()函数代表逆离散傅里叶变换；将信号Ck投影到两个彼此正交的方向：其中U包含了两个正交的方向向量，代表从RGB空间转向YCrCb空间中CrCb色度的转换矩阵,scb,scr是两个结果信号；并对两个正交方向上的信号进行线性组合：其中σ(scb)σ(scr)是信号的方差；
S62对于划分后的子频段信号，将子频段信号依据该频段能量大小组合为全频段信号P： 其中power(Pk)是第k个子频段脉搏信号的功率谱能量和。
5.根据权利要求4所述的基于人脸视频的人体心率测量方法，其特征在于，所述步骤S71为，当前窗口的先验候选心率的概率密度分布为p(HR(τ)|P(1:τ-1))，其中P(1:τ-1)是前τ-1时间窗口多个子区域脉搏波信号的功率谱，当前窗口的先验候选心率通过计算得到，其中Td()是不同心率转换模式下的状态转移函数，d代表模式，取1,2,3；h∈[1,H]，H是候选心率的数量，Q(τ)代表高斯噪声；所述状态转移函数其中是从上一个时间窗口筛选出的心率值，αd是不同心率转换模式下的均匀分布。
6.根据权利要求5所述的基于人脸视频的人体心率测量方法，其特征在于，所述步骤S72的具体步骤为：
S721:在基准帧中追踪第t帧中获得的特征点，并于基准帧检测到的特征点相比较，欧氏距离低于1个像素的特征点可以认为是鲁棒特征点，用来计算人脸的运动幅度；设pi,τ,t为当前窗口τ中的第t帧的鲁棒特征点,则该帧的人脸位置表示为mτ，获取当前窗口累计运动幅度Mτ：相对运动幅度为
S722:计算子区域a的频谱的峰值显著性scorea(τ)＝fmax1÷fmax2，峰值显著性score(τ)代表了功率谱能量最高频率为心率的置信得分，fmax1是子区域a的功率谱能量最高的频率，fmax2是子区域a的功率谱能量第二高的频率；
S723:获取当前窗口τ子区域a候选心率值的概率 对多模式多区域候选心率的概率进行归一化Lsn是最大邻近似然函数，A为人脸子区域数量；最终当前窗口的心率值为
S724:对于每个子区域计算心率候选值累计概率密度c0＝0,y代表第y个心率候选值；
重新生成下一个时间窗口的心率候选值每个区域生成H个心率候选值，生成方法为：
对于第τ+1窗口的候选心率值生成一个概率值r，r服从(0,1)的均匀分布，令y＝1,当cy＜r,y＝y+1,循环计算直到cy≥r，若y≤H,若H≤y＜2H, 若y≥2H,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210078.2A CN113989880B (zh) | 2021-10-18 | 基于人脸视频的人体心率测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210078.2A CN113989880B (zh) | 2021-10-18 | 基于人脸视频的人体心率测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989880A CN113989880A (zh) | 2022-01-28 |
| CN113989880B true CN113989880B (zh) | 2024-07-12 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027485A (zh) * | 2019-12-11 | 2020-04-17 | 南京邮电大学 | 一种基于人脸视频检测与色度模型的心率检测方法 |
| CN113361480A (zh) * | 2021-07-06 | 2021-09-07 | 浙江大学 | 基于人脸视频的人体脉搏波获取方法 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027485A (zh) * | 2019-12-11 | 2020-04-17 | 南京邮电大学 | 一种基于人脸视频检测与色度模型的心率检测方法 |
| CN113361480A (zh) * | 2021-07-06 | 2021-09-07 | 浙江大学 | 基于人脸视频的人体脉搏波获取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
| US11229372B2 (en) | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space | |
| CN109247923B (zh) | 基于视频的非接触式脉搏实时估计方法及设备 | |
| US20200121256A1 (en) | Video-based physiological measurement using neural networks | |
| US20220280087A1 (en) | Visual Perception-Based Emotion Recognition Method | |
| JP6957929B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
| EP2486543A1 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
| JP6927322B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
| WO2021057423A1 (zh) | 图像处理方法、图像处理装置以及存储介质 | |
| US20220218218A1 (en) | Video-based method and system for accurately estimating human body heart rate and facial blood volume distribution | |
| CN111134650A (zh) | 心率信息获取方法、装置、计算机设备和存储介质 | |
| Qiu et al. | CoSTHR: A heart rate estimating network with adaptive color space transformation | |
| CN111839490B (zh) | 非接触式心率监测方法及系统 | |
| CN114612885A (zh) | 基于计算机视觉的驾驶员疲劳状态检测方法 | |
| Xi et al. | Weighted combination and singular spectrum analysis based remote photoplethysmography pulse extraction in low-light environments | |
| Lee et al. | Lstc-rppg: Long short-term convolutional network for remote photoplethysmography | |
| CN113989880B (zh) | 基于人脸视频的人体心率测量方法 | |
| CN111461206B (zh) | 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 | |
| JP2023522818A (ja) | 画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム | |
| CN110321781B (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| Kouamou et al. | Extraction of video features for real-time detection of neonatal seizures | |
| CN113989880A (zh) | 基于人脸视频的人体心率测量方法 | |
| KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
| Wang et al. | Non-contact heart rate estimation based on singular spectrum component reconstruction using low-rank matrix and autocorrelation | |
| Bosse et al. | Neural network-based estimation of distortion sensitivity for image quality prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |