CN112001862B - 消除视频心冲击信号运动噪声的非接触式视心率检测方法 - Google Patents

消除视频心冲击信号运动噪声的非接触式视心率检测方法 Download PDF

Info

Publication number
CN112001862B
CN112001862B CN202010870594.7A CN202010870594A CN112001862B CN 112001862 B CN112001862 B CN 112001862B CN 202010870594 A CN202010870594 A CN 202010870594A CN 112001862 B CN112001862 B CN 112001862B
Authority
CN
China
Prior art keywords
heart rate
ith
signal
motion track
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010870594.7A
Other languages
English (en)
Other versions
CN112001862A (zh
Inventor
宋仁成
李吉吉
成娟
李畅
刘羽
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010870594.7A priority Critical patent/CN112001862B/zh
Publication of CN112001862A publication Critical patent/CN112001862A/zh
Application granted granted Critical
Publication of CN112001862B publication Critical patent/CN112001862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种消除视频心冲击信号运动噪声的非接触式视心率检测方法，其步骤包括：首先获取面部感兴趣区域以及该区域内的特征点，再采用追踪算法得到特征点的横向以及纵向坐标运动轨迹信号，分别构成两个集合，然后通过两步典型相关分析去除刚性及非刚性运动噪声，再从第二步典型相关分析得到的典型相关变量中筛选出脉冲信号，采用功率谱分析的方法从脉冲信号中提取心率，最后根据心率连续性将异常的心率值找出并用正确的心率值替换。本发明能够去除刚性和刚性运动噪声的干扰，从而提高非接触式视频心率检测的准确性。

Description

消除视频心冲击信号运动噪声的非接触式视心率检测方法
技术领域
本发明属于生物医学信号处理的技术领域，尤其涉及一种消除视频心冲击信号运动噪声的非接触式心率检测方法。
背景技术
心率作为人体重要生理参数之一，它的长期检测对心血管疾病的早期预防、临床诊断，以及对人类健康的监护都具有重大的意义。传统的临床心率检测手段需要相关设备如心电图机的电极或其他传感器与人体接触，容易导致身体不适，不适用于一些特殊体质如皮肤敏感体质，也不适用于婴幼儿或烧伤患者，而非接触式心率检测方法能够克服传统接触式方法的这些不足。基于视频的心率检测方法是近年来越来越受关注的一种非接触式心率检测方法，这种方法通过处理受试者视频进行心率检测，目前，基于视频的非接触式心率检测方法有两种，一种是成像式光学容积描记术(imaging photoplethysmography，iPPG)又称远程光电容积描记技术(remote photoplethysmography，rPPG)，另一种是成像式心冲击描记术(imaging ballistocardiography，iBCG)。
心冲击描记术(ballistocardiography，BCG)的原理是心脏周期活动过程中血液在人体内部流动造成人体轻微的机械运动，而iBCG则是通过视频捕捉人体头部这种轻微的机械运动，得到信号称之为视频心冲击信号，然后采用数字信号处理技术以及数据分析技术来得到心率。这种技术于2013年由Balakrishnan等人提出，他们将视频序列第一帧图像确定的特征点通过追踪算法得到特征点纵向运动轨迹信号，然后通过带通滤波以及主成分分析方法进行降维，最后从前五个主成分中筛选出包含心率信息的脉冲信号。他们的方法没有考虑到运动噪声的干扰，如：刚性运动(自主头部运动)或非刚性运动(面部表情)的干扰。由于心脏周期性活动引起头部的轻微机械运动相对于刚性运动或非刚性运动是非常微弱的，因此，如何消除运动噪声的干扰是从视频新冲击信号中得到准确心率的一个挑战。
发明内容
本发明是为解决上述技术所存在的不足，提供了一种基于视频的非接触式检测心率中去除运动噪声的方法，以期能够去除刚性和刚性运动噪声的干扰，从而提高非接触式视频心率检测的准确性。
本发明为解决技术问题采用如下技术方案：
本发明一种消除视频心冲击信号运动噪声的非接触式视心率检测方法的特点是按照如下步骤进行：
步骤1：获取受试者的T帧视频数据，分为L份，每份有t帧视频图像；
步骤2：对于第l份t帧视频图像，采用人脸检测方法以及人脸比例划分方法在第一帧视频图像中获得第l份I个面部感兴趣区域；1≤l≤L；
对于第l份第i个面部感兴趣区域通过特征点获取算法得到第l份第i个面部感兴趣区域的若干个特征点，1≤i≤I；
步骤3、根据第l份第一帧视频图像的第i个面部感兴趣区域的若干个特征点，采用追踪算法获得第l份t帧视频图像的各个特征点对应的横向以及纵向运动轨迹信号的两个输入信号数据集，并删除异常特征点所对应的运动轨迹后，得到第l份第i个面部感兴趣区域的处理后的两个输入信号数据集
Figure BDA0002650975560000021
和
Figure BDA0002650975560000022
T为矩阵的转置，其中，
Figure BDA0002650975560000023
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点横向运动轨迹，
Figure BDA0002650975560000024
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点纵向运动轨迹，1≤n≤N；
步骤4：对第l份第i个面部感兴趣区域的处理后的两个输入信号数据集Xli(t)以及Yli(t)进行典型相关分析，得到第l份第i个面部感兴趣区域的两个混合矩阵Ali、Bli以及两个典型相关变量矩阵
Figure BDA0002650975560000025
其中，
Figure BDA0002650975560000026
表示第l份第i个面部感兴趣区域中构成横向运动轨迹的第n个典型相关变量，
Figure BDA0002650975560000027
表示第l份第i个面部感兴趣区域中构成纵向运动轨迹的第n个典型相关变量，1≤n≤N；
步骤5：令k＝1,2,...,N-1，从而依次将
Figure BDA0002650975560000028
中k个典型相关变量置“0”，并分别通过所述混合矩阵Ali重构第l份第i个面部感兴趣区域的N-1个纵向运动轨迹信号矩阵，其中，第l份第i个面部感兴趣区域的第k个纵向运动轨迹信号矩阵记为
Figure BDA0002650975560000029
Figure BDA00026509755600000210
是第l份第i个面部感兴趣区域的前k个典型相关变量置“0”后第n个特征点重构的纵向运动轨迹信号；计算第l份t帧视频图像的第1个特征点横向运动轨迹
Figure BDA00026509755600000211
与前k个典型相关变量置“0”后第1个特征点
Figure BDA00026509755600000212
的相关系数
Figure BDA00026509755600000213
从而得到第l份第i个面部感兴趣区域的相关系数矩阵
Figure BDA00026509755600000214
寻找第l份第i个面部感兴趣区域的相关系数矩阵Rli的拐点，从而确定拐点所对应的最佳去噪重构参数qli；
步骤6：计算第l份t帧视频图像的第n个特征点纵向运动轨迹
Figure BDA00026509755600000215
的方差并取所有方差的平均值SDli，将平均值SDli与阈值sd比较，若高于阈值sd，则判定受试者有刚性运动，然后根据所述最佳去噪重构参数qli，将第l份的N-1个纵向运动轨迹信号矩阵中第qli个纵向运动轨迹信号矩阵
Figure BDA0002650975560000031
作为去除运动噪声后的纵向运动轨迹信号矩阵；若低于阈值sd，则将第l份的N-1个纵向运动轨迹信号矩阵中的第1个纵向运动轨迹信号矩阵
Figure BDA0002650975560000032
作为去除噪声的纵向运动轨迹信号矩阵；
步骤7：对所述第qli个纵向运动轨迹信号矩阵
Figure BDA0002650975560000033
或第1个纵向运动轨迹信号矩阵
Figure BDA0002650975560000034
进行去趋势以及带通滤波预处理，再采用主成分分析方法进行降维处理，并取前m个主成分，从而得到第l份第i个面部感兴趣区域的主成分数据集
Figure BDA0002650975560000035
其中
Figure BDA0002650975560000036
是第l份第i个面部感兴趣区域得到的第j个主成分；
步骤8：采用典型相关分析处理所述主成分数据集Pli(t)，得到第l份第i个面部感兴趣区域的源信号候选集
Figure BDA0002650975560000037
其中，
Figure BDA0002650975560000038
是第l份第i个面部感兴趣区域的第j个候选信号；
步骤9：计算第l份中每个面部感兴趣区域第j个候选信号
Figure BDA0002650975560000039
的功率谱，将主频与二倍主频能量占比总能量最大的信号作为脉冲信号，并由所述脉冲信号对应的主频值fmain，从而计算出第l份t帧视频图像的受试者平均心率值HRl＝fmain×60；
步骤10：重复步骤2-步骤9，从而计算L份t帧视频图像并得到的L个心率值集合HRset＝[HR1,HR2,...,HRl,...,HRL]；
步骤11：构建并初始化正常心率值索引集合IDXnor＝[1,2,...,l,...,L]；
构建并初始化异常心率值索引集合IDXabnor＝[]；
步骤12：计算心率值集合HRset的标准差HRsd，并与阈值HRSD比较，若计算得到的标准差小于此阈值，则认为心率值集合HRset中没有异常的心率值，反之，则认为心率值集合HRset中有异常的心率值；并执行步骤13；
步骤13：计算心率值集合HRset的平均值HRmean，找出与HRmean相差最大的一个受试者平均心率值，将其序号从正常心率值索引集合IDXnor中删除，并加入异常心率的索引集合IDXabnor后，从心率值集合HRset中去除相应的受试者平均心率值；从而得到删除后的心率值集合并赋值给HRset；
步骤14：重复步骤12-步骤13，直至心率值集合HRset的标准差小于HRSD为止，从而得到最终的异常心率值索引集合
Figure BDA0002650975560000041
步骤15：对于最终的异常心率值索引集合
Figure BDA0002650975560000042
中的任意一个索引lidx，在最终的正常心率值索引集合IDXnor中获取与索引lidx最接近的两个索引，并将心率值集合HRset中与最接近的两个索引对应的心率值的平均值作为索引lidx所对应的参考心率HRref；
步骤16：再根据索引lidx从对应t帧视频图像中找出第i个面部感兴趣区域的源信号候选集Si(t)，计算每个候选信号的功率谱密度，并获取功率谱密度的主频，从而计算出心率值，并将与参考心率HRref最接近的心率值作为重新筛选的心率值后，按照索引lidx放入心率值集合HRset中相应的位置；
步骤17：重复步骤15-步骤16，从而得到更新后的心率值集合
Figure BDA0002650975560000043
与已有技术相比，本发明有益效果体现在：
1、本发明通过分析横向运动轨迹与纵向运动轨迹的相关性，采用典型相关分析，将包含运动噪声的典型相关变量置“0”，并重构用于iBCG分析的纵向运动轨迹信号。这样可以消除头部运动造成的刚性运动噪声对视频心冲击信号测量心率的影响，提升了iBCG技术对运动噪声的抗噪性和心率测量准确性。
2、本发明采用不同的面部感兴趣区域，在消除不同区域中由于头部运动造成的刚性运动噪声的基础上，再采用典型相关分析方法对不同皮肤区域做处理来消除面部表情引起的非刚性运动噪声，从而达到了消除运动噪声的目的，有利于获得更准确的心率。
附图说明
图1为本发明方法的流程图；
图2为本发明UBFC数据库面部感兴趣区域以及特征点分布示意图；
图3为本发明连续性心率筛选流程图；
图4为本发明心率误差分布图。
具体实施方式：
本实施例中，一种消除视频心冲击信号运动噪声的的非接触式心率检测方法，是首先获取视频图像第一帧图片并确定面部感兴趣区域以及特征点，接着采用追踪算法对特征点追踪，对不同面部感兴趣区域，将异常特征点轨迹删除，然后将特征点横向运动轨迹信号以及纵向运动轨迹信号两个数据集作为典型相关分析的输入，接着按照指定的规则将典型相关变量置0并得到去除刚性运动噪声的纵向运动轨迹信号，然后进行去趋势以及带通滤波处理，其次采用主成分分析方法进行降维，并选择前五个主成分作为一个数据集，将两个面部感兴趣区域得到的数据集作为典型相关分析方法的输入，得到的典型相关变量作为候选信号集合，最后根据功率谱分析方法将主频与二倍主频能量占比总能量最大的候选信号作为脉冲信号，并根据该信号主频值计算出心率值，然后根据心率连续性将异常值挑选出来并用正确的心率值替换。具体来说，如图1所示，是按照如下步骤进行的：
步骤1：获取受试者的T帧视频数据，T＝fps×60，fps是视频采样率，60为视频时长，单位是秒，分为L份，L＝7，每份有t帧视频图像，t＝30×fps，即相邻两份t帧视频图像会有25s的重叠；
步骤2：对于第l份t帧视频图像，采用人脸检测方法以及人脸比例划分方法在第一帧视频图像中获得第l份I个面部感兴趣区域，1≤l≤L，I＝2。
面部点可以根据最小特征值算法以及TCDCN人脸检测算法得到，前者得到的点称为特征点，根据选定的区域确定，后者得到的点称为landmarks，根据面部轮廓确定，但是部分landmarks位于眼睛和嘴巴周围，容易使脸部点的运动受到眨眼或说话的干扰，因此，对于第l份第i个面部感兴趣区域，1≤i≤I，本发明通过最小特征值算法得到第l份第i个面部感兴趣区域的若干个特征点；本实例中人脸视频图像来自公开数据集UBFC-RPPG和COHFACE，图2是UBFC-RPPG面部感兴趣区域划分以及特征点分布；本发明根据实验室光照条件和自然光照条件把COHFACE数据集分为两个数据集，自然光照条件的面部感兴趣区域取图1中上下两个面部感兴趣区域左边一半；
步骤3、根据第l份第一帧视频图像的第i个面部感兴趣区域的若干个特征点，采用Kanade-Lucas-Tomasi(KLT)追踪算法获得t帧视频图像的各个特征点对应的横向运动轨迹信号以及纵向运动轨迹信号的两个输入信号数据集，并删除异常特征点所对应的运动轨迹后，得到第l份第i个面部感兴趣区域的处理后的两个输入信号数据集
Figure BDA0002650975560000051
和
Figure BDA0002650975560000052
其中，
Figure BDA0002650975560000053
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点横向运动轨迹，
Figure BDA0002650975560000054
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点纵向运动轨迹，1≤n≤N；
步骤4：由于刚性运动会同时影响特征点横向以及纵向运动轨迹使它们具有很强的相关性，而典型相关分析是分析不同数据相关性的方法，因此，对第l份第i个面部感兴趣区域的处理后的两个输入信号数据集Xli(t)以及Yli(t)进行典型相关分析，得到第l份第i个面部感兴趣区域的两个混合矩阵Ali、Bli以及两个典型相关变量矩阵
Figure BDA0002650975560000055
其中，
Figure BDA0002650975560000056
表示构成第l份第i个面部感兴趣区域中横向运动轨迹的第n个典型相关变量，
Figure BDA0002650975560000061
表示第l份第i个面部感兴趣区域中构成纵向运动轨迹的第n个典型相关变量，1≤n≤N；
步骤5：令k＝1,2,...,N-1，从而依次将
Figure BDA0002650975560000062
中k个典型相关变量置“0”，并分别通过混合矩阵Ali重构第l份第i个面部感兴趣区域的N-1个纵向运动轨迹信号矩阵，其中，第l份第i个面部感兴趣区域的第k个纵向运动轨迹信号矩阵记为
Figure BDA0002650975560000063
Figure BDA0002650975560000064
是第l份第i个面部感兴趣区域的前k个典型相关变量置“0”后第n个特征点重构的纵向运动轨迹信号；计算第l份t帧视频图像的第1个特征点横向运动轨迹
Figure BDA0002650975560000065
与前k个典型相关变量置“0”后第1个特征点
Figure BDA0002650975560000066
的相关系数
Figure BDA0002650975560000067
从而得到第l份第i个面部感兴趣区域的相关系数矩阵
Figure BDA0002650975560000068
寻找第l份第i个面部感兴趣区域的相关系数矩阵Rli的拐点，从而确定拐点所对应的最佳去噪重构参数qli，将步骤4得到的V(t)中前qli个变量认为是运动噪声；
步骤6：计算第l份t帧视频图像的第n个特征点纵向运动轨迹
Figure BDA0002650975560000069
的方差并取所有方差的平均值SDli，将平均值SDli与阈值sd比较，sd＝2.5，此数据有实验测得，若高于阈值sd，则判定受试者有刚性运动，然后根据最佳去噪重构参数qli，从第l份的N-1个纵向运动轨迹信号矩阵中第qli个纵向运动轨迹信号矩阵
Figure BDA00026509755600000610
作为去除运动噪声后的纵向运动轨迹信号矩阵；若低于阈值sd，则将第l份的N-1个纵向运动轨迹信号矩阵中的第1个纵向运动轨迹信号矩阵
Figure BDA00026509755600000611
作为去除噪声的纵向运动轨迹信号矩阵；
步骤7：对对第qli个纵向运动轨迹信号矩阵
Figure BDA00026509755600000612
或第1个纵向运动轨迹信号矩阵
Figure BDA00026509755600000613
进行去趋势以及带通滤波预处理，去趋势的平滑参数为20，带通滤波范围为0.75-3.0HZ，组会以对应的心率范围是45-180bpm(beat-per-minute)，由于去除刚性运动噪声的纵向运动轨迹信号维数比较高，所以采用主成分分析方法进行降维处理，并取前m个主成分，m＝5，从而得到第i个面部感兴趣区域的主成分数据集
Figure BDA00026509755600000614
其中
Figure BDA00026509755600000615
是第l份第i个面部感兴趣区域得到的第j个主成分；
步骤8：对于不同的面部感兴趣区域，由于其受到的非刚性运动如面部表情的影响程度不一样，使得各面部感兴趣区域受到的非刚性运动干扰程度不同，而不同面部感兴趣区域包含共同的心率信息，因此再次采用典型相关分析处理主成分数据集Pli(t)来去除非刚性运动噪声，得到第i个面部感兴趣区域的源信号候选集
Figure BDA0002650975560000071
其中，
Figure BDA0002650975560000072
是第l份第i个面部感兴趣区域的第j个候选信号；
步骤9：计算第l份中每个面部感兴趣区域第j个候选信号
Figure BDA0002650975560000073
的功率谱，将主频与二倍主频能量占比总能量最大的信号作为脉冲信号，并由脉冲信号对应的主频值fmain，从而计算出第l份t帧视频图像的受试者平均心率值HRl＝fmain×60。
步骤10：重复步骤2-步骤9，从而计算L份t帧视频图像并得到的L个心率值集合HRset＝[HR1,HR2,...,HRl,...,HRL]；
步骤11：如图3所示，构建并初始化正常心率值索引集合IDXnor＝[1,2,...,l,...,L]；
构建并初始化异常心率值索引集合IDXabnor＝[]；
步骤12：计算心率值集合HRset的标准差HRsd，并与阈值HRSD比较，若计算得到的标准差小于此阈值，则认为心率值集合HRset中没有异常的心率值，反之，则认为心率值集合HRset中有异常的心率值；并执行步骤13；
步骤13：计算心率值集合HRset的平均值HRmean，找出与HRmean相差最大的一个受试者平均心率值，将其序号从正常心率值索引集合IDXnor中删除，并加入异常心率的索引集合IDXabnor后，从心率值集合HRset中去除相应的受试者平均心率值；从而得到删除后的心率值集合并赋值给HRset；
步骤14：重复步骤12-步骤13，直至心率值集合HRset的标准差小于HRSD为止，从而得到最终的异常心率值索引集合
Figure BDA0002650975560000074
步骤15：对于最终的异常心率值索引集合
Figure BDA0002650975560000075
中的任意一个索引lidx，在最终的正常心率值索引集合IDXnor中获取与索引lidx最接近的两个索引，并将心率值集合HRset中与最接近的两个索引对应的心率值的平均值作为索引lidx所对应的参考心率HRref；
步骤16：再根据索引lidx从对应t帧视频图像中找出第i个面部感兴趣区域的源信号候选集Si(t)，计算每个候选信号的功率谱密度，并获取功率谱密度的主频，从而计算出心率值，并将与参考心率HRref最接近的心率值作为重新筛选的心率值后，按照索引lidx放入心率值集合HRset中相应的位置；
步骤17：重复步骤15-步骤16，从而得到更新后的心率值集合
Figure BDA0002650975560000076
为了验证该发明中消除视频心冲击信号运动噪声的心率检测算法的鲁棒性，将得到的测试心率值与公开数据集提供的心率真值对比，并计算相关统计数据，包括平均绝对误差，均方根误差，标准差与相关系数，并本发明提出的方法(Robust iBCG)和Balakrishnan等人的方法(iBCG2013)进行了对比。表1给出了公开数据集UBFC-RPPG中42个视频的统计结果，表2表3分别给出公开数据集COHFACE实验室光照以及自然光照下两个场景各80个视频的结果。
表1 UBFC两种方法得到的心率检测结果的统计数据
评价指标 iBCG2013 RobustiBCG
平均绝对误差(bpm) 24.24 3.52
均方根误差(bpm) 34.39 4.95
标准差(bpm) 24.28 3.48
相关系数 0.15 0.96
表2 COHFACE实验室光照下两种方法得到的心率检测结果的统计数据
评价指标 iBCG2013 RobustiBCG
平均绝对误差(bpm) 4.90 2.22
均方根误差(bpm) 10.84 5.70
标准差(bpm) 9.67 5.25
相关系数 0.60 0.88
表3 COHFACE自然光照下两种方法得到的心率检测结果的统计数据
评价指标 iBCG2013 RobustiBCG
平均绝对误差(bpm) 6.46 2.99
均方根误差(bpm) 12.27 6.73
标准差(bpm) 10.43 6.02
相关系数 0.51 0.82
从表1可以看出，在平均绝对误差，均方根误差以及标准差这三项指标上，RobustiBCG方法相比较于iBCG2013有很大的改进，分别是18.81bpm，24.17bpm和15.68bpm，并且相关系数也由0.15提升到0.85，从表2和表3的结果可以看出iBCG2013方法在COHFACE数据库上的效果优于UBFC，这是因为COHFACE数据库受试者运动相对于UBFC数据库比较少，而所提出的Robust iBCG四项指标均优于iBCG2013。从得到的结果可以看出，本方法计算得到的心率值和心率真值更接近，相对于iBCG2013有更好的鲁棒性。图4给出了相应的误差直方图，左边三个分别是iBCG2013方法在UBFC，COHFACE实验室光照条件，COHFACE自然光照条件的误差直方图，右边三个是Robust iBCG在相应数据库的误差直方图，可以看出，我们方法的误差集中于[-20,20]之间，而在UBFC上，iBCG2013的部分误差在[-60,-40]之间，即测量的心率与真实心率由很大的误差，在COHFACE数据集上，iBCG2013的部分误差在[-45-20]之间，虽然好于UBFC，但是误差依然很大。
综上所述，本发明中提出的消除视频心冲击信号运动噪声的非接触式心率检测方法能够较为准确的去除运动噪声干扰并得到准确的心率值，具有良好的鲁棒性，为带有运动噪声的视频心率测量提供了给更准确的算法。

Claims (1)

1.一种消除视频心冲击信号运动噪声的非接触式视心率检测方法，其特征是按照如下步骤进行：
步骤1：获取受试者的T帧视频数据，分为L份，每份有t帧视频图像；
步骤2：对于第l份t帧视频图像，采用人脸检测方法以及人脸比例划分方法在第一帧视频图像中获得第l份I个面部感兴趣区域；1≤l≤L；
对于第l份第i个面部感兴趣区域通过特征点获取算法得到第l份第i个面部感兴趣区域的若干个特征点，1≤i≤I；
步骤3、根据第l份第一帧视频图像的第i个面部感兴趣区域的若干个特征点，采用追踪算法获得第l份t帧视频图像的各个特征点对应的横向以及纵向运动轨迹信号的两个输入信号数据集，并删除异常特征点所对应的运动轨迹后，得到第l份第i个面部感兴趣区域的处理后的两个输入信号数据集
Figure FDA0003721703580000011
和
Figure FDA0003721703580000012
T为矩阵的转置，其中，
Figure FDA0003721703580000013
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点横向运动轨迹，
Figure FDA0003721703580000014
为第l份第i个面部感兴趣区域的t帧视频图像的第n个特征点纵向运动轨迹，1≤n≤N；
步骤4：对第l份第i个面部感兴趣区域的处理后的两个输入信号数据集Xli(t)以及Yli(t)进行典型相关分析，得到第l份第i个面部感兴趣区域的两个混合矩阵Ali、Bli以及两个典型相关变量矩阵
Figure FDA0003721703580000015
其中，
Figure FDA0003721703580000016
表示第l份第i个面部感兴趣区域中构成横向运动轨迹的第n个典型相关变量，
Figure FDA0003721703580000017
表示第l份第i个面部感兴趣区域中构成纵向运动轨迹的第n个典型相关变量，1≤n≤N；
步骤5：令k∈1,2,...,N-1，从而将
Figure FDA0003721703580000018
中k个典型相关变量置“0”，并分别通过所述混合矩阵Ali重构第l份第i个面部感兴趣区域的N-1个纵向运动轨迹信号矩阵，其中，第l份第i个面部感兴趣区域的第k个纵向运动轨迹信号矩阵记为
Figure FDA0003721703580000019
Figure FDA00037217035800000110
是第l份第i个面部感兴趣区域的前k个典型相关变量置“0”后第n个特征点重构的纵向运动轨迹信号；计算第l份t帧视频图像的第1个特征点横向运动轨迹
Figure FDA00037217035800000111
与前k个典型相关变量置“0”后第1个特征点
Figure FDA00037217035800000112
的相关系数
Figure FDA00037217035800000113
从而得到第l份第i个面部感兴趣区域的相关系数矩阵
Figure FDA00037217035800000114
寻找第l份第i个面部感兴趣区域的相关系数矩阵Rli的拐点，从而确定拐点所对应的最佳去噪重构参数qli；
步骤6：计算第l份t帧视频图像的第n个特征点纵向运动轨迹
Figure FDA0003721703580000021
的方差并取所有方差的平均值SDli，将平均值SDli与阈值sd比较，若高于阈值sd，则判定受试者有刚性运动，然后根据所述最佳去噪重构参数qli，将第l份的N-1个纵向运动轨迹信号矩阵中第qli个纵向运动轨迹信号矩阵
Figure FDA0003721703580000022
作为去除运动噪声后的纵向运动轨迹信号矩阵；若低于阈值sd，则将第l份的N-1个纵向运动轨迹信号矩阵中的第1个纵向运动轨迹信号矩阵
Figure FDA0003721703580000023
作为去除运动噪声的纵向运动轨迹信号矩阵；
步骤7：对所述去除运动噪声的纵向运动轨迹信号矩阵进行去趋势以及带通滤波预处理，再采用主成分分析方法进行降维处理，并取前m个主成分，从而得到第l份第i个面部感兴趣区域的主成分数据集
Figure FDA0003721703580000024
其中
Figure FDA0003721703580000025
是第l份第i个面部感兴趣区域得到的第j个主成分；
步骤8：采用典型相关分析处理所述主成分数据集Pli(t)，得到第l份第i个面部感兴趣区域的源信号候选集
Figure FDA0003721703580000026
其中，
Figure FDA0003721703580000027
是第l份第i个面部感兴趣区域的第j个候选信号；
步骤9：计算第l份中每个面部感兴趣区域第j个候选信号
Figure FDA0003721703580000028
的功率谱，将主频与二倍主频能量占比总能量最大的信号作为脉冲信号，并由所述脉冲信号对应的主频值fmain，从而计算出第l份t帧视频图像的受试者平均心率值HRl＝fmain×60；
步骤10：重复步骤2-步骤9，从而计算L份t帧视频图像并得到的L个心率值集合HRset＝[HR1,HR2,...,HRl,...,HRL]；
步骤11：构建并初始化正常心率值索引集合IDXnor＝[1,2,...,l,...,L]；
构建并初始化异常心率值索引集合IDXabnor＝[]；
步骤12：计算心率值集合HRset的标准差HRsd，并与阈值HRSD比较，若计算得到的标准差小于此阈值，则认为心率值集合HRset中没有异常的心率值，反之，则认为心率值集合HRset中有异常的心率值；并执行步骤13；
步骤13：计算心率值集合HRset的平均值HRmean，找出与HRmean相差最大的一个受试者平均心率值，将其序号从正常心率值索引集合IDXnor中删除，并加入异常心率的索引集合IDXabnor后，从心率值集合HRset中去除相应的受试者平均心率值；从而得到删除后的心率值集合并赋值给HRset；
步骤14：重复步骤12-步骤13，直至心率值集合HRset的标准差小于HRSD为止，从而得到最终的异常心率值索引集合
Figure FDA0003721703580000031
步骤15：对于最终的异常心率值索引集合
Figure FDA0003721703580000032
中的任意一个索引lidx，在最终的正常心率值索引集合IDXnor中获取与索引lidx最接近的两个索引，并将心率值集合HRset中与最接近的两个索引对应的心率值的平均值作为索引lidx所对应的参考心率HRref；
步骤16：再根据索引lidx从对应t帧视频图像中找出第i个面部感兴趣区域的源信号候选集Si(t)，计算每个候选信号的功率谱密度，并获取功率谱密度的主频，从而计算出心率值，并将与参考心率HRref最接近的心率值作为重新筛选的心率值后，按照索引lidx放入心率值集合HRset中相应的位置；
步骤17：重复步骤15-步骤16，从而得到更新后的心率值集合
Figure FDA0003721703580000033
CN202010870594.7A 2020-08-26 2020-08-26 消除视频心冲击信号运动噪声的非接触式视心率检测方法 Active CN112001862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010870594.7A CN112001862B (zh) 2020-08-26 2020-08-26 消除视频心冲击信号运动噪声的非接触式视心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010870594.7A CN112001862B (zh) 2020-08-26 2020-08-26 消除视频心冲击信号运动噪声的非接触式视心率检测方法

Publications (2)

Publication Number Publication Date
CN112001862A CN112001862A (zh) 2020-11-27
CN112001862B true CN112001862B (zh) 2022-08-30

Family

ID=73471934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870594.7A Active CN112001862B (zh) 2020-08-26 2020-08-26 消除视频心冲击信号运动噪声的非接触式视心率检测方法

Country Status (1)

Country Link
CN (1) CN112001862B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361526B (zh) * 2021-07-16 2022-09-27 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN115153473B (zh) * 2022-06-10 2024-04-19 合肥工业大学 基于多变量奇异谱分析的非接触式心率检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647815A (zh) * 2019-08-25 2020-01-03 上海贝瑞电子科技有限公司 一种基于人脸视频图像的非接触式心率测量方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680226B2 (en) * 2005-03-24 2010-03-16 Dell Products L.P. Minimizing dynamic crosstalk-induced jitter timing skew
KR20190107430A (ko) * 2018-03-12 2019-09-20 삼성전자주식회사 혈압 측정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647815A (zh) * 2019-08-25 2020-01-03 上海贝瑞电子科技有限公司 一种基于人脸视频图像的非接触式心率测量方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A unified canonical correlation analysis-based framework for removing gradient artifact in concurrent EEG/fMRI recording and motion artifact in walking recording from EEG signal";Junhua Li等;《Medical & Biological Engineering & Computing》;20170209;第55卷;全文 *
"Video-Based Heartbeat Rate Measuring Method Using Ballistocardiography";M. A. Hassan等;《IEEE Sensors Journal》;20170715;第17卷(第14期);全文 *
"基于PPG信号的运动伪影去除算法研究进展";侯啟伟等;《软件导刊》;20200430;第19卷(第04期);全文 *

Also Published As

Publication number Publication date
CN112001862A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
Lokendra et al. AND-rPPG: A novel denoising-rPPG network for improving remote heart rate estimation
McDuff et al. Remote detection of photoplethysmographic systolic and diastolic peaks using a digital camera
Mohebbian et al. Fetal ECG extraction from maternal ECG using attention-based CycleGAN
JP7429371B2 (ja) 生体物理信号における非同期ノイズを定量化し、かつ除去するための方法およびシステム
CN112001862B (zh) 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
Wang et al. An emotional analysis method based on heart rate variability
CN111281367A (zh) 一种基于人脸视频的抗干扰非接触式心率检测方法
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
CN116035536B (zh) 一种睡眠行为活跃水平检测量化的方法、系统和装置
Yin et al. Heart rate estimation based on face video under unstable illumination
KR20220150901A (ko) 모체 자궁 활동 검출을 위한 융합 신호 처리
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
CN114569096A (zh) 一种基于视频流的非接触式连续血压测量方法及系统
CN115153473B (zh) 基于多变量奇异谱分析的非接触式心率检测方法
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
Li et al. An improvement for video-based heart rate variability measurement
CN113974576A (zh) 一种基于心磁图的睡眠质量监测系统及监测方法
KR20220123376A (ko) 심혈관 파라미터를 결정하기 위한 방법 및 시스템
Sugita et al. Noise reduction technique for single-color video plethysmography using singular spectrum analysis
CN110584638A (zh) 一种基于cmor小波的非接触式心率测量方法
Suriani et al. Non-contact facial based vital sign estimation using convolutional neural network approach
Yang et al. cbPPGGAN: A generic enhancement framework for unpaired pulse waveforms in camera-based photoplethysmography
Scherpf et al. Deepperfusion: Camera-based blood volume pulse extraction using a 3d convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant