CN105678780A - 一种去除环境光变化干扰的视频心率检测方法 - Google Patents

一种去除环境光变化干扰的视频心率检测方法 Download PDF

Info

Publication number
CN105678780A
CN105678780A CN201610027463.6A CN201610027463A CN105678780A CN 105678780 A CN105678780 A CN 105678780A CN 201610027463 A CN201610027463 A CN 201610027463A CN 105678780 A CN105678780 A CN 105678780A
Authority
CN
China
Prior art keywords
interest
intrinsic mode
correlated variables
heart rate
mode component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610027463.6A
Other languages
English (en)
Other versions
CN105678780B (zh
Inventor
陈勋
徐灵曦
成娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hui Zhi Xing Chen Technology Co Ltd
Original Assignee
Intelligent Manufacturing Institute of Hefei University Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Manufacturing Institute of Hefei University Technology filed Critical Intelligent Manufacturing Institute of Hefei University Technology
Priority to CN201610027463.6A priority Critical patent/CN105678780B/zh
Publication of CN105678780A publication Critical patent/CN105678780A/zh
Application granted granted Critical
Publication of CN105678780B publication Critical patent/CN105678780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种去除环境光变化干扰的视频心率检测方法,首先获得面部感兴趣区域数据集和背景区域数据集,利用联合盲源分离技术对两个数据集进行处理,将共同拥有的环境光变化的信号源提取并置零,得到无环境光变化干扰的面部感兴趣区域数据集;其次选择最佳颜色通道的面部感兴趣区域数据,利用总体平均经验模态分解法得到本征模式分量;接着将所有最大幅值对应的频率处于所设定心率范围内的本征模式分量确定为候选本征模式分量集,并将其中最大幅值所对应的本征模式分量确定为最佳本征模式分量,通过峰值检测算法得到视频心率。本发明为非接触式心率检测提供了更准确的算法,在临床疾病诊断和日常的医疗保健方面具有重要的应用前景。

Description

一种去除环境光变化干扰的视频心率检测方法
技术领域
本发明属于生物图像信息的技术领域,尤其涉及一种去除环境光变化干扰的非接触式视频心率检测方法。
背景技术
心率是人体生命活动的重要生理参数之一。它是指单位时间内心脏搏动的次数,一般是每分钟心脏搏动的次数(beatperminute,bpm),是临床常规诊断的生理指标,对慢性疾病,例如心力衰竭、心房颤动和睡眠呼吸暂停等的诊断具有重要意义。
常规的临床心率检测仪器一般需要与人体进行直接接触。接触式主要包括心电图、胸带、脉冲血氧仪等常规测量方法,由于准确率高,广泛应用于医学临床、急救和社区医疗等场合。但是,有些测量方式需要使用导电凝胶,有些需要采用胸带进行捆绑,使用吸附电极作用于胸部,或使用弹簧夹夹在耳垂或手指等部位。这些电极接触方式长期作用时可能会引起皮肤刺激或者疼痛等不适。近些年来,非接触式心率检测方法引起了广泛的关注,它克服了传统接触式方法的不足,能够满足一些特殊情况的使用要求,例如,重症监护室、长期连续监测、家庭医疗、航天医疗等环境。根据测量原理不同,非接触式心率测量可以分为电容耦合心电图、微波多普勒雷达、超声多普勒雷达、光学心振动图、热成像、图像光电容积描记(imagingphotoplethysmography,iPPG)等技术,其中,新近兴起的iPPG生理参数监测技术,由于其设备要求较低,成本不高,并且能够做到随时随地舒适方便的监测,引起了国内外学术界的广泛关注。
iPPG技术实质上是通过摄像头获取连续人体视频图像信号,由于心脏的周期性收缩和舒张会引起体表血管容积发生周期性改变,从而导致体表入射光路径长度及入射角度发生变化,引起反射光强度产生相应变化,这种变化能够反映心血管活动的规律,通过视频图像来捕捉这些细微的变化,经过人脸识别和盲源分离技术,可以得到心率(heartrate,HR)。但是,盲源分离一般适用于较小幅度和慢速的运动伪迹视频心率检测,即要求测试者保持相对静止(或较小幅度的慢速运动)和环境光保持稳定。然而,实际应用时不可避免会引入运动伪迹和环境光变化。由于心脏搏动引起的体表血管容积的变化远远小于运动伪迹和环境光变化带来的变化,如何消除这两种因素的影响对于视频心率检测方法的推广使用具有重要研究意义。近年来已有不少研究学者从消除运动伪迹的影响方面出发,提高了心率测量的准确性,但却鲜见关于环境光变化方面的报道。因此,设计一种有效的方法来去除环境光变化对视频心率检测的影响迫在眉睫。
发明内容
本发明为克服现有技术的不足之处,提供了一种视频检测心率中去除环境光变化干扰的方法,以期能去除环境光变化对视频心率检测的影响,从而提高视频心率检测的准确性。
本发明为解决技术问题所采用如下技术方案:
本发明一种去除环境光变化干扰的视频心率检测方法的特点是按如下步骤进行:
步骤1:获取I帧视频图像;对I帧视频图像计算N个颜色通道的面部感兴趣区域的平均像素,获得面部感兴趣区域数据集X=[X1,X2,…,Xn,…,XN]T;Xn表示第n个颜色通道的面部感兴趣区域数据;并对I帧视频图像计算N个颜色通道的背景区域的平均像素,获得背景区域数据集Y=[Y1,Y2,…,Yn,…,YN]T;Yn表示第n个颜色通道的背景区域数据;
并有,Xn=[x1 (n),x2 (n),…,xI (n)];xI (n)表示第n个颜色通道的面部感兴趣区域的第I个平均像素;Yn=[y1 (n),y2 (n),…,yI (n)];yI (n)表示第n个颜色通道的背景区域的第I个平均像素;
步骤2:采用联合盲源分离法对所述面部感兴趣区域数据集X和背景区域数据集Y进行处理,获得混合矩阵解混矩阵面部感兴趣区域的典型相关变量集 Z X = [ Z 1 ( X ) , Z 2 ( X ) , ... , Z p ( X ) , ... , Z P ( X ) ] T 和背景区域的典型相关变量集 Z Y = [ Z 1 ( Y ) , Z 2 ( Y ) , ... , Z p ( Y ) , ... , Z P ( Y ) ] T ; 表示面部感兴趣区域的第p个典型相关变量,表示背景区域的第p个典型相关变量,1≤p≤P,P表示典型相关变量的个数;且面部感兴趣区域的典型相关变量集和背景区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列;
并有zI (X)(p)表示第I帧视频图像中面部感兴趣区域的第p个典型相关变量值;zI (Y)(p)表示第I帧视频图像中背景区域的第p个典型相关变量值;则所述面部感兴趣区域数据集X=AZX;背景区域数据集Y=AZY
步骤3、设定相关系数阈值,并将面部感兴趣区域的典型相关变量和背景区域的典型相关变量的相关系数与所设定的相关系数阈值进行比较,若超出相关系数阈值,则将超出所述相关系数阈值的面部感兴趣区域的典型相关变量和背景区域的典型相关变量均作为环境光变化的典型变量;
步骤4、获取超出所述相关系数阈值的面部感兴趣区域的典型相关变量的个数Q;并将面部感兴趣区域的典型相关变量集ZX中的前Q个的典型相关变量均置为零;从而形成不包含环境光变化的面部感兴趣区域的典型相关变量集
步骤5、利用式(1)获得不包含环境光变化的面部感兴趣区域数据集 表示第n个颜色通道中不包含环境光变化的脸部感兴趣区域数据:
X ~ = A Z ~ X - - - ( 1 )
步骤6、利用氧合血红蛋白吸收率选择所述N个颜色通道中第best个最佳颜色通道;第best个最佳颜色通道具有最大的氧合血红蛋白吸收率;
步骤7、利用总体平均经验模态分解法将所述第best个最佳颜色通道中不包含环境光变化的脸部感兴趣区域数据分解成为L个本征模式分量S=[S1,S2,…,Sl,…,SL]T;Sl表示第l个本征模式分量;
步骤8:定义候选本征模式分量集,并初始化为空;初始化l=1;
步骤9、计算第l个本征模式分量Sl的频谱图,判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣的心率范围内,若处于,则将第l个本征模式分量Sl加入候选本征模式分量集中;否则直接执行步骤10;
步骤10、将l+1赋值给l;并返回步骤9;
步骤11、比较候选本征模式分量集中每个本征模式分量频率的最大幅值,选取最大的最大幅值所对应的本征模式分量作为最佳本征模式分量,对所述最佳本征模式分量采用峰值检测算法获得视频心率检测结果。
与现有技术相比,本发明的有益效果体现在:
1、本发明通过采用联合盲源分离法对面部感兴趣区域数据集和背景区域数据集进行处理,可以将面部感兴趣区域和背景区域共同包含的环境光变化的典型相关变量恢复出来,并且采用联合盲源分离法可以保证环境光变化的典型相关变量子在面部感兴趣区域和背景区域数据集中是对齐的。之后将环境光变化的典型相关变量置零,就可以得到不包含环境光变化的脸部感兴趣区域数据集。这样带来的直接好处是,即便是环境光变化引起视频图像的变化远远大于心脏周期性跳动带来的视频图像的变化,或环境光变化的频率和心率频率接近,该环境光变化均能被抑制。而传统的盲源分离方法,一方面无法将淹没在环境光变化中的心率信号很好地分离出来,另一方面结合带通滤波器等手段无法适应干扰频率和心率频率接近的情景。
2、本发明在获得不包含环境光变化的面部感兴趣区域数据集中将具有最大氧合血红蛋白吸收率的颜色通道确定为最佳颜色通道,通过选取具有最强的体积描记信号的颜色通道进一步保证视频检测心率的准确性。
3、本发明总体平均经验模态分解法具有将非平稳的时间序列分解为有限个数的本征模式分量,从而进一步消除其他噪声和可能的环境光变化残留噪声的影响,得到准确的视频心率检测结果。
综上所述,本发明充分利用了联合盲源分离法的优势,不仅考虑了单个数据集的信号源,更加强调了面部感兴趣区域数据集和背景区域数据集共同包含的信号源。由于环境光变化时,脸部感兴趣区域和背景区域均包含该环境光变化信息,利用联合盲源分离技术可以将这两个区域共同包含的环境光信息源提取出来并消除,从而实现环境光变化情况下视频心率的有效检测。较之前的方法,本发明方法能够更好地去除噪声干扰,为非接触式心率检测提供了更准确的算法,在临床疾病诊断和日常的医疗保健方面具有重要的应用前景。
附图说明
图1为本发明方法的流程图;
图2-1本发明方法的面部感兴趣区域示意图;
图2-2本发明方法的背景区域示意图;
图3-1环境光变化时得到本发明方法的原始的面部感兴趣区域数据集和背景区域数据集;
图3-2利用本发明方法得到的典型相关分量集;
图3-3利用本发明方法得到的无环境光变化干扰的面部感兴趣区域数据集;
图4-1以1Hz环境光变化为例,本发明方法得到的本征模式分量的示意图;
图4-2以1Hz环境光变化为例,本发明方法得到的本征模式分量对应的频谱图;
图5-11Hz脉冲波环境光变化时,利用现有的独立成分分析方法得到的独立分量及其频谱图;
图5-20.5Hz方波环境光变化时,利用现有的独立成分分析方法得到的独立分量及其频谱图;
图6-10.1Hz环境光变化时,基于现有的单独绿色通道总体平均经验模态分解方法得到的本征模式分量及其频谱图;
图6-20.5Hz环境光变化时,基于现有的单独绿色通道总体平均经验模态分解方法得到的本征模式分量及其频谱图;
图6-31Hz环境光变化时,基于现有的单独绿色通道总体平均经验模态分解方法得到的本征模式分量及其频谱图;
图6-43Hz环境光变化时,基于现有的单独绿色通道总体平均经验模态分解方法得到的本征模式分量及其频谱图1Hz环境光变化;
图6-55Hz环境光变化时,基于现有的单独绿色通道总体平均经验模态分解方法得到的本征模式分量及其频谱图;
图7-10.1Hz环境光变化时,基于本发明方法得到的本征模式分量及其频谱图;
图7-20.5Hz环境光变化时,基于本发明方法得到的本征模式分量及其频谱图;
图7-31Hz环境光变化时,基于本发明方法得到的本征模式分量及其频谱图;
图7-43Hz环境光变化时,基于本发明方法得到的本征模式分量及其频谱图;
图7-55Hz环境光变化时,基于本发明方法得到的本征模式分量及其频谱图;
图8三种方法检测心率的绝对误差分布。
具体实施方式
本实施例中,一种去除环境光变化干扰的视频心率检测方法,如图1所示。首先获得面部感兴趣区域数据集和背景区域数据集,利用联合盲源分离技术对两个数据集进行处理,将共同拥有的环境光变化的信号源提取并置零,得到无环境光变化干扰的面部感兴趣区域数据集;其次选择最佳颜色通道的面部感兴趣区域数据,利用总体平均经验模态分解法得到本征模式分量;接着将所有最大幅值对应的频率处于所设定心率范围内的本征模式分量确定为候选本征模式分量集,并将其中最大的最大幅值所对应的本征模式分量确定为最佳本征模式分量,通过峰值检测算法得到视频心率。具体的说,以真实采集到的30s视频数据来说明,是按如下步骤进行:
步骤1:利用摄像头等视频捕获设备,采集一段时间的视频数据,本实施例中,视频数据采集速率为30帧/秒,分辨率为640×480。获取I帧视频图像;对I帧视频图像计算N个颜色通道的面部感兴趣区域的平均像素,获得面部感兴趣区域数据X=[X1,X2,…,Xn,…,XN]T;Xn表示第n个颜色通道的面部感兴趣区域数据;并对I帧视频图像计算N个颜色通道的背景区域的平均像素,获得背景区域数据集Y=[Y1,Y2,…,Yn,…,YN]T;Yn表示第n个颜色通道的背景区域数据;具体地,采用特征点定位算法得到每一帧视频图像的面部特征点,在本实施例中,面部特征点的个数有66个,如图2-1所示。选取较少数量的主要特征点构成多边形,该多边形内部的所有像素点就构成了面部感兴趣区域,本实施例中,共选取了9个主要特征点,构成的多边形如图2-1所示。面部感兴趣区域选取的基本原则是:(1)该区域包含的所有像素点应该落在人脸内部;(2)由于眨眼等行为会影响视频心率的检测,脸部区域最好不要包括进来。采用主动轮廓算法进行前景和背景区域的分离,得到背景区域如图2-2所示。
并有,Xn=[x1 (n),x2 (n),…,xI (n)];xI (n)表示第n个颜色通道的面部感兴趣区域的第I个平均像素;Yn=[y1 (n),y2 (n),…,yI (n)];yI (n)表示第n个颜色通道的背景区域的第I个平均像素;
步骤2:采用联合盲源分离法对面部感兴趣区域数据集X和背景区域数据集Y进行处理,其中数据集X和Y如图3-1所示,由于本实施例中采用的摄像头只有RGB三个颜色通道,因此数据集X和Y的颜色通道数N=3,获得混合矩阵解混矩阵面部感兴趣区域的典型相关变量集和背景区域的典型相关变量集典型相关变量集ZX和ZY如图3-2所示。表示面部感兴趣区域的第p个典型相关变量,表示背景区域的第p个典型相关变量,1≤p≤P,P表示典型相关变量的个数;且面部感兴趣区域的典型相关变量集和背景区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列;
并有zI (X)(p)表示第I帧视频图像中面部感兴趣区域的第p个典型相关变量值;zI (Y)(p)表示第I帧视频图像中背景区域的第p个典型相关变量值;则面部感兴趣区域数据集X=AZX;背景区域数据集Y=AZY
步骤3、设定相关系数阈值,并将面部感兴趣区域的典型相关变量和背景区域的典型相关变量的相关系数与所设定的相关系数阈值进行比较,若超出相关系数阈值,则将超出相关系数阈值的面部感兴趣区域的典型相关变量和背景区域的典型相关变量均作为环境光变化的典型变量;在本实施例中,设定相关系数阈值为0.95,将超出相关系数阈值的面部感兴趣区域的典型相关变量和背景区域的典型相关变量作为环境光变化的典型变量。
步骤4、获取超出相关系数阈值的面部感兴趣区域的典型相关变量的个数Q;在本实施例中,Q=1。并将面部感兴趣区域的典型相关变量集ZX中的前Q个的典型相关变量均置为零;从而形成不包含环境光变化的面部感兴趣区域的典型相关变量集
Z ~ X = [ Z ~ 1 ( X ) , Z ~ 2 ( X ) , ... , Z ~ p ( X ) , ... , Z ~ P ( X ) ] T ;
步骤5、利用式(1)获得不包含环境光变化的面部感兴趣区域数据集
如图3-3所示。表示第n个颜色通道中不包含环境光变化的脸部感兴趣区域数据:
X ~ = A Z ~ X - - - ( 1 )
步骤6、利用氧合血红蛋白吸收率选择N个颜色通道中第best个最佳颜色通道,第best个最佳颜色通道具有最大的氧合血红蛋白吸收率;RGB颜色通道中绿色通道具有最大的氧合血红蛋白吸收率,在本实施例中,选择无环境光变化干扰的面部感兴趣区域数据集中的绿色通道为最佳颜色通道。
步骤7、利用总体平均经验模态分解法将第best个最佳颜色通道中不包含环境光变化的脸部感兴趣区域数据分解成为L个本征模式分量S=[S1,S2,…,Sl,…,SL]T;Sl表示第l个本征模式分量;如图4-1所示。这些本征模式分量对应的频谱图如图4-2所示。
步骤8:定义候选本征模式分量集,并初始化为空;初始化l=1;
步骤9、计算第l个本征模式分量Sl的频谱图,判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣的心率范围内,若处于,则将第l个本征模式分量Sl加入候选本征模式分量集中;否则直接执行步骤10;在本实施例中,设定感兴趣的心率范围为[0.4,3]Hz,对应心率为24bpm到180bpm。从图4-2中,不难发现本征模式分量IMF1、IMF4和IMF5的最大幅值所对应的频率处于感兴趣的心率范围,构成候选本征模式分量集。
步骤10、将l+1赋值给l;并返回步骤9;
步骤11、比较候选本征模式分量集中每个本征模式分量频率的最大幅值,选取最大的最大幅值所对应的本征模式分量作为最佳本征模式分量,对最佳本征模式分量采用峰值检测算法获得视频心率检测结果。从图4-2中我们同时发现,IMF5的最大幅值是所有候选本征模式分量集中最大的,因此IMF5为最佳本征模式分量。
相对于传统方法的优势如下:
为了进一步量化评估本发明的效果,将本方法与目前主流的独立成分分析法(IndependentComponentAnalysis,ICA)和单独绿色通道总体平均经验模态分解法(EnsembleEmpiricalModeDecomposition,EEMD)进行对比。
图5-1和图5-2分别显示了1Hz脉冲波环境光变化时和0.5Hz方波环境光变化时,采用独立成分分析法所有颜色通道的独立成分及其相应的频谱图。本实施例中,这两种环境光变化时得到的独立成分的数目均为3;且从图5-1中不难发现,独立成分中最大幅值所对应的频率处于所设定的心率范围[0.43]Hz的候选独立成分为第二个和第三个独立成分,这两个独立成分最大幅值进行比较,发现第三个独立成分的最大幅值更大,确定其为最佳独立分量。但是该独立分量最大幅值所对应的频率为2Hz,该频率实际上是环境光变化频率的二次谐波分量。图5-2中则发现最佳独立分量最大幅值所对应的频率为1.5Hz,为环境光变化频率的三次谐波分量。因此,不经过环境光变化消除手段时,心率信号易淹没在环境光变化中。
HR=60*f(bpm)(2)
图6-1到图6-5则显示了不同频率的环境光变化时,对绿色通道单独进行总体平均经验模态分解得到的本征模态分量及其频谱图,其中图6-1中环境光变化频率为0.1Hz,图6-2中环境光变化频率为0.5Hz,图6-3中环境光变化频率为1Hz,图6-4中环境光变化频率为3Hz,以及图6-5中环境光变化频率为5Hz。从图中不难发现,当环境光变化频率在感兴趣的心率范围[0.4,3]Hz之外,例如0.1Hz,0.5Hz和5Hz时,采用绿色通道单独总体平均经验模态分解方法尚能获得准确的心率估计。但是当环境光的变化在感兴趣的心率范围内,甚至是接近心率变化,则该方法会失效,心率信号会淹没在环境光的变化中。
图7-1到图7-5分别表示环境光变化频率为0.1Hz,0.5Hz,1Hz,3Hz和5Hz时,采用本发明方法得到的候选本征模式分量集和对应的频谱图集。不难发现,无论环境光如何变化,由于首先采用联合盲源分离法(JointBlindSourceSeparation,JBSS)将环境光变化的典型相关分量进行提取并置零,得到的无环境光干扰的最佳通道的面部感兴趣区域数据,采用总体平均经验模态分解法之后,得到候选本征模式分量集,比较各本征模式分量集中各个本征模式分量最大幅值,得到最佳本征模式分量均为IMF5。采用峰值检测算法得到的心率分别为:74bpm,74bpm,72bpm,70bpm和72bpm,与真实的心率值74bpm,72bpm,72bpm,70bpm和70bpm很接近。
为了进一步对比,表1给出了三种方法进行心率检测的统计数据,包括平均偏差、平均绝对偏差、标准差、均方根误差以及相关系数。从图中不难发现,本发明提出的方法(JBSS-EEMD)各方面性能都是最优的。与此同时,考虑到心率检测时可接受的误差范围,我们对比了三种方法得到绝对误差不高于6的百分比,结果如图8所示,可以发现本发明提出的方法效果最好,可以达到80.90%,而其他两种方法只有5.20%和32.30%。
表1三种方法得到的心率检测结果的统计数据
综上所述,本发明解决了视频检测心率中环境光变化干扰的问题,为非接触式心率检测提供了更准确的算法,在临床疾病诊断和日常的医疗保健方面具有重要的应用前景。

Claims (1)

1.一种去除环境光变化干扰的视频心率检测方法,其特征是按如下步骤进行:
步骤1:获取I帧视频图像;对I帧视频图像计算N个颜色通道的面部感兴趣区域的平均像素,获得面部感兴趣区域数据集X=[X1,X2,…,Xn,…,XN]T;Xn表示第n个颜色通道的面部感兴趣区域数据;并对I帧视频图像计算N个颜色通道的背景区域的平均像素,获得背景区域数据集Y=[Y1,Y2,…,Yn,…,YN]T;Yn表示第n个颜色通道的背景区域数据;
并有,Xn=[x1 (n),x2 (n),…,xI (n)];xI (n)表示第n个颜色通道的面部感兴趣区域的第I个平均像素;Yn=[y1 (n),y2 (n),…,yI (n)];yI (n)表示第n个颜色通道的背景区域的第I个平均像素;
步骤2:采用联合盲源分离法对所述面部感兴趣区域数据集X和背景区域数据集Y进行处理,获得混合矩阵解混矩阵面部感兴趣区域的典型相关变量集 Z X = [ Z 1 ( X ) , Z 2 ( X ) , ... , Z p ( X ) , ... , Z P ( X ) ] T 和背景区域的典型相关变量集 Z Y = [ Z 1 ( Y ) , Z 2 ( Y ) , ... , Z p ( Y ) , ... , Z P ( Y ) ] T ; 表示面部感兴趣区域的第p个典型相关变量,表示背景区域的第p个典型相关变量,1≤p≤P,P表示典型相关变量的个数;且面部感兴趣区域的典型相关变量集和背景区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列;
并有 表示第I帧视频图像中面部感兴趣区域的第p个典型相关变量值; 表示第I帧视频图像中背景区域的第p个典型相关变量值;则所述面部感兴趣区域数据集X=AZX;背景区域数据集Y=AZY
步骤3、设定相关系数阈值,并将面部感兴趣区域的典型相关变量和背景区域的典型相关变量的相关系数与所设定的相关系数阈值进行比较,若超出相关系数阈值,则将超出所述相关系数阈值的面部感兴趣区域的典型相关变量和背景区域的典型相关变量均作为环境光变化的典型变量;
步骤4、获取超出所述相关系数阈值的面部感兴趣区域的典型相关变量的个数Q;并将面部感兴趣区域的典型相关变量集ZX中的前Q个的典型相关变量均置为零;从而形成不包含环境光变化的面部感兴趣区域的典型相关变量集
步骤5、利用式(1)获得不包含环境光变化的面部感兴趣区域数据集 表示第n个颜色通道中不包含环境光变化的脸部感兴趣区域数据:
X ~ = A Z ~ X - - - ( 1 )
步骤6、利用氧合血红蛋白吸收率选择所述N个颜色通道中第best个最佳颜色通道;第best个最佳颜色通道具有最大的氧合血红蛋白吸收率;
步骤7、利用总体平均经验模态分解法将所述第best个最佳颜色通道中不包含环境光变化的脸部感兴趣区域数据分解成为L个本征模式分量S=[S1,S2,…,Sl,…,SL]T;Sl表示第l个本征模式分量;
步骤8:定义候选本征模式分量集,并初始化为空;初始化l=1;
步骤9、计算第l个本征模式分量Sl的频谱图,判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣的心率范围内,若处于,则将第l个本征模式分量Sl加入候选本征模式分量集中;否则直接执行步骤10;
步骤10、将l+1赋值给l;并返回步骤9;
步骤11、比较候选本征模式分量集中每个本征模式分量频率的最大幅值,选取最大的最大幅值所对应的本征模式分量作为最佳本征模式分量,对所述最佳本征模式分量采用峰值检测算法获得视频心率检测结果。
CN201610027463.6A 2016-01-14 2016-01-14 一种去除环境光变化干扰的视频心率检测方法 Active CN105678780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610027463.6A CN105678780B (zh) 2016-01-14 2016-01-14 一种去除环境光变化干扰的视频心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610027463.6A CN105678780B (zh) 2016-01-14 2016-01-14 一种去除环境光变化干扰的视频心率检测方法

Publications (2)

Publication Number Publication Date
CN105678780A true CN105678780A (zh) 2016-06-15
CN105678780B CN105678780B (zh) 2018-02-27

Family

ID=56301067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610027463.6A Active CN105678780B (zh) 2016-01-14 2016-01-14 一种去除环境光变化干扰的视频心率检测方法

Country Status (1)

Country Link
CN (1) CN105678780B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106361316A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种多人心跳检测系统及获取多人心跳变化曲线的方法
CN108090410A (zh) * 2017-11-15 2018-05-29 上海师范大学 一种非接触式面部心率监测动感单车及监测方法
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN108353169A (zh) * 2015-10-29 2018-07-31 松下知识产权经营株式会社 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法
CN108720825A (zh) * 2018-03-29 2018-11-02 合肥工业大学 一种基于多摄像头的非接触式生命体征参数的无缝检测方法
CN109145990A (zh) * 2018-08-22 2019-01-04 云图元睿(上海)科技有限公司 基于典型相关的高维市场细分方法及装置
TWI653027B (zh) 2018-06-12 2019-03-11 國立中興大學 人臉壓縮影像的心率提取演算方法
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110276271A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN110517229A (zh) * 2019-07-31 2019-11-29 平安科技(深圳)有限公司 一种脉搏检测方法、系统、电子装置及存储介质
CN110738155A (zh) * 2019-10-08 2020-01-31 杭州市第一人民医院 人脸识别方法、装置、计算机设备和存储介质
CN111127511A (zh) * 2018-12-18 2020-05-08 玄云子智能科技(深圳)有限责任公司 一种非接触式心率监测方法
CN113361526A (zh) * 2021-07-16 2021-09-07 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN114209299A (zh) * 2021-12-10 2022-03-22 北京理工大学 一种基于ippg技术的人体生理参数检测通道选择的方法
CN114246570A (zh) * 2021-12-06 2022-03-29 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN117710242A (zh) * 2023-12-20 2024-03-15 四川大学 一种抗光照和运动干扰的非接触式生理参数提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
US9008762B2 (en) * 2009-11-03 2015-04-14 Vivaquant Llc Method and apparatus for identifying cardiac risk
WO2015084376A1 (en) * 2013-12-05 2015-06-11 Apple Inc. Wearable multi-modal physiological sensing sysem
CN105147274A (zh) * 2015-08-04 2015-12-16 河北工业大学 一种从可见光谱段人脸视频信号中提取心率的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008762B2 (en) * 2009-11-03 2015-04-14 Vivaquant Llc Method and apparatus for identifying cardiac risk
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
WO2015084376A1 (en) * 2013-12-05 2015-06-11 Apple Inc. Wearable multi-modal physiological sensing sysem
CN105147274A (zh) * 2015-08-04 2015-12-16 河北工业大学 一种从可见光谱段人脸视频信号中提取心率的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KRANJEC J ET AL: "Novel methods for noncontact heart rate measurement: A feasibility study", 《 IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
刘祎,欧阳健飞: "基于人脸视频的非接触式心率测量方法", 《纳米技术与精密工程》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353169A (zh) * 2015-10-29 2018-07-31 松下知识产权经营株式会社 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法
CN108353169B (zh) * 2015-10-29 2022-05-17 松下知识产权经营株式会社 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法
CN106361316A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种多人心跳检测系统及获取多人心跳变化曲线的方法
CN108090410A (zh) * 2017-11-15 2018-05-29 上海师范大学 一种非接触式面部心率监测动感单车及监测方法
CN108272448B (zh) * 2018-03-29 2020-11-27 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN108720825A (zh) * 2018-03-29 2018-11-02 合肥工业大学 一种基于多摄像头的非接触式生命体征参数的无缝检测方法
TWI653027B (zh) 2018-06-12 2019-03-11 國立中興大學 人臉壓縮影像的心率提取演算方法
CN109145990A (zh) * 2018-08-22 2019-01-04 云图元睿(上海)科技有限公司 基于典型相关的高维市场细分方法及装置
CN111127511B (zh) * 2018-12-18 2022-03-29 玄云子智能科技(深圳)有限责任公司 一种非接触式心率监测方法
CN111127511A (zh) * 2018-12-18 2020-05-08 玄云子智能科技(深圳)有限责任公司 一种非接触式心率监测方法
CN110276271A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN110517229A (zh) * 2019-07-31 2019-11-29 平安科技(深圳)有限公司 一种脉搏检测方法、系统、电子装置及存储介质
CN110517229B (zh) * 2019-07-31 2024-05-17 平安科技(深圳)有限公司 一种脉搏检测方法、系统、电子装置及存储介质
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110269600B (zh) * 2019-08-06 2021-12-21 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110738155A (zh) * 2019-10-08 2020-01-31 杭州市第一人民医院 人脸识别方法、装置、计算机设备和存储介质
CN113361526A (zh) * 2021-07-16 2021-09-07 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN113361526B (zh) * 2021-07-16 2022-09-27 合肥工业大学 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN114246570A (zh) * 2021-12-06 2022-03-29 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN114246570B (zh) * 2021-12-06 2023-10-20 南京邮电大学 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN114209299A (zh) * 2021-12-10 2022-03-22 北京理工大学 一种基于ippg技术的人体生理参数检测通道选择的方法
CN114209299B (zh) * 2021-12-10 2023-10-20 北京理工大学 一种基于ippg技术的人体生理参数检测通道选择的方法
CN114431849A (zh) * 2022-01-10 2022-05-06 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN114431849B (zh) * 2022-01-10 2023-08-11 厦门大学 一种基于视频图像处理的水生动物心率检测方法
CN117710242A (zh) * 2023-12-20 2024-03-15 四川大学 一种抗光照和运动干扰的非接触式生理参数提取方法

Also Published As

Publication number Publication date
CN105678780B (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN105678780A (zh) 一种去除环境光变化干扰的视频心率检测方法
Hassan et al. Heart rate estimation using facial video: A review
Iozzia et al. Relationships between heart-rate variability and pulse-rate variability obtained from video-PPG signal using ZCA
CN110384491A (zh) 一种基于普通摄像头的心率检测方法
Siddiqui et al. A pulse rate estimation algorithm using PPG and smartphone camera
CN110269600A (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN109745033A (zh) 基于时频二维图像和机器学习的动态心电质量评估方法
Benezeth et al. Remote heart rate variability for emotional state monitoring
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
CN106236049A (zh) 基于视频图像的血压测量方法
Blöcher et al. An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection
CN110236515A (zh) 一种基于近红外视频的非接触式心率检测方法
CN106073729A (zh) 光电容积脉搏波信号的采集方法
CN110236508A (zh) 一种无创血压连续监测方法
CN110084085B (zh) 基于成形信号的rppg高精度心率检测方法
CN111714088B (zh) 基于中医原理的人体特征指标检测方法和系统
CN203290905U (zh) 非接触式自动呼吸测量系统
CN113317794A (zh) 一种生命体征分析方法与系统
CN105769151A (zh) 一种多点脉搏波检测方法及装置
Antink et al. A synthesizer framework for multimodal cardiorespiratory signals
Hassan et al. Optimal source selection for image photoplethysmography
Zeng et al. Infrared video based non-invasive heart rate measurement
Malasinghe et al. A comparative study of common steps in video-based remote heart rate detection methods
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Sadhukhan et al. Automated screening of myocardial infarction based on statistical analysis of photoplethysmographic data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181023

Address after: 518100 5-storey 521Y Xusheng R&D Building, Gonghe Industrial Road, Xixiang Street, Baoan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Hui Zhi Xing Chen Technology Co., Ltd.

Address before: 230051 floor 12, block B, innovation building, 860 Wangjiang West Road, Hefei, Anhui.

Patentee before: INTELLIGENT MANUFACTURING INSTITUTE OF HFUT