CN112022131B - 长时间连续性的非接触式心率测量方法和系统 - Google Patents

长时间连续性的非接触式心率测量方法和系统 Download PDF

Info

Publication number
CN112022131B
CN112022131B CN202010977036.0A CN202010977036A CN112022131B CN 112022131 B CN112022131 B CN 112022131B CN 202010977036 A CN202010977036 A CN 202010977036A CN 112022131 B CN112022131 B CN 112022131B
Authority
CN
China
Prior art keywords
heart rate
brightness information
green channel
maximum value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010977036.0A
Other languages
English (en)
Other versions
CN112022131A (zh
Inventor
李霄剑
黄宵剑
方进
丁帅
李玲
岳子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010977036.0A priority Critical patent/CN112022131B/zh
Publication of CN112022131A publication Critical patent/CN112022131A/zh
Application granted granted Critical
Publication of CN112022131B publication Critical patent/CN112022131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种长时间连续性的非接触式心率测量方法和系统,涉及心率检测技术领域。本发明获取待测心率者的原始图像RGB亮度信息中绿色通道的亮度信息并进行小波变换,再获取其瞬时频谱,根据瞬时频谱获取每一时刻心率频率特性最大值,对心率频率特性最大值的测量方差进行估计,最后将频谱分布特性带入卡尔曼滤波器中对心率进行估计以最终获得待测心率者的心率值。本发明通过对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,结合运用卡尔曼滤波器的数据滤波处理,解决了现有非接触式心率监测技术无法进行准确的长时间连续性心率监测的问题,满足了待检测心率者在睡眠与锻炼等过程中进行长时间连续性非接触式心率监测的需求。

Description

长时间连续性的非接触式心率测量方法和系统
技术领域
本发明涉及心率检测技术领域,具体涉及一种长时间连续性的非接触式心率测量方法和系统。
背景技术
心率是反映人体生理和情绪活动的重要生理参数,对心率的测量可用于训练辅助、健康监护和临床护理等。目前,对心率的监测主要分为接触式心率监测和非接触式的心率监测,接触式心率监测(如:贴片式心率检测仪)虽然精度高,但在使用时,由于必须与人体接触,或存在辐射情况,会给如新生婴儿或者严重外科病人等特殊人群在心率监测时造成很大不便,而非接触式心率监测可以很好避免这些问题。
非接触式心率监测基于以下原理:心跳变化会引起人脸面部血液流动变化,从而引发人脸面部颜色的变化,根据检测出的颜色变化的周期,就可以提取出心率值来。目前,非接触式心率测量方法主要有基于色差模型的方法和基于盲源分离技术的方法等,这些技术主要基于手工设计的特征和繁杂的信号处理技术的组合,它们往往需要基于一定场景下的假设,比如,在环境光照、人脸表情或头部运动等假设条件非常稳定、理想的状态下,对采集的视频图像进行处理便可获得心率值。
然而,现有的非接触式心率监测方法通过对整段视频进行处理获得心率信息时,忽略了心率在检测过程中出现的瞬时扰动,而且由于没有考虑心率变化的连续性,在实时测量时心率信息会不停的出现跳变阶跃,导致待检测心率者无法进行准确的长时间连续性心率监测,不能满足在睡眠与锻炼过程中进行长时间连续性非接触式心率信号检测的需求。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种长时间连续性的非接触式心率测量方法和系统,解决了现有非接触式心率监测技术无法进行准确的长时间连续性心率监测的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
第一方面,本发明提供了一种长时间连续性的非接触式心率测量方法,其特征在于,所述方法包括:
获取原始图像RGB亮度信息中的绿色通道的亮度信息;
对所述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于所述瞬时频谱获取每一时刻心率频率特性最大值,基于所述心率频率特性最大值获取其测量方差估计值;
基于所述测量方差估计值,利用卡尔曼滤波器获取心率估计值,基于所述心率估计值获取心率值。
优选的,所述获取原始图像RGB亮度信息中的绿色通道的亮度信息,具体包括:
获取待检测心率者的面部图像数据,对所述面部图像数据进行特征提取,获取感兴趣区域图像数据;
对所述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合;
基于所述感兴趣区域像素集合对心率信号进行提取,获取所述原始图像RGB亮度信息中的绿色通道的亮度信息。
优选的,对所述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合,具体包括公式为:
Figure BDA0002686069080000021
ox,y(k)=[rx,y(k),gx,y(k),bx,y(k)]T
其中,I(k)为感兴趣区域像素集合;
Ox,y(k)为包含有RGB亮度信息的函数;
k为图像对应帧编号,
Figure BDA0002686069080000031
表示自然数;
T为CCD相机的采样频率;
rx,y(k)、gx,y(k)、bx,y(k)分别为图像在(x,y)坐标上的RGB亮度信息;
Figure BDA0002686069080000032
表示由空间直角坐标系所确定的空间。
优选的,基于所述感兴趣区域像素集合对心率信号进行提取,获取所述原始图像RGB亮度信息中的绿色通道的亮度信息,包括:
选取绿色通道作为主信道,输入所述感兴趣区域像素集合对心率信号进行提取,获取原始图像RGB亮度信息中的绿色通道的亮度信息,具体包括公式:
Figure BDA0002686069080000033
其中,so(k)为绿色通道的亮度信息;
card(I(k))为集合I(k)中的元素个数。
优选的,对所述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于所述瞬时频谱获取每一时刻心率频率特性最大值,基于所述心率频率特性最大值获取其测量方差估计值,具体包括:
对所述绿色通道的亮度信息进行滤波处理,获取处理后心率信号;
利用Morlet小波集对所述处理后心率信号进行小波变换,获取绿色通道的亮度信息的瞬时频谱;
基于所述瞬时频谱获取每一时刻心率频率特性最大值;
将所述心率频率特性最大值作为对应时刻心率的观测值,基于所述观测值获取测量方差估计值。
优选的,所述滤波处理具体为滤除所述绿色通道的亮度信息的直流分量,具体包括公式:
Figure BDA0002686069080000034
其中,s(k)为处理后心率信号;
w(n)为高通滤波器W的第n个参数;
所述小波变换包括公式:
Figure BDA0002686069080000041
Figure BDA0002686069080000042
其中,S(k,ω)为绿色通道的亮度信息的瞬时频谱;
ψω(n)表示中心频率为ω的Morlet小波基函数;
T为CCD相机的采样频率;
所述获取每一时刻心率频率特性最大值包括公式:
Figure BDA0002686069080000043
其中,ωmax(k)为心率频率特性的最大值;
所述获取测量方差估计值包括公式:
Figure BDA0002686069080000044
其中,R(k)为测量方差估计值;
α和β为所述方法的设定参数。
优选的,所述利用卡尔曼滤波器获取心率估计值,包括公式:
Figure BDA0002686069080000045
其中,ωo(k)为卡尔曼滤波器的输出;
Q为模型估计误差;
P(k)为协方差;
K(k)为卡尔曼增益。
第二方面,本发明提供了一种长时间连续性的非接触式心率测量系统,所述系统包括:
存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
(三)有益效果
本发明提供了一种长时间连续性的非接触式心率测量方法和系统。与现有技术相比,具备以下有益效果:
本发明采集人脸面部图像并进行特征提取和图像处理后,获取待检测心率者的原始图像RGB亮度信息,然后对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,获取绿色通道的亮度信息的瞬时频谱,根据瞬时频谱获取每一时刻心率频率特性最大值,再对心率频率特性最大值的测量方差进行估计,最后将频谱分布特性带入卡尔曼滤波器中对心率进行估计以最终获得待测心率者的心率值。本发明通过对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,可准确监测检测过程中的心率实时变化特性,结合运用卡尔曼滤波器的数据滤波处理,又弥补了瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,解决了现有非接触式心率监测技术中无法进行准确的长时间连续性心率监测的问题,非常适合待检测心率者在睡眠与锻炼等过程中进行长时间连续性的非接触式心率监测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种长时间连续性的非接触式心率测量方法的整体流程图;
图2为本发明实施例获取原始图像RGB亮度信息中的绿色通道的亮度信息的流程图;
图3为本发明实施例根据绿色通道的亮度信息获取测量方差估计值的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例通过提供一种长时间连续性的非接触式心率测量方法和系统,解决了现有非接触式心率监测无法进行准确的长时间连续性心率监测的问题,实现了待检测心率者在睡眠与锻炼过程中可进行长时间连续性非接触式心率信号检测的目的。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:本发明对获取待检测心率者的原始图像RGB亮度信息中的绿色通道的亮度信息通过小波变换,结合运用卡尔曼滤波器的数据滤波处理,可准确监测检测过程中的心率实时变化特性,也弥补了瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,使得本发明的非接触式心率监测可以进行长时间连续性的实时心率监测,满足了待检测心率者在睡眠与锻炼过程中依然可进行长时间连续性非接触式心率检测的需求。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例首先提出了一种长时间连续性的非接触式心率测量方法,参见图1,该方法包括:
S1、获取原始图像RGB亮度信息中的绿色通道的亮度信息;
S2、对所述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于所述瞬时频谱获取每一时刻心率频率特性最大值,基于所述心率频率特性最大值获取其测量方差估计值;
S3、基于所述测量方差估计值,利用卡尔曼滤波器获取心率估计值,基于所述心率估计值获取心率值。
可见,本发明实施例提出的一种长时间连续性的非接触式心率测量方法,采集人脸面部图像并进行特征提取和图像处理后,获取待检测心率者的原始图像RGB亮度信息,然后对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,获取绿色通道的亮度信息的瞬时频谱,根据瞬时频谱获取每一时刻心率频率特性最大值,再对心率频率特性最大值的测量方差进行估计,最后将频谱分布特性带入卡尔曼滤波器中对心率进行估计以最终获得待检测心率者的心率值。本发明通过对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,可准确监测检测过程中的心率实时变化特性,结合运用卡尔曼滤波器的数据滤波处理,又弥补了瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,解决了现有非接触式心率监测技术中无法进行准确的长时间连续性心率监测的问题,非常适合在睡眠与锻炼等过程中进行长时间、连续性的非接触式心率信号监测。
在本发明实施例的上述方法中,获取原始图像RGB亮度信息中的绿色通道的亮度信息时,一种较佳的处理方式,具体包括以下步骤:
获取待检测心率者的面部图像数据,对所述面部图像数据进行特征提取,获取感兴趣区域图像数据;
对所述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合;
基于所述感兴趣区域像素集合对心率信号进行提取,获取原始图像RGB亮度信息中的绿色通道的亮度信息。
另外,在对感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合时,感兴趣区域像素集合可用如下公式表示:
Figure BDA0002686069080000081
ox,y(k)=[rx,y(k),gx,y(k),bx,y(k)]T
其中,I(k)为感兴趣区域像素集合;
Ox,y(k)为包含有RGB亮度信息的函数;
k为图像对应帧编号,
Figure BDA0002686069080000082
表示自然数;
T为CCD相机的采样频率;
rx,y(k)、gx,y(k)、bx,y(k)分别为图像在(x,y)坐标上的RGB亮度信息,
Figure BDA0002686069080000083
表示由空间直角坐标系所确定的空间。
在实际中,根据感兴趣区域像素集合对心率信号进行提取,由于绿色通道对血管脉动最为敏感,一种较佳的处理方式是,选择绿色通道作为主信道对心率信号进行提取。选取绿色通道作为主信道,输入所述感兴趣区域像素集合,对心率信号进行提取,获取原始图像RGB亮度信息中的绿色通道的亮度信息,具体包括公式:
Figure BDA0002686069080000084
其中,so(k)为绿色通道的亮度信息;
card(I(k))为集合I(k)中的元素个数。
在本发明的另一个实施例中,对绿色通道的亮度信息进行小波变换,获取其瞬时频谱,根据瞬时频谱获取每一时刻心率频率特性最大值,基于心率频率特性最大值获取其测量方差估计值的整个过程中,一种较佳的处理方式,具体包括以下步骤:
对所述绿色通道的亮度信息进行滤波处理,获取处理后心率信号;
利用Morlet小波集对所述处理后心率信号进行小波变换,获取绿色通道的亮度信息的瞬时频谱;
基于所述瞬时频谱获取每一时刻心率频率特性最大值;
将所述心率频率特性最大值作为对应时刻心率的观测值,基于所述观测值获取测量方差估计值。
其中,一种更优的方式,是在对绿色通道的亮度信息进行滤波处理获取处理后心率信号时,利用以下公式滤除原始信号中的直流分量,该公式为:
Figure BDA0002686069080000091
其中,s(k)为处理后心率信号;
w(n)为高通滤波器W的第n个参数。
另一种更优的实施方式,是在进行小波变换时,小波变换过程可用以下公式:
Figure BDA0002686069080000092
Figure BDA0002686069080000093
其中,S(k,ω)为绿色通道的亮度信息的瞬时频谱;
ψω(n)表示中心频率为ω的Morlet小波基函数;
T为CCD相机的采样频率。
还有一种更优的方式,是在获取每一时刻心率频率特性的最大值时,可用以下公式:
Figure BDA0002686069080000094
其中,ωmax(k)为心率频率特性的最大值。
一种更加优选的方式,是在获取测量方差估计值时,可用以下公式:
Figure BDA0002686069080000101
其中,R(k)为测量方差估计值,α和β为本方法的设定参数。
利用小波变换的方式处理原始图像RGB亮度信息中的绿色通道的亮度信息,能自动适应时频信号分析的要求,从而可聚焦到原始图像RGB亮度信息中的绿色通道的亮度信息的任意变化的细节上,可以准确估计待检测心率者的实时心率信号,考虑到了心率在监测过程中出现的变化,保证了检测精度。
在本发明的另一个实施例中,在利用卡尔曼滤波器获取心率估计值时,可运用以下公式进行估计:
Figure BDA0002686069080000102
其中,ωo(k)为卡尔曼滤波器的输出;
Q为模型估计误差;
P(k)为协方差;
K(k)为卡尔曼增益。
卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中,估计动态系统的状态,通过系统输入输出观测数据,对系统状态进行最优估计。此处,本发明利用卡尔曼滤波器对原始图像RGB亮度信息中的绿色通道的亮度信息的频谱分布特性进行数据滤波,可弥补瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,即可有效滤除因瞬时人脸检测失败、人脸突然移动、光照突然变换等原因所造成的短时间内心率检测异常状况的相应数据,使得本发明的方法可以进行准确的长时间连续性的实时心率估计。
下面结合对具体步骤的解释,来详细说明本发明一个实施例的实现过程。
实施例1:
图1为本发明实施例一种长时间连续性的非接触式心率测量方法的整体流程图,参见图1,在本发明一个优选实施例中,一种长时间连续性的非接触式心率测量方法的实现过程,包括:
S1、获取原始图像RGB亮度信息中的绿色通道的亮度信息。
随着待检测心率者的心跳变化,其面部血液流动会随着心跳变化而变化,这种血液流动就会引起人脸面部颜色的变化,因此,只要有效的检测出颜色变化,理论上就可从颜色变化的周期中提取出心率值。基于非接触式心率测量方法的这个实现原理,在获取表示待检测心率者的原始图像RGB亮度信息中的绿色通道的亮度信息时,
首先,通过CCD摄像机采集待检测心率者面部的图像数据,再根据面部识别算法对待检测心率者面部特征点进行识别,然后提取待检测心率者面部、额头、脸颊等感兴趣区域,并对该区域图像信息进行图像分割处理以获得患者面部感兴趣区域像素的集合,具体地,利用如下公式计算感兴趣区域像素的集合I(k):
Figure BDA0002686069080000111
ox,y(k)=[rx,y(k),gx,y(k),bx,y(k)]T
其中,k为图像对应的帧编号,
Figure BDA0002686069080000112
表示自然数;Ox,y(k)为包含有RGB亮度信息的函数;T为CCD相机的采样频率;rx,y(k)、gx,y(k)、bx,y(k)分别为图像在(x,y)坐标上的RGB亮度信息,/>
Figure BDA0002686069080000113
表示由空间直角坐标系所确定的空间;
然后,根据感兴趣区域像素集合对待检测心率者的心率信号进行提取,获取待检测心率者的原始图像RGB亮度信息中的绿色通道的亮度信息。由于绿色通道对血管脉动最为敏感,所以选择绿色通道作为主信道,输入感兴趣区域像素集合的元素,对待检测心率者的心率相关信号信息进行提取,得到原始图像RGB亮度信息中的绿色通道的亮度信息so(k):
Figure BDA0002686069080000121
其中,card(I(k))为集合I(k)中的元素个数。
参见图2,上述整个过程的步骤具体如下:
S11、获取待检测心率者的面部图像数据,对上述面部图像数据进行特征提取,获取感兴趣区域图像数据;
S12、对上述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合;
S13、基于上述感兴趣区域像素集合对心率信号进行提取,获取原始图像RGB亮度信息中的绿色通道的亮度信息。
S2、对上述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于上述瞬时频谱获取每一时刻心率频率特性最大值,基于上述心率频率特性最大值获取其测量方差估计值。
首先,对获得的绿色通道的亮度信息进行滤波处理,滤除绿色通道的亮度信息中的直流分量,即低频谱段的信号,具体的,通过下式对绿色通道的亮度信息so(k)进行滤波,获得处理后心率信号s(k):
Figure BDA0002686069080000122
其中,w(n)为高通滤波器W的第n个参数,高通滤波器W的截止频率为0.5Hz;
其次,利用Morlet小波基函数对处理后信号s(k)进行小波变换得到绿色通道的亮度信息的瞬时频谱S(k,ω):
Figure BDA0002686069080000123
Figure BDA0002686069080000124
其中,ψω(n)表示中心频率为ω的Morlet小波基函数,T为CCD相机的采样频率。
然后,通过下式求取每一时刻心率频率特性最大值ωmax(k):
ωmax(k)=argmax0<ω<3(S(k,ω))
最后,再将ωmax(k)作为k时刻心率的观测值,通过下式对ωmax(k)的测量方差进行估计,获取测量方差估计值R(k):
Figure BDA0002686069080000131
其中,α和β为本方法的设定参数。
参考图3,整个过程的具体步骤步骤如下:
S21、对上述绿色通道的亮度信息进行滤波处理,获取处理后心率信号;
S22、利用Morlet小波集对上述处理后心率信号进行小波变换,获取绿色通道的亮度信息的瞬时频谱;
S23、基于上述瞬时频谱获取每一时刻心率频率特性最大值;
S24、将上述心率频率特性最大值作为对应时刻心率的观测值,基于上述观测值获取测量方差估计值。
S3、基于上述测量方差估计值,利用卡尔曼滤波器获取心率估计值,基于上述心率估计值获取心率值。
卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中,估计动态系统的状态,它是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。本发明将原始图像RGB亮度信息中的绿色通道的亮度信息的频谱分布特性带入卡尔曼滤波器中,可以弥补瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,即可以有效滤除因瞬时人脸检测失败、人脸突然移动、光照突然变换等原因所造成的短时间内心率检测异常的状况。本发明方法中,在根据测量方差估计值,利用卡尔曼滤波器获取心率估计值时,由于CCD摄像机的图像采样周期较短,可默认为心率值在相邻采样时刻近似不变,采用卡尔曼滤波器对心率进行估计时,具体公式如下:
Figure BDA0002686069080000141
其中,ωo(k)为卡尔曼滤波器的输出,即心率估计值,Q为模型估计误差,P(k)为协方差,K(k)为卡尔曼增益;
由此,根据卡尔曼滤波器的输出的心率估计值ωo(k),我们可以求得k时刻患者的心率值为60ωo(k)。
此外,需要说明的是,本发明的方法中有一些参数值需要根据实际情况进行设定,包括:P(1)协方差初始值,ωo(l)心率初始估计值,模型估计误差Q,参数α,参数β。其中,参数α和参数β是本发明方法中设定的参数,无实际意义。对于不同的采集设备、采样频率、以及检测环境,需要对这些参数值进行相应的调整才能保证本方法的检测精度。
至此,则完成了本发明实施例中长时间连续性的非接触式心率测量的全部过程。
实施例2:
另外,本发明实施例还提出了一种长时间连续性的非接触式心率测量系统,所述系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
可理解的是,本发明实施例提供的长时间连续性的非接触式心率测量系统与上述长时间连续性的非接触式心率测量方法相对应,其有关内容的解释、举例、有益效果等部分可以参考一种长时间连续性的非接触式心率测量方法中的相应内容,此处不再赘述。
综上所述,与现有技术相比,具备以下有益效果:
1、本发明采集人脸面部图像并进行特征提取和图像处理后,获取待检测心率者的原始图像RGB亮度信息,然后对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,获取绿色通道的亮度信息的瞬时频谱,根据瞬时频谱获取每一时刻心率频率特性最大值,再对心率频率特性最大值的测量方差进行估计,最后将频谱分布特性带入卡尔曼滤波器中对心率进行估计以最终获得待测心率者的心率值。本发明通过对原始图像RGB亮度信息中的绿色通道的亮度信息进行小波变换,可准确监测检测过程中的心率实时变化特性,结合运用卡尔曼滤波器的数据滤波处理,又弥补了瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,解决了现有非接触式心率监测技术中无法进行准确的长时间连续性心率监测的问题,非常适合待检测心率者在睡眠与锻炼等过程中进行长时间、连续性的非接触式心率信号监测;
2、本发明利用小波变换的方式处理原始图像RGB亮度信息中的绿色通道的亮度信息,能自动适应时频信号分析的要求,从而可聚焦到原始图像RGB亮度信息中的绿色通道的亮度信息的任意变化的细节上,可以准确估计待测心率者的实时心率信号,考虑到了心率在监测过程中出现的瞬时变化,保证了检测精度;
3、本发明利用卡尔曼滤波器对原始图像RGB亮度信息中的绿色通道的亮度信息的频谱分布特性进行数据滤波,可弥补瞬时小波变化因分析时长较短,在存在较大干扰时无法准确获取主频频率的不足,即可有效滤除因瞬时人脸检测失败、人脸突然移动、光照突然变换等原因所造成的短时间内心率检测异常的状况,使得本发明的方法可以进行长时间连续性的实时心率估计。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种长时间连续性的非接触式心率测量方法,其特征在于,所述方法包括:
获取原始图像RGB亮度信息中的绿色通道的亮度信息;
对所述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于所述瞬时频谱获取每一时刻心率频率特性最大值,基于所述心率频率特性最大值获取其测量方差估计值;
基于所述测量方差估计值,利用卡尔曼滤波器获取心率估计值,基于所述心率估计值获取心率值;
对所述绿色通道的亮度信息进行小波变换,获取其瞬时频谱,基于所述瞬时频谱获取每一时刻心率频率特性最大值,基于所述心率频率特性最大值获取其测量方差估计值,具体包括:
对所述绿色通道的亮度信息进行滤波处理,获取处理后心率信号;
利用Morlet小波集对所述处理后心率信号进行小波变换,获取绿色通道的亮度信息的瞬时频谱;
基于所述瞬时频谱获取每一时刻心率频率特性最大值;
将所述心率频率特性最大值作为对应时刻心率的观测值,基于所述观测值获取测量方差估计值;
所述滤波处理具体为滤除所述绿色通道的亮度信息中的直流分量,具体包括公式:
Figure FDA0004127928690000011
其中,s(k)为处理后心率信号;
w(n)为高通滤波器W的第n个参数;
所述小波变换包括公式:
Figure FDA0004127928690000012
Figure FDA0004127928690000021
其中,S(k,ω)为绿色通道的亮度信息的瞬时频谱;
ψω(n)表示中心频率为ω的Morlet小波基函数;
T为CCD相机的采样频率;
所述获取每一时刻心率频率特性最大值包括公式:
Figure FDA0004127928690000022
其中,ωmax(k)为心率频率特性的最大值;
所述获取测量方差估计值包括公式:
Figure FDA0004127928690000023
其中,R(k)为测量方差估计值;
α和β为所述方法的设定参数。
2.如权利要求1所述的方法,其特征在于,所述获取原始图像RGB亮度信息中的绿色通道的亮度信息,具体包括:
获取待检测心率者的面部图像数据,对所述面部图像数据进行特征提取,获取感兴趣区域图像数据;
对所述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合;
基于所述感兴趣区域像素集合对心率信号进行提取,获取所述原始图像RGB亮度信息中的绿色通道的亮度信息。
3.如权利要求2所述的方法,其特征在于,对所述感兴趣区域图像数据进行图像处理,获取感兴趣区域像素集合,具体包括公式:
Figure FDA0004127928690000024
ox,y(k)=[rx,y(k),gx,y(k),bx,y(k)]T
其中,I(k)为感兴趣区域像素集合;
Ox,y(k)为包含有RGB亮度信息的函数;
k为图像对应帧编号,
Figure FDA0004127928690000031
Figure FDA0004127928690000032
表示自然数;
T为CCD相机的采样频率;
rx,y(k)、gx,y(k)、bx,y(k)分别为图像在(x,y)坐标上的RGB亮度信息;
Figure FDA0004127928690000033
表示由空间直角坐标系所确定的空间。
4.如权利要求2所述的方法,其特征在于,基于所述感兴趣区域像素集合对心率信号进行提取,获取所述原始图像RGB亮度信息中的绿色通道的亮度信息,包括:
选取绿色通道作为主信道,输入所述感兴趣区域像素集合对心率信号进行提取,获取原始图像RGB亮度信息中的绿色通道的亮度信息,具体包括公式:
Figure FDA0004127928690000034
其中,so(k)为绿色通道的亮度信息;
card(I(k))为集合I(k)中的元素个数。
5.如权利要求1所述的方法,其特征在于,所述利用卡尔曼滤波器获取心率估计值,包括公式:
Figure FDA0004127928690000035
其中,ωo(k)为卡尔曼滤波器的输出;
Q为模型估计误差;
P(k)为协方差;
K(k)为卡尔曼增益。
6.一种长时间连续性的非接触式心率测量系统,所述系统包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1~5任一所述方法的步骤。
CN202010977036.0A 2020-09-16 2020-09-16 长时间连续性的非接触式心率测量方法和系统 Active CN112022131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010977036.0A CN112022131B (zh) 2020-09-16 2020-09-16 长时间连续性的非接触式心率测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010977036.0A CN112022131B (zh) 2020-09-16 2020-09-16 长时间连续性的非接触式心率测量方法和系统

Publications (2)

Publication Number Publication Date
CN112022131A CN112022131A (zh) 2020-12-04
CN112022131B true CN112022131B (zh) 2023-06-09

Family

ID=73590090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010977036.0A Active CN112022131B (zh) 2020-09-16 2020-09-16 长时间连续性的非接触式心率测量方法和系统

Country Status (1)

Country Link
CN (1) CN112022131B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639799A (zh) * 2013-11-14 2015-05-20 财团法人工业技术研究院 影像式心率活动侦测装置及其方法
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN105997035A (zh) * 2016-05-04 2016-10-12 深圳欧德蒙科技有限公司 一种非接触式心率测量方法及系统
CN110584638A (zh) * 2019-10-30 2019-12-20 郑州大学 一种基于cmor小波的非接触式心率测量方法
CN111248890A (zh) * 2020-01-20 2020-06-09 深圳大学 一种基于面部视频的非接触式新生儿心率监测方法及系统
CN111281367A (zh) * 2018-12-10 2020-06-16 绍兴图聚光电科技有限公司 一种基于人脸视频的抗干扰非接触式心率检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10470720B2 (en) * 2016-12-28 2019-11-12 Industrial Technology Research Institute Heart rate activity detecting system based on dynamic images and method thereof
TWI658815B (zh) * 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639799A (zh) * 2013-11-14 2015-05-20 财团法人工业技术研究院 影像式心率活动侦测装置及其方法
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN105997035A (zh) * 2016-05-04 2016-10-12 深圳欧德蒙科技有限公司 一种非接触式心率测量方法及系统
CN111281367A (zh) * 2018-12-10 2020-06-16 绍兴图聚光电科技有限公司 一种基于人脸视频的抗干扰非接触式心率检测方法
CN110584638A (zh) * 2019-10-30 2019-12-20 郑州大学 一种基于cmor小波的非接触式心率测量方法
CN111248890A (zh) * 2020-01-20 2020-06-09 深圳大学 一种基于面部视频的非接触式新生儿心率监测方法及系统

Also Published As

Publication number Publication date
CN112022131A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
Qiao et al. Measuring heart rate and heart rate variability with smartphone camera
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
WO2016092290A1 (en) Method and apparatus for physiological monitoring
Wedekind et al. Automated identification of cardiac signals after blind source separation for camera-based photoplethysmography
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
Fallet et al. Imaging photoplethysmography: What are the best locations on the face to estimate heart rate?
US20150313502A1 (en) Determining arterial pulse wave transit time from vpg and ecg/ekg signals
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
US10806353B2 (en) Method, information processing apparatus and server for determining a physiological parameter of an individual
Chwyl et al. SAPPHIRE: Stochastically acquired photoplethysmogram for heart rate inference in realistic environments
US9483837B2 (en) Compensating for motion during real-time batch processing of video for physiological function assessment
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
EP3378387B1 (en) Heart rate estimation from face videos using quality based fusion
Liu et al. Self-adaptive signal separation for non-contact heart rate estimation from facial video in realistic environments
Luguern et al. Remote photoplethysmography combining color channels with SNR maximization for respiratory rate assessment
US9320440B2 (en) Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video
CN113591769B (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
EP3318179B1 (en) Method for measuring respiration rate and heart rate using dual camera of smartphone
CN112869737B (zh) 一种非接触式人体血氧饱和度检测方法
Panigrahi et al. Non-contact HR extraction from different color spaces using RGB camera
CN112022131B (zh) 长时间连续性的非接触式心率测量方法和系统
US11416996B2 (en) Method to derive a person's vital signs from an adjusted parameter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant