CN110547783A - 非接触性心率检测方法、系统、设备及存储介质 - Google Patents

非接触性心率检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110547783A
CN110547783A CN201910699269.6A CN201910699269A CN110547783A CN 110547783 A CN110547783 A CN 110547783A CN 201910699269 A CN201910699269 A CN 201910699269A CN 110547783 A CN110547783 A CN 110547783A
Authority
CN
China
Prior art keywords
channel
heart rate
frequency
image
pulse wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910699269.6A
Other languages
English (en)
Other versions
CN110547783B (zh
Inventor
王义文
郑权
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910699269.6A priority Critical patent/CN110547783B/zh
Priority to PCT/CN2019/118082 priority patent/WO2021017307A1/zh
Publication of CN110547783A publication Critical patent/CN110547783A/zh
Application granted granted Critical
Publication of CN110547783B publication Critical patent/CN110547783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444—Details of sensor

Abstract

本发明实施例公开了一种非接触性心率检测方法，包括：获取待处理视频中的多帧人脸图像；提取所述多帧人脸图像中的预设面部区域；获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道；通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列；分析心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率；根据目标频率计算得到心率值。本发明实施例提供了一种非接触性心率检测系统、设备及存储介质。本发明的有益效果在于：可以将心率值的计算与真实心率绝对值误差在3以内，提高了检测的精确性。

Description

非接触性心率检测方法、系统、设备及存储介质
技术领域
本发明实施例涉及心率测量领域，尤其涉及一种非接触性心率检测方法、系统、设备及存储介质。
技术背景
心率是指每分钟心跳的次数，是人体新陈代谢以及功能活动重要的一个参数之一。举个例子，静息心率的增快就被广泛的认为是一项检测心血管疾病的独立危险因素，对静息心率进行日常检测有利于心血管疾病的预防以及康复治疗。
目前，在当今的生物医学研究领域，有很多种研究者提出了不同的非接触式测量生命体征，如心率(HR，heart rate)和呼吸频率(RR，respiratorn rate)的解决方案，其中包括激光多普勒，微波多普勒雷达和热成像方法。而HR变异的非接触式评估(HRV，Heartrate variability)是心脏自主神经活动的指标，更是一个更大的挑战。有些研究尝试过去测评HRV，取得了令人印象深刻的进步，但是存在一个共同缺点是系统昂贵并需要专业硬件，并且电子硬件有寿命期限，会影响测试的准确度。
发明内容
有鉴于此，本发明实施例的目的是提供一种非接触性心率检测方法、系统、设备及存储介质，可以将心率值的计算与真实心率绝对值误差在3以内，提高了检测的精确性。
为实现上述目的，本发明实施例提供了一种非接触性心率检测方法，包括：
获取待处理视频中的多帧人脸图像；
提取所述多帧人脸图像中的预设面部区域；
获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道；
通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列；
分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率；
根据所述目标频率计算得到心率值。
进一步地，获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道的步骤，包括：
将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换以得到各个通道的通道能量；
选择能量最大的通道作为所述目标通道。
进一步地，通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列的步骤，包括：
将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
进一步地，根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列的步骤，包括：
第一层高斯金字塔通过平滑与下采样获得二层高斯图像，高斯金字塔的截至频率从上一层到下一层以因子2逐渐增加；
直至第K-1层高斯金字塔通过平滑与下采样获得第K层高斯图像，得到所述心血管脉搏波时间序列。
进一步地，分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率的步骤，包括：
选择频率带宽0.4～4Hz作为分析频段，将所述心血管脉搏波序列的频率波形进行带通滤波得到所述心血管脉搏波序列的频率波形的波峰，其中波峰峰值最大对应的频率为所述目标频率。
进一步地，获取待处理视频信息中的多帧人脸图像信息的步骤，包括：
依据时间顺序逐帧获取所述视频信息中的每帧图像的人脸图像信息；
统计有效图像的图像帧数，所述有效图像为所述视频信息中含人脸图像信息的一个或多个图像；
当所述有效图像的图像帧数大于预设阈值时，则停止获取所述视频信息中的每帧图像的人脸图像信息。
为实现上述目的，本发明实施例还提供了一种非接触性心率检测系统，包括：
获取模块，用于获取待处理视频中的多帧人脸图像；
提取模块，用于提取所述多帧人脸图像中的预设面部区域；
选取模块，用于获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道；
放大模块，用于通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列；
分析模块，用于分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率；
计算模块，用于根据所述目标频率计算得到心率值。
进一步地，所述放大模块还用于：
将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的非接触性心率检测系统，所述非接触性心率检测系统被所述处理器执行时实现如上所述的非接触性心率检测方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的非接触性心率检测方法的步骤。
本发明实施例提供的非接触性心率检测方法、系统、设备及存储介质，通过从视频中选取人脸部分，并利用欧拉影像放大算法对像素值矩阵进行放大处理得到血管脉搏波序列，再分析血管脉搏波序列的波形，最后计算出心率值；本发明实施例可以将心率的计算与真实心率绝对值误差在3以内，提高了检测的精确性。
附图说明
图1为本发明实施例非接触性心率检测方法实施例一的流程图。
图2为本发明实施例图1中步骤S100的流程图。
图3为本发明实施例图1中步骤S104的流程图。
图4为本发明实施例图1中步骤S104A3的流程图。
图5为本发明实施例图1中步骤S106的流程图。
图6为本发明实施例图1中步骤S106B的流程图。
图7为本发明实施例非接触性心率检测系统实施例二的程序模块示意图。
图8为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1，示出了本发明实施例一之非接触性心率检测方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，获取待处理视频中的多帧人脸图像。
示例性的，参阅图2，步骤S100包括：
步骤S100A，依据时间顺序逐帧获取所述视频信息中的每帧图像的人脸图像信息；
步骤S100B，统计有效图像的图像帧数，所述有效图像为所述视频信息中含人脸图像信息的一个或多个图像；
步骤S100C，当所述有效图像的图像帧数大于预设阈值时，进入下一步则停止获取所述视频信息中的每帧图像的人脸图像信息。
具体的，有效图像的图像帧数大于预设阈值时，则初步判断有活体存在，否则判断为无活体存在，该步骤用于确定待测用户是否进入拍摄范围内。
步骤S102，提取所述多帧人脸图像中的预设面部区域。
具体的，为避免使用整张人脸导致地噪声干扰，可以选取人脸图像信息的鼻子区域和额头区域作为预设面部区域，鼻子区域和额头区域毛细血管比较丰富，从而具有更好的心率检测效果，且噪音干扰小。鼻子三角区域包括三个特征点，额头区域包括四个特征点，各个区域的特征点形成拓扑结构，这些拓扑结构来表征这些区域的图模型，各个特征点便是这些拓扑结构的节点，这些节点主要通过尺度不变特征变换匹配算法和节点位置关系进行提取和筛选；然后，对每一个每个节点邻域进行精细化特征提取，节点之间的距离标定，这就形成了鼻子三角区域和额头的四个关键区域的特征点图。
步骤S104，获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道。
具体的，可以通过图像算法(如OpenCV算法)获取预设面部区域中各个像素点的区域像素值矩阵。预设面部区域可以为50mm*50mm，所提取的像素值矩阵可以为50*50*3的区域像素值矩阵，区域像素值矩阵中的每个数据用于表示每帧某个通道中的对应像素点的像素值。
示例性的，参阅图3，步骤S104包括：
步骤S104A，将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换以得到各个通道的通道能量。
进一步的，参阅图4，步骤S104A进一步包括：
步骤S104A1，根据获取每帧所述R通道、G通道和B通道中各个通道的区域像素值矩阵；
步骤S104A2，将各所述R通道、G通道和B通道的区域像素值矩阵逐帧进行拼接得到像素值矩阵；
步骤S104A3，计算各个通道的通道能量。
具体的，通道能量表示各R通道、G通道和B通道的像素值矩阵的变化值。
示例性的，步骤S104A3包括：
将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换：
将各通道的像素值矩阵以x(n)表示，并将x(n)进行分解为偶数与奇数的两个序列之和，即：
x(n)＝x1(n)+x2(n)；
x1(n)和x2(n)的时间长度都是N/2，N表示各通道选取的时间长度，x1(n)是偶数序列，x2(n)是奇数序列，再对像素值矩阵进行快速傅里叶变换运算，所述快速傅里叶变换计算公式如下：
计算各通道的X(k)的值得到所述通道能量。
步骤S104B，选择能量最大的通道作为所述目标通道。
具体的，将最大X(k)的值对应的通道作为目标通道，表示该目标通道的变化值最大。
步骤S106，通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列。
具体的，本发明实施例是对目标通道的像素值矩阵的能量通道进行放大，不同基带的信噪比应该比较接近，因此可以选择高斯金字塔，对目标通道进行下采样和低通滤波。
示例性的，参阅图5，步骤S106包括：
步骤S106A，将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
步骤S106B，根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
示例性的，参阅图6，步骤S106B包括：
步骤S106B1，第一层高斯金字塔通过平滑与下采样获得二层高斯图像，高斯金字塔的截至频率从上一层到下一层以因子2逐渐增加；
步骤S106B2，直至第K-1层高斯金字塔通过平滑与下采样获得第K层高斯图像，得到所述心血管脉搏波时间序列。
具体的，若需重建经过欧拉影像放大后的目标通道的像素值矩阵。重建时，只需将高斯金字塔最小的一级进行上采样(因为进行欧拉影像放大时，将目标通道的像素值矩阵视为基带的最小级进行了下采样)，最后与待处理视频的R通道、G通道和B通道中各个通道的像素值矩阵进行叠加就可以得到欧拉影像放大后的目标通道的像素值矩阵，能更明显的显示在待测视频中色彩的变化。
采用欧拉影像放大技术有助于减少噪声，图像在不同空间频率下呈现出不同的信噪比。一般来说，空间频率越低，信噪比反而越高。因此，为了防止失真，这些基带应该使用不同的放大倍数。最顶层的图像，即空间频率最低、信噪比最高的图像，可使用最大的放大倍数，下一层的放大倍数依次减小。便于对图像信号的逼近。
步骤S108，分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率。
具体的，将心血管脉搏波序列的频率波形进行带通滤波，选择人的心率的频段范围进行带通滤波，带通滤波器可以选用巴特沃斯带通滤波器或者理想带通滤波器，过滤掉噪声以及其他频域对心率预测的干扰。可以根据不同的需求选择不同的带通滤波器。如果需要对心血管脉搏波序列进行后续的时频分析，则可以选择理想带通滤波器；如果不需要对心血管脉搏波序列进行时频分析，可以选择宽通带的滤波器，如巴特沃斯带通滤波器，二级IIR滤波器等。本申请选用理想低通滤波器。
示例性的，步骤S108包括：
选择频率带宽0.4～4Hz(24～240bpm)作为分析频段，将所述心血管脉搏波序列的频率波形进行带通滤波得到所述心血管脉搏波序列的频率波形的波峰，其中波峰峰值最大对应的频率为所述目标频率。
步骤S110，根据所述目标频率计算得到心率值。
具体的，当相邻的多帧人脸图像的面部颜色差异大于预设阈值(即，待测用户的面部基本处于静止状态)时，其面部颜色变动来源于心跳引起的血液变化，可以从心血管脉搏波序列的频率波形的波形上看出，心率即每分钟心跳数等于60乘以目标频率。
实施例二
请继续参阅图7，示出了本发明非接触性心率检测系统实施例二的程序模块示意图。在本实施例中，非接触性心率检测20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述非接触性心率检测方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述非接触性心率检测系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块200，用于获取待处理视频中的多帧人脸图像。
示例性的，所述获取模块200还用于：
依据时间顺序逐帧获取所述视频信息中的每帧图像的人脸图像信息；
统计有效图像的图像帧数，所述有效图像为所述视频信息中含人脸图像信息的一个或多个图像；
当所述有效图像的图像帧数大于预设阈值时，进入下一步则停止获取所述视频信息中的每帧图像的人脸图像信息。
具体的，有效图像的图像帧数大于预设阈值时，则初步判断有活体存在，否则判断为无活体存在，该步骤用于确定待测用户是否进入拍摄范围内。
提取模块202，用于提取所述多帧人脸图像中的预设面部区域。
具体的，为避免使用整张人脸导致地噪声干扰，可以选取人脸图像信息的鼻子区域和额头区域作为预设面部区域，鼻子区域和额头区域毛细血管比较丰富，从而具有更好的心率检测效果，且噪音干扰小。
选取模块204，用于获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道。
具体的，可以通过图像算法(如OpenCV算法)获取预设面部区域中各个像素点的区域像素值矩阵。预设面部区域可以为50mm*50mm，所提取的像素值矩阵可以为50*50*3的区域像素值矩阵，区域像素值矩阵中的每个数据用于表示每帧某个通道中的对应像素点的像素值。
示例性的，选取模块204还用于：
将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换以得到各个通道的通道能量。
进一步的，根据获取每帧所述R通道、G通道和B通道中各个通道的区域像素值矩阵；
将各所述R通道、G通道和B通道的区域像素值矩阵逐帧进行拼接得到像素值矩阵；
计算各个通道的通道能量。
具体的，通道能量表示各R通道、G通道和B通道的像素值矩阵的变化值。
示例性的，将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换：
将各通道的像素值矩阵以x(n)表示，并将x(n)进行分解为偶数与奇数的两个序列之和，即：
x(n)＝x1(n)+x2(n)；
x1(n)和x2(n)的时间长度都是N/2，N表示各通道选取的时间长度，x1(n)是偶数序列，x2(n)是奇数序列，再对像素值矩阵进行快速傅里叶变换运算，所述快速傅里叶变换计算公式如下：
计算各通道的X(k)的值得到所述通道能量。
选择能量最大的通道作为所述目标通道，即将最大X(k)的值对应的通道作为目标通道。
放大模块206，用于通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列。
具体的，本发明实施例是对目标通道的像素值矩阵的能量通道进行放大，不同基带的信噪比应该比较接近，因此可以选择高斯金字塔，对目标通道进行下采样和低通滤波。
示例性的，放大模块206还用于：
将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
示例性的，第一层高斯金字塔通过平滑与下采样获得二层高斯图像，高斯金字塔的截至频率从上一层到下一层以因子2逐渐增加；
直至第K-1层高斯金字塔通过平滑与下采样获得第K层高斯图像，得到所述心血管脉搏波时间序列。
具体的，若需重建经过欧拉影像放大后的目标通道的像素值矩阵。重建时，只需将高斯金字塔最小的一级进行上采样(因为进行欧拉影像放大时，将目标通道的像素值矩阵视为基带的最小级进行了下采样)，最后与待处理视频的R通道、G通道和B通道中各个通道的像素值矩阵进行叠加就可以得到欧拉影像放大后的目标通道的像素值矩阵，能更明显的显示在待测视频中色彩的变化。
采用欧拉影像放大技术有助于减少噪声，图像在不同空间频率下呈现出不同的信噪比。一般来说，空间频率越低，信噪比反而越高。因此，为了防止失真，这些基带应该使用不同的放大倍数。最顶层的图像，即空间频率最低、信噪比最高的图像，可使用最大的放大倍数，下一层的放大倍数依次减小。便于对图像信号的逼近。
分析模块208，用于分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率。
示例性的，所述分析模块208还用于：
选择频率带宽0.4～4Hz(24～240bpm)作为分析频段，将所述心血管脉搏波序列的频率波形进行带通滤波得到所述心血管脉搏波序列的频率波形的波峰，其中波峰峰值最大对应的频率为所述目标频率。
具体的，将心血管脉搏波序列的频率波形进行带通滤波，选择人的心率的频段范围进行带通滤波，带通滤波器可以选用巴特沃斯带通滤波器或者理想带通滤波器，过滤掉噪声以及其他频域对心率预测的干扰。可以根据不同的需求选择不同的带通滤波器。如果需要对心血管脉搏波序列进行后续的时频分析，则可以选择理想带通滤波器；如果不需要对心血管脉搏波序列进行时频分析，可以选择宽通带的滤波器，如巴特沃斯带通滤波器，二级IIR滤波器等。本申请选用理想低通滤波器。
计算模块210，用于根据所述目标频率计算得到心率值。
具体的，当相邻的多帧人脸图像的面部颜色差异大于预设阈值(即，待测用户的面部基本处于静止状态)时，其面部颜色变动来源于心跳引起的血液变化，可以从心血管脉搏波序列的频率波形的波形上看出，心率即每分钟心跳数等于60乘以目标频率。
实施例三
参阅图8，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图8所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及非接触性心率检测系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的非接触性心率检测系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行非接触性心率检测系统20，以实现实施例一的非接触性心率检测方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述服务器2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述服务器2与外部终端相连，在所述服务器2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。需要指出的是，图8仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。在本实施例中，存储于存储器21中的所述非接触性心率检测系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图7示出了所述实现非接触性心率检测系统20实施例二的程序模块示意图，该实施例中，所述非接触性心率检测系统20可以被划分为获取模块200、提取模块202、选取模块204、放大模块206、分析模块208及计算模块210。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述非接触性心率检测系统20在所述计算机设备2中的执行过程。所述程序模块200-210的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储非接触性心率检测系统20，被处理器执行时实现实施例一的非接触性心率检测方法。
本发明实施例提供的非接触性心率检测方法、系统、设备及存储介质，通过从视频中选取人脸部分，并利用欧拉影像放大算法对像素值矩阵进行放大处理得到血管脉搏波序列，再分析血管脉搏波序列的波形，最后计算出心率值；本发明实施例可以将心率的计算与真实心率绝对值误差在3以内，提高了检测的精确性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种非接触性心率检测方法，其特征在于，包括：
获取待处理视频中的多帧人脸图像；
提取所述多帧人脸图像中的预设面部区域；
获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道；
通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列；
分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率；
根据所述目标频率计算得到心率值。
2.根据权利要求1所述的非接触性心率检测方法，其特征在于，获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道的步骤，包括：
将所述R通道、G通道和B通道中各个通道的像素值矩阵通过快速傅里叶变换做频域变换以得到各个通道的通道能量；
选择能量最大的通道作为所述目标通道。
3.根据权利要求1所述的非接触性心率检测方法，其特征在于，通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列的步骤，包括：
将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
4.根据权利要求3所述的非接触性心率检测方法，其特征在于，根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列的步骤，包括：
第一层高斯金字塔通过平滑与下采样获得二层高斯图像，高斯金字塔的截至频率从上一层到下一层以因子2逐渐增加；
直至第K-1层高斯金字塔通过平滑与下采样获得第K层高斯图像，得到所述心血管脉搏波时间序列。
5.根据权利要求1所述的非接触性心率检测方法，其特征在于，分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率的步骤，包括：
选择频率带宽0.4～4Hz作为分析频段，将所述心血管脉搏波序列的频率波形进行带通滤波得到所述心血管脉搏波序列的频率波形的波峰，其中波峰峰值最大对应的频率为所述目标频率。
6.根据权利要求1所述的非接触性心率检测方法，其特征在于，获取待处理视频信息中的多帧人脸图像信息的步骤，包括：
依据时间顺序逐帧获取所述视频信息中的每帧图像的人脸图像信息；
统计有效图像的图像帧数，所述有效图像为所述视频信息中含人脸图像信息的一个或多个图像；
当所述有效图像的图像帧数大于预设阈值时，则停止获取所述视频信息中的每帧图像的人脸图像信息。
7.一种非接触性心率检测系统，其特征在于，包括：
获取模块，用于获取待处理视频中的多帧人脸图像；
提取模块，用于提取所述多帧人脸图像中的预设面部区域；
选取模块，用于获取所述预设面部区域的R通道、G通道和B通道的像素值矩阵，并从所述R通道、G通道和B通道中选取其中一个通道作为目标通道；
放大模块，用于通过欧拉影像放大对所述目标通道对应的像素值矩阵进行放大，以得到心血管脉搏波序列；
分析模块，用于分析所述心血管脉搏波序列的频率波形，选取所述频率波形的各个波峰中的最大波峰所对应的频率值作为目标频率；
计算模块，用于根据所述目标频率计算得到心率值。
8.根据权利要求7所述的非接触性心率检测系统，其特征在于，所述放大模块还用于：
将所述目标通道对应的像素值矩阵进行空间滤波，以得到不同的空间频率的基带，其中，采用低通滤波器进行空间滤波；
根据高斯金字塔对所述基带进行平滑与下采样得到所述心血管脉搏波序列。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的非接触性心率检测系统，所述非接触性心率检测系统被所述处理器执行时实现如权利要求1-6中任一项所述的非接触性心率检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1-6中任一项所述的非接触性心率检测方法的步骤。
CN201910699269.6A 2019-07-31 2019-07-31 非接触性心率检测方法、系统、设备及存储介质 Active CN110547783B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910699269.6A CN110547783B (zh) 2019-07-31 2019-07-31 非接触性心率检测方法、系统、设备及存储介质
PCT/CN2019/118082 WO2021017307A1 (zh) 2019-07-31 2019-11-13 非接触性心率检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910699269.6A CN110547783B (zh) 2019-07-31 2019-07-31 非接触性心率检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110547783A true CN110547783A (zh) 2019-12-10
CN110547783B CN110547783B (zh) 2022-05-17

Family

ID=68736860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910699269.6A Active CN110547783B (zh) 2019-07-31 2019-07-31 非接触性心率检测方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110547783B (zh)
WO (1) WO2021017307A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111166313A (zh) * 2019-12-26 2020-05-19 中国电子科技集团公司电子科学研究院 一种心率测量方法、装置及可读存储介质
CN111510768A (zh) * 2020-04-26 2020-08-07 梁华智能科技(上海)有限公司 一种视频流的生命体征数据计算方法、设备及介质
CN112580612A (zh) * 2021-02-22 2021-03-30 中国科学院自动化研究所 一种生理信号预测方法
TWI742696B (zh) * 2020-05-28 2021-10-11 國立臺灣科技大學 多參數生理訊號量測方法
CN113940632A (zh) * 2021-10-19 2022-01-18 展讯通信(天津)有限公司 健康指标检测方法和设备
CN113951816A (zh) * 2021-09-07 2022-01-21 广东省科学院健康医学研究所 基于光学视频信号分析的无创血管功能检测装置
CN116681700A (zh) * 2023-08-01 2023-09-01 首都医科大学附属北京天坛医院 用户心率和心率变异性的评估方法、装置和可读储存介质
CN116758066A (zh) * 2023-08-14 2023-09-15 中国科学院长春光学精密机械与物理研究所 一种非接触测量心率方法、设备及介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965060A (zh) * 2021-02-19 2021-06-15 加特兰微电子科技(上海)有限公司 生命特征参数的检测方法、装置和检测体征点的方法
CN113842128B (zh) * 2021-09-29 2023-09-26 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置
CN114469036A (zh) * 2022-01-27 2022-05-13 无锡博奥玛雅医学科技有限公司 一种基于视频图像的远程心率监测方法及系统
CN115205270B (zh) * 2022-07-25 2023-10-24 哈尔滨工业大学 基于图像处理的非接触式血氧饱和度检测方法及系统
CN116077062B (zh) * 2023-04-10 2023-06-30 中国科学院自动化研究所 心理状态感知方法及系统、可读存储介质
CN117694845B (zh) * 2024-02-06 2024-04-26 北京科技大学 基于融合特征增强的非接触式生理信号检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
CN109009052A (zh) * 2018-07-02 2018-12-18 南京工程学院 基于视觉的嵌入式心率测量系统及其测量方法
CN109259749A (zh) * 2018-08-29 2019-01-25 南京邮电大学 一种基于视觉摄像头的非接触式心率测量方法
US20190171893A1 (en) * 2017-12-05 2019-06-06 Tata Consultancy Services Limited Face video based heart rate monitoring using pulse signal modelling and tracking

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201315438A (zh) * 2011-10-14 2013-04-16 Ind Tech Res Inst 非接觸式之心脈量測方法及其系統
CN107529646B (zh) * 2017-05-02 2021-01-26 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN109044322A (zh) * 2018-08-29 2018-12-21 北京航空航天大学 一种非接触式心率变异性测量方法
CN109523545A (zh) * 2018-11-28 2019-03-26 荆门博谦信息科技有限公司 一种非接触式心率检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
US20190171893A1 (en) * 2017-12-05 2019-06-06 Tata Consultancy Services Limited Face video based heart rate monitoring using pulse signal modelling and tracking
CN109009052A (zh) * 2018-07-02 2018-12-18 南京工程学院 基于视觉的嵌入式心率测量系统及其测量方法
CN109259749A (zh) * 2018-08-29 2019-01-25 南京邮电大学 一种基于视觉摄像头的非接触式心率测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万铮结: "基于人脸视频图像的心率检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘国华等: "《HALCON数字图像处理》", 30 June 2018, 西安电子科技大学出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111166313A (zh) * 2019-12-26 2020-05-19 中国电子科技集团公司电子科学研究院 一种心率测量方法、装置及可读存储介质
CN111510768A (zh) * 2020-04-26 2020-08-07 梁华智能科技(上海)有限公司 一种视频流的生命体征数据计算方法、设备及介质
TWI742696B (zh) * 2020-05-28 2021-10-11 國立臺灣科技大學 多參數生理訊號量測方法
CN112580612A (zh) * 2021-02-22 2021-03-30 中国科学院自动化研究所 一种生理信号预测方法
CN112580612B (zh) * 2021-02-22 2021-06-08 中国科学院自动化研究所 一种生理信号预测方法
US11227161B1 (en) 2021-02-22 2022-01-18 Institute Of Automation, Chinese Academy Of Sciences Physiological signal prediction method
CN113951816B (zh) * 2021-09-07 2024-04-12 广东省科学院健康医学研究所 基于光学视频信号分析的无创血管功能检测装置
CN113951816A (zh) * 2021-09-07 2022-01-21 广东省科学院健康医学研究所 基于光学视频信号分析的无创血管功能检测装置
CN113940632A (zh) * 2021-10-19 2022-01-18 展讯通信(天津)有限公司 健康指标检测方法和设备
CN116681700B (zh) * 2023-08-01 2023-10-31 首都医科大学附属北京天坛医院 用户心率和心率变异性的评估方法、装置和可读储存介质
CN116681700A (zh) * 2023-08-01 2023-09-01 首都医科大学附属北京天坛医院 用户心率和心率变异性的评估方法、装置和可读储存介质
CN116758066A (zh) * 2023-08-14 2023-09-15 中国科学院长春光学精密机械与物理研究所 一种非接触测量心率方法、设备及介质
CN116758066B (zh) * 2023-08-14 2023-11-14 中国科学院长春光学精密机械与物理研究所 一种非接触测量心率方法、设备及介质

Also Published As

Publication number Publication date
CN110547783B (zh) 2022-05-17
WO2021017307A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
CN110547783B (zh) 非接触性心率检测方法、系统、设备及存储介质
CN107529646B (zh) 一种基于欧拉影像放大的无接触式心率测量方法及装置
EP3087915B1 (en) Method and system for noise cleaning of photoplethysmogram signals for estimating blood pressure
US9392952B1 (en) Systems, apparatus and methods for sensing fetal activity
US20120269420A1 (en) Image Processing and Machine Learning for Diagnostic Analysis of Microcirculation
WO2021184805A1 (zh) 一种多数据源的血压预测方法和装置
CN110598625A (zh) 一种基于脉搏波非基准特征的身份识别技术
US11406304B2 (en) Systems and methods for physiological sign analysis
Zou et al. An ultra-low power QRS complex detection algorithm based on down-sampling wavelet transform
EP3692902A1 (en) Method for assessing electrocardiogram signal quality
CN111640111A (zh) 医学图像处理方法、装置及存储介质
CN110840401B (zh) 一种心率值测定方法、装置、设备及可读存储介质
Mir et al. ECG denoising and feature extraction techniques–a review
CN110693488A (zh) 心电信号处理系统、方法、电子设备及可读存储介质
CN116309676A (zh) 一种冠脉血管图像分割方法、装置、电子设备及存储介质
CN111513701A (zh) 心率检测方法、装置、计算机设备和可读存储介质
US20230277111A1 (en) System and method for saliency detection in long-term ecg monitoring
Qayyum et al. Assessment of physiological states from contactless face video: a sparse representation approach
KR101483756B1 (ko) 맥파 검출 방법
Sivakumar et al. Computed radiography skull image enhancement using Wiener filter
JPH09299366A (ja) 領域抽出装置
Anishchenko et al. Comparative analysis of methods for classifying the cardiovascular system's states under stress
Lwin et al. Applications of wavelet transform
CN116269446A (zh) 基于代数拓扑的格式塔脑电信号分类方法、电子设备、介质
Ghodake et al. Optimized cardiovascular disease detection and features extraction algorithms from ECG data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant