CN114403838A - 一种便携式的基于树莓派的远程心率检测装置及方法 - Google Patents

一种便携式的基于树莓派的远程心率检测装置及方法 Download PDF

Info

Publication number
CN114403838A
CN114403838A CN202210082230.1A CN202210082230A CN114403838A CN 114403838 A CN114403838 A CN 114403838A CN 202210082230 A CN202210082230 A CN 202210082230A CN 114403838 A CN114403838 A CN 114403838A
Authority
CN
China
Prior art keywords
heart rate
image
raspberry
portable
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210082230.1A
Other languages
English (en)
Inventor
陈嘉涛
黄燕平
蓝公仆
许景江
袁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202210082230.1A priority Critical patent/CN114403838A/zh
Publication of CN114403838A publication Critical patent/CN114403838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种便携式的基于树莓派的远程心率检测装置及方法,方法包括:步骤1、实时采集受试者的面部图像;步骤2、进行人脸特征点的检测,ROI的定位与跟踪;步骤3、原始信号的计算;步骤4、对提取的原始信号进行变分模态分解;步骤5、提取心率分量并计算平均心率数据;步骤6、将面部处理后的图像及心率数据实时显示。本发明解决了当前心率检测需要受试者与检测设备直接接触的问题,实现了准确、自动的心率检测,故可以大大提高受检者的舒适感,避免与待检者进行直接接触,有利于受检者在舒适的状态下完成心率监测。本系统在日常的心率监测中具有较高的推广和使用价值,具有结构简单,携带方便,易于调试,检测准确率高等特点。

Description

一种便携式的基于树莓派的远程心率检测装置及方法
技术领域
本发明涉及医疗检测技术领域,尤其涉及一种便携式的基于树莓派的远程心率检测装置及方法。
背景技术
心脏是人类最重要的一个器官,对心率、心率变异性、房颤等直接反应心脏运作功能生理参数的检测对了解个人生理健康状况有着十分重要的意义。当前,心率的测量技术主要分为心电图(Electrocardiogram,简称ECG)与血管脉搏容积描计(Photoplethysmography,简称PPG)。ECG要求受试者在身上不同部位佩戴传感器,通过传感器捕捉由心脏工作产生的心肌电流,从而提取出与心率信息。而PPG则是利用光学原理,通过测量由光电传感器接受光反射强度的周期性变化来评估心率。目前,ECG和PPG都需要受试者佩戴不同的传感器,这可能给患者带来不适感,对于皮肤受损的患者,则更不适用。此外,ECG一般需要有一台仪器辅助分析,这更是减少了心电图的使用范围,不便于携带。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种便携式的基于树莓派的远程心率检测装置及方法,通过相机捕捉患者头部图像,利用图像处理及信号处理技术,从中恢复出准确的脉搏容积描计信号,不需要与患者接触,极大地方便了医生和患者,具有广阔的医疗应用潜力。
为实现上述目的,本发明提供了一种便携式的基于树莓派的远程心率检测装置,包括外壳,所述外壳内设置电路板,所述电路板包括依次电连接的图像采集模块、处理器、显示模块,其中:
图像采集模块,用于采集待检测对象的面部数据;
处理器,用于通过所述面部数据计算心率数据;
显示模块,用于显示所述面部数据、心率数据。
进一步的,所述图像采集模块采用Miscrosoft LifeCam HD3000摄像头。
进一步的,所述处理器采用树莓派单片机处理器。
一种便携式的基于树莓派的远程心率检测方法,包括:
步骤1、实时采集受试者的面部图像;
步骤2、进行人脸特征点的检测,ROI的定位与跟踪;
步骤3、原始信号的计算;
步骤4、对提取的原始信号进行变分模态分解;
步骤5、提取心率分量并计算平均心率数据;
步骤6、将面部处理后的图像及心率数据实时显示。
进一步的,所述步骤2进行人脸特征点的检测,ROI的定位与跟踪,具体为:
步骤21、先通过VJ人脸检测器得到人脸矩形框,利用CLM-Framework完成人脸特征点的检测,选取的是包含鼻子在内的面部脸颊区域,完成受试者的ROI图像数据提取;
步骤22、通过KLT算法进行矩形框的跟踪。
进一步的,所述步骤3原始信号的计算,具体为:
将步骤2每一帧截取下来的ROI图像进行保存,选取ROI图像的第二个通道即Green通道图像,由以下公式进行图像平均强度的计算,级联形成一段时间的rPPG信号:
Figure BDA0003486354580000021
t代表图像的数量,t=1,2,...n,Npixel代表ROI的图像像素个数总和,nW,nH分别代表ROI图像的宽度及高度,i=1,2,3代表图像的三个RGB通道,I(r,c)代表具体通道的像素值。
进一步的,所述步骤4对提取的原始信号进行变分模态分解,具体为:
对步骤3步提取的原始信号进行变分模态分解,VMD通过公式2进行信号的变分模型建立,并引入拉格朗日乘子对模型进行求解,得到信号的多个本征模函数,每一个本征模函数都有带宽及频率;
Figure BDA0003486354580000031
Figure BDA0003486354580000032
进一步的,所述步骤5提取心率分量并计算平均心率数据,具体为:对步骤4分解得到的每一个本征模函数进行快速傅里叶变换,确定每一个分量的主频率,设定为0.75-2.5Hz作为筛选规则,从所有子函数中选择满足条件的信号分量;如果存在多个满足条件的信号分量,则选择幅值更大的作为最终的心率分量。
本发明的有益效果是:
本发明结合摄像头及树莓派等硬件,开了一套便携式远程心率检测系统,解决了当前心率检测需要受试者与检测设备直接接触的问题。由于本系统实现了准确,自动的心率检测,故可以大大提高受检者的舒适感,避免与待检者进行直接接触,有利于受检者在舒适的状态下完成心率监测。本系统在日常的心率监测中具有较高的推广和使用价值,具有结构简单,携带方便,易于调试,检测准确率高等特点。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的装置硬件结构示意图。
图2是本发明的方法流程图。
图3是本发明的硬件原理图。
图4是本发明的心率数据显示界面图。
具体实施方式
如图1所示,本发明提供了一种便携式的基于树莓派的远程心率检测装置,包括外壳3,所述外壳内设置电路板,所述电路板包括依次电连接的图像采集模块1、处理器(外壳3内部)、显示模块2,其中:
图像采集模块,用于采集待检测对象的面部数据;
处理器,用于通过所述面部数据计算心率数据;
显示模块,用于显示所述面部数据、心率数据。
本发明的一种便携式的基于树莓派的远程心率检测装置硬件设计如图1所示,着重便携性与空间分布均匀性。装置上边为摄像头,用于数据采集;摄像头后面放置一块液晶屏作为显示模块;里面为树莓派控制器,并带有风扇散热装置及电源。其中:
1、USB摄像头
所述图像采集器为微软公司的Miscrosoft LifeCam HD3000。通过这款外接摄像机将采集到人脸图像传输和存储在树莓派内,方便设计开发在树莓派上的心率估计程序对人体的面部图像做进一步处理。
2、触摸显示屏
所述显示装置为触摸显示屏,用于程序界面及结果的展示。通过摄像头采集的图像经过程序处理之后,将人脸图像,人脸特征点,心率结果等数据实时显示在触摸显示屏上。
3、树莓派及可携带装置
所述装置为树莓派及其可携带装置,由摄像头采集的图像传输为树莓派,经过编写的程序将图像进行处理并结算出相应的结果传输回显示屏进行呈现。
具体的系统流程如图2所示。该系统包括受试者面部数据的采集;树莓派输出串口引脚的图像数据接收;可视化界面软件对图像数据的预处理,检测与跟踪;对图像数据进行感兴趣区域的提取;原始心率信号的计算;利用VMD进行信号的分解以提取心率分量;最后根据筛选规则选取合适的心率分量并计算相应的心率值,输出在显示模块上,实现无接触的远程心率检测测量。其中:
受试者面部数据采集,利用Miscrosoft LifeCam HD3000高清摄像头完成数据的采集工作,将所采集的面部数据实时呈现在界面上,并传输到树莓派中进行后续处理。
人脸检测、ROI定义及跟踪,先通过VJ人脸检测器得到人脸矩形框,利用CLM-Framework完成人脸特征点的检测,这一部分是完成ROI的定义,选取的是包含鼻子在内的面部脸颊区域,研究表明,这一部分的ROI不会容易受到表情的影响。完成ROI的定义之后,通过KLT算法进行矩形框的跟踪,目的是减少逐帧检测的计算量,提高运算速度。
原始信号的计算,由前2步完成受试者的数据提取,将每一帧截取下来的ROI图像进行保存,选取ROI图像的第二个通道即Green通道图像,由以下公式进行图像平均强度的计算,级联形成一段时间的rPPG信号。
Figure BDA0003486354580000051
t代表图像的数量,t=1,2,...n,Npixel代表ROI的图像像素个数总和,nW,nH分别代表ROI图像的宽度及高度。i=1,2,3代表图像的三个通道,RGB通道。I(r,c)代表具体通道的像素值。
变分模态分解,对提取的原始信号进行变分模态分解,VMD通过公式2进行信号的变分模型建立,并引入拉格朗日乘子对模型进行求解,得到信号的多个本征模函数,每一个本征模函数都有带宽及频率。
Figure BDA0003486354580000052
Figure BDA0003486354580000053
最后,提取心率分量并计算平均心率数据。傅里叶变换可以将信号有时域转为频域分析,本发明对分解得到的每一个本征模函数进行傅里叶变换,确定每一个分量的主频率,前人的研究表明,成年人的心率范围是45-145bpm,设定为0.75-2.5Hz作为筛选规则,从所有子函数中选择合适分量,进行最终的心率估计。如果存在多个满足条件的信号分量,则选择幅值更大的作为最终的心率分量。
以上便是树莓派将由摄像头采集的数据完成处理的详细过程,这一部分对数据完成处理之后,在树莓派的显示界面完成展示。所有处理程序均有Python语言完成编写。
本发明的硬件部分包含两个模块,硬件结构图如图3所示。通过结构图可以看到该系统结构体简单,接线安装便捷。摄像头与树莓派开发板是通过USB接口连接,根据具体摄像头的要求,可以额外给摄像头供电,也可以通过树莓派给摄像头供电。
使用树莓派作为本远程心率检测系统的主控制是因为树莓派体积小,价格便宜,且可扩展功能强大,稳定性在一定范围内是可控的,同时相比单片机,具有更强大的计算能力,可以处理复杂度较高的任务。另外该系统所需要的摄像头只需要普通的高清USB摄像头,能够采集RGB图像即可,这是因为该系统是对面部图像的采集与处理,只需要捕捉到完整的人脸图像即可,对图像质量并没有太高的要求,这大大节省了购买昂贵设备的费用。
显示模块我们采用的树莓派专用触摸显示屏,显示界面由Qtdesigner进行设计,并通过PyQt5与python之间建立联系,进行程序的编写。图4是远程心率检测系统的显示界面。分为7个部分,所述1为程序控制按钮,分为4个按钮,Preview,Face Detection,HeartRate Estimate,Exit。所述2为相机图像预览界面,将实时拍摄到的图像进行显示。所述3位人脸特征点检测的画面展示,及所提取到的ROI界面。所述4、5为信号处理的结果,将从人脸图像提取到的心率信号及结果展示出来。所述6为持续监测的心率结果,可以供受试者看到过去一段时间的心率数值曲线。所述7为程序监测界面,将每一部分的程序运行结果进行展示,可以供给受试者进行相机位置的调整,程序的控制等等。
本方案使用的数据采集方案,可以针对不同的场景使用不同的采集设备。另外基于树莓派实现其他需要的功能,比如呼吸监测,血氧测算等功能都是本方案的保护范围。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种便携式的基于树莓派的远程心率检测装置,包括外壳,其特征在于,所述外壳内设置电路板,所述电路板包括依次电连接的图像采集模块、处理器、显示模块,其中:
图像采集模块,用于采集待检测对象的面部数据;
处理器,用于通过所述面部数据计算心率数据;
显示模块,用于显示所述面部数据、心率数据。
2.如权利要求1所述的一种便携式的基于树莓派的远程心率检测装置,其特征在于:所述图像采集模块采用Miscrosoft LifeCam HD3000摄像头。
3.如权利要求1所述的一种便携式的基于树莓派的远程心率检测装置,其特征在于:所述处理器采用树莓派单片机处理器。
4.一种便携式的基于树莓派的远程心率检测方法,其特征在于,包括:
步骤1、实时采集受试者的面部图像;
步骤2、进行人脸特征点的检测,ROI的定位与跟踪;
步骤3、原始信号的计算;
步骤4、对提取的原始信号进行变分模态分解;
步骤5、提取心率分量并计算平均心率数据;
步骤6、将面部处理后的图像及心率数据实时显示。
5.如权利要求4所述的一种便携式的基于树莓派的远程心率检测方法,其特征在于,所述步骤2进行人脸特征点的检测,ROI的定位与跟踪,具体为:
步骤21、先通过VJ人脸检测器得到人脸矩形框,利用CLM-Framework完成人脸特征点的检测,选取的是包含鼻子在内的面部脸颊区域,完成受试者的ROI图像数据提取;
步骤22、通过KLT算法进行矩形框的跟踪。
6.如权利要求4所述的一种便携式的基于树莓派的远程心率检测方法,其特征在于,所述步骤3原始信号的计算,具体为:
将步骤2每一帧截取下来的ROI图像进行保存,选取ROI图像的第二个通道即Green通道图像,由以下公式进行图像平均强度的计算,级联形成一段时间的rPPG信号:
Figure FDA0003486354570000021
t代表图像的数量,t=1,2,...n,Npixel代表ROI的图像像素个数总和,nW,nH分别代表ROI图像的宽度及高度,i=1,2,3代表图像的三个RGB通道,I(r,c)代表具体通道的像素值。
7.如权利要求4所述的一种便携式的基于树莓派的远程心率检测方法,其特征在于,所述步骤4对提取的原始信号进行变分模态分解,具体为:
对步骤3步提取的原始信号进行变分模态分解,VMD通过公式2进行信号的变分模型建立,并引入拉格朗日乘子对模型进行求解,得到信号的多个本征模函数,每一个本征模函数都有带宽及频率;
Figure FDA0003486354570000022
Figure FDA0003486354570000023
8.如权利要求4所述的一种便携式的基于树莓派的远程心率检测方法,其特征在于,所述步骤5提取心率分量并计算平均心率数据,具体为:对步骤4分解得到的每一个本征模函数进行快速傅里叶变换,确定每一个分量的主频率,设定为0.75-2.5Hz作为筛选规则,从所有子函数中选择满足条件的信号分量;如果存在多个满足条件的信号分量,则选择幅值更大的作为最终的心率分量。
CN202210082230.1A 2022-01-24 2022-01-24 一种便携式的基于树莓派的远程心率检测装置及方法 Pending CN114403838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210082230.1A CN114403838A (zh) 2022-01-24 2022-01-24 一种便携式的基于树莓派的远程心率检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082230.1A CN114403838A (zh) 2022-01-24 2022-01-24 一种便携式的基于树莓派的远程心率检测装置及方法

Publications (1)

Publication Number Publication Date
CN114403838A true CN114403838A (zh) 2022-04-29

Family

ID=81276669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082230.1A Pending CN114403838A (zh) 2022-01-24 2022-01-24 一种便携式的基于树莓派的远程心率检测装置及方法

Country Status (1)

Country Link
CN (1) CN114403838A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN110276271A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN110929682A (zh) * 2019-12-09 2020-03-27 南京理工大学 基于树莓派的生命体征监测系统
CN111243739A (zh) * 2020-01-07 2020-06-05 四川大学 抗干扰的生理参数遥测方法及系统
CN112669954A (zh) * 2020-04-22 2021-04-16 中国科学院心理研究所 一种远程心率检测系统及其方法
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN110276271A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN110929682A (zh) * 2019-12-09 2020-03-27 南京理工大学 基于树莓派的生命体征监测系统
CN111243739A (zh) * 2020-01-07 2020-06-05 四川大学 抗干扰的生理参数遥测方法及系统
CN112669954A (zh) * 2020-04-22 2021-04-16 中国科学院心理研究所 一种远程心率检测系统及其方法
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗凯等: "基于树莓派摄像头的心率测量方法研究", 《数字技术与应用》 *

Similar Documents

Publication Publication Date Title
McDuff et al. Fusing partial camera signals for noncontact pulse rate variability measurement
CN106236049A (zh) 基于视频图像的血压测量方法
KR20150016903A (ko) 휴대용 단말기를 사용하는 맥파 신호 측정 방법
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN111248890A (zh) 一种基于面部视频的非接触式新生儿心率监测方法及系统
CN107330945A (zh) 一种基于视频的快速心率检测方法
CN108937905B (zh) 一种基于信号拟合的非接触式心率检测方法
Lin et al. Detection of multipoint pulse waves and dynamic 3D pulse shape of the radial artery based on binocular vision theory
Przybyło A deep learning approach for remote heart rate estimation
CN110338759A (zh) 一种正面疼痛表情数据采集方法
Wu et al. Anti-jamming heart rate estimation using a spatial–temporal fusion network
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
Ibrahim et al. Non-contact heart rate monitoring analysis from various distances with different face regions
Cui et al. Non-contact time varying heart rate monitoring in exercise by video camera
CN110279406B (zh) 一种基于摄像头的无接触式的脉率测量方法及装置
Han et al. Exploration of the optimal skin-camera distance for facial photoplethysmographic imaging measurement using cameras of different types
CN114403838A (zh) 一种便携式的基于树莓派的远程心率检测装置及方法
CN110321781A (zh) 一种用于无接触式测量的信号处理方法及装置
TWI759218B (zh) 非接觸式心律類別監測系統及方法
Sacramento et al. A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
CN114246570A (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
AV et al. Non-contact heart rate monitoring using machine learning
CN113317766A (zh) 一种基于a311d的嵌入式非接触式生理参数监测系统
Yu et al. Video based heart rate estimation under different light illumination intensities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220429