CN110084085B - 基于成形信号的rppg高精度心率检测方法 - Google Patents
基于成形信号的rppg高精度心率检测方法 Download PDFInfo
- Publication number
- CN110084085B CN110084085B CN201811315831.2A CN201811315831A CN110084085B CN 110084085 B CN110084085 B CN 110084085B CN 201811315831 A CN201811315831 A CN 201811315831A CN 110084085 B CN110084085 B CN 110084085B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- signal
- forming signal
- video
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000001228 spectrum Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000007493 shaping process Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010183 spectrum analysis Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000009532 heart rate measurement Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Abstract
本发明公开了一种基于成形信号的RPPG高精度心率检测方法，属于生物医学工程领域，实现了一种非接触式测量心率的方法，且具有较高的精确度，可应用于多领域的心率检测中。步骤为：用摄像头采集人脸区域的视频，同时叠加一定幅值的光学成形信号；在一个周期的成形信号内采集视频；结合Adaboost算法与金字塔图搜索所述RGB图形的脸部区域，确定脸颊区域为感兴趣ROI区域，分离感兴趣区域RGB通道并取均值；采用最小二乘法去除采集视频过程中添加的成形信号；将去除成形信号的数据进行ICA变换、FFT变换，提取最大功率谱值和相应的频率，获得心电波形。
Description
技术领域
本发明涉及一种基于成形信号的人脸视频心率检测方法，其采用成形信号方法来提高通过人脸视频提取心电信号的准确度，即心率的准确度，属于生物医学工程相关领域。
背景技术
心率是脉搏波的最基本信息，是人体四大生命体征之一。其稳定性直接反映着心脏功能的好坏，是人体健康的一项重要生理指标。研究表明，心率是生理变化较为灵敏的参数之一，在各种领域有着广泛的应用。
传统的心率检测是医生通过使用切脉或者听诊的方式获得的，这种心率测量方式精确度低，局限性比较大，很难满足人们的需求；心率检测仪等专业医疗仪器虽然精度高，但其成本高、体积大，难以进入人们的日常的生活中；指夹式心率血氧仪等的出现虽然在一定程度上满足了人们在精确度、价格还有使用环境广泛等方面的需求，但是，指夹式心率血氧仪测量时必须与人体有直接的接触，而长时间的接触会造成被试者的不适，因而不适合长时间的心率测量。
随着计算机技术、摄像头等的普及，图像PPG(Photoplethysmography)技术的提出为实现无创、非接触的实时心率测量提供了切实可行的思路。由于人体心脏不断地收缩和舒张，会导致人体血管中的血液的充盈程度也会随着心跳而不断地发生变化，并且对光的吸收会随着血液容积的变化呈现出与心跳一致的脉动性变化，因此皮肤表面反射的光的强度也会发生相应的周期性变化，从而表现为采集图像中皮肤颜色的变化。在采集可提取心率信号的视频时，加入一标定的锯齿波光源作为成形信号，叠加在采集到的心率信号上，可以大幅度提高采集到的心率信号的精确度。本发明基于RPPG技术，利用成形信号实现了高精度采集心率信号的方法，使心率信号的采集更为方便、准确。
发明内容
本发明的目的是提供一种基于RPPG与成形信号技术的高精度心率检测方法，该方法具有无创、非接触、精度高、算法复杂度低等优点，在病人心率监控、家庭心率测量、体感游戏以及刑侦测谎领域中有着广泛的应用前景。
本发明技术方案是：
(1)用普通摄像头采集人脸区域的视频，采集视频的同时叠加一定幅值的光学成形信号，本设计选用单周期的锯齿波；
(2)成形信号为锯齿波，成形信号的周期为10s，摄像头的帧数为f＝30帧/s，采样率为fs＝30Hz；
(3)在一个周期的成形信号内采集视频，视频图像的总帧数为300帧，将每个采集点的10帧图片进行累加求平均，得到一个新的图像；
(4)结合Adaboost算法与金字塔图搜索所述RGB图形的脸部区域，获取脸部区域的长度h和宽w，并确定脸颊区域为感兴趣ROI区域，分离感兴趣区域RGB通道并取均值；
(5)采用最小二乘法去除采集视频过程中添加的成形信号；
(6)将去除成形信号的数据进行ICA变换、FFT变换，提取最大功率谱值和相应的频率，最终获得心电波形。
本发明的优点和积极效果是：
本发明所述基于RPPG与成形信号技术的高精度心率检测方法，可实现人体心率的非接触式测量；采集视频的同时加入锯齿波成形信号，大幅度提高了检测灵敏度，该心率监测大大提高了检测的精确度，并且与被测人员无直接接触，且不存在对被测人体的辐射危害。该发明方法不仅有利于日常生活中的健康监测，也为临床医疗提供了新的技术手段，可以应用在人体心理健康的诊断、刑侦手段中说谎的判断等领域。
附图说明
图1是非接触式心率监测系统结构示意图。
图2是该系统总体实现流程图。
具体实施方式
实施方式一：
第一步：选定照明合适的环境，确定可以对人脸区域清晰并较完整成像的位置，固定摄像头；
第二步：选定亮度光线合适的光源作光学成形信号，调整至可以稳定照射在人脸视频采集区域的位置，固定光源；
第三步：系统产生一个周期的成形信号，产生成形信号的同时启动摄像头进行视频的采集，采集的过程中人脸允许在成像范围内小幅移动和偏转，将采集到的数据存为MP4格式视频文件；
第四步：将采集到的视频文件进行人脸区域的选取，确定ROI区域，将采集点的帧图像进行帧累加处理，然后取平均，得到一个新的图像；
第五步：采用最小二乘法去除一个成形信号周期内采集到的图像中的成形信号；
第六步：将得到的新图像进行RGB通道的分离，ICA的变换；
第七步：设定采用窗和滑动窗的大小，然后对保存的RGB通道的数值进行归一化处理，存储每个窗口每个通道前十个最大的功率谱幅值和频率值得矩阵，数据去除线性分量，得到分离后的成分矩阵；
第八步：将数据进行功率谱分析，提取出每个通道中的最大功率谱幅值，找到最大频率谱幅值对应的脉搏角标，从而找到当前窗最可能的脉搏值，保存在数组pulse中；
第九步：当i＞450时，根据公式pulse(round((i-450)/15)+1)*60，计算出心跳的次数；
实施方式二：
按照实施方式一的步骤，对摄像头在不通帧率和分辨率的情况下进行了测试；
第一步：成形信号为锯齿波，成形信号的周期为10s，摄像头的帧数为f＝60帧/s，采样率为fs＝30Hz进行图像的采集，1080P；
第二步：成形信号为锯齿波，成形信号的周期为10s，摄像头的帧数为f＝60帧/s，采样率为fs＝30Hz进行图像的采集，720P；
第三步：成形信号为锯齿波，成形信号的周期为10s，摄像头的帧数为f＝90帧/s，采样率为fs＝30Hz进行图像的采集，720P；
第四步：分析在不同情况下，采用成形信号的基础上心率检测的准确度。
Claims (4)
1.一种基于成形信号的RPPG高精度心率检测方法，其特征在于，所述方法包括以下步骤：
步骤1：设置一频率、幅值已知的光源作为成形信号，照射在采集人脸视频区域内；
步骤2：产生一个周期的成形信号，同时采集人脸区域视频；
步骤3：将采集到的视频变换成帧图像，根据采样率的设置，将每个采样点内的帧图像累加取平均，得到一帧新图像；
步骤4：采用最小二乘法，除去数据里面的成形信号，还原微弱信号；
步骤5：将处理后的数据，进行ROI区域的选取，ICA的变换，心率的提取操作；
ROI区域的选取为：结合Adaboost算法与金字塔图搜索RGB图形的脸部区域，获取脸部区域的长度h和宽w，并确定脸颊区域为感兴趣ROI区域；
在ICA的变换之后，还包括：
设定采用窗和滑动窗的大小，然后对保存的RGB通道的数值进行归一化处理，存储每个窗口每个通道前十个最大的功率谱幅值和频率值得矩阵，数据去除线性分量，得到分离后的成分矩阵；
将数据进行功率谱分析，提取出每个通道中的最大功率谱幅值，找到最大频率谱幅值对应的脉搏角标，从而找到当前窗最可能的脉搏值，保存在数组pulse中；
所述步骤1的具体过程为：
定义成形信号为3.3V/0.1Hz的锯齿波，光电二极管作为光电信号转换元件，由嵌入式控制器控制，照射到采集人脸视频信号的位置；
所述步骤2的具体过程为：
由控制器控制产生一个周期为10S的锯齿波作为成形信号，产生成形信号的同时触发摄像头开始采集人脸区域视频，采集一个周期的视频信号。
2.根据权利要求1所述的一种基于成形信号的RPPG高精度心率检测方法，其特征在于，所述步骤3的具体过程为：
设置摄像头的帧数为f0＝30帧/S，一个周期成形信号的采样点数为30个点，采样率设置为fs＝3HZ。
3.根据权利要求2所述的一种基于成形信号的RPPG高精度心率检测方法，其特征在于，所述步骤4的具体过程为：
采用最小二乘法去除加入的成形信号锯齿波。
4.根据权利要求3所述的一种基于成形信号的RPPG高精度心率检测方法，其特征在于，所述步骤5的具体过程为：
叠加成形信号采集到的心率信号大小为X，未叠加成形信号采集到的心率信号大小为Y，两者对比分析可知信号精度提高了Z倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811315831.2A CN110084085B (zh) | 2018-11-06 | 2018-11-06 | 基于成形信号的rppg高精度心率检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811315831.2A CN110084085B (zh) | 2018-11-06 | 2018-11-06 | 基于成形信号的rppg高精度心率检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084085A CN110084085A (zh) | 2019-08-02 |
| CN110084085B true CN110084085B (zh) | 2023-12-15 |
Family
ID=67412897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811315831.2A Active CN110084085B (zh) | 2018-11-06 | 2018-11-06 | 基于成形信号的rppg高精度心率检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084085B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647815A (zh) * | 2019-08-25 | 2020-01-03 | 上海贝瑞电子科技有限公司 | 一种基于人脸视频图像的非接触式心率测量方法及系统 |
| CN111310673B (zh) * | 2020-02-20 | 2022-02-08 | 无锡市宏宇汽车配件制造有限公司 | 困意预测方法、装置及存储介质 |
| CN111275018B (zh) * | 2020-03-06 | 2022-10-25 | 华东师范大学 | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 |
| CN111597891B (zh) * | 2020-04-13 | 2023-07-25 | 浙江工业大学 | 一种基于多尺度视频的心率检测方法 |
| CN113951855A (zh) * | 2021-02-01 | 2022-01-21 | 南京云思创智信息科技有限公司 | 基于人脸的非接触式心率测量方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CN106063702A (zh) * | 2016-05-23 | 2016-11-02 | 南昌大学 | 一种基于人脸视频图像的心率检测系统及检测方法 |
| CN107506716A (zh) * | 2017-08-17 | 2017-12-22 | 华东师范大学 | 一种基于视频图像的非接触式实时心率测量方法 |
-
2018
- 2018-11-06 CN CN201811315831.2A patent/CN110084085B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CN106063702A (zh) * | 2016-05-23 | 2016-11-02 | 南昌大学 | 一种基于人脸视频图像的心率检测系统及检测方法 |
| CN107506716A (zh) * | 2017-08-17 | 2017-12-22 | 华东师范大学 | 一种基于视频图像的非接触式实时心率测量方法 |
Non-Patent Citations (4)
| Title |
|---|
| "微光图像检测方法的研究";赵龙飞;《知网》;文献第2.2.2节、2.3节、第4.2节 * |
| "结合过采样技术和锯齿成形函数的微弱信号检测";李刚等;《电子学报》;文献第756-757页 * |
| 李刚等."结合过采样技术和锯齿成形函数的微弱信号检测".《电子学报》.2008,文献第756-757页. * |
| 赵龙飞."微光图像检测方法的研究".《知网》.2017,文献第2.2.2节、2.3节、第4.2节. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110084085A (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084085B (zh) | 基于成形信号的rppg高精度心率检测方法 | |
| Zhang et al. | A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning | |
| US10143377B2 (en) | Single channel imaging measurement of dynamic changes in heart or respiration rate | |
| Benezeth et al. | Remote heart rate variability for emotional state monitoring | |
| CN109259749A (zh) | 一种基于视觉摄像头的非接触式心率测量方法 | |
| Yu et al. | Video-based heart rate measurement using short-time Fourier transform | |
| CN106236049A (zh) | 基于视频图像的血压测量方法 | |
| CN103263271A (zh) | 非接触式自动血氧饱和度测量系统及测量方法 | |
| CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及系统 | |
| CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
| CN110236515A (zh) | 一种基于近红外视频的非接触式心率检测方法 | |
| CN203290905U (zh) | 非接触式自动呼吸测量系统 | |
| CN111260634A (zh) | 一种面部血流分布提取方法与系统 | |
| van Gent et al. | Heart rate analysis for human factors: Development and validation of an open source toolkit for noisy naturalistic heart rate data | |
| CN110710978A (zh) | 一种基于眼动追踪-脑功能活动检测的多模态沉浸式同步采集系统 | |
| CN111839492A (zh) | 一种基于面部视频序列的心率非接触式测量方法 | |
| Yu et al. | Heart rate estimation from facial images using filter bank | |
| CN114903445A (zh) | 一种心脑血管疾病智能监测预警系统 | |
| Hassan et al. | Towards health monitoring in visual surveillance | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography | |
| Khong et al. | Analysis of heart beat rate through video imaging techniques | |
| Sereevoravitgul et al. | A comparative study for heart rate measurement in video sequences | |
| CN113100776A (zh) | 一种融合肌电和心电信号的疲劳监测系统及方法 | |
| Tan et al. | A real-time driver monitoring system using a high sensitivity camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |