CN113892951A - 一种基于hrv理论的心理压力监测系统 - Google Patents
一种基于hrv理论的心理压力监测系统 Download PDFInfo
- Publication number
- CN113892951A CN113892951A CN202010637222.XA CN202010637222A CN113892951A CN 113892951 A CN113892951 A CN 113892951A CN 202010637222 A CN202010637222 A CN 202010637222A CN 113892951 A CN113892951 A CN 113892951A
- Authority
- CN
- China
- Prior art keywords
- hrv
- algorithm
- heart rate
- psychological stress
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 239000008280 blood Substances 0.000 claims abstract description 6
- 210000004369 blood Anatomy 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 14
- 210000000467 autonomic pathway Anatomy 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000001734 parasympathetic effect Effects 0.000 claims description 5
- 230000002889 sympathetic effect Effects 0.000 claims description 5
- 230000002567 autonomic effect Effects 0.000 claims description 4
- 210000003403 autonomic nervous system Anatomy 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 210000003205 muscle Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000029865 regulation of blood pressure Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于HRV理论的心理压力监测系统，其特征在于，包括：录像设备，采集测试对象的高清面部视频，录像设备连接PC，在PC上运行有：人脸识别算法，用于对视频数据中人脸进行面部定位；血容量变化脉冲（BVP）算法，获取面部微血管中血容量变化的BVP信号，并计算出心率和心率变异性（HRV）；心率变异性（HRV）分析算法：对HRV进行时域、频域和非线性计算；心理压力评估算法：将HRV分析结果与标准值进行比较，监测和反映对象的心理压力变化。本发明提供的一种基于HRV理论的心理压力监测系统能够随时随地根据测试对象的面部视频数据，通过多种算法分析，监测测试对象的心理压力变化情况。
Description
技术领域
本发明涉及生物识别、机器视觉和医疗健康领域，也可应用于某些特殊行业，例如公安审讯、纪检委谈话等需要探知对象心理压力变化的业务场景。
背景技术
心率变异性是指窦性心率在一定时间内发生周期性改变，它反映了交感-副交感神经的张力以及平衡的情况。随着心率变异性各项指标标准化，使其成为客观评测心理压力状态的有效手段。但是目前存在的系统主要是采用接触式传感器采集对象的心电信号和心率变异性，对测试对象产生一定的干扰，而且在某些特定场景下不能达到隐蔽式获取心理压力的目标。因此本系统通过录像设备采集对象的面部视频，通过多种算法对视频数据进行处理和计算，非接触式得获取测试对象的心率并计算心率变异性HRV，并根据HRV分析测试对象的心理压力变化，更具备客观性和易用性，同时在隐藏录像设备的前提下，能够实现隐蔽的目的。
发明内容
本发明的主要目的在于提供一种基于HRV理论的心理压力监测系统，能够在录像设备不间断采集对象的面部视频的情况下，对视频流数据进行处理，包括人脸面部定位和对全部面部区域进行血容量变化脉冲信号（BVP）提取，BVP算法继续对BVP信号处理，计算出心率和心率变异性（HRV），HRV分析算法采用时域、频域和非线性分析算法对其进行处理，计算自主神经功能及组成自主神经系统的两大方面（交感和副交感）的平衡程度，继而评估自主神经平衡程度，最后心理压力评估算法将计算结果与标准值进行比较，实时监测对象的心理压力状态、疲劳程度、承受压力程度以及自我调节能力。
为实现上述目的，本发明提供一种基于HRV理论的心理压力监测系统，该系统包括：
人脸识别算法能够采用人脸跟踪算法进行面部定位，将面部分割为人脸的额头和双眼下方与鼻子上方之间的两个区域；针对这两个区域的视频图像三基色（R/G/B）分量容易收到噪声干扰的问题，人脸识别算法采用相干平均法对选定区域内的像素点进行空间平均序列算法，这样在光线发生变化和测试对象面部肌肉活动的情况下，也能够抑制对BVP信号的随机噪声造成的影响和改善BVP信噪比。
BVP算法采用一种基于多路输入的盲源分离方法，基于BVP信号非平稳特征，采用滑动窗方式自动实现视频中BVP信号的定位和提取，根据BVP信号计算出测试对象的心率和心率变异性（HRV）。
HRV分析算法包括时域、频域和非线性分析。
其中时域分析采用统计化处理邻近心搏之间RR（由心动周期的两个相邻R波峰组成的间隔）间期的方法，从采集到的心电信号中提取出主要参数：均值MEANRR(反映RR间期的平均水平)、心率变异标准偏差SDNN（反映RR间期的波动情况）、连续性差异的平方根RMSSD（评价与心脏有关的副交感神经的功能活跃程度），将参数结果进行标准化处理，从而评估自主神经系统活性。
频域分析采用快速傅里叶变换方法，分别评估形成HRV信号的各频率频带强度，掌握自主神经功能及组成自主神经系统的两大方面(交感和副交感)的平衡程度，继而评估自主神经平衡程度。频域参数包括总能量TP 波（反映自主神经活力和ANS调节能力）、高频HF波（RR间期频谱分析中介于 0.15~0.40 Hz，反映血压调节和机制及呼吸活动）和低频LF波（RR间期频谱分析中介于0.04~0.15Hz，反映血压调节和机制及呼吸活动），
非线性分析利用散点图方式给出心脏搏动的直观显示，揭示非线性过程和非周期运动。
心理压力评估算法根据北美和欧洲生理学会制定的心率变异性与人的心理压力负荷关联各项指标的标准值，对HRV各计算参数与标准值进行比较和综合分析，监测对象的心理压力变化。
心理压力显示界面提供人机交互界面，记录测试对象的视频数据，同时以图表的方式实时显示测试对象的心率和心理压力变化，图表包括折线图、柱状图、散点图和仪表盘，最终形成对象的心理压力分析报告。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定,附图1是本发明的系统框图。
具体实施方式
结合图1所示，在下面的实施例中，所述一种基于HRV理论的心理压力监测系统，包括：录像设备、人脸识别算法、BVP算法、HRV分析算法、心理压力评估算法。
录像设备采集对象的面部视频数据流并同步传输至人脸识别模块。
人脸识别算法采用人脸跟踪算法对视频数据流中的人脸进行面部定位，将面部分割为人脸的额头和双眼下方与鼻子上方之间的两个区域；针对这两个区域的视频图像三基色（R/G/B）分量容易收到噪声干扰的问题，人脸识别算法采用相干平均法对选定区域内的像素点进行空间平均序列算法，这样在光线发生变化和测试对象面部肌肉活动的情况下，也能够抑制对BVP信号的随机噪声造成的影响和改善BVP信噪比。
BVP算法采用一种基于多路输入的盲源分离方法，基于BVP信号非平稳特征，采用滑动窗方式自动实现视频中BVP信号的定位和提取，根据BVP信号计算出测试对象的心率和心率变异性（HRV）。
HRV分析算法对心率变异性（HRV）进行包括时域、频域和非线性分析等多种算法，分析流程为：对心电数据采用微分阈值法提取心电信号 RR 间期，获得所需要的时频域分析矩阵；频域分析采用快速傅里叶变换方法，分别评估形成HRV信号的各频率频带强度，掌握自主神经功能及组成自主神经系统的两大方面(交感和副交感)的平衡程度，继而评估自主神经平衡程度。非线性分析利用散点图方式给出心脏搏动的直观显示，揭示非线性过程和非周期运动。
心理压力评估算法将HRV主要参数结果与标准值比较。其中标准值为北美和欧洲生理学会制定的心率变异性与人的心理压力负荷关联各项指标的标准值，其包含指标 TP、HF和LF，TP值减少表示自主神经活力降低，对内外压力抵御的应激能力减弱;LF 值减少表示身体易疲劳;指标HF值减少表示正在承受慢性心理压力、心脏稳定性减弱。最终将根据以上比较结果，在心理压力显示界面上帮助用户监测测试对象的心理压力状态。
心理压力显示界面提供人机交互界面，记录测试对象的视频数据，同时以图表的方式实时显示测试对象的心率和心理压力变化，图表包括折线图、柱状图、散点图和仪表盘，最终形成对象的心理压力分析报告。
虽然本发明利用具体的实施例进行说明，但是对实施例的说明并不限制本发明的范围。本领域内的熟练技术人员通过参考本发明的说明，在不背离本发明的精神和范围的情况下，容易进行各种修改或者可以对实施例进行组合，这些也应视为本发明的保护范围。
Claims (5)
1.一种基于HRV理论的心理压力监测系统，其特征在于，包括：
录像设备，该设备由工业相机和高清镜头组成，能够不间断采集测试对象的面部视频数据流，并且达到每秒43帧。录像设备与PC通过USB3.0相连，直接将视频数据传输至PC,在PC上运行有：
人脸识别算法，用于对视频数据中的人脸进行面部定位；
血容量变化脉冲（BVP）算法，获取面部微血管中血容量变化的BVP信号，并计算出心率和心率变异性；
心率变异性（HRV）分析算法，对HRV进行时域、频域和非线性计算，计算自主神经功能及组成自主神经系统的两大方面（交感和副交感）的平衡程度，继而评估自主神经平衡程度；
心理压力评估算法：将HRV分析结果与标准值进行比较，监测和反映对象的心理压力变化；
心理压力显示界面：在用户界面上显示测试对象的视频数据，同时以多种图表方式显示心率和心理压力变化，图表包括折线图、柱状图、散点图和仪表盘。
2.根据权利要求1所述的一种基于HRV理论的心理压力监测系统，其特征在于，所述人脸识别算法能够采用人脸跟踪算法进行面部定位，将面部分割为人脸的额头和双眼下方与鼻子上方之间的两个区域，并采用相干平均法对选定区域内的像素点进行空间平均算法，这样在光线发生变化和测试对象面部肌肉活动的情况下，也能够抑制对BVP信号的随机噪声造成的影响和改善BVP信噪比。
3.根据权利要求1所述的一种基于HRV理论的心理压力监测系统，其特征在于，所述血容量变化脉冲（BVP）算法采用一种基于多路输入的盲源分离方法，并采用滑动窗方式自动实现视频中BVP信号的定位和提取，根据BVP信号计算出测试对象的心率和心率变异性（HRV）。
4.根据权利要求1所述的一种基于HRV理论的心理压力监测系统，其特征在于，所述心率变异性（HRV）分析算法采用时域、频域和非线性分析算法对心率变异性（HRV）数据进行计算，获取自主神经功能及组成自主神经系统的两大方面（交感和副交感）的平衡程度，继而评估自主神经平衡程度。
5.根据权利要求1所述的一种基于HRV理论的心理压力监测系统，其特征在于，所述心理压力评估算法将HRV分析结果数据与标准值进行比较，实时监测对象的心理压力状态、疲劳程度、承受压力程度以及自我调节能力，其中标准值来源于北美和欧洲生理学会制定的心率变异性与人的心理压力负荷关联各项指标的标准值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010637222.XA CN113892951A (zh) | 2020-07-05 | 2020-07-05 | 一种基于hrv理论的心理压力监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010637222.XA CN113892951A (zh) | 2020-07-05 | 2020-07-05 | 一种基于hrv理论的心理压力监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113892951A true CN113892951A (zh) | 2022-01-07 |
Family
ID=79186735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010637222.XA Pending CN113892951A (zh) | 2020-07-05 | 2020-07-05 | 一种基于hrv理论的心理压力监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113892951A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115120240A (zh) * | 2022-08-30 | 2022-09-30 | 山东心法科技有限公司 | 特殊行业目标感知技能的敏感性评估方法、设备及介质 |
-
2020
- 2020-07-05 CN CN202010637222.XA patent/CN113892951A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115120240A (zh) * | 2022-08-30 | 2022-09-30 | 山东心法科技有限公司 | 特殊行业目标感知技能的敏感性评估方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100493714B1 (ko) | 자율신경 검사장치 | |
| AU2009222024B2 (en) | Field-deployable concussion detector | |
| US20140171820A1 (en) | Method and apparatus for automatic evoked potentials assessment | |
| US20220148728A1 (en) | System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein | |
| CN114781465B (zh) | 一种基于rPPG的非接触式疲劳检测系统及方法 | |
| KR20180001367A (ko) | 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 | |
| Blöcher et al. | An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection | |
| Parnandi et al. | Contactless measurement of heart rate variability from pupillary fluctuations | |
| US20180279935A1 (en) | Method and system for detecting frequency domain cardiac information by using pupillary response | |
| Okada et al. | Monitoring emotion by remote measurement of physiological signals using an RGB camera | |
| KR102482796B1 (ko) | 원격 광용적맥파 측정을 이용한 비접촉 심박 변이도 분석 장치 및 방법 | |
| Fiedler et al. | Fusion-based approach for respiratory rate recognition from facial video images | |
| Park et al. | Non-contact measurement of heart response reflected in human eye | |
| Mitsuhashi et al. | Video-based stress level measurement using imaging photoplethysmography | |
| CN108451494B (zh) | 使用瞳孔反应来检测时域心脏参数的方法及系统 | |
| JP2021146061A (ja) | 生体情報取得装置、生体情報取得方法及びプログラム | |
| KR101996027B1 (ko) | 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치 | |
| CN116434959A (zh) | 一种基于手机摄像头的人体疲劳度监测系统 | |
| Zeng et al. | Infrared video based non-invasive heart rate measurement | |
| CN113892951A (zh) | 一种基于hrv理论的心理压力监测系统 | |
| Nagasawa et al. | Stress estimation using multimodal biosignal information from RGB facial video | |
| CN117218698A (zh) | 一种心理压力识别方法、装置、计算机设备及存储介质 | |
| Kyal et al. | A method to detect cardiac arrhythmias with a webcam | |
| Zhang et al. | Sleep/wake classification via remote PPG signals | |
| CN114743236A (zh) | 智能审讯研判方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220107 |