CN111714144A - 基于视频非接触测量的精神压力分析方法 - Google Patents

基于视频非接触测量的精神压力分析方法 Download PDF

Info

Publication number
CN111714144A
CN111714144A CN202010722059.7A CN202010722059A CN111714144A CN 111714144 A CN111714144 A CN 111714144A CN 202010722059 A CN202010722059 A CN 202010722059A CN 111714144 A CN111714144 A CN 111714144A
Authority
CN
China
Prior art keywords
video
signal
calculating
face
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010722059.7A
Other languages
English (en)
Inventor
李炳霖
嵇晓强
牛裕茸
刘振瑶
邵望舒
王美娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202010722059.7A priority Critical patent/CN111714144A/zh
Publication of CN111714144A publication Critical patent/CN111714144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising

Abstract

基于视频非接触测量的精神压力分析方法属于精神压力测评技术领域，目的在于解决现有技术存在的舒适性差以及测量准确性差的问题。本发明的基于视频非接触测量的精神压力分析方法具体为：首先，通过视频图像采集模块采集人脸面部视频；其次，通过图像预处理模块根据人脸面部视频获取视频帧图片，识别人脸去除环境背景干扰，采用皮肤提取和多个面部感兴趣区域(ROI)的方法提取面部ROI；再次，通过IPPG信号提取及处理模块进行通道转换得到脉率信号的原始信号，再通过去噪、平滑预处理得到IPPG信号；然后，通过特征值提取模块提取IPPG信号RR间期，并进行HRV分析得到心率与时域频域特征指标；最后，通过精神压力评估模块基于机器学习完成精神压力的快速评估。

Description

基于视频非接触测量的精神压力分析方法
技术领域
本发明属于精神压力测评技术领域，具体涉及一种基于视频非接触测量的精神压力分析方法。
背景技术
心理压力会影响人们的工作效率与生活质量，同时也是高血压、心肌梗死、焦虑抑郁障碍等疾病形成的主要原因。因此可以给出客观的心理干预尤为必要。现有技术中，心理压力的衡量通常是两种形式，一种是基于自我报告形式的问卷或量表测量，报告问卷形式过于主观，难以给出医生更为科学合理的评估建议。另一种是生理角度的测量，其中最为主要的就是心血管反应测量。目前测量心血管反应使用最为广泛的是心电描记法(electrocardiography，ECG)和光电容积描记法(photoplethysmograph，PPG)，这两种测量均需要在专业人员的指导下，需要借助相关的仪器来完成测量，仪器不便于携带，且接触式测量可能会导致患者皮肤的刺激与不适。接触式仪器与医护人员的专业操作很有可能会引起受试者内心的恐慌，从而影响精神压力测量的结果。
公开号为CN106419937A的中国专利公开了一项发明名称为基于心音HRV理论的精神压力分析系统，该系统通过心音信号采集模块采集心音信号，并通过无线通信模块与PC端连接实现数据传输，通过自适应算法得到HRV的时域频域指标进行压力分析，但实验设备为接触式测量采集，不便于远程居家测量，需要在专业人员的操作下完成，设备采集会造成患者心理恐慌情绪，从而影响测量结果的准确性。
公开号为CN104755020A的中国专利公开了一项发明名称为精神压力测量系统，该系统提出三种心率检测通过闹钟刺激测量精神压力的方法，将闹钟与PPG传感器、ECG传感器、远程PPG生命指征相机结合，通过心率反应精神压力的情况。但是只采用心率作为衡量心理压力状态的指标显然过于单一，且个人心率高低不同、判定标准不易于同一化。
公开号为CN107913075A的中国专利公开了一项发明名称为一种基于多参数的精神压力评估装置及其评估方法，该方法采用九标度法、三标度法判断矩阵的方法得到精神压力评估体系的权重，根据权重构建出精神压力的公式。但判断矩阵需要人为规定，这需要大量的前期数据参考，且存在一定的偏差，会造成最终测量结果的不准确。
发明内容
本发明的目的在于提出一种基于视频非接触测量的精神压力分析方法，解决现有技术存在的舒适性差以及测量准确性差的问题。
为实现上述目的，本发明的基于视频非接触测量的精神压力分析方法具体为：首先，通过视频图像采集模块采集人脸面部视频；其次，通过图像预处理模块根据人脸面部视频获取视频帧图片，识别人脸去除环境背景干扰，采用皮肤提取和多个面部感兴趣区域(ROI)的方法提取面部ROI；再次，通过IPPG信号提取及处理模块进行通道转换得到脉率信号的原始信号，再通过去噪、平滑预处理得到IPPG信号；然后，通过特征值提取模块提取IPPG信号RR间期，并进行HRV分析得到心率与时域频域特征指标；最后，通过精神压力评估模块基于机器学习完成精神压力的快速评估。
所述通过视频图像采集模块采集人脸面部视频具体步骤为：设定视频图像采集模块的帧频以及采集时长，对人脸进行拍摄，拍摄时，人体静坐于安静室内，保证光线充足，眼睛直视视频图像采集模块，视频图像采集模块将采集的人脸视频至上位机。
所述图像预处理模块内具体处理步骤为：
1)获取视频图像采集模块采集的视频的多个帧图片；
2)对步骤1)中获得的每个帧图片进行基于Haar+adaboost的人脸检测；
3)提取检测到的人脸区域；
4)对步骤3)中获得的人脸区域采用两种手段进行人脸ROI提取，得到两种情况的ROI；
两种情况的ROI具体为：
一种情况：将步骤3)得到的人脸区域RGB图片转换至YCrCb空间，设置Cr、Cb的阈值将图片转化为二值图片，去除五官及头发的影响，提取面部皮肤，得到一种情况的ROI；
另一种情况：对步骤3)得到的人脸区域选定多个光滑的皮肤区域，将多个皮肤区域作为第二种情况的ROI。
所述IPPG信号提取及处理模块中具体处理步骤为：
1)将图像预处理模块中步骤3)获得的人脸区域的人脸图片由RGB空间转换至CIEXYZ颜色空间，再由CIE XYZ空间计算得到LUV颜色空间；
2)提取U通道图像；
3)结合图像预处理模块中步骤4)中的两种ROI，以像素点的变化曲线图作为脉率信号的原始信号；
4)对脉率信号的原始信号进行预处理得到IPPG信号。
步骤3)所述的以像素点的变化曲线图作为脉率信号的原始信号具体为：
1)结合图像预处理模块中步骤4)得到的一种情况的ROI，将皮肤二值图片与步骤2得到的U通道图像进行与运算，得到只含有皮肤信息的U通道图像，计算各图像的像素点均值；以像素点均值的变化曲线图作为一种情况的脉率信号；
结合图像预处理模块中步骤4)得到的另一种情况的ROI，将步骤2)中得到的U通道图片选定多个光滑皮肤区域，计算各图像的多个区域的像素点均值；以像素点均值的变化曲线图作为另一种情况的脉率信号；
2)比较两种情况的脉率信号的原始波形，选择噪声小的一组，作为脉率信号的原始信号。
所述的对脉率信号的原始信号进行预处理具体包括：
1)采用小波变换对脉率信号的原始信号进行预处理，得到重构后的脉搏波信号；
2)采用5点滑动平均滤波对脉搏波信号进行平滑处理；
3)采用三次样条函数进行插值，得到IPPG信号。
所述的特征值提取模块中具体步骤为：
1)对IPPG信号提取及处理模块得到的IPPG信号定位峰值点，进行峰值点提取；
2)将得到定位峰值点后的波形，计算相邻峰值点间的时间间隔，计算RR间期；
3)基于RR间期分析计算获得人体心率、时域特征值以及频域特征值。
步骤3)中分析计算获得人体心率具体为：对于心率整齐的患者与心率不整齐的患者分别计算心率，通过计算RR间期相互间的差值是否大于0.12s判断心率是否整齐，若否，则判断心率整齐，采用公式(1)计算，若是，则判断心率不整齐，采用公式(2)计算；
HR＝60÷RR间期 (1)
HR＝10sRR间期×6 (2)。
步骤3)中分析计算获得时域特征值以及频域特征值具体为：
HRV时域分析采用得到的RR间期，通过计算得到时域特征值，时域特征值包括测量期间平均RR间期的标准差、相邻RR间期差值的均方根以及相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；
采用公式(3)计算测量期间全部RR间期的平均值；采用公式(4)计算SDNN即测量期间平均RR间期的标准差；采用公式(5)计算RMSSD即相邻RR间期差值的均方根；采用公式(6)计算PNN50即相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；其中N为测量期间心搏总数，RRi是第i个RR间期，RRi+1是第i+1个RR间期，meanRR是N个心搏的RR间期的平均值；
Figure BDA0002600386370000041
Figure BDA0002600386370000042
Figure BDA0002600386370000043
Figure BDA0002600386370000044
HRV频域分析以RR间期为基础，基于快速傅里叶变换，对LF和HF段信号分别计算能量值，再求得LF/HF比值，作为频域特征值。
所述的精神压力评估模块中的具体步骤为：
1)将数据分成整体训练集、整体测试集数据；数据包含特征值提取模块中的心率、时域特征值和频域特征值以及实际的精神压力值；
2)将步骤1)中的整体训练集分为三组数据，整体训练集三组数据中，轮流将其中两组做训练集另一份作为确认集，训练模型，计算模型在确认集上的误差，得到三个误差值，将三个误差值取均值得到模型的平均误差；
3)重复步骤2)，计算不同模型的平均误差，最终比较平均误差，将平均误差较小的选定作为最终的回归模型；
4)采用整体测试集测试回归模型，输出压力估计值，计算实际的精神压力值与输出压力估计值的差值，得到测量误差；
5)判断测量误差是否在标定值范围内，若在，则输出的压力估计值作为测量值，若不在，则重复步骤2)和步骤4)，直到测量误差在标定值范围内。所述视频图像采集模块为摄像头。
本发明的有益效果为：本发明的基于视频非接触测量的精神压力分析方法通过基于手机摄像头拍摄人脸视频，进行视频图片预处理，通过ROI选取与通道转换，信号预处理得到IPPG信号，提取信号RR间期计算心率与HRV分析提取时域、频域特征值，基于机器学习评估人体精神压力。本发明设备简单，操作简便，成本低，能够实现远程居家测量患者的心率以及心率变异性指标，得到精神压力值，将其应用于心理学、精神卫生医学领域，可以作为专业心理学以及心理健康研究分析工具，为研究人员提供客观专业的分析与辅助评估。
本发明自行采集脸部视频评估实时压力，避免复杂的设备操作，提高测量的便利性与舒适度，并减少由于环境和仪器带来的心理恐慌。
附图说明
图1为本发明的基于视频非接触测量的精神压力分析方法总体流程图；
图2为本发明的图像预处理模块流程图；
图3为本发明IPPG信号提取及处理模块流程图；
图4为本发明特征值提取模块流程图；
图5为本发明精神压力评估模块流程图。
具体实施方式
下面结合附图对本发明的实施方式作进一步说明。
参见附图1-附图5，本发明的基于视频非接触测量的精神压力分析方法具体为：首先，通过视频图像采集模块采集自然光条件下人脸面部视频；其次，通过图像预处理模块根据人脸面部视频获取视频帧图片，识别人脸去除环境背景干扰，采用皮肤提取和多个面部感兴趣区域(ROI)取均值的方法提取面部ROI；再次，通过IPPG信号提取及处理模块进行通道转换得到脉率信号的原始信号，再通过去噪、平滑预处理得到IPPG信号；然后，通过特征值提取模块提取IPPG信号RR间期，并进行HRV分析得到心率与时域频域特征指标；最后，通过精神压力评估模块基于机器学习完成精神压力的快速评估。
所述通过视频图像采集模块采集自然光条件下人脸面部视频具体步骤为：设定视频图像采集模块的帧频以及采集时长，对人脸进行拍摄，拍摄时，人体静坐于安静室内，保证光线充足，眼睛直视视频图像采集模块，视频图像采集模块将采集的人脸视频至上位机。
所述图像预处理模块内具体处理步骤为：
1)获取视频图像采集模块采集的视频的多个帧图片；
2)对步骤1)中获得的每个帧图片进行基于Haar+adaboost的人脸检测；
3)提取检测到的人脸区域；
4)对步骤3)中获得的人脸区域采用两种手段进行人脸ROI提取，得到两种情况的ROI；
两种情况的ROI具体为：
一种情况：将步骤3)得到的人脸区域RGB图片转换至YCrCb空间，设置Cr、Cb的阈值将图片转化为二值图片，去除五官及头发的影响，提取面部皮肤，得到一种情况的ROI；
另一种情况：对步骤3)得到的人脸区域选定多个光滑的皮肤区域，将多个皮肤区域作为第二种情况的ROI。
所述IPPG信号提取及处理模块中具体处理步骤为：
1)将图像预处理模块中步骤3)获得的人脸区域的人脸图片由RGB空间转换至CIEXYZ颜色空间，再由CIE XYZ空间计算得到LUV颜色空间；
2)提取U通道图像；含氧和脱氧血红蛋白的吸收系数在540和577nm之间，对应于绿色/黄色波长，提取U通道时，U代表红色到绿色指示，提取到的IPPG信息会更有效；
3)结合图像预处理模块中步骤4)中的两种ROI，以像素点的变化曲线图作为脉率信号的原始信号；
4)对脉率信号的原始信号进行预处理得到IPPG信号。
步骤3)所述的以像素点的变化曲线图作为脉率信号的原始信号具体为：
1)结合图像预处理模块中步骤4)得到的一种情况的ROI，将皮肤二值图片与步骤2得到的U通道图像进行与运算，得到只含有皮肤信息的U通道图像，计算各图像的像素点均值；以像素点均值的变化曲线图作为一种情况的脉率信号；
结合图像预处理模块中步骤4)得到的另一种情况的ROI，将步骤2)中得到的U通道图片选定多个光滑皮肤区域，计算各图像的多个区域的像素点均值；以像素点均值的变化曲线图作为另一种情况的脉率信号；
2)比较两种情况的脉率信号的原始波形，选择噪声小的一组，作为脉率信号的原始信号。
所述的对脉率信号的原始信号进行预处理具体包括：
1)采用小波变换对脉率信号的原始信号进行预处理，结合摄像头的帧频以及脉搏波的频率(0.5-2Hz)，选取适合的分解层数，得到重构后的脉搏波信号；
2)采用5点滑动平均滤波对脉搏波信号进行平滑处理；
3)采用三次样条函数进行插值，得到更加精确的峰值点检测结果，得到IPPG信号。
所述的特征值提取模块中具体步骤为：
1)对IPPG信号提取及处理模块得到的IPPG信号定位峰值点，进行峰值点提取；
2)将得到定位峰值点后的波形，计算相邻峰值点间的时间间隔，计算RR间期；
3)基于RR间期分析计算获得人体心率、时域特征值以及频域特征值。
步骤3)中分析计算获得人体心率具体为：对于心率整齐的患者与心率不整齐的患者分别计算心率，通过计算RR间期相互间的差值是否大于0.12s判断心率是否整齐，若否，则判断心率整齐，采用公式(1)计算，若是，则判断心率不整齐，采用公式(2)计算；
HR＝60÷RR间期 (1)
HR＝10sRR间期×6 (2)。
步骤3)中分析计算获得时域特征值以及频域特征值具体为：
HRV时域分析采用得到的RR间期，通过计算得到时域特征值，时域特征值包括测量期间平均RR间期的标准差、相邻RR间期差值的均方根以及相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；
采用公式(3)计算测量期间全部RR间期的平均值；采用公式(4)计算SDNN即测量期间平均RR间期的标准差；采用公式(5)计算RMSSD即相邻RR间期差值的均方根；采用公式(6)计算PNN50即相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；其中N为测量期间心搏总数，RRi是第i个RR间期，RRi+1是第i+1个RR间期，meanRR是N个心搏的RR间期的平均值；
Figure BDA0002600386370000081
Figure BDA0002600386370000082
Figure BDA0002600386370000083
Figure BDA0002600386370000084
HRV频域分析以RR间期为基础，基于快速傅里叶变换，对LF和HF段信号分别计算能量值，再求得LF/HF比值，作为频域特征值，HRV的频域指标如表1所示。
表1
Figure BDA0002600386370000091
所述的精神压力评估模块中的具体步骤为：
1)将数据分成整体训练集、整体测试集数据；数据包含特征值提取模块中的心率、时域特征值和频域特征值以及实际的精神压力值，所述的实际的精神压力值为专业医院心理科给出的精神压力评估状态结果；
2)将步骤1)中的整体训练集分为三组数据，整体训练集三组数据中，轮流将其中两份做训练集另一份作为确认集，即在整体训练集中再分为模型训练集、模型训练集和模型确认集三组数据，采用整体训练集训练回归模型；采用梯度下降法使得损失函数最小，首先随机给出一个初始位置，然后计算每个参数的偏微分，设定学习率，每次进一步，直到算法收敛到最小；由此得到模型参数；计算模型在模型确认集上的误差，可以得到三个误差值，将三个误差值取均值得到模型的平均误差；
3)重复步骤2)，计算不同模型的平均误差，最终比较平均误差，将平均误差较小的选定作为最终的回归模型；
4)采用整体测试集测试回归模型，输出压力估计值，计算实际的精神压力值与输出压力估计值的差值，得到测量误差；
5)判断测量误差是否在标定值范围内，若在，则输出的压力估计值作为测量值，若不在，则重复步骤2)和步骤4)，直到测量误差在标定值范围内。本实施例的标定值为[0-20]，每间隔20为一个压力状态判定，超出标定值20范围视为压力状态判定不合理，精神压力数值与实际不准确。
所述视频图像采集模块为摄像头。所述摄像头为手机摄像头或电脑摄像头。

Claims (10)

1.基于视频非接触测量的精神压力分析方法，其特征在于，具体步骤为：首先，通过视频图像采集模块采集人脸面部视频；其次，通过图像预处理模块根据人脸面部视频获取视频帧图片，识别人脸去除环境背景干扰，采用皮肤提取和多个面部感兴趣区域的方法提取面部ROI；再次，通过IPPG信号提取及处理模块进行通道转换得到脉率信号的原始信号，再通过去噪、平滑预处理得到IPPG信号；然后，通过特征值提取模块提取IPPG信号RR间期，并进行HRV分析得到心率与时域频域特征指标；最后，通过精神压力评估模块基于机器学习完成精神压力的评估。
2.根据权利要求1所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述通过视频图像采集模块采集人脸面部视频具体步骤为：设定视频图像采集模块的帧频以及采集时长，对人脸进行拍摄，拍摄时，人体静坐于安静室内，保证光线充足，眼睛直视视频图像采集模块，视频图像采集模块将采集的人脸视频至上位机。
3.根据权利要求1或2所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述图像预处理模块内具体处理步骤为：
1)获取视频图像采集模块采集的视频的多个帧图片；
2)对步骤1)中获得的每个帧图片进行基于Haar+adaboost的人脸检测；
3)提取检测到的人脸区域；
4)对步骤3)中获得的人脸区域采用两种手段进行人脸ROI提取，得到两种情况的ROI；
两种情况的ROI具体为：
一种情况：将步骤3)得到的人脸区域RGB图片转换至YCrCb空间，设置Cr、Cb的阈值将图片转化为二值图片，去除五官及头发的影响，提取面部皮肤，得到一种情况的ROI；
另一种情况：对步骤3)得到的人脸区域选定多个光滑的皮肤区域，将多个皮肤区域作为第二种情况的ROI。
4.根据权利要求3所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述IPPG信号提取及处理模块中具体处理步骤为：
1)将图像预处理模块中步骤3)获得的人脸区域的人脸图片由RGB空间转换至CIE XYZ颜色空间，再由CIE XYZ空间计算得到LUV颜色空间；
2)提取U通道图像；
3)结合图像预处理模块中步骤4)中的两种ROI，以像素点的变化曲线图作为脉率信号的原始信号；
4)对脉率信号的原始信号进行预处理得到IPPG信号。
5.根据权利要求4所述的基于视频非接触测量的精神压力分析方法，其特征在于，步骤3)所述的以像素点的变化曲线图作为脉率信号的原始信号具体为：
1)结合图像预处理模块中步骤4)得到的一种情况的ROI，将皮肤二值图片与步骤2得到的U通道图像进行与运算，得到只含有皮肤信息的U通道图像，计算各图像的像素点均值；以像素点均值的变化曲线图作为一种情况的脉率信号；
结合图像预处理模块中步骤4)得到的另一种情况的ROI，将步骤2)中得到的U通道图片选定多个光滑皮肤区域，计算各图像的多个区域的像素点均值；以像素点均值的变化曲线图作为另一种情况的脉率信号；
2)比较两种情况的脉率信号的原始波形，选择噪声小的一组，作为脉率信号的原始信号。
6.根据权利要求4所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述的对脉率信号的原始信号进行预处理具体包括：
1)采用小波变换对脉率信号的原始信号进行预处理，得到重构后的脉搏波信号；
2)采用5点滑动平均滤波对脉搏波信号进行平滑处理；
3)采用三次样条函数进行插值，得到IPPG信号。
7.根据权利要求4所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述的特征值提取模块中具体步骤为：
1)对IPPG信号提取及处理模块得到的IPPG信号定位峰值点，进行峰值点定位；
2)得到定位峰值点后的波形，计算相邻峰值点间的时间间隔，获得RR间期；
3)基于RR间期分析计算获得人体心率、时域特征值以及频域特征值。
8.根据权利要求7所述的基于视频非接触测量的精神压力分析方法，其特征在于，步骤3)中分析计算获得人体心率具体为：对于心率整齐的患者与心率不整齐的患者分别计算心率，通过计算RR间期相互间的差值是否大于0.12s判断心率是否整齐，若否，则判断心率整齐，采用公式(1)计算，若是，则判断心率不整齐，采用公式(2)计算；
HR＝60÷RR间期 (1)
HR＝10sRR间期×6 (2)。
9.根据权利要求7所述的基于视频非接触测量的精神压力分析方法，其特征在于，步骤3)中分析计算获得时域特征值以及频域特征值具体为：
HRV时域分析采用得到的RR间期，通过计算得到时域特征值，时域特征值包括测量期间平均RR间期的标准差、相邻RR间期差值的均方根以及相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；
采用公式(3)计算测量期间全部RR间期的平均值；采用公式(4)计算SDNN即测量期间平均RR间期的标准差；采用公式(5)计算RMSSD即相邻RR间期差值的均方根；采用公式(6)计算PNN50即相邻RR间期大于50ms的个数占测量期间RR间期总数的比例；其中N为测量期间心搏总数，RRi是第i个RR间期，RRi+1是第i+1个RR间期，meanRR是N个心搏的RR间期的平均值；
Figure FDA0002600386360000031
Figure FDA0002600386360000032
Figure FDA0002600386360000041
Figure FDA0002600386360000042
HRV频域分析以RR间期为基础，基于快速傅里叶变换，对LF和HF段信号分别计算能量值，再求得LF/HF比值，作为频域特征值。
10.根据权利要求7所述的基于视频非接触测量的精神压力分析方法，其特征在于，所述的精神压力评估模块中的具体步骤为：
1)将数据分成整体训练集、整体测试集数据；数据包含特征值提取模块中的心率、时域特征值和频域特征值以及实际的精神压力值；
2)将步骤1)中的整体训练集分为三组数据，整体训练集三组数据中，轮流将其中两组做训练集另一份作为确认集，训练模型，计算模型在确认集上的误差，得到三个误差值，将三个误差值取均值得到模型的平均误差；
3)重复步骤2)，计算不同模型的平均误差，最终比较平均误差，将平均误差较小的选定作为最终的回归模型；
4)采用整体测试集测试回归模型，输出压力估计值，计算实际的精神压力值与输出压力估计值的差值，得到测量误差；
5)判断测量误差是否在标定值范围内，若在，则输出的压力估计值作为测量值，若不在，则重复步骤2)和步骤4)，直到测量误差在标定值范围内。
CN202010722059.7A 2020-07-24 2020-07-24 基于视频非接触测量的精神压力分析方法 Pending CN111714144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722059.7A CN111714144A (zh) 2020-07-24 2020-07-24 基于视频非接触测量的精神压力分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722059.7A CN111714144A (zh) 2020-07-24 2020-07-24 基于视频非接触测量的精神压力分析方法

Publications (1)

Publication Number Publication Date
CN111714144A true CN111714144A (zh) 2020-09-29

Family

ID=72573466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722059.7A Pending CN111714144A (zh) 2020-07-24 2020-07-24 基于视频非接触测量的精神压力分析方法

Country Status (1)

Country Link
CN (1) CN111714144A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370057A (zh) * 2020-11-09 2021-02-19 平安科技（深圳）有限公司 压力评估方法、装置、计算机设备和存储介质
CN112597949A (zh) * 2020-12-29 2021-04-02 清华大学 一种基于视频的心理压力测量方法及其系统
CN113229790A (zh) * 2021-05-17 2021-08-10 浙江大学 非接触式精神应激评估系统
CN113397519A (zh) * 2021-08-05 2021-09-17 季华实验室 心血管健康状态的检测装置
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
CN114271800A (zh) * 2021-12-01 2022-04-05 西北工业大学 一种办公环境下的非侵扰式连续血压监测方法及应用
CN116889388A (zh) * 2023-09-11 2023-10-17 长春理工大学 一种基于rPPG技术的智能检测系统及方法
CN117281516A (zh) * 2023-11-24 2023-12-26 吾征智能技术(北京)有限公司 精神压力监测系统、方法、介质及设备
WO2023246182A1 (zh) * 2022-06-20 2023-12-28 华中师范大学 一种基于rPPG的非接触式疲劳检测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105193431A (zh) * 2015-09-02 2015-12-30 杨静 一种人体精神压力状态分析装置
CN106137226A (zh) * 2016-07-29 2016-11-23 华南理工大学 一种基于心源性呼吸信号的精神压力评估方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105193431A (zh) * 2015-09-02 2015-12-30 杨静 一种人体精神压力状态分析装置
CN106137226A (zh) * 2016-07-29 2016-11-23 华南理工大学 一种基于心源性呼吸信号的精神压力评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUANG YANG: "Effect of defocus blur on the signal distribution of camera-based remote photoplethysmography", 《PROCEEDINGS OF SPIE》 *
王映丽: "基于人脸视频的心率特征提取方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370057A (zh) * 2020-11-09 2021-02-19 平安科技（深圳）有限公司 压力评估方法、装置、计算机设备和存储介质
CN112597949A (zh) * 2020-12-29 2021-04-02 清华大学 一种基于视频的心理压力测量方法及其系统
CN113229790A (zh) * 2021-05-17 2021-08-10 浙江大学 非接触式精神应激评估系统
CN113397519A (zh) * 2021-08-05 2021-09-17 季华实验室 心血管健康状态的检测装置
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
CN113657345B (zh) * 2021-08-31 2023-09-15 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
CN114271800A (zh) * 2021-12-01 2022-04-05 西北工业大学 一种办公环境下的非侵扰式连续血压监测方法及应用
WO2023246182A1 (zh) * 2022-06-20 2023-12-28 华中师范大学 一种基于rPPG的非接触式疲劳检测系统及方法
CN116889388A (zh) * 2023-09-11 2023-10-17 长春理工大学 一种基于rPPG技术的智能检测系统及方法
CN116889388B (zh) * 2023-09-11 2023-11-17 长春理工大学 一种基于rPPG技术的智能检测系统及方法
CN117281516A (zh) * 2023-11-24 2023-12-26 吾征智能技术(北京)有限公司 精神压力监测系统、方法、介质及设备

Similar Documents

Publication Publication Date Title
CN111714144A (zh) 基于视频非接触测量的精神压力分析方法
US7025729B2 (en) Apparatus for detecting sleep apnea using electrocardiogram signals
WO2019161609A1 (zh) 多参数监护数据分析方法和多参数监护仪
WO2017024457A1 (zh) 连续血压测量装置、测量模型建立方法和系统
WO2019161608A1 (zh) 多参数监护数据分析方法和多参数监护系统
EP1284645A2 (en) System and device for multi-scale analysis and representation of electrocardiographic data
WO2005036455A2 (en) Method for displaying spectral trends in complex signals
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
US20240081705A1 (en) Non-contact fatigue detection system and method based on rppg
CN112890792A (zh) 一种基于网络摄像头的云计算心血管健康监护系统及方法
CN112788200B (zh) 频谱信息的确定方法及装置、存储介质、电子装置
CN112294272A (zh) 监护仪及其不规则脉率识别方法
CN111714088B (zh) 基于中医原理的人体特征指标检测方法和系统
CN109044275B (zh) 基于模糊推论系统的非侵入感测睡眠质量分析系统与方法
CN115299899A (zh) 基于多传感器的活动识别与逐搏血压监测分析预警系统
CN111839488A (zh) 基于脉搏波的无创连续血压测量装置和方法
WO2022063047A1 (zh) 一种基于光电容积脉搏波的无创糖尿病预测系统及方法
Madhav et al. Use of multi scale PCA for extraction of respiratory activity from photoplethysmographic signals
WO2021016892A1 (zh) 规则性评价信息的分析方法、监护设备及监护系统
Zhang et al. Development of a Continuous Blood Pressure Monitoring System based on Pulse Transit Time and Hemodynamic Covariates.
CN116434959A (zh) 一种基于手机摄像头的人体疲劳度监测系统
CN114587310A (zh) 一种基于光电容积脉搏波实现有创血压波形估计的方法
CN113425282A (zh) 基于多光谱ppg盲源分离法的呼吸率监测方法及装置
TWI783904B (zh) 非接觸式生理訊號量測方法與設備
CN112294269A (zh) 节律规则性提示方法、显示方法、监护设备及监护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination