CN114781465B - 一种基于rPPG的非接触式疲劳检测系统及方法 - Google Patents

一种基于rPPG的非接触式疲劳检测系统及方法 Download PDF

Info

Publication number
CN114781465B
CN114781465B CN202210695576.9A CN202210695576A CN114781465B CN 114781465 B CN114781465 B CN 114781465B CN 202210695576 A CN202210695576 A CN 202210695576A CN 114781465 B CN114781465 B CN 114781465B
Authority
CN
China
Prior art keywords
heart rate
respiration
image
frequency
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210695576.9A
Other languages
English (en)
Other versions
CN114781465A (zh
Inventor
赵亮
刘三女牙
杨宗凯
朱晓亮
孙建文
李卿
耿若男
戴志诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202210695576.9A priority Critical patent/CN114781465B/zh
Publication of CN114781465A publication Critical patent/CN114781465A/zh
Application granted granted Critical
Publication of CN114781465B publication Critical patent/CN114781465B/zh
Priority to PCT/CN2023/080828 priority patent/WO2023246182A1/zh
Priority to US18/511,919 priority patent/US20240081705A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，该系统及方法采用多线程同步通讯，针对实时检测需求，基于python threading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上，实现rPPG原始信号提取，消除人脸内外环境噪声的干扰；其次，通过自适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上，实现高精度的疲劳分类。

Description

一种基于rPPG的非接触式疲劳检测系统及方法
技术领域
本发明属于信息技术领域，更具体地，涉及一种基于远程光电容积描记术（remotephoto plethysmo graphy, rPPG）的非接触式疲劳检测系统及方法。
背景技术
疲劳作为一种情绪状态对人们的日常生活和学习起着举足轻重的作用。例如：驾驶疲劳会显著提高交通事故的发生概率，过度疲劳会严重影响身心健康等。以学习情景为例，疲劳不仅会显著降低学习效率，还会引起注意力涣散、思维迟钝、记忆衰退、情绪躁动、厌烦易怒等症状，这些症状对学习者的生理、心理和认知都将造成一定的负面影响。当前，疲劳状态检测已经成为一大研究热点，在学术圈和工业界引起了广泛关注。
以往疲劳检测大多基于传统视频分析，如利用眨眼率、打哈欠、打盹、人脸表情等检测疲劳状态。得益于视频检测技术的飞速发展，基于视频的疲劳检测精度不断提高。但是，该方法也具有显著缺陷，诸多因素均可导致检测结果出现偏差：①被试伪装（伪装自己的真实状态，如：假装闭眼、打哈欠、打盹以及表情伪装等）；②人脸生理特征差异（如：个体眼睛大小差异等）；③光线变化（如：光线昏暗、光照不均等）。此外，传统视频分析方法一般只能在被试进入相对深度的疲劳状态时（如：困得闭眼、打哈欠、打盹等）才能检测到疲劳状态。也就是说，一方面，该方法无法有效及时地检测早期疲劳状态；另一方面，进入相对深度疲劳状态后，打哈欠等症状所可能引发的头部偏转等问题，将进一步增加人脸跟踪及其疲劳检测的难度，从而导致测量误差。因此，基于传统视频分析的疲劳检测方法，其可靠性和鲁棒性相对较差。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于rPPG的非接触式疲劳检测系统及方法，旨在解决基于传统视频分析的疲劳检测方法，其可靠性和鲁棒性相对较差的问题。
为实现上述目的，第一方面，本发明提供了一种基于rPPG的非接触式疲劳检测方法，包括如下步骤：
确定人脸的图像视频；
对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
在一个可选的示例中，所述rPPG原始信号具体通过如下步骤获取：
确定人脸图像视频中的每一帧图像，并对每一帧图像进行人脸检测、人脸对齐操作，提取人脸感兴趣区域；
将每一帧图像人脸感兴趣区域内的RGB图像进行YCbCr颜色空间转换，提取人脸感兴趣区域的皮肤二值化图像；所述皮肤二值化图像为：将与皮肤有关像素点置1，与皮肤无关像素点置0；
对图像视频中的每一帧图像，剔除与皮肤无关的噪声干扰，并基于人脸特征点，删除人脸眼睛和嘴巴区域，执行RGB图像到LUV色彩空间的转换，得到每一帧图像的LUV色彩空间图像；
将每一帧图像人脸感兴趣区域的皮肤二值化图像与每一帧图像的LUV色彩空间图像进行与运算，得到只含皮肤信息的LUV色彩空间图像；
计算每帧只含皮肤信息的LUV色彩空间图像的有效像素点均值，以有效像素点均值的时序变化曲线作为rPPG原始信号。
在一个可选的示例中，重构呼吸和心率波形，具体为：
采用第一小波滤波器对所述rPPG原始信号进行滤波；所述呼吸和心率的中心频率分别为0.3Hz和1.4Hz；所述第一小波滤波器对呼吸信号进行滤波的带宽中心为呼吸中心频率，对心率信号进行滤波的带宽中心为心率的中心频率；
对滤波后的呼吸和心率信号执行连续小波变换的逆变换，得到初步重构的呼吸和心率波形；
在波形寻峰寻谷的基础上，通过计算初步重构的呼吸波形的峰峰间隔，初步估计呼吸频率，计算初步重构的心率波形的峰峰间隔，初步估计心率频率；
采用第二小波滤波器对初步重构的呼吸和心率波形进行滤波，得到重构的呼吸和心率波形；所述第二小波滤波器进行呼吸和心率波形滤波的两个带宽的中心频率分别为初步估计的呼吸和心跳频率；所述第二小波滤波器的两个带宽分别小于第一小波滤波器的两个带宽。
在一个可选的示例中，确定最终的呼吸和心率频率，具体为：
将重构的呼吸和心率波形的信号进行归一化，得到对应的一维数据；
将所述一维数据输入到训练好的一维卷积神经网络，再次估计呼吸和心率的频率；所述一维卷积神经网络包括三个子模块：第一个子模块包含2个一维卷积层，每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第二个子模块连接在第一个子模块后面，其包含5个一维卷积层，在每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第三个子模块连接在第二个子模块后面，顺序执行全局平均池化和随机失活操作后，通过含有1个节点的全连接层，进行频率估计，再次估计得到呼吸和心率的频率；
利用二维CWT，将呼吸和心率波形转换为二维CWT时谱图；将二维 CWT时频图划分为训练集和测试集，利用训练集对二维卷积神经网络的顶层参数进行训练，二维卷积神经网络的底层参数采用训练前的初始值，利用测试集验证训练好的二维卷积神经网络对呼吸和心率频率识别的性能；所述底层参数充分利用二维卷积神经网络从上百万张图像中所学习到的广泛丰富的特征表示能力；所述顶层参数利用所生成的二维CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计；
将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，对呼吸和心率频率进行优化，确定最终的呼吸和心率频率。
在一个可选的示例中，对人体的疲劳状态进行分类，具体为：
从两次重构的呼吸和心率波形中提取呼吸和心率的时域特征、频域特征以及非线性特征；
将提取的呼吸和心率的时域特征、频域特征以及非线性特征与所述最终确定的呼吸和心率频率拼接、缺省值处理以及特征归一化，之后利用潜在的语义分析提取归一化后的特征，得到新特征；
将新特征输入到基于XGBoost构建的疲劳分类器中，对疲劳状态进行分类；所述疲劳状态被划分为：警觉、正常以及疲劳三种状态；其中，警觉和正常状态均为非疲劳状态。
第二方面，本发明提供了一种基于rPPG的非接触式疲劳检测系统，包括：
人脸视频确定单元，用于确定人脸的图像视频；
rPPG信号提取单元，用于对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
波形重构单元，用于采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
频率确定单元，用于将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
疲劳检测单元，用于基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
在一个可选的示例中，所述rPPG信号提取单元确定人脸图像视频中的每一帧图像，并对每一帧图像进行人脸检测、人脸对齐操作，提取人脸感兴趣区域；将每一帧图像人脸感兴趣区域内的RGB图像进行YCbCr颜色空间转换，提取人脸感兴趣区域的皮肤二值化图像；所述皮肤二值化图像为：将与皮肤有关像素点置1，与皮肤无关像素点置0；对图像视频中的每一帧图像，剔除与皮肤无关的噪声干扰，并基于人脸特征点，删除人脸眼睛和嘴巴区域，执行RGB图像到LUV色彩空间的转换，得到每一帧图像的LUV色彩空间图像；将每一帧图像人脸感兴趣区域的皮肤二值化图像与每一帧图像的LUV色彩空间图像进行与运算，得到只含皮肤信息的LUV色彩空间图像；以及计算每帧只含皮肤信息的LUV色彩空间图像的有效像素点均值，以有效像素点均值的时序变化曲线作为rPPG原始信号。
在一个可选的示例中，所述波形重构单元采用第一小波滤波器对所述rPPG原始信号进行滤波；所述呼吸和心率的中心频率分别为0.3Hz和1.4Hz；所述第一小波滤波器对呼吸信号进行滤波的带宽中心为呼吸中心频率，对心率信号进行滤波的带宽中心为心率的中心频率；对滤波后的呼吸和心率信号执行连续小波变换的逆变换，得到初步重构的呼吸和心率波形；在波形寻峰寻谷的基础上，通过计算初步重构的呼吸波形的峰峰间隔，初步估计呼吸频率，计算初步重构的心率波形的峰峰间隔，初步估计心率频率；以及采用第二小波滤波器对初步重构的呼吸和心率波形进行滤波，得到重构的呼吸和心率波形；所述第二小波滤波器进行呼吸和心率波形滤波的两个带宽的中心频率分别为初步估计的呼吸和心跳频率；所述第二小波滤波器的两个带宽分别小于第一小波滤波器的两个带宽。
在一个可选的示例中，所述频率确定单元将重构的呼吸和心率波形的信号进行归一化，得到对应的一维数据；将所述一维数据输入到训练好的一维卷积神经网络，再次估计呼吸和心率的频率；所述一维卷积神经网络包括三个子模块：第一个子模块包含2个一维卷积层，每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第二个子模块连接在第一个子模块后面，其包含5个一维卷积层，在每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第三个子模块连接在第二个子模块后面，顺序执行全局平均池化和随机失活操作后，通过含有1个节点的全连接层，进行频率估计，再次估计得到呼吸和心率的频率；利用二维CWT，将呼吸和心率波形转换为二维CWT时谱图；将二维 CWT时频图划分为训练集和测试集，利用训练集对二维卷积神经网络的顶层参数进行训练，二维卷积神经网络的底层参数采用训练前的初始值，利用测试集验证训练好的二维卷积神经网络对呼吸和心率频率识别的性能；所述底层参数充分利用二维卷积神经网络从上百万张图像中所学习到的广泛丰富的特征表示能力；所述顶层参数利用所生成的二维CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计；以及将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，对呼吸和心率频率进行优化，确定最终的呼吸和心率频率。
在一个可选的示例中，所述疲劳检测单元从两次重构的呼吸和心率波形中提取呼吸和心率的时域特征、频域特征以及非线性特征；将提取的呼吸和心率的时域特征、频域特征以及非线性特征与所述最终确定的呼吸和心率频率拼接、缺省值处理以及特征归一化，之后利用潜在的语义分析提取归一化后的特征，得到新特征；以及将新特征输入到基于XGBoost构建的疲劳分类器中，对疲劳状态进行分类；所述疲劳状态被划分为：警觉、正常以及疲劳三种状态；其中，警觉和正常状态均为非疲劳状态。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，就检测手段而言，兼具传统视频分析无感检测和可穿戴设备生理信号检测的优点，能够更便捷、更客观、更可靠、更及时地检测早期疲劳状态；就检测方法而言，首先，在皮肤检测和LUV颜色空间转换结合的基础上，实现rPPG原始信号提取，消除人脸内外环境噪声的干扰；其次，通过自适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上进行疲劳分类。概括而言，本发明攻克了非接触感知技术去噪难题，在生理信号高质量重构及其精准检测的基础上，系统构建并筛选与疲劳高度相关的特征，实现高精度、高普适性疲劳检测。
本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，作为非接触式疲劳检测，具有检测设备灵活多样、检测结果客观精准、轻度疲劳检测能力强等优点，弥补了当前检测技术的部分缺陷，提高了测量的便利性与舒适度，为疲劳检测在现实生活中的广泛应用提供了技术支撑。
附图说明
图1是本发明实施例提供的基于rPPG的非接触式疲劳检测方法流程图；
图2为本发明实施例提供的基于rPPG的非接触式疲劳检测框图；
图3为本发明实施例提供的基于rPPG的非接触式疲劳检测流程图；
图4为本发明实施例提供的多维度融合CNN模型图；
图5为本发明实施例提供的可视化界面图；
图6是本发明实施例提供的基于rPPG的非接触式疲劳检测系统架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
与传统视频分析方法相比，生理信号不易受主观因素的影响，可以客观真实地反应被试的生理和心理状态，因而引起了全球越来越多研究人员的关注。目前基于生理信号的疲劳状态检测方法，根据测量技术和手段的不同可以分为接触式检测和非接触式检测两种。
一方面，常见的接触式检测包括脑电（Electroencephalogram, EEG）、皮肤电传导（galvanic skin response, GSR）、肌电图（electromyogram, EMG）、心电图（electrocardiogram, ECG）、光电容积描记（photoplethysmography, PPG）等。该方法多采用可穿戴设备，通过检测来自人体器官（如：大脑、心脏等）的生理信号来检测用户的疲劳状态。由于具有长期检测、便于携带等优点，该方法在实验室环境中得到了较为广泛的应用。然而，该方法也存在一定的缺陷。首先，长期佩戴该设备不仅可能引起皮肤过敏或行动不便等问题，而且可能（由于受试者期望效应等）诱发紧张情绪从而影响测试结果；其次，可穿戴设备由于标准缺失，在多设备协同及其数据的实时采集与分析方面仍存在一定的挑战。
另一方面，常见的非接触式检测包括毫米波雷达和远程光电容积描记术（remotephotoplethysmography, rPPG）。概括来说，rPPG方法兼具了生理信号客观检测和非接触式无扰检测的优点，无需被试穿戴任何设备，就可以在生理信号（如：呼吸和心率等）提取的基础上，进行疲劳检测。进一步地，由于毫米波需借助专业毫米波雷达设备才能开展相关检测，而rPPG对设备无任何特殊要求（日常生活中常见的手机、笔记本电脑、外置摄像头等都可用于rPPG原始数据的采集）。因此，本发明聚焦基于rPPG的非接触式疲劳检测系统及方法研究。
具体来说，rPPG是在PPG基础上发展起来的一种非接触生物医学检测技术，该技术利用成像设备对人体包含被测部位的视频信息进行采集，将脉搏信号（即：由血液容积变化所引起的周期性光强变化）用视频图像的方式记录下来，再通过视频图像处理提取脉搏波信号，最后通过脉搏波信号分析实现呼吸、心率、血压、血氧饱和度等生理信号的提取。从心率检测的视角来看，rPPG类似于ECG/PPG，但不需要被试穿戴任何专用设备。而与传统视频分析技术相比，rPPG具有以下显著优势。第一，由于与疲劳状态相关的生理信号是无意识的，不易受主观意愿控制，因此，该方法能够更客观、更可靠、更及时地检测早期疲劳状态：既能客观地反映情绪，克服可能被故意掩盖的情绪状态；又能及时地反应人体疲劳的早期症状及其变化。第二，该方法能够显著降低人脸生理特征差异（如：眼睛偏小等）对疲劳检测精度的影响。第三，该方法可用于远程医疗病例（如：婴幼儿、烧伤病人、老年人、危重患者等）生理信号及情绪状态的长期监测，在提高病人舒适度的同时，有效减轻医护人员负担。
综上所述，与传统视频分析和可穿戴设备相比，基于rPPG的非接触式疲劳检测方法具有显而易见的优势，其多样灵活的检测设备、远程客观的检测手段、轻度疲劳的早期检测能力等，为高精度的疲劳状态检测提供了新的解决思路，为规避疲劳可能诱发的安全风险和健康隐患提供了技术支撑。
图1是本发明实施例提供的基于rPPG的非接触式疲劳检测方法流程图；如图1所示，包括如下步骤：
S101，确定人脸的图像视频；
S102，对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
S103，采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
S104，将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
S105，基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
具体地，本发明所提系统及方法采用多线程同步通讯，基于python threading多线程模块，实现rPPG信号的实时采集与疲劳状态的实时检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。图2为本发明实施例提供的基于rPPG的非接触式疲劳检测框图，如图2所示，本发明所提系统包括三个模块：
rPPG信号采集模块，用于从每帧图像中提取rPPG原始信号，在滑动窗口内执行预处理操作后，将信号传输至rPPG信号处理模块；
rPPG信号处理模块，用于接收rPPG原始信号，通过自适应多级滤波提取呼吸信号和心率信号，通过多维度融合CNN模型实现呼吸和心率的高精度检测，并借助可视化手段实时显示呼吸和心率波形及其频率；
疲劳检测模块，用于接收呼吸和心率波形数据，执行其时域、频域和非线性特征提取与特征融合操作，并通过XGBoost构建分类器，对疲劳和非疲劳状态进行二元分类。
本发明提供了一种基于rPPG的非接触式疲劳检测系统及方法。该系统及方法采用多线程同步通讯，针对实时检测需求，基于python threading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。如图3所示，本发明所提系统及方法包括三个模块：
第一，rPPG信号采集模块用于跟踪人脸ROI区域；通过皮肤检测与颜色空间转换剔除人脸内外的噪声干扰并提取rPPG原始信号；执行rPPG信号预处理操作，并将预处理后信号传输至实时rPPG信号处理模块。该模块包括三个单元：
①人脸ROI跟踪单元。首先，获取视频采集设备的采集帧率以及每帧图像分辨率；监听视频采集设备并实时捕获每一帧图像。其次，基于Viola-Jones算法执行人脸检测，基于Python imutils库的FaceAligner执行人脸对齐操作，基于Python dlib的frontal_face_detector执行人脸特征点跟踪（即：提取人脸68个特征点，含：眉毛、眼睛、鼻子、嘴部和人脸轮廓等）。
②rPPG原始数据提取单元，首先，将人脸ROI区域内的RGB图像进行YCbCr空间转换，设定Y、Cb和Cr三个通道阈值：
Figure 499966DEST_PATH_IMAGE001
(1)
基于阈值将图像转换成二值图像（即：提取人脸ROI区域皮肤信息，将与皮肤有关像素点置1，与皮肤无关像素点置0），剔除与皮肤无关的噪声干扰（如：来自ROI区域内的头发反射）。其次，基于人脸特征点，删除人脸眼睛和嘴巴区域，并执行RGB到LUV颜色空间的转换，剔除运动等噪声干扰。第三，将皮肤二值图像与LUV图像进行“与”运算，得到只含皮肤信息的彩色图像，计算每帧图像有效像素点均值，以均值的时序变化曲线作为rPPG原始信号。
③数据预处理与传输单元，设置滑动窗口，对窗口内数据执行预处理操作（含：脉冲噪声消除、去趋势滤波和平滑滤波）后，周期性地将新增数据传输到rPPG信号处理模块。
第二，rPPG信号处理模块通过自适应多级滤波重构呼吸和心率信号，通过多维度融合CNN模型进行呼吸和心率估计，通过可视化实时显示呼吸和心率波形及其频率值。该模块包括三个单元：
①基于自适应多级滤波的波形重构单元。采用自适应多级滤波，分别粗粒度和细粒度地剔除带外噪声，实现呼吸和心率波形的重构。具体步骤如下：首先，采用连续小波变换（CWT），在小波域，采用带宽较宽的小波滤波器（分别采用[0.1,0.5]Hz和 [0.8,2.0] Hz带通滤波器对呼吸和心率信号进行滤波），粗粒度地剔除带外噪声，初步重构呼吸和心率信号：
Figure 948265DEST_PATH_IMAGE002
(2)
此处使用的滤波器带宽比较宽，其中呼吸和心率的中心频率分别为0.3 Hz和1.4Hz，其半带宽（HBW）分别为
Figure 259160DEST_PATH_IMAGE003
和
Figure 388790DEST_PATH_IMAGE004
；执行CWT逆运算（ICWT），得到重构后的呼吸和心率波形，分别记为
Figure 485053DEST_PATH_IMAGE005
和
Figure 838674DEST_PATH_IMAGE006
。接着，在波形寻峰寻谷的基础上，通过计算平均心跳间隔（IBI）来初步估计呼吸和心跳频率，分别记为
Figure 636866DEST_PATH_IMAGE007
和
Figure 366925DEST_PATH_IMAGE008
。最后，采用带宽较窄的小波滤波器，细粒度地剔除带外噪声，实现呼吸和心率波形的重构：
Figure 816230DEST_PATH_IMAGE009
(3)
即：在小波域中进行窄带的带通滤波器，其呼吸和心率的中心频率分别为
Figure 606331DEST_PATH_IMAGE007
和
Figure 891819DEST_PATH_IMAGE010
，其半带宽分别为
Figure 159989DEST_PATH_IMAGE011
，
Figure 965265DEST_PATH_IMAGE012
。
②基于多维度融合CNN模型的频率估计单元。如图4所示，本发明分别基于1D呼吸和心率波形及其2D频谱图进行频率的估计，并采用集成算法进一步提高频率估计算法性能。首先，对于呼吸和心率1D波形数据，执行预处理操作，将信号归一到[-1,1]之间；将预处理后的波形输入一维CNN网络，该网络含有三个子模块：Block 1~Block 3。
其中，Block 1和Block 2中，每个一维CNN层后，是一系列LeakyRelu、maxpool和Dropout操作，其中，Block 1中，每个一维CNN层由32个节点组成；而Block 2中，五个一维CNN层分别由2*(5+i) 个节点组成，0≦i≦4。Block 3中，GlobalAveragePool和Dropout操作后，是含有1个节点的全连接层，用于频率估计，其呼吸和心率的估计频率，分别记为
Figure 129530DEST_PATH_IMAGE013
和
Figure 902314DEST_PATH_IMAGE014
。其次，利用2D CWT小波变换，将呼吸和心率1D波形数据转换为2DCWT时谱图；将2D CWT时频图划分为训练集和测试集，利用训练集对2D CNN经典网络（如：VGG19）预训练模型的顶层（top layers）参数进行训练（其底层bottom layers参数保持不变，即采用预训练模型中的初始值），利用测试集验证该模型呼吸和心率频率识别的性能。
也就是说，一方面，底层参数，充分利用预训练模型从上百万张图像中所学习到的广泛丰富的特征表示能力；另一方面，顶层参数，利用所生成2D CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计。其呼吸和心率的估计频率，分别记为
Figure 708596DEST_PATH_IMAGE015
和
Figure 883226DEST_PATH_IMAGE016
。最后，将1D CNN和 2D CNN网络的频率估计值输入集成学习模型（如：SGD回归模型），对频率估计值进行优化。其呼吸和心率的估计频率，分别记为
Figure 998818DEST_PATH_IMAGE017
和
Figure 524477DEST_PATH_IMAGE018
。
③可视化单元。用于实现实时呼吸和心率波形及其频率估计结果的可视化。
第三，疲劳检测模块融合呼吸和心率多通道数据并执行特征提取及特征融合，通过XGBoost构建分类器，对疲劳和非疲劳状态进行二元分类。该模块包括三个单元：
①特征提取单元。从时域、频域和非线性特征三个角度，分别提取呼吸和心率特征。具体来说，首先，从呼吸和心率波形中提取频谱功率比特征；其次，提取时域特征，检测到呼吸和心跳波形的峰值后，计算峰峰间隔序列。对于心率波形，在利用峰峰间隔序列生成心率（HR）和心率变异性（HRV）时间序列的基础上，提取HR和HRV相关时域特征；以及滞后时间（lag, 即自相关函数降至初始值的1−1/e）和平均周期（mean period, 即功率谱平均频率的倒数），见表1；第三，提取非线性特征，包括拐点比（turning points ratio, tpr）、改进的拐点比（modified turning points ratio, mtpr）、改进的香农熵（ShannonEntropy）、精细复合多尺度熵（refined composite multiscale entropy, rcmse）、样本熵（sample Entropy）、李氏指数（Lyapunov Exponent）、赫斯特指数（Hurst Exponent）和去趋势波动分析指数（DFA）。
具体来说，时域、频域特征主要采用scipy、biosppy、heartpy、ppg45、pyHRV和hrvanalysis六个Python库计算；而非线性特征则采用Python的nolds库计算。进一步的，对于输入呼吸/心率波形序列x而言（其样本个数为N）：
rcmse的计算如下。首先，计算输入序列 x第τ个尺度的粗粒度过程：
Figure 134450DEST_PATH_IMAGE019
(4)
接着，在尺度因子τ下，计算所有τ个粗粒度序列匹配向量对
Figure 163586DEST_PATH_IMAGE020
和
Figure 669654DEST_PATH_IMAGE021
的数量；最后，计算尺度因子τ下的rcmse：
Figure 902183DEST_PATH_IMAGE022
(5)
式中
Figure 315847DEST_PATH_IMAGE023
，即
Figure 465069DEST_PATH_IMAGE024
和
Figure 938775DEST_PATH_IMAGE025
分别为τ个
Figure 157136DEST_PATH_IMAGE026
和
Figure 108911DEST_PATH_IMAGE027
在1≦k≦τ时的均值。
tpr的计算如下式所示：
Figure 315902DEST_PATH_IMAGE028
(6)
mtpr的计算如下：首先，采用经验模态分解（EMD）提取输入序列x的趋势；接着，计算该趋势序列的粗粒度过程，如公式（4）所示；最后，计算该粗粒度过程的mtpr，如公式（6）所示。
表1. 基于rPPG的呼吸和心率特征提取
Figure 960510DEST_PATH_IMAGE029
需要说明的是，(i) 低频 (LF, 0.01–0.08 Hz)；中频(MFs, 0.08–0.15 Hz); 高频(HF, 0.15–0.50 Hz)；总频率 (TF, 0.01–0.50 Hz)；(ii) ppg45 特征(39)：x, y, z, y/x, (x-y)/x, z/x, (y-z)/x, w, A 2 /A 1 , t pi , t 1 , t 2 , t 3 , △T, t 1 /t pi , t 2 /t pi , t 3 / t pi , △T/t pi , t a1 , t b1 , t e1 , t f1 , b 2 /a 2 , e 2 /a 2 , (b 2 +e 2 )/a 2 , t a2 , t b2 , t a1 /t pi , t b1 /t pi , t e1 /t pi , t f1 /t pi , t a2 /t pi , t b2 /t pi , (t a1 -t a2 )/t pi , (t b1 -t b2 )/t pi , (t e1 -t 2 )/t pi , (t f1 -t 3 )/ t pi , t 1 /x, y/(t pi -t 3 ), svri。
②其次，特征融合单元。首先进行特征预处理，主要包括特征拼接、缺省值处理和特征归一化。其中，特征拼接部分，将（i）（自适应多级滤波的波形重构单元中，分别基于两次重构的呼吸和心率波形所提取的）时域、频域和非线性特征和（ii）（多维度融合CNN模型单元所计算的）最终呼吸和心率频率拼接在一起。其次，利用潜在语义分析（latentsemantic analysis, LSA）提取新特征。最后，综合利用统计分析和机器学习算法，筛选与疲劳高度相关的特征。
③第三，疲劳分类单元。基于XGBoost构建疲劳分类器，将所选择的特征输入该分类器，实现疲劳状态分类，并进行可视化，如图5所示。
为验证本发明所提系统和方法的有效性，本发明在自建的数据集上进行了验证。在频率检测与疲劳检测过程中，将相关数据截成30秒每段数据集；其心率估计准确率对比实验结果如表2和表3所示；疲劳检测的十折交叉验证和留一法交叉验证试验结果如表4和表5所示
表2. 自适应多级滤波前后心率估计结果对比
Figure 416899DEST_PATH_IMAGE030
就数据采集而言，一方面，自建数据集采用嗜睡量表（Karolinska sleepinessscale, KSS）采集自然学习环境中的学习状态；另一方面，采用OPPO R9等手机和Inspiron5598等笔记本收集了12名学生（采集分析过程没有对设备做任何特殊要求），疲劳和非疲劳两种状态下的rPPG数据，每个数据持续10分钟。由于实验过程中，没有额外施加任何实验刺激（如：睡眠剥夺实验等），所测疲劳状态均为相对轻度的早期疲劳（疲劳状态下，KSS均值 =7.417）。
就频率检测而言，本发明通过自适应多级滤波实现呼吸和心率的高质量重构。具体来说，以心率估计为例，
其自适应滤波前后的实验结果对比如表2所示。由该表可知：首先，在三种不同颜色空间（Green通道，ICA以及“皮肤检测+ LUV”）的rPPG信号提取方法中，本研究所用的“皮肤检测+LUV”方法准确率最高；其次，在三种颜色空间方法中，自适应多级滤波均可有效提高心率检测准确率。此外，与基于频域（功率谱密度power spectral density,PSD）的心率估计算法相比，基于时域（寻峰寻谷算法的）心率估计算法准确率更高。
表3. 基于多维度融合CNN模型的心率估计结果
Figure 923098DEST_PATH_IMAGE031
基于多维度融合CNN模型的心率估计结果如表3所示。首先，由表3可知，与经典的时间序列估计算法CorNET网络相比，本发明所提模型的心率估计效果更好。其次，与表2对比可知，本发明所提多维度融合CNN模型可显著提高心率估计算法性能。
表4. 疲劳检测结果（十折交叉验证）
Figure 781332DEST_PATH_IMAGE032
表5. 疲劳检测结果（留一法交叉验证）
Figure 596841DEST_PATH_IMAGE033
就疲劳检测而言，由表4和5可知，本发明所提系统及方法，可准确检测早期疲劳状态，以准确率为例，其十折交叉验证法和留一法交叉验证的准确率分别达到90.0%和81.7%。具体来说，1）通过呼吸和心率多通道数据的融合，可提升疲劳检测的性能。2）进一步的，由表5留一法交叉验证可知，本发明所提疲劳检测系统及方法，在已知主体（/被试）中所学习的特征，可很好地迁移到未知主体的疲劳检测应用中，具有良好的普适性和迁移性。
图6是本发明实施例提供的基于rPPG的非接触式疲劳检测系统架构图；如图6所示，包括：
人脸视频确定单元610，用于确定人脸的图像视频；
rPPG信号提取单元620，用于对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
波形重构单元630，用于采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
频率确定单元640，用于将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
疲劳检测单元650，用于基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
需要说明的是，图6中各个单元的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于rPPG的非接触式疲劳检测方法，其特征在于，包括如下步骤：
确定人脸的图像视频；
对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
2.根据权利要求1所述的方法，其特征在于，所述rPPG原始信号具体通过如下步骤获取：
确定人脸图像视频中的每一帧图像，并对每一帧图像进行人脸检测、人脸对齐操作，提取人脸感兴趣区域；
将每一帧图像人脸感兴趣区域内的RGB图像进行YCbCr颜色空间转换，提取人脸感兴趣区域的皮肤二值化图像；所述皮肤二值化图像为：将与皮肤有关像素点置1，与皮肤无关像素点置0；
对图像视频中的每一帧图像，剔除与皮肤无关的噪声干扰，并基于人脸特征点，删除人脸眼睛和嘴巴区域，执行RGB图像到LUV色彩空间的转换，得到每一帧图像的LUV色彩空间图像；
将每一帧图像人脸感兴趣区域的皮肤二值化图像与每一帧图像的LUV色彩空间图像进行与运算，得到只含皮肤信息的LUV色彩空间图像；
计算每帧只含皮肤信息的LUV色彩空间图像的有效像素点均值，以有效像素点均值的时序变化曲线作为rPPG原始信号。
3.根据权利要求1或2所述的方法，其特征在于，重构呼吸和心率波形，具体为：
采用第一小波滤波器对所述rPPG原始信号进行滤波；所述呼吸和心率的中心频率分别为0.3Hz和1.4Hz；所述第一小波滤波器对呼吸信号进行滤波的带宽中心为呼吸中心频率，对心率信号进行滤波的带宽中心为心率的中心频率；
对滤波后的呼吸和心率信号执行连续小波变换的逆变换，得到初步重构的呼吸和心率波形；
在波形寻峰寻谷的基础上，通过计算初步重构的呼吸波形的峰峰间隔，初步估计呼吸频率，计算初步重构的心率波形的峰峰间隔，初步估计心率频率；
采用第二小波滤波器对初步重构的呼吸和心率波形进行滤波，得到重构的呼吸和心率波形；所述第二小波滤波器进行呼吸和心率波形滤波的两个带宽的中心频率分别为初步估计的呼吸和心跳频率；所述第二小波滤波器的两个带宽分别小于第一小波滤波器的两个带宽。
4.根据权利要求1或2所述的方法，其特征在于，确定最终的呼吸和心率频率，具体为：
将重构的呼吸和心率波形的信号进行归一化，得到对应的一维数据；
将所述一维数据输入到训练好的一维卷积神经网络，再次估计呼吸和心率的频率；所述一维卷积神经网络包括三个子模块：第一个子模块包含2个一维卷积层，每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第二个子模块连接在第一个子模块后面，其包含5个一维卷积层，在每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第三个子模块连接在第二个子模块后面，顺序执行全局平均池化和随机失活操作后，通过含有1个节点的全连接层，进行频率估计，再次估计得到呼吸和心率的频率；
利用二维CWT，将呼吸和心率波形转换为二维CWT时谱图；将二维 CWT时频图划分为训练集和测试集，利用训练集对二维卷积神经网络的顶层参数进行训练，二维卷积神经网络的底层参数采用训练前的初始值，利用测试集验证训练好的二维卷积神经网络对呼吸和心率频率识别的性能；所述底层参数充分利用二维卷积神经网络从上百万张图像中所学习到的广泛丰富的特征表示能力；所述顶层参数利用所生成的二维CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计；
将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，对呼吸和心率频率进行优化，确定最终的呼吸和心率频率。
5.根据权利要求1或2所述的方法，其特征在于，对人体的疲劳状态进行分类，具体为：
从两次重构的呼吸和心率波形中提取呼吸和心率的时域特征、频域特征以及非线性特征；
将提取的呼吸和心率的时域特征、频域特征以及非线性特征与所述最终确定的呼吸和心率频率拼接、缺省值处理以及特征归一化，之后利用潜在的语义分析提取归一化后的特征，得到新特征；
将新特征输入到基于XGBoost构建的疲劳分类器中，对疲劳状态进行分类；所述疲劳状态被划分为：警觉、正常以及疲劳三种状态；其中，警觉和正常状态均为非疲劳状态。
6.一种基于rPPG的非接触式疲劳检测系统，其特征在于，包括：
人脸视频确定单元，用于确定人脸的图像视频；
rPPG信号提取单元，用于对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；
波形重构单元，用于采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；
频率确定单元，用于将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；
疲劳检测单元，用于基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。
7.根据权利要求6所述的系统，其特征在于，所述rPPG信号提取单元确定人脸图像视频中的每一帧图像，并对每一帧图像进行人脸检测、人脸对齐操作，提取人脸感兴趣区域；将每一帧图像人脸感兴趣区域内的RGB图像进行YCbCr颜色空间转换，提取人脸感兴趣区域的皮肤二值化图像；所述皮肤二值化图像为：将与皮肤有关像素点置1，与皮肤无关像素点置0；对图像视频中的每一帧图像，剔除与皮肤无关的噪声干扰，并基于人脸特征点，删除人脸眼睛和嘴巴区域，执行RGB图像到LUV色彩空间的转换，得到每一帧图像的LUV色彩空间图像；将每一帧图像人脸感兴趣区域的皮肤二值化图像与每一帧图像的LUV色彩空间图像进行与运算，得到只含皮肤信息的LUV色彩空间图像；以及计算每帧只含皮肤信息的LUV色彩空间图像的有效像素点均值，以有效像素点均值的时序变化曲线作为rPPG原始信号。
8.根据权利要求6或7所述的系统，其特征在于，所述波形重构单元采用第一小波滤波器对所述rPPG原始信号进行滤波；所述呼吸和心率的中心频率分别为0.3Hz和1.4Hz；所述第一小波滤波器对呼吸信号进行滤波的带宽中心为呼吸中心频率，对心率信号进行滤波的带宽中心为心率的中心频率；对滤波后的呼吸和心率信号执行连续小波变换的逆变换，得到初步重构的呼吸和心率波形；在波形寻峰寻谷的基础上，通过计算初步重构的呼吸波形的峰峰间隔，初步估计呼吸频率，计算初步重构的心率波形的峰峰间隔，初步估计心率频率；以及采用第二小波滤波器对初步重构的呼吸和心率波形进行滤波，得到重构的呼吸和心率波形；所述第二小波滤波器进行呼吸和心率波形滤波的两个带宽的中心频率分别为初步估计的呼吸和心跳频率；所述第二小波滤波器的两个带宽分别小于第一小波滤波器的两个带宽。
9.根据权利要求6或7所述的系统，其特征在于，所述频率确定单元将重构的呼吸和心率波形的信号进行归一化，得到对应的一维数据；将所述一维数据输入到训练好的一维卷积神经网络，再次估计呼吸和心率的频率；所述一维卷积神经网络包括三个子模块：第一个子模块包含2个一维卷积层，每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第二个子模块连接在第一个子模块后面，其包含5个一维卷积层，在每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第三个子模块连接在第二个子模块后面，顺序执行全局平均池化和随机失活操作后，通过含有1个节点的全连接层，进行频率估计，再次估计得到呼吸和心率的频率；利用二维CWT，将呼吸和心率波形转换为二维CWT时谱图；将二维 CWT时频图划分为训练集和测试集，利用训练集对二维卷积神经网络的顶层参数进行训练，二维卷积神经网络的底层参数采用训练前的初始值，利用测试集验证训练好的二维卷积神经网络对呼吸和心率频率识别的性能；所述底层参数充分利用二维卷积神经网络从上百万张图像中所学习到的广泛丰富的特征表示能力；所述顶层参数利用所生成的二维CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计；以及将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，对呼吸和心率频率进行优化，确定最终的呼吸和心率频率。
10.根据权利要求6或7所述的系统，其特征在于，所述疲劳检测单元从两次重构的呼吸和心率波形中提取呼吸和心率的时域特征、频域特征以及非线性特征；将提取的呼吸和心率的时域特征、频域特征以及非线性特征与所述最终确定的呼吸和心率频率拼接、缺省值处理以及特征归一化，之后利用潜在的语义分析提取归一化后的特征，得到新特征；以及将新特征输入到基于XGBoost构建的疲劳分类器中，对疲劳状态进行分类；所述疲劳状态被划分为：警觉、正常以及疲劳三种状态；其中，警觉和正常状态均为非疲劳状态。
CN202210695576.9A 2022-06-20 2022-06-20 一种基于rPPG的非接触式疲劳检测系统及方法 Active CN114781465B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210695576.9A CN114781465B (zh) 2022-06-20 2022-06-20 一种基于rPPG的非接触式疲劳检测系统及方法
PCT/CN2023/080828 WO2023246182A1 (zh) 2022-06-20 2023-03-10 一种基于rPPG的非接触式疲劳检测系统及方法
US18/511,919 US20240081705A1 (en) 2022-06-20 2023-11-16 Non-contact fatigue detection system and method based on rppg

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210695576.9A CN114781465B (zh) 2022-06-20 2022-06-20 一种基于rPPG的非接触式疲劳检测系统及方法

Publications (2)

Publication Number Publication Date
CN114781465A CN114781465A (zh) 2022-07-22
CN114781465B true CN114781465B (zh) 2022-08-30

Family

ID=82421061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210695576.9A Active CN114781465B (zh) 2022-06-20 2022-06-20 一种基于rPPG的非接触式疲劳检测系统及方法

Country Status (3)

Country Link
US (1) US20240081705A1 (zh)
CN (1) CN114781465B (zh)
WO (1) WO2023246182A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781465B (zh) * 2022-06-20 2022-08-30 华中师范大学 一种基于rPPG的非接触式疲劳检测系统及方法
CN115736863A (zh) * 2022-11-04 2023-03-07 北京小凡科技有限公司 基于计算机视觉和深度学习的非接触式血压检测系统
CN116311480B (zh) * 2023-05-18 2023-08-15 南京邮电大学 一种基于多通道双流注意力的伪造人脸检测方法
CN116831581A (zh) * 2023-06-15 2023-10-03 中南大学 一种基于远程生理体征提取的驾驶员状态监测方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210386307A1 (en) * 2017-09-15 2021-12-16 University Of Maryland, College Park System and method for heart rate measurement using facial video
US10696305B2 (en) * 2018-11-15 2020-06-30 XMotors.ai Inc. Apparatus and method for measuring physiological information of living subject in vehicle
CN110151203B (zh) * 2019-06-06 2021-11-23 常熟理工学院 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
CN111714144A (zh) * 2020-07-24 2020-09-29 长春理工大学 基于视频非接触测量的精神压力分析方法
CN112102949A (zh) * 2020-08-31 2020-12-18 安徽大学 面部血流脉冲信号和面部器官运动特征提取方法
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
CN112401863A (zh) * 2020-11-19 2021-02-26 华中师范大学 一种基于毫米波雷达的非接触式实时生命体征监测系统及方法
CN113420624B (zh) * 2021-06-11 2022-04-26 华中师范大学 一种非接触式疲劳检测方法及系统
CN113261932B (zh) * 2021-06-28 2022-03-04 山东大学 基于ppg信号和一维卷积神经网络的心率测量方法及装置
CN114305370A (zh) * 2021-12-17 2022-04-12 南京理工大学 针对rPPG信号中运动干扰的自适应滤波方法及系统
CN114781465B (zh) * 2022-06-20 2022-08-30 华中师范大学 一种基于rPPG的非接触式疲劳检测系统及方法

Also Published As

Publication number Publication date
WO2023246182A1 (zh) 2023-12-28
CN114781465A (zh) 2022-07-22
US20240081705A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
Wang et al. Channel selection method for EEG emotion recognition using normalized mutual information
CN114781465B (zh) 一种基于rPPG的非接触式疲劳检测系统及方法
Fernandes et al. A novel nonintrusive decision support approach for heart rate measurement
Alghoul et al. Heart rate variability extraction from videos signals: ICA vs. EVM comparison
Zhao et al. EmotionSense: Emotion recognition based on wearable wristband
Islam et al. Wavelet analysis based classification of emotion from EEG signal
Mohammadi et al. Improving time–frequency domain sleep EEG classification via singular spectrum analysis
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
Ren et al. Off-line and on-line stress detection through processing of the pupil diameter signal
Ren et al. Affective assessment by digital processing of the pupil diameter
CN111466876B (zh) 一种基于fNIRS和图神经网络的阿尔兹海默症辅助诊断系统
CN112890834B (zh) 面向注意力识别的基于机器学习的眼电信号分类器
Sengupta et al. A multimodal system for assessing alertness levels due to cognitive loading
Kuo et al. Automatic stage scoring of single-channel sleep EEG based on multiscale permutation entropy
Tong et al. Emotion recognition based on photoplethysmogram and electroencephalogram
Tabei et al. A novel personalized motion and noise artifact (MNA) detection method for smartphone photoplethysmograph (PPG) signals
Benchekroun et al. Comparison of Stress Detection through ECG and PPG signals using a Random Forest-based Algorithm
He et al. Remote Photoplethysmography Heart Rate Variability Detection Using Signal to Noise Ratio Bandpass Filtering
Talukdar et al. Evaluating visual photoplethysmography method
CN115886720A (zh) 一种基于脑电信号的可穿戴视力检测装置
Li et al. An improved MAMA-EMD for the automatic removal of EOG artifacts
Currey et al. Cross-site epileptic seizure detection using convolutional neural networks
Naqvi et al. Emotion Recognition System using Pulse Plethysmograph
Hosseini et al. A low cost eda-based stress detection using machine learning
ElSayed et al. Multimodal analysis of electroencephalographic and electrooculographic signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant