CN112580612B - 一种生理信号预测方法 - Google Patents
一种生理信号预测方法 Download PDFInfo
- Publication number
- CN112580612B CN112580612B CN202110196564.7A CN202110196564A CN112580612B CN 112580612 B CN112580612 B CN 112580612B CN 202110196564 A CN202110196564 A CN 202110196564A CN 112580612 B CN112580612 B CN 112580612B
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- region
- matrix
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 238000013136 deep learning model Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000007774 longterm Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Cardiology (AREA)
- Optics & Photonics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
Abstract
本申请涉及一种生理信号预测方法,包括:采集视频文件,视频文件中包含有长时视频,视频的文件内容含有单个人的面部和真实生理信号数据;将单个长时视频分割成多段短时视频片段,每段短时视频片段具有固定帧数,并且每段短时视频片段对应一个真实生理信号标签;利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征,形成单帧感兴趣区域特征;对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接,形成多帧视频感兴趣区域特征,将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间,形成包含时间和空间信息的时空图;将所述时空图输入到深度学习模型中进行训练,利用训练好的深度学习模型预测生理信号参数。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种生理信号预测方法。
背景技术
近年来兴起的rPPG(Remote Photoplethysmography)是一种无接触的测量方法,正常人体内的毛细血管扩张和收缩会引起的血容量改变,血管内的血红蛋白的数量和血氧含量也随时间变化,考虑到血红蛋白会吸收射入皮肤的光,所以有漫反射光波会随血容量改变发生微小的改变;由上述可知,通过摄像头可以捕捉红、绿、蓝光波随时间的微小周期性数值波动,即脉动信息,达到测量生理信号的目的。
现有基于rPPG测量生理信号的技术主要是独立成分分析(ICA)、快速傅里叶变换(FFT)、小波变换(WT)等传统信号处理方法,本方法是采用数据驱动建模方法,从视频中提取具有生理信号脉动信息的时空图,以时空图作为深度学习模型的输入学习生理信号参数变化,时空图输入可作为不同生理参数通道预测模型的输入。
专利申请公布号CN105100701A公开了用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。在一个实施例中,接收视频的图像帧。处理连续成批的图像帧。对于每一批,与主体的暴露身体区域关联的像素被分离、处理以获得时间-序列信号。如果在捕获这些图像帧的过程中出现低于预定阈值水平的运动,则预测模型的参数使用这一批的时间-序列信号来更新。否则,最后更新的预测模型被用来生成这一批的预测时间-序列信号。时间-序列信号与预测的时间-序列信号融合,以获得融合的时间-序列信号。每一批时间-序列信号被处理,以获得与生理功能对应的主体的生理信号。
专利申请公布号CN105190691B涉及一种用于在尽管有对象的运动的情况下获得对象的生命体征,尤其是在基于投影的生命体征记录中将诸如呼吸信息信号的生命体征与噪声区别开的设备和方法。所提出的设备包括:接口(124),其用于接收对象的图像帧的集合;分析单元(128),其用于确定方向改变的量和/或在所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变之间的时间距离,方向改变指示所述感兴趣的区域内出现的运动的所述方向的改变;评估单元(132),其用于通过使用所确定的方向改变的量和/或所述图像帧的子集的所述时间距离来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声;以及处理器(136),其用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域包括期望的生命体征。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种生理信号预测方法,包括:
S1:采集视频文件,所述视频文件中包含有长时视频,所述视频文件内容含有单个人的面部,所述面部有较大幅度、速度旋转和真实生理信号数据;
S2:将单个长时视频分割成多段短时视频片段,每段所述短时视频片段具有固定帧数,并且每段所述短时视频片段对应一个真实生理信号标签;
S3:利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征,形成单帧感兴趣区域特征;
S4:对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接,形成多帧视频感兴趣区域特征,将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间,形成包含时间和空间的时空图;
S5:将所述时空图输入到深度学习模型中进行训练,利用训练好的深度学习模型预测生理信号参数。
优选的,所述将单个长时视频分割成多段短时视频片段的具体方法为:
以生理信号标签时间间隔为短时视频片段截取窗口长度,以生理信号标签时间点为窗口中间时间点进行长视频切分。
优选的,所述利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征的具体方法为:
使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标,选择这两侧矩形框作为生理信号识别的感兴趣区域。
优选的,对于识别不出感兴趣区域特征的帧进行处理方法为:采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值。
优选的,所述利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征的具体方法还包括:对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸。
优选的,所述对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接的具体方法包括:
S41:将单侧单帧感兴趣区域特征均匀划分为多个矩形区域,构成像素值矩阵;
S42:以RGB为标准对像素值矩阵进行重组,构成像素值重组矩阵;
S43:对两侧脸颊像素值矩阵按列拼接,构成单帧感兴趣区域特征矩阵;
S44:对多个单帧感兴趣区域特征矩阵按列拼接,形成多帧视频感兴趣区域特征。
优选的,所述将单侧单帧感兴趣区域特征均匀划分为多个矩形区域,构成像素值矩阵的具体方法为:
所述将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域,构成像素值矩阵的具体形式为:
优选的,所述以RGB为标准对像素值矩阵进行重组的方法为:
优选的,所述对两侧脸颊像素值矩阵按列拼接,构成单帧感兴趣区域特征矩阵的具体形式为:
把两侧脸颊像素值矩阵按列拼接成[2mn,3]维矩阵,记为第t帧的特征矩阵Bd[t];
对多个单帧感兴趣区域特征矩阵按列拼接,形成多帧视频感兴趣区域特征的具体形式为:
把T帧感兴趣区域特征矩阵按列拼接,矩阵记为,
优选的,所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型;将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练,利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该方法,是以具有生理参数标签的视频,截取具有固定帧数的视频片段换为时空图,时空图中包含生理信号脉动信息,把时空图输入深度学习模型进行生理参数预测训练,依据训练好的深度学习模型对个人生理参数进行预测;
同时,头部大幅度快速转动或光照变化等环境噪声可引起生理信号数值在短时间内发生剧烈的上下震荡,通过选择同一视频切分成的多个视频片段所对应时空图作为3D深度学习模型输入的时间维度进行学习,这样,模型考虑了生理信号短时间变化的平稳性——即生理信号数值随时间变化波形上下震荡较小,提高了生理参数预测稳定性和鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种生理信号预测方法流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例1:
如图1所示,本申请实施例提供的一种生理信号预测方法,包括:
S1:采集视频文件,所述视频文件中包含有长时视频,所述视频文件内容含有单个人的面部,所述面部有较大幅度、速度旋转和真实生理信号数据。
S2:将单个长时视频分割成多段短时视频片段,以生理信号标签时间间隔为短时视频片段截取窗口长度,以生理信号标签时间点为窗口中间时间点进行长视频切分,每段所述短时视频片段具有固定帧数,并且每段所述短时视频片段对应一个真实生理信号标签;每段短视频文件需无压缩保存,格式为.avi。
S3:对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸,使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标,选择这两侧矩形框作为生理信号识别的感兴趣区域,提取生理信号识别的感兴趣区域特征,形成单帧感兴趣区域特征;一是因为脸颊位置不易被遮挡,二是因为脸颊位置血流量丰富,选择此位置作为特征提取区预测效果好。
对于识别不出感兴趣区域特征的帧进行处理方法为:采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值;保证时空图在时间维度上的连续性,由于识别不出的视频帧默认会使用黑色像素代替,而我们采用上一个可识别帧的数值代替识别不出来的帧,相当于在此处插入近似了视频帧数值,避免了较大像素数值差给模型预测带来的不利影响。
S4:对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接,形成多帧视频感兴趣区域特征,将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间,形成包括时间和空间的时空图。
在一些实施例中,所述对所述多段短时视频片段每帧的单帧感兴趣区域特征进行拼接的具体方法包括:
S41:将单侧单帧感兴趣区域特征均匀划分为多个矩形区域,构成像素值矩阵。
在一些实施例中,所述将单侧单帧感兴趣区域特征均匀划分为矩形区域,构成单侧单帧感兴趣区域特征区域矩阵的具体方法为:
所述将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域,构成像素值矩阵的具体形式为:
S42:以RGB为标准对像素值矩阵进行重组,构成像素值重组矩阵。
[1,3],记为
S43:把两侧脸颊像素值矩阵按列拼接成[2mn,3]维矩阵,记为第t帧的特征矩阵Bd[t]构成单帧感兴趣区域特征矩阵。
S44:对多个单帧感兴趣区域特征矩阵按列拼接,形成多帧视频感兴趣区域特征的具体形式为:
把T帧感兴趣区域特征矩阵按列拼接,矩阵记为,
S5:将所述时空图输入到深度学习模型中进行训练,利用训练好的深度学习模型预测生理信号参数。
其中,所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型;将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练,利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
所述三维卷积神经网络模型或者二维卷积神经网络模型以残差网络(ResNet)为骨干构建三维卷积神经网络,在空间维度引入SENet设计思想,加入压缩-激发模块Squeeze-and-Excitation(SE) blocks;三维卷积神经网络引入Depthwise SeparableConvolution和ShuffleNet设计思想,在保证模型一定性能前提下,减小模型复杂度,即channel维度上进行分组卷积,适用于channel数值较大情况,设计模块block;卷积核使用空洞卷积方法dilated convolution,由于受到外界环境噪声影响,所提取的时空图可能有一些连续信息缺失或信息不准确;同时,池化pooling操作也会造成生理信号脉动信息的损失,使用大卷积核,如5*5卷积,也可以与3*3卷积核混合使用,或者使用空洞卷积增大感受野,减少使用大卷积核带来的计算量,即每个卷积输出包含较大范围的信息,提高卷积提取信息有效性;使用具有大卷积核神经网络,如Alexnet,对于头部大幅度快速转动或光照变化等因素带来的时空图特征信息连续段缺失问题有较大改善;Alexnet模型第一层卷积核大小为11,感受野面积大,可以更好地提取时空图中生理信号脉动信息,与小卷积核相比,削弱空图信息缺失带来的影响;使用平均绝对误差MAE和均方根误差RMSE评估生理信号测量结果,绘制标签值-预测值散点图。
实施例2:
Opencv读取视频帧图片;视频帧图片RGB空间转换到灰度空间应用于人脸检测;将图片像素坐标转换为numpy数组;确定第一侧矩形四点坐标shape[12][0]、shape[54][0]、shape[33][1]、shape[29][1],围城的矩形代表第一个感兴趣区域;确定第二侧矩形四点坐标shape[48][0]、shape[4][0]、shape[33][1]、shape[29][1],围城的矩形代表第二个感兴趣区域;上述shape[a][b]中,a表示68点标记序号,b为0代表横坐标x,b唯一代表纵坐标y。
受外界环境噪声影响,针对识别不出感兴趣区域域的特定帧的处理方法,如下:
由于帧与帧间隔时间极短,正常情况下的生理信号数值不会发生剧烈的上下剧烈波动,可以采用上一个可识别帧的数值代替识别不出来的帧,提高时空图的鲁棒性;保证时空图在时间维度上的连续性,由于识别不出的视频帧默认会使用黑色像素代替,而我们采用上一个可识别帧的数值代替识别不出来的帧,相当于在此处插入近似视频帧数值,避免了较大像素数值差给模型预测带来的不利影响;
对视频帧单侧感兴趣区域均匀划分为m×n个矩形区域,像素值矩阵记为
把两侧脸颊感兴趣区域按列拼接成[2mn,3]维矩阵,记为第t帧的特征矩阵Bd[t];
把T帧特征矩阵按列拼接,矩阵记为,
把C矩阵由RGB色彩空间转化为YUV色彩空间,生成时空图。
示例地,时空图维度为[128,128,3],其中,长宽128,通道3;
三维卷积神经网络模型输入维度为(batch,c,L,H,W),其中c=3;
二维卷积神经网络模型输入维度为(batch,c,H,W),其中c=3;
batch——模型一批次处理的数据个数;
3——色彩空间RGB通道,即channel个数;
L——代表时间维度,即每个batch输入一个视频片段,其含有的帧数为L;
H——表示空间维度的高,即单张时空图的高;
W——表示空间维度的宽,即单张时空图的宽;
三维卷积神经网络模型预测的输出个数与真实数据标签一致,其维数与输入时间维度L的时空图个数相同;
二维卷积神经网络模型输入单张时空图,模型预测的输出对应时空图的一个真实数据标签;
三维卷积神经网络模型和二维卷积神经网络模型以残差网络(ResNet)为核心构建三维卷积神经网络模型,在空间维度引入SENet设计思想,加入压缩-激发模块Squeeze-and-Excitation(SE) blocks,因为脉动信息对YUV三个通道敏感度不一样,模型通过数据驱动学习到的通道权重决定每个通道信息对生理参数的影响程度,模型在应用SE模块过程中要保持batch、L维度不变。
以下方法也可构建二维卷积神经网络模型,即去掉时间维度L信息,具体实施例如下:
(2)激发:自适应重新标定通道的数值,相当于计算通道所占权值大小
(3)对每个通道特征矩阵加权
三维卷积神经网络模型引入Depthwise Separable Convolution和ShuffleNet设计思想,在保证模型一定性能前提下,减小模型复杂度,即channel维度上进行分组卷积,适用于channel数值较大情况,设计模块 block。
以下方法也可构建二维卷积神经网络模型,即去掉时间维度L信息,具体实施例如下:
以输入的1/2channel数对输入进行分割(channel split),分别作为分支一和分支二的输入;
1、建立分支一,依次经过如下步骤:
(1)分组卷积1×1×1 GConv积,通道可选分为3、4、8组;
(2)批归一化ReLu激活函数或H-Swish激活函数(BN ReLu或BNH-Swish);
(3)深度可分离卷积,每个channel作为一组,卷积步长为2,
3×3×3DWConv(stride=2);
(4)批归一化BN;
(5)分组卷积1×1×1 GConv;
(6)批归一化BN。
2、建立分支二,依次经过以下步骤:
全局平均池化3×3×3 AVG Pool(stride=2)。
3、分支一和分支二进行连接Concat之后,进行通道打乱channel shuffle,以上所有步骤构成shuffle块。
卷积核使用空洞卷积方法dilated convolution,由于受到外界环境噪声影响,所提取的时空图可能有一些连续信息缺失或信息不准确;同时,池化pooling操作也会造成生理信号脉动信息的损失,使用空洞卷积增大感受野,即每个卷积输出包含较大范围的信息,提高卷积提取信息有效性。
使用具有大卷积核神经网络,如Alexnet,对于头部大幅度快速转动或光照变化等因素带来的时空图特征信息连续段缺失问题有较大改善;Alexnet模型第一层卷积核大小为11,感受野面积大,可以更好地提取时空图中生理信号脉动信息,与小卷积核相比,削弱空图信息缺失带来的影响。
生理信号预测可以多通道同时进行,选取提取好的时空图作为输入,分别使用二维卷积神经网络模型或三维卷积神经网络模型进行训练,输出预测值。
使用平均绝对误差MAE和均方根误差RMSE评估生理信号测量结果,绘制以标签值-预测值为横坐标-纵坐标的散点图,定义如下:
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种生理信号预测方法,其特征在于,包括:
S1:采集视频文件,所述视频文件中包含有长时视频,所述视频文件内容含有单个人的面部,所述面部有一定幅度、速度的旋转和真实生理信号数据;
S2:将单个长时视频分割成多段短时视频片段,每段短时视频片段具有固定帧数,并且所述每段短时视频片段对应一个真实生理信号标签;
S3:利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征,形成单帧感兴趣区域特征;
S4:对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接,形成多帧视频感兴趣区域特征,将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间,形成包含时间和空间的时空图;
所述对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接的具体方法包括:
S41:将单侧单帧感兴趣区域特征均匀划分为多个矩形区域,构成像素值矩阵;
S42:以RGB为标准对像素值矩阵进行重组,构成像素值重组矩阵;
S43:对两侧脸颊像素值矩阵按列拼接,构成单帧感兴趣区域特征矩阵;
S44:对多个单帧感兴趣区域特征矩阵按列拼接,形成多帧视频感兴趣区域特征;
所述将单侧单帧感兴趣区域特征均匀划分为多个矩形区域,构成像素值矩阵的具体方法为:
将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域,构成像素值矩阵的具体形式为:
S5:将所述时空图输入到深度学习模型中进行训练,利用训练好的深度学习模型预测生理信号参数。
2.根据权利要求1所述的生理信号预测方法,其特征在于,所述将单个长时视频分割成多段短时视频片段的具体方法为:
以生理信号标签时间间隔为短时视频片段截取窗口长度,以生理信号标签时间点为窗口中间时间点进行长视频切分。
3.根据权利要求1所述的生理信号预测方法,其特征在于,所述利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征的具体方法为:
使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标,选择这两侧矩形框作为生理信号识别的感兴趣区域。
4.根据权利要求3所述的生理信号预测方法,其特征在于,对于识别不出感兴趣区域特征的帧进行处理方法为:采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值。
5.根据权利要求3所述的生理信号预测方法,其特征在于,所述利用所述短时视频片段的每一帧,提取生理信号识别的感兴趣区域特征的具体方法还包括:对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸。
8.根据权利要求7所述的生理信号预测方法,其特征在于,所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型;将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练,利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196564.7A CN112580612B (zh) | 2021-02-22 | 2021-02-22 | 一种生理信号预测方法 |
US17/471,485 US11227161B1 (en) | 2021-02-22 | 2021-09-10 | Physiological signal prediction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196564.7A CN112580612B (zh) | 2021-02-22 | 2021-02-22 | 一种生理信号预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112580612A CN112580612A (zh) | 2021-03-30 |
CN112580612B true CN112580612B (zh) | 2021-06-08 |
Family
ID=75113944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110196564.7A Active CN112580612B (zh) | 2021-02-22 | 2021-02-22 | 一种生理信号预测方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11227161B1 (zh) |
CN (1) | CN112580612B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092855A (zh) * | 2021-11-15 | 2022-02-25 | 长春理工大学 | 基于深度学习的非接触智能人体心率预测方法 |
CN114596619B (zh) * | 2022-05-09 | 2022-07-12 | 深圳市鹰瞳智能技术有限公司 | 基于视频流的情感分析方法、装置、设备及存储介质 |
CN115165164B (zh) * | 2022-06-09 | 2024-09-06 | 华中科技大学 | 基于深度学习导纳特征的混凝土压应力识别方法和系统 |
CN115568861A (zh) * | 2022-10-17 | 2023-01-06 | 天津工业大学 | 一种生理信号的融合方法及系统、解析方法及系统 |
CN116385837B (zh) * | 2023-04-24 | 2023-09-08 | 天津大学 | 基于掩码自编码器进行远程生理测量的自监督预训练方法 |
CN116524612B (zh) * | 2023-06-21 | 2023-09-12 | 长春理工大学 | 一种基于rPPG的人脸活体检测系统及方法 |
CN117710242B (zh) * | 2023-12-20 | 2024-06-14 | 四川大学 | 一种抗光照和运动干扰的非接触式生理参数提取方法 |
CN118236053B (zh) * | 2024-05-28 | 2024-07-26 | 贵州师范大学 | 一种基于时空图神经网络的心率检测方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3440991A1 (en) * | 2017-08-08 | 2019-02-13 | Koninklijke Philips N.V. | Device, system and method for determining a physiological parameter of a subject |
CN109846469A (zh) * | 2019-04-16 | 2019-06-07 | 合肥工业大学 | 一种基于卷积神经网络的非接触式心率测量方法 |
CN110236515A (zh) * | 2019-07-19 | 2019-09-17 | 合肥工业大学 | 一种基于近红外视频的非接触式心率检测方法 |
CN110236514A (zh) * | 2019-07-12 | 2019-09-17 | 华东师范大学 | 基于视频的众值提取和中值滤波结合的实时心率检测方法 |
CN110547783A (zh) * | 2019-07-31 | 2019-12-10 | 平安科技(深圳)有限公司 | 非接触性心率检测方法、系统、设备及存储介质 |
CN110619301A (zh) * | 2019-09-13 | 2019-12-27 | 道和安邦(天津)安防科技有限公司 | 一种基于双模态信号的情绪自动识别方法 |
CN112381011A (zh) * | 2020-11-18 | 2021-02-19 | 中国科学院自动化研究所 | 基于人脸图像的非接触式心率测量方法、系统及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10405762B2 (en) * | 2009-04-22 | 2019-09-10 | Vital Metrix, Inc. | System and method for noninvasively measuring ventricular stroke volume and cardiac output |
US9339210B2 (en) | 2013-05-08 | 2016-05-17 | Koninklijke Philips N.V. | Device for obtaining a vital sign of a subject |
US9245338B2 (en) | 2014-05-19 | 2016-01-26 | Xerox Corporation | Increasing accuracy of a physiological signal obtained from a video of a subject |
US11103140B2 (en) * | 2015-06-14 | 2021-08-31 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
US10783632B2 (en) * | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
CN110647815A (zh) * | 2019-08-25 | 2020-01-03 | 上海贝瑞电子科技有限公司 | 一种基于人脸视频图像的非接触式心率测量方法及系统 |
US11127164B2 (en) * | 2019-10-04 | 2021-09-21 | Mitsubishi Electric Research Laboratories, Inc. | Image processing system and method for landmark location estimation with uncertainty |
US11017902B2 (en) * | 2019-10-25 | 2021-05-25 | Wise IOT Solutions | System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud |
-
2021
- 2021-02-22 CN CN202110196564.7A patent/CN112580612B/zh active Active
- 2021-09-10 US US17/471,485 patent/US11227161B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3440991A1 (en) * | 2017-08-08 | 2019-02-13 | Koninklijke Philips N.V. | Device, system and method for determining a physiological parameter of a subject |
CN109846469A (zh) * | 2019-04-16 | 2019-06-07 | 合肥工业大学 | 一种基于卷积神经网络的非接触式心率测量方法 |
CN110236514A (zh) * | 2019-07-12 | 2019-09-17 | 华东师范大学 | 基于视频的众值提取和中值滤波结合的实时心率检测方法 |
CN110236515A (zh) * | 2019-07-19 | 2019-09-17 | 合肥工业大学 | 一种基于近红外视频的非接触式心率检测方法 |
CN110547783A (zh) * | 2019-07-31 | 2019-12-10 | 平安科技(深圳)有限公司 | 非接触性心率检测方法、系统、设备及存储介质 |
CN110619301A (zh) * | 2019-09-13 | 2019-12-27 | 道和安邦(天津)安防科技有限公司 | 一种基于双模态信号的情绪自动识别方法 |
CN112381011A (zh) * | 2020-11-18 | 2021-02-19 | 中国科学院自动化研究所 | 基于人脸图像的非接触式心率测量方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
US11227161B1 (en) | 2022-01-18 |
CN112580612A (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112580612B (zh) | 一种生理信号预测方法 | |
CN103996192B (zh) | 基于高质量自然图像统计量模型的无参考图像质量评价方法 | |
CN104412302B (zh) | 对象检测装置以及对象检测方法 | |
CN112927202A (zh) | 多时域多特征结合的Deepfake视频检测方法及系统 | |
CN111563447A (zh) | 一种基于密度图的人群密度分析与检测定位方法 | |
CN111383244B (zh) | 一种目标检测跟踪方法 | |
CN109376589A (zh) | 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法 | |
CN114612714B (zh) | 基于课程学习的无参考图像质量评价方法 | |
CN114677722A (zh) | 一种融合多尺度特征的多监督人脸活体检测方法 | |
Li et al. | CG-DIQA: No-reference document image quality assessment based on character gradient | |
CN110852271A (zh) | 一种基于峰值帧和深度森林的微表情识别方法 | |
CN116052212A (zh) | 一种基于双重自监督学习的半监督跨模态行人重识别方法 | |
CN116452966A (zh) | 一种水下图像的目标检测方法、装置、设备及存储介质 | |
CN115410119A (zh) | 一种基于训练样本自适应生成的剧烈运动检测方法及系统 | |
CN114449362A (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
CN111144368A (zh) | 基于长短时记忆神经网络的学生行为检测方法 | |
CN113963427B (zh) | 一种快速活体检测的方法与系统 | |
CN115909400A (zh) | 一种用于低分辨率监控场景中使用手机行为的识别方法 | |
CN111753640B (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 | |
CN111402189B (zh) | 一种视频图像偏色检测装置及方法 | |
CN109063591B (zh) | 一种基于距离分布度量学习的行人再识别方法 | |
CN118379781B (zh) | 一种基于猝倒面容识别模型的猝倒面容识别方法及装置 | |
CN113537174B (zh) | 一种珊瑚礁生境调查视频分析方法 | |
CN111145150B (zh) | 一种通用型无参考图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |