CN112580612B - 一种生理信号预测方法 - Google Patents

一种生理信号预测方法 Download PDF

Info

Publication number
CN112580612B
CN112580612B CN202110196564.7A CN202110196564A CN112580612B CN 112580612 B CN112580612 B CN 112580612B CN 202110196564 A CN202110196564 A CN 202110196564A CN 112580612 B CN112580612 B CN 112580612B
Authority
CN
China
Prior art keywords
frame
video
region
matrix
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110196564.7A
Other languages
English (en)
Other versions
CN112580612A (zh
Inventor
陶建华
何宇
刘斌
孙立才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110196564.7A priority Critical patent/CN112580612B/zh
Publication of CN112580612A publication Critical patent/CN112580612A/zh
Application granted granted Critical
Publication of CN112580612B publication Critical patent/CN112580612B/zh
Priority to US17/471,485 priority patent/US11227161B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

本申请涉及一种生理信号预测方法，包括：采集视频文件，视频文件中包含有长时视频，视频的文件内容含有单个人的面部和真实生理信号数据；将单个长时视频分割成多段短时视频片段，每段短时视频片段具有固定帧数，并且每段短时视频片段对应一个真实生理信号标签；利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间信息的时空图；将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。

Description

一种生理信号预测方法
技术领域
本申请涉及数据处理领域，尤其涉及一种生理信号预测方法。
背景技术
近年来兴起的rPPG(Remote Photoplethysmography)是一种无接触的测量方法，正常人体内的毛细血管扩张和收缩会引起的血容量改变，血管内的血红蛋白的数量和血氧含量也随时间变化，考虑到血红蛋白会吸收射入皮肤的光，所以有漫反射光波会随血容量改变发生微小的改变；由上述可知，通过摄像头可以捕捉红、绿、蓝光波随时间的微小周期性数值波动，即脉动信息，达到测量生理信号的目的。
现有基于rPPG测量生理信号的技术主要是独立成分分析（ICA）、快速傅里叶变换（FFT）、小波变换（WT）等传统信号处理方法，本方法是采用数据驱动建模方法，从视频中提取具有生理信号脉动信息的时空图，以时空图作为深度学习模型的输入学习生理信号参数变化，时空图输入可作为不同生理参数通道预测模型的输入。
专利申请公布号CN105100701A公开了用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。在一个实施例中，接收视频的图像帧。处理连续成批的图像帧。对于每一批，与主体的暴露身体区域关联的像素被分离、处理以获得时间-序列信号。如果在捕获这些图像帧的过程中出现低于预定阈值水平的运动，则预测模型的参数使用这一批的时间-序列信号来更新。否则，最后更新的预测模型被用来生成这一批的预测时间-序列信号。时间-序列信号与预测的时间-序列信号融合，以获得融合的时间-序列信号。每一批时间-序列信号被处理，以获得与生理功能对应的主体的生理信号。
专利申请公布号CN105190691B涉及一种用于在尽管有对象的运动的情况下获得对象的生命体征，尤其是在基于投影的生命体征记录中将诸如呼吸信息信号的生命体征与噪声区别开的设备和方法。所提出的设备包括：接口(124)，其用于接收对象的图像帧的集合；分析单元(128)，其用于确定方向改变的量和/或在所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变之间的时间距离，方向改变指示所述感兴趣的区域内出现的运动的所述方向的改变；评估单元(132)，其用于通过使用所确定的方向改变的量和/或所述图像帧的子集的所述时间距离来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声；以及处理器(136)，其用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域包括期望的生命体征。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种生理信号预测方法，包括：
S1：采集视频文件，所述视频文件中包含有长时视频，所述视频文件内容含有单个人的面部，所述面部有较大幅度、速度旋转和真实生理信号数据；
S2：将单个长时视频分割成多段短时视频片段，每段所述短时视频片段具有固定帧数，并且每段所述短时视频片段对应一个真实生理信号标签；
S3：利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；
S4：对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间的时空图；
S5：将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。
优选的，所述将单个长时视频分割成多段短时视频片段的具体方法为：
以生理信号标签时间间隔为短时视频片段截取窗口长度，以生理信号标签时间点为窗口中间时间点进行长视频切分。
优选的，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法为：
使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标，选择这两侧矩形框作为生理信号识别的感兴趣区域。
优选的，对于识别不出感兴趣区域特征的帧进行处理方法为：采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值。
优选的，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法还包括：对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸。
优选的，所述对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接的具体方法包括：
S41：将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵；
S42：以RGB为标准对像素值矩阵进行重组，构成像素值重组矩阵；
S43：对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵；
S44：对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征。
优选的，所述将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵的具体方法为：
所述将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域，构成像素值矩阵的具体形式为：
Figure 321015DEST_PATH_IMAGE001
其中，
Figure 416010DEST_PATH_IMAGE002
代表单个矩形区像素矩阵，矩阵维度为[p，q，3]；
重新调整
Figure 537550DEST_PATH_IMAGE002
块像素矩阵维度为[p×q，3]，其中3列对应RGB通道。
优选的，所述以RGB为标准对像素值矩阵进行重组的方法为：
把
Figure 766406DEST_PATH_IMAGE002
内像素值分别对R、G、B三通道按列取平均值，矩阵维度[1，3]，记为
Figure DEST_PATH_IMAGE003
；
把
Figure 391422DEST_PATH_IMAGE004
按列拼接成[mn，3]维矩阵，矩阵记为：
Figure DEST_PATH_IMAGE005
。
优选的，所述对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵的具体形式为：
把两侧脸颊像素值矩阵按列拼接成[2mn，3]维矩阵，记为第t帧的特征矩阵Bd[t]；
对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征的具体形式为：
把T帧感兴趣区域特征矩阵按列拼接，矩阵记为，
Figure 657318DEST_PATH_IMAGE006
。
优选的，所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型；将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练，利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，是以具有生理参数标签的视频，截取具有固定帧数的视频片段换为时空图，时空图中包含生理信号脉动信息，把时空图输入深度学习模型进行生理参数预测训练，依据训练好的深度学习模型对个人生理参数进行预测；
同时，头部大幅度快速转动或光照变化等环境噪声可引起生理信号数值在短时间内发生剧烈的上下震荡，通过选择同一视频切分成的多个视频片段所对应时空图作为3D深度学习模型输入的时间维度进行学习，这样，模型考虑了生理信号短时间变化的平稳性——即生理信号数值随时间变化波形上下震荡较小，提高了生理参数预测稳定性和鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种生理信号预测方法流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
如图1所示，本申请实施例提供的一种生理信号预测方法，包括：
S1：采集视频文件，所述视频文件中包含有长时视频，所述视频文件内容含有单个人的面部，所述面部有较大幅度、速度旋转和真实生理信号数据。
S2：将单个长时视频分割成多段短时视频片段，以生理信号标签时间间隔为短时视频片段截取窗口长度，以生理信号标签时间点为窗口中间时间点进行长视频切分，每段所述短时视频片段具有固定帧数，并且每段所述短时视频片段对应一个真实生理信号标签；每段短视频文件需无压缩保存，格式为.avi。
S3：对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸，使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标，选择这两侧矩形框作为生理信号识别的感兴趣区域，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；一是因为脸颊位置不易被遮挡，二是因为脸颊位置血流量丰富，选择此位置作为特征提取区预测效果好。
对于识别不出感兴趣区域特征的帧进行处理方法为：采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值；保证时空图在时间维度上的连续性，由于识别不出的视频帧默认会使用黑色像素代替，而我们采用上一个可识别帧的数值代替识别不出来的帧，相当于在此处插入近似了视频帧数值，避免了较大像素数值差给模型预测带来的不利影响。
S4：对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包括时间和空间的时空图。
在一些实施例中，所述对所述多段短时视频片段每帧的单帧感兴趣区域特征进行拼接的具体方法包括：
S41：将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵。
在一些实施例中，所述将单侧单帧感兴趣区域特征均匀划分为矩形区域，构成单侧单帧感兴趣区域特征区域矩阵的具体方法为：
所述将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域，构成像素值矩阵的具体形式为：
Figure DEST_PATH_IMAGE007
其中，
Figure 128139DEST_PATH_IMAGE002
代表单个矩形区像素矩阵，矩阵维度为[p，q，3]；
重新调整
Figure 36052DEST_PATH_IMAGE002
块像素矩阵维度为[p×q，3]，其中3列对应RGB通道。
S42：以RGB为标准对像素值矩阵进行重组，构成像素值重组矩阵。
把
Figure 781154DEST_PATH_IMAGE002
内像素值分别对R、G、B三通道按列取平均值，矩阵维度
[1，3]，记为
Figure 483531DEST_PATH_IMAGE008
；
把
Figure DEST_PATH_IMAGE009
按列拼接成[mn，3]维矩阵，矩阵记为：
Figure 438717DEST_PATH_IMAGE010
。
S43：把两侧脸颊像素值矩阵按列拼接成[2mn，3]维矩阵，记为第t帧的特征矩阵Bd[t]构成单帧感兴趣区域特征矩阵。
S44：对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征的具体形式为：
把T帧感兴趣区域特征矩阵按列拼接，矩阵记为，
Figure 884742DEST_PATH_IMAGE011
。
S5：将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。
其中，所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型；将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练，利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
所述三维卷积神经网络模型或者二维卷积神经网络模型以残差网络（ResNet）为骨干构建三维卷积神经网络，在空间维度引入SENet设计思想，加入压缩-激发模块Squeeze-and-Excitation(SE) blocks；三维卷积神经网络引入Depthwise SeparableConvolution和ShuffleNet设计思想，在保证模型一定性能前提下，减小模型复杂度，即channel维度上进行分组卷积，适用于channel数值较大情况，设计模块block；卷积核使用空洞卷积方法dilated convolution，由于受到外界环境噪声影响，所提取的时空图可能有一些连续信息缺失或信息不准确；同时，池化pooling操作也会造成生理信号脉动信息的损失，使用大卷积核，如5*5卷积，也可以与3*3卷积核混合使用，或者使用空洞卷积增大感受野，减少使用大卷积核带来的计算量，即每个卷积输出包含较大范围的信息，提高卷积提取信息有效性；使用具有大卷积核神经网络，如Alexnet，对于头部大幅度快速转动或光照变化等因素带来的时空图特征信息连续段缺失问题有较大改善；Alexnet模型第一层卷积核大小为11，感受野面积大，可以更好地提取时空图中生理信号脉动信息，与小卷积核相比，削弱空图信息缺失带来的影响；使用平均绝对误差MAE和均方根误差RMSE评估生理信号测量结果，绘制标签值-预测值散点图。
实施例2：
Opencv读取视频帧图片；视频帧图片RGB空间转换到灰度空间应用于人脸检测；将图片像素坐标转换为numpy数组；确定第一侧矩形四点坐标shape[12][0]、shape[54][0]、shape[33][1]、shape[29][1]，围城的矩形代表第一个感兴趣区域；确定第二侧矩形四点坐标shape[48][0]、shape[4][0]、shape[33][1]、shape[29][1]，围城的矩形代表第二个感兴趣区域；上述shape[a][b]中，a表示68点标记序号，b为0代表横坐标x，b唯一代表纵坐标y。
受外界环境噪声影响，针对识别不出感兴趣区域域的特定帧的处理方法，如下：
由于帧与帧间隔时间极短，正常情况下的生理信号数值不会发生剧烈的上下剧烈波动，可以采用上一个可识别帧的数值代替识别不出来的帧，提高时空图的鲁棒性；保证时空图在时间维度上的连续性，由于识别不出的视频帧默认会使用黑色像素代替，而我们采用上一个可识别帧的数值代替识别不出来的帧，相当于在此处插入近似视频帧数值，避免了较大像素数值差给模型预测带来的不利影响；
对视频帧单侧感兴趣区域均匀划分为m×n个矩形区域，像素值矩阵记为
Figure 749930DEST_PATH_IMAGE007
其中，
Figure 623208DEST_PATH_IMAGE012
代表单个矩形区像素矩阵，矩阵维度为[p，q，3]；
重新调整
Figure 941057DEST_PATH_IMAGE012
块像素矩阵维度为[p×q，3]，其中3列对应RGB通道；
把
Figure 49827DEST_PATH_IMAGE012
内像素值分别对R、G、B三通道按列取平均值，矩阵维度[1，3]，记为
Figure 769521DEST_PATH_IMAGE013
把
Figure 79280DEST_PATH_IMAGE014
按列拼接成[mn，3]维矩阵，矩阵记为
Figure 884425DEST_PATH_IMAGE015
，
把两侧脸颊感兴趣区域按列拼接成[2mn，3]维矩阵，记为第t帧的特征矩阵Bd[t]；
把T帧特征矩阵按列拼接，矩阵记为，
Figure 672252DEST_PATH_IMAGE016
，
把C矩阵由RGB色彩空间转化为YUV色彩空间，生成时空图。
示例地，时空图维度为[128,128,3]，其中，长宽128，通道3；
三维卷积神经网络模型输入维度为(batch，c，L，H，W)，其中c=3；
二维卷积神经网络模型输入维度为(batch，c，H，W)，其中c=3；
batch——模型一批次处理的数据个数；
3——色彩空间RGB通道，即channel个数；
L——代表时间维度，即每个batch输入一个视频片段，其含有的帧数为L；
H——表示空间维度的高，即单张时空图的高；
W——表示空间维度的宽，即单张时空图的宽；
三维卷积神经网络模型预测的输出个数与真实数据标签一致，其维数与输入时间维度L的时空图个数相同；
二维卷积神经网络模型输入单张时空图，模型预测的输出对应时空图的一个真实数据标签；
三维卷积神经网络模型和二维卷积神经网络模型以残差网络（ResNet）为核心构建三维卷积神经网络模型，在空间维度引入SENet设计思想，加入压缩-激发模块Squeeze-and-Excitation(SE) blocks，因为脉动信息对YUV三个通道敏感度不一样，模型通过数据驱动学习到的通道权重决定每个通道信息对生理参数的影响程度，模型在应用SE模块过程中要保持batch、L维度不变。
以下方法也可构建二维卷积神经网络模型，即去掉时间维度L信息，具体实施例如下：
（1）压缩：维持时间维度L不变，对单张时空图的输入特征矩阵
Figure 371087DEST_PATH_IMAGE017
，对每个通道对应的特征矩阵取全局平均池化，公式如下：
Figure 586168DEST_PATH_IMAGE018
其中
Figure 878609DEST_PATH_IMAGE019
为通道平均值数值，下标c代表通道，H、W分别代表高和宽，
Figure 470127DEST_PATH_IMAGE020
代表第i、j像素点矩阵数值。
（2）激发：自适应重新标定通道的数值，相当于计算通道所占权值大小
Figure 898834DEST_PATH_IMAGE021
其中
Figure 409450DEST_PATH_IMAGE022
为ReLu激活函数，W1、W2为全连接层权重，
Figure 454767DEST_PATH_IMAGE023
为softmax函数，应用于空间维度H、W，时间维度L不变。
（3）对每个通道特征矩阵加权
Figure 584397DEST_PATH_IMAGE024
其中
Figure 867610DEST_PATH_IMAGE025
代表加权后通道c的特征矩阵数值，
Figure 690073DEST_PATH_IMAGE026
代表通道c对应的加权值。
三维卷积神经网络模型引入Depthwise Separable Convolution和ShuffleNet设计思想，在保证模型一定性能前提下，减小模型复杂度，即channel维度上进行分组卷积，适用于channel数值较大情况，设计模块 block。
以下方法也可构建二维卷积神经网络模型，即去掉时间维度L信息，具体实施例如下：
以输入的1/2channel数对输入进行分割（channel split），分别作为分支一和分支二的输入；
1、建立分支一，依次经过如下步骤：
（1）分组卷积1×1×1 GConv积，通道可选分为3、4、8组；
（2）批归一化ReLu激活函数或H-Swish激活函数（BN ReLu或BNH-Swish）；
（3）深度可分离卷积，每个channel作为一组，卷积步长为2，
3×3×3DWConv(stride=2)；
（4）批归一化BN；
（5）分组卷积1×1×1 GConv；
（6）批归一化BN。
2、建立分支二，依次经过以下步骤：
全局平均池化3×3×3 AVG Pool(stride=2)。
3、分支一和分支二进行连接Concat之后，进行通道打乱channel shuffle，以上所有步骤构成shuffle块。
卷积核使用空洞卷积方法dilated convolution，由于受到外界环境噪声影响，所提取的时空图可能有一些连续信息缺失或信息不准确；同时，池化pooling操作也会造成生理信号脉动信息的损失，使用空洞卷积增大感受野，即每个卷积输出包含较大范围的信息，提高卷积提取信息有效性。
使用具有大卷积核神经网络，如Alexnet，对于头部大幅度快速转动或光照变化等因素带来的时空图特征信息连续段缺失问题有较大改善；Alexnet模型第一层卷积核大小为11，感受野面积大，可以更好地提取时空图中生理信号脉动信息，与小卷积核相比，削弱空图信息缺失带来的影响。
生理信号预测可以多通道同时进行，选取提取好的时空图作为输入，分别使用二维卷积神经网络模型或三维卷积神经网络模型进行训练，输出预测值。
使用平均绝对误差MAE和均方根误差RMSE评估生理信号测量结果，绘制以标签值-预测值为横坐标-纵坐标的散点图，定义如下：
Figure 957106DEST_PATH_IMAGE027
其中，
Figure 15061DEST_PATH_IMAGE028
表示模型预测值，y表示视频片段对应的标签，m表示生理参数标签总数。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种生理信号预测方法，其特征在于，包括：
S1：采集视频文件，所述视频文件中包含有长时视频，所述视频文件内容含有单个人的面部，所述面部有一定幅度、速度的旋转和真实生理信号数据；
S2：将单个长时视频分割成多段短时视频片段，每段短时视频片段具有固定帧数，并且所述每段短时视频片段对应一个真实生理信号标签；
S3：利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；
S4：对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间的时空图；
所述对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接的具体方法包括：
S41：将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵；
S42：以RGB为标准对像素值矩阵进行重组，构成像素值重组矩阵；
S43：对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵；
S44：对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征；
所述将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵的具体方法为：
将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域，构成像素值矩阵的具体形式为：
Figure 877528DEST_PATH_IMAGE001
其中，
Figure 404324DEST_PATH_IMAGE002
代表单个矩形区像素矩阵，矩阵维度为[p，q，3]；
重新调整
Figure 604361DEST_PATH_IMAGE002
块像素矩阵维度为[p×q，3]，其中3列对应RGB通道；
S5：将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。
2.根据权利要求1所述的生理信号预测方法，其特征在于，所述将单个长时视频分割成多段短时视频片段的具体方法为：
以生理信号标签时间间隔为短时视频片段截取窗口长度，以生理信号标签时间点为窗口中间时间点进行长视频切分。
3.根据权利要求1所述的生理信号预测方法，其特征在于，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法为：
使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标，选择这两侧矩形框作为生理信号识别的感兴趣区域。
4.根据权利要求3所述的生理信号预测方法，其特征在于，对于识别不出感兴趣区域特征的帧进行处理方法为：采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值。
5.根据权利要求3所述的生理信号预测方法，其特征在于，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法还包括：对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸。
6.根据权利要求1所述的生理信号预测方法，其特征在于，所述以RGB为标准对像素值矩阵进行重组的方法为：
把
Figure 128883DEST_PATH_IMAGE002
内像素值分别对R、G、B三通道按列取平均值，矩阵维度[1，3]，记为
Figure 617634DEST_PATH_IMAGE003
；
把
Figure 885804DEST_PATH_IMAGE004
按列拼接成[mn，3]维矩阵，矩阵记为：
Figure 205927DEST_PATH_IMAGE005
。
7.根据权利要求6所述的生理信号预测方法，其特征在于，所述对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵的具体形式为：
把两侧脸颊像素值矩阵按列拼接成[2mn，3]维矩阵，记为第t帧的特征矩阵Bd[t]；
对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征的具体形式为：
把T帧感兴趣区域特征矩阵按列拼接，矩阵记为，
Figure 166930DEST_PATH_IMAGE006
。
8.根据权利要求7所述的生理信号预测方法，其特征在于，所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型；将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练，利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。
CN202110196564.7A 2021-02-22 2021-02-22 一种生理信号预测方法 Active CN112580612B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110196564.7A CN112580612B (zh) 2021-02-22 2021-02-22 一种生理信号预测方法
US17/471,485 US11227161B1 (en) 2021-02-22 2021-09-10 Physiological signal prediction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110196564.7A CN112580612B (zh) 2021-02-22 2021-02-22 一种生理信号预测方法

Publications (2)

Publication Number Publication Date
CN112580612A CN112580612A (zh) 2021-03-30
CN112580612B true CN112580612B (zh) 2021-06-08

Family

ID=75113944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110196564.7A Active CN112580612B (zh) 2021-02-22 2021-02-22 一种生理信号预测方法

Country Status (2)

Country Link
US (1) US11227161B1 (zh)
CN (1) CN112580612B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092855A (zh) * 2021-11-15 2022-02-25 长春理工大学 基于深度学习的非接触智能人体心率预测方法
CN114596619B (zh) * 2022-05-09 2022-07-12 深圳市鹰瞳智能技术有限公司 基于视频流的情感分析方法、装置、设备及存储介质
CN115568861A (zh) * 2022-10-17 2023-01-06 天津工业大学 一种生理信号的融合方法及系统、解析方法及系统
CN116385837B (zh) * 2023-04-24 2023-09-08 天津大学 基于掩码自编码器进行远程生理测量的自监督预训练方法
CN116524612B (zh) * 2023-06-21 2023-09-12 长春理工大学 一种基于rPPG的人脸活体检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3440991A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
CN109846469A (zh) * 2019-04-16 2019-06-07 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110236514A (zh) * 2019-07-12 2019-09-17 华东师范大学 基于视频的众值提取和中值滤波结合的实时心率检测方法
CN110236515A (zh) * 2019-07-19 2019-09-17 合肥工业大学 一种基于近红外视频的非接触式心率检测方法
CN110547783A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 非接触性心率检测方法、系统、设备及存储介质
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405762B2 (en) * 2009-04-22 2019-09-10 Vital Metrix, Inc. System and method for noninvasively measuring ventricular stroke volume and cardiac output
US9339210B2 (en) 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US9245338B2 (en) 2014-05-19 2016-01-26 Xerox Corporation Increasing accuracy of a physiological signal obtained from a video of a subject
US11103140B2 (en) * 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
US10783632B2 (en) * 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN110647815A (zh) * 2019-08-25 2020-01-03 上海贝瑞电子科技有限公司 一种基于人脸视频图像的非接触式心率测量方法及系统
US11127164B2 (en) * 2019-10-04 2021-09-21 Mitsubishi Electric Research Laboratories, Inc. Image processing system and method for landmark location estimation with uncertainty
US11017902B2 (en) * 2019-10-25 2021-05-25 Wise IOT Solutions System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3440991A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
CN109846469A (zh) * 2019-04-16 2019-06-07 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110236514A (zh) * 2019-07-12 2019-09-17 华东师范大学 基于视频的众值提取和中值滤波结合的实时心率检测方法
CN110236515A (zh) * 2019-07-19 2019-09-17 合肥工业大学 一种基于近红外视频的非接触式心率检测方法
CN110547783A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 非接触性心率检测方法、系统、设备及存储介质
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置

Also Published As

Publication number Publication date
CN112580612A (zh) 2021-03-30
US11227161B1 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN112580612B (zh) 一种生理信号预测方法
CN103996192B (zh) 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN112927202B (zh) 多时域多特征结合的Deepfake视频检测方法及系统
CN104412302B (zh) 对象检测装置以及对象检测方法
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN111563447A (zh) 一种基于密度图的人群密度分析与检测定位方法
CN108154102A (zh) 一种道路交通标志识别方法
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
CN111383244B (zh) 一种目标检测跟踪方法
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
Li et al. CG-DIQA: No-reference document image quality assessment based on character gradient
CN116052212A (zh) 一种基于双重自监督学习的半监督跨模态行人重识别方法
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN112801037A (zh) 一种基于连续帧间差异的人脸篡改检测方法
CN116452966A (zh) 一种水下图像的目标检测方法、装置、设备及存储介质
CN115410119A (zh) 一种基于训练样本自适应生成的剧烈运动检测方法及系统
CN110852271A (zh) 一种基于峰值帧和深度森林的微表情识别方法
CN113963427B (zh) 一种快速活体检测的方法与系统
CN115909400A (zh) 一种用于低分辨率监控场景中使用手机行为的识别方法
CN111753640B (zh) 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法
CN114511927A (zh) 一种基于视频时序特征分析的泳池溺水行为判识方法
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN109063591B (zh) 一种基于距离分布度量学习的行人再识别方法
CN111144368A (zh) 基于长短时记忆神经网络的学生行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant