CN112200162B - 基于端到端网络的非接触式心率测量方法、系统和装置 - Google Patents

基于端到端网络的非接触式心率测量方法、系统和装置 Download PDF

Info

Publication number
CN112200162B
CN112200162B CN202011393744.6A CN202011393744A CN112200162B CN 112200162 B CN112200162 B CN 112200162B CN 202011393744 A CN202011393744 A CN 202011393744A CN 112200162 B CN112200162 B CN 112200162B
Authority
CN
China
Prior art keywords
branch
sequence
order
alpha
beta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011393744.6A
Other languages
English (en)
Other versions
CN112200162A (zh
Inventor
葛国敬
朱贵波
王金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011393744.6A priority Critical patent/CN112200162B/zh
Publication of CN112200162A publication Critical patent/CN112200162A/zh
Application granted granted Critical
Publication of CN112200162B publication Critical patent/CN112200162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数据识别领域，具体涉及了一种基于端到端网络的非接触式心率测量方法、系统和装置，旨在解决如何无接触地进行无接触心率测量并提高测量方法的鲁棒性和泛化能力的问题。本发明包括：获取包含人脸信息的待测视频帧序列，基于所述待测视频帧序列，通过人脸检测模型获取人脸感兴趣区域图像序列，通过人脸关键点模型获取人脸关键点位置序列，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取时间段内平均心率值。本发明提高了非接触式心率检测方法的鲁棒性和泛化能力、扩大了可精确测量的心率范围和提高了心率测量的精确度。

Description

基于端到端网络的非接触式心率测量方法、系统和装置
技术领域
本发明属于数据识别领域，具体涉及了基于端到端网络的非接触式心率测量方法、系统和装置。
背景技术
心率是在很多场合都需要被测量的一个重要的指标，特别是在健康领域。传统的设备中，监测心跳速率和心脏活动是由测量电生理讯号与心电图 (ECG) 或者是光体积变化描记图法（PPG）来完成的，ECG需要将电极连接到身体来量测心脏组织中所引发电活动的信号，PPG也需要通过设备与人体接触才能测量，接触式的设备让被测试的人感觉不舒服，特别是对于疫情期间无接触医疗需求的激增，为了解决这个问题，最近几年通过人脸测心率的技术被工业界和学术界广泛的研究。首先解释为什么可以通过摄像头来测量人的心率：皮肤的光吸收会随着血容量脉冲周期性变化，真皮和皮下层微血管中的诸如血红蛋白之类的染色体吸收了不成比例的光，因此当血液通过下面的静脉和动脉泵出时，颜色会发生微小变化。虽然人眼看不见，但嵌入可穿戴设备中的 RGB 传感器可以轻松捕获，这是通过人脸获取心率的理论依据。
在早期的远程心率测量研究中，许多传统的方法通过两个阶段完成这个任务，首先从检测或者跟踪到的人脸关键区域中获取rPPG的信号，然后从频域中分析得到心率值。一方面，一些传统方法分析脸部区域的微妙的颜色变化用以做心率测量：Verkrussysse首先发现rPPG信号可以使用从自然光下抽取的绿色通道得到心率信号；Poh 使用独立成分分析去除噪声；Li提出一种跟踪定义好的人脸关键区域的方法通过光线较正和非刚体的运动消除来做粗rPPG信号的恢复；Tulyakov 提出自适应矩阵分解的方法做心率估计。另一方面，CHROM 和POS使用颜色子空间变换的方法用来做皮肤像素的心率测量。
基于一些传统方法的先验知识，通过人脸测心率这个任务被设计成非端到端的方式。通过传统的CHROM 方法抽取了rPPG信号，对于获取到的rPPG信号，经过时域滤波、主成分分析、信号选择、心率估计然后得到心率值。
近年来，一些基于深度学习的非端到端的通过人脸测试心率的方法发展起来，Spetik 提出一个两阶段的方法，首先通过一个二维的卷积神经网络获取rPPG 信号，然后通过另外的一维的卷积神经网络回归得到心率值。也有一些端到端的通过人脸测心率的方法最近被提出来，Niu在RhythmNet提出一种端到端的方法。比如输入人脸视频帧序列，直接得到人脸的实时心率或者是一段时间内（比如10s）心率的平均值。
深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。现有的通过人脸测试心率的方法尚有以下不足：首先，现有的数据集不足够大，这样我们只能采用浅层神经网络，学习的模型比较容易过拟合，而通常来说，在训练数据足够多的情况下，更深的神经网络的判别能力和泛化能力更强；其次，通过人脸测心率这个任务容易受到头部运动、光线变化和不同设备的影响；再次不同的损失函数对结果影响也比较大。
发明内容
为了解决现有技术中的上述问题，即如何无接触地进行无接触心率测量并提高测量方法的鲁棒性和泛化能力的问题，本发明提供了一种基于端到端网络的非接触式心率测量方法，所述方法包括：
步骤S10，获取包含人脸信息的待测视频帧序列；
步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；
步骤S30，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；
其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数获得训练好的的端到端双分支网络；
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连；
在α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列。
进一步地，步骤S30包括：
步骤S31，通过所述端到端双分支网络中的α分支按时间顺序均匀采集所述人脸感兴趣区域图像序列中x张图像作为α分支待处理图像序列，通过β分支按时间顺序均匀采集nx张图像作为β分支待处理图像序列
步骤S32，令s=1，基于所述α分支待处理图像序列，通过第一多分支构建模块获取α分支s阶特征序列；基于所述β分支待处理图像序列，通过第二多分支构建模块获取β分支s阶特征序列；
步骤S33，基于所述α分支s阶特征序列，通过α分支s阶特征提取模块获取α分支s+1阶待融合特征序列；基于所述β分支s阶特征序列，通过β分支s阶特征提取模块获取β分支s+1阶特征序列；
步骤S34，将所述β分支第s+1阶特征序列通过偏置网络进行尺度调整生成β分支s+1阶偏置特征序列，将所述β分支s+1阶偏置特征序列和所述α分支s+1阶待融合特征序列融合为α分支s+1阶特征序列；
步骤S35，基于所述α分支s+1阶待注意特征序列，通过非局部区域自注意模块获取α分支s+1阶特征序列；
步骤S36，令s=s+1，重复步骤S33-步骤S35的过程直至s+1=5；此时α分支第s+1阶特征序列即为时间段内平均心率值。
进一步地，所述训练好的端到端双分支网络，其训练方法为：
步骤A10，获取训练视频帧序列，所述训练视频帧序列为标注了标准心率的视频帧序列；
步骤A20，基于所述训练视频帧序列，重复步骤S31-步骤S36的操作，通过坐标下降法调整端到端双分支网络的参数和各阶段的权重，直至皮尔逊负相关系数损失与L1损失之和小于预设的第一阈值或迭代至预设的次数，获得训练好的端到端双分支网络。
进一步地，所述非局部区域自注意模块包括3个第三卷积层和1个第四卷积层；
第1个第三卷积层和第2个第三卷积层基于所述α分支s+1阶待注意特征序列获取第一1阶注意特征序列和第二1阶注意特征序列，将所述第一1阶注意特征序列和第二1阶注意特征序列相乘并通过softmax进行分类生成第一2阶待注意特征序列；
第3个第三卷积层基于所述待注意特征序列获取第二2阶待注意特征序列，并将所述第二2阶待注意特征序列与第一2阶待注意特征序列相乘生成3阶待注意特征序列；
第四卷积层基于所述3阶待注意特征序列生成3阶注意特征序列，将所述3阶注意特征序列与所述α分支s+1阶待注意特征序列加和，生成α分支s+1阶特征序列。
进一步地，特征提取模块由数个基础块和数个瓶颈块构建；
所述基础块包括顺次连接的第五卷积层、第三归一化层、第三修正线性成、第六卷积层、第四归一化层、第四修正线性层、第七卷积层和第五归一化层组成；其中第五卷积层的卷积核为[1 1 1],第六卷积层的卷积核为[1 3 3]，第七个卷积层的卷积核为[1 1 1]。
所述瓶颈块包括顺次连接的第八卷积层、第六归一化层、第五修正线性层、第九卷积层、第七归一化层、第六修正线性层、第十卷积层和第八归一化层组成；其中第八卷积层的卷积核是[3 1 1],第九卷积层的卷积核是[1 3 3]，第十卷积层的卷积核为 [1 1 1]。
α分支1阶特征提取模块包括3个基础块，输入的通道为
Figure 918617DEST_PATH_IMAGE001
，输出的通道为
Figure 111700DEST_PATH_IMAGE002
；α 分支2阶特征提取模块包括4个基础块，输入的通道为
Figure 312875DEST_PATH_IMAGE003
，输出通道为
Figure 958620DEST_PATH_IMAGE004
；α分支3阶特 征提取模块,包括6个瓶颈块，输入通道为
Figure 240959DEST_PATH_IMAGE002
，输出通道为
Figure 757391DEST_PATH_IMAGE005
；α分支4阶特征提取模块， 包括3个瓶颈块，输入通道为
Figure 598308DEST_PATH_IMAGE004
，输出通道为
Figure 200190DEST_PATH_IMAGE006
；k为正整数；
β分支1阶特征提取模块包括3个瓶颈块，输入的通道为
Figure 519176DEST_PATH_IMAGE007
，输出的通道为
Figure 890115DEST_PATH_IMAGE008
；β分 支2阶特征提取模块包括4个瓶颈块，输入的通道为
Figure 901933DEST_PATH_IMAGE009
，输出通道为
Figure 725533DEST_PATH_IMAGE010
；β分支3阶特征提 取模块,包括6个瓶颈块，输入通道为
Figure 615253DEST_PATH_IMAGE008
，输出通道为
Figure 840698DEST_PATH_IMAGE011
；β分支4阶特征提取模块，包括 3个瓶颈块，输入通道为
Figure 23418DEST_PATH_IMAGE010
，输出通道为
Figure 599893DEST_PATH_IMAGE012
；l为正整数，l+2=k。
进一步地，步骤S20和步骤S30之间还包括步骤S20B基于感兴趣区域图像序列进行样本扩增；
步骤S21B，基于所述感兴趣区域图像序列，通过人脸关键点模型获取人脸关键点位置序列；
步骤S22B，基于所述感兴趣区域图像序列和人脸关键点位置序列，通过裁剪和仿射变换的方法获取不同尺度的人脸图片集；
步骤S23B，基于所述不同尺度的人脸图片集，通过部分区域擦除和左右翻转的方法进行样本扩增获得扩增人脸图片集，并将扩增人脸图片集按时间排序生成扩增的人脸感兴趣区域图像序列。
进一步地，所述第一多分支构建模块和第二多分支构建模块结构相同，包括顺次连接的第一卷积层、第一归一化层、第一修正线性层和第一池化层；所述偏置网络包括顺次连接的第二卷积层、第二归一化层、第二修正线性层和第二池化层。
本发明的另一方面，提出了一种端到端的非接触式心率测量系统，所述系统包括：图像获取单元、人脸提取单元和心率提取单元；
所述图像获取单元，用于获取包含人脸信息的待测视频帧序列；
所述人脸提取单元，用于基于所述待测视频帧序列，通过人脸检测模型获取人脸感兴趣区域图像序列；通过人脸关键点模型获取人脸关键点位置序列；
所述心率提取单元，用于基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取时间段内平均心率值；
其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数；
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述基于端到端网络的非接触式心率测量方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述基于端到端网络的非接触式心率测量方法。
本发明的有益效果：
（1）本发明通过基于3D卷积网络构建的端到端双分支网络从人脸序列图像中端到端地自动学习丰富且具有判别力的特征，并对心率进行预测，使得非接触测试心率的方法能够适应各种因为光线变化和头部运动的影响，具有更强的判别能力和泛化能力。
（2）本发明通过端到端双分支网络的α分支和β分支分别从人脸序列图像中抽取不同时间跨度的人脸图像序列，通过对不同时间跨度的人脸图像进行处理可以更好地提取出时间特征和空间特征，并通过偏置网络将时间特征和空间特征进行融合，使得心率测量方法可以很好的兼顾低心率和高心率的情况，也能适应头部运动，在更大的量程内获得较高精度。
（3）本发明通过非局部自注意模块，直接计算两个位置之间的关系快速捕获场长范围依赖，并且非局部区域自注意力模块计算每个像素位置输出时，不再只和领域计算，而是和图像中所有位置计算相关性，然后将相关性作为一个权重表征其他位置和当前待计算位置的相似度，使得心率测量方法可以适应各种光线变化和头部运动，提高了判别能力。
（4）现有技术也可以通过增加各种光线效果的样本训练心率测量模型以实现心率测量，但是现有的技术只用一个分支进行训练，很难兼顾强照明/若照明条件和高心率/低心率的测量，本发明通过双分支、多尺度分布式的处理，并通过偏置网络将更具判别力的特征结合起来，使心率测量模型具有更好的泛化能力，同时兼顾了光照变化、运动变化和心率范围较大的心率测量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明端到端网络的非接触式心率测量方法流程示意图；
图2为本发明实施例中端到端双分支网络的结构框图；
图3为本发明实施例中非局部区域自注意模块网络结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种方法，本方法所述基于端到端网络的非接触式心率测量方法包括：步骤S10-步骤S30，具体步骤详述如下：
步骤S10，获取包含人脸信息的待测视频帧序列；
步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型来获取人脸感兴趣区域图像序列；
步骤S30，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；
其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连。
为了更清晰地对本发明基于端到端网络的非接触式心率测量方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明基于端到端网络的非接触式心率测量方法，包括步骤S10-步骤S30，具体步骤详述如下：
步骤S10，获取包含人脸信息的待测视频帧序列；
步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和关键点模型获取人脸感兴趣区域图像序列；
在本实施例中，通过Joint Face Detection and Alignment using Multi-taskCascaded Convolutional Networks所述的通过三阶的级联卷积神经网络对任务进行从粗到细的处理算法来训练人脸检测和关键点模型，第一阶段，通过一个浅层的卷积神经网络迅速生成候选窗口。该阶段是一个全部由卷积层组成的卷积神经网络，获取候选人脸窗口以及人脸框回归向量。基于人脸框回归向量对候选窗口进行校正。之后采用合并高重叠率的候选窗口。第二阶段，通过一个更复杂的卷积神经网络否决大量非人脸窗口从而精化人脸窗口。第三阶段，使用更复杂的卷积神经网络进一步精细化结果并输出个人脸特征点。
在本实施例中，还包括步骤S20B基于感兴趣区域图像序列进行样本扩增；
步骤S21B，基于所述感兴趣区域图像序列，通过人脸关键点模型获取感兴趣区域图像序列；
步骤S22B，基于所述感兴趣区域图像序列和人脸关键点位置序列，通过裁剪和仿射变换的方法获取不同尺度的人脸图片集；
步骤S23B，基于所述不同尺度的人脸图片集，通过部分区域擦除和左右翻转的方法进行样本扩增获得扩增人脸图片集，并将扩增人脸图片集按时间排序生成扩增的人脸感兴趣区域图像序列。
步骤S30，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；
在本实施例中，步骤S30包括：
步骤S31，通过所述端到端双分支网络中的α分支按时间顺序均匀采集所述人脸感兴趣区域图像序列中x张图像作为α分支待处理图像序列，通过β分支按时间顺序均匀采集nx张图像作为β分支待处理图像序列；
在本实施例中，A分支和B分支的区别在于优选的B分支的参数量是A分支的1/16轻量化不增加A分支的负担，区别是：A分支对于处理心率比较慢的图像序列，取得显著效果；B分支对于处理心率比较快的图像序列，取得显著效果。
步骤S32，令s=1，基于所述α分支待处理图像序列，通过第一多分支构建模块获取α分支1阶特征序列；基于所述β分支待处理图像序列，通过第二多分支构建模块获取β分支1阶特征序列；
步骤S33，基于所述α分支s阶特征序列，通过α分支s阶特征提取模块获取α分支s+1阶待融合特征序列；基于所述β分支s阶特征序列，通过β分支s阶特征提取模块获取β分支s+1阶特征序列；
步骤S34，将所述β分支第s+1阶特征序列通过偏置网络进行尺度调整生成β分支s+1阶偏置特征序列，将所述β分支s+1阶偏置特征序列和所述α分支s+1阶待融合特征序列融合为α分支s+1阶待注意特征序列；
步骤S35，基于所述α分支s+1阶待注意特征序列，通过非局部区域自注意模块获取α分支s+1阶特征序列；
步骤S36，令s=s+1，重复步骤S33-步骤S35的过程直至s=5；此时α分支第s+1阶特征序列即为各帧图像对应的心率值。
在本实施例中，α分支1阶特征提取模块包括顺次连接的卷积层、归一化层和3个第一残差结构；所述第一残差结构为残差卷积层、归一化层、修正线性层、残差卷积层、归一化层、修正线性层、残差卷积层和归一化层，其中三个残差结构的卷积层均为3D卷积层；第一残差结构中第1个残差卷积层卷积核为[1 1 1]，步长为[1 1 1]，填充为[0 0 0 ]；第2个残差卷积层卷积核为[1 3 3]， 步长为[1 1 1]，填充为[0 1 1 ]；第3个残差卷积层卷积核为[1 1 1]，步长为[1 1 1]，填充为[0 0 0 ]。
α分支2阶段特征提取模块包括顺次连接的卷积层、归一化层和4个第二残差结构；所述第二残差结构为残差卷积层、归一化层、修正线性层、残差卷积层、归一化层、修正线性层、残差卷积层和归一化层；第二残差结构中第1个残差卷积的卷积核为[1 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]， 第2个残差卷积的卷积核为[1 3 3]， 步长为[1 1 1]，填充为[0 1 1 ]，第3个卷积的卷积核为[1 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]。
α分支3阶段特征提取模块包括顺次连接的卷积层、归一化层和6个第三残差结构；所述第三残差结构为残差卷积层、归一化层、修正线性层、残差卷积层、归一化层、修正线性层、残差卷积层和归一化层；第三残差结构中第1个残差卷积的卷积核为[3 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]， 第2个残差卷积的卷积核为[1 3 3]， 步长为[1 1 1]，填充为[0 1 1 ]，第3个卷积的卷积核为[1 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]。
α分支4阶段特征提取模块包括顺次连接的卷积层、归一化层和3个第四残差结构；所述第四残差结构为残差卷积层、归一化层、修正线性层、残差卷积层、归一化层、修正线性层、残差卷积层和归一化层；第三残差结构中第1个残差卷积的卷积核为[3 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]，第2个残差卷积的卷积核为[1 3 3]， 步长为[1 1 1]，填充为[01 1 ]，第3个卷积的卷积核为[1 1 1]， 步长为[1 1 1]，填充为[0 0 0 ]。
在本实施例中，所述训练好的端到端双分支网络，其训练方法为：
步骤A10，获取训练视频帧序列，所述训练视频帧序列为标注了标准心率的视频帧序列；
步骤A20，基于所述训练视频帧序列，重复步骤S31-步骤S36的操作，通过坐标下降调整端到端双分支网络各阶段的权重，直至皮尔逊负相关系数损失与L1损失之和小于预设的第一阈值或迭代至预设的次数，获得训练好的端到端双分支网络。
假设有两个变量X，Y，那么两个变量间的皮尔逊负相关系数计算方法：
Figure 526261DEST_PATH_IMAGE013
在本实施例中，所述非局部区域自注意模块包括3个第三卷积层和1个第四卷积层；第三卷积层卷积核的大小为[1 1 1]， 步长为[1 1 1]；第四卷积层卷积核为[1 1 1]，步长为[1 1 1]；
第1个第三卷积层和第2个第三卷积层基于所述α分支s+1阶待注意特征序列获取第一1阶注意特征序列和第二1阶注意特征序列，将所述第一1阶注意特征序列和第二1阶注意特征序列相乘并通过softmax进行分类生成第一2阶待注意特征序列；
第3个第三卷积层基于所述待注意特征序列获取第二2阶待注意特征序列，并将所述第二2阶待注意特征序列与第一2阶待注意特征序列相乘生成3阶待注意特征序列；
第四卷积层基于所述3阶待注意特征序列生成3阶注意特征序列，将所述3阶注意特征序列与所述α分支s+1阶待注意特征序列加和，生成α分支s+1阶特征序列。
如图3所示，本实施例自注意机制为：
Figure 606212DEST_PATH_IMAGE014
其中，对于一个特定的特征序列，
Figure 225412DEST_PATH_IMAGE015
表示这个特征序列
Figure 758025DEST_PATH_IMAGE016
的第i个子块；
Figure 488083DEST_PATH_IMAGE017
表示经 过变换之后的一个特征序列的子块，
Figure 924006DEST_PATH_IMAGE018
表示对特征序列
Figure 714108DEST_PATH_IMAGE019
进行1×1×1卷积操作，
Figure 999595DEST_PATH_IMAGE019
表示3 阶注意特征序列的第i个子块；
Figure 267766DEST_PATH_IMAGE020
Figure 322309DEST_PATH_IMAGE021
Figure 283312DEST_PATH_IMAGE022
其中，
Figure 790517DEST_PATH_IMAGE023
表示对特征序列x的第j 个子块进行1×1×1卷积操作，
Figure 862378DEST_PATH_IMAGE024
表 示对特征序列x的第i 个子块进行1×1×1卷积操作，
Figure 538472DEST_PATH_IMAGE025
表示对特征序列x的第j 个 子块进行1×1×1卷积操作，
Figure 139218DEST_PATH_IMAGE026
表示对
Figure 399298DEST_PATH_IMAGE027
对应的向量矩阵与
Figure 9271DEST_PATH_IMAGE028
代表的向量进行矩 阵乘法得到的特征序列，用于计算特征的相似度，T表示转置，
Figure 38407DEST_PATH_IMAGE029
表示对计算得到的第i 块特征和所有的其他计算的第j块特征相似度的求和
Figure 75633DEST_PATH_IMAGE030
其中，所述端到端双分支网络包括α分支和β分支；并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数；
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连。
本实施例提供的双分支网络的结构如图2所示，其中1为第一多分支构建模块，3为α分支1阶特征提取模块，5为α分支2阶特征提取模块，7为α分支3阶特征提取模块，9为α分支4阶特征提取模块；2为第二多分支构建模块，4为β分支1阶特征提取模块，6为β分支2阶特征提取模块，8为β分支3阶特征提取模块，10为β分支4阶特征提取模块；
在本实施例中α分支有1个输入层、69个卷积层和一个损失输出层组成。
在本实施例中，所述第一多分支构建模块和第二多分支构建模块结构相同，包括顺次连接的第一卷积层、第一归一化层、第一修正线性层和第一池化层；所述偏置网络包括顺次连接的第二卷积层、第二归一化层、第二修正线性层和第二池化层。
在本实施例中，α分支的多分支构建模块的卷积层全部为3D卷积，卷积核为[1 77], 步长为[1 2 2],填充为[0 3 3]。归一化层为3D归一化，池化层为最大池化，其中卷积核为[1 3 3]，步长为[1 2 2]，填充为[0 1 1]，输入通道为4，输出通道为8。
在本实施例中，β分支的多分支构建模块卷积层全部为3D卷积，卷积核为[5 7 7]，步长为[1 2 2]，填充为[2 3 3]。归一化层为3D归一化，池化层为最大池化，其中卷积核为[1 3 3]，步长为[1 2 2]，填充为[0 1 1]，输入通道为32，输出通道为8。
在本实施例中，特征提取模块由数个基础块和数个瓶颈块构建；
所述基础块包括顺次连接的第五卷积层、第三归一化层、第三修正线性成、第六卷积层、第四归一化层、第四修正线性层、第七卷积层和第五归一化层组成；其中第五卷积层的卷积核为[1 1 1],第六卷积层的卷积核为[1 3 3]，第七个卷积层的卷积核为[1 1 1]。
所述瓶颈块包括顺次连接的第八卷积层、第六归一化层、第五修正线性层、第九卷积层、第七归一化层、第六修正线性层、第十卷积层和第八归一化层组成；其中第八卷积层的卷积核是[3 1 1],第九卷积层的卷积核是[1 3 3]，第十卷积层的卷积核为 [1 1 1]。
α分支1阶特征提取模块包括3个基础块，输入的通道为
Figure 823009DEST_PATH_IMAGE001
，输出的通道为
Figure 236673DEST_PATH_IMAGE002
；α 分支2阶特征提取模块包括4个基础块，输入的通道为
Figure 610061DEST_PATH_IMAGE003
，输出通道为
Figure 83768DEST_PATH_IMAGE004
；α分支3阶特 征提取模块,包括6个瓶颈块，输入通道为
Figure 787282DEST_PATH_IMAGE002
，输出通道为
Figure 739057DEST_PATH_IMAGE005
；α分支4阶特征提取模块， 包括3个瓶颈块，输入通道为
Figure 742785DEST_PATH_IMAGE004
，输出通道为
Figure 121814DEST_PATH_IMAGE006
；k为正整数；
在本实施例中，优选的将k取值为5，l取值为3；
β分支1阶特征提取模块包括3个瓶颈块，输入的通道为
Figure 578203DEST_PATH_IMAGE007
，输出的通道为
Figure 333670DEST_PATH_IMAGE008
；β分 支2阶特征提取模块包括4个瓶颈块，输入的通道为
Figure 191904DEST_PATH_IMAGE009
，输出通道为
Figure 508878DEST_PATH_IMAGE010
；β分支3阶特征提 取模块,包括6个瓶颈块，输入通道为
Figure 452564DEST_PATH_IMAGE008
，输出通道为
Figure 746142DEST_PATH_IMAGE011
；β分支4阶特征提取模块，包括 3个瓶颈块，输入通道为
Figure 458883DEST_PATH_IMAGE010
，输出通道为
Figure 445293DEST_PATH_IMAGE012
；l为正整数，l+2=k。
在α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的输出信息。
本实施例中，偏置网络包括卷积层、归一化层、修正线性层；输入通道为8，输出通道为16，卷积核为[7 1 1]， 步长为[4 1 1]，填充为[3 0 0 ]， BN层为3D归一化。
本发明第二实施例的基于端到端网络的非接触式心率测量系统，包括：图像获取单元、人脸提取单元和心率提取单元；
所述图像获取单元，用于获取包含人脸信息的待测视频帧序列；
所述人脸提取单元，用于基于所述待测视频帧序列，通过人脸检测模型获取人脸感兴趣区域图像序列；通过人脸关键点模型获取人脸关键点位置序列；
所述心率提取单元，用于基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取时间段内平均心率值；
其中，所述端到端双分支网络包括α分支和β分支；α分支和β分支均基于3D残差结构构建；α分支采用大时序跨度，β分支采用小时序跨度，β分支每秒采集图像帧数为α分支的n倍，n为预设的大于1的正数；β分支的通道数是α分支通道数的1/4；
α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块； β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；β分支各阶特征提取模块的输出端还通过偏置网络连接对应阶的α特征提取模块相连；
在α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的输出信息。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于端到端网络的非接触式心率测量方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于端到端网络的非接触式心率测量方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.基于端到端网络的非接触式心率测量方法，其特征在于，所述方法包括：
步骤S10，获取包含人脸信息的待测视频帧序列；
步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；
步骤S30，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；其方法包括：
步骤S31，通过所述端到端双分支网络中的α分支按时间顺序均匀采集所述人脸感兴趣区域图像序列中x张图像作为α分支待处理图像序列，通过β分支按时间顺序均匀采集nx张图像作为β分支待处理图像序列；
步骤S32，令s=1，基于所述α分支待处理图像序列，通过第一多分支构建模块获取α分支s阶特征序列；基于所述β分支待处理图像序列，通过第二多分支构建模块获取β分支s阶特征序列；
步骤S33，基于所述α分支s阶特征序列，通过α分支s阶特征提取模块获取α分支s+1阶待融合特征序列；基于所述β分支s阶特征序列，通过β分支s阶特征提取模块获取β分支s+1阶特征序列；
步骤S34，将所述β分支第s+1阶特征序列通过偏置网络进行尺度调整生成β分支s+1阶偏置特征序列，将所述β分支s+1阶偏置特征序列和所述α分支s+1阶待融合特征序列融合为α分支s+1阶待注意特征序列；
步骤S35，基于所述α分支s+1阶待注意特征序列，通过非局部区域自注意模块获取α分支s+1阶特征序列；
步骤S36，令s=s+1，重复步骤S33-步骤S35的过程直至s=5；此时α分支第s+1阶特征序列即为各帧图像对应的心率值；
其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数；
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连。
2.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，所述训练好的端到端双分支网络，其训练方法为：
步骤A10，获取训练视频帧序列，所述训练视频帧序列为标注了标准心率的视频帧序列；
步骤A20，基于所述训练视频帧序列，重复步骤S31-步骤S36的操作，通过坐标下降法调整端到端双分支网络各阶段的权重，直至皮尔逊负相关系数损失与L1损失之和小于预设的第一阈值或迭代至预设的次数，获得训练好的端到端双分支网络。
3.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，所述非局部区域自注意模块包括3个第三卷积层和1个第四卷积层；
第1个第三卷积层和第2个第三卷积层基于所述α分支s+1阶待注意特征序列获取第一1阶注意特征序列和第二1阶注意特征序列，将所述第一1阶注意特征序列和第二1阶注意特征序列相乘并通过softmax进行分类生成第一2阶待注意特征序列；
第3个第三卷积层基于所述待注意特征序列获取第二2阶待注意特征序列，并将所述第二2阶待注意特征序列与第一2阶待注意特征序列相乘生成3阶待注意特征序列；
第四卷积层基于所述3阶待注意特征序列生成3阶注意特征序列，将所述3阶注意特征序列与所述α分支s+1阶待注意特征序列加和，生成α分支s+1阶特征序列。
4.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，特征提取模块由数个基础块和数个瓶颈块构建；
所述基础块包括顺次连接的第五卷积层、第三归一化层、第三修正线性成、第六卷积层、第四归一化层、第四修正线性层、第七卷积层和第五归一化层组成；
所述瓶颈块包括顺次连接的第八卷积层、第六归一化层、第五修正线性层、第九卷积层、第七归一化层、第六修正线性层、第十卷积层和第八归一化层组成；
α分支1阶特征提取模块包括3个基础块，输入的通道为
Figure DEST_PATH_IMAGE001
，输出的通道为
Figure 84495DEST_PATH_IMAGE002
；α分支2阶特征提取模块包括4个基础块，输入的通道为
Figure DEST_PATH_IMAGE003
，输出通道为
Figure 172537DEST_PATH_IMAGE004
；α分支3阶特征提取模块,包括6个瓶颈块，输入通道为
Figure 846095DEST_PATH_IMAGE002
，输出通道为
Figure DEST_PATH_IMAGE005
；α分支4阶特征提取模块，包括3个瓶颈块，输入通道为
Figure 248257DEST_PATH_IMAGE004
，输出通道为
Figure 448294DEST_PATH_IMAGE006
；k为正整数；
β分支1阶特征提取模块包括3个瓶颈块，输入的通道为
Figure DEST_PATH_IMAGE007
，输出的通道为
Figure 582604DEST_PATH_IMAGE008
；β分支2阶特征提取模块包括4个瓶颈块，输入的通道为
Figure DEST_PATH_IMAGE009
，输出通道为
Figure 540195DEST_PATH_IMAGE010
；β分支3阶特征提取模块,包括6个瓶颈块，输入通道为
Figure 808366DEST_PATH_IMAGE008
，输出通道为
Figure DEST_PATH_IMAGE011
；β分支4阶特征提取模块，包括3个瓶颈块，输入通道为
Figure 472696DEST_PATH_IMAGE010
，输出通道为
Figure 433699DEST_PATH_IMAGE012
； l为正整数，l+2=k。
5.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，步骤S20和步骤S30之间还包括步骤S20B基于感兴趣区域图像序列进行样本扩增；
步骤S21B，基于所述感兴趣区域图像序列，通过人脸关键点模型获取人脸关键点位置序列；
步骤S22B，基于所述感兴趣区域图像序列和人脸关键点位置序列，通过裁剪和仿射变换的方法获取不同尺度的人脸图片集；
步骤S23B，基于所述不同尺度的人脸图片集，通过部分区域擦除和左右翻转的方法进行样本扩增获得扩增人脸图片集，并将扩增人脸图片集按时间排序生成扩增的人脸感兴趣区域图像序列。
6.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，所述第一多分支构建模块和第二多分支构建模块结构相同，包括顺次连接的第一卷积层、第一归一化层、第一修正线性层和第一池化层；所述偏置网络包括顺次连接的第二卷积层、第二归一化层、第二修正线性层和第二池化层。
7.一种基于端到端网络的非接触式心率测量系统，其特征在于，所述系统包括：图像获取单元、人脸提取单元和心率提取单元；
所述图像获取单元，用于获取包含人脸信息的待测视频帧序列；
所述人脸提取单元，用于基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；
所述心率提取单元，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；其方法包括：
步骤S31，通过所述端到端双分支网络中的α分支按时间顺序均匀采集所述人脸感兴趣区域图像序列中x张图像作为α分支待处理图像序列，通过β分支按时间顺序均匀采集nx张图像作为β分支待处理图像序列；
步骤S32，令s=1，基于所述α分支待处理图像序列，通过第一多分支构建模块获取α分支s阶特征序列；基于所述β分支待处理图像序列，通过第二多分支构建模块获取β分支s阶特征序列；
步骤S33，基于所述α分支s阶特征序列，通过α分支s阶特征提取模块获取α分支s+1阶待融合特征序列；基于所述β分支s阶特征序列，通过β分支s阶特征提取模块获取β分支s+1阶特征序列；
步骤S34，将所述β分支第s+1阶特征序列通过偏置网络进行尺度调整生成β分支s+1阶偏置特征序列，将所述β分支s+1阶偏置特征序列和所述α分支s+1阶待融合特征序列融合为α分支s+1阶待注意特征序列；
步骤S35，基于所述α分支s+1阶待注意特征序列，通过非局部区域自注意模块获取α分支s+1阶特征序列；
步骤S36，令s=s+1，重复步骤S33-步骤S35的过程直至s=5；此时α分支第s+1阶特征序列即为各帧图像对应的心率值；
其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数；
所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；
所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于端到端网络的非接触式心率测量方法。
9.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于端到端网络的非接触式心率测量方法。
CN202011393744.6A 2020-12-03 2020-12-03 基于端到端网络的非接触式心率测量方法、系统和装置 Active CN112200162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011393744.6A CN112200162B (zh) 2020-12-03 2020-12-03 基于端到端网络的非接触式心率测量方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011393744.6A CN112200162B (zh) 2020-12-03 2020-12-03 基于端到端网络的非接触式心率测量方法、系统和装置

Publications (2)

Publication Number Publication Date
CN112200162A CN112200162A (zh) 2021-01-08
CN112200162B true CN112200162B (zh) 2021-02-23

Family

ID=74033681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011393744.6A Active CN112200162B (zh) 2020-12-03 2020-12-03 基于端到端网络的非接触式心率测量方法、系统和装置

Country Status (1)

Country Link
CN (1) CN112200162B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397516B (zh) * 2021-06-22 2022-03-25 山东科技大学 一种面向新生儿的视觉心率估计方法、装置及系统
CN113449653B (zh) * 2021-06-30 2022-11-01 广东电网有限责任公司 心率检测方法、系统、终端设备及存储介质
CN113920387B (zh) * 2021-09-13 2023-08-08 西北大学 一种短时rPPG信号检测模型的构建方法及检测方法
CN113892930B (zh) * 2021-12-10 2022-04-22 之江实验室 一种基于多尺度心率信号的面部心率测量方法和装置
CN114343612B (zh) * 2022-03-10 2022-05-24 中国科学院自动化研究所 基于Transformer的非接触式呼吸率测量方法
CN114912487B (zh) * 2022-05-10 2024-04-26 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107692997B (zh) * 2017-11-08 2020-04-21 清华大学 心率检测方法及装置
US20190246910A1 (en) * 2018-02-13 2019-08-15 National Chiao Tung University Imaging-Type Heart Rate Monitoring Device and Method Thereof
CN109846469B (zh) * 2019-04-16 2021-05-04 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110738099B (zh) * 2019-08-30 2022-06-07 中山大学 一种基于自适应双分支网络的低分辨率行人再识别方法
CN112017155B (zh) * 2020-07-13 2023-12-26 浙江华锐捷技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
CN112001122B (zh) * 2020-08-26 2023-09-26 合肥工业大学 基于端到端生成对抗网络的非接触式生理信号测量方法

Also Published As

Publication number Publication date
CN112200162A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
CN109247923B (zh) 基于视频的非接触式脉搏实时估计方法及设备
US20220280087A1 (en) Visual Perception-Based Emotion Recognition Method
CN107666853A (zh) 根据视频序列确定搏动信号
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN113397555A (zh) 生理参数监测用c-lstm的心率失常分类算法
CN109793506B (zh) 一种非接触式桡动脉波形提取方法
CN108921062B (zh) 一种联合多步态特征协同字典的步态识别方法
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
Bourbakis Detecting abnormal patterns in WCE images
Pintea et al. Hand-tremor frequency estimation in videos
US11450148B2 (en) Movement monitoring system
Hernandez-Ortega et al. A comparative evaluation of heart rate estimation methods using face videos
CN111652175A (zh) 应用于机器人辅助手术视频分析的实时手术工具检测方法
CN111053552B (zh) 一种基于深度学习的qrs波检测方法
Hu et al. A novel spatial-temporal convolutional neural network for remote photoplethysmography
CN116226727A (zh) 一种基于ai的运动识别系统
CN113361480B (zh) 基于人脸视频的人体脉搏波获取方法
Hu et al. rPPG-based heart rate estimation using spatial-temporal attention network
Nguyen et al. Non-contact heart rate measurement from deteriorated videos
CN112716468A (zh) 基于三维卷积网络的非接触心率测量方法及装置
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
Chowdhury et al. LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams
CN110801227A (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant