CN113255585A - 一种基于色彩空间学习的人脸视频心率估计方法 - Google Patents

一种基于色彩空间学习的人脸视频心率估计方法 Download PDF

Info

Publication number
CN113255585A
CN113255585A CN202110695521.3A CN202110695521A CN113255585A CN 113255585 A CN113255585 A CN 113255585A CN 202110695521 A CN202110695521 A CN 202110695521A CN 113255585 A CN113255585 A CN 113255585A
Authority
CN
China
Prior art keywords
color space
heart rate
face video
layer
rate estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110695521.3A
Other languages
English (en)
Other versions
CN113255585B (zh
Inventor
邱兆林
林兰芬
陈延伟
童若锋
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110695521.3A priority Critical patent/CN113255585B/zh
Publication of CN113255585A publication Critical patent/CN113255585A/zh
Application granted granted Critical
Publication of CN113255585B publication Critical patent/CN113255585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种基于色彩空间学习的人脸视频心率估计方法，首先获取人脸视频，然后构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；最后将获取的人脸视频输入到构建并训练完成的用于人脸视频心率估计的神经网络中得出估算的心率。本发明首次使用色彩空间变换的方式进行人脸视频的心率估计，对比传统色彩空间降低了误差，提升了预测准确度。

Description

一种基于色彩空间学习的人脸视频心率估计方法
技术领域
本发明涉及心率估计领域，尤其涉及一种基于色彩空间学习的人脸视频心率估计方法。
背景技术
使用人脸视频进行心率估计是非接触式光体积描记法（remotephotoplethysmography，rPPG）技术的一个重要应用。它通过对视频中脸部颜色的细微变化建模分析，估算出脸部的血液脉冲信号，从而预测出被测者的心率信息。
传统的 rPPG方法使用数学建模回归的方式，建立脸部视频与心率的映射关系。CHROM 方法使用基于色度的颜色处理方法提取脉冲信号，比基于 RGB色彩空间方法得到了更高的精度。POS方法使用皮肤平面正交（Plane-Orthogonal-to-Skin）的方法将脸部视频帧进行投影后提取脉冲信号。2SR方法使用了空间子空间旋转（Spatial SubspaceRotation）的方法进一步提升了 rPPG 方法的精度。
近年来，随着深度学习的发展，越来越多的使用神经网络进行心率估算的方法被提出。DeepPhys是第一个基于深度卷积网络的使用视频进行心率和呼吸速率估算的端到端方法。RhythmNet方法使用人脸视频构造了时空特征图，通过卷积神经网络来预测心率。
现有的使用人脸视频的心率估计方法需要提取人脸颜色的细微变化，因此对视频的光照非常敏感。为了选取更加合适的色彩空间以避免其他因素对心率估计的干扰，目前大多数的方法都在 YUV色彩空间上进行，并证明 YUV色彩空间比传统的 RGB色彩空间效果更佳，但无法证明 YUV色彩空间是最适合使用人脸视频的心率估计的色彩空间。
本发明提出了色彩空间学习的方法，创新性地在神经网络中加入了可学习的色彩空间变换层，将人脸视频映射到更适合的色彩空间上，从而达到更高的精度。同时使用了先进的注意力模块和多层皮肤区域选择方法，以充分提取人脸视频中的脉冲信号。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于色彩空间学习的人脸视频心率估计方法，该方法在神经网络中加入了可学习的色彩空间变换层，通过训练可以得到更加适合心率估计的色彩空间，解决了心率估计问题中色彩空间选择的问题。同时网络中加入了先进的注意力模块和多层皮肤区域选择方法，充分利用人脸视频提取脉冲信号，以提高方法的精度。
本发明的目的是通过以下技术方案来实现的：一种基于色彩空间学习的人脸视频心率估计方法，具体步骤如下：
（1）通过摄像机拍摄人脸视频；
（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；
（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取模块提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。
进一步地，步骤（2）中，所述多层皮肤区域选择方法具体为：对于一段长度为
Figure 446848DEST_PATH_IMAGE001
帧， 色彩空间维度为
Figure 247313DEST_PATH_IMAGE002
的人脸视频，选择
Figure 894851DEST_PATH_IMAGE003
个脸部区域进行多层皮肤区域选择，
Figure 351240DEST_PATH_IMAGE003
个脸部区域生 成
Figure 106707DEST_PATH_IMAGE004
个脸部区域的全组合，对每一个脸部区域组合单独进行池化，得到的特征图
Figure 699362DEST_PATH_IMAGE005
的大小是
Figure 514871DEST_PATH_IMAGE006
。
进一步地，步骤（2）中，所述色彩空间变换层是可学习的函数
Figure 458556DEST_PATH_IMAGE007
：
Figure 17714DEST_PATH_IMAGE008
其中
Figure 933717DEST_PATH_IMAGE009
是原色彩空间的颜色表示，其色彩空间维度为
Figure 654549DEST_PATH_IMAGE002
，
Figure 85530DEST_PATH_IMAGE010
是使用
Figure 448378DEST_PATH_IMAGE002
个实数来表示 颜色，
Figure 281205DEST_PATH_IMAGE011
是实数；
Figure 172938DEST_PATH_IMAGE012
为新色彩空间的颜色表示，色彩空间维度为
Figure 91215DEST_PATH_IMAGE013
；因此，特征提取模块提取 出的特征图
Figure 195437DEST_PATH_IMAGE005
经过色彩空间变换层以后得到新色彩空间上的特征图
Figure 617191DEST_PATH_IMAGE014
为：
Figure 945404DEST_PATH_IMAGE015
进一步地，色彩空间变换层
Figure 350978DEST_PATH_IMAGE007
包含线性变换的色彩空间变换层
Figure 52699DEST_PATH_IMAGE016
和非线性变换 的色彩空间变换层
Figure 594539DEST_PATH_IMAGE017
两种；其中，
Figure 93653DEST_PATH_IMAGE018
通过一个大小为
Figure 924206DEST_PATH_IMAGE019
的转换矩阵实现色彩空间 的变换，而为了使该变换可学习，引入一层输入维度为
Figure 166969DEST_PATH_IMAGE002
、输出维度为
Figure 563315DEST_PATH_IMAGE013
的全连接层，该全连 接层的参数即为上述的转换矩阵；通过该全连接层，色彩空间变换层在线性空间维度上寻 找最合适的色彩空间；而
Figure 498910DEST_PATH_IMAGE017
是通过非线性变换得到的色彩空间，因此引入两层全连接 层，并在其中加入了非线性的激活函数，使色彩空间变换层在非线性空间的维度上寻找最 合适的色彩空间。
进一步地，步骤（2）中，心率估计模块以ResNet-18 作为基础网络，在基础网络的输出加入一层全连接层，使用网络提取出的信息对心率进行回归，并在基础网络中加入了通道注意力模块，在训练的过程中调整对不同色彩通道的注意力，使心率估计模块选择对心率预测更佳有益的色彩通道，从而提高模型的预测性能。
本发明的有益效果：
（1）首次使用色彩空间变换的方式进行人脸视频的心率估计，对比传统色彩空间降低了误差，提升了预测准确度；
（2）使用多层皮肤区域选择方式对人脸视频进行处理，结合全局和局部特征，即使在光照变化和头部运动较多的情况下都能够有较好的表现；
（3）使用先进的通道注意力模块进一步提升模型在色彩通道上的侧重，利于进一步提升心率估计的精度。
附图说明
图1为基于色彩空间学习的人脸视频心率估计方法架构图；
图2为本发明方法流程图；
图3为提取人脸视频的特征图过程示意图；
图4为特征提取中的多层皮肤区域选择过程示意图；
图5为本发明中色彩空间变换层示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1和图2所示，本发明提供的一种基于色彩空间学习的人脸视频心率估计方法，具体步骤如下：
（1）通过摄像机拍摄人脸视频，并对视频定长裁剪获得脸部视频片段：
（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；
如图3和图4所示，为了捕获视频中皮肤区域的颜色细微变化，通常使用的方法是 将人脸划分成几个区域，对于每个区域进行池化来作为该区域的代表颜色，但这种方法很 容易收到光照或者头部移动的影响。本发明使用多层皮肤区域选择方法，结合了脸部的局 部信息和全局信息，能够更加精确地反应脸部的颜色变化，具体为：对于一段长度为
Figure 613496DEST_PATH_IMAGE001
帧，色 彩空间维度为
Figure 394371DEST_PATH_IMAGE002
（通常为3）的人脸视频，选择
Figure 910803DEST_PATH_IMAGE003
个脸部区域进行多层皮肤区域选择，
Figure 954982DEST_PATH_IMAGE003
个脸部 区域可以生成
Figure 556865DEST_PATH_IMAGE004
个脸部区域的全组合，对每一个脸部区域组合单独进行池化，以 消除噪声和其他干扰信息，得到的特征图
Figure 141430DEST_PATH_IMAGE005
的大小是
Figure 777947DEST_PATH_IMAGE006
。
色彩空间是指颜色的组织方式，或是使用数字来表示颜色的数学模型。传统的色 彩空间（例如 RGB、CMYK、YUV、HSL 等）都其特定的作用，例如 RGB 主要用于电子设备显示 颜色，CMYK 主要用于印刷业，YUV 在电视信号传播的编码上运用广泛，HSL 则是为人类提 供了一种在计算机上选取颜色的较为直观的方法。对于特定的任务，都会有更适合这项任 务的色彩空间，而对于人脸视频的相关任务中，大多都使用 YUV 色彩空间来进行皮肤颜色 相关的任务。实验证明在该任务中 YUV 比 RGB 拥有更好的表达能力，本发明基于以上思 想，设计了色彩空间变换层，通过学习的方式获得适合的色彩空间，具体来说，色彩空间变 换层是可学习的函数
Figure 789766DEST_PATH_IMAGE007
：
Figure 613365DEST_PATH_IMAGE008
其中
Figure 204884DEST_PATH_IMAGE009
是原色彩空间的颜色表示，其色彩空间维度为
Figure 430329DEST_PATH_IMAGE002
，
Figure 613048DEST_PATH_IMAGE010
是使用
Figure 192453DEST_PATH_IMAGE002
个实数来表示 颜色，
Figure 384400DEST_PATH_IMAGE011
是实数；
Figure 464351DEST_PATH_IMAGE012
为新色彩空间的颜色表示，色彩空间维度为
Figure 83551DEST_PATH_IMAGE013
；因此，特征提取模块提取 出的特征图
Figure 85005DEST_PATH_IMAGE005
经过色彩空间变换层以后得到新色彩空间上的特征图
Figure 815064DEST_PATH_IMAGE014
为：
Figure 749522DEST_PATH_IMAGE015
如图5所示，本发明提出两种色彩空间变换层，线性变换的色彩空间变换层
Figure 539623DEST_PATH_IMAGE016
和 非线性变换的色彩空间变换层
Figure 825111DEST_PATH_IMAGE020
两种。它们的作用都是通过学习的方式将色彩映射到 另一色彩空间上。线性变换是传统色彩空间之间转换的常见方式，例如 YUV 可以通过 RGB 色彩空间通过与转换矩阵相乘的方式变换而来：
Figure 358861DEST_PATH_IMAGE021
Figure 413404DEST_PATH_IMAGE018
通过一个大小为
Figure 577670DEST_PATH_IMAGE019
的转换矩阵实现色彩空间的变换，而为了学习新的色 彩空间，本发明使转换矩阵中的参数可学习，即引入一层输入纬度为
Figure 84874DEST_PATH_IMAGE002
、输出纬度为
Figure 156735DEST_PATH_IMAGE013
的全 连接层，该全连接层的参数即为上述的转换矩阵。通过该全连接层，色彩空间变换层可以在 线性空间维度上寻找最合适的色彩空间。而除此之外，也有一些色彩空间是通过非线性变 换得到。本发明中
Figure 331365DEST_PATH_IMAGE020
是通过非线性变换得到的色彩空间，因此引入两层全连接层，并在 其中加入了非线性的激活函数，使色彩空间变换层可以在非线性空间的维度上寻找最合适 的色彩空间。
对于色彩空间变换后的特征图
Figure 463269DEST_PATH_IMAGE022
，本发明将其输入到神经网络中的心 率估计模块提取心率信息，心率估计模块以ResNet-18 作为基础网络，在基础网络的输出 加入一层全连接层，使用网络提取出的信息对心率进行回归，为了使神经网络对色彩通道 有更好的利用，加入了通道注意力模块，在训练的过程中调整对不同色彩通道的注意力，使 心率估计模块选择对心率预测更佳有益的色彩通道，从而提高模型的预测性能。
（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。
本发明方法相比于传统的物理方法与近年的机器学习方法相比在心率估计的问题上都有更低的误差及更高的准确度。在心率估计数据集 VIPL-HR 上的心率估计误差测试结果如表1所示。心率测量的单位是拍每分（bpm）。MAE 为平均绝对误差，RMSE 为均方根误差，单位均与心率的单位相同。从表中可以看出，本发明提出的方法比目前存在的物理方法（CHROM、POS）和基于机器学习的方法（DeepPhys、RhythmNet）误差都更小，证明了本方法的创新性与可行性。
表1 与现有的心率估计算法误差对比
Figure 723349DEST_PATH_IMAGE023
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于色彩空间学习的人脸视频心率估计方法，其特征在于，具体步骤如下：
（1）通过摄像机拍摄人脸视频；
（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；
（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取模块提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。
2.根据权利要求1所述的一种基于色彩空间学习的人脸视频心率估计方法，其特征在 于，步骤（2）中，所述多层皮肤区域选择方法具体为：对于一段长度为
Figure 51968DEST_PATH_IMAGE001
帧，色彩空间维度为
Figure 500267DEST_PATH_IMAGE002
的人脸视频，选择
Figure 811162DEST_PATH_IMAGE003
个脸部区域进行多层皮肤区域选择，
Figure 940792DEST_PATH_IMAGE003
个脸部区域生成
Figure 80131DEST_PATH_IMAGE004
个 脸部区域的全组合，对每一个脸部区域组合单独进行池化，得到的特征图
Figure 637014DEST_PATH_IMAGE005
的大小是
Figure 435206DEST_PATH_IMAGE006
。
3.根据权利要求2所述的一种基于色彩空间学习的人脸视频心率估计方法，其特征在 于，步骤（2）中，所述色彩空间变换层是可学习的函数
Figure 165265DEST_PATH_IMAGE007
：
Figure 365302DEST_PATH_IMAGE008
其中
Figure 155403DEST_PATH_IMAGE009
是原色彩空间的颜色表示，其色彩空间维度为
Figure 440891DEST_PATH_IMAGE002
，
Figure 709061DEST_PATH_IMAGE010
是使用
Figure 763605DEST_PATH_IMAGE002
个实数来表示颜色，
Figure 724608DEST_PATH_IMAGE011
是实数；
Figure 700654DEST_PATH_IMAGE012
为新色彩空间的颜色表示，色彩空间维度为
Figure 506936DEST_PATH_IMAGE013
；因此，特征提取模块提取出的 特征图
Figure 681565DEST_PATH_IMAGE005
经过色彩空间变换层以后得到新色彩空间上的特征图
Figure 547890DEST_PATH_IMAGE014
为：
Figure 73550DEST_PATH_IMAGE015
。
4.根据权利要求3所述的一种基于色彩空间学习的人脸视频心率估计方法，其特征在 于，色彩空间变换层
Figure 683522DEST_PATH_IMAGE007
包含线性变换的色彩空间变换层
Figure 915921DEST_PATH_IMAGE016
和非线性变换的色彩空间变换 层
Figure 218726DEST_PATH_IMAGE017
两种；其中，
Figure 703453DEST_PATH_IMAGE016
通过一个大小为
Figure 117116DEST_PATH_IMAGE018
的转换矩阵实现色彩空间的变换，而为了 使该变换可学习，引入一层输入维度为
Figure 759DEST_PATH_IMAGE002
、输出维度为
Figure 740045DEST_PATH_IMAGE013
的全连接层，该全连接层的参数即 为上述的转换矩阵；通过该全连接层，色彩空间变换层在线性空间维度上寻找最合适的色 彩空间；而
Figure 709138DEST_PATH_IMAGE019
是通过非线性变换得到的色彩空间，因此引入两层全连接层，并在其中加 入了非线性的激活函数，使色彩空间变换层在非线性空间的维度上寻找最合适的色彩空 间。
5.根据权利要求1所述的一种基于色彩空间学习的人脸视频心率估计方法，其特征在于，步骤（2）中，心率估计模块以ResNet-18 作为基础网络，在基础网络的输出加入一层全连接层，使用网络提取出的信息对心率进行回归，并在基础网络中加入了通道注意力模块，在训练的过程中调整对不同色彩通道的注意力，使心率估计模块选择对心率预测更佳有益的色彩通道，从而提高模型的预测性能。
CN202110695521.3A 2021-06-23 2021-06-23 一种基于色彩空间学习的人脸视频心率估计方法 Active CN113255585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695521.3A CN113255585B (zh) 2021-06-23 2021-06-23 一种基于色彩空间学习的人脸视频心率估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695521.3A CN113255585B (zh) 2021-06-23 2021-06-23 一种基于色彩空间学习的人脸视频心率估计方法

Publications (2)

Publication Number Publication Date
CN113255585A true CN113255585A (zh) 2021-08-13
CN113255585B CN113255585B (zh) 2021-11-19

Family

ID=77189356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695521.3A Active CN113255585B (zh) 2021-06-23 2021-06-23 一种基于色彩空间学习的人脸视频心率估计方法

Country Status (1)

Country Link
CN (1) CN113255585B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113827208A (zh) * 2021-09-18 2021-12-24 西安奇点融合信息科技有限公司 基于人脸视频的非接触式血压测量设备
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701468A (zh) * 2016-01-12 2016-06-22 华南理工大学 一种基于深度学习的人脸吸引力评价方法
CN109271567A (zh) * 2018-08-01 2019-01-25 浙江工业大学 一种面向全排列数据的多变量可视分析方法
US20190246921A1 (en) * 2018-02-13 2019-08-15 National Chiao Tung University Contactless-Type Sport Training Monitor Method
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置
CN112507930A (zh) * 2020-12-16 2021-03-16 华南理工大学 一种利用光照均衡法改善人脸视频心率检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701468A (zh) * 2016-01-12 2016-06-22 华南理工大学 一种基于深度学习的人脸吸引力评价方法
US20190246921A1 (en) * 2018-02-13 2019-08-15 National Chiao Tung University Contactless-Type Sport Training Monitor Method
CN109271567A (zh) * 2018-08-01 2019-01-25 浙江工业大学 一种面向全排列数据的多变量可视分析方法
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置
CN112507930A (zh) * 2020-12-16 2021-03-16 华南理工大学 一种利用光照均衡法改善人脸视频心率检测的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尹武松: ""基于深度学习的交通标志识别"", 《中国优秀硕士学位论文全文数据库》 *
王鹏等: ""基于RBF 神经网络的色彩空间转换研究"", 《轻工机械》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113827208A (zh) * 2021-09-18 2021-12-24 西安奇点融合信息科技有限公司 基于人脸视频的非接触式血压测量设备
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法
CN114912487B (zh) * 2022-05-10 2024-04-26 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Also Published As

Publication number Publication date
CN113255585B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN113255585B (zh) 一种基于色彩空间学习的人脸视频心率估计方法
CN106780512A (zh) 分割图像的方法、应用及计算设备
CN107945175A (zh) 图像的评价方法、装置、服务器及存储介质
US20200121256A1 (en) Video-based physiological measurement using neural networks
CN109394205B (zh) 一种基于深度神经网络的心电信号分析方法
CN110135497B (zh) 模型训练的方法、面部动作单元强度估计的方法及装置
Sang et al. PCANet: Pyramid convolutional attention network for semantic segmentation
Wu et al. Neighbourhood representative sampling for efficient end-to-end video quality assessment
CN113963148B (zh) 对象检测方法、对象检测模型的训练方法及装置
Kwon et al. Distorted representation space characterization through backpropagated gradients
Li et al. Blind image quality assessment based on joint log-contrast statistics
CN111626296B (zh) 基于深度神经网络的医学图像分割系统及方法、终端
Qiu et al. CoSTHR: A heart rate estimating network with adaptive color space transformation
CN114663777B (zh) 基于时空联合图注意机制的高光谱影像变化检测方法
CN116703857A (zh) 一种基于时空域感知的视频动作质量评价方法
CN115223013A (zh) 基于小数据生成网络的模型训练方法、装置、设备及介质
CN111369494B (zh) 冬小麦穗密度检测方法及装置
Li et al. Anatomically constrained squeeze-and-excitation graph attention network for cortical surface parcellation
CN112241001A (zh) 雷达人体动作识别方法、装置、电子设备和存储介质
CN117152105A (zh) 果园荔枝估产方法、装置、设备及介质
Kuriyama et al. Context‐based style transfer of tokenized gestures
CN113128586B (zh) 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant