CN116403734A - 用于身心健康分析的非接触式多参数监测方法及系统 - Google Patents

用于身心健康分析的非接触式多参数监测方法及系统 Download PDF

Info

Publication number
CN116403734A
CN116403734A CN202310336082.6A CN202310336082A CN116403734A CN 116403734 A CN116403734 A CN 116403734A CN 202310336082 A CN202310336082 A CN 202310336082A CN 116403734 A CN116403734 A CN 116403734A
Authority
CN
China
Prior art keywords
region
time
physiological
physiological characteristic
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310336082.6A
Other languages
English (en)
Inventor
张伟
丁帅
姚佳
宋程
何行知
柯震
何得淮
李祥文
郑子强
杨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
West China Hospital of Sichuan University
Original Assignee
Hefei University of Technology
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, West China Hospital of Sichuan University filed Critical Hefei University of Technology
Priority to CN202310336082.6A priority Critical patent/CN116403734A/zh
Publication of CN116403734A publication Critical patent/CN116403734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请提供用于身心健康分析的非接触式多参数监测方法及系统，属于数据监测技术领域，该方法包括：采集用户的可见光面部视频和热红外面部视频；根据可见光面部视频及热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；根据m个第一感兴趣区域帧序列构建第一时空图，根据m个第二感兴趣区域帧序列构建第二时空图；通过解纠缠表示学习网络对第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；通过深度生理参数估计网络对多个生理特征数据进行计算，得到用户的多个生理参数。这样，采用解纠缠表示学习网络及深度生理参数估计网络计算多个生理参数，提高生理参数精度。

Description

用于身心健康分析的非接触式多参数监测方法及系统
技术领域
本申请涉及数据监测技术领域，尤其涉及一种用于身心健康分析的非接触式多参数监测方法及系统。
背景技术
现有的健康监测系统有接触式监测方案及非接触式监测方案，现有接触式监测方案大多基于指夹式血氧仪、手环、便携式血压计等穿戴式设备，此类接触式监测方式会在生理或心理上给用户带来干扰和不适，且在新生儿、皮肤大面积创伤的患者等特殊人群中无法推广使用。现有非接触式健康监测方案大多采用传统信号处理的方式进行生理参数计算，此类方案对数据的适应能力较差，在光照条件变化较大、头部运动明显等复杂场景下，检测性能会因噪声干扰产生较大波动。现有的健康监测系统存在监测效果比较差的问题。
发明内容
为了解决上述技术问题，本申请实施例提供了一种用于身心健康分析的非接触式多参数监测方法及系统。
第一方面，本申请实施例提供了一种用于身心健康分析的非接触式多参数监测方法，所述方法包括：
采集用户的可见光面部视频和热红外面部视频；
根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；
根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；
通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；
通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
第二方面，本申请实施例提供了一种用于身心健康分析的非接触式多参数监测系统，所述系统包括：
视频采集模块，用于采集用户的可见光面部视频和热红外面部视频；
获取模块，用于根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；
构建模块，用于根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；
处理模块，用于通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；
计算模块，用于通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
上述本申请提供的用于身心健康分析的非接触式多参数监测方法及系统，采集用户的可见光面部视频和热红外面部视频；根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。这样，采用解纠缠表示学习网络、及深度生理参数估计网络进行非接触式的多个生理参数计算，提升光照条件变化较大、头部运动明显等复杂场景下生理参数检测的精度与鲁棒性，为用户提供高舒适性、高集成度、高鲁棒性的多生理参数监测服务。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的用于身心健康分析的非接触式多参数监测方法的流程示意图之一；
图2示出了本申请实施例提供的解纠缠表示学习网络的结构示意图之一；
图3示出了本申请实施例提供的深度生理参数估计网络的结构示意图之一；
图4示出了本申请实施例提供的呼吸波形的示意图之一；
图5示出了本申请实施例提供的心率波形的示意图之一；
图6示出了本申请实施例提供的用于身心健康分析的非接触式多参数监测系统的结构示意图之一。
图标：600-用于身心健康分析的非接触式多参数监测系统；601-视频采集模块；602-获取模块；603-构建模块；604-处理模块；605-计算模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
实施例1
本申请实施例提供了一种用于身心健康分析的非接触式多参数监测方法。
参见图1，用于身心健康分析的非接触式多参数监测方法包括步骤S101至步骤S105，该用于身心健康分析的非接触式多参数监测方法可以应用于用于身心健康分析的非接触式多参数监测系统，下面对各步骤进行说明。
步骤S101，采集用户的可见光面部视频和热红外面部视频。
在本实施例中，用于身心健康分析的非接触式多参数监测系统包括视频采集模块，视频采集模块由双目视觉模组和热红外模组组成，实时采集用户的可见光面部视频和热红外面部视频。
步骤S102，根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列。
本实施例中，由于人脸额头区域、脸颊区域和鼻子区域包含更多的生理信息，且这些区域较少涉及面部动作，故选择可见光面部视频中额头区域、左脸颊区域、右脸颊区域和鼻子区域作为生理参数监测的4个第一感兴趣区域，分别记为第一额头感兴趣区域ROI1、第一鼻子感兴趣区域ROI2、第一左脸颊感兴趣区域ROI3、第一右脸颊感兴趣区域ROI4。从可见光面部视频中获取第一额头感兴趣区域ROI1帧序列、第一鼻子感兴趣区域ROI4帧序列、第一左脸颊感兴趣区域ROI3帧序列、第一右脸颊感兴趣区域ROI4帧序列。
选择热红外面部视频中额头区域、左脸颊区域、右脸颊区域和鼻子区域作为4个第二感兴趣区域，分别记为第二额头感兴趣区域ROI5、第二鼻子感兴趣区域ROI6、第二左脸颊感兴趣区域ROI7、第二右脸颊感兴趣区域ROI8。从热红外面部视频中获取第二额头感兴趣区域ROI5帧序列、第二鼻子感兴趣区域ROI6帧序列、第二左脸颊感兴趣区域ROI7帧序列、第二右脸颊感兴趣区域ROI8帧序列。
在一实施方式中，步骤S102包括：
从所述可见光面部视频确定第一可见光面部视频帧，从所述热红外面部视频中确定第一红外面部视频帧；
对所述第一可见光面部视频帧及所述第一红外面部视频帧进行配准，得到第一可见光面部视频配准帧及第一红外面部视频配准帧；
利用面部检测算法检测所述第一可见光面部视频配准帧的s个面部特征点；
根据s个所述面部特征点确定所述第一可见光面部视频配准帧的m个第一感兴趣区域；
根据m个所述第一感兴趣区域从所述第一红外面部视频配准帧中确定m个第二感兴趣区域；
分别对所述可见光面部视频的后续帧的m个第一感兴趣区域、所述热红外面部视频的后续帧的m个第二感兴趣区域进行追踪，得到m个所述第一感兴趣区域帧序列及m个所述第二感兴趣区域帧序列。
示范性的，第一可见光面部视频帧可以为可见光面部视频的第一帧可见光视频帧，第一红外面部视频帧可以为热红外面部视频的第一帧热红外视频帧，采用Roberts算子检测第一可见光面部视频帧及第一红外面部视频帧的面部边缘，采用仿射变换对两帧图像中的面部区域进行配准，减小二者之间的空间偏差。
对第一可见光面部视频帧，利用Dlib面部检测算法检测81个面部特征点，以检测到的31号特征点为基准点，以同一水平线上左右两侧距离该31号特征点
Figure BDA0004156511220000071
处位置分别确定为鼻子区域的左上方顶点及右上方顶点，再以鼻子区域的左上方顶点、右上方顶点为基准，同一竖直线下侧相距h处位置分别确定为鼻子区域的左下方、右下方顶点，从而，根据鼻子区域的左上方顶点、右上方顶点、左上方顶点及右上方顶点确定第一鼻子感兴趣区域ROI2的位置。同理，以71号特征点和24号特征点连线中点为基准点确定第一额头感兴趣区域ROI1的位置；以2号特征点和32号特征点连线中点为基准点确定第一左脸颊感兴趣区域ROI3的位置；以36号特征点和17号特征点连线中点为基准点确定第一右脸颊感兴趣区域ROI4的位置。
在获取第一可见光面部视频帧中的感兴趣区域后，利用线性坐标映射将第一可见光面部视频帧的第一额头感兴趣区域ROI1、第一鼻子感兴趣区域ROI2、第一左脸颊感兴趣区域ROI3、第一右脸颊感兴趣区域ROI4中的点映射到第一红外面部视频帧中，确定热红外视频中的第二额头感兴趣区域ROI5、第二鼻子感兴趣区域ROI6、第二左脸颊感兴趣区域ROI7、第二右脸颊感兴趣区域ROI8，然后使用全卷积孪生网络(SiamFC)对可见光面部视频中的后续帧的对应感兴趣区域进行追踪，分别得到第一额头感兴趣区域ROI1帧序列、第一鼻子感兴趣区域ROI4帧序列、第一左脸颊感兴趣区域ROI3帧序列、第一右脸颊感兴趣区域ROI4帧序列。
使用全卷积孪生网络对热红外面部视频中的后续帧的对应感兴趣区域进行追踪，分别得到第二额头感兴趣区域ROI5帧序列、第二鼻子感兴趣区域ROI6帧序列、第二左脸颊感兴趣区域ROI7帧序列、第二右脸颊感兴趣区域ROI8帧序列。
步骤S103，根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图。
若m个所述第一感兴趣区域帧序列为第一额头感兴趣区域ROI1帧序列、第一鼻子感兴趣区域ROI2帧序列、第一左脸颊感兴趣区域ROI3帧序列、第一右脸颊感兴趣区域ROI4帧序列，则根据第一额头感兴趣区域ROI1帧序列、第一鼻子感兴趣区域ROI4帧序列、第一左脸颊感兴趣区域ROI3帧序列、第一右脸颊感兴趣区域ROI4帧序列确定第一时空图ST1。
若m个所述第二感兴趣区域帧序列为第二额头感兴趣区域ROI5帧序列、第二鼻子感兴趣区域ROI6帧序列、第二左脸颊感兴趣区域ROI7帧序列、第二右脸颊感兴趣区域ROI8帧序列，则根据第二额头感兴趣区域ROI5帧序列、第二鼻子感兴趣区域ROI6帧序列、第二左脸颊感兴趣区域ROI7帧序列、第二右脸颊感兴趣区域ROI8帧序列确定第二时空图ST2。
在一实施方式中，步骤S103包括：
将各所述第一感兴趣区域帧序列的各所述第一感兴趣区域划分为n个第一子区域，获取各所述第一子区域在颜色空间的第一去噪时域信号；根据多个所述第一去噪时域信号构建第一时空图；
将各所述第二感兴趣区域帧序列的各所述第二感兴趣区域划分为n个第二子区域，获取各所述第二子区域在颜色空间的第二去噪时域信号；根据多个所述第二去噪时域信号构建第二时空图。
示范性的，假设，第一感兴趣区域帧序列或第二感兴趣区域帧序列个有T帧第一感兴趣区域或T帧第二感兴趣区域，将各个第一感兴趣区域或各个第二感兴趣区域划分为n个第一子区域或n个第二子区域，然后对每个第一子区域或每个第二子区域的像素值进行平均化，对于第m个第一感兴趣区域或第一感兴趣区域，假设PR(m,i,T)代表第T帧中第i个第一子区域或第二子区域在红色通道中的平均像素值，第i个子区域在RGB颜色空间中的时域信号根据如下公式确定：
Rmi＝{PR(m,i,1),…,PR(m,i,t),…,PR(m,i,T)}
Gmi＝{PG(m,i,1),…,PG(m,i,t),…,PG(m,i,T)}
Bmi＝{PB(m,i,1),…,PB(m,i,t),…,PB(m,i,T)}
可以采用各种去噪操作获取各第一子区域或各第二子区域的第一去噪时域信号或第二去噪时域信号。
在一实施方式中，所述获取各所述第一子区域在颜色空间的第一去噪时域信号，包括：
根据各所述第一子区域的像素平均值确定各所述第一子区域的第一初始时域信号；
对各所述第一初始时域信号进行傅里叶变换，得到第一频域信号；从各所述第一频域信号中选择处于预设频率范围的第二频域信号；将各所述第二频域信号进行逆傅里叶变换，得到各所述第一去噪时域信号；
所述获取各所述第二子区域在颜色空间的第二去噪时域信号，包括：
根据各所述第二子区域的像素平均值确定各所述第二子区域的第二初始时域信号；
对各所述第二初始时域信号进行傅里叶变换，得到第三频域信号；从各所述第三频域信号中选择处于预设频率范围的第四频域信号，将各所述第四频域信号进行逆傅里叶变换，得到各所述第二去噪时域信号。
在本实施例中，为了消除各第一子区域或各第二子区域的时域信号中的噪声，使用傅里叶变化(FFT)将各第一子区域或各第二子区域的第一初始时域信号或第二初始时域信号Rmi,Gmi,Bmi转换为第一频域信号或第二频域信号，并且将0.75-3Hz外的信号设置为零，然后通过反傅里叶变化(IFFT)将第一频域信号或第二频域信号转化回时域。
为了最大限度的利用视觉生命体征信号，利用第一额头感兴趣区域ROI1帧序列、第一鼻子感兴趣区域ROI2帧序列、第一左脸颊感兴趣区域ROI3帧序列、第一右脸颊感兴趣区域ROI4帧序列的四个去噪后的Rmi,Gmi,Bmi时域信息，构建尺寸为4n×T×3的第一时空图ST1，利用第二额头感兴趣区域ROI5帧序列、第二鼻子感兴趣区域ROI6帧序列、第二左脸颊感兴趣区域ROI7帧序列、第二右脸颊感兴趣区域ROI8帧序列的4个去噪后的Rmi,Gmi,Bmi时域信息，构建尺寸为4n×T×3的第二时空图ST2。第一时空图ST1及第二时空图ST2作为深度生理参数估计网络的输入数据。
步骤S104，通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据。
参见图2，解纠缠表示学习网络包括第一解纠缠编码器Ep1、第一噪声编码器En1、第二解纠缠编码器Ep2、第二噪声编码器En2、第一编码器D1、第二编码器D2、第三编码器D3、第四编码器D4，向解纠缠表示学习网络的第一解纠缠编码器Ep1、第一噪声编码器En1输入第一时空图ST1，向第二解纠缠编码器Ep2、第二噪声编码器En2输入及第二时空图ST2，经过解纠缠表示学习网络对第一时空图ST1及第二时空图ST2进行计算，可以得到多个生理特征数据。
在一实施方式中，所述多个生理特征数据包括第一生理特征、第二生理特征、第三生理特征及第四生理特征；
所述通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，包括：
通过第一解纠缠编码器从所述第一时空图获取所述第一生理特征；
通过第一噪声编码器从所述第一时空图获取第一非生理特征；
通过第二解纠缠编码器从所述第二时空图获取所述第二生理特征；
通过第二噪声编码器从所述第二时空图获取第二非生理特征；
通过第一编码器根据所述第一生理特征及所述第二非生理特征构建第一伪时空图；
通过第二编码器根据所述第一非生理特征及所述第二生理特征构建第二伪时空图；
通过第一解纠缠编码器从所述第一伪时空图获取所述第三生理特征；
通过第二解纠缠编码器从所述第二伪时空图获取所述第四生理特征。
在本实施例中，为了获取更加准确且丰富的生理特征，利用第一编码器或第二编码器对于来自于不同时空图的生理特征和非生理特征生成第一伪时空图及第二伪时空图。
请再次参见图2，通过第一解纠缠编码器Ep1从所述第一时空图ST1获取所述第一生理特征fp1；通过第一噪声编码器En1从所述第一时空图ST1获取第一非生理特征fn1；通过第二解纠缠编码器Ep2从所述第二时空图ST2获取所述第二生理特征fp2；通过第二噪声编码器En2从所述第二时空图ST2获取第二非生理特征fn2；通过第一编码器D1根据所述第一生理特征fp1及所述第二非生理特征fn2构建第一伪时空图STre_；通过第二编码器D2根据所述第一非生理特征fn1及所述第二生理特征fp2构建第二伪时空图STre_；通过第一解纠缠编码器Ep1从所述第一伪时空图STre_获取所述第三生理特征fre_；通过第二解纠缠编码器Ep2从所述第二伪时空图STre_获取所述第四生理特征fre_。
在一实施方式中，所述用于身心健康分析的非接触式多参数监测方法还包括：
通过第三编码器根据所述第一生理特征及所述第一非生理特征构建第一重建时空图；
通过第四编码器根据所述第二生理特征及所述第二非生理特征构建第二重建时空图。
请再次参阅图2，通过第三编码器D3根据所述第一生理特征fp1及所述第一非生理特征fn1构建第一重建时空图ST3。通过第四编码器D4根据所述第二生理特征fp2及所述第二非生理特征fn2构建第二重建时空图ST4。
这样，使用来源于同一视频的第一生理特征fp1和第一非生理特征fn1重新构建第一重建时空图TS3，使用来源于同一视频的第二生理特征fp2和第二非生理特征fn2重新构建第二重建时空图TS4，以确保解码器能够有效地重建时空图。
在一实施方式中，所述用于身心健康分析的非接触式多参数监测方法还包括：
通过所述第一噪声编码器从所述第一伪时空图获取第三非生理特征；
通过所述第二噪声编码器En2从所述第二伪时空图获取第四非生理特征。
请再次参见图2，通过所述第一噪声编码器En1从所述第一伪时空图STre_获取第三非生理特征fre_；通过所述第二噪声编码器En2从所述第二伪时空图STre_获取第四非生理特征fre_。
综上，利用第一生理特征fp1、和第二非生理特征fn2生成第一伪时空图STre_，利用第二生理特征fp2和第一非生理特征fn1生成第二伪时空图STre_，对于生成的第一伪时空图STre_、第二伪时空图STre_利用第一解纠缠编码器Ep1、第一噪声编码器En1、第二解纠缠编码器Ep2、第二噪声编码器En2提取出其中的第三生理特征fre_1、第四生理特征fre_2、第三非生理特征fre_、第四非生理特征fre_，实现对于伪时空图中生理特征和非生理特征的解缠，最后，将第一生理特征fp1、第二生理特征fp2、,第三生理特征fre_、第四生理特征fre_2都将馈送至后续的深度生理参数估计网络，用于心率和呼吸率的提取。
步骤S105，通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
在本实施例中，深度生理参数估计网络以ResNet、VGGNet、MobileNet、DenseNet等卷积神经网络为主体，网络主要包含两个分支，每个分支的输入均为利用解缠绕后的第一生理特征fp1、第二生理特征fp2、,第三生理特征fre_1、第四生理特征fre_2，在每个分支中共享特征，完成呼吸率和心率的监测。
参见图3，深度生理参数估计网络包括共享计算子模块301、第一通道注意力模块302、第二通道注意力模块303、第一计算子模块304、第二计算子模块305，将第一生理特征fp1、第二生理特征fp2、第三生理特征fre_及第四生理特征fre_2输入深度生理参数估计网络进行计算，可以获得用户的呼吸率及心率。共享计算子模块301包括4个卷积层3011，及4个第一残差块3012，一个卷积层3011与一个第一残差块3012连接，4个卷积层3011分别接收第一生理特征fp1、第二生理特征fp2、,第三生理特征fre_、第四生理特征fre_2，并由卷积层3011及对应的第一残差块3012协同计算各生理特征的特征图。第一计算子模块304包括2个第二残差块3042及1个第一全连接层3041；第二计算子模块305包括2个第三残差块3052及1个第二全连接层3051。
由于相似的两个通道特征能够起到互相促进的作用，所以采用通道注意力机制，通过通道之间特征的相关性，对不同通道进行加权融合。两个并行的第一通道注意力模块302、第二通道注意力模块303，分别对第一残差块3012输出的特征图在通道维和空间维(指与时空图空间信息相对应的一个维度)基于通道注意力机制捕捉特征之间的相关性。在使用注意力机制进行加权融合后，加权融合后的特征将进入不同的通道，分别由第一计算子模块304和第二计算子模块305实现呼吸率和心率的监测。
在一实施方式中，所述深度生理参数估计网络包括共享计算子模块、第一提取网络分支及第二提取网络分支，所述通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，包括：
通过所述共享计算子模块计算各所述生理特征数据的特征图；
通过所述第一提取网络分支的第一通道注意力模块对多个所述特征图进行加权融合，得到第一融合特征图；
通过所述第一提取网络分支的第一计算模块对所述第一融合特征图进行计算，得到所述用户的呼吸率；
通过所述第二提取网络分支的第二通道注意力模块对多个所述特征图进行加权融合，得到第二融合特征图；
通过所述第二提取网络分支的第二计算模块对所述第二融合特征图进行计算，得到所述用户的心率。
请参见图4，图4所示为呼吸波形的示意图之一，从图4可以知道用户呼吸的变化趋势，请参见图5，图5所示为心率波形的示意图之一，从图5可以知道用户心率的变化趋势。
这样，本实施例提供了用于身心健康分析的非接触式多参数监测方案，基于解纠缠表示学习的生理特征和非生理特征解缠策略构建解纠缠表示学习网络，研究基于多任务网络的深度生理参数估计网络，实现心率、呼吸率的同步监测。
本实施例提供的用于身心健康分析的非接触式多参数监测方法，采集用户的可见光面部视频和热红外面部视频；根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。这样，采用解纠缠表示学习网络、及深度生理参数估计网络进行非接触式的多个生理参数计算，提升光照条件变化较大、头部运动明显等复杂场景下生理参数检测的精度与鲁棒性，为用户提供高舒适性、高集成度、高鲁棒性的多生理参数监测服务。
实施例2
此外，本申请实施例提供了一种用于身心健康分析的非接触式多参数监测系统。
具体的，如图6所示，用于身心健康分析的非接触式多参数监测系统600包括：
视频采集模块601，用于采集用户的可见光面部视频和热红外面部视频；
获取模块602，用于根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；
构建模块603，用于根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；
处理模块604，用于通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；
计算模块605，用于通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
在一实施方式中，所述深度生理参数估计网络包括第一提取网络分支及第二提取网络分支，所述计算模块605，包括：
第一计算子模块，用于通过所述第一提取网络分支的第一残差块获取各所述生理特征数据的第一特征图；
通过所述第一提取网络分支的第一通道注意力模块对多个所述第一特征图进行加权融合，得到第一融合特征图；
通过所述第一提取网络分支的第一计算模块对所述第一融合特征图进行计算，得到所述用户的呼吸率；
第二计算子模块，用于通过所述第二提取网络分支的第二残差块获取各所述生理特征数据的第二特征图；
通过所述第二提取网络分支的第二通道注意力模块对多个所述第二特征图进行加权融合，得到第二融合特征图；
通过所述第二提取网络分支的第二计算模块对所述第二融合特征图进行计算，得到所述用户的心率。
在一实施方式中，获取模块602，还用于从所述可见光面部视频确定第一可见光面部视频帧，从所述热红外面部视频中确定第一红外面部视频帧；
对所述第一可见光面部视频帧及所述第一红外面部视频帧进行配准，得到第一可见光面部视频配准帧及第一红外面部视频配准帧；
利用面部检测算法检测所述第一可见光面部视频配准帧的s个面部特征点；
根据s个所述面部特征点确定所述第一可见光面部视频配准帧的m个第一感兴趣区域；
根据m个所述第一感兴趣区域从所述第一红外面部视频配准帧中确定m个第二感兴趣区域；
分别对所述可见光面部视频的后续帧的m个第一感兴趣区域、所述热红外面部视频的后续帧的m个第二感兴趣区域进行追踪，得到m个所述第一感兴趣区域帧序列及m个所述第二感兴趣区域帧序列。
在一实施方式中，构建模块603，还用于将各所述第一感兴趣区域帧序列的各所述第一感兴趣区域划分为n个第一子区域，获取各所述第一子区域在颜色空间的第一去噪时域信号；根据多个所述第一去噪时域信号构建第一时空图；
将各所述第二感兴趣区域帧序列的各所述第二感兴趣区域划分为n个第二子区域，获取各所述第二子区域在颜色空间的第二去噪时域信号；根据多个所述第二去噪时域信号构建第二时空图。
在一实施方式中，构建模块603，还用于根据各所述第一子区域的像素平均值确定各所述第一子区域的第一初始时域信号；
对各所述第一初始时域信号进行傅里叶变换，得到第一频域信号；从各所述第一频域信号中选择处于预设频率范围的第二频域信号；将各所述第二频域信号进行逆傅里叶变换，得到各所述第一去噪时域信号；
根据各所述第二子区域的像素平均值确定各所述第二子区域的第二初始时域信号；
对各所述第二初始时域信号进行傅里叶变换，得到第三频域信号；从各所述第三频域信号中选择处于预设频率范围的第四频域信号，将各所述第四频域信号进行逆傅里叶变换，得到各所述第二去噪时域信号。
在一实施方式中，所述多个生理特征数据包括第一生理特征、第二生理特征、第三生理特征及第四生理特征；
处理模块604，用于通过第一解纠缠编码器从所述第一时空图获取所述第一生理特征；
通过第一噪声编码器从所述第一时空图获取第一非生理特征；
通过第二解纠缠编码器Ep2从所述第二时空图ST2获取所述第二生理特征；
通过第二噪声编码器从所述第二时空图获取第二非生理特征；
通过第一编码器根据所述第一生理特征及所述第二非生理特征构建第一伪时空图；
通过第二编码器根据所述第一非生理特征及所述第二生理特征构建第二伪时空图；
通过第一解纠缠编码器从所述第一伪时空图获取所述第三生理特征；
通过第二解纠缠编码器从所述第二伪时空图获取所述第四生理特征。
在一实施方式中，处理模块604，还用于通过第三编码器根据所述第一生理特征及所述第一非生理特征构建第一重建时空图；
通过第四编码器根据所述第二生理特征及所述第二非生理特征构建第二重建时空图。
在一实施方式中，处理模块604，还用于通过所述第一噪声编码器从所述第一伪时空图获取第三非生理特征；
通过所述第二噪声编码器从所述第二伪时空图获取第四非生理特征。
本实施例提供的用于身心健康分析的非接触式多参数监测系统600可以实现实施例1所提供的用于身心健康分析的非接触式多参数监测方法，为避免重复，在此不再赘述。
需要说明的是，用于身心健康分析的非接触式多参数监测系统还可以包括控制器、界面显示模块、存储模块、传输模块及电源模块等模块，控制器与其他所有模块电连接，用于控制整个用于身心健康分析的非接触式多参数监测系统的工作。可以采用开关按钮与控制器电连接，使用开关按钮启动控制器，发送指令控制用于身心健康分析的非接触式多参数监测系统开始工作；视频采集模块由双目视觉模组和热红外模组组成，实时采集用户的可见光面部视频和热红外面部视频。可以将可见光面部视频、热红外面部视频、m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列、多个生理参数等数据传输至存储模块以及界面显示模块中。在接收可见光和热红外面部视频后，获取模块602、构建模块603、处理模块604、计算模块605对接收的数据进行处理和计算，得出用户的心率、呼吸率等生理数据，计算过程可以参见前文的描述，在此不做赘述。
将多个生理参数传输至存储模块和界面显示模块中，界面显示模块通过前端界面向用户展示系统功能和生理参数计算结果，例如，可以显示可见光图像、热红外图像、实时呼吸波远程光电容积脉搏波描记法(remote photoplethysmography，rPPG)信号等。示范性的，界面左半部分展示用户的可见光面部图像以及热红外面部图像，界面右半部分展示用户心率、呼吸率等生理参数实时计算结果、呼吸波波形图以及脉搏波波形图；存储模块对视频采集模块采集的可见光面部视频、热红外面部视频以及经过计算得到的心率、呼吸率等多个生理参数进行临时存储，并且定时通过传输模块将数据传输至系统服务器中进行长期存储，电源模块通过电源适配器电连接外部电源，为用于身心健康分析的非接触式多参数监测系统的工作供电。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的用于身心健康分析的非接触式多参数监测方法，为避免重复，在此不再赘述。
本实施例提供的用于身心健康分析的非接触式多参数监测系统，采集用户的可见光面部视频和热红外面部视频；根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。这样，采用解纠缠表示学习网络、及深度生理参数估计网络进行非接触式的多个生理参数计算，提升光照条件变化较大、头部运动明显等复杂场景下生理参数检测的精度与鲁棒性，为用户提供高舒适性、高集成度、高鲁棒性的多生理参数监测服务。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种用于身心健康分析的非接触式多参数监测方法，其特征在于，所述方法包括：
采集用户的可见光面部视频和热红外面部视频；
根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；
根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；
通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；
通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列，包括：
从所述可见光面部视频确定第一可见光面部视频帧，从所述热红外面部视频中确定第一红外面部视频帧；
对所述第一可见光面部视频帧及所述第一红外面部视频帧进行配准，得到第一可见光面部视频配准帧及第一红外面部视频配准帧；
利用面部检测算法检测所述第一可见光面部视频配准帧的s个面部特征点；
根据s个所述面部特征点确定所述第一可见光面部视频配准帧的m个第一感兴趣区域；
根据m个所述第一感兴趣区域从所述第一红外面部视频配准帧中确定m个第二感兴趣区域；
分别对所述可见光面部视频的后续帧的m个第一感兴趣区域、所述热红外面部视频的后续帧的m个第二感兴趣区域进行追踪，得到m个所述第一感兴趣区域帧序列及m个所述第二感兴趣区域帧序列。
3.根据权利要求1所述的方法，其特征在于，所述根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图，包括：
将各所述第一感兴趣区域帧序列的各所述第一感兴趣区域划分为n个第一子区域，获取各所述第一子区域在颜色空间的第一去噪时域信号；根据多个所述第一去噪时域信号构建第一时空图；
将各所述第二感兴趣区域帧序列的各所述第二感兴趣区域划分为n个第二子区域，获取各所述第二子区域在颜色空间的第二去噪时域信号；根据多个所述第二去噪时域信号构建第二时空图。
4.根据权利要求3所述的方法，其特征在于，所述获取各所述第一子区域在颜色空间的第一去噪时域信号，包括：
根据各所述第一子区域的像素平均值确定各所述第一子区域的第一初始时域信号；
对各所述第一初始时域信号进行傅里叶变换，得到第一频域信号；从各所述第一频域信号中选择处于预设频率范围的第二频域信号；将各所述第二频域信号进行逆傅里叶变换，得到各所述第一去噪时域信号；
所述获取各所述第二子区域在颜色空间的第二去噪时域信号，包括：
根据各所述第二子区域的像素平均值确定各所述第二子区域的第二初始时域信号；
对各所述第二初始时域信号进行傅里叶变换，得到第三频域信号；从各所述第三频域信号中选择处于预设频率范围的第四频域信号，将各所述第四频域信号进行逆傅里叶变换，得到各所述第二去噪时域信号。
5.根据权利要求1所述的方法，其特征在于，所述多个生理特征数据包括第一生理特征、第二生理特征、第三生理特征及第四生理特征；
所述通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，包括：
通过第一解纠缠编码器从所述第一时空图获取所述第一生理特征；
通过第一噪声编码器从所述第一时空图获取第一非生理特征；
通过第二解纠缠编码器Ep2从所述第二时空图ST2获取所述第二生理特征；
通过第二噪声编码器从所述第二时空图获取第二非生理特征；
通过第一编码器根据所述第一生理特征及所述第二非生理特征构建第一伪时空图；
通过第二编码器根据所述第一非生理特征及所述第二生理特征构建第二伪时空图；
通过第一解纠缠编码器从所述第一伪时空图获取所述第三生理特征；
通过第二解纠缠编码器从所述第二伪时空图获取所述第四生理特征。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过第三编码器根据所述第一生理特征及所述第一非生理特征构建第一重建时空图；
通过第四编码器根据所述第二生理特征及所述第二非生理特征构建第二重建时空图。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过所述第一噪声编码器从所述第一伪时空图获取第三非生理特征；
通过所述第二噪声编码器从所述第二伪时空图获取第四非生理特征。
8.根据权利要求1所述的方法，其特征在于，所述深度生理参数估计网络包括共享计算子模块、第一提取网络分支及第二提取网络分支，所述通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，包括：
通过所述共享计算子模块计算各所述生理特征数据的特征图；
通过所述第一提取网络分支的第一通道注意力模块对多个所述特征图进行加权融合，得到第一融合特征图；
通过所述第一提取网络分支的第一计算模块对所述第一融合特征图进行计算，得到所述用户的呼吸率；
通过所述第二提取网络分支的第二通道注意力模块对多个所述特征图进行加权融合，得到第二融合特征图；
通过所述第二提取网络分支的第二计算模块对所述第二融合特征图进行计算，得到所述用户的心率。
9.一种用于身心健康分析的非接触式多参数监测系统，其特征在于，
所述系统包括：
视频采集模块，用于采集用户的可见光面部视频和热红外面部视频；
获取模块，用于根据所述可见光面部视频及所述热红外面部视频获取m个第一感兴趣区域帧序列及m个第二感兴趣区域帧序列；
构建模块，用于根据m个所述第一感兴趣区域帧序列构建第一时空图，根据m个所述第二感兴趣区域帧序列构建第二时空图；
处理模块，用于通过预先构建的解纠缠表示学习网络对所述第一时空图及所述第二时空图进行生理特征及非生理特征的解缠处理，得到多个生理特征数据；
计算模块，用于通过预先构建的深度生理参数估计网络对多个所述生理特征数据进行计算，得到所述用户的多个生理参数。
10.根据权利要求9所述的系统，其特征在于，所述深度生理参数估计网络包括第一提取网络分支及第二提取网络分支，所述计算模块，包括：
第一计算子模块，用于通过所述第一提取网络分支的第一残差块获取各所述生理特征数据的第一特征图；
通过所述第一提取网络分支的第一通道注意力模块对多个所述第一特征图进行加权融合，得到第一融合特征图；
通过所述第一提取网络分支的第一计算模块对所述第一融合特征图进行计算，得到所述用户的呼吸率；
第二计算子模块，用于通过所述第二提取网络分支的第二残差块获取各所述生理特征数据的第二特征图；
通过所述第二提取网络分支的第二通道注意力模块对多个所述第二特征图进行加权融合，得到第二融合特征图；
通过所述第二提取网络分支的第二计算模块对所述第二融合特征图进行计算，得到所述用户的心率。
CN202310336082.6A 2023-03-31 2023-03-31 用于身心健康分析的非接触式多参数监测方法及系统 Pending CN116403734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310336082.6A CN116403734A (zh) 2023-03-31 2023-03-31 用于身心健康分析的非接触式多参数监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310336082.6A CN116403734A (zh) 2023-03-31 2023-03-31 用于身心健康分析的非接触式多参数监测方法及系统

Publications (1)

Publication Number Publication Date
CN116403734A true CN116403734A (zh) 2023-07-07

Family

ID=87008515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310336082.6A Pending CN116403734A (zh) 2023-03-31 2023-03-31 用于身心健康分析的非接触式多参数监测方法及系统

Country Status (1)

Country Link
CN (1) CN116403734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710242A (zh) * 2023-12-20 2024-03-15 四川大学 一种抗光照和运动干扰的非接触式生理参数提取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710242A (zh) * 2023-12-20 2024-03-15 四川大学 一种抗光照和运动干扰的非接触式生理参数提取方法

Similar Documents

Publication Publication Date Title
Qi et al. Video-based human heart rate measurement using joint blind source separation
Fan et al. Robust blood pressure estimation using an RGB camera
Liu et al. Efficientphys: Enabling simple, fast and accurate camera-based cardiac measurement
US20200121256A1 (en) Video-based physiological measurement using neural networks
CN103717124B (zh) 用于获得并处理生物的测量读数的设备与方法
Rahman et al. Non-contact physiological parameters extraction using facial video considering illumination, motion, movement and vibration
US20150379370A1 (en) Method and system for signal analysis
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
CN108364290A (zh) 对周期性生理活动的图像序列进行分析的方法、介质和系统
McDuff et al. Advancing non-contact vital sign measurement using synthetic avatars
Revanur et al. Instantaneous physiological estimation using video transformers
CN116403734A (zh) 用于身心健康分析的非接触式多参数监测方法及系统
Speth et al. Unifying frame rate and temporal dilations for improved remote pulse detection
Liu et al. Efficientphys: Enabling simple, fast and accurate camera-based vitals measurement
Przybyło A deep learning approach for remote heart rate estimation
Jaiswal et al. rPPG-FuseNet: Non-contact heart rate estimation from facial video via RGB/MSR signal fusion
Nowara et al. The benefit of distraction: Denoising remote vitals measurements using inverse attention
Cho et al. Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model
Ren et al. Dual attention network for heart rate and respiratory rate estimation
Hu et al. Contactless blood oxygen estimation from face videos: A multi-model fusion method based on deep learning
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
CN105708441B (zh) 可佩戴指套及心电图和脉象采集终端
Mcduff et al. Using high-fidelity avatars to advance camera-based cardiac pulse measurement
CN116758619A (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
Ayesha et al. A web application for experimenting and validating remote measurement of vital signs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination