CN109937002B - 用于基于相机的心率跟踪的系统和方法 - Google Patents

用于基于相机的心率跟踪的系统和方法 Download PDF

Info

Publication number
CN109937002B
CN109937002B CN201780070236.4A CN201780070236A CN109937002B CN 109937002 B CN109937002 B CN 109937002B CN 201780070236 A CN201780070236 A CN 201780070236A CN 109937002 B CN109937002 B CN 109937002B
Authority
CN
China
Prior art keywords
heart rate
bit
blood flow
signal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780070236.4A
Other languages
English (en)
Other versions
CN109937002A (zh
Inventor
E·卡巴科夫
K·李
P·莱维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newlos
Original Assignee
Newlos
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newlos filed Critical Newlos
Publication of CN109937002A publication Critical patent/CN109937002A/zh
Application granted granted Critical
Publication of CN109937002B publication Critical patent/CN109937002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255—Recording instruments specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

一种用于基于相机的心率跟踪的系统和方法。该方法包括：从捕获的图像序列中的一组位平面确定表示HC变化的位值；基于HC变化确定由图像捕获的受试者的多个预定感兴趣区域(ROI)中的每一个的面部血流数据信号；将近似心率的通带的带通滤波器应用于每个血流数据信号；对每个血流数据信号应用希尔伯特变换；将血流数据信号从旋转相位角调整为线性相位段；确定每个血流数据信号的瞬时心率；对每个瞬时心率应用加权；并平均加权的瞬时心率。

Description

用于基于相机的心率跟踪的系统和方法
技术领域
以下内容总体涉及人类心跳的检测，并且更具体地涉及用于基于相机的心率跟踪的系统和方法。
背景技术
人类心跳或心动周期代表由医疗保健提供者和普通公众成员等监测的主要生命体征之一。如本文所使用的，心跳是指从其生成到下一次跳动开始的完整心跳或一组心跳；因此，它包括心脏舒张、心脏收缩和居间暂停。心跳的速度，本文称为心率，是每个时间段的心动周期的量度。通常以每分钟心跳(BPM)测量心率，作为平均每分钟发生多少心动周期的量度。BPM测量值可以是平均心率，测量相当长时间段的心动周期的平均BPM，或瞬时心率，测量短时间段的心动周期的BPM并推断BPM。
传统上，通过使用放置在皮肤上的电极记录一段时间的心脏的电活动，使用诸如心电图之类的装置来测量心率。这种方法费用很高，并且需要将侵入性电极放置在受试者身上。其他传统方法包括将心率监测器附接到受试者，该心率监测器通常包括胸带发射器和接收器。这种方法不是特别准确并且易受噪声影响，此外，这种方法要求受试者将发射器放在他/她的衣服下面。更多类型的无带心率监测器允许使用可穿戴设备(例如腕表或手指扣)通过利用测量心率的红外传感器来测量心率。然而，这些设备不提供很多细节并且不是特别准确。
发明内容
在一个方面，提供了一种用于人类受试者的基于相机的心率跟踪的方法，该方法包括：接收从人类受试者的皮肤重新发射的光的所捕获的图像序列；使用用血红蛋白浓度(HC)变化训练集训练的机器学习模型，从捕获的图像序列中的一组位平面中确定表示受试者的HC变化的位值，该组位平面是确定为近似最大化信噪比(SNR)的位平面，HC变化训练集包括从已知心率的一组受试者捕获的图像的每个位平面的位值；基于HC变化确定由图像捕获的受试者的多个预定感兴趣区域(ROI)中的每一个的面部血流数据信号；将近似心率的通带的带通滤波器应用于每个血流数据信号；对每个血流数据信号应用希尔伯特(Hillbert)变换；将血流数据信号从旋转相位角调整为线性相位段；确定每个血流数据信号的瞬时心率；对每个瞬时心率应用加权；平均加权的瞬时心率；并输出平均心率。
在特定情况下，从受试者的面部捕获ROI。
在另一种情况下，从受试者的手腕或颈部捕获ROI。
在又一种情况下，ROI是非重叠的。
在又一种情况下，确定使SNR最大化的一组位平面包括：执行位平面向量的逐像素图像减法和加法，以最大化在预定时间段内的所有ROI中的信号差异，并且识别来自位平面的增加信号差异的位值，以及识别来自位平面的降低信号差异或者对信号差异没有贡献的位值；从位平面丢弃降低信号差异或对信号差异没有贡献的位值。
在又一种情况下，机器学习模型包括长期短期记忆(LSTM)神经网络或非线性支持向量机。
在又一种情况下，通带在大约0.6赫兹到1.2赫兹的范围内，其中每分钟60次心跳等于1赫兹。
在又一种情况下，确定每个血流数据信号的瞬时心率包括将差分滤波器应用于线性相位段以将相位角数据转换为表示计数值的频率单位，每个ROI的计数值表示瞬时心率。
在又一种情况下，该方法还包括在相位连续标度上线性化和微分旋转相位角以确定瞬时心率。
在又一种情况下，加权在大约一秒到十秒的范围的间隔内积分。
在又一种情况下，加权在大约五秒的间隔内积分。
在另一方面，提供了一种用于人类受试者的基于相机的心率跟踪的系统，该系统包括一个或多个处理器和数据存储设备，所述一个或多个处理器配置为执行：TOI模块，用于接收从人类受试者的皮肤重新发射的光的捕获图像序列，TOI模块使用用血红蛋白浓度(HC)变化训练集训练的机器学习模型，从捕获的图像序列中的一组位平面中确定表示受试者的HC变化的位值，该组位平面是确定为近似最大化信噪比(SNR)的位平面，HC变化训练集包括从已知心率的一组受试者捕获的图像的每个位平面的位值，TOI模块基于HC变化确定由图像捕获的受试者的多个预定感兴趣区域(ROI)中的每一个的面部血流数据信号；滤波模块用于将近似心率的通带的带通滤波器应用于每个血流数据信号；希尔伯特变换模块用于对每个血流数据信号应用希尔伯特变换；调整模块用于将血流数据信号从旋转相位角调整为线性相位段；导数模块用于确定每个血流数据信号的瞬时心率；加权模块用于对每个瞬时心率应用加权；求和模块用于平均加权的瞬时心率；以及输出模块用于输出平均心率。
在特定情况下，从受试者的面部捕获ROI。
在另一种情况下，ROI是非重叠的。
在又一种情况下，TOI模块通过以下方式确定最大化SNR的一组位平面：执行位平面向量的逐像素图像减法和加法，以最大化在预定时间段内的所有ROI中的信号差异，并且识别来自位平面的增加信号差异的位值，以及识别来自位平面的降低信号差异或者对信号差异没有贡献的位值；从位平面丢弃降低信号差异或对信号差异没有贡献的位值。
在又一种情况下，通带在大约0.6赫兹到1.2赫兹的范围内，其中每分钟60次心跳等于1赫兹。
在又一种情况下，导数模块通过将差分滤波器应用于线性相位段以将相位角数据转换为表示计数值的频率单位来确定每个血流数据信号的瞬时心率，每个ROI的计数值代表瞬时心率。
在又一种情况下，导数模块在相位连续标度上线性化和微分旋转相位角以确定瞬时心率。
在又一种情况下，由加权模块施加的加权在大约一秒到十秒的范围的间隔内积分。
在又一种情况下，由加权模块施加的加权在大约五秒的间隔内积分。
本文考虑和描述了这些和其他方面。应当理解，前述发明内容阐述了基于相机的心率跟踪系统的代表性方面和用于确定心率的方法，以帮助技术人员理解以下详细描述。
附图说明
在下面的详细描述中，本发明的特征将变得更加明显，在下面的详细描述中参考了附图，其中：
图1是根据实施例的用于基于相机的心率跟踪的系统的框图；
图2是根据实施例的用于基于相机的心率跟踪的方法的流程图；
图3示出了来自皮肤表皮层和皮下层的光的重新发射；
图4是一组表面和相应的透皮图像，示出了在特定时间点特定人类受试者的血红蛋白浓度的变化；以及
图5是存储器单元的图形表示。
具体实施方式
现在将参考附图描述实施例。为了说明的简单和清楚，在认为合适的情况下，附图中可以重复附图标记以指示对应或类似的元件。另外，阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程和部件，以免模糊本文描述的实施例。而且，该描述不应视为限制本文描述的实施例的范围。
除非上下文另有说明，否则可以如下阅读和理解本说明书中使用的各种术语：如全文所使用的“或”是包括的，与写作“和/或”意思一样；如全文所使用的单数冠词和代词包括复数形式，反之亦然；类似地，性别代词包括其对应的代词，因此代词不应理解为限制本文所述的任何内容以通过单一性别来使用、实现、表现等；“示例性”应该理解为“说明性的”或“示例性的”，并且不一定比其他实施例更“优选”。术语的进一步定义可在本文列出；这些术语可以应用于那些术语的先前和后续实例，这将从本说明书的阅读中理解。
本文示例的执行指令的任何模块、单元、部件、服务器、计算机、终端、引擎或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质、或数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。此外，除非上下文另有明确说明，否则本文所述的任何处理器或控制器可以实现为单个处理器或多个处理器。多个处理器可以被排列或分布，并且本文提到的任何处理功能可以由一个或多个处理器执行，即使可以例示单个处理器。本文描述的任何方法、应用程序或模块可以使用计算机可读/可执行指令来实现，该指令可以由这样的计算机可读介质存储或以其他方式保持并由一个或多个处理器执行。
以下内容总体涉及人类心跳的检测，并且更具体地涉及用于基于相机的心率跟踪的系统和方法。使用在由一个或多个数字成像相机捕获的多个图像上执行的图像处理技术来确定心率。
在本文描述的系统和方法的实施例中，提供了技术方法来解决检测和跟踪人类心跳的技术问题。本文描述的技术方法提供了“空间”多样性以及“时间”多样性的实质优点，在“空间”多样性，感兴趣区域(ROI)信号是从人脸上的非重叠差异定位区域获得的，在“时间”多样性，时间序列数据的累积以同步或固定定时同时采样。申请人认识到这种方法的显著优点，例如，每分钟心跳(BPM)估计的质量对噪声干扰(例如由于异常值数据)更稳健，同时保留在每个采样间隔(例如以视频帧速率)更新输出BPM值的能力。
申请人进一步认识到本文所述技术方法的显著优点，例如，通过利用机器学习技术，可以优化视频图像的位平面的组成以最大化心率带的信噪比，尤其是与传统方法相比。
现在参考图1，示出了一种用于基于相机的心率跟踪的系统100。系统100包括处理单元108、一个或多个视频相机105、存储设备101和输出设备102。处理单元108可以通信地链接到存储设备101，其可以预加载和/或周期性地加载有从一个或多个视频相机105获得的视频成像数据。处理单元108包括各种互连元件和模块，包括TOI模块110、滤波模块112，希尔伯特变换模块114、调整模块116、导数模块118、加权模块120、求和模块122和输出模块124。TOI模块包括图像处理单元104和滤波器106。由视频相机105捕获的视频图像可以由滤波器106处理并存储在存储设备101上。在进一步的实施例中，一个或多个模块可以在单独的处理单元或设备上执行，包括视频相机105或输出设备102。在进一步的实施例中，模块的一些特征可以根据需要在其他模块上组合或运行。
如本文所使用的术语“视频”可包括多组静止图像。因此，“视频相机”可以包括捕获一系列静止图像的相机。
使用透皮光学成像(TOI)，TOI模块110可以从拍摄自传统数码相机的原始图像中分离血红蛋白浓度(HC)。现在参考图3，示出了说明来自皮肤的光的重新发射的图。光301在皮肤302下方行进，并且在穿过不同的皮肤组织之后重新发射303。然后可以通过光学相机105捕获重新发射的光303。影响重新发射的光的主要发色团是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，已经发现可以获得主要反映表皮下HC的图像，如图4所示。
使用透皮光学成像(TOI)，TOI模块110经由图像处理单元104从相机105获得每个捕获的图像或视频流，并且对图像执行操作以生成受试者的对应的优化血红蛋白浓度(HC)图像。根据HC数据，可以确定面部血流局部体积浓度；其中局部体积浓度是指感兴趣区域内测量的HC强度值。如所描述的，感兴趣区域用于定义要测量HC的局部有界区域。图像处理单元104分离捕获的视频序列中的HC。在示例性实施例中，使用数码相机105以每秒30帧的速度拍摄受试者面部的图像。应当理解的是，该过程可以用替代的数码相机、照明条件和帧速率来执行。
通过分析视频序列中的位平面来确定和分离一组近似最大化信噪比(SNR)的位平面来完成HC的分离。高SNR位平面的确定是参考构成捕获的视频序列的HC训练图像集来进行的，在一些情况下，与EKG、气动呼吸、血压、从获得训练集的人类受试者收集的激光多普勒(Doppler)数据一起提供。
可以使用视频图像将人类受试者面部的感兴趣区域(ROI)(例如前额、鼻子和脸颊)定义为静止或动态更新。ROI优选地是非重叠的。这些ROI优选地基于本领域关于ROI的知识来选择，其中HC特别指示心率跟踪(例如，前额、脸颊等)。使用由所有位平面(对于每个彩色图像通常为24位平面)组成的原生图像，提取在每个ROI上在特定时间段(例如，10秒)内改变的信号。在一些情况下，可以通过使用面部跟踪软件来选择和/或维护动态更新的ROI。
位平面是数字图像的基本方面。通常，数字图像由一定数量的像素组成(例如，宽度X高度为1920×1080像素)。数字图像的每个像素具有一个或多个通道(例如，颜色通道红色、绿色和蓝色(RGB))。每个通道具有动态范围，通常每通道每像素8位，但对于高动态范围图像，每通道每像素偶尔10位。因此，这些位的阵列构成了所谓的位平面。在示例中，对于每个彩色视频图像，可以存在三个通道(例如，红色、绿色和蓝色(RGB))，每个通道具有8位。因此，对于彩色图像的每个像素，通常有24层，每层1位。在这种情况下的位平面是跨所有像素的图像的特定层的单个1位图的视图。因此，对于这种类型的彩色图像，通常有24个位平面(即每个平面1位图像)。因此，对于具有每秒30帧的1秒彩色视频，存在至少720(30×24)个位平面。在本文描述的实施例中，申请人认识到使用位平面的位值，而不是仅使用例如每个通道的平均值的优点。因此，可以实现更高水平的准确性以用于预测HC变化，并且如所描述的那样进行心率的预测，因为使用位平面为训练机器学习模型提供了更大的数据基础。
取决于信号特性，可以使用一个或多个滤波器对原始信号进行预处理。这种滤波器可以包括例如巴特沃斯(Butterworth)滤波器、切比雪夫(Chebycheff)滤波器等。使用来自两个或更多ROI的滤波信号，机器学习用于系统地识别将显著增加信号差异的位平面(例如，SNR改善大于0.1db的位置)和识别不会有贡献或减少信号差异的位平面。在丢弃后者之后，剩余的位平面图像可以最佳地确定粗体流。
机器学习过程涉及使用每个位平面的每个像素中的位值来沿着时间维度操纵位平面向量(例如，24个位平面×60hz)。在一个实施例中，该过程需要每个位平面的减法和加法以最大化该时间段内所有ROI中的信号差异。在一些情况下，为了获得可靠和稳健的计算模型，整个数据集可以分为三组：训练集(例如，整个受试者数据的80％)、测试集(例如，整个受试者数据的10％)和外部验证集(例如，整个受试者数据的10％)。时间段可以根据原始数据的长度(例如，15秒、60秒或120秒)而变化。以逐像素方式执行加法或减法。现有的机器学习算法，长期短期记忆(LSTM)神经网络或其合适的替代方案用于有效地获得关于在准确性方面的差异改善的信息，哪个位平面贡献最佳信息，哪个在特征选择方面不贡献最佳信息。长期短期记忆(LSTM)神经网络允许我们执行组特征选择和分类。下面更详细地讨论LSTM机器学习算法。根据该过程，获得要从图像序列中分离以反映HC中的时间变化的一组位平面。图像滤波器配置为分离所识别的位平面，如下所述。
为了提取面部血流数据，当相机105正在观看受试者时，提取每个受试者的面部图像的每个像素上的面部HC变化数据作为时间的函数。为了增加信噪比(SNR)，根据例如它们的差别基础生理学将受试者的面部分成多个感兴趣区域(ROI)，并且平均每个ROI中的数据。
机器学习方法(诸如长期短期记忆(LSTM)神经网络，或诸如非线性支持向量机的合适替代方案)和深度学习可用来评估受试者中血红蛋白变化的共同时空模式的存在(例如，随着时间的推移，前额和脸颊的血流变化的幅度差异)。在一些情况下，可以用来自一部分受试者(例如，80％或90％的受试者)的透皮数据来训练长期短期记忆(LSTM)神经网络或替代方案，以获得面部血流的计算模型，这可以使用测试数据集进行测试，并使用外部验证数据集进行外部验证。
一旦如所描述的那样训练模型，就有可能获得任何受试者的视频序列并将从所选位平面提取的HC应用于计算模型以确定血流。对于具有血流变化和强度波动的长时间运行的视频流，可以报告依赖于基于移动时间窗口(例如，10秒)的HC数据的估计和强度分数随时间的变化。
在使用长期短期记忆(LSTM)神经网络的示例中，LSTM神经网络包括至少三层单元。第一层是输入层，它接受输入数据。第二层(也许是附加层)是隐藏层，由存储器单元组成(见图5)。最后一层是输出层，它使用Logistic回归基于隐藏层生成输出值。
如图所示，每个存储器单元包括四个主要元件：输入门、具有自我重复连接的神经元(与其自身的连接)、遗忘门和输出门。自我重复连接的权重为1.0，并确保在禁止任何外部干扰的情况下，存储器单元的状态可以从一个时间步长到另一个时间步长保持恒定。门用于调节存储器单元本身与其环境之间的相互作用。输入门允许或防止输入信号改变存储器单元的状态。另一方面，输出门可以允许或防止存储器单元的状态对其他神经元产生影响。最后，遗忘门可以调节存储器单元的自我重复连接，允许单元根据需要记住或忘记其先前的状态。
下面的等式描述了如何在每个时间步长t更新一层存储器单元。在这些等式中：xt是在时间t时存储器单元层的输入数组。在我们的应用中，这是所有ROI的血流信号。
Figure BDA0002058407810000071
Wi,、Wf、Wc、Wo、Ui、Uf、Uc、Uo和Vo是权重矩阵；以及
bi、bf、bc和bo是偏差向量。
首先，我们计算在时间t时存储器单元状态的输入门的值和候选值的值
Figure BDA0002058407810000072
it＝σ(Wixt+Uiht-1+bi)
Figure BDA0002058407810000073
其次，我们计算在时间t时存储器单元遗忘门的激活值ft。
ft＝σ(Wfxt+Ufht-1+bf)
考虑到输入门激活值it、遗忘门激活ft以及候选状态值
Figure BDA0002058407810000074
我们可以计算在时间t时的存储器单元新状态Ct。
Figure BDA0002058407810000075
利用存储器单元的新状态，我们可以计算其输出门的值，并随后计算它们的输出：
ot＝σ(Woxt+Uoht-1+VoCt+bo)
ht＝ot*tanh(Ct)
基于存储器单元的模型，对于每个时间步长的血流分布，我们可以计算来自存储器单元的输出。因此，根据输入序列x0，x1，x2，…，xn，LSTM层中的存储器单元将产生表示序列h0，h1，h2，…，hn。
目标是将序列分类到不同的条件中。Logistic回归输出层基于来自LSTM隐藏层的表示序列生成每个条件的概率。在时间步长t时的概率的向量可以通过以下公式计算：
pt＝softmax(Woutputht+boutput)
其中，Woutput是从隐藏层到输出层的权重矩阵，boutput是输出层的偏置向量。具有最大累积概率的条件将是该序列的预测条件。
系统100对来自TOI模块110的HC变化数据所使用的心率跟踪方法利用多个感兴趣区域(ROI)的自适应加权，并使用最小化“噪声”标准来控制权重。心率跟踪方法还利用希尔伯特变换来提取心跳的相干信号。有利地，当针对“地面实况(ground truth)”心电图(ECG)数据测量时的准确度指示心跳恢复方法的估计的“每分钟心跳”(BPM)通常在ECG数据的+/-2BPM内是一致的。
如本文所述，由TOI模块110捕获的人类受试者面部的血流局部体积浓度数据，如“直播的”或先前记录的，用作用于确定受试者心率的源数据。然后，面部血流数据可用于估计相关参数，例如以BPM计的平均心率。
通过HC变化的解释来指定血流数据信号。作为示例，系统100可以通过随时间观察(或绘制)所选择的ROI HC强度值的所得时间分布(例如，形状)来随时间监测由所选ROI包含的静止HC变化。在一些情况下，系统100可以通过随时间观察(或绘制)空间扩散(ROI之间的HC分布)来监测跨越多个ROI的更复杂的迁移HC变化。
为了估计人类受试者的BPM，TOI模块110检测、恢复和跟踪受试者心跳的有效发生。如本文所述，系统100通过其各种模块然后将这些周期性事件转换为表示平均计数为BPM的瞬时统计。然后不断更新该瞬时统计。有利地，该方法具有的数据采样等于指定为“每秒帧数”(FPS)的视频采集帧速率。这提供了瞬时心率的连续每帧估计。
转到图2，示出了用于基于相机的心率跟踪的方法的流程图200。
在框202处，如本文所述，通过TOI模块110使用透皮光学成像从视频提取面部血流，用于在面部上的限定的感兴趣区域(ROI)处的局部体积浓度。另外，TOI模块110记录这种局部体积浓度随时间的动态变化。
在框204处，来自每个ROI的血流体积浓度数据由滤波模块112处理为独立信号。因此，每个ROI的血流数据路由通过单独的，各自的相应信号处理路径(也称为链)，其处理源自面部图像上的唯一位置的特定TOI信号。以这种方式，使用本文描述的数字信号处理(DSP)技术，多个ROI生成多个信号，这些信号独立地同时处理为ROI信号链组。
在示例中，根据面部解剖结构或面部脉管系统的下层分布(例如，鼻子、前额等)，可以将面部分成17个不同的感兴趣区域。在这种情况下，将有17个单独的ROI信号链，每个信号链处理从面部图像提取的唯一信号。这17个ROI信号链的分组统称为ROI链组。如将描述的，每个ROI信号链的信号处理在所有ROI上可以是相同的，使得相同的操作同时应用于每个单独的ROI信号路径。
跨越多个ROI的维度在本文中将被称为ROI信号组的空间多样性轴。每个ROI信号链包括输入的图像流，例如来自视频相机，以间隔周期(如本文所述)分开。沿时间维度跨越每个ROI信号链的图像的维度在本文中将称为时间多样性轴。
在框206处，滤波模块112将每个ROI血流信号路由到一组数字带通滤波器(BPF)中的相应位置以进行处理。选择这些滤波器的通带以覆盖表示心率的扩展频率范围(其中60bpm＝1bps＝1hz)。需要对信号进行这种滤波以减少心率周期之外的能量含量，从而改善信噪比(SNR)。在示例中，初始心带通带范围可以在0.6赫兹至1.2赫兹之间延伸。尽管每个单独的ROI信号从面部上的空间唯一位置过滤心跳，但是受试者心跳可以是全局信号。因此，在一些情况下，可以在受试者的所有ROI中观察到共同的受试者特定时间段。因此，在一些情况下，所有ROI的有效通带也可以动态地和自适应地调整到共同范围。
然后，在框208处，由希尔伯特变换模块114接收表示为时间序列的每个滤波的ROI信号。希尔伯特变换模块114将希尔伯特变换(HT)应用于滤波后的信号。因此，每个ROI信号转换为其分析(复杂)等效信号属性，并分解为瞬时幅度和瞬时相位。
在框210处，通过调整模块116将信号库中的每个ROI信号的瞬时相位分量从旋转相位角调整为线性相位段，以便解决绝对定时差。由于采样步长是恒定间隔，例如在视频帧速率下，离散瞬时相位步长之间的变化率可以表示频率。在这种情况下，频率等于指定时间间隔内心跳事件(发生)的整数计数。为了确定离散瞬时相位步长之间的变化率，在框212处，每个ROI信号的瞬时相位分布路由到导数模块118，其导入差分滤波器，以将相位角信息转换成表示统计计数值的频率单位(也称为事件单元)。每个ROI的该计数值将瞬时BPM估计反映为连续信号。
在这种情况下，由于捕获的采样数据来自具有一致帧速率的视频图像流，因此可以基于已知的定时参考来确定准确的相位角，在这种情况下，该定时参考是每秒帧数。然后可以在相位连续标度上线性化相位角，并且可以在相位连续标度上微分相位步长以确定频率。这个频率实际上是心跳发生率，也称为心率。为了正确确定心率，采样率需要比测量的数量(心率)更精细。在这种情况下，视频帧速率(fps)的处理满足该条件。
可以通过称为“展开”或“伸展”相位角响应的连续重叠范围(0到2*pi弧度)的过程来线性化(或补偿)相位角。每当归一化可能超过信号频率的一个周期(2*pi)的总相位延迟时，该线性化过程确保“旋转”相位角的正确累积。在该归一化之后，可以直接将来自各种ROI的所有相位延迟相互比较。
在框214处，然后，加权模块120对每个差分滤波信号应用加权。在特定情况下，加权模块120对每个差分滤波的ROI信号应用以下加权：W(i)＝1/(STD(dP))^2在5秒间隔内积分。因此，“STD”是统计标准偏差函数测量，“dP”是间隔“i”上的相位增量，W(i)是得到的权重系数。加权表示噪声和差分滤波的心率信号之间的反比关系，噪声建模为表现出随机的、不相干的质量并且具有高标准偏差，差分滤波的心率信号缓慢变化但是相干。然后，加权模块120将移动窗口应用于该加权，以更新针对特定间隔加权的每个ROI信号。来自各个ROI信号库的表示BPM估计的信号的贡献将各自通过相应的加权输出来缩放。缩放将与每个信号的计算权重的大小成反比。在其他情况下，可以使用不同的间隔，例如，1秒、2秒、10秒等。
所有ROI信号库将在求和模块122处终止其各自的输出信号，表示瞬时BPM估计。在框216处，求和模块122将基于来自所有ROI的自适应缩放贡献来确定平均BPM。在框218处，然后输出模块124将计算的平均BPM输出到输出设备；例如，输出到计算机监视器、可穿戴设备上的LCD屏幕等。
申请人认识到使用如本文所述的多维方法的实质优点，其提供了“空间”多样性和“时间”多样性的益处。空间多样性允许从人类受试者面部上的非重叠差异定位区域获取ROI信号。“时间”多样性允许累积时间序列数据，对该数据同时采用同步或固定定时进行采样。申请人认识到这种方法的一个显著优点是BPM估计的质量对噪声干扰(例如异常数据)更为稳健，因此，比传统方法更精确，同时保留在每个采样间隔(在此示例中，以视频帧速率)更新输出BPM值的能力。
作为示例，异常数据可以扭曲HC确定并且例如由于面部上的不均匀照明条件，在面部上移动的缓慢变化的阴影，或者诸如皱纹、眼镜、头发等的固定面部混淆。利用多维方法，如本文所述，通过在受试者面部上的不同点处测量相同信号来利用空间维度，系统能够拒绝不一致或异常数据。作为示例，使ROI信号链从受试者面部的17个不同点捕获大致相同的全局心跳信号。在一些情况下，具有相同权重的17个ROI信号的平均值可以减少一些异常值效应。作为进一步的改进，并且为了进一步精确，如本文所述的多维方法应用加权平均值来确定心率，由此自适应地计算权重以最小化具有更高波动率的数据。
在进一步的实施例中，系统100可以使用异步采样率。异步采样率可以以不与视频帧速率同步或耦合的速率从图像捕获HC数据。例如，以大约1赫兹捕获HC数据，意味着每秒1次心跳或标称速率为60BPM。然后，根据奈奎斯特(Nyquist)采样理论，以至少是最高信号速率的两倍采样。例如，以5赫兹(或每秒5帧)采样，这将远高于所需。另外，该采样将具有允许系统100仅需要处理每秒5帧的优点，而不是诸如30fps或60fps的更加计算密集的速率。
在进一步的实施例中，相机可以引导到不同身体部位的皮肤，例如手腕或颈部。从这些身体区域，系统还可以提取动态血红蛋白变化以确定血流，从而获得如本文所述的心率。在一些情况下，可以使用光学传感器，该光学传感器指向或直接附着在任何身体部位的皮肤上，例如手腕或前额，以腕表、腕带、手带、衣服、鞋、眼镜或方向盘的形式。从这些身体区域，系统还可以提取用于心率确定的血流数据。
在更进一步的实施例中，该系统可以安装在自动机械及其与人类相互作用的变体(例如，机器人、人形机器人)中，以使自动机械能够跟踪自动机械正在与之交互的人的面部或其他身体部位上的心率。
前述系统和方法可以应用于多个领域。在一个实施例中，系统可以安装在智能手机设备中以允许智能手机的用户测量他们的心率。在另一个实施例中，可以在位于医院房间中的视频相机中提供该系统，以允许医院工作人员监视患者的心率而无需侵入式监视器。
可以在警察局和边境站中使用其他实施例来在询问期间监视嫌疑人的心率。在更进一步的实施例中，该系统可以用于营销以在面对特定消费品时看到消费者的心率变化。
其他应用可能变得显而易见。
尽管已经参考某些特定实施例描述了本发明，但是在不脱离所附权利要求中概述的本发明的精神和范围的情况下，本领域技术人员将清楚其各种修改。上述所有参考文献的全部公开内容均以引用方式并入本文。

Claims (20)

1.一种用于人类受试者的基于相机的心率跟踪的方法，所述方法包括：
接收捕获的光的图像序列，所述光是来自光源的光在人类受试者的皮肤下行进并穿过不同的皮肤组织之后反射的光；
使用用血红蛋白浓度（HC）变化训练集训练的机器学习模型，从捕获的图像序列中的一组位平面中确定表示受试者的血红蛋白浓度变化的位值，所述一组位平面是确定为最大化信噪比（SNR）的位平面，血红蛋白浓度变化训练集包括从已知心率的一组受试者捕获的图像的每个位平面的位值；
基于血红蛋白浓度变化确定由图像捕获的受试者的多个预定感兴趣区域（ROI）中的每一个的面部血流数据信号；
将近似心率的通带的带通滤波器应用于每个血流数据信号；
对每个血流数据信号应用希尔伯特变换；
将血流数据信号从旋转相位角调整为线性相位段；
确定每个血流数据信号的瞬时心率；
对每个瞬时心率应用加权；
平均加权的瞬时心率；以及
输出平均心率。
2.根据权利要求1所述的方法，其中，从受试者的面部捕获感兴趣区域。
3.根据权利要求1所述的方法，其中，从受试者的手腕或颈部捕获感兴趣区域。
4.根据权利要求1所述的方法，其中，感兴趣区域是非重叠的。
5.根据权利要求1所述的方法，其中，确定使信噪比最大化的一组位平面包括：
执行位平面向量的逐像素图像减法和加法，以最大化在预定时间段内的所有感兴趣区域中的信号差异；
识别来自位平面的增加信号差异的位值，以及识别来自位平面的降低信号差异或者对信号差异没有贡献的位值；以及
从位平面丢弃降低信号差异或对信号差异没有贡献的位值。
6.根据权利要求1所述的方法，其中，机器学习模型包括长期短期记忆（LSTM）神经网络或非线性支持向量机。
7.根据权利要求1所述的方法，其中，通带在0.6赫兹到1.2赫兹的范围内，其中每分钟60次心跳等于1赫兹。
8.根据权利要求1所述的方法，其中，确定每个血流数据信号的瞬时心率包括将差分滤波器应用于线性相位段以将相位角数据转换为表示计数值的频率单位，每个感兴趣区域的计数值表示瞬时心率。
9.根据权利要求1所述的方法，还包括在相位连续标度上线性化和微分旋转相位角以确定瞬时心率。
10.根据权利要求1所述的方法，其中，加权在一秒到十秒的范围的间隔内积分。
11.根据权利要求9所述的方法，其中，加权在五秒的间隔内积分。
12.一种用于人类受试者的基于相机的心率跟踪的系统，所述系统包括一个或多个处理器和数据存储设备，所述一个或多个处理器配置为执行：
透皮光学成像（TOI）模块，用于接收捕获的光的图像序列，所述光是来自光源的光在人类受试者的皮肤下行进并穿过不同的皮肤组织之后反射的光，透皮光学成像模块使用用血红蛋白浓度（HC）变化训练集训练的机器学习模型，从捕获的图像序列中的一组位平面中确定表示受试者的血红蛋白浓度变化的位值，所述一组位平面是确定为最大化信噪比（SNR）的位平面，血红蛋白浓度变化训练集包括从已知心率的一组受试者捕获的图像的每个位平面的位值，透皮光学成像模块基于血红蛋白浓度变化确定由图像捕获的受试者的多个预定感兴趣区域（ROI）中的每一个的面部血流数据信号；
滤波模块用于将近似心率的通带的带通滤波器应用于每个血流数据信号；
希尔伯特变换模块用于对每个血流数据信号应用希尔伯特变换；
调整模块用于将血流数据信号从旋转相位角调整为线性相位段；
导数模块用于确定每个血流数据信号的瞬时心率；
加权模块用于对每个瞬时心率应用加权；
求和模块用于平均加权的瞬时心率；以及
输出模块用于输出平均心率。
13.根据权利要求12所述的系统，其中，从受试者的面部捕获感兴趣区域。
14.根据权利要求12所述的系统，其中，感兴趣区域是非重叠的。
15.根据权利要求12所述的系统，其中，透皮光学成像模块通过以下方式确定最大化信噪比的一组位平面：
执行位平面向量的逐像素图像减法和加法，以最大化在预定时间段内的所有感兴趣区域中的信号差异；
识别来自位平面的增加信号差异的位值，以及识别来自位平面的降低信号差异或者对信号差异没有贡献的位值；以及
从位平面丢弃降低信号差异或对信号差异没有贡献的位值。
16.根据权利要求12所述的系统，其中，通带在0.6赫兹到1.2赫兹的范围内，其中每分钟60次心跳等于1赫兹。
17.根据权利要求12所述的系统，其中，导数模块通过将差分滤波器应用于线性相位段以将相位角数据转换为表示计数值的频率单位来确定每个血流数据信号的瞬时心率，每个感兴趣区域的计数值代表瞬时心率。
18.根据权利要求12所述的系统，其中，导数模块在相位连续标度上线性化和微分旋转相位角以确定瞬时心率。
19.根据权利要求12所述的系统，其中，由加权模块施加的加权在一秒到十秒的范围的间隔内积分。
20.根据权利要求12所述的系统，其中，由加权模块施加的加权在五秒的间隔内积分。
CN201780070236.4A 2016-11-14 2017-11-14 用于基于相机的心率跟踪的系统和方法 Active CN109937002B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662421517P 2016-11-14 2016-11-14
US62/421,517 2016-11-14
PCT/CA2017/051354 WO2018085945A1 (en) 2016-11-14 2017-11-14 System and method for camera-based heart rate tracking

Publications (2)

Publication Number Publication Date
CN109937002A CN109937002A (zh) 2019-06-25
CN109937002B true CN109937002B (zh) 2021-10-22

Family

ID=62109076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070236.4A Active CN109937002B (zh) 2016-11-14 2017-11-14 用于基于相机的心率跟踪的系统和方法

Country Status (4)

Country Link
US (3) US10117588B2 (zh)
CN (1) CN109937002B (zh)
CA (1) CA3042952A1 (zh)
WO (1) WO2018085945A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3378387B1 (en) * 2017-03-21 2024-05-01 Tata Consultancy Services Limited Heart rate estimation from face videos using quality based fusion
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
WO2020061870A1 (zh) * 2018-09-27 2020-04-02 深圳大学 Lstm的端到端单导联心电图分类方法
CN110012256A (zh) * 2018-10-08 2019-07-12 杭州中威电子股份有限公司 一种融合视频通信与体征分析的系统
EP3998944A4 (en) 2019-07-16 2023-08-16 Nuralogix Corporation SYSTEM AND METHODS FOR CAMERA-BASED QUANTIFICATION OF BLOOD BIOMARKERS
CN110916639B (zh) * 2019-12-23 2022-09-02 深圳市圆周率智能信息科技有限公司 获取运动心率恢复率的方法、系统、可穿戴设备和计算机可读存储介质
CN111260634B (zh) * 2020-01-17 2022-03-15 天津工业大学 一种面部血流分布提取方法与系统
CN111882559B (zh) * 2020-01-20 2023-10-17 深圳数字生命研究院 Ecg信号的获取方法及装置、存储介质、电子装置
CN111428577B (zh) * 2020-03-03 2022-05-03 电子科技大学 一种基于深度学习与视频放大技术的人脸活体判断方法
CN113100722B (zh) * 2021-03-30 2023-01-17 联想(北京)有限公司 一种心率确定方法及装置
CN113243900B (zh) * 2021-04-18 2023-05-05 南京理工大学 一种视频心率检测的rPPG信号预处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201798736U (zh) * 2010-05-19 2011-04-20 浙江好络维医疗技术有限公司 一种腕式红外脉搏监测仪
CN104382575A (zh) * 2014-11-20 2015-03-04 惠州Tcl移动通信有限公司 一种基于移动终端的心律检测方法及移动终端
EP2960862A1 (en) * 2014-06-24 2015-12-30 Vicarious Perception Technologies B.V. A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
WO2016177800A1 (de) * 2015-05-05 2016-11-10 Osram Opto Semiconductors Gmbh Optischer herzfrequenzsensor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1184929C (zh) * 1995-12-27 2005-01-19 希森美康株式会社 非侵入式血液分析仪
EP1665988A4 (en) * 2003-09-19 2011-06-22 Hitachi Medical Corp SYSTEM FOR PROCESSING ORGANIZATION INFORMATION SIGNALS COMPRISING A COMBINATION OF A DEVICE FOR MEASURING THE LIGHT OF AN ORGANISM AND A DEVICE FOR MEASURING BRAIN WAVE AND PROBE USED THEREIN
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
US20150148632A1 (en) * 2013-11-26 2015-05-28 David Alan Benaron Calorie Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables
WO2015103614A2 (en) * 2014-01-06 2015-07-09 The Florida International University Board Of Trustees Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
US10292629B2 (en) * 2014-03-19 2019-05-21 University Of Houston System Method for measuring physiological parameters of physical activity
US20160098592A1 (en) * 2014-10-01 2016-04-07 The Governing Council Of The University Of Toronto System and method for detecting invisible human emotion
US20160223514A1 (en) * 2015-01-30 2016-08-04 Samsung Electronics Co., Ltd Method for denoising and data fusion of biophysiological rate features into a single rate estimate
US10912516B2 (en) * 2015-12-07 2021-02-09 Panasonic Corporation Living body information measurement device, living body information measurement method, and storage medium storing program
WO2017112753A1 (en) * 2015-12-22 2017-06-29 University Of Washington Devices and methods for predicting hemoglobin levels using electronic devices such as mobile phones
JP6191977B1 (ja) * 2016-05-02 2017-09-06 株式会社トリロバイト 生体情報測定システム、及び生体情報測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201798736U (zh) * 2010-05-19 2011-04-20 浙江好络维医疗技术有限公司 一种腕式红外脉搏监测仪
EP2960862A1 (en) * 2014-06-24 2015-12-30 Vicarious Perception Technologies B.V. A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
CN104382575A (zh) * 2014-11-20 2015-03-04 惠州Tcl移动通信有限公司 一种基于移动终端的心律检测方法及移动终端
WO2016177800A1 (de) * 2015-05-05 2016-11-10 Osram Opto Semiconductors Gmbh Optischer herzfrequenzsensor

Also Published As

Publication number Publication date
US20190328247A1 (en) 2019-10-31
US10702173B2 (en) 2020-07-07
US10448847B2 (en) 2019-10-22
US20180199838A1 (en) 2018-07-19
CN109937002A (zh) 2019-06-25
CA3042952A1 (en) 2018-05-17
US20190038159A1 (en) 2019-02-07
US10117588B2 (en) 2018-11-06
WO2018085945A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN109937002B (zh) 用于基于相机的心率跟踪的系统和方法
US11337626B2 (en) System and method for contactless blood pressure determination
US11857323B2 (en) System and method for camera-based stress determination
WO2016201130A1 (en) Method and apparatus for heart rate monitoring using an electrocardiogram sensor
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
Martinez et al. Non-contact photoplethysmogram and instantaneous heart rate estimation from infrared face video
Ayesha et al. Heart rate monitoring using PPG with smartphone camera
Mitsuhashi et al. Video-based stress level measurement using imaging photoplethysmography
JP2020537552A (ja) 複数のセンサを伴うダイレクトフォトプレチスモグラフィ（ｐｐｇ）のためのコンピュータ実装方法及びシステム
EP3764896A1 (en) Method and apparatus for monitoring a human or animal subject
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
CA3139034A1 (en) System and method for filtering time-varying data for physiological signal prediction
Kansara et al. Heart Rate Measurement
Malacarne et al. Improved remote estimation of heart rate in face videos
Pansare et al. Heart Rate Measurement from Face and Wrist Video
Lima et al. Remote detection of heart beat and heart rate from video sequences
Lu et al. Non-contact pulse rate measurement of hand and wrist using RGB camera
Umematsu et al. Head-Motion Robust Video-Based Heart Rate Estimation Using Facial Feature Point Fluctuations
Rawat et al. Heart Rate Monitoring Using External Camera
Biagetti et al. 5 Photoplethysmography and Inertial
Takahashi et al. Active state recognition of a person by the multimodal biological information estimated from facial image sequences
CN117809207A (zh) 一种无人机非接触式人员心率及呼吸频率检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant