CN116583216A - 从光学数据测量血压的系统和方法 - Google Patents

从光学数据测量血压的系统和方法 Download PDF

Info

Publication number
CN116583216A
CN116583216A CN202180079136.4A CN202180079136A CN116583216A CN 116583216 A CN116583216 A CN 116583216A CN 202180079136 A CN202180079136 A CN 202180079136A CN 116583216 A CN116583216 A CN 116583216A
Authority
CN
China
Prior art keywords
face
optical data
determining
signal
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180079136.4A
Other languages
English (en)
Inventor
D·玛曼
K·格达林
M·马克松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bina Artificial Intelligence Co ltd
Original Assignee
Bina Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bina Artificial Intelligence Co ltd filed Critical Bina Artificial Intelligence Co ltd
Publication of CN116583216A publication Critical patent/CN116583216A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02141—Details of apparatus construction, e.g. pump units or housings therefor, cuff pressurising systems, arrangements of fluid conduits or circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • Vascular Medicine (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了一种用于提高血压测量的准确度的新的系统和方法。多个方面有助于提高准确度，包括但不限于对相机输出/输入进行预处理、从所述预处理的相机信号提取脉动信号，之后对所述脉动信号进行后滤波。然后可以将这个改进的信息用于例如HRV确定的分析。优选地，将多个这样的生理测量用于确定血压测量。

Description

从光学数据测量血压的系统和方法
技术领域
本发明涉及一种针对根据光学数据确定的血压测量的系统和方法，特别涉及用于根据受试者的视频数据确定这些测量的系统和方法。
发明背景技术
心率测量装置的历史可以追溯到1870年代的第一张心电图(ECG或EKG)，它测量由于心脏心动周期(或心跳)引起的电压变化。EKG信号由三个主要部分组成：P波代表心房去极化；QRS波群代表心室去极化；T波代表心室复极化。
第二种脉搏率检测技术是光学测量，所述技术检测组织的微血管床中的血量变化，被称作光学体积描记(PPG)。在PPG测量中，外周脉搏波特征性地展现收缩峰值和舒张峰值。收缩峰值是直接压力波从左心室传播到身体周围的结果，而舒张峰值(或拐点)是下半身动脉反射压力波的结果。
有两类基于PPG的装置：基于接触和远程(rPPG)。基于接触的装置通常用在手指上，通常测量红色和IR(红外线)波长的光反射。另一方面，远程PPG装置测量从通常是面部的皮肤表面反射的光。大多数rPPG算法使用RGB相机，而不使用IR相机。
PPG信号来自光-生物组织相互作用，因此取决于(多次)散射、吸收、反射、透射以及荧光。取决于用于基于接触或远程PPG测量的装置类型，不同的影响很重要。在rPPG分析中，信号的方便一阶分解是强度波动、散射(不与生物组织相互作用)以及脉动信号。根据EKG测量中的R时间或PPG测量中的收缩峰值来设置瞬时脉搏时间。EKG符号被用于将rPPG测量的收缩峰值称为R时间。根据连续R时间之间的差RR(n)＝R(n)-R(n-1)来估计瞬时心率，即60/RR(n)，单位为每分钟心跳次数。
RR间隔的波动指示心血管系统如何调整以应对对体内平衡的突然生理和心理挑战。这些波动的量度被称为心率变异性(HRV)。
发明概要
不幸的是，准确的光学脉搏率检测遇到了各种技术问题。主要困难是实现的低信噪比，因此无法检测脉搏率。需要准确的脉搏率检测才能确定心率变异性(HRV)。
HRV是在长时间中从脉搏率提取统计参数。传统上，测量时间从0.5小时变到24小时，但是近年来研究人员也从基本上更短的持续时间提取出HRV。源自HRV的统计信息可以提供受试者健康状况的一般指标，包括例如关于应激估计的指标。
血压测量目前需要使用普通人很难使用的血压袖带和其他复杂装置。所述装置也可能被错误使用，因此可能给出错误读数。此外，全天重复的血压测量对普通人来说很难进行。
当前要求保护的发明通过提供新的系统和方法来克服这些困难，所述系统和方法提高血压测量测量结果的准确度，同时还增加这种测量的容易性。多个方面有助于提高准确度，从更准确和完整的心血管测量开始，包括但不限于对相机输出/输入进行预处理，从预处理的相机信号提取脉动信号，之后对脉动信号进行后滤波。这种改进的信息然后可以用于例如HRV确定的分析，这对于光学脉搏率检测的不准确方法是不可能的。
将HRV参数与氧水平和呼吸变异性组合以确定正确的血压。优选地，与体重、年龄、性别等相关的元数据也被用于确定正确的血压。然后组合所有这些各种计算和测量以提供准确的血压测量。
根据至少一些实施方案，提供了一种用于确定受试者的血压测量的方法，所述方法包括：从所述受试者的面部获得光学数据；分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述面部的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；根据所述时间序列来计算至少一个生理信号，其中所述根据所述时间序列来计算至少一个生理信号包括重建心跳模式、确定呼吸信号、测量心率以及测量血氧化度；以及根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
任选地，所述光学数据包括视频数据，并且其中所述获得所述光学数据包括获得所述受试者的所述皮肤的视频数据。任选地，所述获得所述光学数据还包括获得来自相机的视频数据。任选地，所述相机包括手机相机。任选地，所述获得所述光学数据还包括获得所述受试者的面部的所述皮肤的视频数据。任选地，所述获得所述光学数据还包括获得所述受试者的手指的皮肤的视频数据。任选地，所述获得所述视频数据包括通过将所述受试者的指尖放置在所述手机相机上来获得所述指尖的皮肤的视频数据。任选地，所述手机相机包括前置相机和后置相机，并且其中用所述前置相机来获得所述受试者的所述面部的所述皮肤的所述视频数据，使得所述指尖被放置在所述后置相机上。任选地，所述将所述指尖放置在所述手机相机上还包括激活与所述手机相机相关联的闪光灯以提供光。
任选地，所述检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部或指尖边界、选择概率最高的面部或指尖边界以及将直方图分析应用于来自所述面部或所述指尖的视频数据。任选地，所述确定所述多个面部或指尖边界包括将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部或指尖边界。
任选地，所述生理信号还选自由以下各项组成的组：呼吸量、呼吸变异性、心率变异性(HRV)、ECG样信号以及pSO2(氧饱和度)。任选地，所述确定血压测量还包括将元数据与来自所述至少一个生理信号的测量组合，其中所述元数据包括所述受试者的体重、年龄、身高、生物性别、身体脂肪百分率以及身体肌肉百分率中的一项或多项。任选地，所述确定所述血压测量还包括根据呼吸信号变异性来调整所述血压测量。任选地，所述重建所述心跳模式包括分析所述时间序列以确定HRV(心率变异性时域分析)。
任选地，通过计算SDRR、PRR50、三角以及TINN来确定HRV。任选地，通过计算LF与HF的比率来确定HRV。任选地，通过计算LF峰值和功率以及HF峰值和功率来确定LF与HF的所述比率。
根据至少一些实施方案，提供了一种用于从受试者获得生理信号的系统，所述系统包括：相机，所述相机用于从所述受试者的面部获得光学数据；用户计算装置，所述用户计算装置用于从所述相机接收光学数据，其中所述用户计算装置包括处理器和用于存储多个指令的存储器，其中所述处理器执行所述指令以用于：分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述面部的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；其中根据所述时间序列来计算至少一个生理信号包括重建心跳模式、确定呼吸信号、测量心率以及测量血氧化度；以及根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
任选地，所述存储器被配置用于存储定义的本机代码指令集，并且所述处理器被配置成响应于接收到选自存储在所述存储器中的所述定义的本机代码指令集的对应基本指令而执行定义的一组基本操作；其中所述存储器存储：选自所述本机指令集的用于分析所述光学数据以选择与所述受试者的所述面部相关的数据的第一组机器代码；选自所述本机指令集的用于检测来自所述面部的皮肤的光学数据的第二组机器代码；选自所述本机指令集的用于通过以下操作根据所述光学数据来确定时间序列的第三组机器代码：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；选自所述本机指令集的用于通过以下操作根据所述时间序列来计算所述生理信号的第四组机器代码：重建所述心跳模式、确定所述呼吸信号、测量所述心率以及测量所述血氧化度；以及选自所述本机指令集的用于根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量的第五组机器代码。
任选地，所述检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部边界、选择概率最高的面部边界以及将直方图分析应用于来自所述面部的视频数据，使得所述存储器还包括选自所述本机指令集的用于检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部边界的第六组机器代码、选自所述本机指令集的用于选择概率最高的面部边界的第七组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部的视频数据的第八组机器代码。
任选地，所述确定所述多个面部边界包括将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部边界，使得所述存储器还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部边界的第九组机器代码。
任选地，所述相机包括手机相机，并且其中所述光学数据作为视频数据从所述手机相机获得。任选地，所述计算装置包括移动通信装置。任选地，所述手机相机包括后置相机，并且为了获得所述视频数据，将所述受试者的指尖放置在所述相机上。任选地，所述系统还包括与所述手机相机相关联的闪光灯以提供光来获得所述光学数据。
任选地，所述存储器还包括选自所述本机指令集的用于确定多个面部或指尖边界的第十组机器代码、选自所述本机指令集的用于选择概率最高的面部或指尖边界的第十一组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部或所述指尖的视频数据的第十二组机器代码。任选地，所述存储器还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部或指尖边界的第十三组机器代码。
任选地，所述系统还包括根据由所述处理器执行的所述指令组合来自所述面部和所述指尖的图像的分析数据以确定生理测量。任选地，所述系统还包括用于显示所述生理测量和/或信号的显示器。任选地，所述用户计算装置还包括所述显示器。任选地，所述用户计算装置还包括用于发送所述生理测量和/或信号的发送器。
任选地，所述确定所述生理信号还包括将元数据与来自所述至少一个生理信号的测量组合，其中所述元数据包括以下各项中的一个或多个：所述受试者的体重、年龄、身高、生物性别、身体脂肪百分率以及身体肌肉百分率。任选地，所述生理信号还选自由应激、呼吸量以及pSO2(氧饱和度)组成的组。
根据至少一些实施方案，提供了一种用于从受试者获得生理信号的系统，所述系统包括：后置相机，所述后置相机用于从所述受试者的手指获得光学数据；用户计算装置，所述用户计算装置用于从所述相机接收光学数据，其中所述用户计算装置包括处理器和用于存储多个指令的存储器，其中所述处理器执行所述指令以用于：分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述手指的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；根据所述时间序列来计算所述生理信号，其中所述至少一个生理信号包括血氧化度；以及根据所述至少一个生理信号来确定血压测量。任选地，所述根据所述时间序列来计算至少一个生理信号还包括重建心跳模式、确定呼吸信号以及测量心率；并且其中根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
任选地，所述系统还包括根据如本文中描述的任何实施方案的系统。
根据至少一些实施方案，提供了一种用于从受试者获得生理信号的方法，所述方法包括：操作根据如本文中描述的任何实施方案的系统以从所述受试者获得所述生理信号，其中所述至少一个生理信号包括血氧化度；以及根据所述至少一个生理信号来确定血压测量。任选地，所述方法还根据如本文中描述的任何实施方案来执行。
本发明的方法和系统的实现方式涉及手动地、自动地或以其组合执行或完成某些选定的任务或步骤。此外，根据本发明的方法和系统的优选实施方案的实际仪器和设备，选定的几个步骤可以通过硬件或通过任何固件的任何操作系统上的软件或其组合来实现。举例来说，作为硬件，本发明的选定步骤可以实现为芯片或电路。作为软件，本发明的选定步骤可以实现为多个软件指令由使用任何合适操作系统的计算机来执行。在任何情况下，本发明的方法和系统的选定步骤都可以描述为由例如用于执行多个指令的计算平台的数据处理器执行。
尽管本发明关于“计算装置”、“计算机”或“移动装置”进行描述，但是应注意，任选地，可以将特征为数据处理器和执行一个或多个指令的能力的任何装置描述为计算机，包括但不限于任何类型的个人计算机(PC)、服务器、分布式服务器、虚拟服务器、云计算平台、蜂窝电话、IP电话、智能手机或PDA(个人数字助理)。彼此通信的这样的装置中的任何两个或更多个可以任选地包括“网络”或“计算机网络”。
附图说明
现在参考附图仅以举例方式在此描述本发明。现在详细地具体参考附图，强调所示的细节是以举例方式给出并且仅出于对本发明的优选实施方案的说明性讨论的目的，并且是为了提供被认为是对发明的原理和概念方面最有用和最容易理解的描述而呈现。在这方面，没有尝试比对本发明的基本理解所必需的更详细地展示本发明的结构细节，结合附图的描述使本领域技术人员清楚本发明的几种形式在实践中可以如何体现。在附图中：
图1A和图1B示出了用于获得用户的视频数据和用于分析所述视频数据以确定一个或多个生物信号的示例性非限制性说明性系统；
图2示出了用于执行信号分析的非限制性示例性方法；
图3A和图3B示出了用于使用户能够使用应用程序获得生物统计数据的非限制性示例性方法；
图4示出了用于针对血压测量测量结果创建详细生物统计数据的非限制性示例性过程；
图5A到图5E示出了用于获得视频数据然后执行初始处理的非限制性示例性方法；
图6A涉及用于rPPG的脉搏率估计和确定的非限制性示例性方法；
图6B到图6C涉及图6A的方法的一些结果；
图7示出了用于执行HRV或心率变异性时域分析的非限制性示例性方法；
图8示出了用于计算心率变异性或HRV频域的非限制性示例性方法；并且
图9示出了用于确定更准确的血压测量的非限制性示例性方法。
至少一些实施方案的描述
rPPG机制的一个关键潜在问题是准确的面部检测和适合分析的精确皮肤表面选择。当前要求保护的发明克服了基于神经网络方法的面部和皮肤检测的这个问题。下面提供了非限制性实例。优选地，对于皮肤选择，使用基于直方图的算法。对仅包含面部的视频帧的一部分应用这个过程，每个通道，红色、绿色和蓝色(RGB)，的平均值构成帧数据。当对后续的视频帧连续地使用以上过程时，获得RGB数据的时间序列。这些由RGB值表示的时间序列的每个元素都是逐帧获得的，时间戳用于确定从第一元素第一次出现开始的经过时间。然后，对于完整的时间窗口(Lalgo)，当总的经过时间达到用于脉搏率估计定义的外部参数的平均周期时，rPPG分析开始。考虑到可变帧采集率，必须相对于固定的给定帧率对时间序列数据进行插值。
在插值后，应用预处理机制以构建更合适的三维信号(RGB)。这样的预处理可以包括例如归一化和滤波。预处理后，计算rPPG轨迹信号，包括估计平均脉搏率。
现在转到附图，图1A和图1B示出了用于获得用户的视频数据和用于分析所述视频数据以确定一个或多个生物信号的示例性非限制性说明性系统。
图1A示出了特征为与服务器118通信的用户计算装置102的系统100。用户计算装置102优选地通过计算机网络116与服务器118通信。用户计算装置102优选地包括用户输入装置106，例如，所述用户输入装置可以包括例如鼠标的点击装置、键盘和/或其他输入装置。
另外，用户计算装置102优选地包括相机114，所述相机用于获得用户的面部的视频数据。相机也可以与用户计算装置分开。用户与用户应用程序界面104交互，以提供用于确定信号分析的类型、用于开始信号分析以及还用于接收信号分析的结果的命令。
举例来说，通过用户计算装置102，用户可以开始通过相机114通过以下操作来记录视频数据：或者单独激活相机114，或者通过通过用户应用程序界面104发布命令来记录这样的数据。
接下来，视频数据优选地被发送到服务器118，视频数据在服务器中被服务器应用程序界面120接收。视频数据接着由信号分析仪引擎122进行分析。信号分析仪引擎122优选地包括检测视频信号中的面部，随后是皮肤检测。如下文详细描述的，优选地应用各种非限制性算法以支持从这个信息获得脉搏信号。接下来，优选地根据时间、频率以及非线性滤波器对脉搏信号进行分析以支持HRV的确定。在已经确定HRV之后，确定血压。任选地，也确定其他生理参数。通过至少应用血压测量并且优选地其他生理参数，血压测量被确定，如下面将更详细地描述。
用户计算装置102优选地以处理器110A和存储器112A为特征。服务器118优选地以处理器110B和存储器112B为特征。
如本文所用，例如处理器110A或110B的处理器通常指的是具有用于实现特定系统的通信和/或逻辑功能的电路的设备或设备组合。举例来说，处理器可以包括数字信号处理器装置、微处理器装置和各种模数转换器、数模转换器以及其他支持电路和/或前述各项的组合。系统的控制和信号处理功能根据这些处理装置各自的能力而分配在所述处理装置之间。处理器还可以包括操作基于其计算机可执行程序代码的一个或多个软件程序的功能，所述软件程序可以存储在存储器(在这个非限制性实例中，例如存储器112A或112B)中。如本文所用的短语，处理器可以被“配置成”以多种方式执行某种功能，包括例如通过使一个或多个通用电路通过执行体现在计算机可读介质中的特定计算机可执行程序代码来执行所述功能，和/或通过使一个或多个专用电路执行所述功能。
任选地，存储器112A或112B被配置用于存储定义的本机代码指令集。处理器110A或110B被配置成响应于接收到选自存储在存储器112A或112B中的定义的本机代码指令集的对应基本指令而执行定义的一组基本操作。任选地，存储器112A或112B存储：选自所述本机指令集的用于分析所述光学数据以选择与所述受试者的所述面部相关的数据的第一组机器代码；选自所述本机指令集的用于检测来自所述面部的皮肤的光学数据的第二组机器代码；选自所述本机指令集的用于通过以下操作根据所述光学数据来确定时间序列的第三组机器代码：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；选自所述本机指令集的用于根据所述时间序列来计算所述生理信号的第四组机器代码，其中所述至少一个生理信号包括血氧化度；以及选自所述本机指令集的用于根据所述至少一个生理信号来确定所述血压测量的第五组机器代码。
血氧化度优选地确定为血氧化水平。任选地，根据所述时间序列来计算所述生理信号还包括重建心跳模式、确定呼吸信号以及测量心率。任选地，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
任选地，存储器112A或112B还包括选自所述本机指令集的用于检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部边界的第六组机器代码、选自所述本机指令集的用于选择概率最高的面部边界的第七组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部的视频数据的第八组机器代码。
任选地，存储器112A或112B还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部边界的第九组机器代码。
任选地，存储器112A或112B还包括选自所述本机指令集的用于确定多个面部或指尖边界的第十组机器代码、选自所述本机指令集的用于选择概率最高的面部或指尖边界的第十一组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部或所述指尖的视频数据的第十二组机器代码。
任选地，存储器112A或112B还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部或指尖边界的第十三组机器代码。任选地，处理器110A或110B分别根据由处理器110A或110B执行的指令、根据存储在存储器112A或112B中的指令组合来自所述面部和所述指尖的图像的分析数据以确定生理测量。
另外，用户计算装置102可以将用户显示装置108作为特征，所述用户显示装置用于显示信号分析的结果、发布的一个或多个命令的结果等。
图1B示出了系统150，其中上述功能由用户计算装置102执行。对于图1A或图1B中的任一个，用户计算装置102可以包括手机。在图1B中，先前描述的信号分析仪引擎现在由用户计算装置102操作以作为信号分析仪引擎152。信号分析仪引擎152可以具有与针对图1A中的信号分析仪引擎描述的功能相同或相似的功能。在图1B中，用户计算装置102可以连接到例如因特网的计算机网络(未示出)并且还可以与其他计算装置通信。在至少一些实施方案中，所述功能中的一些由用户计算装置102执行，而其他功能由单独的计算装置，例如服务器(图1B中未示出，参见图1A)，执行。
图2示出了用于执行信号分析的非限制性示例性方法。过程200通过在方框202启动获得数据的过程(例如，通过激活相机204)开始。然后，在206处任选地执行面部识别以首先寻找用户的面部。举例来说，这可以通过深度学习面部检测模块208以及跟踪过程210来执行。重要的是寻找用户的面部，因为视频数据优选地是用户的面部，以便获得信号分析的最准确结果。跟踪过程210基于连续特征匹配机制。这些特征表示新帧中的先前检测到的面部。这些特征是根据在帧中的位置和图像识别过程，例如CNN(卷积神经网络)，的输出而确定。当只有一张脸出现在帧中时，跟踪过程210可以简化为帧内的面部识别。
作为非限制性实例，任选地，对于面部检测应用多任务卷积网络算法，这在实时条件下实现最先进的准确度。所述算法基于在Li等人的出版物(2015年6月，关于ComputerVision and Pattern Recognition(CVPR)的IEEE会议中的Haoxiang Li、Zhe Lin、XiaohuiShen、Jonathan Brandt以及Gang Hua的Aconvolutional neural network cascade forface detection)中介绍的网络级联。
接下来，在212处在视频数据内寻找用户的面部的皮肤。优选地，对于皮肤选择，使用基于直方图的算法。如根据先前描述的面部检测算法所确定的，对仅包含面部的视频帧的一部分应用这个过程，优选地，将每个通道，红色、绿色和蓝色(RGB)，的平均值用于构建帧数据。当对后续视频帧连续地使用以上过程时，获得RGB数据的时间序列。每个帧及其RGB值代表这些时间序列的一个元素。每个元素都有一个时间戳，所述时间戳是根据从第一次出现起经过的时间确定的。收集到的元素可以被描述为在具有L个算法元素的缩放缓冲器中。优选地收集帧，直到收集到足够的元素为止。元素数量的充足性优选地根据总的经过时间来确定。当总的经过时间达到用于脉搏率估计的平均周期所需的时间长度时，214的rPPG分析开始。可以对收集到的数据元素进行插值。在插值后，优选地应用预处理机制以构建更合适的三维信号(RGB)。
在214处，根据三维信号并且具体地根据RGB数据的元素来创建PPG信号。举例来说，可以根据单次计算或根据多次交叉相关计算来确定脉搏率，如下面将更详细地描述。这个脉搏率接着可以在216处进行归一化和滤波，并且可以用于在218处重建PSO2、ECG以及呼吸。在220处找出基本频率，并且在222处创建统计数据，例如心率、PSO2以及呼吸率等。在222处创建的统计数据还优选地包括准确的血压测量。
图3A示出了用于使用户能够使用应用程序获得生物统计数据的非限制性示例性方法。在方法300中，在302处，用户向应用程序注册。接下来，在304处，使用视频相机(例如附接到用户计算装置或由用户计算装置形成)获得图像。视频相机优选地是如本文中描述的RGB相机。
在306处，在图像内寻找面部。这可以在用户计算装置上、在服务器上或任选地在两者上执行。此外，关于多任务卷积神经网络，可以如前所述地执行这个过程。然后通过将直方图应用于RGB信号数据来执行皮肤检测。优选地仅分析与从皮肤反射的光相关的视频数据以用于光学脉搏检测和HRV确定。
在308处，例如，如前所述地确定信号的时间序列。考虑到可变帧采集率，优选地，相对于固定的给定帧率对时间序列数据进行插值。在运行插值过程之前，优选地分析以下条件，使得可以执行插值。首先，优选地对帧数进行分析以验证：在插值和预处理之后，将有足够的帧用于rPPG分析。
接下来，考虑每秒帧数以验证：窗口中的测量到的每秒帧数高于最小阈值。之后，分析帧之间的时间间隔(如果有的话)以确保所述时间间隔小于某个外部设置的阈值，所述阈值例如可能为0.5秒。
如果以上条件中的任何一个都不满足，则所述过程优选地以全数据重置终止并且从最后一个有效帧重新开始，例如以返回到如上所述的304。
接下来，在插值后，在310处优选地对视频信号进行预处理。应用预处理机制以构建更合适的三维信号(RGB)。预处理优选地包括将每个通道归一化为总功率；按平均值(由低通滤波器估计)缩放通道值并减一；然后将数据通过巴特沃思带通IIR滤波器。优选地，关注的生理频带是[0.7±4]Hz。(42-240bpm)。任选地并且另外地，可以使用希尔伯特变换来应用包络线估计以便去除基线影响。
在312处提取统计信息。然后在314处重建心跳模式。在316处确定呼吸信号，然后在318处测量脉搏率。此后，在320处测量血氧化度。然后在322处确定血压，任选地根据314的心跳模式、316的呼吸信号以及318的脉搏率中的一个或多个来调整血压。
图3B示出了类似的用于如前所述地分析例如来自移动装置的后置相机的用户的指尖的视频数据的非限制性示例性方法。举例来说，对于用户的面部，如果不能从前置相机捕获足够的视频数据，则可以使用这个过程。在方法340中，所述方法通过在342处将用户的指尖放置在相机上或附近开始。如果靠近相机，则指尖需要对相机可见。这种放置可以例如在移动装置中通过让用户将指尖放置在移动装置的后置相机上来实现。相机已经处于相对于指尖放置的已知几何位置，这有助于在收集准确视频数据方面正确地放置指尖。任选地，可以在更长模式(“手电筒(torch)”或“手电筒(flashlight)”模式)下启用移动装置的闪光灯以提供足够的光线。如果相机没有检测到足够的光以获得指尖的准确视频数据，则可以自动地执行启用闪光灯。
在344处，用相机获得手指并且优选地指尖的图像。接下来，在346处，在图像内寻找手指并且优选地指尖。可以如先前关于在图像内寻找面部所描述地执行这个过程。然而，如果使用神经网络，则将需要对神经网络进行专门训练以寻找手指并且优选地指尖。来自光学数据的手部追踪在本领域中是已知的；修改后的手部跟踪算法可以用于在一系列图像内跟踪指尖。
在348处，在图像的手指并且优选地指尖部分内找到皮肤。再一次，通常可以如上文关于皮肤寻找所描述地那样执行这个过程，任选地针对手指或指尖皮肤进行调整。在350处，确定信号的时间序列，例如如先前所描述，但是优选地针对使用后置相机和/或指尖皮肤在相机上的直接接触的任何特性进行调整。考虑到可变帧采集率，优选地，相对于固定的给定帧率对时间序列数据进行插值。在运行插值过程之前，优选地分析以下条件，使得可以执行插值。首先，优选地对帧数进行分析以验证：在插值和预处理之后，将有足够的帧用于rPPG分析。
接下来，考虑每秒帧数以验证：窗口中的测量到的每秒帧数高于最小阈值。之后，分析帧之间的时间间隔(如果有的话)以确保所述时间间隔小于某个外部设置的阈值，所述阈值例如可能为0.5秒。
如果以上条件中的任何一个都不满足，则所述过程优选地以全数据重置终止并且从最后一个有效帧重新开始，例如以返回到如上所述的344。
接下来，在插值后，在352处优选地对视频信号进行预处理。应用预处理机制以构建更合适的三维信号(RGB)。预处理优选地包括将每个通道归一化为总功率；按平均值(由低通滤波器估计)缩放通道值并减一；然后将数据通过巴特沃思带通IIR滤波器。再一次，优选地针对指尖数据调整这个过程。在354处，提取统计信息，此后，所述过程可以例如如上文关于图3A所描述地从314继续，以确定血压测量。
图4示出了用于创建用于确定正确的血压测量的详细生物统计数据的非限制性示例性过程。在过程400中，通过用户计算装置402用相机404获得用户视频数据。然后使用面部检测模型406来寻找面部。举例来说，在针对多个不同的面部边界已经检测到面部视频数据之后，优选地丢弃除了得分最高的面部边界之外的所有面部边界。将得分最高的面部边界的边界框从输入图像中裁剪出来，使得与用户面部相关的数据优选地与其他视频数据分开。如先前所述，优选地使用具有软阈值机制的基于直方图的分类器来收集皮肤像素。根据剩余的像素来计算每个通道的平均值，然后，在410处将所述平均值传递到rPPG算法。这个过程能够确定肤色，使得可以将脉搏对光学数据的影响与底层肤色的影响分开。所述过程在408处根据得分最高的面部边界框跟踪面部。
接下来，在410处创建PPG信号。在预处理后，使用缩放缓冲器的Lalgo元素来计算rPPG轨迹信号。所述过程描述如下：使用两个rPPG不同分析信号之间的匹配滤波器来估计平均脉搏率，这些分析信号由原始插值数据(类CHROM和投影矩阵(PM))构成。然后计算交叉相关，在所述交叉相关上搜索平均瞬时脉搏率。频率估计基于具有附加锁定机制的非线性最小二乘(NLS)频谱分解。然后，rPPG信号从应用自适应维纳滤波的PM方法导出，初始猜测信号取决于瞬时脉搏率频率(νpr)：sin(2πνprn)。此外，频域中的附加滤波器用于强制信号重建。最后，指数滤波器应用于通过下面将详细讨论的过程获得的瞬时RR值。
然后，412处的信号处理器优选地基于PPG信号来执行许多不同的功能。这些功能优选地包括在414处重建ECG样信号，在416处计算HRV(心率变异性)参数，然后在418处计算应激指数。
HRV是心跳之间的时间间隔变化的生理现象。它通过逐搏间隔的变化来衡量。所用的其他术语包括：“周期长度变异性”、“RR(NN)变异性”(其中R是对应于ECG波的QRS波群的峰值的点；RR是连续R之间的间隔)以及“心脏周期变异性”。
如下文将更详细地描述，有可能使用时域、频域以及非线性测量来计算24小时、半(～15分钟)、短期(ST，～5分钟)或短暂以及超短期(UST，<5分钟)HRV。
另外，在420处可以创建即时血压。任选地，在422处确定血压统计数据，尽管可以不执行这个过程。任选地，在这次计算中包括424处的元数据。元数据可以例如涉及身高、体重、性别或其他生理或人口统计数据。在426处，重建PSO2信号，随后在428处计算PSO2统计数据。428处的统计数据然后可以引起进一步的细化血压分析，如先前关于420和422所述。
任选地，在430处由先前描述的信号处理器412重建呼吸信号，随后在432处计算呼吸变异性。然后优选地在434处计算呼吸率和呼吸量。
432处的呼吸变异性优选地用于进一步细化420处的血压测定。
根据420处的即时血压计算，任选地，在436处计算血压模型。在438处，可以根据例如先前测定的血压、呼吸率和呼吸量、PSO2或其他计算的历史数据影响或调整血压模型的计算。
然后，在440处，至少根据420处的血压测量并且优选地还通过来自414处的ECG样信号的重建、428处的PSO2统计以及432处的呼吸变异性的改进来优选地确定改进的血压测量。优选地，来自424的元数据也被包括在此次改进计算中。任选地，即时血压和HRV单独地用于计算血压测量，或替代地与这些其他测量中的一个或多个组合。
图5A到图5E示出了用于获得视频数据、然后执行初始处理的非限制性示例性方法以及来自此类初始处理的一些结果，所述初始处理优选地包括插值、预处理以及rPPG信号确定。现在转向图5A，在过程500中，在502中获得视频数据，例如，如前所述。
接下来，在504处获得相机通道输入缓冲器数据，例如，如前所述。接下来，在506处优选地确定恒定且预定义的采集速率。举例来说，可以将恒定且预定义的采集速率设置为Δt＝1/fps～＝33ms。在508处，优选地以恒定且预定义的采集速率将每个通道单独地插值到时间缓冲区。这个步骤消除了输入时间抖动。即使插值过程添加了混叠(和/或频率折叠)，一旦图像被相机拍摄，混叠(和/或频率折叠)就已经发生了。插值到恒定采样率的重要性在于它满足根据采集时间的心率准平稳性的基本假设。用于插值的方法可以例如基于三次埃尔米特插值。
图5B到图5D示出了与缩放过程的不同阶段相关的数据。颜色编码对应于每个通道的颜色，即红色对应于红色通道等。图5B示出了插值后的相机通道数据。
回到图5A，在510到514处，在对彩色通道(vec(c))中的每一个进行插值之后，执行预处理以增强脉动调制。预处理优选地包含三个步骤。在510处，执行每个通道到总功率的归一化，这减少了由于整体外部光调制引起的噪声。
功率归一化由下式给出
其中-→cp是功率归一化相机通道向量，-→c是如所描述的插值输入向量。为简洁起见，从两侧删除了帧索引。
接下来，在512处，执行缩放。举例来说，可以通过平均值i减去一来执行这种缩放，这减少了固定光源及其亮度水平的影响。平均值由段长度(Lalgo)设置，但是这种解决方案会增强低频分量。替代地，有可能通过低通FIR滤波器进行缩放，而不是按平均值进行缩放。
使用低通滤波器会增加固有延迟，这需要对M/2个帧进行补偿。缩放信号由下式给出：
其中cs(n)是帧n的单通道缩放值，而b是低通FIR系数。为简洁起见，从上述公式删除了通道颜色符号。
在514处，使缩放数据通过巴特沃思带通IIR滤波器。
这种滤波器定义为：
缩放过程的输出是-→s，每个新帧使每个相机通道增加了具有延迟的新帧。请注意，为简洁起见，使用了帧索引n，但是它实际上指的是帧n-M/2(由于低通滤波器)。
图5C示出了相机输入的功率归一化，带通滤波器之前的低通缩放数据的图。图5D示出了带通滤波器之前的功率缩放数据的图。图5E示出了使用两种归一化过程的所有受试者的平均绝对偏差的比较，其中滤波器响应如图5E-1所示并且权重响应(按平均值求平均)如图5E-2所示。图5E-1示出了预处理滤波器的量值和频率响应。蓝线表示M＝33抽头低通FIR滤波器，而红线示出了三阶IIR巴特沃斯滤波器。图5E-2示出了用于对rPPG迹线求平均的64长汉恩窗口(Hann window)权重响应。
在516处，应用CHROM算法来确定脉搏率。通过将信号投影到由以下各项限定的两个平面上来应用这个算法
Sc，1＝3sr-2sg (4)
Sc，2＝1.5sr+sg-L5sb (5)
然后将rPPG信号作为两者之差
其中σ(...)是信号的标准偏差。请注意，两个投影信号已按其最大波动归一化。CHROM方法经过推导以使镜面光反射达到最小。
接下来，在518处，应用投影矩阵来确定脉搏率。对于投影矩阵(PM)方法，信号被投影到脉动方向。尽管这三个元素不是正交的，但是令人惊奇地发现，这个投影给出了非常稳定的解决方案，信噪比与CHROM相比更好。为了推导PM方法，要确定RGB信号的强度、镜面反射和脉动元素的矩阵元素：
上述矩阵元素可以例如根据de Haan和van Leest的论文(G de Haan and A vanLeest.Improved motion robustness of remote-ppg by using the blood volumepulse signature.Physiological Measurement,35(9):1913,2014)来确定。在这篇论文中，来自动脉血(因此来自脉搏)的信号是根据RGB信号确定的，并且能够用于确定血量光谱。
对于这个例子，强度被归一化为一。通过反转上述矩阵并选择与脉动相对应的向量找出了到脉动方向的投影。这给出：
pm＝-0.265r+-0.83sg-0.50sb (9)
在520处，将两个脉搏率结果交叉相关以确定rPPG。rPPG的确定将关于图6进行更详细地解释。
图6A涉及用于rPPG的脉搏率估计和确定的非限制性示例性方法，而图6B到图6C涉及这个方法的一些结果。所述方法使用上面关于图5A所描述的CHROM方法和PM rPPG方法的输出来找出脉搏率频率νpr。这个方法涉及搜索过去的Lalgo个帧的平均脉搏率。通过使用应用了锁定机制的非线性最小二乘频谱分解，从匹配滤波器(在CHROM与PM之间)的输出提取频率。
现在转向图6A，在方法600中，过程开始于602，计算CHROM输出与PM输出之间的匹配滤波器。匹配滤波器只需计算CHROM方法输出与PM方法输出之间的相关性即可完成。接下来，在604处，基于具有谐波的周期函数来计算非线性最小二乘(NLS)频率估计的成本函数。
在上述等式中，x是模型输出，al和bl是频率分量的权重，l是它的谐波次数，L是模型中的阶数，ν是频率，并且(n)是加性噪声分量。然后，在606处，通过采用在Nielsen等人(JesperNielsen,Tobias/>Jensen,Jesper Rindom Jensen,MadsChristensen,and />Holdt Jensen.Fast fundamental frequencyestimation:Making a statistically efficient estimator computationallyefficient.Signal Processing,135:188–197,2017)中给出的算法来计算对数似然谱，算法的计算复杂度为O(N log N)+O(NL)。
在Nielsen等人中，将频率设置为所有谐波阶数中的最大峰值的频率。所述方法本身是一种通用方法，可以通过改变频带频率参数在这种情况下采用所述方法。所述模型的一个固有特征是，与低阶相比，高阶在成本函数谱中将具有更多的局部最大峰值。这个特征被用于锁定过程。
在608处，锁定机制获得目标脉搏率频率ν目标作为输入。然后，在610处，所述方法找出阶数l＝L的成本函数谱的所有局部最大峰值振幅(Ap)和频率(νp)。对于每个局部最大值，估计以下函数：
这个函数在信号强度和与目标频率的距离之间取得平衡。在610处，将输出脉搏率设置为局部峰值νp，其使上述函数f(Ap,νp,ν目标)达到最大
图6B和图6C示出了示例运行的示例性重建的rPPG迹线(蓝线)。红色圆圈示出了峰值R时间。图6B示出了来自从时间t＝0s开始直到时间t＝50s的运行的迹线。图6C示出了所述轨迹的缩放，还示出了以毫秒为单位的RR间隔时间。
接下来，在612到614处，对瞬时rPPG信号进行滤波，利用了围绕平均脉搏率频率(νpr)的两种动态滤波：维纳滤波和FFT高斯滤波。在612处，应用维纳滤波。期望目标是sin(2πνprn)，n是索引号(代表时间)。在614处，FFT高斯滤波的目的是清除νpr周围的信号，因此使用形式如下的高斯形状
以σg作为宽度。顾名思义，滤波是通过将信号转换到其频域(FFT)并将信号乘以g(ν)并转换回到时域以及采用实部分量来进行。
上述过程的输出是长度为Lalgo的滤波rPPG迹线(pm)，平均脉搏率为νpr。为每个观察到的视频帧获得输出并构建脉搏的重叠时间序列。必须对这些时间序列求平均，以生成适合于HRV处理的平均最终rPPG迹线。这将使用来自Wang等人的论文(W.Wang,A.C.denBrinker,S.Stuijk,and G.de Haan.Algorithmic principles of remote ppg.IEEETransactions on Biomedical Engineering,64(7):1479–1491,July2017)的以下公式(n代表时间)使用滤波rPPG信号(pm)的重叠和添加来进行：
t(n-Lalgo+I)＝t(n-Lalgo+I)+w(I)pm(I) (13)
其中l是介于0与Lalgo之间的运行索引；其中w(i)是设置输出迹线的配置和延迟的权重函数。获得随后的峰值(表示收缩峰值的最大值)有可能构建所谓的RR间隔作为时间距离。使用RR间隔的序列有可能检索HRV参数以作为时域和频域中的统计测量。
图7和图8涉及为各种参数创建统计测量的方法，所述各种参数随后能够用于提供上述信息，例如计算呼吸速率(RR)。这些表与HRV参数的标准集合相关并且直接根据不同时间段汇总的RR间隔计算得出。这些参数中的大部分指的是HR随时间变化的统计表示。
图7示出了用于执行HRV或心率变异性时域分析的非限制性示例性方法。如方法700所示，在702处获得经过处理的视频信号。然后，在703处计算经过处理的视频信号以确定心率(HR)。
在704处计算SDRR。在706处计算PRR50。在708处计算RMSSD。在710处计算三角。在712处计算TINN。在714处计算HRV心率变异性时域。
优选地，在716处重复步骤702到712。在718处计算SDARR。在720处计算SDRRI。在722处任选地重复步骤714到720。然后，在724处任选地重复步骤702到704。最后，在726处任选地重复步骤708到714。
HRV时域测量的首字母缩写词的含义如下所述：
*心跳间间隔(Inter-beat interval)，连续心跳之间的时间间隔；NN间隔，伪影已经去除的心跳间间隔；RR间隔，所有连续心跳之间的心跳间间隔。
以下参数可以根据F.Shaffer和J.P.Ginsberg(An Overview of Heart RateVariability Metrics and Norms,Front Public Health.2017；5:258)中所提供的信息来计算，所述论文特此以全文引用的方式并入本文中：SDRR、RMSSD、三角(HRV三角指数)以及TINN。
以下参数可以根据Umetani等人(Twenty-four hour time domain heart ratevariability and heart rate:relations to age and gender over nine decades,J AmColl Cardiol.1998Mar 1；31(3):593-601)中所提供的信息来计算：HRV时域。
以下参数可以根据O.Murray(The Correlation Between Heart RateVariability and Diet,Proceedings of The National Conference On UndergraduateResearch(NCUR)2016,North Carolina)中所提供的信息来计算：SDRRI(SDRR指数)、SDARR以及pRR50。
图8示出了用于计算心率变异性或HRV频域的非限制性示例性方法。在方法800中，在802处，如先前所描述地获得经过处理的视频信号。在803处，如先前所描述地计算心率。在804处计算ULF。在806处计算VLF。在808处计算LF峰值。
在810处计算LF功率。在812处计算HF峰值。在814处计算HF功率。在816处计算LF与HF的比率。在818处计算HRV或心率变异性频率。在820处，以第一间隔重复任选地步骤802到818。然后，在822处，以第二间隔任选地重复步骤802到808。
HRV频域测量的首字母缩写词的含义如下文更详细地描述：
另外地或替代地，可以确定各种非线性度量以用于计算HRV：
以下参数可以根据F.Shaffer and J.P.Ginsberg的先前所述的论文中所提供的信息来计算：ULF、VLF、LF峰值、LF功率、HF峰值、HF功率、LF/HF以及HRV频率。
图9示出了用于确定更准确的血压测量的非限制性示例性方法。如方法900所示，过程开始于如上所述的获得PPG信号。PPG波形包含许多有用信息，例如收缩期、舒张期、切迹、脉搏宽度、峰到峰间隔等。PPG波形的一些显著特征在某些患者中可能并不占优势，例如切迹流行随着年龄变化。
接下来，在902处，所述过程以确定原始信号的统计数据继续。在904处，所述过程以确定功率谱的统计数据继续。在906处，提取基于HRV的特征。接下来，在908处应用AI模型来构建SBP(收缩压)估计模型。然后，在910处应用AI模型来构建DBP(舒张压)估计模型。AI模型中的一个或两个都可以例如包含支持向量回归(SVR)过程。
SVR在解决小样本和非线性回归问题方面具有许多独特的优势。在SVR中，通过非线性映射Φ(x)将输入样本x映射到高维特征空间中，然后在这个特征空间中建立一个线性模型来估计回归函数。使用的方程式如下：
f(x,ω)＝ω·Φ(x)+b
其中ω是权重向量，b是阈值。在本研究中，对于给定的训练集，使用ε不敏感损失函数，并且将对应的SVR称作ε-SVR。
另外地或替代地，可以使用其他AI模型。接下来，在912处输出调整后的血压测量。
应当了解，为了清楚起见而在分开的实施方案的上下文中描述的本发明的某些特征还可以与单个实施方案组合地提供。相反，为了简明起见而在单个实施方案的上下文中描述的本发明的各种特征还可以分开地提供或以任何合适子组合提供。
尽管已经结合本发明的特定实施方案对本发明进行了描述，但是显然许多替代、修改和变化对于本领域技术人员来说将是显而易见的。因此，旨在涵盖落入所附权利要求的精神和广泛范围内的所有此类替代、修改和变化。本说明书中提及的所有出版物、专利和专利申请在此以全文引用的方式并入本文中，就如每个单独的出版物、专利或专利申请被具体地和单独地指出是以引用方式并入本文中的程度一样。另外，本申请中对任何参考文献的引用或识别不应被解释为承认此参考文献可作为本发明的现有技术使用。

Claims (39)

1.一种用于确定受试者的血压测量的方法，所述方法包括：从所述受试者的面部获得光学数据；分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述面部的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；根据所述时间序列来计算至少一个生理信号，其中所述根据所述时间序列来计算至少一个生理信号包括重建心跳模式、确定呼吸信号、测量心率以及测量血氧化度；以及根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
2.如权利要求1所述的方法，其中所述光学数据包括视频数据，并且其中所述获得所述光学数据包括获得所述受试者的所述皮肤的视频数据。
3.如权利要求2所述的方法，其中所述获得所述光学数据还包括从相机获得视频数据。
4.如权利要求2或3所述的方法，其中所述相机包括手机相机。
5.如权利要求2到4中任一项所述的方法，其中所述获得所述光学数据还包括获得所述受试者的面部的所述皮肤的视频数据。
6.如权利要求2到5中任一项所述的方法，其中所述获得所述光学数据还包括获得所述受试者的手指的皮肤的视频数据。
7.如权利要求6所述的方法，其中所述获得所述视频数据包括通过将所述受试者的指尖放置在所述手机相机上来获得所述指尖的皮肤的视频数据。
8.如权利要求7所述的方法，其中所述手机相机包括前置相机和后置相机，并且其中用所述前置相机来获得所述受试者的所述面部的所述皮肤的所述视频数据，使得所述指尖被放置在所述后置相机上。
9.如权利要求8所述的方法，其中所述将所述指尖放置在所述手机相机上还包括激活与所述手机相机相关联的闪光灯以提供光。
10.如以上权利要求中任一项所述的方法，其中所述检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部或指尖边界、选择概率最高的面部或指尖边界以及将直方图分析应用于来自所述面部或所述指尖的视频数据。
11.如权利要求8所述的方法，其中所述确定所述多个面部或指尖边界包括将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部或指尖边界。
12.如以上权利要求中任一项所述的方法，其中所述生理信号还选自由以下各项组成的组：呼吸量、呼吸变异性、心率变异性(HRV)、ECG样信号以及pSO2(氧饱和度)。
13.如以上权利要求中任一项所述的方法，其中所述确定所述血压测量还包括将元数据与来自所述至少一个生理信号的测量组合，其中所述元数据包括以下各项中的一个或多个：所述受试者的体重、年龄、身高、生物性别、身体脂肪百分率以及身体肌肉百分率。
14.如以上权利要求中任一项所述的方法，其中所述确定所述血压测量还包括根据呼吸信号变异性来调整所述血压测量。
15.如以上权利要求中任一项所述的方法，其中所述重建所述心跳模式包括分析所述时间序列以确定HRV(心率变异性时域分析)。
16.如权利要求15所述的方法，其中通过计算SDRR、PRR50、三角以及TINN来确定HRV。
17.如权利要求15所述的方法，其中通过计算LF与HF的比率来确定HRV。
18.如权利要求17所述的方法，其中通过计算LF峰值和功率以及HF峰值和功率来确定LF与HF的所述比率。
19.一种用于从受试者获得生理信号的系统，所述系统包括：相机，所述相机用于从所述受试者的面部获得光学数据；用户计算装置，所述用户计算装置用于从所述相机接收光学数据，其中所述用户计算装置包括处理器和用于存储多个指令的存储器，其中所述处理器执行所述指令以用于：分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述面部的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；其中根据所述时间序列来计算至少一个生理信号包括重建心跳模式、确定呼吸信号、测量心率以及测量血氧化度；以及根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
20.如权利要求19所述的系统，其中所述存储器被配置用于存储定义的本机代码指令集，并且所述处理器被配置成响应于接收到选自存储在所述存储器中的所述定义的本机代码指令集的对应基本指令而执行定义的一组基本操作；其中所述存储器存储：选自所述本机指令集的用于分析所述光学数据以选择与所述受试者的所述面部相关的数据的第一组机器代码；选自所述本机指令集的用于检测来自所述面部的皮肤的光学数据的第二组机器代码；选自所述本机指令集的用于通过以下操作根据所述光学数据来确定时间序列的第三组机器代码：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；选自所述本机指令集的用于通过以下操作根据所述时间序列来计算所述生理信号的第四组机器代码：重建所述心跳模式、确定所述呼吸信号、测量所述心率以及测量所述血氧化度；以及选自所述本机指令集的用于根据包括所述血氧化度的所述至少一个生理信号来确定所述血压测量，根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量的第五组机器代码。
21.如权利要求20所述的系统，其中所述检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部边界、选择概率最高的面部边界以及将直方图分析应用于来自所述面部的视频数据，使得所述存储器还包括选自所述本机指令集的用于检测来自所述面部的所述皮肤的所述光学数据包括确定多个面部边界的第六组机器代码、选自所述本机指令集的用于选择概率最高的面部边界的第七组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部的视频数据的第八组机器代码。
22.如权利要求21所述的系统，其中所述确定所述多个面部边界包括将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部边界，使得所述存储器还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部边界的第九组机器代码。
23.如以上权利要求中任一项所述的系统，其中所述相机包括手机相机，并且其中所述光学数据作为视频数据从所述手机相机获得。
24.如权利要求23所述的系统，其中所述计算装置包括移动通信装置。
25.如权利要求24所述的系统，其中所述手机相机包括后置相机，并且为了获得所述视频数据，将所述受试者的指尖放置在所述相机上。
26.如权利要求24或25所述的系统，所述系统还包括与所述手机相机相关联的闪光灯以提供光来获得所述光学数据。
27.如权利要求25或26所述的系统，其中所述存储器还包括选自所述本机指令集的用于确定多个面部或指尖边界的第十组机器代码、选自所述本机指令集的用于选择概率最高的面部或指尖边界的第十一组机器代码以及选自所述本机指令集的用于将直方图分析应用于来自所述面部或所述指尖的视频数据的第十二组机器代码。
28.如权利要求27所述的系统，其中所述存储器还包括选自所述本机指令集的用于将多参数卷积神经网络(CNN)应用于所述视频数据以确定所述面部或指尖边界的第十三组机器代码。
29.如权利要求26到28中任一项所述的系统，所述系统还包括根据由所述处理器执行的所述指令组合来自所述面部和所述指尖的图像的分析数据以确定生理测量。
30.如以上权利要求中任一项所述的系统，所述系统还包括用于显示所述生理测量和/或信号的显示器。
31.如权利要求30所述的系统，其中所述用户计算装置还包括所述显示器。
32.如以上权利要求中任一项所述的系统，其中所述用户计算装置还包括用于发送所述生理测量和/或信号的发送器。
33.如以上权利要求中任一项所述的系统，其中所述确定所述生理信号还包括将元数据与来自所述至少一个生理信号的测量组合，其中所述元数据包括以下各项中的一个或多个：所述受试者的体重、年龄、身高、生物性别、身体脂肪百分率以及身体肌肉百分率。
34.如以上权利要求中任一项所述的系统，其中所述生理信号还选自由以下各项组成的组：应激、呼吸量以及pSO2(氧饱和度)。
35.一种用于从受试者获得生理信号的系统，所述系统包括：后置相机，所述后置相机用于从所述受试者的手指获得光学数据；用户计算装置，所述用户计算装置用于从所述相机接收光学数据，其中所述用户计算装置包括处理器和用于存储多个指令的存储器，其中所述处理器执行所述指令以用于：分析所述光学数据以选择与所述受试者的所述面部相关的数据；检测来自所述手指的皮肤的光学数据；通过以下操作根据所述光学数据来确定时间序列：收集所述光学数据直到已经达到某一流逝时间段为止，然后根据所述流逝时间段内的所述收集到的光学数据来计算所述时间序列；根据所述时间序列来计算所述生理信号，其中所述至少一个生理信号包括血氧化度；以及根据所述至少一个生理信号来确定血压测量。
36.如权利要求35所述的系统，其中所述根据所述时间序列来计算至少一个生理信号还包括重建心跳模式、确定呼吸信号以及测量心率；并且其中根据心跳模式、呼吸信号或脉搏率中的至少一项或其组合来调整所述血压测量。
37.如权利要求35或36所述的系统，所述系统还包括如以上权利要求中任一项所述的系统。
38.一种用于从受试者获得生理信号的方法，所述方法包括操作根据以上权利要求中任一项所述的系统以从所述受试者获得所述生理信号，其中所述至少一个生理信号包括血氧化度；以及根据所述至少一个生理信号来确定血压测量。
39.如权利要求38所述的方法，所述方法还根据以上权利要求中的任一项来执行。
CN202180079136.4A 2020-10-20 2021-10-19 从光学数据测量血压的系统和方法 Pending CN116583216A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063093802P 2020-10-20 2020-10-20
US63/093,802 2020-10-20
PCT/IL2021/051234 WO2022084991A1 (en) 2020-10-20 2021-10-19 System and method for blood pressure measurements from optical data

Publications (1)

Publication Number Publication Date
CN116583216A true CN116583216A (zh) 2023-08-11

Family

ID=81290190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180079136.4A Pending CN116583216A (zh) 2020-10-20 2021-10-19 从光学数据测量血压的系统和方法

Country Status (4)

Country Link
EP (1) EP4210566A1 (zh)
JP (1) JP2023546451A (zh)
CN (1) CN116583216A (zh)
WO (1) WO2022084991A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6435128B2 (ja) * 2013-07-26 2018-12-05 タタ・コンサルタンシー・サーヴィシズ・リミテッド 生理学的パラメータの監視
JP6308742B2 (ja) * 2013-09-13 2018-04-11 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
US20180303351A1 (en) * 2017-04-20 2018-10-25 General Electric Company Systems and methods for optimizing photoplethysmograph data

Also Published As

Publication number Publication date
EP4210566A1 (en) 2023-07-19
JP2023546451A (ja) 2023-11-02
WO2022084991A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
Schäck et al. A new method for heart rate monitoring during physical exercise using photoplethysmographic signals
CN107530005A (zh) 用于导出对象的平均动脉压的方法和设备
Casado et al. Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces
EP3133985B1 (en) A method and a device for non invasive blood pressure measurement
CN111839488B (zh) 基于脉搏波的无创连续血压测量装置和方法
US20230000376A1 (en) System and method for physiological measurements from optical data
Kumar et al. STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity
Kong et al. Heart rate tracking using a wearable photoplethysmographic sensor during treadmill exercise
CN114159038A (zh) 血压测量方法、装置、电子设备和可读存储介质
Wadehn et al. Estimation of heart rate and heart rate variability from pulse oximeter recordings using localized model fitting
Bastos et al. Filtering parameters selection method and peaks extraction for ecg and ppg signals
CN116583216A (zh) 从光学数据测量血压的系统和方法
US20220323023A1 (en) Method for determining respiratory rate
US20230056557A1 (en) System and method for pulse transmit time measurement from optical data
WO2023002477A1 (en) System and method for blood pressure estimate based on ptt from the face
WO2022074652A1 (en) System and method for blood alcohol measurements from optical data
CN116269285B (zh) 一种非接触式常态化心率变异性估计系统
US20240108235A1 (en) Non-contact image-based blood pressure measurement method and system based on advanced visual intelligence
US20230148880A1 (en) Method and system for determining cardiovascular parameters
US20240074668A1 (en) Systems and methods for determination of pulse arrival time with wearable electronic devices
Li et al. Temporal Attention Splitting Network for Non-invasive Blood Glucose, Cuff-Less Blood Pressure Estimation
Wang et al. Generative Adversarial Network for Photoplethysmography Reconstruction
Yamamoto Remote Sensing of Cardiac Activity Based on Signal Reconstruction with Deep Learning
Souza et al. Autonomous Heart Rate Tracking Methodology Using Kalman Filter and the EM Algorithm
CN116269285A (zh) 一种非接触式常态化心率变异性估计系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination