CN111343913A - 用于使用多个传感器的直接光学体积描记术(ppg)的计算机实现的方法和系统 - Google Patents

用于使用多个传感器的直接光学体积描记术(ppg)的计算机实现的方法和系统 Download PDF

Info

Publication number
CN111343913A
CN111343913A CN201880073315.5A CN201880073315A CN111343913A CN 111343913 A CN111343913 A CN 111343913A CN 201880073315 A CN201880073315 A CN 201880073315A CN 111343913 A CN111343913 A CN 111343913A
Authority
CN
China
Prior art keywords
ppg
ppg signal
sensor
quality
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880073315.5A
Other languages
English (en)
Inventor
M·杰尼科
A·万尼克恩罗伊
K·莱森
L·格利坦
J·万德奥瓦
B·万阔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Combem
Original Assignee
Combem
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Combem filed Critical Combem
Publication of CN111343913A publication Critical patent/CN111343913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361—Detecting fibrillation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/327—Generation of artificial ECG signals based on measured signals, e.g. to compensate for missing leads
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/35—Detecting specific parameters of the electrocardiograph cycle by template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种用于直接光学体积描记法或直接PPG的计算机实现的方法(100)包括：‑在时间间隔期间获得(101)可穿戴设备(301)中的各个传感器(321，322，323，324)的多个PPG信号(311‑314；401‑404；501‑504；601‑608；701‑708)；以及‑组合(105)多个PPG信号(311‑314；401‑404；501‑504；601‑608；701‑708)，从而获得多传感器PPG信号(405；505；609；709)。

Description

用于使用多个传感器的直接光学体积描记术(PPG)的计算机 实现的方法和系统
技术领域
本发明一般而言涉及光学体积描记术(photoplethysmography)或PPG，一种检测血容量改变的光学技术，该技术使得能够监视各种生理参数。本发明更具体地涉及直接PPG或所谓的接触PPG，其中测量部件(即，光源和光电检测器)与被监视人员的皮肤直接接触。本发明一般而言设想改善当有多个传感器可用时直接PPG中的信号质量。
背景技术
光学体积描记术或PPG是一种光学技术，其允许通过检测外周循环中的血液体积改变来监视一个或多个生理参数。PPG利用血液对光的吸收来跟踪这些体积改变。当光源照亮皮肤时，反射光会随着血液流动而变化。然后，光传感器将光反射的这些变化转换成数字信号，即，所谓的PPG信号。PPG信号通常使用脉搏血氧仪或光电检测器(例如集成在电子设备(如人的智能电话或其它智能可穿戴或不可穿戴设备)中的相机)记录。
除其它应用以外，PPG尤其可以被用于监视心血管和血液动力学参数(诸如心率、心率可变性、血压)，或监视其它生理变量(诸如压力、呼吸或自主功能)。用PPG进行准确监视的一个关键部分是获得高质量、无伪像的信号，因为PPG会受到各种噪声源的影响。
标题为“Device and Method for Extracting Physiological Information”且由Koninklijke Philips N.V.提交的国际专利申请WO 2014/024104描述了一种改善远程PPG或非直接PPG的准确性的方法，该方法通常被用于跟踪日常应用(例如健身)中较大的感兴趣区域(例如脸部)。该方法将感兴趣区域划分为空间子区域，并且将PPG信号划分为表示相应子区域的信号子集。信号子集被单独处理。该处理可以涉及质量估计。此后，信号子集被组合成增强信号。失真的子信号可以从组合信号中衰减或消除。
标题为“Video Coding and Decoding Devices and Methods Preserving PPGRelevant Information”且由Koninklijke Philips N.V.提交的美国专利申请US 2013/0272393A1也涉及远程PPG。
虽然远程PPG对被监视人员而言并不令人讨厌，但它对信号检测和信号处理提出了重大挑战。因此，远程PPG的使用仍然限于日常应用(如休闲或健身)，因为其准确性和可靠性不足以用于医疗应用。
与远程PPG相反，本发明涉及直接PPG或接触式PPG，其中测量部件与皮肤直接接触，以便获得促进医学诊断的更可靠、更准确的PPG信号。
在处理直接PPG信号以确定心率可变性的应用中，低信号质量会导致不准确。虽然部分质量好的信号给出足够的信息来进行可靠的分析，但是伪像的存在会严重影响质量并会导致误导性结果。因此，需要使直接PPG信号尽可能干净，并识别和移除质量差的部分以仅保留质量好的部分用于进一步分析。
伪像包括运动、皮肤相对于光传感器的不良定位或环境光干扰。作者AlexeiA.Kamshilin等人的文章“A new look at the essence of the imagingphotoplethysmography”还报告了PPG信号中经常观察到的另一种伪像：PPG波形反转。这种现象通过信号或信号的一部分与信号的通常朝向相比被反转来表明。在皮肤的相邻区域中已经观察到这种现象，一个区域以通常的朝向呈现信号，而相邻区域以相反的朝向呈现信号。当这两个区域被用于提取信号时，这会导致PPG信号的质量下降。对这种现象的解释仍有待验证。
为了改善借助于相机记录的直接PPG信号的质量，建议将图像像素划分为子区域或象限的矩阵，并应用确定最优子图像(即，其PPG信号具有最佳质量的象限，称为最优感兴趣区域)的选择算法。
作者Rong-Chao Peng等人的文章“Investigation of Five Algorithms forSelection of the Optimal Region of Interest in SmartphonePhotoplethysmography”描述了五种选择最优感兴趣区域的算法：
-方差(VAR)算法选择其PPG波形具有最高方差(即，最高信号功率)的象限作为最优感兴趣区域；
-频谱能量比(SER)算法选择PPG信号具有最高频谱能量比(即，指示心脏活动比例最高)的象限作为最优感兴趣区域；
-模板匹配(TM)算法选择其PPG信号与模板波形相似度最高的象限作为最优感兴趣区域；
-时间差(TD)算法选择其PPG信号对相邻帧之间的像素具有最高平均强度变化的象限作为最优感兴趣区域；以及
-梯度(GRAD)算法选择其PPG信号具有最大平均光强度梯度的象限作为最优感兴趣区域。
Peng等人的文章得出的结论是，TM和TD算法在选择最优感兴趣区域并因此选择使得能够以改善的准确性估计生理参数的PPG信号方面优于其它算法。
作者Walter Karlen等人的文章“Detection of the Optimal Region ofInterest for Camera Oximetry”描述了确定优选的象限或最优感兴趣区域的另一种算法。提出的算法仅考虑蓝色通道，并通过均值像素强度计算和增量合并分割(IMS)算法从PPG信号中提取节拍或脉冲。换句话说，所选择的最优感兴趣区域的PPG信号具有最高脉冲。另外，Karlen等人还教导选择白炽灯白平衡模式作为Samsung Galaxy Ace移动电话上PPG的优选设置。
除了选择像素的子集(所谓的最优感兴趣区域)外，还建议通过选择具体的颜色通道来生成PPG信号。Jihyoung Lee等人的文章“Comparison between red,green and bluelight reflection photoplethysmography for heart rate monitoring…”例如建议绿光更适合监视心率。
标题为“Systems and Methods for Identifying Non-Corrupted SignalSegments for Use in Determining Physiological Parameters”且由受让人NellcorPuritan Bennett Ireland提交的美国专利申请US2011/0077484A1教导了通过用经训练的神经网络处理PPG信号的小波变换来分析直接PPG信号片段的质量。这导致识别出损坏的和未损坏的PPG信号片段。损坏的信号片段被移除或替换为较早接收的、未损坏的PPG信号片段。
已知的解决方案依赖单个感兴趣区域的选择并从这个选择的感兴趣区域中提取PPG信号。选择的感兴趣区域是静态的，即，最优区域是像素的单个子区域，对于整个测量而言，该子区域被认为是相同的。当提取PPG信号的最优子区域在整个测量过程中发生变化时，这会导致不令人满意的结果。然后，提取出的PPG信号可以包含降低生理参数估计的准确性(例如，心率可变性的准确性，以及因此建立在其上的任何疾病诊断(例如AF诊断)的准确性)的反转和/或不良质量区段。
同样，事先在已知的用于直接PPG信号提取的系统中进行颜色选择，并且每次分析均静态地使用相同的颜色。
在诸如智能电话、智能手表等可穿戴设备的开发中，存在集成多个传感器的趋势。例如，最近的可穿戴设备宣称将多个光电探测器放置在栅格中。与静态选择最佳颜色和/或静态选择最佳感兴趣区域的PPG的现有解决方案一致，多个传感器的可用性可能导致静态选择最佳传感器的PPG实施方式：可以将某些质量测量应用于不同的传感器，并且可以选择单个传感器用于PPG信号提取。
麻省理工学院提交的题为“Washable Wearable Biosensor”的美国专利申请US2010/0268056A1描述了具有多个传感器的可穿戴设备。US2010/0268056A1的第[0016]和[0076]段落指定在某些实施例中，使用信号处理来组合由多个PPG传感器获得的多个PPG信号，以减少由运动伪像引起的噪声。但是，US2010/0268056A1对应该如何组合多个PPG信号没有说明。
此外，旨在改善信号质量的现有技术解决方案均未针对可能对直接PPG信号质量产生负面影响的各种厂商和智能设备类型的相机设置。
因此，本发明的目标是公开一种用于解决现有解决方案的上述一个或多个缺点的直接PPG的计算机实现的方法。更特别地，一个目标是公开一种当多个传感器可用时具有改善的准确性和可靠性的直接PPG的方法。
发明内容
根据本发明，上述确定的目标是通过如权利要求1所定义的用于直接光学体积描记术或直接PPG的计算机实现的方法来实现的，包括：
-在时间间隔期间获得可穿戴设备中的相应的传感器的多个PPG信号；以及
-组合该多个PPG信号而因此获得多传感器PPG信号，
其中，该方法包括：
-处理该多个PPG信号中的每个PPG信号，以识别PPG信号的质量好的片段和PPG信号的质量差的片段，在PPG信号的质量好的片段中PPG信号的质量测量高于阈值，在PPG信号的质量差的片段中PPG信号的质量测量低于阈值；
-从该多个PPG信号的每个PPG信号中移除质量差的片段；以及
-组合该多个PPG信号的时间上对应的质量好的片段，以获得多传感器PPG信号。
因此，从多个传感器(例如，集成在单个可穿戴设备中的多个光电二极管)获得的或多个LED围绕单个光电二极管并依次开关使得通过单个光电二极管测量不同颜色而获得的多个直接PPG信号被组合成多传感器PPG信号。由于组合了多个传感器的PPG信号，因此通过静态前期选择单个传感器而没有消除质量好的PPG信息。多传感器PPG信号中将存在不同PPG信号的质量好的部分，因此增加了多传感器PPG信号中有价值信息的存在，以及从中得到的任何生理参数估计的准确性和可靠性。
从多个传感器获得的PPG信号基于质量评估进行组合。获得可穿戴设备的多个传感器的PPG信号。这些PPG信号中的每个信号都被分割为时间片段，这些时间片段的典型长度从几秒钟到整个测量间隔不等。如果获得60秒的时间间隔的PPG信号，那么这些PPG信号可以例如被分割为每个5秒的十二个时间片段。对于所有PPG信号，分割是完全相同的，使得对于PPG信号中的每个片段，在时间上对应的片段存于在针对其它传感器获得的PPG信号中。然后，每个PPG信号接受质量评估。根据某种质量测量，在质量好的PPG信号片段与质量差的PPG片段(即，质量评估超过给定质量阈值的PPG信号片段与质量评估保持在给定阈值以下的PPG信号片段)之间进行区分。质量差的PPG信号片段被消除，即，从相应的PPG信号中将其移除。将在时间上彼此对应的不同PPG信号的质量好的片段进行组合：例如添加此类片段，或者对此类片段进行加权求和，其中权重与为此类片段确定的相应质量值成比例，或者可以考虑替代组合，如本领域技术人员将认识到的。因此，组成多传感器PPG信号，其在准确性和可靠性方面表现得更好，因为它仅组合了PPG信号的质量好的部分，而将PPG信号的质量差的部分从多传感器PPG信号中排除了。
注意的是，根据本发明的方法中的每个PPG信号表示针对集成在单个可穿戴设备中并且例如放置在栅格中的多个传感器中的不同传感器而获得的直接PPG信号或接触式PPG信号。传感器优选地是相同类型的，例如，它们都是光电探测器，使得PPG信号能够例如通过对PPG信号求和或求平均值容易地组合。
还应该注意的是，根据本发明的方法中的时间间隔对应于期间执行连续直接PPG测量的时间间隔。时间间隔通常应在几十秒(例如，30秒)至几分钟(例如3分钟)的范围内。因此，如果要求AF患者每天两次使用其具有多个相机的可穿戴设备进行1分钟PPG测量，那么该时间间隔可以例如对应于60秒的视频帧的长度，或者如果使用多个光电二极管或围绕光电二极管的多个LED来获得用于监视目的的PPG信号，那么该时间间隔可以对应于1分钟或几分钟的测量间隔。
根据本发明，在这样的时间间隔期间从不同传感器获得的PPG信号可以静态地组合成多传感器PPG信号，或者它们可以动态地组合成多传感器PPG信号。静态组合多个传感器的PPG信号意味着在整个测量时间间隔内以相同的方式组合PPG信号。静态组合多个传感器的PPG信号可以例如通过对质量好的PPG信号求平均，或者通过对特定传感器子集的质量好的PPG信号相加或求平均来获得。当静态组合PPG信号时，可以在随后的时间间隔中以不同的方式组合PPG信号。作为示例，静态多传感器PPG可以包括进行评估并且取决于该评估在第一时间间隔中添加传感器的第一子集的PPG信号，例如，从光电二极管A和B获得的PPG信号，而与第一子集不同的传感器的第二子集的PPG信号(例如，光电二极管A、C和D的PPG信号)基于针对第二时间间隔进行的新评估，在第二时间间隔中被添加，从而可以预测例如由于可穿戴设备在人的皮肤上的不同定位而导致的测量间差异。通过在时间间隔的不同时间子片段中组合传感器的不同子集的PPG信号来实现动态地组合PPG信号，以预测测量内差异，如下面将进一步解释的。
还应该注意的是，在时间间隔内，可以选择或组合针对不同颜色获得的PPG信号，并且所选择的或组合的颜色可以在传感器之间不同，如下面将进一步解释的。
还应该注意的是，对于单个传感器，可以选择或组合一个或多个空间子区域。如将在下面进一步解释的，被选择或组合的空间子区域也可以在传感器之间变化。
在如权利要求2定义的根据本发明的用于直接PPG的计算机实现的方法的实施例中，质量好的片段包括非反转片段和反转片段，并且每个PPG信号的处理还包括识别反转片段并恢复反转片段。
实际上，反转的PPG信号在被反转之后可以维持为质量好的PPG信号。在根据本发明的方法的有利实施例中，质量评估在质量好的非反转PPG信号片段、反转的PPG信号片段与质量差的PPG信号片段之间进行区分。例如，这可以通过将每个PPG信号片段反转、应用质量测量并核实质量测量是否超过给定阈值来实现。如果是这种情况，那么该PPG信号片段是反转的PPG信号片段，如果将其还原会变成非反转的质量好的PPG信号，它可以被维持用于多传感器PPG信号组成。还原PPG信号片段归结为改变样本的符号。通过还原反转的PPG信号片段并维持这种PPG信号片段用于多传感器PPG信号的组成，可以进一步增强后者多传感器PPG信号的准确性和可靠性。
在如权利要求3定义的根据本发明的用于直接PPG的计算机实现的方法的进一步的实施例中，每个PPG信号的处理包括：
-对PPG信号进行小波变换以获得经小波变换的PPG信号；以及
-将经小波变换的PPG信号供应给被训练的神经网络，以识别PPG信号的质量好的片段和PPG信号的质量差的片段。
因此，本发明的优选实施例对PPG信号片段进行小波变换。然后将经小波变换的PPG信号片段供应给神经网络，该神经网络已通过样本集进行了训练，以区分质量好的信号片段与质量差的信号片段。但是，本领域技术人员将认识到的是，存在替代质量测量以不依赖小波变换和/或神经网络来区分质量好的PPG信号部分与质量差PPG信号部分。
在如权利要求4定义的根据本发明的用于接触式PPG的计算机实现的方法的进一步的实施例中，进一步训练神经网络以识别反转的片段。
实际上，优选地还训练神经网络以区分反转的PPG信号片段。然后可以将这些反转的PPG信号片段还原，以变成质量好PPG信号片段，被保留用于多传感器PPG信号组成。
如权利要求5定义的根据本发明的用于直接PPG的计算机实现的方法的实施例包括：
-为来自颜色空间的相应颜色生成与多传感器PPG信号相似的多个多传感器PPG信号。
实际上，可选地，针对颜色空间的不同颜色(例如RGB空间中的红色、绿色和蓝色，或CYMK空间中的青色、黄色和品红色)，获得PPG信号。针对单色(例如绿色)从多个传感器获得的PPG信号然后可以组合成针对那个颜色的多传感器PPG信号。以这种方式，可以为颜色空间的相应颜色生成多传感器PPG信号。如下面将解释的，然后可以静态地或动态地选择该颜色的具有最高质量的多传感器PPG信号。
如权利要求6定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括：
-确定针对每种颜色的质量测量；以及
-针对该颜色在多个多传感器PPG信号当中选择具有最高质量测量的多传感器PPG信号。
因此，本发明的有利实施例产生针对颜色空间的多种颜色的多传感器PPG信号，并基于质量评估静态地选择单种颜色的单个多传感器PPG信号。然后将选择的单种颜色的多传感器PPG信号用于生理参数估计。但是对于下一个时间间隔，可能选择不同的颜色的多传感器PPG信号。
如权利要求7定义的根据本发明的用于直接PPG的计算机实现的方法的替代实施例还包括：
-确定针对每种颜色的质量测量；以及
-将针对多种颜色的多传感器PPG信号组合成多色多传感器PPG信号。
实际上，作为选择单种颜色的替代方案，可以组合不同颜色的多传感器PPG信号，只要补偿了为不同颜色获得的PPG信号之间存在的相移。
如权利要求8定义的用于根据本发明的直接PPG的计算机实现的方法的实施例还包括：
-在时间间隔期间获得用于相应颜色和相应传感器的多个PPG信号；
-处理多个PPG信号中的每个PPG信号，以识别其中所述PPG信号的质量测量高于阈值的PPG信号的质量好的片段和其中PPG信号的质量测量低于阈值的PPG信号的质量差的片段；
-从多个PPG信号中的每个PPG信号中移除质量差的片段；以及
-组合多个PPG信号的时间上对应的质量好的片段，以获得多色多传感器PPG信号。
因此，本发明的高级实施例将每个PPG信号分割为典型长度为几秒钟(例如5秒)的时间片段。为每种颜色完成此操作。对各个PPG信号片段进行处理以评估其质量。例如，可以将它们进行小波变换，然后馈送到区分质量好的片段、质量差的片段与可能反转的片段的神经网络中。质量差的片段被消除，并跨传感器和跨颜色组合时间上对应的质量好的片段，以便动态地生成多色多传感器PPG信号，其中每个片段可以组合自不同的颜色和不同的传感器。如此获得的多色多传感器PPG信号在准确性和可靠性方面是最优的，因为它动态地将最佳颜色与最佳传感器组合，同时消除了质量差的所有PPG信号部分。
如权利要求9定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括：
-在时间间隔期间，对于所述传感器中的至少一个传感器，针对所述传感器的相应子区域获得多个PPG信号，所述子区域的每个子区域覆盖多个像素；以及
-组合该多个PPG信号，从而获得多传感器多区域PPG信号或多色多传感器多区域PPG信号。
因此，在本发明的高级实施例中，单个传感器还可以细分为子区域。作为示例，相机的透镜可以细分为四个象限。每个子区域的像素可以用于产生子区域PPG信号。因此，针对单个传感器获得多个PPG信号。甚至有可能针对颜色空间的相应颜色获得多个子区域PPG信号。根据本发明，可以将子区域PPG信号静态或动态地组合成多区域PPG信号，即，相应的传感器的由子区域和/或颜色组成的单个人工PPG信号，并且可以将多区域PPG信号与其它传感器的PPG信号一起组合以便获得多传感器PPG信号。替代地，传感器的子区域PPG信号可以直接与其它传感器的PPG信号组合以组成多传感器多区域PPG信号，或者甚至是多色多传感器多区域信号。在任何上述场景中，可以首先处理单个子区域PPG信号，以去除其质量差的片段并恢复其反转片段。如此获得的多传感器多区域PPG信号或如此获得的多色多传感器多区域PPG信号在准确性和可靠性方面是最佳的，因为它组合了可穿戴设备中多个传感器的最佳子区域和最佳颜色。
如权利要求10定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括在时间间隔期间锁定一个或多个传感器的设置，该设置至少包括：
-光圈；
-光敏度的传感器设置；以及
-曝光时间。
实际上，为了降低振幅噪声并因此改善PPG信号的准确性和可靠性，在一个或多个传感器是相机的情况下，优选地在整个测量时间间隔期间锁定传感器设置。优选地锁定的相机设置至少必须包括光圈、传感器芯片的灵敏度或光敏度以及曝光时间或传感器暴露于光的持续时间长度。但是，其它相机设置也可以在整个PPG测量时间间隔期间被锁定，以便进一步降低噪声和进一步提高PPG测量的准确性。值得注意的是，锁定相机设置可以带来降噪和准确性的优势，而不受多传感器PPG信号组成的影响。因此，同样在没有多个PPG信号被组合以组成多传感器PPG信号的情况下和/或在没有多种颜色被组合以组成多色PPG信号的情况下和/或在没有多个子区域被组合以组成多区域PPG信号的情况下，在PPG信号获取期间相机设置的锁定在振幅噪声降低方面带来了实质性的优势。在使用其它传感器的情况下，例如，光电二极管，某些设置优选地可以在测量时间间隔内变化，因为与相机相反，此类光电二极管更适合于获得PPG信号。
如权利要求11定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括检测多传感器PPG信号中的峰，并且：
-检测多传感器PPG信号中的初始峰；
-对多传感器PPG信号中的初始峰加窗，从而生成加窗的初始峰；
-在多传感器PPG信号中对加窗的初始峰求平均，从而生成峰模板；
-将初始峰与峰模板相关联；
-将相关性测量超过相关性阈值的初始峰维持为峰；以及
-丢弃相关性测量未超过相关性阈值的初始峰。
因此，本发明的优选实施例应用模板匹配峰值检测算法来检测组成的多传感器PPG信号中的峰。第一步，在多传感器PPG信号中检测初始振幅峰。每个初始峰都通过窗口进行加窗，该窗口从多传感器PPG信号中过滤出检测到的初始峰之前的有限样本集和初始峰之后的有限样本集。然后，将如此获得的加窗的初始峰求平均，以组成与平均初始峰对应的峰模板。此后，将每个检测到的初始峰与模板峰进行比较或相关联，并且消除与模板峰的相关性保持在预定阈值以下的初始峰，即，不再考虑它们来构成峰。模板匹配峰检测算法可以迭代地重复进行，可能会增加相关性阈值，直到所有峰都满足最终的期望相关性阈值。然后可以将最终的峰集合用于生理参数估计。
由权利要求12定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括：
-通过确定多传感器PPG信号中的后续峰值之间的时间差来提取RR-转速图。
因此，适用于其中监视或分析心跳或心率的应用的本发明的实施例可以从在多传感器PPG信号中确定的峰中提取RR-转速图。考虑维持峰的定时。确定每两个后续峰之间的时间差以组成RR-转速图。
由权利要求13定义的根据本发明的用于直接PPG的计算机实现的方法的实施例还包括：
-处理多传感器PPG信号以识别其中多传感器PPG信号的质量测量高于阈值的多传感器PPG信号的质量好的片段和其中多传感器PPG信号的质量测量低于所述阈值的多传感器PPG信号的质量差的片段；
-在提取RR-转速图之前，从多传感器PPG信号中移除质量差的片段内的峰；以及
-从RR-转速图中移除全部或部分地位于多传感器PPG信号的质量差的片段内的RR-转速图间隔。
因此，可以将RR-转速图处理为仅包含位于多传感器PPG信号的质量好的间隔内的RR-转速图间隔。此外，必须根据测量来评估多传感器PPG信号的片段的质量，以区分多传感器PPG信号中的质量好的片段与质量差的片段。质量评估可以与用于单个PPG信号的质量评估完全相同或相似，例如，基于小波变换和神经网络分析，但是也可以应用替代的质量测量，如本领域技术人员将认识到的。质量评估导致在多传感器PPG信号中识别出质量好的片段和质量差的片段，此后将其用于从这个多传感器PPG信号中消除通过峰检测算法但位于多传感器PPG信号的质量差的片段中的峰。因此，还将全部或部分地位于多传感器PPG信号的这种质量差的间隔内的RR-转速图间隔从RR-转速图上移除，以获得可靠性改善的RR-转速图。
如权利要求14定义的用于根据本发明的用于直接PPG的计算机实现的方法的实施例还包括：
-确定后续峰值之间的时间差的可变性；以及
-根据可变性确定心房颤动风险得分。
适用于心房颤动(AF)风险分析的本发明的实施例还确定由峰检测算法维持的后续峰之间的时间差的可变性，即，心跳可变性或心率可变性。确定与这个可变性成比例的AF得分，并且当这个AF得分超过预定义的阈值时，可以警告患者或被监视人员，使得可以咨询临床医生以进行进一步的诊断。
除了如权利要求1-14定义的计算机实现的方法之外，本发明还涉及如权利要求15定义的对应的计算机程序产品，包括当程序在计算机上运行时用于执行该方法的计算机可执行指令。
本发明还涉及由权利要求16限定的计算机可读存储介质，包括计算机程序产品。
本发明还涉及如权利要求17所述的数据处理系统，其被编程用于执行如权利要求1-14中的一项所述的方法。
附图说明
图1是图示根据本发明的用于直接PPG的计算机实现的方法的实施例的框图；
图2图示了在根据本发明的用于直接PPG的计算机实现的方法的实施例中处理PPG信号用于质量评估的步骤；
图3图示了在根据本发明的用于直接PPG的计算机实现的方法的实施例中获得用于多个传感器的多个PPG信号的步骤；
图4图示了在根据本发明的实现静态多传感器PPG的用于直接PPG的计算机实现的方法的实施例中将多个PPG信号组合成多传感器PPG信号的步骤；
图5图示了在根据本发明的实现动态多传感器PPG的用于直接PPG的计算机实现的方法的实施例中将多个PPG信号组合成多传感器PPG信号的步骤；
图6图示了在根据本发明的利用颜色选择实现动态多传感器PPG的用于直接PPG的的计算机实现的方法的实施例中将多个PPG信号组合成多传感器PPG信号的步骤；
图7图示了在根据本发明的实现动态多传感器多色PPG的用于直接PPG的计算机实现的方法的实施例中将多个PPG信号组合成多传感器PPG信号的步骤；
图8图示了在根据本发明的实现基于模板的峰选择的用于直接PPG的计算机实现的方法的实施例中的峰检测步骤；
图9图示了在根据本发明的用于直接PPG的计算机实现的方法的实施例中的RR-转速图提取的步骤；以及
图10图示了用于实现根据本发明的实施例的方法和设备的合适的计算系统1000。
具体实施方式
图1示出了在根据本发明的用于直接PPG的方法的实施例100中随后执行的步骤。在第一步101中，从可穿戴设备中的相应的传感器(例如，集成在智能手表的栅格中的多个光电二极管)获得多个PPG信号。对于单一颜色获得PPG信号，或者可替代地可以对于多种颜色(例如，每个传感器的R、G和B颜色或C、M和Y颜色)获得PPG信号。可以针对传感器的整个表面获得PPG信号，或者可以针对传感器的子区域获得PPG信号，即，针对相邻像素的子集(例如像在传感器将是相机的情况下透镜的象限)获得PPG信号。PPG信号是在预定义的时间间隔期间获得的，该时间间隔通常设置为几十秒到几分钟。以30Hz的示例性频率获得PPG信号，这意味着成像设备每秒拍摄30幅图像以用作PPG信号的基础。测试表明，在获得PPG信号的时间间隔期间锁定传感器(例如相机或成像设备)的某些设置是重要的，因为锁定传感器设置会大大改善PPG信号的质量。这些设置至少包括光圈和光敏度或曝光量。由于PPG信号是通过可穿戴设备(例如集成在智能电话中的传感器)获得的，因此建议在执行步骤101期间远程控制传感器设置以保持锁定。
在第二步102中，针对每个信号执行内插以确保所有信号的相等采样。此后，在步骤103中，每个PPG信号被滤波，通常被带通滤波以移除噪声并获得在感兴趣的频带内的PPG信号。感兴趣的频带可以由医学应用确定。在进行心跳、心率或心率变化分析的情况下，感兴趣的频带例如是30Hz至200Hz范围内的频带。注意的是，获得PPG信号的步骤101、内插步骤102和滤波步骤可以共同构成远程执行的预处理的一部分，例如，在应用直接PPG的人所穿戴的智能电话或其它电子设备上。将在以下段落中解释但一般是更加处理密集的后续步骤104-107通常应集中执行，即，在具有更高处理能力的服务器上执行，但是在本发明将来的实施例中不排除某些步骤或子步骤也可以在电子设备上远程执行，因为此类电子设备的处理能力不断增长。
在步骤104中，处理每个PPG信号。处理涉及在子步骤141中评估质量和在子步骤142中检测反转。在本发明的静态实施方式中，可以在整个时间间隔上将评估质量和检测反转应用于整个PPG信号。可替代地，在本发明的动态实施方式中，将质量评估和反转检测应用于PPG信号的时间片段上。因此，在PPG信号中识别质量好的部分和质量差的部分。PPG信号中被反转的部分被还原为仍然有用的质量好的部分。质量差的部分应从PPG信号中移除。
在步骤105中，将从形成单个可穿戴设备的一部分的不同传感器获得的多个PPG信号组合成多传感器PPG信号，即，人工合成的PPG信号，其包含从表示多个传感器的多个PPG信号中提取的信息。显然，多个PPG信号的质量好的部分被组合成单个多传感器PPG信号，该信号在随后的生理参数提取的准确性和可靠性方面表现更好。在本发明的静态实施方式中，被发现为质量好的不同传感器的整个PPG信号(或者单色或者多个同步的颜色)被组合成单个多传感器PPG信号。在本发明的动态实施方式中，多个PPG信号的时间上对应的片段被组合。被组合的PPG信号片段的集合通常随时间片段而变化，即，由于不同颜色的质量和不同传感器的质量随时间而变化，因此可以在多传感器PPG信号的不同时间片段中表示不同的传感器和/或不同的颜色。
对于这样组成的多传感器PPG信号，在步骤106中应用峰检测算法以便检测峰，并在步骤107中确定峰间距离以便提取RR-转速图，这对于分析患者的心率可变性和AF风险级别是有用的。显然，在本发明的出于心跳、心率或心率可变性分析之外的其它目的实现直接PPG的实施例中，可以不执行的步骤106和107。
图2图示了如在本发明的实施例中执行的图1中的步骤104的操作，即，质量评估和反转检测。对每个PPG信号201进行小波变换，从而产生经小波变换的PPG信号202。然后将这种经小波变换的PPG信号202馈入神经网络203，该神经网络已经用训练数据集进行了训练，以区分质量好的PPG信号、质量差PPG信号与反转的PPG信号。神经网络203的结果是，PPG信号被限定为质量好的PPG信号、质量差PPG信号或反转的PPG信号。在后一种情况下，PPG信号被还原，并且还原的PPG信号被限定为质量好的PPG信号。在本发明的动态实施方式中，对每个PPG信号的每个时间片段执行基于小波变换和神经网络分析的质量评估。因此，在PPG信号201中识别质量好的部分，并在PPG信号201中识别质量差的部分241、242、243。最后从PPG信号204中移除质量差的部分241、242、243。同样，在考虑了多种颜色的本发明的实施方式中，如果例如由于用于选择最佳颜色的不同的质量评估而对单色进行了前期选择，那么以上参考图2描述在上面描述的质量评估和反转检测可以应用于单色，可以应用于多种颜色的整个PPG信号以便能够将质量好的颜色静态地组合成多色多区域PPG信号，或者可以应用于多种颜色的时间片段以便能够将传感器和颜色动态地组合成多色多传感器PPG信号。
图3更详细地图示了从集成在可穿戴设备301中的不同传感器S1或321、S2或322、S3或323和S4或324获得多个PPG信号311、312、313和314的步骤101。在图3中，四个光电二极管放置在智能手表301的栅格中：S1或321、S2或322，S3或323和S4或324。第一光电二极管S1或321用于获得第一PPG信号311。第二光电二极管S2或322用于获得第二PPG信号312。第三光电二极管S3或323用于获得第三PPG信号313。第四光电二极管S4或324用于获得第四PPG信号314。所获得的PPG信号311、312、313和314不同，因为它们是由人体不同部位的光反射产生的，并且因为诸如反转之类的各种伪像而不同。根据本发明，从不同传感器获得的PPG信号311、312、313和314将组合成单个多传感器PPG信号，其具有比各个PPG信号311、312、313和314更高的可靠性和准确性。参考图4、图5、图6和图7，以下段落将描述将从多个传感器获得的PPG信号组合成多传感器PPG信号的不同方式。
图4示出了在共同形成用于PPG信号提取的时间间隔的五个后续时间片段T1、T2、T3、T4和T5期间分别从图3中描绘的传感器S1、S2、S3和S4获得的四个PPG信号401、402、403和404。在图4中，然后假设对整个PPG信号401、402、403和404执行质量评估。进一步假设质量评估揭示了PPG信号401和402的质量差，而PPG信号403和404的质量好。因此，PPG信号403和404被静态地组合成多传感器PPG信号405，例如通过这些信号的平均和而被组合。质量差的PPG信号401和402被移除，因此不在多传感器PPG信号405的合成中使用。在图4所示的静态多传感器PPG实施例中，为了生成多传感器PPG信号405，没有移除或选择信号的各个时间片段。虽然移除了质量差的子区域PPG信号401和402，并且维持了质量好的PPG信号403和404，但是仍然有可能在多传感器PPG信号405中使用形成质量好的PPG信号403和404的一部分的质量差的片段，因此对多传感器PPG信号405的准确性产生负面影响。形成质量差的PPG信号401和402一部分的质量好的片段也有可能未被使用，因此不能充分利用所有可能来组成最佳的多传感器PPG信号。但是，由图4所示的本发明的静态多传感器PPG实施例的优点在于，它要求有限的处理来组成多传感器PPG信号405。
以类似的方式，图5示出了在共同形成用于PPG信号提取的时间间隔的五个后续时间片段T1、T2、T3、T4和T5期间分别从图3中描绘的传感器S1、S2、S3和S4获得的四个PPG信号501、502、503和504。在图4中，然后假设对每个PPG信号501、502、503和504的各个时间片段T1、T2、T3、T4和T5执行质量评估。进一步假设质量评估揭示了PPG信号503和504的片段T1、T2、T3和T4的质量好，并且PPG信号501和502的片段T5的质量好。其它所有片段都被认为质量差。因此，PPG信号501、502、503和504的质量好的片段被动态地组合以组成多传感器PPG信号505。PPG信号503和504的片段T1被组合成多传感器PPG信号505的片段S1，例如通过这些信号的平均和而被组合。类似地，PPG信号503和504的片段T2被组合成多传感器PPG信号505的片段T2，PPG信号503和504的片段T3被组合成多传感器PPG信号505的片段T3，PPG信号503和504的片段T4被组合成多传感器PPG信号505的片段T4，并且PPG信号501和502的片段T5被组合成多传感器PPG信号505的片段T5。PPG信号501、502、503和504的质量差的片段被移除，因此不在多传感器PPG信号505的组成中使用。图5所示的动态多传感器PPG实施例比图4所示的静态多传感器PPG组成更加处理密集，但是带来的优点是，使用了从多个传感器获得的所有PPG信号的所有质量好的片段，以便生成具有增强的准确性和可靠性的多传感器PPG信号505。当与多传感器PPG信号405相比时，由于使用了PPG信号501和502的质量好的片段T5，因此多传感器PPG信号505例如在时间片段T5中包含附加的峰。
以类似的方式，图6示出了在共同形成用于PPG信号提取的时间间隔的五个后续时间片段T1、T2、T3、T4和T5期间分别成对从图3中描绘的传感器S1、S2、S3和S4获得用于第一颜色C1和第二颜色C2的八个PPG信号601、602、603、604、605、606、607和608。从第一传感器S1获得用于颜色C1的第一PPG信号601和用于颜色C2的第二PPG信号602。从第二传感器S2获得用于颜色C1的第一PPG信号603和用于颜色C2的第二PPG信号604。从第三传感器S3获得用于颜色C1的第一PPG信号605和用于颜色C2的第二PPG信号606。从第四传感器S4获得用于颜色C1的第一PPG信号607和用于颜色C2的第二PPG信号608。在图6中，然后假设对每个PPG信号601-608的各个时间片段T1、T2、T3、T4和T5执行质量评估。进一步假设，对于第一颜色C1，质量评估揭示了PPG信号605和607的片段T1、T2、T3和T4的质量好，并且PPG信号601和603的片段T5的质量好。C1 PPG信号601、603、605和607中的所有其它片段都被认为质量差。因此，PPG信号601、603、605和607的质量好的C1片段被动态地组合以组成用于第一颜色C1的多传感器PPG信号609。PPG信号605和607的片段T1被组合成多传感器PPG信号609的片段T1，例如通过这些信号的平均和而被组合。类似地，PPG信号605和607的片段T2被组合成多传感器PPG信号609的片段T2，PPG信号605和607的片段T3被组合成多传感器PPG信号609的片段T3，PPG信号605和607的片段T4被组合成多传感器PPG信号609的片段T4，并且PPG信号601和603的片段T5被组合成多传感器PPG信号609的片段T5。PPG信号601、603、605和607的质量差的片段被移除，并且因此不在用于第一颜色C1的多传感器PPG信号609的组成中使用。进一步假设，对于第二颜色C2，质量评估揭示了PPG信号602和604的片段T1、T2和T3的质量好，并且PPG信号604、606和608的片段T4和T5的质量好。C2 PPG信号602、604、606和608中的所有其它片段都被认为质量差。因此，PPG信号602、604、606和608的质量好的C2片段被动态地组合以组成用于第二颜色C2的多传感器PPG信号610。PPG信号602和604的片段T1被组合成多传感器PPG信号610的片段T1，例如通过这些信号的平均和而被组合。类似地，PPG信号602和604的片段T2被组合成多传感器PPG信号610的片段T2，PPG信号602和604的片段T3被组合成多传感器PPG信号610的片段T3，PPG信号604、606和608的片段T4被组合成多传感器PPG信号610的片段T4，并且PPG信号604、606和608的片段T5被组合成多传感器PPG信号610的片段T5。PPG信号602、604、606和608的质量差的片段被移除，因此不在用于第二颜色C2的多传感器PPG信号610的组成中使用。此后，对多传感器PPG信号609和610进行质量评估，以便选择最佳颜色，即，根据某种质量测量，其多传感器PPG信号具有最佳质量得分的颜色。在图6中，假设质量评估揭示了多传感器PPG信号609具有比多传感器PPG信号610更好的质量。因此，选择了第一颜色C1。图6所示的具有颜色选择的动态多传感器PPG实施例甚至更加处理密集，但带来的优点是，使用了从多个传感器获得的所有PPG信号的所有质量好的片段，并且这用于多种颜色。此外，选择最佳颜色以便优化多传感器PPG信号的准确性和可靠性，而无需同步不同的颜色。
以类似的方式，图7示出了在共同形成用于PPG信号提取的时间间隔的五个后续时间片段T1、T2、T3、T4和T5期间分别成对从从图3中描绘的传感器S1、S2、S3和S4获得用于第一颜色C1和第二颜色C2的八个PPG信号701、702、703、704、705、706、707和708。从第一传感器S1获得用于颜色C1的第一PPG信号701和用于颜色C2的第二PPG信号702。从第二传感器S2获得用于颜色C1的第一PPG信号703和用于颜色C2的第二PPG信号704。从第三传感器S3获得用于颜色C1的第一PPG信号705和用于颜色C2的第二PPG信号706。从第四传感器S4获得用于颜色C1的第一PPG信号707和用于颜色C2的第二PPG信号708。在图7中，然后假定对每个子区域PPG信号701-708的各个片段T1、T2、T3、T4和T5执行质量评估。进一步假设，对于第一颜色C1，质量评估揭示了PPG信号705和707的片段T1、T2、T3和T4的质量好，并且PPG信号701和703的片段T5的质量好。C1 PPG信号701、703、705和707中的所有其它片段都被认为质量差。进一步假设，对于第二颜色C2，质量评估揭示了PPG信号702和704的片段T1，T2和T3的质量好，并且PPG信号704、706和708的片段T4和T5的质量好。C2 PPG信号702、704、706和708中的所有其它片段都被认为质量差。然后将时间上对应并被认为要同步的多种颜色的质量好的片段动态地组合成单个多色多传感器PPG信号709。因此，PPG信号702、704、705和707的片段T1被组合成多传感器PPG信号709的片段T1，例如通过这些信号的平均和而被组合。类似地，PPG信号702、704、705和707的片段T2被组合成多传感器PPG信号709的片段T2，PPG信号702、704、705和707的片段T3被组合成多传感器PPG信号709的片段T3，PPG信号704、705、706、707和708的片段T4被组合成多传感器PPG信号709的片段T4，并且PPG信号701、703、704、706和708的片段T5被组合成多传感器PPG信号709的片段T5。PPG信号701-708的质量差的片段被移除，并且因此不在多传感器PPG信号709的组成中使用。图7所示的动态多色多传感器PPG实施例甚至更加处理密集，并且需要在颜色C1和C2之间进行同步，但是它带来的优点是，组合了跨所有传感器和所有颜色的所有PPG信号的所有质量好的片段。这样，PPG信号709以最佳的准确性和可靠性组成。与图6所示的实施例相比，注意到例如通过传感器和颜色的动态组合获得的多色多传感器PPG信号709也包含片段T4中的峰，而这个峰在通过利用颜色选择的传感器的动态组合获得的多传感器PPG信号609中仍然不存在。
图8图示了图1中的峰检测步骤106的可能实现方式。在多传感器PPG信号801中，检测到峰，例如通过比较信号强度与平均信号强度检测到峰。在多传感器PPG信号801中检测到的峰用点进行标记。然后将这些峰加窗，并对加窗的峰求平均以生成峰模板802，即，模型峰。之后，将每个检测到的峰与峰模板802相关联。维持其相关性超过某个相关性阈值的峰。移除其相关性保持在相关性阈值以下的峰，例如图8中的803。对于其余的峰，重复地迭代求平均以生成峰模板、相关以识别被保持的峰和被丢弃的峰的步骤，直到达到不再丢弃任何峰的稳定情况。
图9图示了图1中的RR-转速图提取步骤107的可能实施方式方式。RR-转速图900以时间为横轴，并以多传感器PPG信号中的后续峰之间的时间差为纵轴。因此，如果多传感器PPG信号中的峰表示被监视人员的心跳，那么RR-转速图示出峰速率的可变性，即，心率的可变性。通过执行多传感器PPG信号的质量分析，可以改善提取出的RR-转速图的可靠性。可以使用类似于上文所述的质量评估技术来完成这种质量分析，即，基于小波变换和神经网络分析，但是本领域技术人员将认识到的是，也可以应用其它质量分析技术来识别多传感器PPG信号中质量好的部分和质量差的部分。全部或部分地位于多传感器PPG信号的质量差的部分内的RR间隔，如图9中的901、902、903和904。以这种方式，获得经处理的、更可靠的RR-转速图。根据RR-转速图，可以确定峰速率的可变性。如果这种可变性超出某些阈值，那么可以将对应的心房颤动风险得分值报告给被监视人员或其医师。
图10示出了根据本发明的实施例的合适的计算系统1000。计算系统1000适于实现根据本发明的用于直接PPG的方法的实施例。计算系统1000一般可以被形成为合适的通用计算机，并且包括总线1010、处理器1002、本地存储器1004、一个或多个可选的输入接口1014、一个或多个可选的输出接口1016、通信接口1012、存储元件接口1006和一个或多个存储元件1008。总线1010可以包括允许计算系统1000的部件之间的通信的一个或多个导体。处理器1002可以包括解释和执行编程指令的任何类型的常规处理器或微处理器。本地存储器1004可以包括存储信息和指令以供处理器1002执行的随机存取存储器(RAM)或另一种类型的动态存储设备和/或存储静态信息和指令以供处理器1002使用的只读存储器(ROM)或另一种类型的静态存储设备。输入接口1014可以包括允许操作者或用户向计算设备1000输入信息的一种或多种常规机构，诸如键盘1020、鼠标1030、笔、语音识别和/或生物统计机构、相机等。输出接口1016可以包括向操作者或用户输出信息的一种或多种常规机构，诸如显示器1040等。通信接口1012可以包括任何类似收发器的机构，诸如例如使得计算系统1000能够与其它设备和/或系统(例如与其它计算设备1081、1082、1083)通信的一个或多个以太网接口。计算系统1000的通信接口1012可以借助于局域网(LAN)或诸如互联网之类的广域网(WAN)连接到这样的另一个计算系统。存储元件接口1006可以包括用于将总线1010连接到一个或多个存储元件1008(诸如一个或多个本地盘(例如SATA磁盘驱动器))并控制向这些存储元件1008和/或从这些存储元件1008的数据读写的存储接口，诸如例如串行高级技术附件(SATA)接口或小型计算机系统接口(SCSI)。虽然以上将存储元件1008描述为本地盘，但一般而言，可以使用任何其它合适的计算机可读介质(诸如可移动磁盘)、光学存储介质(诸如CD-ROM或DVD-ROM盘)、固态驱动器、闪存卡等。注意的是，可以集中地(例如在管理中心或云系统中的服务器上)执行根据本发明的整个方法，或者可以部分地在远程电子设备(例如，用户穿戴的)上且部分地在中央服务器上执行。因此，计算系统1000可以与中央可用的处理系统或电子设备中可用的处理系统对应。
虽然已经通过参考具体实施例对本发明进行了说明，但是对于本领域技术人员而言清晰的是，本发明不限于前述说明性实施例的细节，并且本发明可以通过各种改变和修改来实施，而不脱离其范围。因此，本实施例在所有方面都被认为是说明性而非限制性的，本发明的范围由所附权利要求书而不是前述描述来指示，并且因此所有落入权利要求书的含义和等同范围内的改变都旨在被涵盖在其中。换句话说，预期涵盖落入基本底层原理的范围内并且其本质属性在本专利申请中要求保护的任何和所有修改、变化或等同物。此外，本专利申请的读者将理解的是，词语“包括”或“包含”不排除其它元件或步骤，词语“一”不排除多个，并且单个元件(诸如计算机系统、处理器或另一个集成单元)可以履行在权利要求书中阐述的若干单元的功能。权利要求书中的任何附图标记均不应被解释为限制所涉及的相应权利要求。在描述或权利要求书中使用时，引入术语“第一”、“第二”、“第三”、“a”、“b”、“c”等来区分相似的元件或步骤，而不一定描述顺序或时间次序。类似地，出于描述的目的而引入术语“顶部”、“底部”、“上方”、“下方”等，而不一定表示相对位置。应该理解的是，在适当的情况下，这样使用的术语是可互换的，并且本发明的实施例能够按照其它顺序或者以与上面描述或示出的(一个或多个)朝向不同的朝向来操作。

Claims (17)

1.一种用于直接光学体积描记术或直接PPG的计算机实现的方法(100)，包括：
-在时间间隔期间获得(101)可穿戴设备(301)中的相应的传感器(321，322，323，324)的多个PPG信号(311-314；401-404；501-504；601-608；701-708)；以及
-组合(105)所述多个PPG信号(311-314；401-404；501-504；601-608；701-708)，从而获得多传感器PPG信号(405；505；609；709)，
其特征在于，根据权利要求1所述的用于直接PPG的所述方法(100)包括：
-处理(104)所述多个PPG信号(501-504；601-608；701-708)中的每个PPG信号，以识别(141)所述PPG信号的质量好的片段以及所述PPG信号的质量差的片段，在质量好的片段中所述PPG信号的质量测量高于阈值，在质量差的片段中所述PPG信号的所述质量测量低于所述阈值；
-从所述多个PPG信号的每个PPG信号中移除所述质量差的片段；以及
-组合所述多个PPG信号(501-504；601-608；701-708)的时间上对应的质量好的片段，以获得所述多传感器PPG信号(505；609；709)。
2.如权利要求1所述的用于直接PPG的计算机实现的方法(100)，其中所述质量好的片段包括非反转的片段和反转的片段，并且每个PPG信号的所述处理还包括识别(142)所述反转的片段并还原所述反转的片段。
3.如权利要求1或权利要求2所述的用于直接PPG的计算机实现的方法(100)，其中每个PPG信号(201)的所述处理(104)包括：
-对所述PPG信号(201)进行小波变换以获得经小波变换的PPG信号(202)；以及
-将所述经小波变换的PPG信号(202)供应给神经网络(203)，该神经网络被训练为识别所述PPG信号的质量好的片段和所述PPG信号(201)的质量差的片段(241，242，243)。
4.如权利要求2和权利要求3所述的用于直接PPG的计算机实现的方法(100)，其中进一步训练所述神经网络(203)以识别所述反转的片段。
5.如前述权利要求中的一项所述的用于直接PPG的计算机实现的方法(100)，包括：
-为来自颜色空间中的相应的颜色(C1，C2)生成类似于所述多传感器PPG信号(609)的多个多传感器PPG信号(609，610)。
6.如权利要求5所述的用于直接PPG的计算机实现的方法(100)，还包括：
-确定用于所述颜色(C1，C2)中的每种颜色的质量测量；以及
-从所述多个多传感器PPG信号(609，610)当中选择具有最高质量测量的用于颜色(C1)的多传感器PPG信号(609)。
7.如权利要求5所述的用于直接PPG的计算机实现的方法(100)，还包括：
-确定用于所述颜色(C1，C2)中的每种颜色的质量测量；以及
-将用于多种颜色的多传感器PPG信号组合成多色多传感器PPG信号。
8.如权利要求7所述的用于直接PPG的计算机实现的方法(100)，还包括：
-在所述时间间隔期间获得用于相应颜色(C1；C2)和相应传感器(321，322，323，324)的多个PPG信号(701，703，705，707；702，704，706，708)；
-处理所述多个PPG信号(701-708)中的每个PPG信号以识别所述PPG信号中的质量好的片段和所述PPG信号中的质量差的片段，在质量好的片段中所述PPG信号的质量测量高于阈值，在质量差的片段中所述PPG信号的所述质量测量低于所述阈值；
-从所述多个PPG信号(701-708)中的每个PPG信号中移除所述质量差的片段；以及
-组合所述多个PPG信号(701-708)的时间上对应的质量好的片段以获得所述多色多传感器PPG信号(709)。
9.如前述权利要求中的一项所述的用于直接PPG的计算机实现的方法(100)，还包括：
-在所述时间间隔期间为所述传感器中的至少一个传感器获得所述传感器的相应子区域的多个PPG信号，所述子区域中的每个子区域覆盖多个像素；以及
-组合所述多个PPG信号，从而获得多传感器多区域PPG信号或多色多传感器多区域PPG信号。
10.如前述权利要求中的一项所述的用于直接PPG的计算机实现的方法(100)，还包括在所述时间间隔期间锁定所述传感器中的一个或多个传感器的设置，所述设置至少包括：
-光圈；
-光敏度的传感器设置；以及
-曝光时间。
11.如前前述权利要求中的一项所述的用于直接PPG的计算机实现的方法(100)，还包括检测(106)所述多传感器PPG信号(801)中的峰，并且：
-检测所述多传感器PPG信号(801)中的初始峰；
-对所述多传感器PPG信号(801)中的所述初始峰进行加窗，从而生成加窗的初始峰；
-对所述多传感器PPG信号(801)中的所述加窗的初始峰求平均，从而生成峰模板(802)；
-将所述初始峰与所述峰模板(802)关联；
-将相关性测量超过相关性阈值的初始峰维持为峰；以及
-丢弃其所述相关性测量未超过所述相关性阈值的初始峰。
12.如权利要求11所述的用于直接PPG的计算机实现的方法(100)，还包括：
-通过确定所述多传感器PPG信号(801)中的后续峰之间的时间差来提取(107)RR-转速图(900)。
13.如权利要求12所述的用于直接PPG的计算机实现的方法(100)，还包括：
-处理所述多传感器PPG信号(801)以识别所述多传感器PPG信号(801)的质量好的片段以及所述多传感器PPG信号(801)的质量差的片段中，在质量好的片段中所述多传感器PPG信号(801)的质量测量高于阈值，在质量差的片段中所述多传感器PPG信号的所述质量测量低于所述阈值；
-在提取所述RR-转速图(900)之前，从所述多传感器PPG信号(801)中移除所述质量差的片段内的峰；以及
-从所述RR-转速图中移除全部或部分地位于所述多传感器PPG信号(801)的所述质量差的片段内的RR-转速图间隔。
14.如权利要求12或权利要求13所述的用于直接PPG的计算机实现的方法(100)，还包括：
-确定后续峰之间的所述时间差的可变性；以及
-从所述可变性确定心房颤动风险得分。
15.一种计算机程序产品，包括计算机可执行指令，当程序在计算机上运行时，所述计算机可执行指令用于执行如权利要求1-14中的一项所述的方法。
16.一种计算机可读存储介质，包括如权利要求15所述的计算机程序产品。
17.一种数据处理系统，被编程用于执行如权利要求1-14中的一项所述的方法。
CN201880073315.5A 2017-10-19 2018-08-10 用于使用多个传感器的直接光学体积描记术(ppg)的计算机实现的方法和系统 Pending CN111343913A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17197341.5A EP3473173B1 (en) 2017-10-19 2017-10-19 Computer-implemented method and system for direct photoplethysmography (ppg) with multiple sensors
EP17197341.5 2017-10-19
PCT/EP2018/071740 WO2019076510A1 (en) 2017-10-19 2018-08-10 COMPUTER-IMPLEMENTED METHOD AND SYSTEM FOR DIRECT PHOTOPLETHYSMOGRAPHY (PPG) USING A PLURALITY OF SENSORS

Publications (1)

Publication Number Publication Date
CN111343913A true CN111343913A (zh) 2020-06-26

Family

ID=60153139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073315.5A Pending CN111343913A (zh) 2017-10-19 2018-08-10 用于使用多个传感器的直接光学体积描记术(ppg)的计算机实现的方法和系统

Country Status (6)

Country Link
US (1) US11701015B2 (zh)
EP (1) EP3473173B1 (zh)
JP (1) JP7339676B2 (zh)
CN (1) CN111343913A (zh)
AU (1) AU2018353268B2 (zh)
WO (1) WO2019076510A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157256A1 (en) * 2018-02-08 2019-08-15 Tsouri Gill R Opportunistic plethysmography using video cameras
KR102358325B1 (ko) * 2020-01-21 2022-02-04 성균관대학교산학협력단 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치
KR102592969B1 (ko) * 2021-09-16 2023-10-24 주식회사 스카이랩스 Ppg 신호 감지 반지를 이용한 딥러닝 기반 심방 세동 판정 시스템
EP4201317A1 (en) 2021-12-22 2023-06-28 Qompium A ppg signal processing device and corresponding computer-implemented method
CN115670397B (zh) * 2022-11-17 2023-06-02 北京中科心研科技有限公司 一种ppg伪迹识别方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
US20150282724A1 (en) * 2014-04-02 2015-10-08 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor
US20160220128A1 (en) * 2013-10-01 2016-08-04 Koninklijke Philips N.V. Improved signal selection for obtaining a remote photoplethysmographic waveform
CN106357879A (zh) * 2015-07-13 2017-01-25 Lg电子株式会社 在移动终端中测量心跳/压力的装置和方法
CN106413530A (zh) * 2014-05-28 2017-02-15 皇家飞利浦有限公司 使用多通道ppg信号的运动伪影降低
US20170238805A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140143B2 (en) 2009-04-16 2012-03-20 Massachusetts Institute Of Technology Washable wearable biosensor
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei
CN103404138B (zh) 2011-01-05 2017-01-18 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码与解码设备及方法
WO2014024104A1 (en) 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
US10215698B2 (en) 2014-09-02 2019-02-26 Apple Inc. Multiple light paths architecture and obscuration methods for signal and perfusion index optimization
JP2016202347A (ja) 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
JP6564475B2 (ja) 2015-06-25 2019-08-21 アナリティクス フォー ライフ インコーポレイテッド 数学的分析および機械学習を使用して病気を診断する方法およびシステム
WO2017096313A1 (en) * 2015-12-02 2017-06-08 Echo Labs, Inc. Systems and methods for non-invasive respiratory rate measurement
EP3449820B1 (en) * 2017-08-30 2023-05-24 Qompium Computer-implemented method and system for direct photoplethysmography (ppg)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
US20160220128A1 (en) * 2013-10-01 2016-08-04 Koninklijke Philips N.V. Improved signal selection for obtaining a remote photoplethysmographic waveform
US20150282724A1 (en) * 2014-04-02 2015-10-08 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor
CN106413530A (zh) * 2014-05-28 2017-02-15 皇家飞利浦有限公司 使用多通道ppg信号的运动伪影降低
CN106357879A (zh) * 2015-07-13 2017-01-25 Lg电子株式会社 在移动终端中测量心跳/压力的装置和方法
US20170238805A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs

Also Published As

Publication number Publication date
WO2019076510A1 (en) 2019-04-25
AU2018353268B2 (en) 2024-06-13
AU2018353268A1 (en) 2020-03-19
EP3473173B1 (en) 2024-04-03
JP2020537552A (ja) 2020-12-24
JP7339676B2 (ja) 2023-09-06
US20200305738A1 (en) 2020-10-01
EP3473173A1 (en) 2019-04-24
US11701015B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
US10398327B2 (en) Non-contact assessment of cardiovascular function using a multi-camera array
JP7339676B2 (ja) 複数のセンサを伴うダイレクトフォトプレチスモグラフィ（ｐｐｇ）のためのコンピュータ実装方法及びシステム
US11229372B2 (en) Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space
Wang et al. Discriminative signatures for remote-PPG
CN111050638B (zh) 用于接触式光学体积描记术(ppg)的计算机实现的方法和系统
De Haan et al. Robust pulse rate from chrominance-based rPPG
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
CN109820499B (zh) 基于视频的高抗干扰心率检测方法、电子设备及存储介质
US9737219B2 (en) Method and associated controller for life sign monitoring
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
CN111345803B (zh) 一种基于移动设备摄像头的心率变异性测量方法
WO2019203106A1 (en) Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium
Artemyev et al. Robust algorithm for remote photoplethysmography in realistic conditions
Chen et al. Eliminating physiological information from facial videos
CN111938622A (zh) 心率检测方法、装置及系统、可读存储介质
Tabei et al. A novel diversity method for smartphone camera-based heart rhythm signals in the presence of motion and noise artifacts
Roald Estimation of vital signs from ambient-light non-contact photoplethysmography
JP2021045375A (ja) 生体情報検出装置及び生体情報検出方法
Park et al. Direct-global separation for improved imaging photoplethysmography
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Scebba et al. Improving ROI detection in photoplethysmographic imaging with thermal cameras
den Brinkera et al. Model-based camera-PPG
Huang et al. Deep learning-based robust heart rate estimation using remote photoplethysmography under different illuminations
Mehrnam et al. Concealed face recognition analysis based on recurrence plots
Suryasari et al. Illuminance Color Independent in Remote Photoplethysmography for Pulse Rate Variability and Respiration Rate Measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination