CN108604376B - 用于搏动性检测的设备、系统和方法 - Google Patents

用于搏动性检测的设备、系统和方法 Download PDF

Info

Publication number
CN108604376B
CN108604376B CN201780010385.1A CN201780010385A CN108604376B CN 108604376 B CN108604376 B CN 108604376B CN 201780010385 A CN201780010385 A CN 201780010385A CN 108604376 B CN108604376 B CN 108604376B
Authority
CN
China
Prior art keywords
band
signal
region
signals
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010385.1A
Other languages
English (en)
Other versions
CN108604376A (zh
Inventor
A·C·登布林克尔
王文锦
G·德哈恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108604376A publication Critical patent/CN108604376A/zh
Application granted granted Critical
Publication of CN108604376B publication Critical patent/CN108604376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于搏动性检测的设备、系统和方法。所提出的设备包括：输入接口(30)，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列；提取单元(31)，其用于从所述图像数据的感兴趣区域提取指示周期性生理现象的时变信号；变换单元(32)，其用于将所述时变信号变换成谱信号；拆分单元(33)，其用于将所述谱信号拆分成至少覆盖所述谱信号的第一频率范围的频带内子信号以及覆盖所述谱信号的第二频率范围的频带外子信号，其中，所述第一频率范围至少包括所述周期性生理信息的频率范围；分析单元(34)，其用于分离地从所述频带内子信号导出频带内量度并且从所述频带外子信号导出频带外量度，所述频带内量度和所述频带外量度表示描述符；以及描述符(35)，其用于基于所述描述符将所述感兴趣区域分类为生物的搏动区域或非搏动区域。

Description

用于搏动性检测的设备、系统和方法
技术领域
本发明涉及一种用于搏动性检测、特别是用于皮肤检测的设备、系统和方法。潜在的应用包括确定针对对象的生命体征监测或活力监测的感兴趣区域设置。
背景技术
人的生命体征，例如心率(HR)、呼吸率(RR)或动脉血氧饱和度(SpO2)，用作人的当前健康状态的指示器和严重医学事件的强有力的预测器。出于该原因，生命体征在住院患者和门诊患者护理设置中、在家或者在另外的健康休闲和健身设置中广泛地监测。
测量生命体征的一种方式是体积描记术。体积描记术通常指代对器官或身体部分的体积改变的测量并且具体指代对归因于随着每次心跳行进通过对象的身体的心脏-血管脉搏波造成的体积改变的检测。
光体积描记术(PPG)是一种评价感兴趣区域或体积的光反射或透射的时间变化的改变的光学测量技术。PPG基于以下原理：血液比周围组织吸收更多的光，因此，随着每次心跳的血容量的变化相应地影响透射或反射。除了关于心率的信息之外或者备选地，PPG波形能够包括能归因于诸如呼吸造成的生理现象的信息。通过评价在不同波长(通常为红光和红外线)处的透射率和/或反射率，能够确定血氧饱和度(或者其他血液气体/物质)。
最近，已经引入了用于非干扰性测量的非接触、远程PPG(rPPG)设备(还被称为相机rPPG设备)。远程PPG利用远离于感兴趣对象而设置的光源或者通常为辐射源。类似地，例如相机或光检测器的检测器也能够远离于感兴趣对象来设置。因此，远程光体积描记系统和设备被认为是非干扰性的并且很适合于医学以及非医学日常应用。该技术特别针对具有要求生命体征监测的极端皮肤敏感度的患者(诸如具有极其脆弱的皮肤的新生儿重症监护室(NICU)患者、早产儿或具有大面积烧伤的患者)具有独特的优点。
Verkruysse等人在Optics Express，16(26)，2008年12月22日，第21434-21445页上的“Remote plethysmographic imaging using ambient light”一文证明了光体积描记信号能够使用红色、绿色和蓝色通道使用环境光和常规消费者水平的视频相机来远程地测量。
除了完全无接触的优点之外，相机(通常被称为成像设备)提供2D信息，其允许多斑点和大面积测量，并且常常包含额外的背景信息。与依赖于特定测量点/区域上的正确放置的接触传感器不同，被用于使用rPPG技术测量脉搏信号的区域必须根据实际图像来确定。因此，在极大地变化的照明条件下可靠的对皮肤区域的准确检测在基于相机的rPPG设备和方法的处理链中变为决定性的部分。
当前，存在针对皮肤区域的可靠的检测和跟踪已知的两种主要方案。
一种方案基于皮肤颜色(基于RGB)的检测和分割。根据该方案的方法在对具有皮肤颜色的区域的检测和跟踪两者方面是快速的。然而，其对于环境光颜色的改变不鲁棒，其还将改变从皮肤区域反射的光的颜色，并且不能够在低照明条件下或者在黑暗中检测皮肤区域。此外，这样的方法不能够总是将皮肤与具有相同颜色的其他表面区分开。
另一种方案基于所提取的PPG信号(基于PPG的)，如例如在Gibert等人于10thIEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS)，2013年的“Face detection based on photoplethysmography”一文中所公开的。根据该方案的方法在将真实的皮肤区域和具有相同皮肤颜色的其他对象的区域区分开的过程中更鲁棒。
对来自图像序列中的对象的生物组织或搏动性的检测具有一定范围的应用。对此的一种应用是针对远程光体积描记(rPPG)的自动化ROI检测、或者用于患者监测或者执行例如血管、健康测量的BCG运动测量。另一种应用是要么根据光体积描记信号要么根据由呼吸引起的准周期性运动来确定对象的呼吸率。在后者的情况中，可以在例如衣服或寝具的非皮肤表面中找到搏动信号。其还能够对其他技术领域感兴趣，例如在使用相机技术识别玩家的手势的远程游戏应用、面部检测、安全(使用监视相机对人的鲁棒检测，以及对佩戴面罩的人的检测，或者将真实面部与相机配准中的逼真面罩区分开)等中。
已经表明，在所采集的图像中的周期性颜色改变自身可以被用于在生物的皮肤与非皮肤之间进行区分。然而，特别是对于具有低光级或者在黑暗中的应用而言(例如，对于夜晚患者监测而言)，这些吸收变化的相对低幅度(特别是在近红外线(NIR)波长范围内)仍然是有问题的，并且使得实际尝试未能将皮肤与非皮肤区分。
发明内容
本发明的目标是提供一种允许对搏动性的更可靠、准确和快速的检测的设备和对应的方法以及系统，特别是在用于检测对象的生命体征的设备和方法中使用。
在本发明的第一方面中，提出了一种用于搏动性检测的设备，包括：
-输入接口，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列，
-提取单元，其用于从所述图像数据的感兴趣区域提取指示周期性生理现象的时变信号，
-变换单元，其用于将所述时变信号变换成谱信号，
-拆分单元，其用于将所述谱信号至少拆分成覆盖所述谱信号的第一频率范围的频带内(in-band)子信号以及覆盖所述谱信号的第二频率范围的频带外(out-band)子信号，其中，所述第一频率范围至少包括所述周期性生理现象的频率范围，
-分析单元，其用于分离地从所述频带内子信号导出频带内量度并且从所述频带外子信号导出频带外量度，所述频带内量度和所述频带外量度表示描述符，以及
-分类器，其用于基于所述描述符将所述感兴趣区域分类为生物的搏动区域或非搏动区域。
在本发明的另外的方面中，提出了一种对应的方法。
在本发明的又另外的方面中，提出了一种用于搏动性检测的系统，所述系统包括：
-成像单元，其用于采集场景的图像数据，以及
-如在本文中所公开的用于搏动性检测的设备，其基于所采集的所述场景的图像数据。
在本发明的又另外的方面中，提供了一种计算机程序以及非瞬态计算机可读记录介质，所述计算机程序包括程序代码模块，所述程序代码模块当所述计算机程序由计算机执行时用于使所述计算机执行在本文中所公开的方法的步骤，所述非瞬态计算机可读记录介质在其中存储计算机程序产品，所述计算机程序产品当由计算机运行时，使在本文中所公开的方法被执行。
在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的方法、系统、计算机程序以及介质能够具有与所要求保护的设备以及与在从属权利要求中所限定的相似和/或相同的优选实施例。
本发明基于以下想法：在频率域中将搏动信号与噪声区分开，更精确地，通过分离地评价从场景的图像数据导出的频率域信号中的频带内子信号和频带外子信号，所述场景潜在地包括生物的搏动区域或者甚至完整生物或者示出搏动区域和非搏动区域(诸如皮肤区域和非皮肤区域)的不同身体部分。所述谱信号至少被拆分成频带内子信号，包括至少一个生命体征参数或者用于搏动性检测的感兴趣周期性生理现象的频率范围，例如脉搏信号或呼吸信号，以及覆盖第二不同的频率范围的频带外子信号。
替代例如借助于如在现有技术中的频带通滤波器(针对例如被调谐到0.7Hz与2Hz之间的静息心率的脉搏信号，对应于42至120次心跳每分钟)来舍弃所述频带外子信号，频带内频率分量和频带外频率分量被保留在频率谱中。所述分析单元被配置为分离地根据所述频带内子信号导出频带内量度并且根据所述频带外子信号导出频带外量度。从而已经查明，所述频带外信号和对应的频带外量度能够用作用于评价所述频带内子信号的参考。所述分析单元被有利地配置为分离地导出针对所述频带内子信号和针对所述频带外子信号的相同量度或者相同类型的量度。因此，所述频带内信号和所述频带外信号能够基于相同的操作来获得。优点是高效的实施和计算，例如借助于专用ASIC。利用相应地经训练的分类器，例如使用所述频带内量度和所述频带外量度作为输入，能够做出所述图像数据中的特定感兴趣区域(ROI)、例如所述图像数据的图像帧的图像分段是否示出搏动性的可靠判定。
换言之，考虑待检测的搏动性的特定特性，诸如归因于呼吸或心脏活动、特别是以特定期望的频率出现的(准)周期性信号，诸如在频带内子信号中的心率(HR)频率或呼吸率(RR)频率，以及其在所述谱的其他部分中的缺失。
具体地，噪声的特性在其中没有感兴趣的搏动性存在的谱信号的部分(频带外子信号)中是能观察并且能测量的。所述谱信号的该部分能够被有利地用作参考和/或用于估计其中搏动性可能存在的所述谱的其他部分、即频带内子信号中的噪声贡献。因此，能够识别在所述频带内信号中的噪声上的搏动性的存在或缺失。有利地，例如对于夜晚的不引人注目的生命体征监测而言，能够改进在低SNR条件下的操作。
因此，所提出的设备、系统和方法实现了通过基本上从图像帧的3D时间序列提取1D时间信号(在本文中还被称为“时变信号”)、将所述时间信号变换成经变换的谱信号、将所述谱信号拆分成频带内子信号和频带外子信号、分离地分析所述频带内子信号和所述频带外子信号以获得指示频带内量度和频带外量度的描述符、并且基于所述描述符对图像帧的所述3D时间序列进行分类，来确定图像帧(在其中特别是图像分段)的3D时间序列是否包含活的人类组织或搏动性。
如在本文中所使用的，图像不仅能够被理解为指示在300nm与1000nm之间的波长范围内从场景反射的检测到的光或者被理解为热图像(2000nm-12000nm)，但是更一般地，来自包括MRI、CT等的任何成像模态，并且还可以包括例如使用光流获得的导出图像，如运动向量场。
应当注意，在该上下文中，在从所述图像数据的ROI、例如从视频序列中的ROI提取所述时变信号时，不知道所述ROI是否实际上示出搏动性。不管该不确定性如何，所述ROI被处置，如同其包含搏动性一样，并且在该假定指示如例如利用皮肤区域常规地完成的周期性生理现象的情况下，时变信号从所述ROI被提取。换言之，指示周期性生理现象的时变信号能够被认为是要由用于搏动性检测的设备来测试的假设，即，潜在地指示周期性生理现象的信号。鉴于潜在的生理过程，应当理解，如在本文中所使用的周期性生理现象可能经受变化，例如，由于心率变化性或者变化的呼吸率，并且因此也涵盖准周期性生理现象。
针对所述变换，通常可以使用任何种类的频率域变换，诸如FFT、DCT、小波变换、哈尔变换等。
下文将进一步解释要由分析单元导出的示范性量度，诸如经排序的(sorted)频带内信号和频带外信号。
根据实施例，所述时变信号是以下中的一项：光体积描记(PPG)信号、指示周期性生理现象的运动信号、心冲击描记(BCG)信号。备选地，所述时变信号能够包括前述信号中的至少一种信号。PPG信号能够是例如由归因于搏动血流造成的皮肤中的细微颜色改变所引起的指示时变吸收的基于吸收的信号。所述PPG信号例如能够是指示心率或呼吸率作为生命体征。运动信号，诸如呼吸(胸部)运动信号，能够指示由诸如呼吸的生理现象引起的对象的运动。例如，能够监测对象的胸部运动。运动向量场能够被用作对例如用于呼吸-运动信号的备选或附加，并且同样也用于脉搏运动信号。也能够间接地获得所述时变信号。例如，覆盖层的(搏动/周期性)运动能够指示躺在床上的对象的呼吸。BCG信号能够指代由运动调制光所引起的脉搏频率信号。所述BCG信号例如能够指示心脏活动，诸如经由腹部大动脉和颈动脉血液从心脏到头部的周期移动，其使得头部以周期性运动移动。由A.
Figure BDA0001757914230000061
S.Stuijk和G.de Haan在Biomedical Optical Express、第7卷、第5期、第1737-1754页、2016年5月上的“Motion robust PPG-imaging through color channel mapping”一文中示范性地描述了获得BCG信号。在又一实施例中，所述时变信号不必是指示像素值的“亮度”信号，而且也可以是所导出的信号或图像，如从所述对象的微运动所获得的运动向量场，如由Balakrishnan等人在IEEE Conference on Computer Vision and PatternRecognition(CVPR)，2013年的“Detecting Pulse from Head Motions in Video”一文中所公开的。应当理解，所述ROI不必是皮肤，因为运动可以被传送到例如覆盖所述对象的衣服、头发或覆盖层。
根据实施例，用于搏动性检测的所述设备是用于皮肤检测的设备，并且所述分类器被配置为基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或者分类为非皮肤区域。备选地或另外地，所述设备能够被配置用于对与呼吸有关的搏动性的检测，例如用于监测在覆盖层下被定位在床上的对象。
根据实施例，所述变换单元被配置为将所述时变信号变换成没有相位信息的谱信号，特别是变换成功率谱或绝对(幅度)谱，即，将复谱变换成实信号。傅里叶变换的输出是复(实部和虚部)信号。如果相位信息不感兴趣，则可以取得复样本(复平面中的向量的长度)的范数，其常常被称为绝对谱或幅度谱。通过将这些数字求平方，能够获得功率谱。其是有利的，因为期望在脉搏(其能够简单地对具有未知相位和频率的正弦波进行建模，但是将表现为高幅度)与噪声(其能够被建模为随机(幅度和相位两者)信号)之间进行区分，其将在所述(经排序或未经排序的)谱中表现为具有基本上相同幅度的宽频频带。具体地，当将经排序的谱作为由所述分析单元导出的频带内量度和频带外量度时，其易于分类。
在实施例中，所述分析单元包括排序单元，所述排序单元被配置为分离地排序所述频带内子信号和所述频带外子信号以获得经排序的频带内子信号作为所述频带内量度并且获得经排序的频带外子信号作为所述频带外量度。经排序的谱子信号然后表示所述描述符。搏动信号因此能够通过评价例如从潜在地包括生物的皮肤区域或者甚至完整的生物或者示出皮肤区域和非皮肤区域的不同身体部分的场景的图像数据导出的经排序的频率域信号中的能量的分布与所述频率域中的噪声区分开。已经特别查明，脉搏信号(在经排序的(或分级的)频率域表示)的能量比经排序的(或分级的)噪声谱更快地下降。利用相应地优选经训练的分类器，即，使用这样的分级的谱子信号作为输入，能够做出所述图像数据中的特定感兴趣区域(ROI)、例如所述图像数据的图像帧的图像分段(例如，皮肤区域)是否示出搏动性的可靠判定。
由此，排序和分级应当被理解为同义词。其意指频率样本的次序被改变，使得其显得利用减小或增加的幅度来排列，即，在频率方向上对所述频率样本进行重新排列。
在另一实施例中，所述分析单元被配置为分离地确定所述频带内信号的谱平坦度作为所述频带内量度并且确定所述频带外信号的谱平坦度作为所述频带外量度。所述谱平坦度的常规定义是所述信号的幅度谱的几何平均值与算术平均值的比。作为所述幅度谱的备选方案，功率谱能够被当作基础。此外，能够应用在音频技术的不同技术领域中由Madhu在Electronics Letters、第45卷、第23期、2009年的“Note on measures for spectralflatness”一文中所提出的谱平坦度量度。该方法的优点是针对所述频带内子信号和所述频带外子信号的量度的鲁棒的确定以及在有限计算成本的情况下的分类。
在另外的实施例中，所述分析单元被配置为分离地基于所述频带内信号的频率分组的能量来确定所述频带内量度并且基于所述频带外信号的频率分组的能量来确定所述频带外量度。有利地，然后能够通过比较所述分类器中的所述频带内量度和所述频带外量度来检测搏动性。在另外的实施例中，所述分析单元被配置为分离地基于所述频带内信号的频率分组中的能量与所述频带内信号的平均能量的比较来确定所述频带内量度；并且基于所述频带外信号的频率分组中的能量与所述频带外信号的平均能量的比较来确定所述频带外量度。
在另一实施例中，所述分析单元被配置为基于统计学离群值检测，来分离地确定所述频带内量度和所述频带外量度。例如，可以连同方差估计做出鲁棒估计，诸如能量或幅度的中值。超过通常发生的那些的幅度或能量能够被确定为离群值并且能够指示搏动性。通常发生的值例如能够被定义为均值或平均值±所述标准偏差的一倍或两倍。此外，至少一个分布的模型，优选针对搏动和噪声的两个分布，能够被使用并且一方面与所述频带内子信号进行比较并且另一方面与所述频带外子信号进行比较。由此，所述频带外信号的值的分布能够被用作噪声模型。所述频带内信号的值的分布然后能够与其进行比较。在所述频带内子信号的值的分布与所述噪声模型匹配的情况下，如基于所述频带外子信号所确定的，所述感兴趣区域能够被分类为非搏动区域，否则被分类为搏动区域。
在实施例中，所述分类器被配置为：基于所述频带外量度与所述频带内量度的比较，将所述感兴趣区域分类为生物的搏动区域或非搏动区域。所述频带外量度能够被认为是指示非搏动性。与所述频带内子信号相反，所述频带外子信号不包括感兴趣的(准)周期性生理现象的频率范围。第一频率范围因此与第二频率范围不同。因此，所述频带外信号能够用作参考。由此，能够甚至针对低信噪比实现鲁棒的判定。
在另外的实施例中，所述频带外量度能够再次指示非搏动性，并且所述分类器被配置为基于所述频带外量度来确定用于将所述感兴趣区域分类为生物的搏动区域或非搏动区域的判定阈值。该实施例的优点在于：替代使用分类中的固定判定阈值，所述判定阈值能够基于所述频带外量度来调整。例如，在低信号而且如由所述频带外子信号所指示的低噪声条件中，可以设定更低的判定阈值。由此，甚至针对低光条件中的测量、例如夜晚的基于NIR的测量能够实现更鲁棒的判定。
在实施例中，所述分类器还被配置为将所述感兴趣区域的分类的一致性度量确定为生物的搏动区域或非搏动区域。所述一致性度量能够指示所述分类的空间一致性和/或时间一致性。例如，应当预期到，仅连接的区域能够是面部区域，然而，极其不太可能指定单个隔离的斑块(取决于所述图像中的面部或皮肤部分的大小以及实际使用的ROI大小)。类似地，针对时间域(经运动补偿的)，在特定时刻处产生搏动性的斑块期望一致地产生搏动性。所述一致性度量因此能够指示所述分类的可靠性。能够考虑其他、特别是相邻区域的信息，其中，其他区域可以指代所述图像的其他部分和/或其他时刻。这还可以被用于操纵所述分类器的控制设置，例如调节判定阈值。任选地，这样的一致性检查还可以被实施为后处理。
在实施例中，所述拆分单元被配置为对所述谱信号进行划分，使得所述频带内子信号覆盖所述谱信号的频率范围的下部分或者所述谱信号的最高频率峰值周围的频率范围的部分。例如，所述频带内能够简单地是过采样信号的下半部并且所述频带外能够简单地是相同过采样信号的上半部。在更复杂的版本中，所述频带内可以被定义为最高频率峰值周围的窗口，例如具有所述总频率分组的一半，并且所述频带外然后可以由剩余的频率分组来定义。用于分离所述频率分组的其他选择也可能定义更准确的频带内，例如通过选择可能的脉搏谱分量(例如，仅频率域中的20％最高峰值)作为频带内并且选择剩余的谱分量作为频带外。有利地，所述频带内子信号覆盖第一频率范围，其中，所述第一频率范围包括至少一个生命体征参数的频率范围，诸如0.7Hz与4Hz(40bpm(次心跳每分钟)和240bpm)之间的频率范围中的心率，和/或0.2Hz与0.7Hz之间的呼吸率(针对婴儿高达1.6Hz)。
在另一实施例中，所述变换单元被配置为对所述谱信号进行标准化，使得所述谱的幅度或能量(取决于标准化的种类)对后续评价没有影响。这使所述谱基本上分别独立于皮肤区域和非皮肤区域中的脉搏和噪声幅度。所述标准化例如可以由拆分L1范数或L2范数来实施。实际的实施例可以包括将相位谱重置到针对所有频率的常量值并且对所述幅度谱进行标准化以获得鲁棒的分类。
所述设备还可以包括控制单元，所述控制单元用于控制所述变换单元、所述拆分单元和/或所述分析单元以执行两次或更多次迭代，其中，来自所述分析单元的输出被用作针对下一次迭代中的变换单元的输入信号。例如，所述控制单元被配置为控制所述变换单元和所述分析单元的排序单元以执行两次或更多次迭代，其中，从所述排序单元输出的经排序的谱信号被用作针对下一次迭代中的变换单元的输入信号。因此，所述迭代对先前迭代的输出起作用，优选在使所述信号的长度分半之后导致由所述分类器最后使用的所述谱的多尺度表示。具体地，由于重置所述噪声频率分量的相位，第一迭代能够导致表示非组织的相对峰值信号。优选地，所述谱的长度在不同的迭代中减少，即，在导致多尺度表示的不同尺度中执行所述变换，其中，更粗的谱(具有更少的样本)仍然描述相同的信号，但是以更粗的尺度。
已经查明，所述变换和所述排序的重复将(峰值的)脉搏谱变换成平坦谱，而(相对平坦的)噪声谱被变换成峰值谱。在重复的变换中，所述相位信息、所述峰值的位置以及所述谱的幅度优选被忽视。所述分级确保所述峰值基本上在相同位置处，这改善了所述分类。
在另外的实施例中，所述分类器被配置为：在每次迭代中关联从所述分析单元输出的量度(例如，从所述排序单元输出的经排序的谱信号)，并且使用所关联的信号作为用于将所述感兴趣区域分类为生物的搏动区域或非搏动区域的描述符。例如，在所关联的经排序的谱信号中，所述峰值部分和平坦部分是交替的，其中，所述交替中的序列与来自非搏动区域的时变信号相比较对于来自搏动区域的时变信号是相反的。因此，能够基于这样的所关联的经排序的谱信号来做出非常可靠的分类。
此外，在实施例中，所述提取单元被配置为对每图像帧的所述图像数据的像素组的图像数据值进行组合、特别是平均，以从所述组合的图像数据值获得所述时变信号。因此，可以取得在像素组上的平均(组合)，并且所关联的平均值的时间演变可以被认为是1D时间信号。这改善了分类的可靠性。基本上，以(例如，皮肤-地图的)分辨率的损失换得所述分类的经改善的可靠性，因为所述平均增加了脉搏与噪声之间的差异(通过使所述时变信号更少噪声)。
所述提取单元还可以被配置为对波长处或波长范围中每图像帧的所述图像数据的像素组的图像数据值进行组合、特别是平均，以从所述组合的图像数据值获得所述时变信号。更进一步地，所述提取单元可以被配置为每像素或像素组并且每图像帧地组合至少两个不同的波长信道的图像数据值作为加权平均，以从所述组合的图像数据值获得所述时变信号。因此，可以取每波长(或者颜色)的像素组上的平均，并且所关联的平均值的时间演变可以每波长地关联以获得所述1D时间信号。由此，所述提取单元可以被配置为使用基于标准化的血容量脉搏向量签名的方法(即，PBV方法)、基于色度的方法(即，CHROM方法)、盲源分离方法(即，BSS方法)、主分量分析(PCA)或者独立分量分析(ICA)来计算权重。
通常，PPG信号，作为示范性时变信号，起因于皮肤中的血容量的变化。因此，当在反射/透射光的不同谱分量中查看时，所述变化给出特性搏动性“签名”。该签名基本上导致血液的吸收谱与不流血的皮肤组织的吸收谱的对比度(差异)。如果所述检测器、例如相机或传感器具有各自感测光谱的特定部分的离散数目的颜色通道，那么这些通道中的相对脉搏性能够以“签名向量”(还被称为“标准化血容量向量”)PBV来布置。在通过引用并入本文的G.de Haan和A.van Leest在Physiol.Meas.35 1913，2014年的“Improved motionrobustness of remote-PPG by using the blood volume pulse signature”一文中已经示出了，如果该签名向量已知，那么在所述颜色通道和所述签名向量的基础上的运动鲁棒脉搏信号提取是可能的。对于所述脉搏信号的质量而言，尽管所述签名是正确的，但是其是基本的，因为否则所述已知方法将噪声混合到输出脉搏信号中，以便实现所述脉搏向量与如由所述签名向量所指示的标准化颜色通道的规定的相关性。
在US 2013/271591A1中已经描述了Pbv方法的细节以及所述标准化血容量向量(被称为“预定索引的元素具有指示参考生理信息的设定取向”)的使用，其细节还通过引用并入本文。
所述分类器还可以被配置为确定所述感兴趣区域是生物的搏动区域(例如，皮肤区域)、即所述分类器不仅发出所述感兴趣区域是否是皮肤区域的二进制判定)的可能性，而且还确定所述感兴趣区域是皮肤区域的可能性。
所述分类器可以从受监督的学习(例如，AdaBoost、SVM等)获得，将经变换的信号的样本作为输入(例如，分级的、标准化的频率分组)并且输出识别图像分段是活人组织或搏动区域的可能性的信号(硬(二进制)标签或回归值)。此外，所述分类器可以使用包括具有不同幅度、噪声水平和脉搏率频频带中的频率的正弦波的1D时间信号的数据集进行训练以表示包含呼吸率频频带中的活人组织和/或频率的分段，以及表示不包含搏动性、例如指示活人组织的分段的噪声信号。
所述设备还可以包括用于对所述图像数据的图像帧进行分割的分割单元，其中，所述提取单元被配置为从两个或更多个图像帧分段提取时变信号以用于分离的后续处理。在所述时变信号由来自反射光的BCG引起或者从运动向量场获得的情况下，不同分段中的搏动时变(子)信号的极性能够在输出周期性信号中将其组合之前进行评价。有利地，组合具有相同极性的(子)信号。如在
Figure BDA0001757914230000121
等人的前述文章中所示的，BCG信号可以同相或反相地发生，这取决于阴影。该概念还能够被应用于运动场导出的时变信号，例如，指示呼吸运动，其中，运动方向还可以逐位置地变化。
本发明优选在通过使用远程PPG技术进行生命体征采集的上下文中使用。出于该目的，所述成像单元优选被配置为随时间采集所述场景的图像的序列，并且所述设备还可以包括生命体征检测器，所述生命体征检测器用于基于来自指示图像的所述序列内的呼吸运动的所检测到的一个或多个皮肤区域的图像信息来检测所述场景内的对象的生命体征。因此，对搏动区域的所提出的检测可以一次或连续地被用于在生命体征的采集期间检测和/或跟踪搏动区域，诸如皮肤区域。
附图说明
本发明的这些和其他方面将从在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得以阐述。在以下附图中：
图1示出了根据本发明的系统的第一实施例的示意图，
图2示出了根据本发明的设备的第一实施例的示意图，
图3A和图3B示出了图示来自针对不同生物的皮肤区域和非皮肤区域的示范性时变信号的示图，
图4A、图4B和图4C示出了根据本发明的实施例的图示方法的各步骤处的示范性信号的示图，
图5示出了图示第一分析方法的示图，
图6示出了图示第二分析方法的示图，
图7示出了图示第三分析方法的示图，
图8示出了根据本发明的设备的第二实施例的示意图，
图9示出了根据第二实施例的图示与处理有关的描述符的示图，并且
图10A和图10B示出了根据本发明的第三实施例的图示与处理有关的描述符的示图。
具体实施方式
图1示出了根据本发明的系统10的示意图，系统10包括用于搏动性检测、特别是用于皮肤检测的设备12。系统10和设备12优选可以被用在用于从包括对象的图像帧的时间序列的图像数据中检测对象14的生命体征的设备和方法中。躺在例如医院或其他健康护理设施中的床16上的对象14(在该范例中为患者)，但是也可以是例如躺在保育箱中的新生儿或未成年婴儿，或者在家或在不同环境中的人，诸如做运动的运动员。
成像单元18可以包括相机(还被称为检测单元或者基于相机的或远程PPG传感器)，其用于采集场景的图像数据(还被称为RGB图像，其应当被理解为可视和/或红外光的波长范围中的图像)，特别是用于随时间采集对象14的图像帧的序列，优选包括能够从其导出PPG信号的对象14的皮肤区域15。在用于获得对象14的生命体征的设备12的应用中，皮肤区域15优选是面部的区域，诸如脸颊或前额，但是也可以是具有可见皮肤表面的身体的另一区域，诸如手或手臂。另外地或备选地，对象14的呼吸运动可以被检测以例如从由被定位在覆盖层17下方的对象的部分所引起的细微呼吸运动来获得时变信号。更进一步地，BCG(心冲击描记)时变信号例如可以从头部的细微移动或者从表面动脉附近的皮肤的移动获得。在以下非限制性范例中，将对PPG信号进行参考作为时变信号。应当理解，教导将必要的修正应用到指示(准)周期性生理现象的其他类型的时变信号。
通过成像所捕获的图像帧可以特别对应于借助于例如在(数字)相机中的模拟或数字光传感器所捕获的视频序列。这样的相机通常包括光传感器阵列，诸如CMOS或CCD图像传感器，其还可以在特定谱范围(可见光，nIR)中操作，或者提供针对不同谱范围的信息，特别是使得能够提取PPG信号。所述相机可以提供模拟信号或数字信号。所述图像帧包括具有相关联的像素值的多个图像像素。具体地，所述图像帧包括表示利用光传感器的不同光敏元件所捕获的光强度值的像素。这些光敏元件可以在特定谱范围(即，表示特定颜色)内敏感。所述图像帧包括表示诸如人的皮肤的搏动区域的至少一些图像像素。由此，图像像素可以对应于光检测器的一个光敏元件以及其(模拟或数字)输出，或者可以基于多个光敏元件的组合(例如，通过分组)来确定。本公开还可以被应用于不同的成像模态，诸如MRI图像或CT图像。
当使用相机18时，系统10还可以任选地包括照明单元22(还被称为照明源或光源或电磁辐射器)，诸如灯或LED，其用于照射/辐射感兴趣区域24，诸如患者的脸(例如，脸颊或前额的部分)的皮肤，以及光，例如在一个或多个预定波长范围内(例如，在一个或多个红光、绿光和/或红外波长范围内)。响应于所述照明从所述感兴趣区域24反射的光由相机18来检测。在另一实施例中，未提供专用光源，但是环境光被用于对象14的照明。从反射光，可以检测和/或评价仅在期望的波长范围内的光(例如，绿光和红光或红外光，或者覆盖至少两个波长通道的足够大的波长范围内的光)。在使用热感相机的情况下，能够直接使用对人类身体的辐射。
在所示的实施例中的设备12还被连接到接口20，接口20用于显示所确定的信息和/或用于向医务人员提供改变以下项的设置的接口：设备12、相机18、照明单元22和/或系统10的任何其他参数。这样的接口20可以包括不同的显示器、按钮、触摸屏、键盘或者其他人机接口器件。
如在图1中所图示的系统10例如可以被定位在医院、健康护理设施、老年人护理设施等中。除了对患者的监测之外，本发明还可以被应用在其他领域中，诸如新生儿监测、一般监督应用、安全监测或者所谓的生活方式环境，诸如健身器械、可穿戴设备、如智能电话的手持式设备等。设备12、相机18与接口20之间的单向通信或双向通信可以经由无线或有线通信接口工作。本发明的其他实施例可以包括设备12，其未独立地提供，而是被集成到相机18或接口20中。
在以下非限制性范例中，搏动性检测将参考皮肤检测来描述，特别是基于归因于心跳的搏动性。基于诸如呼吸的其他生理过程，本公开的教导因此能够被应用于搏动性检测。
图2示出了根据本发明的设备12a的第一实施例的示意图，其可以被用作图1中所示的系统10中的设备12。为了导出对象14的一个或多个生命体征，在图像数据中应当找到对象的皮肤区域。出于该目的，所提出的设备12a包括用于获得场景的图像数据40的输入接口30，所述图像数据包括由成像单元18所采集的图像帧的时间序列。提取单元31从所述图像数据的感兴趣区域提取PPG信号41，其中，所述感兴趣区域可以是单个像素或像素组或者起因于一个或多个图像帧的分割的区域。变换单元32将所述PPG信号41变换成谱信号42。拆分单元33将谱信号拆分成至少覆盖所述谱信号的第一频率范围的频带内子信号43以及覆盖所述谱信号的第二频率范围的频带外子信号44，其中，所述第一频率范围包括至少一个生命体征参数的频率范围。分析单元34被配置为分离地从频带内子信号导出频带内量度并且从频带外子信号导出频带外量度，所述频带内量度和所述频带外量度表示描述符45。最后，分类器35基于所述描述符将所述感兴趣区域分类为生物的搏动区域或非搏动区域。所述分类器然后能够发出对应的分类结果46，分类结果46可以是二进制判定(例如，感兴趣区域是否是搏动区域(诸如皮肤区域)的指示)或者感兴趣区域是否是搏动区域的可能性。
单元30至34可以被配置为专用硬件元件，而且也可以被配置为处理器或计算机，其相应地被编程。设备12a可以被配置为例如在共同壳体中(例如，在成像单元18的共同壳体中)包括所有其元件和单元的集成设备或者被配置为分布式设备，如在图1中所示的，其中，所述元件和单元可以被分布为、即被实施为被布置在不同位置处的分离的元件和单元。
图3A和图3B示出了图示示范性时变信号的视图，所述时变信号在此为来自针对不同生物的皮肤区域和非皮肤区域的PPG信号41。具体地，图3A示出了来自第一对象(例如，成人)的脉搏信号41a以及来自第二对象(例如，新生儿)的脉搏信号41c。如能够看到的，来自不同对象的脉搏信号是不同的。此外，甚至来自单个对象的脉搏信号是时变的(例如，同相方面)。尽管脉搏通常具有清楚的周期性分量，但是可以存在幅度、相位以及甚至频率的变化(例如，心率变化性)，并且，通常地，所述信号还将经受传感器噪声并且可能由对象运动造成失真。图3B示出了来自第一对象(例如，成人)的噪声信号41b以及来自第二对象(例如，新生儿)的噪声信号41d。如能够看到的，噪声信号是不能够学习的不规则/不稳定的信号，同时脉搏信号还展示显著的变化性。因此，一个想法是将所获得的时变信号变换成允许监督学习的不同表示。
将脉搏和噪声认为是两个种类，所变换的表示(例如，描述符)应当优选消除时变信号的三个性质。所述描述符应当优选对于脉搏/噪声(即，在不同时刻处的脉搏)的相位改变不变。此外，所述描述符优选不应当取决于脉搏/噪声的幅度。更进一步地，所述描述符优选应当独立于脉搏/噪声中的变化的频率，即，不同的对象。进一步有利地，能够针对所述频带内子信号并且针对所述频带外子信号导出相同量度或相同类型的量度。由此，实施和计算复杂性可以被减少，其对于减少可穿戴设备的功耗也会是有利的。
给定以上要求，以下示范性第一方法能够被应用到时变PPG信号41，其通过使用示出根据第一实施例的图示方法的各种步骤处的示范性信号的示图的图4来图示。在第一步骤中，谱提升任选地能够由变换单元32应用于PPG信号41(为了图示说明，在图4A中示出了脉搏信号41a和噪声信号41b)。基于脉搏是周期性信号的有效假定，变换单元32将PPG信号41从时间域变换至频率域以用于分析，例如通过使用傅里叶变换(FT)。在图4B中所示的变换脉搏42a呈现了频率谱中的显著的峰值，而在图4B中所示的变换的噪声42b是未示出这样的图案的不规则信号。由此，傅里叶变换(或快速傅里叶变换；FFT)能够由离散余弦变换(DCT)、离散正弦变换(DST)、小波变换或哈尔变换等替换。
使用FT能够被写为：
Figure BDA0001757914230000171
其中，
Figure BDA0001757914230000172
是具有用于
Figure BDA0001757914230000173
傅里叶变换的长度L(例如，L＝64)的PPG信号；
Figure BDA0001757914230000174
表示FT运算。
Figure BDA0001757914230000175
的实部和虚部包含不同的相位信息，其能够仅使用幅度谱或功率谱消除。优选地，使用功率谱，因为其通常提升脉搏的频率峰值并且抑制噪声。由于
Figure BDA0001757914230000176
是具有半冗余度的镜像谱，因而其在导出功率谱之前分成被分半：
Figure BDA0001757914230000177
其中，conj(·)表示共轭；⊙表示逐元素乘机。在
Figure BDA0001757914230000178
中，相位信息消失，同时与噪声的频率峰值相比较，脉搏的频率峰值被提升，如在图4B中所示的。
在接下来的步骤中，任选可以由变换单元32执行谱标准化。该标准化使所述谱基本上分别独立于皮肤区域/非皮肤区域中的脉搏和噪声幅度。谱幅度仍然是
Figure BDA0001757914230000179
中的变型，其被标准化为：
Figure BDA00017579142300001710
其中，||·||p表示Lp范数。其是要么能够是L1范数要么能够是L2范数。标准偏差的标准化不是优选的，因为仅绝对能量信息应当被消除，但是变型应当保持在用于区分脉搏和噪声的谱内。在示范性实施例中，L2范数被使用，因为标准化的
Figure BDA00017579142300001711
独立于谱幅度，而其条目的相对能量分布保持如针对标准化谱脉搏信号42a'和标准化谱噪声信号42b'在图4C中所示的。
在接下来的步骤中，谱信号42a'由拆分单元33拆分成覆盖所述谱信号42a'的第一频率范围的频带内子信号43a以及覆盖所述谱信号42a'的第二频率范围的频带外子信号44a。在所示的范例中，拆分单元33被配置为对所述谱信号进行划分，使得所述频带内子信号覆盖所述谱信号的频率范围的下部并且使得所述频带外信号覆盖所述谱信号的频率范围的上部，例如分别为下半部和上半部。由此，第一频率范围包括至少一个生命体征参数的频率范围，诸如例如0.7Hz至4Hz的频率范围中的心率和/或例如0.2Hz至0.7Hz的频率范围中的呼吸率。类似地，对于所述谱信号42b'而言，其导致频带内子信号43b和频带外子信号44b。
因此，鉴于频率方差，
Figure BDA0001757914230000181
尚未直接被用于分类。然而，尽管不同的个体具有不同的心率，但是其脉搏频率几乎峰值化并且集中于在特定(较低)的频带中，即，[40，240]次心跳每分钟(bpm)或[0.7，4]Hz，而背景(非皮肤)信号通常是传播到高频频带中的白噪声。对此，
Figure BDA0001757914230000182
由拆分单元33划分，例如，分半为两半(还被称为子信号)，优选分半成下部和上部以接近“频带内”频率和“频带外”频率，其中，脉搏相关的特性在此被隐含地利用。
在接下来的步骤中，频带内量度和频带外量度由分析单元34分别从频带内子信号43和频带外子信号44分离地导出，所述频带内量度和所述频带外量度表示描述符45。在给定的范例中，分析单元34包括排序单元，所述排序单元被配置为分离地对所述频带内子信号43和所述频带外子信号44进行排序以获得经排序的频带内子信号作为频带内量度并且获得经排序的频带外子信号作为频带外量度。在该步骤中，由分析单元34的排序单元执行谱排序。
根据第一实施例，频率相关性能够被消除，因为经划分的谱被排序并且然后被关联为：
Figure BDA0001757914230000183
其中，sort(·)例如以幅度/能量的递减的次序对谱条目进行排序。在
Figure BDA0001757914230000184
中，脉搏和噪声中的频率方差被消除，但是其在下频频带和上频频带中的基本差异被保留，如在将经排序的谱脉搏信号示出为描述符45a并且将经排序的谱噪声信号示出为描述符45b的图5中所示的。因此，在该步骤中，分级(排序)流程基本上在频率分组上起作用来执行。
由此，频带内量度46a、46b和频带外量度47a、47b一起表示原始PPG信号41a、41b的描述符45a、45b，其然后被提供到分类器35，以将所述感兴趣区域分类为生物的搏动区域(在图4的上行中的脉搏信号)或者非搏动区域(在图4的下行中的噪声信号)。如从图5能够看到的，对于搏动性45a和噪声45b，经排序的幅度的下降是不同的。具体地，频带内量度46a、46b与频带外量度47a、47b之间的比较清楚地示出了在分类中利用的不同的特性。
所提出的方法与已知方法之间的重要差异在于，替代舍弃非搏动分量，所述频带外信号被用于经改进的信号处理。这在低光条件下是特别有利的。换言之，在本文中所提出的方案使用例如原始信号或更精确地脉搏和噪声或者频带内子信号和频带外子信号，其中，生命体征和非生命体征(例如，HR和非HR)分量被保留在频率谱中。由此，所述频带外信号能够被认为是参考。
相反，已知的方法倾向于例如借助于频带通滤波器舍弃频带外信号而将脉搏与噪声分离，而所提出的方法利用所述频带内子信号和所述频带外子信号两者以用于分类。在给定的范例中，在经排序的频带内谱和频带外谱中的所有条目因此可以被用于分类。作为频带内量度和频带外量度的经排序的谱实际上能够被认为是形状描述符。
基本上，根据该第一实施例，利用脉搏信号(在经分级的频率谱45a中)的能量比经分级的噪声谱45b的能量更快地下降的现象。利用使用这些分级的谱作为输入的经训练的分类器35，能够获得最佳判定。换言之，在上文所图示的第一实施例中，经排序的谱信号45a、45b由分类器35用于决定原始图像数据中的各自感兴趣区域是否是生物的搏动区域或非搏动区域。
在本文中所提出的方法还能够被看作假设测试。搏动性基本上隐含归因于心脏活动或呼吸造成的准周期性信号(诸如周期性脉搏信号)的存在。然而，在搏动性检测中，确定诸如心率的精确值不是强制的，相反相对于搏动性的存在或缺失的确定是感兴趣的。因此，待测试的基本假设是在期望的谱范围中(即，在由频带内信号覆盖的第一频率范围内)是否存在搏动性。由频带外子信号覆盖的第二频率范围(其与第一频率范围不同，特别是非重叠的)因此能够用作用于假设测试的参考。对于第二频率范围而言，相反的期望存在，亦即，没有搏动性存在。
换言之，噪声的特性在其中没有来自生命体征的显著贡献存在的谱的一部分中(通常高于针对生命体征的感兴趣频率范围)是能观察并且能测量的。谱(频带外)的该部分因此能够被用作用于估计其中搏动性可能存在的谱(频带内)的其他部分中的噪声贡献的参考。
图6示出了图示第二分析方法的示图。第一处理步骤可以对应于参考图4A和图4B所描述的步骤以及图4C的任选的标准化。第二方法还能够被称为统计学方法或者基于模型的统计学方法。在图4A中所示的PPG信号能够被认为是时间离散信号x，其中，信号x取决于指数k，其中，k＝1...K。在如图4B中所示的频率域中变换该信号，这产生谱表示X。信号X是频率f(或频率分组)的函数并且被表示为X(f)。所述频带内子信号中的频率由fi表示，所述频带外子信号中的那些频率由fo表示。在给定的范例中，假定PPG信号中的噪声(参见图4A)是独立地分布的高斯白噪声。信号的功率谱密度函数(PSDF)然后是具有两个自由度的Chi2分布。所述频带外子信号中的PSDF样本然后能够被用于估计分布的参数。这示范性地由针对所述频带外信号的平均值μ2和标准偏差σ2来指示。由此，如基于所述频带外子信号确定的分布能够用作频带外量度。备选地，平均值和/标准偏差能够用作频带外量度。
接下来，测试能够运行频带内子信号的样本中的哪一个样本可能遵循该分布，即，与频带外子信号相同的分布，以及哪些样本不是统计学离群值。具体地，正范围中的离群值(由在图6中的曲线46a上的箭头所指示的)将指示音调。例如，能够测试是否存在具有PSDFX(fh)的fh，使得概率p(X(fh))>T，其中，T是阈值(例如，T＝0.95)，然后检测搏动性。将理解到，能够对导致针对PSDF噪声部分的样本的其他分布的噪声信号做出其他假定，但是原理保持相同：离群值测试能够基于参数化分布在频带内(fh)中完成，其中，根据频带外子信号来估计参数。备选地，这样的统计学测试能够根据谱幅度而不是PSDF。
因此，如基于频带外子信号所确定的分布(或者指示其的参数)能够被用作频带外量度。相应地，如基于频带内子信号所确定的分布(或者指示其的参数)能够被用作频带内量度。这样的频带内量度和频带外量度表示然后由分类器所使用的描述符。
在图6中图示了作为频带内量度46a、46b和频带外量度47a、47b的示范性分布。如能够看到的，针对噪声信号(下图)的量度示出了良好的对应性，即，信号能够被分类为非搏动区域。另一方面，针对脉搏信号(上图)的量度示出了不同的分布，即，所述信号能够被分类为搏动区域。
在基本分布的不完整知识的情况下，另外的选项是恢复到距离方法。从频带外子信号，估计结果由平均值m(例如，均值或中值)以及X的范围r(例如，标准或四分位数范围)构成。接下来，HR频频带中的样本以与平均值(均值或者中值)μ的单位偏差除以范围(标准或四分位数范围)来表达：Z(fi)＝(X(fh)-μ)/r。由此，值Z基本上表达标准化的距离。超过预定阈值的值Z指示搏动性。针对Z的阈值化然后可以由用于搏动性检测的分类器使用。
已经识别了概率或距离超过阈值的频率fh，还能够检查，对于剩余的样本而言，这些剩余的样本多么好地符合如在频带外子信号中所描述的分布或距离量度，即，所述频带内量度和所述频带外量度对于这样的另外的样本多么相似。如果存在差异性，那么使用来自频带外子信号频频带的数据来识别搏动性可能是不可靠的。以这种方式，能够实施额外的验证步骤。
图7示出了图示另外的分析方法的示图。第一处理步骤可以对应于参考图4A和图4B所描述的步骤以及任选图4C的标准化。在范例中，分析单元34被配置为分离地确定所述频带内信号的谱平坦度作为所述频带内量度并且确定所述频带外信号的谱平坦度作为所述频带外量度。如在本文中所使用的谱平坦度能够被定义为如在Madhu于ElectronicsLetters、第45卷、第23期、2009年的“Note on measures for spectral flatness”一文中所描述的谱值或者其变型的算术平均值的几何平均值，其内容通过引用被并入本文。在脉搏信号的情况下，所述频带内子信号示出了不同的频率峰值(参见图4B)，并且因此，具有更低的谱平坦度作为在图7中的频带内量度46a。另一方面，所述频带外信号未示出这样的搏动峰值并且因此具有更高的谱平坦度作为图7中的频带外量度47a。另一方面，如在图7中的下图中所示的，在缺失搏动性的情况下，针对频带内量度46b和频带外量度47b的两个平坦度估计被假定为相似的。所述分类器因此能够容易地并且可靠地比较这些频带内量度和频带外量度以便将已经从其获得PPG信号41a、41b(参见图4A)的感兴趣区域分类为生物的搏动区域或非搏动区域。
备选地，还能够使用所导出的量度，诸如两个谱平坦度-量度的比。此外，附加数据，诸如全频频带上的谱平坦度，可以由分类器被用于进一步改善可靠性。可以应用额外的变换，诸如平坦度量度的对数缩放。
任选地，以上方法中的一种或多种方法例如能够使用对以下中的一项或多项的组合的训练的分类器来组合：(i)基于排序/分级的方法，(ii)来自参数化的统计学模型的一个/多个概率，(iii)一个或多个距离，以及(iv)谱平坦度量度。原始参数、变换的参数和/或导出的参数的任何组合可以被馈送到经相应地训练的分类器。
图8示出了根据本发明的一方面的设备12b的第二实施例的示意图。在该实施例中，控制单元36被提供用于控制所述变换单元32、所述拆分单元33和所述分析单元34以执行两次或更多次迭代。在所示的范例中，分析单元34包括排序单元并且从所述排序单元输出的经排序的谱信号45被用作用于下一次迭代中的变换单元32的输入PPG信号41'。因此，根据该实施例，可以执行多尺度迭代，如将在下文中解释的。
利用设备12a的第一实施例，给定输入PPG信号
Figure BDA0001757914230000221
获得了变换的信号
Figure BDA0001757914230000222
其中，脉搏和噪声具有自一致但是相互不同的解释。如果将针对脉搏和噪声的描述符进行比较，脉搏描述符具有显著性特征(例如，在第一位置处的峰值)，而噪声不具有显著性特征。为了获得更好的分类性能，来自不同种类的描述符要求大的类之间的变化，即，脉搏和噪声是容易地能区分的。这能够通过对流程(提升、标准化、排序)进行迭代来改善。现在，相对平坦的噪声谱转译为清楚的峰值，而峰值脉搏谱转译为相对平坦的结果。组合的两次迭代提供两个种类之间的反相位图案，其导致更容易的分离。
类似地，相同的变换在变换的信号上进一步迭代一次或多次。脉搏和噪声中的新生成的图案以相反的次序发生，即，“峰值-平坦-峰值”对“平坦-峰值-平坦”，如针对所获得的脉搏信号描述符45a'和噪声信号描述符45b'在图9中所示的。在所图示的范例中，关联五次迭代的经排序的谱信号。
以这种方式，较长的描述符X因此被创建从而以不同的尺度来采集/关联迭代地变换的信号：
Figure BDA0001757914230000223
其中，
Figure BDA0001757914230000224
是具有长度L/(2×i)的第i次迭代中的变换的信号。当迭代被完成时，完整的描述符可以进一步由L2范数来标准化。事实上，在多尺度迭代能够改进描述符的区分性的假设上建立提出的描述符。这样的假设已经以实验方式验证。
因此，对先前迭代的输出起作用的迭代优选在将信号的长度分半(特别是将谱信号拆分成频带内子信号和频带外子信号)之后开始。在这种情况下，所述迭代使谱的多尺度表示能用于分类器。具体地，由于在噪声频率分量中的相位的消除，第一迭代导致表示非组织的相对峰值信号。出于该原因，可以执行至少两次顺序的变换：FFT-删除相位-标准化-分级-FFT-删除相位-标准化-分级，其中，对于效率而言，第二变换可以对从第一迭代获得的半谱起作用。
此外，可以进一步改善脉搏表示与噪声表示之间的区分。在实施例中，能够使得变换的描述符(45a'、45b')中的平坦/峰值图案甚至更平坦/峰值化。等式(2)使用单个信号来导出功率谱。这可以通过使用两个时间上相邻的信号(在一个帧移动的情况下)来改善。其主要使噪声种类获益：两个噪声信号的共轭诱发功率谱的实部中的负条目。这是由于噪声信号中的高频分量，即，背景(非皮肤)信号几乎是白噪声并且因此在此被利用。与在图10A(和图5)中所示的原始噪声描述符45b相比较，减去谱中的最小负值能够在第一迭代中使得噪声描述符更平坦，如在示出由此所获得的噪声描述符45c的图10B中所示的。因此，在这样的实施例中，提升步骤可以通过使两个时间相邻的信号(在一个帧移动的情况下)共轭而不是单个信号来修改。
如上文所图示的，在优选实施例中，提出了忽视相位信息，但是取绝对谱或功率谱。
优选地，所述分级完成两次：频带内分级和频带外分级。频带内能够简单地是过采样的信号的下半部，并且频带外是上半部。然而，在更复杂的版本中，频带内可以被定义为最高频率峰值周围的窗口，例如，利用总分组数的一半，频带外然后由剩余的频率分组形成。
所述分类可以使用从监督的学习获得的分类器(例如，AdaBoost、SVM等)，将变换的信号的样本当作输入(例如，在没有相位信息的情况下分级的、标准化的频率分组)并且输出识别图像分段是活人组织与否的可能性的信号(硬(二进制)标签或回归值)。尽管监督的学习可以使用从皮肤表面和非皮肤表面获得的实际数据，但是良好的性能已经通过使用包括1D时间信号的数据集训练分类器来获得，包括具有不同的幅度、噪声水平以及脉搏率频频带中的频率的正弦波以表示包含活人组织的分段以及表示不包含活人组织的分段的噪声信号(零均值高斯、或一致的等)。
更进一步地，所提出的方法可以被应用于对从分割所获得的图像区域进行分类，其中，可能地运动跟踪可以被用于在连续的图像中随时间跟踪个体分段。
本发明优选被应用在用于人的生命体征的采集的rPPG的领域中。因此，由成像单元所获得的图像不仅被用于检测皮肤区域，如上文所解释的，而且从所检测到的(并且还优选通过使用本发明跟踪的)皮肤区域导出PPG信号，其被用于导出人的生命体征，诸如心跳、SpO2等。成像单元18至少在(一个或多个)波长或波长范围处敏感，其中，场景被照射(通过环境光和/或通过照明)，但是也可以对于其他波长敏感，具体地，如果被要求用于获得所期望的生命体征。
在本发明的另一实施例中，所提出的用于皮肤检测的分析能够与用于皮肤检测的另一方法、例如通常已知的对从皮肤区域反射的结构化的光的色度或时间搏动性的分析进行组合。所述方法可以包括另外的步骤并且可以被修改，如上文针对设备的各种实施例所解释的并且如在本文中所公开的。
所提出的设备和方法能够被用于PPG或运动相关的生命体征(例如，心跳、SpO2、呼吸)的连续的不引人注目的监测，并且能够被用在NICU、手术室或普通病房中。所提出的设备和方法还能够被用于人、例如血管健康监测。通常，本发明能够被用在其中搏动性需要在场景的图像中被检测并且特别是其中皮肤需要与非皮肤区分开的所有应用中。
尽管已经在附图和前述描述中详细图示和描述了本发明，但是这样的图示和描述将被认为是说明性或示范性而非限制性的；本发明不限于所公开的实施例。通过研究附图、说明书和随附的权利要求书，本领域技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中所记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/被分布在适合的非瞬态介质上，所述非瞬态介质诸如是连同其他硬件一起或者作为其一部分而供应的光学存储介质或固态介质，而且也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统。
权利要求中的任何附图标记都不应当被解释为对范围的限制。

Claims (16)

1.一种用于搏动性检测的设备，包括：
输入接口，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列，
提取单元，其用于从所述图像数据的感兴趣区域提取指示周期性生理现象的时变信号，
变换单元，其用于将所述时变信号变换成谱信号，
拆分单元，其用于将所述谱信号至少拆分成覆盖所述谱信号的第一频率范围的频带内子信号以及覆盖所述谱信号的第二频率范围的频带外子信号，其中，所述第一频率范围至少包括所述周期性生理现象的频率范围，
分析单元，其用于分别从所述频带内子信号导出频带内量度并且从所述频带外子信号导出频带外量度，所述频带内量度和所述频带外量度表示描述符，以及
分类器，其用于基于所述描述符将所述感兴趣区域分类为生物的搏动区域或非搏动区域。
2.根据权利要求1所述的设备，
其中，所述时变信号是以下中的一项：光体积描记(PPG)信号、指示所述周期性生理现象的运动信号、心冲击描记(BCG)信号。
3.根据权利要求1所述的设备，其中，所述设备是用于皮肤检测的设备，并且其中，所述分类器被配置为基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域。
4.根据权利要求1所述的设备，
其中，所述变换单元被配置为将所述时变信号变换成没有相位信息的谱信号。
5.根据权利要求4所述的设备，
其中，所述变换单元被配置为将所述时变信号变换成功率谱或绝对谱。
6.根据权利要求1所述的设备，
其中，所述分析单元包括排序单元，所述排序单元被配置为分别对所述频带内子信号和所述频带外子信号进行排序以获得经排序的频带内子信号作为所述频带内量度并且获得经排序的频带外子信号作为所述频带外量度。
7.根据权利要求1所述的设备，
其中，所述分析单元被配置为分别确定所述频带内信号的谱平坦度作为所述频带内量度并且确定所述频带外信号的谱平坦度作为所述频带外量度。
8.根据权利要求1所述的设备，
其中，所述分析单元被配置为分别基于所述频带内信号的频率分组的能量来确定所述频带内量度并且基于所述频带外信号的频率分组的能量来确定所述频带外量度。
9.根据权利要求1所述的设备，
其中，所述分析单元被配置为基于统计学离群值检测来分别确定所述频带内量度和所述频带外量度。
10.根据权利要求1所述的设备，
其中，所述频带外量度指示非搏动性，并且其中，所述分类器被配置为基于所述频带外量度与所述频带内量度的比较来将所述感兴趣区域分类为生物的搏动区域或非搏动区域。
11.根据权利要求1所述的设备，
其中，所述频带外量度指示非搏动性，并且其中，所述分类器被配置为基于所述频带外量度来确定用于将所述感兴趣区域分类为生物的搏动区域或非搏动区域的判定阈值。
12.根据权利要求1所述的设备，
其中，所述分类器还被配置为将所述感兴趣区域的所述分类的一致性度量确定为生物的搏动区域或非搏动区域。
13.根据权利要求1所述的设备，
其中，所述拆分单元被配置为对所述谱信号进行划分，使得所述频带内子信号覆盖所述谱信号的所述频率范围的下部分或者所述谱信号的最高频率峰值周围的所述频率范围的一部分。
14.一种用于搏动性检测的系统，包括：
成像单元，其用于采集场景的图像数据，以及
根据权利要求1所述的用于搏动性检测的设备，其中，所述搏动性检测是基于所采集的所述场景的图像数据来执行的。
15.一种用于搏动性检测的方法，包括：
获得场景的图像数据，所述图像数据包括图像帧的时间序列，
从所述图像数据的感兴趣区域提取指示周期性生理现象的时变信号，
将所述时变信号变换成谱信号，
将所述谱信号至少拆分成覆盖所述谱信号的第一频率范围的频带内子信号以及覆盖所述谱信号的第二频率范围的频带外子信号，其中，所述第一频率范围至少包括所述周期性生理现象的频率范围，
分别从所述频带内子信号导出频带内量度并且从所述频带外子信号导出频带外量度，所述频带内量度和所述频带外量度表示描述符，并且
基于所述描述符将所述感兴趣区域分类为生物的搏动区域或非搏动区域。
16.一种存储有计算机程序的计算机可读介质，所述计算机程序包括程序代码模块，所述程序代码模块用于当所述计算机程序在计算机上被执行时使所述计算机执行根据权利要求15所述的方法的步骤。
CN201780010385.1A 2016-02-08 2017-02-08 用于搏动性检测的设备、系统和方法 Active CN108604376B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16154665 2016-02-08
EP16154665.0 2016-02-08
PCT/EP2017/052700 WO2017137415A1 (en) 2016-02-08 2017-02-08 Device, system and method for pulsatility detection

Publications (2)

Publication Number Publication Date
CN108604376A CN108604376A (zh) 2018-09-28
CN108604376B true CN108604376B (zh) 2022-04-01

Family

ID=55359412

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780010379.6A Active CN108701357B (zh) 2016-02-08 2017-02-08 用于皮肤检测的设备、系统和方法
CN201780010385.1A Active CN108604376B (zh) 2016-02-08 2017-02-08 用于搏动性检测的设备、系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780010379.6A Active CN108701357B (zh) 2016-02-08 2017-02-08 用于皮肤检测的设备、系统和方法

Country Status (6)

Country Link
US (2) US20190050985A1 (zh)
EP (2) EP3414739B1 (zh)
JP (2) JP2019508116A (zh)
CN (2) CN108701357B (zh)
RU (1) RU2018132127A (zh)
WO (2) WO2017137415A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050985A1 (en) * 2016-02-08 2019-02-14 Koninklijke Philips N.V. Device, system and method for pulsatility detection
US10667723B2 (en) * 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
CA3054383C (en) * 2017-02-24 2023-07-11 Sunnybrook Research Institute Systems and methods for noise reduction in imaging
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
US11311202B2 (en) 2017-11-14 2022-04-26 Arizona Board Of Regents On Behalf Of Arizona State University Robust real-time heart rate monitoring method based on heartbeat harmonics using small-scale radar
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
US11547313B2 (en) * 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11564633B2 (en) * 2018-12-21 2023-01-31 Industrial Technology Research Institute State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system
CN109864740B (zh) * 2018-12-25 2022-02-01 北京津发科技股份有限公司 一种运动状态的表面肌电信号采集传感器和设备
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3698704A1 (en) * 2019-02-20 2020-08-26 Koninklijke Philips N.V. Device, system and method for determining physiological information
US11783483B2 (en) 2019-03-19 2023-10-10 Arizona Board Of Regents On Behalf Of Arizona State University Detecting abnormalities in vital signs of subjects of videos
US11771380B2 (en) 2019-03-19 2023-10-03 Arizona Board Of Regents On Behalf Of Arizona State University Vital sign monitoring system using an optical sensor
CN112037162B (zh) * 2019-05-17 2022-08-02 荣耀终端有限公司 一种面部痤疮的检测方法及设备
KR20200133112A (ko) * 2019-05-17 2020-11-26 삼성전자주식회사 생체 신호 측정 장치
CN112336318B (zh) * 2019-08-09 2022-02-18 复旦大学 一种自适应多模态融合的脉搏位置精确定位方法
CN110859615B (zh) * 2019-12-06 2020-07-31 电子科技大学 一种基于幅度排列的生理信号时间不可逆分析方法
CN111227795B (zh) * 2020-01-13 2022-07-22 天津众阳科技有限公司 一种人脸反射区颜色变化信息的提取方法
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US11359915B1 (en) * 2020-05-15 2022-06-14 Lockheed Martin Corporation Active optical compressive sensing
CN112017155B (zh) * 2020-07-13 2023-12-26 浙江华锐捷技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
CN112168171A (zh) * 2020-10-16 2021-01-05 北京中科心研科技有限公司 一种基于穿戴式脉搏信号的皮肤肤色检测方法及装置
CN112633093B (zh) * 2020-12-10 2024-04-16 中国人民解放军32181部队 一种装备状态检测方法及系统
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
EP4098183A1 (en) 2021-06-02 2022-12-07 Koninklijke Philips N.V. Blood pressure detection
SE545755C2 (en) * 2022-02-25 2024-01-02 Detectivio Ab Non-contact oxygen saturation estimation
CN115661131B (zh) * 2022-11-17 2023-03-10 菲特（天津）检测技术有限公司 一种图像识别方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5443073A (en) * 1991-09-12 1995-08-22 Drexel University System and method of impedance cardiography monitoring
CN101716069A (zh) * 2009-11-17 2010-06-02 中国科学院安徽光学精密机械研究所 人体氧化应激无创荧光检测装置与方法
CN103149177A (zh) * 2013-01-14 2013-06-12 天津先阳科技发展有限公司 压力调制近红外光谱实现生物组织检测的装置和方法
CN103251391A (zh) * 2012-02-21 2013-08-21 施乐公司 从源视频图像获得动脉脉搏传导时间
CN104434078A (zh) * 2013-09-13 2015-03-25 施乐公司 用时间序列信号确定基于视频的脉搏传导时间的系统和方法
WO2015086338A1 (en) * 2013-12-12 2015-06-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
WO2015107268A1 (en) * 2014-01-16 2015-07-23 Aboa Legis Oy Method and device for the detection of respiratory rate

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2165706A1 (zh) * 1971-11-23 1973-08-10 Commissariat Energie Atomique
DE102004002918B4 (de) * 2004-01-20 2016-11-10 Siemens Healthcare Gmbh Vorrichtung zur Untersuchung der Haut
US7446316B2 (en) * 2005-10-31 2008-11-04 Honeywell International Inc. Skin detection sensor
US8504146B2 (en) * 2007-06-29 2013-08-06 The Regents Of The University Of California Multi-channel myoelectrical control using single muscle
DE202010017895U1 (de) * 2009-03-06 2013-01-08 Koninklijke Philips Electronics N.V. System zur Verarbeitung von Bildern von mindestens einem Lebewesen
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US9124777B2 (en) 2011-01-05 2015-09-01 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
WO2012128614A1 (en) * 2011-03-24 2012-09-27 Erasmus University Medical Center Rotterdam Method to determine the absorption coefficient in turbid media
US10143377B2 (en) 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
US10452894B2 (en) * 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
RU2653799C2 (ru) * 2012-11-23 2018-05-14 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
CN104871212B (zh) * 2012-12-21 2018-11-09 皇家飞利浦有限公司 用于从远程检测到的电磁辐射提取生理信息的系统和方法
EP2967376B1 (en) * 2013-03-14 2023-02-15 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
US9907474B2 (en) * 2013-10-01 2018-03-06 Koninklijke Philips N.V. Signal selection for obtaining a remote photoplethysmographic waveform
US10045702B2 (en) * 2013-10-17 2018-08-14 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
US20150148632A1 (en) * 2013-11-26 2015-05-28 David Alan Benaron Calorie Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables
US9336594B2 (en) * 2014-03-07 2016-05-10 Xerox Corporation Cardiac pulse rate estimation from source video data
US10028669B2 (en) * 2014-04-02 2018-07-24 Massachusetts Institute Of Technology Methods and apparatus for physiological measurement using color band photoplethysmographic sensor
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
WO2016054079A1 (en) * 2014-09-29 2016-04-07 Zyomed Corp. Systems and methods for blood glucose and other analyte detection and measurement using collision computing
US10660533B2 (en) * 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US9770213B2 (en) * 2014-10-30 2017-09-26 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US9432133B2 (en) * 2015-02-03 2016-08-30 Keysight Technologies, Inc. Vector signal generator channel characterization employing orthogonal modulation
US10004427B1 (en) * 2015-08-04 2018-06-26 Verily Life Sciences Llc Methods, systems, and devices for determining a respiration rate
US20190050985A1 (en) * 2016-02-08 2019-02-14 Koninklijke Philips N.V. Device, system and method for pulsatility detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5443073A (en) * 1991-09-12 1995-08-22 Drexel University System and method of impedance cardiography monitoring
CN101716069A (zh) * 2009-11-17 2010-06-02 中国科学院安徽光学精密机械研究所 人体氧化应激无创荧光检测装置与方法
CN103251391A (zh) * 2012-02-21 2013-08-21 施乐公司 从源视频图像获得动脉脉搏传导时间
CN103149177A (zh) * 2013-01-14 2013-06-12 天津先阳科技发展有限公司 压力调制近红外光谱实现生物组织检测的装置和方法
CN104434078A (zh) * 2013-09-13 2015-03-25 施乐公司 用时间序列信号确定基于视频的脉搏传导时间的系统和方法
WO2015086338A1 (en) * 2013-12-12 2015-06-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
WO2015107268A1 (en) * 2014-01-16 2015-07-23 Aboa Legis Oy Method and device for the detection of respiratory rate

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROI analysis for remote photoplethysmography on facial video;Sungjun Kwon 等;《2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20150829;第4938-4941页 *

Also Published As

Publication number Publication date
EP3414739B1 (en) 2020-04-08
JP2019508116A (ja) 2019-03-28
RU2018132127A (ru) 2020-03-11
WO2017137435A1 (en) 2017-08-17
US20190057502A1 (en) 2019-02-21
WO2017137415A1 (en) 2017-08-17
EP3414738B1 (en) 2020-01-22
CN108604376A (zh) 2018-09-28
EP3414739A1 (en) 2018-12-19
JP2019510532A (ja) 2019-04-18
EP3414738A1 (en) 2018-12-19
JP6538287B2 (ja) 2019-07-03
CN108701357B (zh) 2022-08-02
US20190050985A1 (en) 2019-02-14
CN108701357A (zh) 2018-10-23
US10818010B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108604376B (zh) 用于搏动性检测的设备、系统和方法
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
CN105050492B (zh) 用于确定对象的生命体征的设备和方法
CN106999116B (zh) 用于皮肤检测的设备和方法
US20200178809A1 (en) Device, system and method for determining a physiological parameter of a subject
WO2014140978A1 (en) Device and method for obtaining vital sign information of a subject
US20230233091A1 (en) Systems and Methods for Measuring Vital Signs Using Multimodal Health Sensing Platforms
Mathew et al. Transform based bleeding detection technique for endoscopic images
EP3809950B1 (en) Device, system and method for image segmentation of an image of a scene including a subject
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
Suriani et al. Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Sinhal et al. Color intensity: a study of RPPG algorithm for heart rate estimation
Panigrahi et al. Video-based HR measurement using adaptive facial regions with multiple color spaces
Islam et al. Extracting heart rate variability: a summary of camera based Photoplethysmograph
Daqrouq et al. HEART RATE MEASUREMENT USING IMAGE RECOGNITION TECHNOLOGY.
Brieva et al. Contactless Video-Based Vital-Sign Measurement Methods: A Data-Driven Review
Brieva et al. Contactless Video-Based Vital-Sign Measurement Methods: A Data-Driven

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant