CN108701357B - 用于皮肤检测的设备、系统和方法 - Google Patents

用于皮肤检测的设备、系统和方法 Download PDF

Info

Publication number
CN108701357B
CN108701357B CN201780010379.6A CN201780010379A CN108701357B CN 108701357 B CN108701357 B CN 108701357B CN 201780010379 A CN201780010379 A CN 201780010379A CN 108701357 B CN108701357 B CN 108701357B
Authority
CN
China
Prior art keywords
signals
signal
spectral
image data
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010379.6A
Other languages
English (en)
Other versions
CN108701357A (zh
Inventor
王文锦
G·德哈恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108701357A publication Critical patent/CN108701357A/zh
Application granted granted Critical
Publication of CN108701357B publication Critical patent/CN108701357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

本发明涉及一种用于皮肤检测的设备、系统和方法。为了实现可靠、准确并且快速的检测，所提出的设备包括：输入接口(30)，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列；提取单元(31)，其用于从所述图像数据的感兴趣区域提取光体积描记(PPG)信号；变换单元(32)，其用于将所述PPG信号变换成谱信号；排序单元(33)，其用于对所述谱信号进行排序以获得表示描述符的经排序的谱信号；以及分类器(34)，其用于基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域。

Description

用于皮肤检测的设备、系统和方法
技术领域
本发明涉及用于皮肤检测的设备、系统和方法。
背景技术
人的生命体征，例如心率(HR)、呼吸率(RR)或动脉血氧饱和度(SpO2) 用作人的当前健康状态的指示器并且用作严重医学事件的强有力的预测器。出于该原因，在住院和门诊患者护理设施中、在家里或者在另外的健康、休闲和健身设施中广泛监测生命体征。
测量生命体征的一种方式是体积描记术。体积描记术通常指代对器官或身体部分的体积变化的测量，并且特别指代对由于随着每次心跳而行进通过对象的身体的心脏-脉管脉搏波造成的体积变化的检测。
光体积描记术(PPG)是评估感兴趣皮肤区域或体积的光反射或透射的时间变化改变的光学测量技术。PPG是基于血液比周边组织吸收更多光的原理，因此，随着每次心跳的血液体积的变化对应地影响透射或反射。除了关于心率的信息，PPG波形能够包括归因于诸如呼吸的另外的生理现象的信息。通过评估在不同波长(通常为红光和红外光)处的透射率和/或反射率，能够确定血氧(或其他血液气体/物质)饱和度。
最近，已经引入了非接触式、远程PPG(rPPG)设备(也被称为相机 rPPG设备)以用于不突兀的测量。远程PPG利用远离感兴趣对象而设置的光源，或者通常为辐射源。类似地，例如相机或光检测器的检测器能够远离感兴趣对象而设置。因此，远程光体积描记系统和设备被认为是不突兀的，并且也适合于医学以及非医学日常应用。该技术特别针对要求对诸如具有极端脆弱皮肤的新生儿重症监护病房(NICU)患者、早产婴儿或者具有大面积烧伤的患者进行生命体征监测的、具有极端皮肤敏感度的患者具有独特优点。
Verkruysse等人在Optics Express，16(26)，2008年12月22日，第21434-21445页上的“Remote plethysmographic imaging using ambient light”一文表明，能够使用环境光和常规消费级的视频相机，使用红色、绿色和蓝色通道来远程地测量光体积描记信号。
除了完全无接触的优点之外，相机(一般被称为成像设备)提供2D信息，其允许多斑点以及大面积测量，并且常常包含额外的背景信息。不像依赖于在特定测量点/区域上的正确放置的接触式传感器，用于使用rPPG 技术测量脉搏信号的区域是根据实际图像来确定的。因此，在任何照明状况下的可靠的对皮肤区域的准确检测在基于相机的rPPG设备和方法的处理链中是至关重要的部分。
目前，存在已知用于对皮肤区域的可靠检测和跟踪的两种主要的方案。
一种方案是基于皮肤颜色(基于RGB的)的检测和分割。根据该方案的方法在利用皮肤颜色对区域的检测和跟踪两者中是快速的。然而，其对于环境光的改变(其将改变从皮肤区域反射的光的颜色)是不鲁棒的，并且不能够在低照明状况下或者在黑暗中检测皮肤区域。此外，这样的方法不能够总是将皮肤与具有相同颜色的其他表面区分开。
另一种方案是基于所提取的PPG信号(基于PPG)的。根据该方案的方法在区分真实皮肤区域与相同皮肤颜色的其他对象的区域的过程中是更鲁棒的。该方法也能够被用于分割皮肤区域，这具有更强的PPG信号(最周期性的信号)。然而，所述方案的可靠性依赖于PPG信号提取的鲁棒性，因此，其受对象的运动以及血液灌注水平影响。因此，如果脉搏信号不是周期性的或微弱的，基于相机的系统将难以检测/分割皮肤区域。此外，所述方案在计算上是昂贵的。
应当注意，对皮肤区域的检测不仅在基于rPPG技术的生命体征检测的领域中、而且在其他技术领域中也是感兴趣的，例如在使用相机技术识别玩家的手势的远程游戏应用、面部检测、安全(使用监视相机对人的鲁棒检测，以及对佩戴面罩的人的检测，或者将真实面部与相机配准中的逼真面罩区分开)等中。
已经表明，在所采集的图像中的周期性颜色改变自身能够被用于在生物的皮肤与非皮肤之间进行区分。然而，特别是对于具有低光水平或者在黑暗中的应用，例如对于夜间患者监测，特别是在近红外(NIR)波长范围内，这些吸收变化的相对低的幅度仍然是有问题的，并且引起不能区别皮肤与非皮肤的实际尝试。
WO 2015/049150 A1涉及一种用于处理与对象的生命体征有关的输入信号的设备，所述设备包括：接口，其用于接收无创地检测到的输入信号；特征提取模块，其用于提取所述输入信号的至少一个特征，所述至少一个特征包括所述输入信号的瞬时频率和/或幅度表示；处理模块，其用于基于所提取的至少一个特征来确定针对所述输入信号的信号信息内容参数，所述信号信息内容参数指示被包括在所述输入信号中的关于对象的生命体征的信息；以及组合模块，其用于将基于多个输入信号的信号信息内容参数的多个输入信号组合成表征对象的生命体征的组合输出信号。D1还涉及对应的方法，并且涉及用于远程地监测对象的生命体征的监测系统。
US 2013/0296660 A1描述了一种用于远程地测量或监测对象中的一个或多个生理参数的方法和系统，诸如血液体积脉搏、心率、呼吸波或呼吸率。所述方法包括捕获对象的一系列图像，并且处理所述图像以获得感兴趣生理参数。这些方法能够被用于分析单通道信号，包括从主动夜视相机获得的信号。因此，这些方法能够被用于在日间和低光状况下测量或监测一个或多个生理参数。
发明内容
本发明的目的是提供允许对皮肤的可靠、准确并且快速的检测的设备和对应的方法以及系统，特别是在用于检测对象的生命体征的设备和方法中使用。
在本发明的第一方面中，提出了一种用于皮肤检测的设备，包括：
-输入接口，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列，
-提取单元，其用于从所述图像数据的感兴趣区域提取光体积描记 PPG信号，
-变换单元，其用于将所述PPG信号变换成谱信号，
-排序(sorting)单元，其用于对所述谱信号进行排序以获得表示描述符的经排序的谱信号，以及
-分类器，其用于基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域。
在本发明的另外的方面中，提出了一种对应的方法。
在本发明的又另外的方面中，提出了一种用于皮肤检测的系统，包括：
-成像单元，其用于采集场景的图像数据，以及
-如在本文中所公开的用于皮肤检测的设备，其基于所采集的所述场景的图像数据。
在本发明的又另外的方面中，提供了一种计算机程序以及一种非瞬态计算机可读记录介质，所述计算机程序包括程序代码模块，所述程序代码模块当所述计算机程序由计算机执行时使所述计算机执行如在本文中所公开的方法的步骤，所述非瞬态计算机可读记录介质在其中存储有计算机程序产品，所述计算机程序产品当由计算机运行时使在本文中所公开的方法被执行。
在从属权利要求中限定了本发明的优选实施例。应当理解，所要求保护的方法、系统、计算机程序和介质与所要求保护的设备以及在从属权利要求中所限定的具有相似和/或相同的优选实施例。
本发明是基于以下想法：在频域中将脉搏信号与噪声区分开，例如通过评估从场景的图像数据导出的经排序的频域信号中的能量的分布，所述场景潜在地包括生物的皮肤或者甚至整个生物或者示出皮肤区域和非皮肤区域的不同身体部分。特别已经发现，(在经排序的(或经分级的)频域表示中的)脉搏信号的能量比经排序的(或经分级的)噪声谱的能量更快地下降。利用优选例如使用这样的经分级的谱作为输入来相应地训练的分类器，能够做出图像数据中的特定感兴趣区域(ROI)、例如所述图像的图像帧的图像分段是否示出皮肤的可靠的判定。
由此，排序和分级应当被理解为同义词。其意指频率样本的次序被改变，使得其以减小或增加的幅度的次序出现，即，所述频率样本沿着频率方向被重新排序。
因此，通过从图像帧的3D时间序列充分提取1D时间信号(在本文中也被称为“PPG信号”)，将所述时间信号变换成经变换的信号并且对经变换的信号进行排序以获得描述符，并且基于所述描述符对图像帧的3D时间序列进行分类，所提出的设备、系统和方法能够确定图像帧(其中，特别是图像分段)的3D时间序列是否包含有生命的人类组织。
在此背景下应当注意，在从所述图像数据的ROI、例如从视频序列中的ROI提取PPG信号时，不知道所述ROI实际上是否示出皮肤。尽管不确定，但是ROI被处置，如同其包含皮肤，并且在如通常利用皮肤区域完成的该假设的情况下从ROI提取PPG信号。
对于变换，一般可以使用任何种类的频域变换，诸如FFT、DCT、小波变换、哈尔变换等。
根据实施例，所述变换单元被配置为将所述PPG信号变换成没有相位信息的谱信号，特别是变换成功率谱或绝对谱，即，以将复谱转换成实信号。傅里叶变换的输出是复(实部和虚部)信号。如果相位信息不是感兴趣的，则可以取复样本的范数(复平面中的向量的长度)，其常常被称为绝对谱或幅度谱。通过对这些数求平方，获得功率谱。这是有利的，因为期望在脉搏(其能够简单地由具有已知相位和频率的正弦进行建模，但是将在经排序的谱中总是表现为第一(数个)分组中的高幅度)与噪声(其能够被建模为随机(幅度和相位两者)信号，其将在(经排序的或未经排序的)谱中表现为具有相同幅度的宽频带)之间进行区别。这两个经排序的谱易于进行分类。
在另一实施例中，所述排序单元被配置为将所述谱信号划分成两个或更多个谱子信号，并且分别对所述子信号进行排序以获得表示所述描述符的经排序的谱子信号。已经发现，这些子信号甚至更好地允许区别例如脉搏信号与噪声，并且因此区别皮肤与非皮肤。
优选地，所述排序单元被配置为将所述谱信号划分成覆盖所述谱信号的第一频率范围的频带内(in-band)子信号以及覆盖所述谱信号的其余频率范围的频带外(out-band)子信号，并且分别对所述频带内子信号和所述频带外子信号进行排序以获得表示所述描述符的经排序的频带内子信号以及经排序的频带外子信号。由此，所述排序单元还可以被配置为对所述谱信号进行划分，使得所述带内子信号覆盖所述谱信号的频率范围的下部分或者所述谱信号的最高频率峰值周围的频率范围的部分。例如，所述频带内能够简单的是过采样的PPG信号的下半部，并且所述频带外能够简单地是相同过采样的PPG信号的上半部。在更复杂的版本中，所述频带内可以被定义为围绕最高频率峰值的窗口，例如具有总频率分组的一半，并且所述频带外然后由其余频率分组形成。用于分离频率分组的其他选择也是可能的，以定义更准确的频带内，例如，通过将可能的脉搏谱分量(例如，仅频率域中的20％最高峰值)选择为频带内并且将其余谱分量选择为频带外。
在另一实施例中，所述变换单元被配置为对所述谱信号进行标准化，使得所述谱的幅度或能量(取决于标准化的种类)对随后的评估没有影响。这使所述谱基本上分别独立于皮肤区域与非皮肤区域中的脉搏和噪声幅度。所述标准化例如可以通过除法L1-范数或L2-范数来实施。实际实施例可以包括针对所有频率将相位谱重置为恒定值，并且对幅度谱进行标准化以获得鲁棒的分类。
所述设备还可以包括控制单元，所述控制单元用于控制所述变换单元和所述排序单元执行两次或更多次迭代，其中，从所述排序单元输出的经排序的谱信号用作下一次迭代中针对所述变换单元的输入PPG信号。因此，所述迭代作用在先前迭代的输出上，优选在将信号的长度分半导致最后由分类器所使用的谱的多尺度表示之后。特别地，由于重置噪声频率分量的相位，第一迭代导致表示非组织的相对峰值化的信号。优选地，所述谱的长度在不同的迭代中被减小，即，所述变换在不同的尺度上被执行，导致多尺度表示，其中，更粗糙的谱(具有更少样本)仍然描述相同的信号，但是在更粗糙的尺度上。
已经发现，变换和排序的重复将(峰值化的)脉搏谱变换成平坦谱，而(相对平坦的)噪声谱被变换成峰值化的谱。在重复的变换中，所述相位信息、峰值的位置以及所述谱的幅度优选被忽略。所述排序确保峰值基本上在相同的位置处，从而改善所述分类。
在另外的实施例中，所述分类器被配置为对在每次迭代中从所述排序单元输出的经排序的谱信号进行关联，并且使用所关联的经排序的谱信号作为用于将所述感兴趣区域分类为生物的皮肤区域或非皮肤的描述符。在所关联的经排序的谱信号中，峰值化部分和平坦部分是交替的，其中，相比于来自非皮肤的信号，所述交替中的序列对于来自皮肤区域的PPG信号是相反的。因此，非常可靠的分类能够基于这样的所关联的经排序的谱信号来进行。
此外，在实施例中，所述提取单元被配置为对每图像帧的所述图像数据的像素组的图像数据值进行组合、特别是求平均，以从所组合的图像数据值获得所述PPG信号。因此，可以获取像素组内的平均值(组合)，并且所关联的平均值的时间演变可以被认为是1D时间信号。这改善了分类的可靠性。基本上，处置(皮肤-地图的)分辨率的损失以获得分类的经改善的可靠性，因为求平均增加了脉搏与噪声之间的差异(通过使脉搏信号更少噪声)。
所述提取单元还可以被配置为对在某一波长处或某一波长范围内的每图像帧的所述图像数据的像素组的图像数据值进行组合、特别是求平均，以从所组合的图像数据值获得所述PPG信号。更进一步的，所述提取单元可以被配置为每像素或像素组以及每图像帧地将至少两个不同波长通道的图像数据值组合成加权平均值，以从所组合的图像数据值获得所述PPG信号。因此，可以获取每波长(或颜色)的像素组内的平均值，并且所关联的平均值的时间演变可以每波长地进行关联以获得1D时间信号。由此，所述提取单元可以被配置为使用基于标准化的血液体积脉搏向量签名的方法 (即，Pbv方法)、基于色度的方法(即，CHROM方法)、盲源分离方法(即， BSS方法)、主分量分析(PCA)或独立分量分析(ICA)来计算权重。
一般而言，PPG信号由皮肤中的血液体积的变化产生。因此，所述变化给出了当在反射/透射光的不同谱分量中观察时的特性搏动性“签名”。该“签名”基本上结果为血液的吸收谱与少血液的皮肤组织的吸收谱的对比(差异)。如果检测器(例如，相机或传感器)具有离散数量的颜色通道，每个颜色通道感测光谱的特定部分，那么这些通道中的相对搏动性能够以“签名向量”的方式进行布置，也被称为“标准化的血液体积向量”Pbv。 G.de Haan和A.van Leest在Physiol.Meas.35 1913，2014年的“Improved motion robustness ofremote-PPG by using the blood volume pulse signature” (其以引用方式被并入本文)一文已经表明，如果该签名向量是已知的，那么基于颜色通道和签名向量的运动鲁棒的脉搏信号提取是可能的。对于脉搏信号的质量，签名正确是必不可少的，因为要不然已知的方法将噪声混合到输出脉搏信号中以便实现脉搏向量与如由签名向量所指示的标准化的颜色通道的规定的相关。
Pbv方法以及规范化的血液量向量(被称为“具有指示参考生理信息的设置取向的预定指数元素”)的使用的细节也已经在US 2013/271591 A1 中进行了描述，该细节也以引用方式被并入本文。
所述分类器还可以被配置为确定所述感兴趣区域是生物的皮肤区域的可能性，即，所述分类器不仅发出所述感兴趣区域是否是皮肤区域的二元判定，而且也发出所述感兴趣区域是皮肤区域的可能性。
所述分类器可以从监督式学习(例如，AdaBoost、SVM等)获得的分类器，获取经变换的信号的样本作为输入(例如，分级的、标准化的频率分组)并且输出识别图像分段是否是有生命的人类组织的可能性的信号(硬(二元)标签或回归值)。此外，所述分类器可以使用1D时间信号的数据集来进行训练，所述1D时间信号包括具有在脉搏率频带中具有不同幅度、噪声水平和频率的正弦以表示包含有生命的人类组织的分段以及表示不包含有生命的人类组织的噪声信号。
所述设备可以还包括分割单元，所述分割单元用于对所述图像数据的图像帧进行分割，其中，所述提取单元被配置为从两个或更多个图像帧分段提取PPG信号，以用于单独的随后的处理。
本发明优选在通过使用远程PPG技术进行生命体征采集的背景下使用。为此目的，所述成像单元优选被配置为随着时间采集场景的图像序列，并且所述设备还可以包括生命体征检测器，所述生命体征检测器用于基于来自所述图像序列内的检测到的皮肤区域的图像信息来检测场景内的对象的生命体征。因此，所提出的皮肤区域的检测可以是一次的或者在对生命体征的采集期间连续地用于检测和/或跟踪皮肤区域。
附图说明
本发明的这些和其他方面将参考下文所描述的(一个或多个)实施例变得显而易见并将参考下文所描述的(一个或多个)实施例得以阐述。在以下附图中：
图1示出了根据本发明的系统的第一实施例的示意图，
图2示出了根据本发明的设备的第一实施例的示意图，
图3A和图3B示出了图示来自针对不同生物的皮肤区域和非皮肤区域的示范性PPG信号，
图4A、图4B、图4C和图4D示出了图示根据本发明的实施例的方法的各个步骤处的示范性信号的示意图，
图5示出了根据本发明的设备的第二实施例的示意图，
图6示出了图示根据第二实施例的与处理有关的描述符的示意图，并且
图7A和图7B示出了图示根据第三实施例的与处理有关的描述符的示意图。
具体实施方式
图1示出了根据本发明的系统10的示意图，系统10包括用于皮肤检测的设备12。系统10和设备12优选可以被用在用于从包括对象的图像帧的时间序列的图像数据中检测对象14的生命体征的设备和方法中。对象14 (在该范例中为患者)例如在医院或其他健康护理设施中的床16上，但是也可以是例如躺在保育箱中的新生儿或早产儿，或者在家中或者在不同环境中的人，诸如进行体育运动的运动员。
成像单元18可以包括相机(也被称为检测单元，或者被称为基于相机的或远程PPG传感器)，所述相机用于采集场景的图像数据(也被称为RGB 图像，其应当被理解为在可见光和/或红外光的波长范围内的图像)，特别是用于随着时间采集对象14的图像帧的序列，优选包括能够从其导出PPG 信号的对象14的皮肤区域。在用于获得对象14的生命体征的设备12的应用中，皮肤区域优选是面部的区域，诸如脸颊或前额，而且也可以是具有可见皮肤表面的身体的另一区域，诸如手或手臂。
通过成像捕获的图像帧特别可以对应于借助于例如在(数字)相机中的模拟或数字光传感器所捕获的视频序列。这样的相机通常包括光传感器，诸如CMOS或CCD传感器，其也可以操作在特定的谱范围(可见光、nIR) 中或者提供针对不同谱范围的信息，特别是实现对PPG信号的提取。所述相机可以提供模拟信号或数字信号。所述图像帧包括具有相关联的像素值的多个图像像素。特别地，所述图像帧包括表示利用光传感器的不同光敏感元件所捕获的光强度值的像素。这些光敏感元件可以在特定谱范围(即，表示特定颜色)中敏感。所述图像帧包括表示人的皮肤部分的至少一些图像像素。由此，图像像素可以对应于光检测器的一个光敏感元件以及其(模拟或数字)输出，或者可以基于多个光敏感元件的组合(例如，通过分组) 来被确定。
当使用相机18时，系统10任选地还可以包括诸如灯或LED的照射单元22(也被称为照射源或光源或电磁辐射器)，其用于利用光，其例如在(一个或多个)预定波长范围中(例如，在红、绿和/或红外波长范围中)，来照射/辐照诸如患者的面部的皮肤(例如，面颊或前额的部分)的感兴趣区域24。由相机18来检测响应于所述照射从感兴趣区域24反射的光。在另一实施例中，不提供专用光源，而是环境光被用于对象14的照射。从反射光，仅在期望的波长范围中的光(例如，绿光和红光或红外光、或者在覆盖至少两个波长信道的足够大的波长范围内的光)可以被检测和/或评估。
设备12还被连接至接口20，接口20用于显示所确定的信息和/或用于向医务人员提供接口以改变设备12、相机18、照射单元22的设置和/或系统10的任何其他参数。这样的接口20可以包括不同的显示器、按钮、触摸屏、键盘或者其他人机接口模块。
如在图1中所图示的系统10例如可以被定位在医院、健康护理设施、老年护理设施等中。除了对患者的监测，本发明还可以被应用在其他领域中，诸如新生儿监测、一般监控应用、安全监测或者诸如健身器械的所谓的生活方式环境、可穿戴设备、如智能手机的手持式设备等。设备12、相机18与接口20之间的单向通信或双向通信可以经由无线或有线通信接口来工作。本发明的其他实施例可以包括不是独立提供的、而是被集成到相机18或接口20中的设备12。
图2示出了根据本发明的设备12a的第一实施例的示意图，所述设备 12a可以被用作在图1中所示的系统10中的设备12。为了导出对象14的一个或多个生命体征，必须在图像数据中找到对象的皮肤区域。为此目的，所提出的设备12a包括用于获得场景的图像数据40的输入接口30，所述图像数据包括由成像单元18所采集的图像帧的时间序列。提取单元31从所述图像数据的感兴趣区域提取PPG信号41，其中，所述感兴趣区域可以是来源于对一个或多个图像帧的分割的单个像素或像素组或区域。变换单元 32将所述PPG信号41变换为谱信号42。排序单元33对所述谱信号42进行排序以获得表示描述符的经排序的谱信号43。最后，分类器34基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域，并且发送对应的分类结果44，其可以是二元判定(例如，所述感兴趣区域是否是皮肤区域的指示)或者所述感兴趣区域是否是皮肤区域的可能性。
单元30至单元34可以被配置为专用硬件元件，而且也可以被配置为被相应地编程的处理器或计算机。设备12a可以被配置为将所有其元件和单元例如包括在共同外壳中(例如，在成像单元18的共同外壳中)的集成式设备、或者为如在图1中所示的、元件和单元可以被分布在其中的分布式设备，即被实施为被布置在不同位置处的单独的元件和单元。
图3A和图3B示出了图示来自不同生物的皮肤区域和非皮肤区域的示范性PPG信号的示意图。特别地，图3A示出了来自第一对象(例如，成人)的脉搏信号41a和来自第二对象(例如，新生儿)的脉搏信号41c。如能够看到的，来自不同对象的脉搏信号是不同的。此外，甚至来自单个对象的脉搏信号是时间变化的(例如，在相位方面)。尽管脉搏一般具有干净的周期性分量，但是可能存在幅度、相位以及甚至频率的变化(例如，心率变化性)，并且通常，所述信号也将遭受传感器噪声，并且可能由对象运动造成失真。图3B示出了来自第一对象(例如，成人)的噪声信号41b 以及来自第二对象(例如，新生儿)的噪声信号41d。如能够看到的，噪声信号是不能被学习的不规律/不稳定信号，而所述脉搏信号也表现出显著的变化性。因此，一种想法是将所获得的PPG信号变换为允许监督式学习的不同表示。
将脉搏和噪声考虑为两个种类，经变换的表示(例如，描述符)应当消除PPG信号中的三种性质。所述描述符应当对脉搏/噪声的相位改变(即不同时刻的脉搏)是不变的。此外，所述描述符不应当取决于脉搏/噪声的幅度。更进一步的，所述描述符应当独立于脉搏/噪声的不同频率，即不同的对象。
考虑到以上要求，以下示范性方法被应用于PPG信号，其通过使用示出图示根据本发明的方法的各步骤处的示范性信号的示意图的图 4A 、图 4B 、图 4C 和图 4D 来图示。在第一步骤中，谱提升通过变换单元32被应用于PPG信号(为了图示，在图4A中示出了脉搏信号41a和噪声信号41b)。基于脉搏是周期性信号的有效假设，变换单元32例如通过使用傅里叶变换(FT)将PPG信号从时域变换到频域以用于分析。在图4B中所示的经变换的脉搏42a表示频率谱中的显著峰值，而在图4B中所示的经变换的噪声42b是未示出这样的样式的不规律信号。由此，傅里叶变换(或快速傅里叶变换；FFT)能够由离散余弦变换(DCT)、离散正弦变换(DST)、小波变换或哈尔变换等来替代。
使用FT能够被写为：
Figure GDA0003406861730000121
其中，PPG信号具有用
Figure GDA0003406861730000122
于傅里叶变换的长度
Figure GDA0003406861730000128
(例如， L＝64)；
Figure GDA0003406861730000123
表示FT运算。
Figure GDA0003406861730000124
的实部和虚部包含不同的相位信息，其能够刚好通过使用幅度谱或功率谱来消除。优选地，使用功率谱，因为其一般提升脉搏的频率峰值并且抑制噪声。由于
Figure GDA0003406861730000129
是具有一半冗余的镜像谱，其在导出功率谱之前被分半：
Figure GDA0003406861730000125
其中，conj(·)表示共轭；⊙表示逐元素的乘积。在SL/2中，相位消息消失，而相比于噪声的频率峰值，脉搏的频率峰值被提升，如在图4B中所示的。
在接下来的步骤中，可以由变换单元32执行谱标准化。这种标准化使所述谱分别基本上独立于皮肤区域/非皮肤区域中的脉搏和噪声。谱幅度在 SL/2中仍然是变量，其被标准化为：
Figure GDA0003406861730000126
其中，||·||p表示Lp-范数。其能够是L1-范数或L2-范数。对标准偏差的标准化不是优选的，因为仅绝对能量信息应当被阐明，但是变化应当保持在谱内以区别脉搏与噪声。在示范性实施例中，使用L2-范数，因为其能够相对于总能量来抑制噪声。标准化的
Figure GDA0003406861730000127
独立于谱幅度，而其条目的相对能量分布被保持，如在图4C之后针对标准化的谱脉搏信号42a’和标准化的谱噪声信号42b’所示的。
在接下来的步骤中，由排序单元33执行谱排序。由于频率方差，SL/2还不能够用于分类。然而，尽管不同的个体具有不同的心率，但是其脉搏频率在特定(低)频带中达到最高峰并且最集中，即，[40，240]次跳动/每分 (bpm)，而背景(非皮肤)信号通常是蔓延到高频带内的白噪声。对此，
Figure GDA0003406861730000133
再次被划分，例如被分半成两半(也被称为子信号)，优选被分半成接近“频带内”和“频带外”频率的上部和下部，其中，脉搏相关的性质在此被暗含地利用。
为了消除频率依赖性，划分的谱被排序并且然后被关联为：
Figure GDA0003406861730000131
其中，sort(·)例如表示以幅度/能量的降序对谱条目进行排序。在
Figure GDA0003406861730000132
消除了脉搏和噪声中的频率方差，但是保留了下频带和上频带中的其本质区别，如在示出经排序的谱脉搏信号43a和经排序的谱噪声信号43b的图 4D中所示的。因此，在该步骤中，分级(排序)流程实质上作用在频率分组上执行。
在所提出的方法与已知的方法之间的本质区别在于：已知的方法仅使用单个值(例如，标准化的谱峰值)来分离脉搏与噪声，而所提出的方法利用经排序的谱中的所有条目用于分类，其事实上是形状描述符。实质上，根据所提出的方法，利用(在经分级的频率谱中的)脉搏信号的能量比经分级的噪声谱的能量更快地下降的现象。利用使用这些分级的谱作为输入的经训练的分类器，能够获得最佳的判定。换言之，在上文所图示的第一实施例中，经排序的谱信号43a、43b被分类器34用于决定原始图像数据中的相应感兴趣区域是生物的皮肤区域还是非皮肤区域。
图5示出了根据本发明的设备12b的第二实施例的示意图。在该实施例中，控制单元35被提供用于控制所述变换单元32和所述排序单元33执行两次或更多次迭代，其中，从所述排序单元33输出的经排序的谱信号43 用作下一次迭代中针对变换单元32的输入PPG信号41。因此，根据该实施例，可以执行多尺度迭代，如将在下文中所解释的。
在设备12a的第一实施例的情况下，考虑输入PPG信号
Figure GDA0003406861730000135
获得经变换的信号
Figure GDA0003406861730000134
其中，脉搏和噪声具有自统一的但是互相不同的解读。如果比较针对脉搏和噪声的描述符，脉搏-描述符具有显著特征(例如，在第一位置处的峰值)，而噪声没有。为了获得更好的分类性能，来自不同类别的描述符需要大的类别之间的方差，即，脉搏和噪声是能容易地区分的。这能够通过对流程(提升、标准化、排序)进行迭代来改善。现在，相对平坦的噪声谱转变为清楚的峰值，而峰值化的脉搏谱转变为相对平坦的结果。所组合的两次迭代提供了两个类别之间的反相位样式，这导致更容易的分开。
类似地，相同的变换对变换的信号进一步迭代一次或多次。脉搏和噪声中的新近生成的样式以相反的次序发生，即，“峰值-平坦-峰值”相对于“平坦-峰值-平坦”，如在图6中针对获得的脉搏信号描述符43a’和噪声信号描述符43b’所示的。在所图示的范例中，考虑了五次迭代的经排序的谱信号。
以这种方式，因此创建更长的描述符X以在不同的尺度下收集/关联经迭代变换的信号：
Figure GDA0003406861730000141
其中，
Figure GDA0003406861730000142
是具有长度L/(2×i)的在第i次迭代中的经变换的信号。当迭代完成时，完整描述符还可以通过L2-范数来标准化。事实上，所提出的描述符建立在多尺度迭代能够改善描述符的区别性的假设上。这样的假设已经以实验方式被验证。
因此，作用在先前迭代的输出上的迭代优选在将信号的长度分半之后开始。在这种情况下，所述迭代使迭代谱的多尺度表示能用于分类器。具体地，由于对噪声频率分量中的相位的消除，第一迭代导致表示非组织的相对峰值化的信号。出于该原因，可以执行至少两次顺序的变换：FFT-删除相位-标准化-分级-FFT-删除相位-标准化-分级，其中，对于效率而言，第二变换可以作用在从第一迭代获得的一半谱上。
此外，脉搏表示与噪声表示之间的区别性可以被进一步改善。在实施例中，能够使经变换的描述符(43a’、43b’)中的平坦/峰值化的样式更平坦/峰值化。公式(2)使用单个信号来导出功率谱。这可以通过使用(偏移一个帧的)两个时间上相邻的信号来改善。其主要有益于噪声种类：两个噪声信号的结合包括功率谱的实部中的负条目。这是由于噪声信号中的高频分量，即，背景(非皮肤)信号大多是白噪声，并且因此在此被利用。相比于在图7A(和图4D)中所示的原始噪声描述符43b，减去谱中的最小负值能够使噪声描述符在第一迭代中更平坦，如在示出由此获得的噪声描述符43c的图7B中所示的。因此，在这样的实施例中，提升步骤可以通过结合(偏移一个帧的)两个时间上相邻的信号而非单个信号来修改。
如上文所图示的，在优选实施例中，提出了忽略相位信息，但是获取绝对谱或功率谱。
优选地，分级被进行两次：频带内分级和频带外分级。频带内能够简单地是过采样的信号的下半部分，并且频带外是上半部分。然而，在更复杂的变体中，频带内可以被定义为围绕最高频率峰值的窗口，例如具有总分组数量的一半，频带外然后由其余频率分组形成。
所述分类可以使用从监督式学习(例如，AdaBoost、SVM等)获得的分类器，获取经变换的信号的样本作为输入(例如，没有相位信息的分级的、标准化的频率分组)并且输出识别图像分段是否是有生命的人类组织的可能性的信号(硬(二元)标签或回归值)。尽管监督式学习可以使用从皮肤表面和非皮肤表面获得的实际数据，但是良好的性能已经通过使用1D 时间信号的数据集训练分类器来获得，所述1D时间信号包括具有在脉搏率频带中具有不同幅度、噪声水平和频率的正弦以表示包含有生命的人类组织的分段以及表示不包含有生命的人类组织的噪声信号(零平均高斯或一致性等)。
更进一步地，所提出的方法可以被应用于对从分割中获得的图像区域进行分类，其中，可能地，运动跟踪可以被用于随着时间在相继的图像中跟踪个体分段。
本发明优选被应用在用于人的生命体征的采集的rPPG的领域中。因此，由成像单元所获得的图像不仅被用于如上文所解释的那样检测皮肤区域，而且从检测到的(并且优选跟踪的，同样通过本发明的使用)皮肤区域导出PPG信号，其被用于导出人的生命体征，诸如心跳、SpO2等。成像单元18在(一个或多个)波长或波长范围处至少是敏感的，其中，场景被照射(通过环境光和/或通过照明)，而且也可以对其他波长是敏感的，特别是在需要获得期望的生命体征的情况下。
在本发明的另一实施例中，所提出的用于皮肤检测的分析能够与用于皮肤检测的另一种方法进行组合，例如，如众所周知的从皮肤区域反射的结构化的光的色度或时间搏动性的分析。所述方法可以包括另外的步骤，并且可以如上文针对所述设备的各种实施例所解释的那样并且如在本文中所公开的那样进行修改。
所提出的设备和方法能够被用于对PPG相关的生命体征(例如，心跳、 SpO2、呼吸)的连续、不突兀的监测，并且能够在NICU、手术室或普通病室中使用。所提出的设备和方法也能够用于个人健康监测。一般而言，本发明能够被用在皮肤需要在场景的图像中被检测并且特别需要与非皮肤区别开的所有应用中。
尽管已经在附图和前述描述中详细图示并描述了本发明，但是这样的图示和描述应当被视为是说明性或示范性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容和从属权利要求，在实践所请求保护的本发明时，能够理解并实现所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行在权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储和/或分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的通信系统。
权利要求书中的任何附图标记都不应当被解释为对范围的限制。

Claims (16)

1.一种用于皮肤检测的设备，包括：
-输入接口(30)，其用于获得场景的图像数据，所述图像数据包括图像帧的时间序列，
-提取单元(31)，其用于从所述图像数据的感兴趣区域提取光体积描记PPG信号，
-变换单元(32)，其用于将所述PPG信号变换成谱信号，
-排序单元(33)，其用于对所述谱信号进行排序以获得表示描述符的经排序的谱信号，其中，所述排序单元(33)被配置为将所述谱信号划分成覆盖所述谱信号的第一频率范围的频带内子信号和覆盖所述谱信号的其余频率范围的频带外子信号，并且分别对所述频带内子信号和所述频带外子信号进行排序以获得表示所述描述符的经排序的频带内子信号和频带外子信号，以及
-分类器(34)，其用于基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域。
2.根据权利要求1所述的设备，
其中，所述变换单元(32)被配置为将所述PPG信号变换成没有相位信息的谱信号。
3.根据权利要求2所述的设备，
其中，所述变换单元(32)被配置为将所述PPG信号变换成功率谱或绝对谱。
4.根据权利要求1所述的设备，
其中，所述排序单元(33)被配置为：将所述谱信号划分成两个或更多个谱子信号，并且分别对所述子信号进行排序以获得表示所述描述符的经排序的谱子信号。
5.根据权利要求1所述的设备，
其中，所述排序单元(33)被配置为对所述谱信号进行划分，使得所述频带内子信号覆盖所述谱信号的频率范围的较低部分或者所述谱信号中围绕最高频率峰值的所述频率范围的部分。
6.根据权利要求1所述的设备，
其中，所述变换单元(32)被配置为对所述谱信号进行标准化。
7.根据权利要求1所述的设备，
还包括控制单元(35)，所述控制单元用于控制所述变换单元(32)和所述排序单元(33)执行两次或更多次迭代，其中，从所述排序单元(33)输出的经排序的谱信号被用作下一次迭代中针对所述变换单元(32)的输入PPG信号。
8.根据权利要求1所述的设备，
其中，所述分类器(34)被配置为：对在每次迭代中从所述排序单元(33)输出的经排序的谱信号进行关联，并且使用所关联的经排序的谱信号作为用于将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域的描述符。
9.根据权利要求1所述的设备，
其中，所述提取单元(31)被配置为对每图像帧的所述图像数据的像素组的图像数据值进行组合以从所组合的图像数据值获得所述PPG信号。
10.根据权利要求1所述的设备，
其中，所述提取单元(31)被配置为对某一波长处或某一波长范围内的每图像帧的所述图像数据的像素组的图像数据值进行组合以从所组合的图像数据值获得所述PPG信号。
11.根据权利要求9或10所述的设备，其中，所述组合包括求平均。
12.根据权利要求1所述的设备，
其中，所述提取单元(31)被配置为：每像素或每像素组并且每图像帧地将至少两个不同波长通道的图像数据值组合为加权平均值，以从所组合的图像数据值获得所述PPG信号。
13.根据权利要求12所述的设备，
其中，所述提取单元(31)被配置为使用基于标准化的血液体积脉搏向量签名的方法、基于色度的方法、盲源分离方法、主分量分析或独立分量分析来计算权重。
14.一种用于皮肤检测的系统，包括：
-成像单元(18)，其用于采集场景的图像数据，以及
-根据权利要求1所述的用于皮肤检测的设备，所述皮肤检测是基于所采集的所述场景的图像数据的。
15.一种用于皮肤检测的方法，包括：
-获得场景的图像数据，所述图像数据包括图像帧的时间序列，
-从所述图像数据的感兴趣区域提取光体积描记PPG信号，
-将所述PPG信号变换成谱信号，
-通过将所述谱信号划分成覆盖所述谱信号的第一频率范围的频带内子信号和覆盖所述谱信号的其余频率范围的频带外子信号，并且分别对所述频带内子信号和所述频带外子信号进行排序以获得表示描述符的经排序的频带内子信号和频带外子信号来对所述谱信号进行排序以获得表示所述描述符的经排序的谱信号，并且
-基于所述描述符将所述感兴趣区域分类为生物的皮肤区域或非皮肤区域。
16.一种计算机可读介质，其存储包括程序代码模块的计算机程序，所述程序代码模块用于当所述计算机程序由计算机执行时使所述计算机执行根据权利要求15所述的方法的步骤。
CN201780010379.6A 2016-02-08 2017-02-08 用于皮肤检测的设备、系统和方法 Active CN108701357B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16154665.0 2016-02-08
EP16154665 2016-02-08
PCT/EP2017/052748 WO2017137435A1 (en) 2016-02-08 2017-02-08 Device, system and method for skin detection

Publications (2)

Publication Number Publication Date
CN108701357A CN108701357A (zh) 2018-10-23
CN108701357B true CN108701357B (zh) 2022-08-02

Family

ID=55359412

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780010385.1A Active CN108604376B (zh) 2016-02-08 2017-02-08 用于搏动性检测的设备、系统和方法
CN201780010379.6A Active CN108701357B (zh) 2016-02-08 2017-02-08 用于皮肤检测的设备、系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780010385.1A Active CN108604376B (zh) 2016-02-08 2017-02-08 用于搏动性检测的设备、系统和方法

Country Status (6)

Country Link
US (2) US10818010B2 (zh)
EP (2) EP3414738B1 (zh)
JP (2) JP2019508116A (zh)
CN (2) CN108604376B (zh)
RU (1) RU2018132127A (zh)
WO (2) WO2017137415A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604376B (zh) * 2016-02-08 2022-04-01 皇家飞利浦有限公司 用于搏动性检测的设备、系统和方法
US10398353B2 (en) 2016-02-19 2019-09-03 Covidien Lp Systems and methods for video-based monitoring of vital signs
JP7138113B2 (ja) * 2017-02-24 2022-09-15 サニーブルック リサーチ インスティチュート イメージングにおけるノイズを削減するシステムおよび方法
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
US11311202B2 (en) 2017-11-14 2022-04-26 Arizona Board Of Regents On Behalf Of Arizona State University Robust real-time heart rate monitoring method based on heartbeat harmonics using small-scale radar
AU2018400475B2 (en) 2018-01-08 2024-03-07 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
WO2019240991A1 (en) 2018-06-15 2019-12-19 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11564633B2 (en) * 2018-12-21 2023-01-31 Industrial Technology Research Institute State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system
CN109864740B (zh) * 2018-12-25 2022-02-01 北京津发科技股份有限公司 一种运动状态的表面肌电信号采集传感器和设备
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3698704A1 (en) * 2019-02-20 2020-08-26 Koninklijke Philips N.V. Device, system and method for determining physiological information
US11771380B2 (en) 2019-03-19 2023-10-03 Arizona Board Of Regents On Behalf Of Arizona State University Vital sign monitoring system using an optical sensor
US11783483B2 (en) 2019-03-19 2023-10-10 Arizona Board Of Regents On Behalf Of Arizona State University Detecting abnormalities in vital signs of subjects of videos
CN112037162B (zh) * 2019-05-17 2022-08-02 荣耀终端有限公司 一种面部痤疮的检测方法及设备
KR20200133112A (ko) * 2019-05-17 2020-11-26 삼성전자주식회사 생체 신호 측정 장치
CN112336318B (zh) * 2019-08-09 2022-02-18 复旦大学 一种自适应多模态融合的脉搏位置精确定位方法
CN110859615B (zh) * 2019-12-06 2020-07-31 电子科技大学 一种基于幅度排列的生理信号时间不可逆分析方法
CN111227795B (zh) * 2020-01-13 2022-07-22 天津众阳科技有限公司 一种人脸反射区颜色变化信息的提取方法
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US11359915B1 (en) * 2020-05-15 2022-06-14 Lockheed Martin Corporation Active optical compressive sensing
CN112017155B (zh) * 2020-07-13 2023-12-26 浙江华锐捷技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
CN112168171A (zh) * 2020-10-16 2021-01-05 北京中科心研科技有限公司 一种基于穿戴式脉搏信号的皮肤肤色检测方法及装置
CN112633093B (zh) * 2020-12-10 2024-04-16 中国人民解放军32181部队 一种装备状态检测方法及系统
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
EP4098183A1 (en) 2021-06-02 2022-12-07 Koninklijke Philips N.V. Blood pressure detection
SE545755C2 (en) * 2022-02-25 2024-01-02 Detectivio Ab Non-contact oxygen saturation estimation
CN115661131B (zh) * 2022-11-17 2023-03-10 菲特（天津）检测技术有限公司 一种图像识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107268A1 (en) * 2014-01-16 2015-07-23 Aboa Legis Oy Method and device for the detection of respiratory rate
CN104871212A (zh) * 2012-12-21 2015-08-26 皇家飞利浦有限公司 用于从远程检测到的电磁辐射提取生理信息的系统和方法
US20150250391A1 (en) * 2014-03-07 2015-09-10 Xerox Corporation Cardiac pulse rate estimation from source video data
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2165706A1 (zh) * 1971-11-23 1973-08-10 Commissariat Energie Atomique
US5309917A (en) * 1991-09-12 1994-05-10 Drexel University System and method of impedance cardiography and heartbeat determination
DE102004002918B4 (de) * 2004-01-20 2016-11-10 Siemens Healthcare Gmbh Vorrichtung zur Untersuchung der Haut
US7446316B2 (en) * 2005-10-31 2008-11-04 Honeywell International Inc. Skin detection sensor
US8504146B2 (en) * 2007-06-29 2013-08-06 The Regents Of The University Of California Multi-channel myoelectrical control using single muscle
CN102341828B (zh) * 2009-03-06 2014-03-12 皇家飞利浦电子股份有限公司 处理至少一个活体的图像
CN101716069A (zh) * 2009-11-17 2010-06-02 中国科学院安徽光学精密机械研究所 人体氧化应激无创荧光检测装置与方法
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US9124777B2 (en) 2011-01-05 2015-09-01 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
WO2012128614A1 (en) * 2011-03-24 2012-09-27 Erasmus University Medical Center Rotterdam Method to determine the absorption coefficient in turbid media
US8838209B2 (en) * 2012-02-21 2014-09-16 Xerox Corporation Deriving arterial pulse transit time from a source video image
US10143377B2 (en) * 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
US10452894B2 (en) * 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
BR112015011573A2 (pt) * 2012-11-23 2017-07-11 Koninklijke Philips Nv dispositivo de monitoramento remoto, método de monitoramento remoto e programa de computador
CN103149177B (zh) * 2013-01-14 2014-12-17 天津先阳科技发展有限公司 压力调制近红外光谱实现生物组织检测的装置和方法
CN104434078A (zh) * 2013-09-13 2015-03-25 施乐公司 用时间序列信号确定基于视频的脉搏传导时间的系统和方法
CN105792734B (zh) 2013-10-01 2018-11-27 皇家飞利浦有限公司 用于获得远程光体积描记波形的改进的信号选择
WO2015055405A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
US20150148632A1 (en) * 2013-11-26 2015-05-28 David Alan Benaron Calorie Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables
EP3079586A1 (en) * 2013-12-12 2016-10-19 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
US10028669B2 (en) * 2014-04-02 2018-07-24 Massachusetts Institute Of Technology Methods and apparatus for physiological measurement using color band photoplethysmographic sensor
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
US9459201B2 (en) * 2014-09-29 2016-10-04 Zyomed Corp. Systems and methods for noninvasive blood glucose and other analyte detection and measurement using collision computing
US10660533B2 (en) * 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US9770213B2 (en) * 2014-10-30 2017-09-26 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US9432133B2 (en) * 2015-02-03 2016-08-30 Keysight Technologies, Inc. Vector signal generator channel characterization employing orthogonal modulation
US10004427B1 (en) * 2015-08-04 2018-06-26 Verily Life Sciences Llc Methods, systems, and devices for determining a respiration rate
CN108604376B (zh) * 2016-02-08 2022-04-01 皇家飞利浦有限公司 用于搏动性检测的设备、系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871212A (zh) * 2012-12-21 2015-08-26 皇家飞利浦有限公司 用于从远程检测到的电磁辐射提取生理信息的系统和方法
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
WO2015107268A1 (en) * 2014-01-16 2015-07-23 Aboa Legis Oy Method and device for the detection of respiratory rate
US20150250391A1 (en) * 2014-03-07 2015-09-10 Xerox Corporation Cardiac pulse rate estimation from source video data

Also Published As

Publication number Publication date
EP3414739A1 (en) 2018-12-19
CN108701357A (zh) 2018-10-23
US20190057502A1 (en) 2019-02-21
WO2017137415A1 (en) 2017-08-17
EP3414738A1 (en) 2018-12-19
EP3414738B1 (en) 2020-01-22
CN108604376B (zh) 2022-04-01
US20190050985A1 (en) 2019-02-14
WO2017137435A1 (en) 2017-08-17
JP2019510532A (ja) 2019-04-18
EP3414739B1 (en) 2020-04-08
JP6538287B2 (ja) 2019-07-03
JP2019508116A (ja) 2019-03-28
RU2018132127A (ru) 2020-03-11
CN108604376A (zh) 2018-09-28
US10818010B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108701357B (zh) 用于皮肤检测的设备、系统和方法
CN106999116B (zh) 用于皮肤检测的设备和方法
CN105636506B (zh) 用于远程光体积描记法的自动相机调节
US9907474B2 (en) Signal selection for obtaining a remote photoplethysmographic waveform
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
CN107205663A (zh) 用于皮肤检测的设备、系统和方法
EP3440991A1 (en) Device, system and method for determining a physiological parameter of a subject
WO2014140978A1 (en) Device and method for obtaining vital sign information of a subject
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
EP3809950B1 (en) Device, system and method for image segmentation of an image of a scene including a subject
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
KR102132959B1 (ko) 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템
Anusree et al. A noncontact vital sign monitoring algorithm using a camera
Brieva et al. Contactless Video-Based Vital-Sign Measurement Methods: A Data-Driven

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant