CN112292071A - 用于对包括对象的场景的图像的图像分割的设备、系统和方法 - Google Patents

用于对包括对象的场景的图像的图像分割的设备、系统和方法 Download PDF

Info

Publication number
CN112292071A
CN112292071A CN201980041311.3A CN201980041311A CN112292071A CN 112292071 A CN112292071 A CN 112292071A CN 201980041311 A CN201980041311 A CN 201980041311A CN 112292071 A CN112292071 A CN 112292071A
Authority
CN
China
Prior art keywords
polarization
image
unit
scene
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041311.3A
Other languages
English (en)
Inventor
G·德哈恩
王文锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112292071A publication Critical patent/CN112292071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及用于对包括对象的场景的图像的图像分割的设备、系统和方法。为了改善分割，所述设备包括：接收器(210)，其被配置为接收从包括对象的场景反射的电磁辐射；偏振单元(220)，其被配置为将第一偏振应用在所接收的电磁辐射上以生成第一偏振辐射并且将与所述第一偏振不同的第二偏振应用在所接收的电磁辐射上以生成第二偏振辐射；传感器单元(230)，其被配置为根据所述第一偏振辐射来生成第一图像并且根据所述第二偏振辐射来生成第二图像；以及分割单元(250)，其被配置为根据所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域。另外，提供了生命体征确定单元(240)，所述生命体征确定单元被配置为：选择表示所述对象的皮肤的区域，根据所选择的区域中的所述第一偏振辐射来生成具有第一偏振方向的第一检测信号并且根据所选择的区域中的所述第二偏振辐射来生成具有与所述第一偏振方向不同的第二偏振方向的第二检测信号，并且通过组合所述两个检测信号而根据所述两个检测信号来确定生命体征。

Description

用于对包括对象的场景的图像的图像分割的设备、系统和 方法
技术领域
本发明涉及用于对包括对象的场景的图像的图像分割的设备、系统和方法。本发明可以具体地用作用于确定对象的至少一个生命体征的初步步骤。
背景技术
人的生命体征(例如心率(HR)、呼吸率(RR)或(外周或脉动)血氧饱和度(SpO2；它提供动脉血氧饱和度SaO2的估计))用作人的当前状态的指标并且用作严重医学事件的有利预示。出于该原因，生命体征在住院患者和门诊患者护理环境中，在家或在进一步在健康、休闲和健身环境中广泛地被监测。
测量生命体征的一种方式是体积描记术。体积描记术通常涉及对器官或身体部分的体积改变的测量，并且尤其涉及对由于随每个心跳而通过对象的身体的心血管(或心肺)脉搏波的体积改变的探测。
光电体积描记术(PPG)是评估感兴趣区域或感兴趣体积的光反射率或透射的时变变化的光学测量技术。PPG基于这样的原理：血液与周围组织相比吸收更多光，因此血液体积随着每次心跳的变化对应地影响透射或反射率。除了关于脉搏率(心率)的信息之外，PPG波形(也称为PPG信号)能够包括可归因于诸如呼吸的另外的生理现象的信息。通过评估在不同波长(通常是红色或红外)处的透射率和/或反射率，能够确定血氧饱和度。
用于测量对象的脉搏率和(动脉)血氧饱和度的常规脉搏血氧仪(本文中也称为PPG设备)被附着到对象的皮肤，例如被附着到手指端部、耳垂或前额。因此，它们被称为“接触式”PPG设备。尽管接触式PPG基本上被视为无创技术，但是接触式PPG测量常常被体验为是不舒适和干扰的，这是由于脉搏血氧仪被直接附着到对象并且线缆限制移动的自由并且可能妨碍工作流程。
在过去的十年中，已经提出了用于非干扰测量的非接触式远程PPG(rPPG)设备(也称为基于相机的设备或视频健康监测设备)。远程PPG利用被设置在相距感兴趣对象的一距离处的光源，或一般而言，辐射源。类似地，探测器(例如相机或光子探测器)能够被设置在相距感兴趣对象的一距离处。因此，远程光电体积描记术系统和设备被视为非干扰的并且非常适于医学以及非医学日常应用。
使用PPG技术，生命体征可以被测量。生命体征由脉动的血液体积所引起的皮肤微小光吸收的变化而揭示，即通过由血液体积脉动引起的人类皮肤的颜色周期性变化而揭示。因为该信号非常小并且隐藏在由于照射改变和运动的大得多的变化中，所以存在对改进从根本上低的信噪比(SNR)的总体兴趣。还有针对剧烈运动、挑战性环境照射状况或严格准确性要求的需求情况，其中，需要远程生命体征测量设备及方法的改进的鲁棒性和准确度，特别是对于更关键的健康护理应用。
视频健康监测(为了监测或检测例如心率、呼吸率、SpO2、体动记录图、精神错乱等)是有前景的新兴领域。对于具有脆弱皮肤或需要长期生命体征监测的患者(诸如NICU患者、具有大范围烧伤的患者、移除接触式传感器的心理疾病患者、或在家中在睡眠期间必须被监测的COPD患者)，其固有的非干扰性具有独特的优点。在其他环境中，诸如在普通病房或急诊室中，非接触式监测的舒适性仍然是吸引人的特征。
皮肤检测具有一系列应用，并且通常涉及颜色分割的形式，或使用活体皮肤在心动周期内的特性颜色变化。对用于在患者监测中使用的rPPG测量的自动感兴趣区域(ROI)检测特别感兴趣。另一潜在的应用是在监控中可靠地区别真皮肤和假皮肤(例如面具)。考虑到当一些人能够成功地隐藏他/她的身份或假装是别人时涉及的安全性风险，该主题是特别相关的。
基于颜色的分割方法的问题是每当背景包含皮肤颜色的表面时它们就失败。这在谱的近红外部分中甚至是更常见的，其中皮肤反射非常类似于床上用品的反射。由于患者监测优选地在完全黑暗中工作，因此不能利用可见谱的反射差异。另一方面，如果患者遭受心脏病发作，则心脏诱发的颜色变化可能消失。因此，基于颜色变化的特征在监测过程的最关键事件期间丢失皮肤。
总而言之，存在对于即使在背景包含皮肤颜色的表面的情况下也导致更可靠分割的用于对包括对象的场景的图像的图像分割的改善的设备、系统和方法的需要。另外，存在对改善对象的至少一个生命体征的确定以获得具有更高可靠性的结果的需要。
US5,836,872公开了一种用于监测身体表面的区域的方法，其包括：在第一时间处记录包括该区域的表面的第一多谱数字图像，在后续的时间处记录包括该区域的表面的后续多谱数字图像，并且将第一图像和后续图像进行比较。而且，这种方法，其中第一图像和后续图像是高放大图像，并且还包括记录包括高放大图像的低放大图像。而且，用于形成色素性皮肤病灶的诊断上有用的分类的方法包括使用这种方法来构建包含来自从多个皮肤病灶记录的图像的定量提取的选定特征的数据库并且将来自数据库中的每个这种病灶的特征与从其记录图像的皮肤病灶的医学历史相关联。而且，用于前期黑素瘤或早期黑素瘤状况的诊断的方法包括使用该方法用于表征包括病灶的表面区域，并且将如此获得的病灶的特征与数据库中的从包括已知为前期黑素瘤或早期黑素瘤的病灶的多个皮肤病灶获得的特征进行比较，或者根据色素性皮肤病灶的诊断上有用的分类对病灶的特征进行分类。
发明内容
本发明的目的是提供一种对包括对象的场景的图像的图像分割的设备、系统和方法，通过其能够以更高的可靠性对期望的图像区域(例如皮肤区域)进行分割。
在本发明的第一方面中，呈现了一种设备，包括：
接收器，其被配置为接收从包括对象的场景反射的电磁辐射，
偏振单元，其被配置为将第一偏振应用在所接收的电磁辐射上以生成第一偏振辐射并且将与所述第一偏振不同的第二偏振应用在所接收的电磁辐射上以生成第二偏振辐射，
传感器单元，其被配置为根据所述第一偏振辐射来生成第一图像并且根据所述第二偏振辐射来生成第二图像，
分割单元，其被配置为根据所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域，以及
生命体征确定单元，其被配置为：选择表示所述对象的皮肤的区域，根据所选择的区域中的所述第一偏振辐射来生成具有第一偏振方向的第一检测信号并且根据所选择的区域中的所述第二偏振辐射来生成具有与所述第一偏振方向不同的第二偏振方向的第二检测信号，并且通过组合所述两个检测信号而根据所述两个检测信号来确定生命体征。
在本发明的又一方面中，呈现了一种系统，包括：
照射单元，其被配置为利用非偏振电磁辐射或利用偏振电磁辐射对包括对象的场景进行照射，以及
如本文中公开的设备，其用于对所照射的场景的图像的图像分割。
在本发明的又一方面中，提供了对应的方法。
在从属权利要求中限定了本发明的优选实施例。应当理解，请求保护的方法和系统与请求保护的设备(特别是如在从属权利要求中定义并且在本文中公开的)具有相似和/或相同的优选实施例。
本发明是基于以下构思：当从像皮肤的混浊介质反射时，偏振光被去偏振。去偏振的程度取决于各种参数，并且提供在同样颜色组织之间进行区别的另一特征。使用例如图像中的去偏振的局部程度的分割有助于解决健康和患者监测领域中的各种应用中的皮肤检测的问题。
优选地，包括对象的场景利用非偏振电磁辐射或利用偏振电磁辐射(例如线性、圆形或椭圆形偏振辐射)进行照射。在这种情况下，第一图像传感器前面的交叉偏振器能够显著地抑制镜面反射(DC和变化)，留下PPG信号和强度变化。配备有平行偏振器的其他传感器然后通过PPG信号、镜面和强度变化来调制。如果镜面反射变化不是最强失真，则强度变化伪影能够通过混合两个通道来抑制。如果镜面失真是最强的，则仅交叉偏振通道可以被使用，而一小部分的平行通道可以被减去以补偿偏振器的缺陷。另外，完全自动决定PPG信号的最佳分开的方法可以被使用。
在一实施例中，所述分割单元被配置为根据所述第一图像与所述第二图像的比率或差来识别所述场景中的不同材料的区域。这为分割提供了良好的结果。
在另一实施例中，所述传感器单元被配置为在单个波长通道或在两个或更多个不同波长通道中生成所述第一图像和所述第二图像。例如，在三个不同颜色通道中提供三个检测信号的单色传感器或RGB传感器(像常规图像传感器)或配备有过滤器阵列(例如Bayer过滤器)的传感器可以被应用。
使用多于一个波长通道可以改善分割。因此，在优选实施例中，所述传感器单元被配置为在两个或更多个不同波长通道中生成所述第一图像和所述第二图像，并且所述分割单元被配置为根据每个波长通道的所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域。在备选实施例中，所述传感器单元被配置为在两个或更多个不同波长通道中生成所述第一图像和所述第二图像，并且所述分割单元被配置为将相应的第一图像和第二图像的像素转换成具有所述两个或更多个不同波长通道的分量的向量，将所述向量归一化为单位长度，并且确定所述两个或更多个不同波长通道的所述向量之间的余弦角或内积以便识别所述场景中的不同材料的区域。
根据一实施例，所述偏振单元被配置为同时应用所述两个不同偏振，并且所述传感器单元被配置为同时生成所述两个检测信号。该实施例可以通过使用将到来的辐射拆分成具有不同偏振方向的辐射的输出部分的棱镜来实现。
备选地，所述偏振单元可以被配置为按时间顺序应用所述两个不同偏振，并且所述传感器单元可以被配置为按时间顺序生成所述两个检测信号。因此，所述偏振单元可以被配置为在时间上使所述偏振方向交替。该实施例可以通过使用能够改变偏振的偏振器(像电子可控偏振过滤器)来实现。
一般来说，偏振过滤器可以被用作偏振器。然而，为此目的，不仅透射过滤器能够被采用，而且反射器和/或反射镜(例如偏振反射镜)可以用来实现相同的效果。
良好的结果通过使用被配置为应用正交于第二偏振的第一偏振的偏振单元来使用。
在另一实施例中，偏振照射被使用。因此，所述偏振单元被配置为应用第一偏振和第二偏振，所述第一偏振平行于或相当于用于对所述对象的所述皮肤区域进行照射的偏振电磁辐射的所述偏振方向(即与用于对所述对象的所述皮肤区域进行照射的偏振电磁辐射的所述偏振方向相同；例如在圆形偏振的情况下)，所述第二偏振正交于或反向于(例如在圆形偏振的情况下)用于对所述对象的所述皮肤区域进行照射的所述偏振电磁辐射的所述偏振方向。
所述生命体征确定单元可以被配置为通过加权组合来线性地组合所述两个检测信号并且通过根据预定准则来选择经组合的检测信号的分量通道而根据所述两个检测信号来确定生命体征，其中，所述加权组合的权重通过盲信号分离来确定，具体地通过主成分分析或独立成分分析来确定。例如在WO2017/121834A1中描述了这样的盲信号分离方法。准则可以例如是在归一化的对应谱中具有最高峰值的信号、或具有对应谱的最大偏度的信号等。一般来说，检测信号可以是来自不同的波长通道，但是优选地来自相同的偏振。还能够使用多个波长和不同的偏振方向并且组合它们中的全部。
更进一步地，在另一实施例中，所述生命体征确定单元被配置为通过加权组合来线性地组合所述两个检测信号而根据所述两个检测信号来确定生命体征，所述加权组合使用得到与原始检测信号的积等于通过相应的特征向量表示的相对脉动性的脉搏信号的权重，特征向量提供所述两个原始检测信号中的所述检测信号的预期相对强度。
一般来说，PPG信号起因于皮肤中的血液体积的变化。因此，当在反射光/透射光的不同光谱分量中观察时，这些变化给出了特性脉动性“特征”。这种“特征”基本上是由于血液与无血液皮肤组织的吸收光谱的对比(差异)产生的。如果探测器(例如相机或传感器)具有离散数量的颜色通道，每个通道感测光谱的特定部分(其中部分可以(部分地)交叠并且感测“部分”不一定意味着该部分中的所有波长都同样地对输出有贡献)，则可以将这些通道中的相对脉动性布置在“特征向量”(也称为“归一化的血液体积向量”PBV)中。其在以下文章中示出：G.de Haan and A.van Leest,“Improved motion robustness of remote-PPG by using the blood volume pulse signature”(Physiol.Meas.35 1913,2014)，通过引用将其并入本文，即，如果该特征向量是已知的，则基于颜色通道(或从这些颜色通道导出的信号)和特征向量的运动鲁棒的脉搏信号提取是可能的。对于脉搏信号的质量，尽管特征向量是准确的，这也是必要的，因为否则，已知方法将噪声混合到输出脉搏信号中，以便实现脉搏向量与由特征向量所指示的归一化的颜色通道的规定的相关性。
PBV方法的细节和归一化的血液体积向量的使用(称为“指示参考生理信息的具有设定取向的预定索引元素”)也已经在US2013/271591A1中进行了描述，其详细内容也通过引用并入本文。
当血液成分变化时，PPG信号的特性波长依赖性会发生变化。尤其是，动脉血的氧饱和度对620nm和780nm之间的波长范围内的光吸收有强烈影响。针对不同SpO2值的这种变化的特征导致取决于动脉血氧饱和度的相对PPG脉动性。这种依赖性可以用于实现一种运动鲁棒的远程SpO2监测系统，所述系统已被称为自适应PBV方法(APBV)，并在以下文章中进行了详细描述：M.van Gastel,S.Stuijk和G.de Haan,“New principle for measuringarterial blood oxygenation,enabling motion-robust remote monitoring”(NatureScientific Reports，2016年11月)。该文章中对APBV方法的细节的描述也通过引用并入本文。
当反映不同波长通道中的相对脉动性的PBV向量准确时，PBV方法给出最干净的脉搏信号。由于该向量取决于实际的SpO2值，则利用对应于一系列SpO2值的不同PBV向量来测试PBV方法，SpO2值结果为对应于给出具有最高SNR的脉搏信号的PBV向量的一个。
提出的设备的接收器可以以不同的方式被具体地配置为优选地依据应用的种类和系统配置而接收在不同波长处的检测信号。一般来说，检测信号选自300nm和1000nm之间的波长间隔，具体地表示对应于红色、绿色和蓝色光的波长部分。这尤其当PPG信号从由(例如常规)视频相机采集的图像信号获得时和当上面提到的远程PPG的准则用于导出一个或多个生命体征时被使用。在其他实施例中，红外光也可以额外地或代替另一颜色通道被使用。例如，对于夜间应用，一个或多个红外波长可以额外地或备选地被使用。
接收器可以被配置为光学元件，例如成像单元(诸如光学传感器、相机(例如视频相机、RGB相机或网络摄像头))的透镜。
优选地，照射单元被配置为利用非偏振电磁辐射或利用在从300nm至1000nm的波长范围内的偏振电磁辐射对对象的皮肤区域进行照射。
根据一实施例，照射单元被配置为利用具有在从300nm至1000nm的波长范围内的中心波长的线性偏振电磁辐射对对象的皮肤区域进行照射。
在一实施例中，所发射的电磁辐射的能量分散在围绕所述中心波长的波长间隔中，其中，所述传感器单元包括两个传感器元件，被配置为生成具有平行于偏振电磁辐射的偏振方向的偏振方向的一个或两个第一检测子信号的第一传感器元件和被配置为生成具有正交于偏振电磁辐射的偏振方向的偏振方向的一个或两个第二检测子信号的第二传感器元件，其中，第一检测子信号表示至少部分地在所述中心波长之下的所述波长间隔的第一波长子间隔中的电磁辐射，并且第二检测子信号表示至少部分地在所述中心波长之上的所述波长间隔的第二波长子间隔中的电磁辐射，并且其中，所述生命体征确定单元被配置为通过组合检测子信号而根据检测子信号来确定生命体征。
根据备选实施例，照射单元被配置为利用非偏振电磁辐射或利用在从300nm至1000nm的波长范围内的偏振电磁辐射对对象的皮肤区域进行照射，其中，所发射的电磁辐射的能量分散在围绕所述中心波长的波长间隔中，其中，所述传感器单元包括四个传感器元件，其中，第一传感器元件和第二传感器元件被配置为生成具有平行于偏振电磁辐射的偏振方向的偏振方向的一个或两个第一检测子信号，并且第三传感器元件和第四传感器元件被配置为生成具有正交于偏振电磁辐射的偏振方向的偏振方向的一个或两个第二检测子信号的第二传感器元件，其中，第一检测子信号和第二检测子信号中的一个表示至少部分地在所述中心波长之下的所述波长间隔的第一波长子间隔中的电磁辐射，并且第三检测子信号和第四检测子信号中的另一个表示至少部分地在所述中心波长之上的所述波长间隔的第二波长子间隔中的电磁辐射，并且其中，所述生命体征确定单元被配置为通过组合检测子信号而根据检测子信号来确定生命体征。
第一波长子间隔和第二波长子间隔一般是不同的。例如，第一波长子间隔在所述中心波长之下，并且所述波长间隔的第二波长子间隔在所述中心波长之上。然而，两个波长子间隔也可以交叠。
提出的系统可以还包括被配置为输出生命体征的输出单元。输出单元可以例如是用户接口，像显示器、计算机或扬声器。更进一步地，提出的系统可以包括被配置为基于生命体征来生成用于控制警报单元的警报控制信号并且输出所生成的警报控制信号的控制单元，所述警报单元被配置为发出警报。
附图说明
本发明的这些和其他方面将从下文描述的(一个或多个)实施例变得显而易见并参考下文描述的(一个或多个)实施例得以阐述。在以下附图中：
图1示出了根据本发明的系统的实施例的示意图；
图2示出了根据本发明的设备的第一实施例的示意图；
图3示出了根据本发明的设备的第二实施例的示意图；并且
图4A-4E示出了图示通过使用平行偏振图像与交叉偏振图像的比率的分割的场景的图像。
具体实施方式
图1示出了根据本发明的系统100的实施例的示意图。系统100包括接收从对象120的皮肤区域反射的电磁辐射的成像单元110。系统100还包括用于对包括对象的场景的图像的图像分割并且可选地用于根据所接收的电磁辐射来确定对象的至少一个生命体征的设备130。对象120(在该范例中，患者)躺在例如医院或其他健康护理设施中的床125上，但是也可以是例如躺在保育箱中的新生儿或早产儿、或在家中或在不同环境中的人。
系统100可以还包括用于利用非偏振电磁辐射或利用偏振电磁辐射(光)对场景进行照射的光源140(也被称为照射单元)，诸如灯泡。所述场景包括感兴趣区域，诸如患者的面部(例如脸颊或前额的部分)的皮肤和其他非皮肤区域(诸如床的部分、患者的衣服等)。所发射的辐射可以是在一个或多个预定波长范围内(例如在(一个或多个)红色、绿色和/或红外波长范围内)的光。辐射可以利用具有预定偏振方向的预定(例如线性、圆形或椭圆形)偏振而被偏振，但是可以备选地是非偏振的。
响应于所述照射而从所述感兴趣区域142反射的光被接收器(例如成像单元110(例如相机)的透镜或在传感器前面的其他光学器件)接收。在另一实施例中，不提供专门的光源，而是环境光用于对对象120的照射。从反射光，可以检测和/或评估仅在多个期望波长范围内的光(例如绿色和红色或红外光，或在覆盖至少两个波长通道的足够大的波长范围内的光)。
设备130可以还被连接到接口150，接口用于显示所确定的信息和/或用于为医学人员提供改变设备130、成像单元110、光源140和/或系统100的任何其他参数的设置的接口。这样的接口150可以包括不同的显示器、按钮、触摸屏、键盘或其他人机接口器件。
如图1中图示的系统100可以例如位于医院、健康护理设施、老年人护理设施等中。除了患者的监测，本发明还可以应用于其他领域中，诸如新生儿监测、一般监控应用、安全监视或所谓的休闲环境(诸如健身器材)、可穿戴设备、手持设备(像智能手机)等等。设备130与接口150之间的单向或双向通信可以经由无线或有线通信通道工作。本发明的其他实施例可以包括成像单元，所述成像单元包括设备130的一部分或全部，该设备不被独立地提供，而是被集成到成像单元110(诸如相机)内。
通常，用于脉搏、呼吸和血氧饱和度测量的电磁辐射在400nm至1000nm的范围内，特别是在620nm至920nm的范围内。该特定范围最适合于SpO2测量，并且对于睡眠(黑暗)期间的非干扰监测很有吸引力，但是如果需要脉搏或呼吸信号，则谱的可见部分可以允许更高的质量(即NIR不一定在所有情况下都是优选的选项)。探测信号可以由光电传感器(阵列)和/或使用远程地感测对象的皮肤的视频相机来采集。
图2示出了根据本发明的用于对包括对象的场景的图像的图像分割并且在该实施例中用于确定对象的至少一个生命体征的设备200的第一实施例的示意图。设备200可以被集成到成像单元110(例如相机)内，或可以被部分地成像单元110内或与成像单元组合，并且部分地通过设备130(例如处理器或计算机)来实现。应当注意，设备200优选地在根据透射通过对象的皮肤区域或从对象的皮肤区域反射的电磁辐射来确定生命体征(rPPG)的背景下使用，但是用于图像分割的设备200的其他应用是在图像应当被分割的一般图像处理的领域中(例如在来自监控相机的图像的图像处理中(例如以区别皮肤与非皮肤或皮肤仿制品))。
设备200包括被配置为接收从对象的皮肤区域反射的电磁辐射的接收器210。接收器210可以是光学元件，诸如接收辐射(具体地在期望波长范围内的光)的相机的透镜。响应于照射而从感兴趣区域121反射的光被接收器210接收。
在另一实施例中，不提供专门的光源，而是环境光用于对对象120的照射。从反射光，可以检测和/或评估仅在多个期望波长范围内的光(例如绿色和红色或红外光，或在覆盖至少两个波长通道的足够大的波长范围内的光)。
设备200还包括偏振单元220，偏振单元被配置为将第一偏振应用在所接收的电磁辐射上以生成第一偏振辐射并且将与第一偏振不同的第二偏振应用在所接收的电磁辐射上以生成第二偏振辐射。偏振单元220可以例如包括棱镜或(一个或多个)偏振过滤器。第一偏振可以是平行偏振，并且第二偏振可以是正交于平行偏振的交叉偏振。然而，其他偏振方向和偏振的关系一般是可能的。
设备200还包括传感器单元230，传感器单元被配置为根据第一偏振辐射来生成第一图像并且根据第二偏振辐射来生成第二图像。传感器单元可以包括两个单独的传感器元件，每个传感器元件生成两种图像中的一种。传感器单元(或每个传感器元件)可以包括被配置为对不同地偏振的辐射进行过滤以获得两个或更多个波长通道中的图像的过滤器单元。
设备200还包括分割单元250，分割单元被配置为根据第一图像和第二图像的组合来识别场景中的不同材料的区域。
设备200因此可以用于对图像的分割。分割的结果可以在各种应用中使用，或可以被直接发出，例如被显示在(可选的)屏幕260上。在一个实施例中，设备200可以用于涉及确定一个或多个生命体征的应用。在这样的应用中，设备200可以还包括被配置为确定生命体征的(可选的)生命体征确定单元240，或另一设备是使用分割的结果。将在下面更详细地解释分割和生命体征确定。
分割单元250可以被包括在数字或模拟处理器或计算机中，和/或可以完全或部分地以软件方式被实施并且在计算机上被执行。一些或所有所需的功能也可以以硬件方式(例如以专用集成电路(ASIC)方式或以现场可编程门阵列(FPGA)方式)被实施。在一实施例中，分割单元250可以是系统100的设备130的一部分。在另一实施例中，分割单元250被集成到成像单元110内。对可选的生命体征确定单元240也是如此。
为了确定生命体征，本发明可以利用从皮肤反射的光具有两个分量的观察：表面反射分量和源自于半透明皮肤组织中的表面下方的散射过程的分量。表面反射经历单个散射事件，保留入射光的偏振。散射光经历多次反射，引起入射光去偏振。去偏振的量能够被表示为：
Figure BDA0002845455810000121
其中，Ip和Ic是平行(下标p)和垂直(下标c)于入射光偏振的反射光的强度。合理的是假设光的原始偏振在生物灌注组织中消失，但是如果部分偏振仍然存在，本发明也工作。
仅散射分量实际上通过发生在组织内部的血液体积变化来调制，而表面(或镜面)反射分量保持不被调制。因此，脉动性调制信号能够通过使用所确定的偏振的光对对象进行照射而与非调制信号分离。换言之，在偏振光的情况下，只有当在相机前面使用正交(交叉)偏振器时，散射反射才变得可见。在相机前面具有平行取向的偏振器的情况下，表面反射在图像中占主导地位。
对于远程PPG，由于散射分量包含关于血液体积的变化的信息，仅散射光可以被认为提取PPG信号。由于已经穿透到皮肤中的反射光子已经在皮肤内部被反射多次，所以它们已经失去其初始偏振方向。这与保持入射光的偏振的镜面反射光形成对比。通过使用偏振照射，成像传感器前面的交叉偏振器抑制镜面反射光。由于镜面(表面)反射通常不是期望的，具有平行偏振器的传感器因此到目前为止还未被使用。
在实施例中，提出了同时或按时间顺序利用不同的偏振器(例如利用镜面(平行偏振)和散射(交叉偏振)光两者)进行成像。得到的通道(不同的偏振)导致想要的PPG信号和运动伪影的不同混合，其能够被组合以提取运动鲁棒的PPG信号。
系统的实施例使用时间顺序的去偏振设置，其中，该系统包括一个相机和一个照射单元，并且其中，偏振方向在时间上被改变，即在不同的时间处不同的偏振方向被应用。在备选实施例中，类似的效果能够通过双相机设置来同时实现，其中一个相机具有与照射单元平行的偏振方向，而另一个相机具有交叉偏振方向。
图3示出了根据本发明的设备300的第二实施例的示意图。偏振照射(偏振光)(由照射单元140；参见图1)发射到包括对象的一个或多个皮肤区域以及例如背景、衣服等的非皮肤区域的场景。从皮肤反射的光301由接收元件310(例如光学透镜)接收。所接收的光302被引导到光学元件320，例如偏振单元，其将交叉偏振光束303和平行偏振光束304分离并且将它们投影在单独的传感器330、340(例如一起形成传感器单元)上，每个可选地包括具有对辐射谱的部分的不同敏感性的传感器元件，以检测不同的波长通道。备选地，传感器330、340都可以具有对辐射谱的相同敏感性。在示范性实施例中，传感器330、340都配备有像素化(Bayer)过滤器，以针对每个偏振方向并行地采集不同的波长通道。然而，各种备选方案存在。
在该实施例中，偏振单元320(例如棱镜或偏振过滤器)一般被配置为将第一偏振应用在所接收的电磁辐射302上以生成第一偏振辐射303并且将与第一偏振不同的第二偏振或非偏振应用在所接收的电磁辐射302上以生成第二偏振或非偏振辐射304。另外，包括传感器330、340的传感器单元一般被配置为根据第一偏振辐射303来导出至少一幅第一图像305，并且根据第二偏振或非偏振辐射304来导出一幅第二图像306。
在另外的实施例中，提供了每个传感器330、340导出两个或三个不同的波长通道中的两幅或三幅图像，和/或光束303、304被进一步分离，单独的波长选择性过滤器在到单独的传感器的每个路径中被使用。
因此，在设备的实施例中，偏振光源用来对包括具有可见皮肤表面的对象的场景进行照射。成像传感器正在通过在与光源的偏振方向相比的平行取向和正交(交叉)取向之间切换偏振方向(例如使用液晶材料)的偏振器观察场景。如果成本是不太关心的，则两个单独的传感器能够用来同时采集交叉通道和平行通道，如图3中示出的。两幅相继的图像现在通过不同的偏振器观察相同的场景(除了在时间顺序采集的情况下可以存在的很少运动)。取决于各种表面的去偏振特性，交叉通道和平行通道中的反射的相对强度将会不同。在纯镜面反射的情况下，交叉偏振图像将示出完全黑暗的表面，而平行通道将示出明亮的区域。在完全去偏振的情况下，平行偏振通道和交叉偏振通道将示出相同的亮度。
因此，有助于分类不同材料的特征能够使用两个偏振通道来建立。特征的简单范例是两幅图像的比率或其差。因此，对于不同的材料，即使它们具有相同的全反射(亮度、颜色)，这样的特征也有助于将图像分割成像素的类似(材料)组。
图4A-4E图示了这种基本情况。具体地，图示了基于在彩色图像的仅红色通道上计算的单个交叉-平行比率特征的分割。场景包含人脸、玩偶脸和躯干。图4A示出了在平行偏振器之后感测到的图像。图4B示出了对应的红色通道图像。图4C示出了在交叉偏振器之后感测到的图像。图4D示出了对应的红色通道图像。图4E示出了红色通道中的交叉-平行比率图像。
尽管在这种情况下分割似乎是容易的，但是因为面部比类似皮肤的物体更暗，所以应当记住特征对亮度是盲的，因为它在比率方面被消除。最好的情况是足以用于图示，但是一般来说，单个波长可能不足以可靠地在皮肤与非皮肤之间进行区分，并且使用两个或更多个(例如三个)颜色通道，更好的结果是可能的。
去偏振的程度可以还取决于所使用的波长。因此，设备的有利实施使用多波长图像传感器。例如，RGB-可见光视频相机可以用来收集针对三个波长通道(红色、绿色和蓝色)的平行偏振图像和交叉偏振图像。像素被转换为具有分量R、G和B的向量，并且针对两个偏振通道被归一化为单位长度。现在，从两个偏振通道获取的向量之间的余弦角(内积)可以用作分割图像的特征(在这种情况下，唯一特征)，如图4中示出的。即使类似皮肤的物体(躯干和玩偶脸)出现在图像中，对象的面部皮肤也能够被清楚地分割。
多波长方法对皮肤检测可以是非常有吸引力的，特别是使用NIR(近红外)波长。对于患者监测，在皮肤与纺织品(床上用品)之间进行区别是远程光电体积描记术中的关键要素。具有三个通道(760nm、800nm和900nm)和对应偏振器(优选地对于NIR波长范围)的NIR相机可以用来显著改善分割。
在所有以上情况下，盲源分离(BSS)技术(像主成分分析(PCA)或独立成分分析(ICA))可以用来提取独立的信号，如例如在上面引用的G.de Haan和A.van Leest的文章“Improved motion robustness of remote-PPG by using the blood volume pulsesignature”中描述的。PCA需要不同分量的相对能量是显著不同的，但通常是比ICA更简单且更鲁棒，然而后者能够处理混合中的具有相同能量的独立信号。无论哪种BSS方法正在被使用，两个独立信号都从两个传感器信号获得。为了选择PPG信号，常见策略是找到最具周期性的一个。为了决定此，通常对信号的延时进行傅里叶变换，并且选择是基于该变换，例如通过选择其谱具有最低熵的信号、或具有最高偏度的谱、或在归一化谱之后具有最高频率峰值的谱。
另一优选选项是使用如例如在上面引用的G.de Haan和A.van Leest的文章“Improved motion robustness of remote-PPG by using the blood volume pulsesignature”中描述的PBV方法来找到运动鲁棒的PPG信号。为了在这种情况下描述程序，在时间窗中来自两个传感器的归一化的信号被写作向量Cp和Cc，其被组合成矩阵，Cn＝[Cp，Cc]，并且提取的脉搏(PPG)信号被写作S，其是两个传感器信号的加权和：
S＝W Cn
PBV-方法使用关于两个相机通道中的脉搏的相对强度的先验知识获得混合系数。在我们的情况下，我们预期脉搏在两个通道中是同样强的，即Pbv＝[1，1]，假设两个通道通过交叉偏振通道的DC值被归一化。如果两个偏振通道的带通过滤版本被使用，则最好的结果被获得。
根据该方法，已知的Pbv向量用来在脉搏信号与失真之间进行区别。考虑到交叉通道和偏振通道中的脉搏信号的相对幅度由Pbv给出，搜索给出脉搏信号S的权重WPBV，对于其，与两个偏振通道Cp和Cc的相关性等于Pbv
Figure BDA0002845455810000151
并且因此，确定混合的权重通过以下公式来确定
Figure BDA0002845455810000161
其中
Figure BDA0002845455810000162
并且能够确定标量k，使得WPBV具有单位长度(或具有另一固定长度)。
换言之，权重指示检测信号应当如何被(线性地)组合以便从检测信号提取脉搏信号。权重是未知的，并且需要被计算/选择。
特征向量(PBV向量)表示由血液的吸收谱和光到皮肤内的穿透(如果光子被血液更多吸收，则血液的体积变化导致比当血液几乎透明时更大的信号)的不同波长通道(即检测信号)中的给定的(已知的或预期的)相对脉动性。利用这种知识和观察到的数据(即检测信号)，权重(例如权重向量)能够被确定。得到的权重是数据依赖的，即依赖于检测信号。
由于脉搏信号在每个波长通道中具有不同的比率AC/DC(这也被称为相对信号强度/脉动性)，能够看出谱示出了具有针对不同颜色的不同峰值的谱中的脉搏峰。该谱是傅里叶分析的结果，但是它基本上意味着如果具有脉搏频率的正弦曲线与检测信号(在范例中，RGB，对于SpO2，NIR波长)相关(相乘)，则精确地获得谱中的峰值，通过定义，该峰值被称为特征向量(PBV向量)：这些峰值是不同检测信号中的脉搏信号的归一化的幅度的相对强度。
此的结果是能够使用这种先验知识(即特征向量)获得干净的脉搏信号S(假设脉搏信号是检测信号的加权和的结果)。这样做的一个选项是计算归一化的检测信号Cn的协方差矩阵Q的逆。因此，线性地混合检测信号以便提取脉搏信号S的权重W能够使用恒定的特征向量PBV根据当前分析窗中的检测信号的协方差矩阵(Q，其是数据依赖的，即随着时间连续改变)来计算。
可以将上述方法应用于已经使用非接触传感器采集的探测信号。举例来说，本发明可以应用于健康护理领域，例如，非干扰的远程患者监测、监控、安全监视以及所谓的生活方式环境，例如健身器材等等。应用可能包括监测血氧饱和度(脉搏血氧饱和度)、脉搏率、血压、心输出量、血液灌注的变化、自主神经功能的评价、呼吸、以及外围血管疾病的探测。本发明可以例如用于例如在自动CPR(心肺复苏)期间对危重患者的快速且可靠的脉搏探测。该系统可以用于监测皮肤非常敏感的新生儿(例如在NICU中)的生命体征，以及皮肤受损(例如烧伤)的患者，但也可以比普通病房中使用的接触式传感器更方便，并且为运动鲁棒性提供更好的解决方案。自动找到相关皮肤区域目前是瓶颈之一。另一潜在的应用是在监控中可靠地区别真皮肤和假皮肤(例如面具)。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应当被认为是说明性或示范性的而非限制性的。本发明不限于公开的实施例。本领域技术人员通过研究附图、说明书以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以完成权利要求书中记载的若干个项目的功能。在互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的集合。
计算机程序可以被存储/分布在合适的非瞬态介质上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的通信系统。
权利要求书中的任何附图标记均不应被解释为对范围的限制。

Claims (13)

1.一种用于对包括对象的场景的图像的图像分割的设备，所述设备包括：
接收器(210)，其被配置为接收从包括对象的场景反射的电磁辐射，
偏振单元(220)，其被配置为将第一偏振应用在所接收的电磁辐射上以生成第一偏振辐射并且将与所述第一偏振不同的第二偏振应用在所接收的电磁辐射上以生成第二偏振辐射，
传感器单元(230)，其被配置为根据所述第一偏振辐射来生成第一图像并且根据所述第二偏振辐射来生成第二图像，
分割单元(250)，其被配置为根据所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域，以及
生命体征确定单元(240)，其被配置为：选择表示所述对象的皮肤的区域，根据所选择的区域中的所述第一偏振辐射来生成具有第一偏振方向的第一检测信号并且根据所选择的区域中的所述第二偏振辐射来生成具有与所述第一偏振方向不同的第二偏振方向的第二检测信号，并且通过组合所述两个检测信号而根据所述两个检测信号来确定生命体征。
2.根据权利要求1所述的设备，
其中，所述分割单元(250)被配置为根据所述第一图像与所述第二图像的比率或差来识别所述场景中的不同材料的区域。
3.根据前述权利要求中任一项所述的设备，
其中，所述传感器单元(230)被配置为在单个波长通道中或在两个或更多个不同波长通道中生成所述第一图像和所述第二图像。
4.根据前述权利要求中任一项所述的设备，
其中，所述传感器单元(230)被配置为在两个或更多个不同波长通道中生成所述第一图像和所述第二图像，并且
其中，所述分割单元(250)被配置为根据每个波长通道的所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域。
5.根据前述权利要求中任一项所述的设备，
其中，所述传感器单元(220)被配置为在两个或更多个不同波长通道中生成所述第一图像和所述第二图像，并且
其中，所述分割单元(250)被配置为：将相应的第一图像和第二图像的像素转换成具有所述两个或更多个不同波长通道的分量的向量，将所述向量归一化为单位长度，并且确定所述两个或更多个不同波长通道的所述向量之间的余弦角或内积以便识别所述场景中的不同材料的区域。
6.根据前述权利要求中任一项所述的设备，
其中，所述偏振单元(220)被配置为同时应用所述两个不同偏振，并且所述传感器单元(230)被配置为同时生成所述两种图像。
7.根据前述权利要求中任一项所述的设备，
其中，所述偏振单元(220)被配置为按时间顺序应用所述两个不同偏振，具体地在时间上使所述偏振方向交替，并且所述传感器单元(230)被配置为按时间顺序生成所述两种图像。
8.根据前述权利要求中任一项所述的设备，
其中，所述偏振单元(220)被配置为应用正交于所述第二偏振的第一偏振。
9.根据前述权利要求中任一项所述的设备，
其中，所述偏振单元(220)被配置为应用第一偏振和第二偏振，所述第一偏振平行于或相当于用于对所述对象的所述皮肤区域进行照射的偏振电磁辐射的所述偏振方向，所述第二偏振正交于或反向于用于对所述对象的所述皮肤区域进行照射的所述偏振电磁辐射的所述偏振方向。
10.根据前述权利要求中任一项所述的设备，
其中，所述生命体征确定单元(240)被配置为通过加权组合来线性地组合所述两个检测信号并且通过根据预定准则来选择经组合的检测信号的分量通道而根据所述两个检测信号来确定生命体征，其中，所述加权组合的权重通过盲信号分离来确定，具体地通过主成分分析或独立成分分析来确定。
11.根据前述权利要求中任一项所述的设备，
其中，所述生命体征确定单元(240)被配置为通过加权组合来线性地组合所述两个检测信号而根据所述两个检测信号来确定生命体征，所述加权组合使用得到与原始检测信号的积等于通过相应的特征向量表示的相对脉动性的脉搏信号的权重，特征向量提供所述两个原始检测信号中的所述检测信号的预期相对强度。
12.一种用于对包括对象的场景的图像的图像分割的系统，所述系统包括：
照射单元(140)，其被配置为利用非偏振电磁辐射或利用偏振电磁辐射对包括对象的场景进行照射，以及
根据权利要求1所述的设备(200)，其用于对所照射的场景的图像的图像分割。
13.一种用于对包括对象的场景的图像的图像分割的方法，所述方法包括：
接收从包括对象的场景反射的电磁辐射，
将第一偏振应用在所接收的电磁辐射上以生成第一偏振辐射并且将与所述第一偏振不同的第二偏振应用在所接收的电磁辐射上以生成第二偏振辐射，
根据所述第一偏振辐射来生成第一图像并且根据所述第二偏振辐射来生成第二图像，
根据所述第一图像和所述第二图像的组合来识别所述场景中的不同材料的区域，
选择表示所述对象的皮肤的区域，
根据所选择的区域中的所述第一偏振辐射来生成具有第一偏振方向的第一检测信号并且根据所选择的区域中的所述第二偏振辐射来生成具有与所述第一偏振方向不同的第二偏振方向的第二检测信号，以及
通过组合所述两个检测信号而根据所述两个检测信号来确定生命体征。
CN201980041311.3A 2018-06-19 2019-06-17 用于对包括对象的场景的图像的图像分割的设备、系统和方法 Pending CN112292071A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18178549.4 2018-06-19
EP18178549.4A EP3583888A1 (en) 2018-06-19 2018-06-19 Device, system and method for image segmentation of an image of a scene including a subject
PCT/EP2019/065798 WO2019243214A1 (en) 2018-06-19 2019-06-17 Device, system and method for image segmentation of an image of a scene including a subject

Publications (1)

Publication Number Publication Date
CN112292071A true CN112292071A (zh) 2021-01-29

Family

ID=62778699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041311.3A Pending CN112292071A (zh) 2018-06-19 2019-06-17 用于对包括对象的场景的图像的图像分割的设备、系统和方法

Country Status (5)

Country Link
US (1) US20210201496A1 (zh)
EP (2) EP3583888A1 (zh)
JP (1) JP6970840B2 (zh)
CN (1) CN112292071A (zh)
WO (1) WO2019243214A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892927A (zh) * 2021-09-30 2022-01-07 歌尔科技有限公司 用于光电容积描记的测量装置及电子设备
CN117542127A (zh) * 2024-01-09 2024-02-09 南方科技大学 基于多光谱偏振光的皮肤检测方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085221A1 (ja) * 2022-10-20 2024-04-25 富士フイルム株式会社 血流測定装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836872A (en) * 1989-04-13 1998-11-17 Vanguard Imaging, Ltd. Digital optical visualization, enhancement, quantification, and classification of surface and subsurface features of body surfaces
US20150236740A1 (en) * 2012-11-02 2015-08-20 Koninklijke Philips N.V. Device and method for extracting physiological information
US20150272489A1 (en) * 2014-03-31 2015-10-01 Koninklijke Philips N.V. Device, system and method for tumor detection and/or monitoring
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
US20160120482A1 (en) * 2014-10-30 2016-05-05 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US20160206216A1 (en) * 2015-01-19 2016-07-21 Koninklijke Philips N.V. Device, system and method for skin detection
CN106535743A (zh) * 2014-07-02 2017-03-22 皇家飞利浦有限公司 胶原蛋白变性测量的基于光的测量系统和方法以及皮肤护理系统
US20170086755A1 (en) * 2015-09-29 2017-03-30 Koninklijke Philips N.V. Device, system and method for extracting physiological information
CN108125673A (zh) * 2016-12-01 2018-06-08 松下知识产权经营株式会社 生物体信息检测装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3892232B2 (ja) * 2001-01-30 2007-03-14 株式会社日立製作所 生体監視システム
JP2008501196A (ja) * 2004-06-01 2008-01-17 ルミディグム インコーポレイテッド マルチスペクトル画像化バイオメトリクス
US9124777B2 (en) 2011-01-05 2015-09-01 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
CN105407799B (zh) * 2013-07-31 2017-12-26 松下电器（美国）知识产权公司 皮肤分析方法、皮肤分析装置、皮肤分析装置的控制方法以及记录介质
EP4383272A2 (en) * 2014-02-21 2024-06-12 The University of Akron Imaging and display system for guiding medical interventions
JP6357057B2 (ja) * 2014-09-03 2018-07-11 哲祥 志村 概日リズム検査装置、概日リズム検査システムおよび概日リズム検査方法
EP3402402A1 (en) 2016-01-15 2018-11-21 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836872A (en) * 1989-04-13 1998-11-17 Vanguard Imaging, Ltd. Digital optical visualization, enhancement, quantification, and classification of surface and subsurface features of body surfaces
US20150236740A1 (en) * 2012-11-02 2015-08-20 Koninklijke Philips N.V. Device and method for extracting physiological information
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
US20150272489A1 (en) * 2014-03-31 2015-10-01 Koninklijke Philips N.V. Device, system and method for tumor detection and/or monitoring
CN106535743A (zh) * 2014-07-02 2017-03-22 皇家飞利浦有限公司 胶原蛋白变性测量的基于光的测量系统和方法以及皮肤护理系统
US20160120482A1 (en) * 2014-10-30 2016-05-05 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US20160206216A1 (en) * 2015-01-19 2016-07-21 Koninklijke Philips N.V. Device, system and method for skin detection
US20170086755A1 (en) * 2015-09-29 2017-03-30 Koninklijke Philips N.V. Device, system and method for extracting physiological information
CN108125673A (zh) * 2016-12-01 2018-06-08 松下知识产权经营株式会社 生物体信息检测装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CRONIN, TW， GARCIA, M，ET AL: "Multichannel spectrometers in animals", BIOINSPIRATION & BIOMIMETICS, vol. 13, no. 2, XP020324867, DOI: 10.1088/1748-3190/aaa61b *
GARCIA M, DAVIS T, MARINOV R, ET AL.: "Biologically inspired imaging sensors for multi-spectral and polarization imagery", PROCEEDINGS OF SPIE, vol. 10655 *
SUN YU，ET AL: "Photoplethysmography Revisited: From Contact to Noncontact, From Point to Imaging", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 63, no. 3, XP055658426, DOI: 10.1109/TBME.2015.2476337 *
TIM YORK，ET AL: "Live demonstration: Material detection via an integrated polarization imager", CIRCUITS AND SYSTEMS (ISCAS) *
VAN GASTEL MARK， ET AL: ""Motion Robust Remote-PPG in Infrared", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 65, no. 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892927A (zh) * 2021-09-30 2022-01-07 歌尔科技有限公司 用于光电容积描记的测量装置及电子设备
CN113892927B (zh) * 2021-09-30 2024-03-08 歌尔科技有限公司 用于光电容积描记的测量装置及电子设备
CN117542127A (zh) * 2024-01-09 2024-02-09 南方科技大学 基于多光谱偏振光的皮肤检测方法及装置
CN117542127B (zh) * 2024-01-09 2024-05-24 南方科技大学 基于多光谱偏振光的皮肤检测方法及装置

Also Published As

Publication number Publication date
JP6970840B2 (ja) 2021-11-24
EP3809950B1 (en) 2022-04-06
JP2021520274A (ja) 2021-08-19
EP3809950A1 (en) 2021-04-28
US20210201496A1 (en) 2021-07-01
WO2019243214A1 (en) 2019-12-26
EP3583888A1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
US20220054089A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
US9770213B2 (en) Device, system and method for extracting physiological information
US20190200871A1 (en) System and method for vital signs detection
CN108471962A (zh) 用于确定对象的生命体征信息的设备、系统和方法
EP3809950B1 (en) Device, system and method for image segmentation of an image of a scene including a subject
WO2019185375A1 (en) Device, system and method for determining at least one vital sign of a subject
JP7304899B2 (ja) 対象の少なくとも１つのバイタルサインを決定するシステム及び方法
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
US20220265150A1 (en) Device, system and method for determining physiological information
EP3773154B1 (en) Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
CN111936040B (zh) 用于提取指示对象的至少一个生命体征的生理信息的设备、系统和方法
CN112292068A (zh) 用于确定对象的至少一个生命体征的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination