CN104661583A - 用于处理能从远程检测到的电磁辐射导出的数据的设备和方法 - Google Patents

用于处理能从远程检测到的电磁辐射导出的数据的设备和方法 Download PDF

Info

Publication number
CN104661583A
CN104661583A CN201380048767.5A CN201380048767A CN104661583A CN 104661583 A CN104661583 A CN 104661583A CN 201380048767 A CN201380048767 A CN 201380048767A CN 104661583 A CN104661583 A CN 104661583A
Authority
CN
China
Prior art keywords
signal
indicative
entity
equipment
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380048767.5A
Other languages
English (en)
Other versions
CN104661583B (zh
Inventor
单彩峰
I·O·基伦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104661583A publication Critical patent/CN104661583A/zh
Application granted granted Critical
Publication of CN104661583B publication Critical patent/CN104661583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

本发明涉及一种用于处理能从远程检测的由对象(12)发射或反射的电磁辐射(16)导出的数据的设备和方法，所述数据包括生理信息。接收输入信号并传输其指示性实体，所述指示性实体指示表示感兴趣对象(12)中的至少一个生命参数(17；150)的生理信息，其中，所述指示性实体是考虑至少一个定义的描述性模型(114)而被检测到的，使得由所述输入信号中的非指示性实体表示的非指示性边信息在得到的传输的信号中是基本上不能检测到的，所述至少一个定义的描述性模型描述身体皮肤外观特性与所述输入信号中的对应表示之间的关系。所述至少一个生命参数(17；150)是从包括所述指示性实体的所述传输的信号被检测到的，其中，所述至少一个生命参数(17；150)是考虑检测到的表示循环活动的皮肤颜色性质而被提取的。

Description

用于处理能从远程检测到的电磁辐射导出的数据的设备和方法
技术领域
本发明涉及一种用于处理能从远程检测到的由对象发射或反射的电磁辐射导出的数据的设备和方法，其中，所述数据包括生理信息。更具体地，本发明涉及用于检测并监测感兴趣对象中的生命参数的图像处理设备和方法。更特别地，但同样非限制性地，本发明还可以涉及光体积描记，并且甚至更具体地，涉及远程光体积描记方法。
背景技术
WO 2011/021128A2公开一种用于图像分析的方法和系统，包括：
-获得一序列的图像；
-执行对该序列的图像中的至少一幅的基于视觉的分析，以获得用于分类在图像中表示的对象的状态的数据；
-确定在该序列的图像中的至少一幅中表示的生物的生理参数的至少一个值，其中，生理参数的至少一个值是通过对来自从其取得对其执行基于视觉的分析的至少一幅图像的相同序列的图像的图像数据的分析而被确定的；并且
-使用利用基于视觉的分析获得的数据和生理参数的至少一个值来对对象的状态进行分类。
该文件还公开了对该方法和系统的若干改良。例如，也设想了对远程光体积描记(PPG)分析的使用。
基本上，光体积描记和相关的基于视觉的成像方法被认为是能够被用于检测生理信息，并且基于其检测感兴趣对象中的生命信号或参数的常规技术。通常，生命参数是以间接的方式被导出的。生命参数检测能够是基于对生物(或者：感兴趣对象)中的器官或器官成分的体积变化的检测的。更具体地，在一些情况下，光体积描记能够被认为是能够被利用于检测对象的组织的微血管部分中的血液体积变化的光学技术。通常，光体积描记测量面向对象的皮肤表面。常规地，已知的PPG方法包括所谓的接触式PPG设备，接触式PPG设备能够被附着到对象的皮肤，例如被附着到指尖。大体上，检测到的PPG信号(或者：波形)通常包括搏动性生理波形，搏动性生理波形可归因于随每次心跳的血液体积中的心脏同步变化。除此之外，PPG波形能够还包括可归因于呼吸、氧饱和度、Traube-Mayer-Hering波以及甚至可归因于另外的生理现象的生理信息。
近来，所谓的远程光体积描记已经取得巨大进展，在于基于常规相机的非干扰性非接触式远程测量已经得到展示。术语“常规相机”可以指现货相机，例如数字视频相机、提供视频记录功能的数字(照相)相机，或者甚至可以指在台式计算机、移动计算机、平板电脑以及诸如智能手机的另外的移动设备中集成的相机。此外，术语“常规相机”可以涵盖能附接到计算设备的所谓的网络摄像头。此外，医学监测设备、视频会议系统以及安全监控设备也能够利用标准相机模块。
通常，这些相机能够包括适于电磁谱的可见部分的响应度(或者：灵敏度)特性。如在本文中使用的，可见辐射可以由人眼的一般辐射感知能力限定。相反，不可见辐射可以指除非利用将不可见辐射转变成可见辐射的光学辅助设备，否则对人眼不可见的光谱部分。不可见辐射可以涉及红外辐射(或者：近红外辐射)以及紫外(UV)辐射。应当理解，在一些情况下，常规相机也可以对不可见辐射敏感。例如，相机的响应度范围可以涵盖整个可见光谱，以及还有属于不可见光谱或者至少属于可见光谱与不可见光谱之间的过渡区域的相邻光谱部分。然而，仍示范性地涉及夜视应用和热成像应用，也能够设想主要面向电磁谱的不可见部分的相机。
现今，数字技术在日常生活中取得了更进一步的重要性。通过举例的方式，图像及其序列以数字的方式被记录、被处理并被重现，并且能够无损地被复制。个体在公共场合(例如，交通监视、安全监视等)、在私人生活(例如，包括相机的移动电话、移动计算设备)、在进行体育运动或锻炼时(例如，应用远程PPG技术的心率监测、呼吸监测)、在工作时(例如，基于视觉的机器或引擎监测、疲劳监测或睡意监测、基于视觉的门禁控制等)以及甚至在健康护理环境中(例如，患者监测、睡眠监测等)都可能面对数字成像设备。因此，无论个体在各个情况中是否意识到正在被监测，在日常生活中都能够收集到大量(图像)数据。
发明内容
本发明的目标是提供一种用于处理数据的系统和方法，其解决了上述问题并增强了隐私保护，同时仍允许从所记录的数据提取生命信号。此外，将有利的是，提供一种被配置用于隐藏对生命信号提取不一定必要的隐私相关的信息的系统和对应的方法。还期望提供一种被配置用于实施所述方法的计算机程序。
在本发明的第一方面中，提供一种用于处理能从远程检测到的由对象发射或反射的电磁辐射导出的数据的设备，所述数据包括生理信息，所述设备包括：
-信号检测器单元，其被配置用于接收输入信号并且用于传输其指示性实体，所述指示性实体指示表示感兴趣对象中的至少一个生命参数的生理信息；以及
-处理单元，其被配置用于从包括所述指示性实体的传输的信号提取所述至少一个生命参数，其中，所述至少一个生命参数是考虑检测到的表示循环活动的皮肤颜色性质而被提取的；
-其中，所述信号检测器单元还被配置用于考虑至少一个定义的描述性模型而检测所述指示性实体，使得由所述输入信号中的非指示性实体指示的非指示性边信息在得到的传输的信号中是基本上不能检测到的，所述至少一个定义的描述性模型描述身体皮肤外观特性与所述输入信号中的对应表示之间的关系。
本发明通过以使得基本上不能从其得出关于个人或隐私信息的结论的方式处置所述输入信号中的非指示性实体来解决隐私保护问题。在这方面公认的是，所述指示性信号实体的确也可以包括隐私相关的信息。然而，所述指示性实体被认为对于所述设备瞄准的所述生命参数提取而言是必要的。基本上，所述指示性实体可以表示所述感兴趣对象的皮肤部分。在这方面值得提出的是，多个对象也能够存在于所述输入信号中或由所述输入信号表示。因此，所述指示性实体也可以表示所述多个对象。
所述非指示性实体可以涵盖周围或环境信息。所述非指示性实体(在所述至少一个感兴趣生命参数方面)还可以包括非指示性信息，所述非指示性信息仍与所观察的对象的隐私密切相关。这可以涉及衣服信息和住所信息。因此，所谓的非指示性边信息也能够包括隐私信息。通过举例的方式，所述非指示性边信息可以指示个体的个人财富状态。此外，可以从所述非指示性边信息提取经常居住地或当前行踪。因此认为有益的是，所述非指示性实体在进一步处理期间基本上被无视。
应理解，所述输入信号中的所述指示性实体也可以包括个人或隐私信息。仍然，假设由所述指示性实体形成的信号部分基本上能够从由所述信号检测器单元观察到的总体上下文或表示中剔除，则能够改善隐私保护。通过举例的方式，所述感兴趣对象的主要指示性皮肤部分能够保留在得到的传输的信号中。假设衣服信息、住所信息和表示周围的另外的边信息在得到的传输的信号中不再能检测到，则能够显著降低隐私信息丢失或者甚至隐私信息滥用的风险。
如在本文中所使用的，在一些实施例中，术语“循环活动”可以指心血管活动，或者一般地指血管活动。应当理解，呼吸活动也与血管活动密切相关。因此，所述至少一个生命参数能够表示所述对象的心跳、心率、心率变异性、呼吸率、呼吸率变异性、脉搏血氧饱和度以及其适当的衍生及组合。在优选的实施例中，所述处理单元能够利用光体积描记，或者甚至更优选地，能够利用远程光体积描记方法。基本上，能够以间接的方式通过观察对象的皮肤来监测所述对象的循环活动。诸如皮肤颜色波动的皮肤外观的轻微波动能够例如被归因于血管活动。
如在本文中所使用的术语“指示性实体”和“非指示性实体”中的每个(在观察的区域方面)可以指特定的信号片断或元素。值得指出的是，所述指示性实体和所述非指示性实体中的每个可以指至少单个区域元素或区域元素的集合。通过举例的方式，假设所述输入信号被编码在表示基于视觉的信息或图像信息的(数字化)数据中，则各自的实体可以指至少像素或像素的集合。例如，当处理信号样本(或者：图像样本)的序列时，所述指示性实体和所述非指示性实体中的每个可以由所述样本中的各自部分形成。假设所述输入信号仍被实现为电磁辐射的形式，则所述指示性实体和所述非指示性实体可以指所述观察的区域的各自部分。同样在这种情况下，所述指示性实体和所述非指示性实体两者都能够由各自的信号子部分或各自的子部分的集合形成。
所述至少一个定义的描述性模型能够由用于在电磁辐射方面(直接或间接地)描述皮肤的模型来实现。在一些实施例中优选的是，所述描述性模型是人类皮肤表示模型，或者更具体地，是人类皮肤颜色模型。
根据另一方面，所述信号检测器单元包括至少一个滤色器元件，所述至少一个滤色器元件包括适于对应于所述至少一个描述性模型的谱性质的滤波器响应。所述至少一个滤波器元件能够由至少一个滤光器来实现。所述至少一个滤色器元件也能够包括滤色器阵列，所述滤色器阵列包括多个单个滤波器元件。所述至少一个滤色器元件能够以使得基本上指示性实体可以穿过各自的滤波器元件同时非指示性实体被阻挡或者至少被衰减的方式被配置。优选的是，所述至少一个滤波器元件被配置用于拦住非指示性实体。通过举例的方式，所述至少一个滤色器元件能够包括适于皮肤颜色性质的滤波器特性。以此方式，皮肤指示性实体可以穿过，同时非皮肤实体能够被阻挡、被抑制或被拦住。
所述至少一个滤色器元件能够由例如至少一个光学透镜滤波器形成。备选地，所述至少一个滤色器元件能够由至少一个半导体光学滤波器元件来实现。通过举例的方式，所述至少一个滤色器元件能够由利用多个半导体滤波器的拜耳滤波器来实现。以此方式，进入信号能够在被转变成数字数据之前在传感器设备这一级被滤波。因此，没有数字表示，或者如果有的话，仅所述非指示性实体的操纵的表示能够被编码或存在于捕获的数字信号中。换言之，所述设备能够利用对输入辐射进行滤波的各自的输入滤波器元件被耦合至其的传感器器件，使得基本上皮肤指示性实体可以穿过，同时非皮肤实体被阻挡或至少被衰减。
根据又一方面，所述输入信号包括信号样本的输入序列，其中，所述信号检测器单元包括至少一个数据处理检测器，所述至少一个数据处理检测器被配置用于考虑被嵌入在所述信号样本实体中的谱信息而处理所述输入序列的各自的信号样本，由此生成传输的信号序列，其中，所述至少一个数据处理检测器还被配置用于考虑至少一个描述性模型而检测所述指示性实体，所述至少一个描述性模型描述身体外观特性与所述信号样本中的对应的数据表示之间的关系。
该实施例能够利用对已经提前被捕获并被编码(成数字数据)的输入序列的数字数据处理。适当的模数转换器能够由诸如相机的各自的传感器器件来形成。为此，例如，能够设想CCD相机和CMOS相机。因此，信号样本(或者：帧)的基本上离散的序列能够被捕获并被递送到所述信号检测器单元。
在该实施例中，每个实体可以包括至少单个像素或像素的集合。在这方面值得提出的是，通过检测或识别所述信号样本中的指示性像素，也能够至少以间接的方式来识别所述非指示性实体，反之亦然。因此，所述输入序列中的所述信号样本中的每个能够被分割成至少一个指示性部分和至少一个非指示性部分。优选的是，所述至少一个非指示性部分(其的确能够指示隐私信息)从进一步的信号处理或分布措施被排除。
所述至少一个描述性模型可以利用针对数字信号中的视觉信号的信号编码约定来提供在电磁辐射特性方面的身体皮肤外观特性与对应的数字数据表示之间的链接。
根据又一方面，所述设备还可以包括掩蔽单元，所述掩蔽单元被配置用于掩蔽所述传输的信号序列中的各自的非指示性实体，其中，所述数据处理检测器还被配置用于将实体分类成指示性状态和非指示性状态中的一种。例如，所述数据处理检测器能够被配置为标记所述信号样本中的各自的像素。以此方式，能够将指示性状态和非指示性状态中的至少一种分配给各自的像素，并且因此分配给各自的实体。为此，所述数据处理检测器能够利用皮肤分类器或者更具体地，能够利用皮肤像素分类器。
最终，能够获得传输的信号，所述传输的信号是基于所述输入信号序列的并且仍包括指示性实体或部分。相反，所述传输的信号序列还可以包括可以替换非指示性实体的掩蔽的部分或实体。通过举例的方式，所述掩蔽单元能够被配置用于将恒定的(颜色)值分配给非指示性实体。此外，在备选的实施例中，所述掩蔽单元能够被配置用于使非指示性像素模糊，或者更优选地，使包括多个非指示性像素的非指示性部分模糊。通常，模糊的部分可以充分隐藏潜在的隐私相关的信息。如本文中所使用的术语“模糊”可以指用于减少(隐私)信息内容的各种图像操纵措施。在这方面能够设想，另外的图像或数据操纵措施能够被应用于所述信号样本的非指示性部分，从而隐藏各自的隐私信息。
根据更进一步的又一方面，所述信号样本是考虑应用颜色模型的信号空间约定而被编码的，其中，应用的信号空间包括用于表示形成所述信号样本的实体的互补性通道，其中，所述实体的各自的分量与所述信号空间的各自的互补性通道相关。
通常，数字图像表示需要考虑了预定义的转换约定的A/D(模拟/数字)转换。换言之，所述信号样本中的所述实体可以符合信号空间约定，所述信号空间约定基本上描述电磁辐射特性与所述(数字)信号样本中的所述实体的各自的信号性质之间的关系。通常，信号空间或颜色空间可以涉及颜色模型与被利用于数据生成的各自的映射函数的组合。一般地，所述信号空间可以包括两个或更多个维度。信号样本中的单个像素可以由所述信号空间中的值或各自的向量(本文中也被称为索引元素)来表示。
在一些实施例中，所述信号空间是加法颜色信号空间，其中，所述互补性通道是加法颜色通道，其中，所述实体由至少三个绝对分量来表示，其中，所述至少三个绝对分量表示由加法通道指示的不同颜色分量，并且其中，所述加法通道与定义谱部分相关。这样的颜色空间可以由RGB颜色空间或者由其衍生来实现。此外，能够设想减法颜色信号空间，例如CMYK颜色空间，以及各自的衍生。仍然，备选地，所述信号空间能够被配置为基本上指示亮度信息和色度信息的信号空间。这可以适用于例如YUV颜色空间。
根据另一实施例，所述信号空间包括基本上独立于照明变化的颜色表示。在这方面应当指出，“简化的”信号空间也可以被利用于分别检测所述信号样本中的所述指示性实体和所述非指示性实体。通过举例的方式，所述YUV信号空间的子空间能够被利用于此目的。此外，信号空间能够被转变成衍生的信号空间，在所述衍生的信号空间中，亮度信息基本上被无视。通过举例的方式，加法颜色信号空间(例如，RGB)能够被“映射”到色度平面，所述色度平面可以提供颜色性质表示，而无论实际亮度如何。以此方式，能够实现亮度归一化。因此，能够促进对所述指示性实体的检测。例如，所述RGB信号空间的各自的R值、G值和B值能够分别被除以R、G和B的预定义的线性组合。这样的归一化能够进一步提供降维。优选地，所述描述性模型或皮肤模型利用所述信号空间，因为在各自的信号空间约定方面定义并表达潜在的基于视觉的模型。
根据另一方面，还优选的是，所述描述性模型是皮肤颜色模型，所述皮肤颜色模型考虑信号空间约定而描述皮肤表示。通过举例的方式，所述描述性模型能够利用查找表数据以用于比较测量与分类。所述查找表数据可以包括表示指示性实体的多种预定义的值。根据一个实施例，所述描述性模型是明确的皮肤模型。明确的皮肤模型可以包括信号空间中被认为是可归因于例如对所述对象的皮肤的表示的定义的子空间。然而，备选地，所述描述性模型能够是非参数皮肤模型与参数皮肤模型中的至少一种。
通过举例的方式，非参数皮肤模型能够是基于包括表示多种参考测量的多个直方图的查找表的。参数皮肤模型能够利用对所述信号空间中的分类数据的简化的函数型表示。通过举例的方式，基于通过参考测量获得的直方图，高斯函数能够被定义用于描述关于给定实体(或者：像素)是否能够被认为是指示性实体或非指示性实体的概率分布。在这方面，能够设想单个高斯函数和多个高斯函数。
根据另一有利的实施例，所述掩蔽单元还被配置用于处理所述指示性实体，使得所述至少一个生命参数在所述传输的信号序列中是基本上能检测到的，其中，由所述指示性实体表示的非指示性边信息在所述传输的信号序列中至少部分地被衰减。在该上下文中，处理所述指示性实体可以涉及使指示性实体的集合模糊。
该实施例基于以下构思，即所述指示性实体也能够被处理从而进一步增强隐私保护。在这方面优选的是，选择处理参数使得待提取的生命参数基本上被保留在处理过的样本中。由于生命参数提取可以涉及在空间上对感兴趣的指示性区域求平均，所以在各自的感兴趣的平均值(例如，空间平均像素颜色值)基本上保持不变的情况下，能够将模糊操作或类似算法应用到所述指示性实体。通过举例的方式，模糊算法(例如，高斯模糊)能够被应用到所述指示性实体。以此方式，诸如皮肤细节等的隐私相关的信息能够被削弱或被衰减，同时生命参数指示性信息能够被保留，即，例如指示性感兴趣区域中的平均像素颜色不受影响。因此，平均像素颜色波动能够被保留以用于进一步分析。通过举例的方式，涉及选择性滤波器算法的空间模糊可以被应用于包括所述指示性实体的区域。
在这方面还优选的是，选择(例如，使滤波器特性模糊的)模糊参数使得包括高对比度(亮度和/或颜色上的巨大差异)的指示性实体或者指示性实体的集合从模糊操作被排除。高对比度区域可能严重影响平均值，并且因此可能扭曲处理过的生命参数表示性信号。
还设想，将模糊操作或类似的图像处理操作应用到所述指示性实体和所述非指示性实体两者。然而，在这方面，优选的是，包括所述指示性实体的区域和包括所述非指示性实体的区域单独地被处理，从而避免使指示性实体和非指示性实体混合或混淆。
根据又一方面，所述设备还包括数据库，所述数据库提供可归因于影响参数的多个描述性模型，所述影响参数是从包括以下项的组中选择的：皮肤颜色类型、民族区域、族群、身体区域、性别、传感器单元特性和照明条件、以及它们的组合。
根据该方法，所述设备能够利用当前被认为适合于实际监测环境的描述性模型。所述多个描述性模型可以包括多个非参数皮肤模型。在这种情况下，即使非参数皮肤模型能够被认为有些不灵活或静态，所述设备作为整体也能够适于变化的监测条件。
根据备选的示范性方面，所述信号检测器单元还被配置用于考虑影响参数而调整所述当前描述性模型，其中，所述影响参数是从包括以下项的组中选择的：皮肤颜色类型、民族区域、族群、身体区域、性别、传感器单元特性和照明条件、以及它们的组合。通过举例的方式，参数皮肤模型的参数能够相应地被调节，从而使所述描述性模型适应给定的监测条件。在这方面值得提出的是，以上影响参数基本上可以影响皮肤颜色的外观和感觉，并且因此也可以影响所述指示性实体检测的准确性。
根据再一方面，所述设备还包括传感器单元，尤其是相机，所述传感器单元被配置用于感测在一距离处的电磁辐射，其中，所述传感器单元被耦合到所述信号检测器单元，使得在传输各自的信号样本时所述输入信号中的非指示性实体基本上被无视。通过举例的方式，相机能够被集成在所述设备中，使得不允许对捕获的输入序列的外部访问。
根据又一方面，所述传感器单元包括适于所述描述性模型的响应特性，使得在捕获所述信号样本时非指示性实体基本上被无视。在这方面，所述检测器单元和所述掩蔽单元能够例如经由光学部件、(数字)数据处理部件以及其组合被实施在所述相机中。
根据又一方面，所述设备还可以包括用于分布处理过的样本的所述序列的输出接口。能够在没有披露非指示性边信息的风险的情况下转发、分布或复制在其中非指示性实体基本上不能检测到的处理过的样本的序列。
根据另一方面，所述设备还包括特征检测器，所述特征检测器被配置用于检测所述输入序列的信号样本中的身份相关的显著特征；以及特征掩蔽单元，所述特征掩蔽单元被配置用于掩蔽所述传输的信号序列中的各自的实体。该实施例甚至还可以有助于增强隐私保护。通过举例的方式，所述特征检测器能够被配置用于应用眼睛识别、面部识别、嘴巴识别、头发识别以及其组合。由于主要解决所述感兴趣对象中的皮肤部分，所以可以被认为是更进一步指示隐私相关的信息(而非感兴趣的生命参数)的额外显著特征能够被检测到并从所述各自的信号样本被去除。
根据更进一步的又一方面，所述处理单元还被配置为光体积描记处理单元，所述光体积描记处理单元能够从传输的样本的所述序列提取所述至少一个感兴趣生命参数，其中，所述至少一个生命参数能够考虑由皮肤颜色性质表示的血管活动而被提取。
存在所述信号检测器单元和所述处理单元以及如果有的话其各自的子部件的若干实施例。在第一相当简单的实施例中，所述信号检测器单元和所述处理单元以及其各自的(数据处理)子部件能够由受各自的逻辑命令驱动(或控制)的共同的处理设备来实现。这样的处理设备也可以包括适当的输入和输出接口。然而，备选地，所述信号检测器单元和所述处理单元中的每个能够由受各自的命令控制或可由各自的命令控的单独的处理设备来实现。因此，每个各自的处理设备能够适于其特殊目的。因此，能够应用任务的分布，其中，不同的任务在多处理器处理设备的单个处理器上被处理(或者：被运行)，或者，其中，图像处理相关的任务是在图像处理器上被运行的，同时其他操作性任务是在中央处理单元上被运行的。以上也可以指所述信号检测器单元和所述处理单元的子部件。所述处理单元、所述信号检测器单元以及其各自的子部件中的每个能够被实施为处理环境的虚拟部分，或者被实现为离散的(例如，硬件编码的)处理元件。能够设想混合型实施方式。
在本发明的另一方面中，提出了一种用于处理能从远程检测到的由对象发射或反射的电磁辐射导出的数据的方法，所述数据包括生理信息，所述方法包括以下步骤：
-接收输入信号并传输其指示性实体，所述指示性实体指示表示感兴趣对象中的至少一个生命参数的生理信息；
–考虑至少一个定义的描述性模型而检测所述指示性实体，使得由所述输入信号中的非指示性实体表示的非指示性边信息在得到的传输的信息中是基本上不能检测到的，所述至少一个定义的描述性模型描述身体皮肤外观特性与所述输入信号中的对应表示之间的关系；以及
-从包括所述指示性实体的所述传输的信号提取所述至少一个生命参数，其中，所述至少一个生命参数是考虑检测到的表示循环活动的皮肤颜色性质而被提取的。
有利地，所述方法能够利用用于提取本发明的信息的设备来执行。
在本发明的又一方面中，提供了一种计算机程序，所述计算机程序包括程序代码单元，所述程序代码单元用于当在计算机上执行所述计算机程序使时令所述计算机执行所述方法的步骤。所述程序代码(或者：逻辑)能够被编码在一个或多个非易失性有形介质中，以用于由诸如计算机的计算机器运行。在一些示范性实施例中，所述程序代码可以通过用于在所述设备内使用的计算机可读信号介质，在网络上从另一设备或数据处理系统被下载到持久性存储设备。例如，在服务器数据处理系统中的计算机可读存储介质中存储的程序代码可以在网络上从服务器被下载到所述设备。提供程序代码的所述数据处理设备可以是服务器计算机、客户端计算机或者能够存储并传输程序代码的其他设备。
如在本文中使用的，术语“计算机”代表各种处理设备。换言之，具有可观的计算能力的移动设备也能够被称为计算设备，即使其提供比标准的台式计算机更少的处理能力资源。此外，术语“计算机”也可以指可以涉及或利用在云环境中提供的计算能力的分布式计算设备。
在从属权利要求中限定了本发明的优选实施例。应当理解，要求保护的方法和要求保护的计算机程序能够与要求保护的设备以及与在从属性设备权利要求中限定的具有相似的优选实施例。
附图说明
本发明的这些方面和其他方面将从下文描述的实施例变得显而易见，并将参考下文描述的实施例得到阐述。在下图中：
图1示出本发明能够被用于其中的设备的第一总体布局的示意性图示；
图2示出本发明能够被用于其中的设备的备选布局的示意性图示；
图3示出本发明能够被用于其中的设备的备选布局又一示意性图示；
图4a、图4b示出包括指示性实体和非指示性实体的示范性输入信号样本；以及在其中所述非指示性实体基本上不能检测到的各自的(处理过的)传输的信号样本；
图5示出本发明能够被用于其中的设备的再一备选布局的示意性图示；
图6a、图6b示出图示感兴趣对象的信号样本剖面；以及在其中所述对象中的显著特征被掩蔽的(处理过的)传输的信号样本的各自的剖面；并且
图7示出表示根据本发明的方法的实施例的若干步骤的说明性框图。
具体实施方式
下节利用本发明的设备和方法的若干方面来描述远程生命信号检测，尤其是远程光体积描记(远程PPG)的示范性方法。应当理解，能够从各自的整体方法的上下文提取所示方法中的单个步骤和特征。这些步骤和特征因此能够是仍由本发明的范围涵盖的单独的实施例的一部分。
Verkruysse，W.等人(2008年)的“Remote plethysmographic imagingusing ambient light”(Optics Express，Optical Society of America，美国华盛顿特区，第16卷，第26号，第21434-21445页)中描述了远程光体积描记的基本方法。WO 2011/042858 A1公开了解决处理包含表示生物中的周期现象的至少一个成分的信号的另一方法和系统。
在这些和类似的测量结果中，通常捕获被监测的对象的图像或图像类表示。通常，不指示感兴趣的生命参数的图像背景也仍存在于所捕获的数据中。因此，仍能够从所记录的数据提取可能允许关于对象的隐私的结论的边信息。如在本文中使用的，术语“边信息”通常指不指示感兴趣的生命参数但仍可能包含隐私相关的信息的信息。
图1是指示出用于在生命信号检测环境中处理数据的设备的示意性图示。由附图标记10指代该设备。例如，设备10能够被利用于处理表示远程对象12的图像帧以用于远程PPG监测。通常，以对象12中的感兴趣区域14作为目标。至少一个感兴趣区域14能够存在于所记录的帧中。通常，感兴趣区域14可以表示面部部分，或者更一般地，对象12的皮肤部分。通过举例的方式，在对象12穿着T恤的情况下，在捕获的帧中能够存在三个感兴趣区域14，即头部或面部部分以及两个各自的前臂部分。不用说，记录的帧还可以包括对超过一个对象12的表示。通常，所捕获的数据能够从基本上由对象12发射或反射的电磁辐射16导出。当处理所记录的信号时，最终能够从电磁辐射16导出感兴趣的生命参数17。生命参数17可以涉及可归因于对象12的血管或呼吸活动的生命信号。
设备10包括信号检测器单元18和信号处理单元20。信号检测器单元18和信号处理单元20两者能够被实施在共同的外壳22中。外壳22也可以代表系统边界。在系统边界内，信号检测器单元18和处理单元20两者能够被分开布置。此外，信号检测器单元18和处理单元20两者能够被实施为设备10的(单个)共同的组成部分。
在图1中图示的设备10能够利用至少一个上游滤色器元件28。至少一个上游滤色器元件28能够被放置在传感器单元34的至少一个感测元件前面。因此，至少一个滤色器元件28能够被配置用于接收(直接)来自入射电磁辐射16的输入信号，并且将传输的信号30发送到传感器单元34。换言之，至少一个滤色器元件28能够被配置用于直接处理电磁辐射，而非处理表示电磁辐射的数字数据。至少一个滤色器元件28能够包括各自的滤光器元件。在一些情况下，滤光器元件能够由光学透镜来实现。此外，能够设想适当布置的光学透镜组。然而，备选地或额外地，至少一个滤色器元件28也能够由至少一个半导体滤波器元件来实现。这样的滤波器元件能够是拜耳滤波器元件的部分，更优选地，是拜耳滤波器阵列的部分。不用说，至少一个滤色器元件28能够(在物理上)被直接附接到传感器单元34。
结合在图1中阐述的设备10，优选的是，至少一个滤色器元件28实施至少一个描述性模型，例如，描述性皮肤颜色模型。即，至少一个滤色器元件28优选地包括可以适于电磁辐射中的假设的皮肤表示特性的滤波器响应。因此，输入信号中的非指示性边信息(非皮肤实体)能够在由传感器单元34捕获之前，被阻挡，或至少被衰减。
传感器单元34能够由被配置用于记录图像帧的数字相机来实现。这样的相机能够利用例如CCD传感器或CMOS传感器。以此方式，传感器单元34能够实施对输入信号的模数转换。经转换的(数字化)数据能够被递送到(任选的)数据缓冲期或存储设备36。数据存储设备36可以用作短期缓存或用作长期存储器。应当理解，数据存储设备36能够形成信号检测器单元18的部分或处理单元20的部分。此外，信号检测器单元18和处理单元20中的每个可以包括至少一个数据存储设备。额外地，数据存储设备36能够被置于信号检测器单元18与处理单元20之间，参考图3。
在图1中，处理单元20能够接收指示性信息仍被嵌入在其中的处理过的信号，而非指示性信息是基本上不能检测到的。在这方面再次值得提出的是，术语“指示性”和“非指示性”必须在对期望的感兴趣的生命参数17的检测方面进行解释。通过举例的方式，处理单元20可以包括信号提取器38，信号提取器38可以被配置用于应用PPG信号提取算法。因此，能够生成并分布处理过的信号40，处理过的信号40可以表示生命参数17，或至少高度指示生命参数17的指示性信号实体。图1中示出的布置能够被认为是隐私保护布置，因为即使利用基本上能够捕获指示性信号实体和非指示性信号实体的传感器单元34，也不能从设备10的系统边界22的外部访问包括指示性实体和对非指示性实体的简明表示两者的数字数据。
在图2中，呈现类似的设备10a，类似的设备10a基本上利用了适用于数字化图像信息，即，适用于传感器单元34的下游的信号的隐私保护措施。在该实施例中，传感器单元34能够基本上能够感测可以包括指示性实体和非指示性实体两者的电磁辐射16的完整部分(例如，整个可见辐射部分)。以此方式，能够生成输入序列44。通常，输入序列44包括数字化数据。输入序列44可以包括一系列帧，更具体地，可以包括一系列图像帧。输入序列44能够被递送到处理检测器46。处理检测器46能够被配置用于处理输入序列44的帧(在本文中也被称为样本)。通常，处理检测器46能够寻找信号样本中的指示性实体。这能够是考虑至少一个描述性模型而被执行的。在图2中，数字化数据是由处理检测器46处理的。因此，至少一个描述性模型可以描述指示性实体的身体外观特性与(数字化)信号样本中对应的数据表示之间的关系。
通过举例的方式，信号检测器单元18可以还包括数据库48，数据库48用于存储并提供至少一个描述性模型。然而，备选地，处理检测器46也能够实施至少一个描述性模型，至少一个描述性模型可以被编码在处理检测器46的硬件或软件中。在一些实施例中，尤其是当处理检测器46被配置用于对指示性实体的对比检测时，数据库48可以包括用于对信号样本中的实体(即，单个像素或像素集)进行分类的查找比较数据。在一些实施例中，处理检测器46能够被配置为根据其被分类的状态来“标记”信号样本中的实体。
另外，在信号检测器单元18中的下游，可以提供掩蔽单元50，掩蔽单元50能够被配置用于掩蔽检测到的非指示性实体。如上文提到的，对非指示性实体的检测能够以间接的方式被执行，因为首要地检测指示性实体。因此，未被分类为指示性实体的剩余实体能够被分类为非指示性实体。通过举例的方式，掩蔽单元50能够被配置用于以具有恒定颜色或恒定值的替换实体来替换信号样本中的非指示性实体。此外，备选地，掩蔽单元50能够被配置用于使非指示性实体模糊。模糊操作或类似的图像处理操作优选地被应用于信号样本的相当大的部分。换言之，优选地，模糊操作被应用于实体或包括多个像素的实体集。
在一些实施例中，备选地或额外地，掩蔽单元50还能够被配置用于使指示性实体模糊。在这方面还优选的是，信号样本的相当大的(指示性)部分被模糊。优选地，掩蔽单元50能够减少指示性实体中的非指示性隐私信息，同时仍允许从其提取感兴趣的生命参数17。在该上下文中应当指出，模糊操作应当单独地被应用于指示性实体和非指示性实体，从而避免使各自区域和被嵌入在其中的信息混淆。
在检测并掩蔽信号样本中的非指示性实体后，能够生成传输的序列52，在传输的序列52中，非指示性边信息是基本上不能检测到的。传输的序列52能够相对于帧率和帧大小(分辨率)对应于输入序列44。最终，传输的序列52能够被递送到(任选的)数据存储设备36，并且因此被递送到处理单元20中的信号提取器38，以用于生命参数提取措施。优选的是，设备10a以使得不允许对(未经处理的)输入序列44的外部访问的方式被布置。在旨在分布信号样本的序列而不披露不必要的隐私信息的情况下，设备10a可以提供对传输的序列52的外部访问，参考附图标记54。
图3图示用于处理数据并提取生理信息的设备的另一备选实施例，由附图标记10b指代。设备10b被配置用于与外部传感器单元58协作。传感器单元58能够被布置为与设备10b分离(或者：远离设备10b)。外部传感器单元58能够被配置用于捕获可以被递送到接口56的输入序列。应当理解，外部传感器单元58能够被用于提前捕获图像序列。因此，设备10b也能够被配置用于处理已经被存储用于缓冲的输入序列44。然而，在一些情况下，记录和处理输入序列44仍能够基本上同时地被执行。输入数据能够经由适当的线缆或无线连接从外部传感器单元58被递送到接口56。也能够设想外部数据存储设备(在图3中未示出)能够被耦合到接口56，以用于递送先前收集的数据。
在图3中，信号检测器单元18不一定必须包括(内部)传感器单元。相反，输入序列44能够通过接口56被递送到数据处理检测器46。(任选的)掩蔽单元50也可以被提供在图3的信号检测器单元18中。掩蔽单元50能够被认为是任选的，因为基本上处理检测器单元也能够被配置用于通过自身掩蔽或阻挡输入序列44的样本中的各自的非指示性实体。信号检测器单元18还可以包括检测器适配器元件60。检测器适配器元件60能够与描述性模型被结合利用，描述性模型被配置为参数皮肤模型。因此，检测器适配器元件60能够被配置用于适当地调节描述性模型的参数。尤其地，参数皮肤模型可以包括能够根据影响参数中的变化来调节的参数。影响参数能够是从包括以下项的组中选择的：皮肤颜色类型、民族地区、族群、身体区域、性别、传感器单元特性和照明条件、以及它们的组合。因此，经由手动操作或经由自动(校准)操作，能够检测各自的影响参数变化，并且因此能够相应地调节参数皮肤模型。最终，传输的序列52能够经由(任选的)数据存储设备36直接或间接地被递送到各自的处理单元20。
图4a和图4b示范性地图示输入信号样本64和对应的(处理过的)传输的信号样本70。信号样本64包括对暴露若干感兴趣区域14a、14b、14c的感兴趣对象12的表示，其能够被认为是指示潜在的生命参数。此外，存在对象12中的非指示性区域68。例如，非指示性区域68能够由被衣服遮盖的身体区域形成。此外，输入信号样本64能够指示周围元素66a、66b，周围元素66a、66b也被认为是不指示期望的生命参数。通常，仅需要感兴趣区域14a、14b、14c用于期望的信号提取。相反，周围元素66a、66b以及非指示性区域68，或者更一般地，信号样本64的背景，可以包括隐私相关的信息，从而允许做出关于房屋情况、当前位置、财富状态或者甚至对象12的人格的结论。因此期望能够从各自的数据的任何流通或传输排除这样的附加信息(在本文中也被称为边信息)。
在图4b中示出的传输的信号样本70能够形成在处理输入序列44(参考图2和图3)后在信号检测器单元18中生成的传输的序列的一部分。相反，在图4a中示出的信号样本64能够形成输入序列44的各自的部分。如上文所指示的，在传输的信号样本70中，基本上保留了包括指示性实体的感兴趣区域14a、14b、14c，同时从传输的信号样本70去除或在传输的信号样本70中抑制边信息。因此，区域72被形成在传输的信号样本70中，传输的信号样本70可以基本上被认为是被掩蔽的区域或者为空白区域或具有恒定值的区域。在这方面值得提出的是，在图4b中表示感兴趣区域14a、14b、14c的信号实体可以基本上对应于图4a中的各自的实体或与图4a中的各自的实体具有相同的值。仅出于说明的目的，区域14a、14b、14c在图4b中被涂黑。对应地，出于说明的目的，添加了区域72的方格图案。从图4b得到，传输的信号样本70的确解决了隐私保护措施，因为不再呈现不必要的隐私相关的信息。
图5示范性地图示用于处理数据并用于提取生理信息的另一备选设备的总体布局。设备10c可以与在图2中图示的设备10a具有相似的布局。设备10c的信号检测器单元18还包括特征检测器76和对应的特征掩蔽单元78。特征检测器76和特征掩蔽单元78还能够有助于隐私保护。为此，特征检测器76能够被配置用于检测对象12中的显著特征，对象12中的显著特征出于生命参数提取的目的而被监测。特征检测能够利用描述性特征模型，描述性特征模型描述对对象12中的潜在指示性感兴趣区域中的显著特征的表示。
在这方面，进一步参考图6a和图6b。图6a和图6b两者示出表示对象12的信号样本的对应剖面。图6a示出取自输入信号样本的剖面82。图6b示出取自传输的样本的对应剖面86。特征检测能够面向能够被认为是身份相关的特征的显著特征。例如，图6b中的特征84a(眼睛区域)和84b(嘴巴区域)能够被认为是身份相关的特征。有利地，用于进一步增强隐私保护水平，这些特征84a、84b能够被检测并被掩蔽或被阻挡，使得其在各自的传输的样本中是基本上不能检测到的。图6b中的对应剖面86包括对感兴趣区域14的表示，感兴趣区域14被认为是高度指示感兴趣的生命参数，同时被掩蔽的区域(或者：空白的区域)72也存在。此外，身份相关的特征由各自的掩蔽部分88a、88b替换，这基本上不允许得到关于感兴趣对象12的人格的结论。
在图5中示出的特征检测器76能够被利用于检测各自的身份相关的特征84a、84b。可以备选地也被集成到特征检测器76中的特征掩蔽单元78可以掩蔽、抑制或衰减信号样本中的各自的实体，从而得到在其中仅存在被掩蔽的特征88a、88b的传输的样本。如在图5中所指示的，特征检测器76和特征掩蔽单元78能够被配置用于与数据处理检测器46和各自的掩蔽单元50并行地处理输入(样本)序列44。然而，根据备选方法，特征检测器76和特征掩蔽单元78也能够被配置用于处理已经由数据处理检测器46和掩蔽单元50预处理过的信号样本。仍然，也能够设想备选的处理顺序。
已经展示了由本发明涵盖的若干备选的示范性方法，图7指示意性地图示用于处理数据并用于提取生理信息的方法。
首先，在步骤100中，接收信号样本104a、104b、104c的输入数据流或输入序列102。由箭头t指示时间轴。信号样本104a、104b、104c中的每个可以包括对感兴趣的对象12以及对周围元素66c的表示，或者更一般地，可以包括背景信息或边信息。
子例程106可以随后，子例程106基本上用于检测信号样本104a、104b、104c中的指示性实体，并且因此也用于检测非指示性实体。更具体地，子例程106能够用于检测信号样本104a、104b、104c中的皮肤部分和非皮肤部分。在步骤108中，能够选择信号样本104中的待处理实体110。如上文所指示的，术语“实体”可以代表信号样本104中的单个像素或像素集。在随后的分类步骤120中，各自的实体110被分类为指示性状态和非指示性状态中的至少一种。为此，分类步骤120能够利用描述性模型114，尤其是描述性皮肤模型。描述性模型114能够包括对信号样本104中的指示实体的表示的估计的特性。
通过举例的方式，出于说明的目的，描述性模型114能够包括概率分布或者类似的功能图或功能表面。描述性模型114也能够利用一组(参考)直方图。在图7中，描述性模型114能够是基于针对诸如各自的待分类的信号实体110的输入变量的诸如高斯分布的概率分布的。所述变量能够通过由至少一个信道118a、118b形成的域中的各自的值来表征。通过举例的方式，能够利用两个或甚至更多个信道，其每个可以表示电磁辐射的各自的特性。基本上，给定的变量可以取这样的域内的任何值。由于描述性模型114可以提供可变性分布(参考概率轴116)，所以能够执行变量是否被认为是指示性或非指示性的分类。如上文已经指示的，能够利用其他类型的描述性模型。因此，在图7中对描述性模型114的表示仅是出于说明性目的而被提供的。
取决于分类结果，步骤122或步骤124可以随后。在可以在实体110被分类为非指示性时随后的步骤122中，各自的实体能够被掩蔽、被阻挡、被衰减或以类似方式被处理，从而确保非指示性实体在另外的信号操作阶段中是基本上不能检测到的。在可以在各自的实体110被分类为指示性实体时随后的步骤124中，实体能够基本上被传输或被允许通过。以此方式，在数据中保留指示性实体以用于另外的信号处理操作。
无论分类步骤120的结果如何，另外的步骤126都可以随后，另外的步骤126可以用于创建除非当前待处理样本104中的每一单个实体都已经被分类否则下一信号实体110必须被选择并被分类的命令。各自的命令能够被转移到实体选择步骤108。以此方式，子例程106能够逐循环地操作。
已经完成子例程106后，最终能够生成传输的样本132a、132b、132c的传输的序列130，其中，主要保留了至少一个指示性感兴趣区域14。对于生命参数提取措施不必要的边信息在传输的序列130中不再能检测到。在随后的信号导出步骤134中，能够从传输的序列130导出特性信号132。为此，能够处理各自的传输的样本132，从而导出特性信号142基于其的单个值或索引元素140。通过举例的方式，单个值或索引元素140能够表示传输的样本132中的感兴趣区域14的平均特性。因此，单个值或索引元素140能够表示各自的平均颜色特性。为此，能够利用索引元素140的向量表示。
索引元素140能够表示信号空间136内的特定值，例如颜色空间中的特定值。信号空间136能够被视为用于表示(数字)信号中的电磁辐射特性的约定。信号空间136可以包括若干互补性通道138a、138b、138c。在示范性的非限制性范例中，能够设想RBG颜色空间。在这方面，互补性通道138a、138b、138c可以表示各自的R通道、G通道和B通道。互补性通道138a、138b、138c组合形成信号空间136，并且因此索引元素140可以取一域的值。通过处理多个传输的样本132，最终能够获得对应的多个单个值或索引元素140，对应的多个单个值或索引元素140形成特性信号142的基础。通常，特性信号142可以表示感兴趣区域14中的轻微(颜色)波动。
在另外的后续信号处理步骤144中，能够对特性信号142应用信号优化和信号增强措施，从而得到增强的特性信号146。在这方面，能够设想若干信号处理措施，包括滤波、加窗等。在额外的信号提取或信号分析步骤148中，能够获得感兴趣的生命参数150。应当理解，在一些情况下，基本上可能感兴趣的是对生命参数150的基于时间的表示和/或基于频率的表示。
通过举例的方式，本发明能够被应用于健康护理的领域，例如非干扰性远程患者监测，被应用于一般监控领域，例如安全监视，并且被应用于所谓的生活环境中，例如健身器械等。应用可以包含对氧饱和度(脉搏血氧饱和度仪)、心率、血压、心输出量、血液灌注的变化的监测、对自主神经功能的评估以及对外周血管疾病的检测。不用说，在根据本发明的方法的实施例中，能够以改变的顺序或者甚至同时地执行本文中描述的方法中的几个。另外，也能够在不脱离本发明的范围的情况下跳过步骤中的一些。这尤其适用于若干备选的信号处理步骤。所公开的说明性实施例中的若干能够采取硬件实施例、软件实施例的形式，或者包含硬件和软件元件两者的实施例的形式。一些实施例被实施在软件中，所述软件可以包含固件和应用软件。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述应被认为是说明性或示范性的而非限制性的；本发明不限于所公开的实施例。通过研究附图、说明书和权利要求书，本领域技术人员在实践要求保护的发明时能够理解并实现所公开实施例的其他变型。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求书中记载的若干项目的功能。在互不相同的从属权利要求中记载了特定措施并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/被分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上，但是计算机程序也可以以其他形式被分布，例如经由因特网或其他有线或无线的远程通信系统。此外，不同的实施例能够采取能从计算机可用或计算机可读介质访问的计算机程序产品的形式，计算机可用或计算机可读介质提供用于由运行指令的计算机或者任何设备或系统使用或与运行指令的计算机或者任何设备或系统结合使用的程序代码。出于本公开的目的，计算机可用或计算机可读介质一般能够是能够包含、存储、通信、传播或运输用于由执行运行设备使用或与执行运行设备结合使用的程序的任何有形介质。
权利要求书中的任何附图标记不得被解释为对范围的限制。

Claims (15)

1.一种用于处理能从远程检测到的由对象(12)发射或反射的电磁辐射(16)导出的数据的设备，所述数据包括生理信息，所述设备包括：
-信号检测器单元(18)，其被配置用于接收输入信号并用于传输其指示性实体，所述指示性实体指示表示感兴趣对象(12)中的至少一个生命参数(17；150)的生理信息；以及
-处理单元(20)，其被配置用于从包括所述指示性实体的传输的信号提取所述至少一个生命参数(17；150)，其中，所述至少一个生命参数(17；150)是考虑检测到的表示循环活动的皮肤颜色性质而被提取的；
-其中，所述信号检测器单元(18)还被配置用于考虑至少一个定义的描述性模型(114)而检测所述指示性实体，使得由所述输入信号中的非指示性实体指示的非指示性边信息在得到的传输的信号中是基本上不能检测到的，所述至少一个定义的描述性模型描述身体皮肤外观特性与所述输入信号中的对应表示之间的关系。
2.如权利要求1所述的设备，其中，所述信号检测器单元(18)包括至少一个滤色器元件(28)，所述滤色器元件包括适于对应于所述至少一个描述性模型(114)的谱性质的滤波器响应。
3.如权利要求1所述的设备，其中，所述输入信号包括信号样本(104a、104b、104c)的输入序列(44；102)，其中，所述信号检测器单元(18)包括至少一个数据处理检测器(46)，所述数据处理检测器被配置用于考虑信号样本实体(110)中嵌入的谱信息而处理所述输入序列(44；102)的各自的信号样本(104a、104b、104c)，由此生成传输的信号序列(52；130)，其中，所述至少一个数据处理检测器(46)还被配置用于考虑所述至少一个描述性模型(114)而检测所述指示性实体，所述描述性模型描述身体外观特性与所述信号样本(104a、104b、104c)中的对应数据表示之间的关系。
4.如权利要求3所述的设备，还包括掩蔽单元(50)，所述掩蔽单元被配置用于掩蔽所述传输的信号序列(52；130)中的各自的非指示性实体，其中，所述数据处理检测器(46)还被配置用于将实体分类成指示性状态和非指示性状态中的一种。
5.如权利要求3所述的设备，其中，所述信号样本(104a、104b、104c)是考虑应用颜色模型的信号空间约定而被编码的，其中，应用的信号空间(136)包括用于表示形成所述信号样本(104a、104b、104c)的所述实体(110)的互补性通道(138a、138b、138c)，其中，所述实体(110)的各自的分量与所述信号空间(136)的各自的互补性通道(138a、138b、138c)相关。
6.如权利要求5所述的设备，其中，所述信号空间(136)包括基本上与照明变化无关的颜色表示。
7.如权利要求1所述的设备，其中，所述描述性模型(114)是皮肤颜色模型，所述皮肤颜色模型描述考虑了信号空间约定的皮肤表示，并且其中，所述描述性模型(114)是非参数皮肤模型和参数皮肤模型中的至少一种。
8.如权利要求4所述的设备，其中，所述掩蔽单元(50)还被配置用于处理所述指示性实体，使得所述至少一个生命参数(17；150)在所述传输的信号序列(52；130)中是基本上能检测到的，其中，由所述指示性实体表示的非指示性边信息在所述传输的信号序列(52；130)中至少部分地被衰减。
9.如权利要求1所述的设备，还包括数据库(48)，所述数据库提供可归因于影响参数的多个描述性模型(114)，所述影响参数是从包括以下项的组中选择的：皮肤颜色类型、民族区域、族群、身体区域、性别、传感器单元特性和照明条件、以及它们的组合。
10.如权利要求1所述的设备，其中，所述信号检测器单元(18)还被配置用于考虑影响参数而调整当前描述性模型(114)，所述影响参数是从包括以下项的组中选择的：皮肤颜色类型、民族区域、族群、身体区域、性别、传感器单元特性和照明条件、以及它们的组合。
11.如权利要求1所述的设备，还包括传感器单元(34)，尤其是相机，所述传感器单元被配置用于在一距离处感测电磁辐射，其中，所述传感器单元(34)被耦合到所述信号检测器单元(18)，使得在传输各自的信号样本(104a、104b、104c)时所述输入信号中的非指示性实体基本上被无视。
12.如权利要求1所述的设备，还包括特征检测器(76)以及特征掩蔽单元(78)，其中，所述特征检测器被配置用于检测所述输入序列(44；102)的所述信号样本(104a、104b、104c)中的身份相关的显著特征(84a、84b)，所述特征掩蔽单元被配置用于掩蔽所述传输的信号序列(52；130)中的各自的实体。
13.如权利要求1所述的设备，其中，所述处理单元(20)还被配置为能够从传输的样本(132a、132b、132c)的序列(130)提取所述至少一个感兴趣的生命参数(17；150)的光体积描记处理单元，其中，所述至少一个生命参数(17；150)能够是考虑由皮肤颜色性质表示的血管活动而被提取的。
14.一种用于处理能从远程检测到的由对象(12)发射或反射的电磁辐射(16)导出的数据的方法，所述数据包括生理信息，所述方法包括以下步骤：
-接收输入信号并传输其指示性实体，所述指示性实体指示表示感兴趣对象(12)中的至少一个生命参数(17；150)的生理信息；
-考虑至少一个定义的描述性模型(114)而检测所述指示性实体，使得由所述输入信号中的非指示性实体表示的非指示性边信息在得到的传输的信号中是基本上不能检测到的，所述至少一个定义的描述性模型描述身体皮肤外观特性与所述输入信号中的对应表示之间的关系；并且
-从包括所述指示性实体的所述传输的信号提取所述至少一个生命参数(17；150)，其中，所述至少一个生命参数(17；150)是考虑检测到的表示循环活动的皮肤颜色性质而被提取的。
15.一种计算机程序，其包括程序代码单元，所述程序代码单元用于当在计算机上执行所述计算机程序时令所述计算机执行如权利要求14所述的方法的步骤。
CN201380048767.5A 2012-09-21 2013-09-17 用于处理能从远程检测到的电磁辐射导出的数据的设备和方法 Active CN104661583B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261703828P 2012-09-21 2012-09-21
EP12185452 2012-09-21
EP12185452.5 2012-09-21
US61/703,828 2012-09-21
PCT/IB2013/058612 WO2014045197A1 (en) 2012-09-21 2013-09-17 Device and method for processing data derivable from remotely detected electromagnetic radiation

Publications (2)

Publication Number Publication Date
CN104661583A true CN104661583A (zh) 2015-05-27
CN104661583B CN104661583B (zh) 2017-07-07

Family

ID=47257405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048767.5A Active CN104661583B (zh) 2012-09-21 2013-09-17 用于处理能从远程检测到的电磁辐射导出的数据的设备和方法

Country Status (6)

Country Link
US (2) US9839375B2 (zh)
EP (1) EP2897518B1 (zh)
JP (1) JP6306022B2 (zh)
CN (1) CN104661583B (zh)
BR (1) BR112015006003A2 (zh)
WO (1) WO2014045197A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108309302A (zh) * 2018-03-20 2018-07-24 中南大学湘雅医院 一种外科手术微循环监测方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5848773B2 (ja) * 2010-11-17 2016-01-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 入力信号を出力信号に変換するためのシステム及び方法
US20170014087A1 (en) * 2014-03-31 2017-01-19 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject
US9582879B2 (en) 2014-10-20 2017-02-28 Microsoft Technology Licensing, Llc Facial skin mask generation for heart rate detection
JP6308161B2 (ja) * 2015-03-31 2018-04-11 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
WO2016159150A1 (ja) 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
EP3328271B1 (de) * 2015-07-31 2022-10-05 Kenkou GmbH Verfahren zur nichtinvasiven bestimmung von vitalparametern eines lebenden organismus
US20170085759A1 (en) * 2015-09-17 2017-03-23 Dan Valdhorn Method and appartaus for privacy preserving optical monitoring
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
EP3442400A1 (en) * 2016-04-13 2019-02-20 Koninklijke Philips N.V. System and method for skin detection of a human subject
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
WO2018003751A1 (ja) * 2016-06-29 2018-01-04 コニカミノルタ株式会社 生体監視装置、生体監視方法及び生体監視システム
US10861605B2 (en) 2016-08-22 2020-12-08 Aic Innovations Group, Inc. Method and apparatus for determining health status
AU2016432444B2 (en) * 2016-12-15 2021-12-16 Fabio D'angelo Surveillance device
US11219987B2 (en) * 2019-06-06 2022-01-11 George R Anex Tool for installation and removal of retention knobs
CN113887311B (zh) 2021-09-03 2023-05-02 中山大学中山眼科中心 一种保护眼科患者隐私的方法、装置及存储介质
CN114041769A (zh) * 2021-11-25 2022-02-15 深圳市商汤科技有限公司 心率测量方法及装置、电子设备及计算机可读存储介质
EP4353143A1 (en) * 2022-10-12 2024-04-17 Koninklijke Philips N.V. Detection of vital signs from images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090306484A1 (en) * 2007-05-22 2009-12-10 Kurtz Andrew F Monitoring physiological conditions
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
CN101852855A (zh) * 2005-02-14 2010-10-06 数字信号公司 激光雷达系统和用于提供线性调频电磁辐射的系统和方法
US20100309300A1 (en) * 2008-09-13 2010-12-09 Rajeshwar Chhibber Method and System for Analyzing Physical Conditions Using Digital Images
CN101959458A (zh) * 2008-03-06 2011-01-26 摩托罗拉公司 便于使用可见光图像来测定心率的方法和设备
WO2011021128A2 (en) * 2009-08-20 2011-02-24 Koninklijke Philips Electronics N.V. Method and system for image analysis
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
WO2012066454A1 (en) * 2010-11-17 2012-05-24 Koninklijke Philips Electronics N.V. System and method for converting an input signal into an output signal

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034377A (ja) * 2004-07-22 2006-02-09 Toshiba Corp 呼吸計測装置
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US20080294018A1 (en) 2007-05-22 2008-11-27 Kurtz Andrew F Privacy management for well-being monitoring
EP2243077A4 (en) * 2008-01-07 2012-09-26 Myskin Inc SYSTEM AND METHOD FOR ANALYZING LIGHT-MATERIAL INTERACTION BASED ON SPECTRAL FOLDING
JP5834011B2 (ja) 2009-10-06 2015-12-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852855A (zh) * 2005-02-14 2010-10-06 数字信号公司 激光雷达系统和用于提供线性调频电磁辐射的系统和方法
US20090306484A1 (en) * 2007-05-22 2009-12-10 Kurtz Andrew F Monitoring physiological conditions
CN101959458A (zh) * 2008-03-06 2011-01-26 摩托罗拉公司 便于使用可见光图像来测定心率的方法和设备
US20100309300A1 (en) * 2008-09-13 2010-12-09 Rajeshwar Chhibber Method and System for Analyzing Physical Conditions Using Digital Images
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
WO2011021128A2 (en) * 2009-08-20 2011-02-24 Koninklijke Philips Electronics N.V. Method and system for image analysis
WO2012066454A1 (en) * 2010-11-17 2012-05-24 Koninklijke Philips Electronics N.V. System and method for converting an input signal into an output signal
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTINKAUPPI B, ET AL: "Detection of skin color under changing illumination: a comparative study", 《IMAGE ANALYSIS AND PROCESSING》 *
PRATIK SAHINDRAKAR: "Improving Motion Robustness of Contact-less Monitoring of Heart Rate Using Video Analysis", 《MASTER EMBEDDED SYSTEMS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108309302A (zh) * 2018-03-20 2018-07-24 中南大学湘雅医院 一种外科手术微循环监测方法及装置
CN108309302B (zh) * 2018-03-20 2019-09-20 中南大学湘雅医院 一种外科手术微循环监测方法及装置

Also Published As

Publication number Publication date
US20150238120A1 (en) 2015-08-27
CN104661583B (zh) 2017-07-07
JP6306022B2 (ja) 2018-04-04
EP2897518B1 (en) 2020-09-16
BR112015006003A2 (pt) 2017-07-04
US20140086462A1 (en) 2014-03-27
US9098901B2 (en) 2015-08-04
WO2014045197A1 (en) 2014-03-27
JP2015535183A (ja) 2015-12-10
EP2897518A1 (en) 2015-07-29
US9839375B2 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
CN104661583B (zh) 用于处理能从远程检测到的电磁辐射导出的数据的设备和方法
Guntuku et al. What twitter profile and posted images reveal about depression and anxiety
Kolkur et al. Human skin detection using RGB, HSV and YCbCr color models
CN102473238B (zh) 用于图像分析的系统和方法
Prakash et al. Bounded Kalman filter method for motion-robust, non-contact heart rate estimation
Li et al. Learning to predict gaze in egocentric video
CN107122709B (zh) 活体检测方法及装置
CN108549884A (zh) 一种活体检测方法及装置
US20140316235A1 (en) Skin imaging and applications
CN106570489A (zh) 活体判别方法和装置、身份认证方法和装置
CN105975938A (zh) 一种智能动态人脸识别社区管家服务系统
CN103220976A (zh) 用于将输入信号转换为输出信号的系统和方法
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
Ruminski et al. Interactions with recognized patients using smart glasses
CN106657056A (zh) 一种生物特征信息管理方法及其系统
CN106682473A (zh) 一种用户身份信息的识别方法及其装置
Southwell et al. Human object recognition using colour and depth information from an RGB-D Kinect sensor
KR20180125756A (ko) 감정인식 인터페이스 장치
Lin et al. A de-identification face recognition using extracted thermal features based on deep learning
CN104809371B (zh) 判断头戴式智能设备的鉴权信息有效性的装置和方法
Kholerdi et al. Driver's drowsiness detection using an enhanced image processing technique inspired by the human visual system
Koukiou et al. Face locations suitable drunk persons identification
Zheng Static and dynamic analysis of near infra-red dorsal hand vein images for biometric applications
Kumar et al. Skin color segmentation for detecting human face region in image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant