CN108471967B - 用于测量提取的信号的质量的装置和方法 - Google Patents
用于测量提取的信号的质量的装置和方法 Download PDFInfo
- Publication number
- CN108471967B CN108471967B CN201680075787.5A CN201680075787A CN108471967B CN 108471967 B CN108471967 B CN 108471967B CN 201680075787 A CN201680075787 A CN 201680075787A CN 108471967 B CN108471967 B CN 108471967B
- Authority
- CN
- China
- Prior art keywords
- signal
- quality
- illumination
- physiological information
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013442 quality metrics Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims description 64
- 230000033001 locomotion Effects 0.000 claims description 52
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000005311 autocorrelation function Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000007635 classification algorithm Methods 0.000 claims 2
- 230000001766 physiological effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 13
- 238000012545 processing Methods 0.000 description 27
- 230000008901 benefit Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 230000035790 physiological processes and functions Effects 0.000 description 11
- 210000003491 skin Anatomy 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 210000004207 dermis Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 210000002615 epidermis Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Pulmonology (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
提供了通过提供一种用于产生针对从图像帧的序列进行的生理信息提取的质量度量的系统来评估信号的提取的质量和生理测量结果的可靠性的系统和方法，所述系统包括：信号提取单元，其被配置为从多个所述图像帧中提取表示生理特性的信号；信号分析器，其被配置为根据所述信号使用多个计算函数来计算多个生理信息结果，所述多个计算函数被包括在计算函数的列表中，每个生理信息结果是使用不同的计算函数来计算的；以及质量度量计算器，其用于基于根据所述多个生理信息结果中的生理信息结果之间的比较导出的信号分析度量来计算质量度量值。
Description
技术领域
本发明涉及从其他数据中提取周期性信号，特别是从视频序列中提取表示生理特性的信号。
背景技术
能够分析活体对象的视频序列，并检测图像中的小的变化，这些变化是该对象的生理过程的结果。这些生理过程之中有诸如血流、呼吸和出汗之类。
某些生理过程能够经由皮肤反射变化而被观测到。人体皮肤能够被建模为具有至少两层的对象，其中的一层是表皮(薄的表层)，另一层是真皮(表皮下的较厚的层)。特定比例5％的入射光线在皮肤表面处被反射。剩余的光在被称为身体反射的现象(在二色反射模型中进行描述)中在两个皮肤层内被散射和吸收。通常存在于表皮和真皮的边界处的黑色素表现得像光学滤波器，其主要吸收光。在真皮中，光既被散射又被吸收。吸收取决于血液成分，因此吸收对血流变化敏感。真皮包含密集的血管网络，约占成人的总血管网络的10％。这些血管根据身体内的血流而收缩和扩张。它们因此改变了真皮的结构，这影响了皮肤层的反射。
诸如呼吸的其他生理过程引起患者的表面上的移动。
诸如血氧水平的变化的其他生理过程能够将其本身表现为小的颜色变化。
能够在这些变化中检测并提取具有某种周期性内容的信号，并从中获得结果，诸如在周期性过程的情况下为频率。例如，对象可以用环境光照明并使用摄像机拍摄。通过分析图像序列的帧之间的对应像素的值的变化，能够提取时变信号。使用如快速傅立叶变换之类将该信号变换到频率类域中，并且从频域谱中可以得出对象的心率的值作为生理测量结果。这些生理测量通常被称为生命体征。
像素值的变化通常较小，并且通常在1个颜色通道中比其他更明显。因此被查找的信号对应较小。
可能会有像素值的其他变化，例如由于总体图像的变化而引起的像素值的变化，并且这些变化能够相对较大。还存在像素值中的随机变化的来源，例如图像传感器中的噪声和照明变化(例如闪烁)。所有这些对所有意图和目的而言都与所寻求的信号不相关。因此，信噪比很小，生理测量结果有时可能具有可疑的可靠性。
发明内容
因此，期望通过提供一种用于产生针对从图像帧的序列进行的生理信息提取的质量度量的系统来提供一种评估信号的提取的质量和生理测量结果的可靠性的方法，所述系统包括：信号提取单元，其被配置为从多个所述图像帧中提取表示生理特性的信号；信号分析器，其被配置为根据所述信号使用多个计算函数来计算多个生理信息结果，所述多个计算函数被包括在计算函数的列表中，每个生理信息结果是使用不同的计算函数来计算的；以及质量度量计算器，其用于基于根据所述多个生理信息结果中的生理信息结果之间的比较导出的信号分析度量来计算质量度量值。这提供了这样的优点，即不同的计算函数的结果一致的程度能够是所提取的信号质量的指示，并且因此能够导出对其做出贡献的图像处理。
根据实施例，所述计算函数的列表包括自相关函数、傅立叶变换函数、功率谱密度函数和拉普拉斯变换。这些具有稍微不同的特性和敏感性的优点。因此，一致的程度可能是整个过程的质量的有用指示。
根据实施例，根据前述权利要求中的任一项所述的系统还包括照明质量评估器，所述照明质量评估器被配置为产生指示所述信号的幅度的照明值。这具有以下优点：连同由‘分析方法的比较’提供的过程的总体评估，质量度量对照明质量具有敏感性并且能够被用户用来调整照明。
根据实施例，所述系统还包括运动补偿评估器，所述运动补偿评估器被配置为产生根据所述信号的所述幅度的变化中的至少一个以及根据表示所述多个图像帧中的图像帧之间的图像特征的相对运动的位移矢量导出的运动补偿度量。这具有以下优点：连同由‘分析方法的比较’提供的过程的总体评估，质量度量对运动补偿质量具有敏感度。质量度量能够被用户用来调整系统设置或稳定对象或鼓励他们更少移动。另一可能性是质量度量能够由控制器用来控制信号提取单元的设置。
根据实施例，所述系统还包括照明角度评估器，所述照明角度评估器被配置为产生根据反射的照明水平的测量结果导出的照明角度度量。所述系统能够以多种方式来测量倾斜照明影响结果的程度。所述系统可以通过使用照明角度评估器根据反射的照明水平测量照明均匀性或角度来对照明质量度量做出贡献。这具有对为整个系统的设置或环境的结果的缺陷或问题更敏感的优点。
根据实施例，所述照明角度度量基于以下项中的至少一个：像素值的直方图、标准偏差、像素值的方差、跨感兴趣区域的所述像素值中的梯度的测量结果以及来自定向光电二极管的读数。该直方图在信息内容上与信号处理已经需要的计算相似，并且因此可以以类似的方式被容易地实施为质量度量的部分。这可以是比直方图更精确的照明质量指示，并且包含更精确的优点在于它能够用于生成能够指导用户如何改进设置的反馈。
根据实施例，根据前述权利要求中的任一项所述的系统被配置为基于信号比较度量、照明质量度量、运动补偿度量和照明均匀性度量中的至少两个的组合来计算所述质量度量值。定向光电二极管的优点在于它们是相对便宜的，并且能够被放置和取向以考虑实际情形。
根据实施例，根据前述权利要求中任一项所述的系统被配置为将质量度量值与在选定时间段内的第一选定限制进行比较并记录通过失败结果，并将所述选定时间段内的通过失败结果的数量与第二选定限制进行比较，以便产生针对所述选定时间段的导出的质量度量。
根据实施例，根据前述权利要求中的任一项所述的系统被配置为提供所提取的生理信息的质量的指示。
另一方面，提供了一种产生针对生理信息结果的提取的质量度量的方法，所述方法包括：从视频图像的序列中提取表示生理特性的信号；根据所述信号使用多个计算函数来计算多个生理信息结果，所述多个计算函数被包括在计算函数的列表中，每个生理信息结果是使用不同的计算函数来计算的；并且基于所述多个生理信息结果中的生理信息结果之间的比较来计算质量度量。
根据实施例，所述计算函数的列表包括自相关函数、傅立叶变换函数、功率谱密度函数以及拉普拉斯变换。
根据实施例，所述方法还包括测量所述信号的幅度。
根据实施例，所述方法还包括测量所述信号的幅度的变化。
根据实施例，所述方法还包括测量照明落在感兴趣区域上的角度。
根据实施例，测量所述角度包括以下操作中的至少一个：计算跨所述感兴趣区域的反射的照明水平的直方图，测量跨所述感兴趣区域的所述照明水平的梯度，以及使用定向光电二极管来测量反射的照明水平。
另一方面，提供了一种包括指令的计算机程序产品，所述指令当在计算机上执行时使所述计算机执行本文中描述的方法和任何变型。
附图说明
参考附图通过以下对设备和方法的实施例的说明性且非限制性的详细描述，将更好地理解所公开的设备、系统和方法的以上以及额外的目的、特征和优点，在附图中：
图1表示用于测量对象中的生理过程的系统；
图2表示用于从视频图像的序列中提取生理信息的信号处理链；
图3表示由图2的信号处理链执行的操作的流；
图4表示根据用于根据来自图2的处理链的输出来提供质量度量的实施例的布置；
图5表示根据由图4的布置执行的实施例的流；
图6表示关于图像处理系统布置的根据用于根据来自图2的处理链的输出来提供质量度量的实施例的布置。
图7表示关于诸如图1的系统的图6的布置。
具体实施方式
在以下描述中，相同的附图标记表示类似的元件。在元件已经被描述的情况下，除非需要进一步解释，否则不再对其进行描述。
图1表示用于捕获和分析来自对象的视频图像的序列以便提取关于在对象中发生的生理过程的信息(‘生理信息’)的布置。对象1由光源2照明并使用相机3拍摄，该相机被设置为捕获视频图像的序列。来自相机3的视频图像的序列被馈送到处理设备4(PROC)，其分析视频图像的序列，从该序列中提取信号，并从信号中提取结果，例如心率。该结果以及在期望的情况下信号的表示然后被提供给显示器5(DIS)。
对象的某些部分将比其他部分更适合于提取所述信号。例如，在血流量和心率分析的情况下，已经发现脸部上的皮肤区域倾向于更好地工作。因此，优选选择某些区域(感兴趣区域或简称ROI)或事实上在这些ROI内包含的较小片块。由于信号由给定片块的帧之间的变化组成，所以必须在帧之间跟踪这些片块。
取决于光源2的取向，照明通常是定向的而不是平坦的，并且因此可以采用不同的路径到达对象。它可以采用从光源2到对象1的直接路径6，或者可以采用从如天花板的某个表面8反射的间接路径7。该光然后沿着反射的路径9被反射到相机3。当光源2瞄准对象1时，照明可以以近似均匀的分布到达对象的部分上，而沿着间接路径7的光可以以倾斜角度到达。
如在对象1后面所示的箭头所指示的，对象1倾向于相对于相机3，特别是相对于光源2和表面8，明显地移动。该运动导致两个问题。它使跟踪片块的问题更难，但更重要的是，在跟踪不够完美的任何情况下，它在像素值中引入大的变化。
由于对象1、光源2、相机3和表面8的相对位置在各情形之间可以相当大地变化，所以对象1上的照明的强度和均匀性也可以相当大地变化。虽然照明强度的绝对变化能够在一定程度上得到补偿，但是照明均匀性的变化可以对信号提取的质量有显著影响。
对象运动和照明非均匀性的影响彼此复合。
图2表示用于提取指示生理过程的信号并且根据所述信号来导出生理测量结果的处理链20。处理链20可以被方便地实施为处理设备4的部分。片块选择单元21(ROI)选择要跟踪的片块或ROI。可以有一个或多个片块被选择用于后续处理。片块选择单元21参考所选择的片块对图像执行运动补偿，以便将一系列运动补偿的片块馈送到信号提取器22(EXT)。信号提取器22对信号执行操作以便得出感兴趣的时变信号。这些操作可以包括对颜色通道的组合和/或对信号的标准化。其可以是片块序列已经被分解成较短的序列，以便使运动补偿的任务更容易。在这种情况下，提取单元22也可以将较短的序列组合成较长的序列。所提取的时变信号然后被馈送到信号分析器23(ANA)，其以生理信息计算器的角色执行操作以便得出感兴趣的生理信息结果。
片块选择单元21、信号提取单元22和信号分析器23可以被实施在运行适当软件的一个或多个通用处理器中。这具有能够使用预先存在的硬件的优点，并且允许随后的修改和调整。然而，它能够导致比模式专用解决方案更慢和/或更昂贵的解决方案。或者，它们可以被实施在运行被设计为实施相关功能的固件的微控制器中。当生产量足够高时，此解决方案可以更便宜。另一种可能性是在专用硬件中实施这些功能。大批量生产时，这通常更便宜，并且给出每单位成本的更高处理速度。
图3表示由处理链20应用的过程。在步骤s31(SEQ)处，将帧的序列提供给处理链20。
在步骤s32(SEL)，片块选择单元21使用多种方法中的一种或多种来选择片块。有时称为‘分割’的过程被执行。通过选择感兴趣的总体区域开始很方便。无论何时血流是感兴趣的生理过程，脸部都是合适的，因此可以使用脸部识别算法。Viola，P.和Jones，M.J.的“Robust real-time object detection”(Proc.of IEEE workshop on statistical andcomputational theories of vision，2001年7月13日)中描述了用于实施脸部检测的适当算法。还存在用于识别形状和颜色模式的备选算法，并且这些算法可以用于检测脸部区域。对于如呼吸的其他过程，可以使用用于识别胸部的其他方法。
另外，可以通过将块中的每个像素中的颜色的相对值与那些像素的绝对强度进行比较来将块分类为皮肤区域或不是皮肤区域。分析块内部和块之间的颜色梯度也能够有助于识别皮肤区域。识别皮肤区域由各种各样的可能肤色而变得更加困难，并且应当考虑到这一点。
在步骤s33(MC)处，由片块选择单元21执行运动补偿的优选步骤。这是优选的，因为通过从分析中的一系列帧中的相同区域获取像素值来执行信号提取更好。
这可以通过片块选择单元21识别包含所选择的(一个或多个)片块内的区别性特征的块并且确定这些块如何在其各自的帧内相对于其他帧改变位置来完成。为此存在各种解决方案。根据这些改变，片块选择单元21能够导出预测的运动矢量，其能够用来将所选择的(一个或多个)片块在各帧之间“对齐”。
在感兴趣的总体区域内选择一个或多个像素子集通常很有用。也可以需要在处理能力要求、处理时间和准确度之间达成折中，并且能够用更少的像素实现可接受的结果。
在步骤S34(SUBS)处，由片块选择单元21选择包含至少一个像素并且通常包含多个像素的这样的子集。来自序列中的所有帧的对应子集被识别以形成组。根据选定的相似性标准，这些对应的子集是最佳匹配。例如，这样的标准可以例如基于统计测度(诸如三种颜色的标准偏差)。在并行处理多个子集的情况下，将存在多个组。建立这些组的过程可以以各种方式来完成。可以执行对感兴趣的总体区域中的类似子集的穷举搜索。这能够通过移动选择窗口来完成，该选择窗口在被搜索的区域上选择像素的小集合。为了运动估计的目的，然后将每个小集合与被视为原点的帧中的参考小集合进行比较。这更准确，但计算量很大。备选地，可以至少部分地使用先前导出的预测的运动矢量。这具有较低的计算成本，但不够准确。在执行搜索的情况下，可以导出新的预测的运动矢量。还能够使用搜索和预测运动矢量两者在多阶段过程中组合各种方法。这样的解决方案可以是准确度与计算成本之间的可接受的折中。
在使用多个组的情况下，执行丢弃不满足标准的那些组的任选步骤s35(DIS)通常是有用的。这可以由信号提取器22执行。该标准通常被选择以便去除将例如通过降低整体信噪比而提供较差的信号提取结果的组。这样的标准可以是颜色和/或纹理的空间均匀性。另一种可能性是序列中的帧之间的运动的程度，使得能够消除在帧之间呈现太多运动的组。
在步骤S36(SEG)处，信号提取器22根据每个组建立提取的信号段。这通过找到针对讨论中的组的帧之间的像素值的差异来实现。各种准备性操作是可能的。例如，组中的像素值可以被归一化，即它们的值可以除以它们的平均值。例如，针对一个子集的所有像素值可以在每帧的基础上进行组合。这种组合可以通过找到(适当加权的)平均值并且平均值可以在颜色通道之间施加加权。能够将所有子集组合成单个平均值，即每帧的单个平均值。这具有对噪声的鲁棒性的优点。提取的信号段可以用于图像帧的总序列的短段。这提高了对在帧之间的对象的运动的鲁棒性，但是可以然后需要进一步处理以在整个帧的序列上“重建”信号。
在步骤s37(VAL)处，由信号分析器33分析所提取的信号段(或多个段)，以便找到表示感兴趣的生理参数的值，即生理信息结果。这可以是频率表示，诸如心率或呼吸率，或者它可以与诸如对象呼吸的幅度的幅度有关。事实上，它甚至可以是从这些中的一个导出的结果。
现在将讨论涉及获取频率的情形。
这种操作可以通过使用诸如离散或快速傅立叶变换(DFT或FFT)之类而变换成谱，即频域。从频谱，DC分量和被认为在带外的其他分量可以被丢弃，并且峰值对应于相关生理过程的基频。
对于N个复数xn的序列，DFT可以被表示为：
另一种方法可以是使用自相关(有时称为交叉自相关或序列相关)函数来得出指示准周期性信号的结果。仅作为说明，针对对其进行了n次观测并且存在均值μ和方差σ2的信号的自相关函数的估计的共同形成：
其中k是小于n的整数。
根据自相关的峰值之间的时间迟滞的倒数，能够导出周期性信号的频率。
第三种方法可以是使用功率谱密度函数(PSDF)。该函数表示信号的功率的频率分布。对于信号的样本的有限时间序列xn，有时将其定义或表示为：在总时间周期T＝NΔt内，样本处于离散时间xn＝x(nΔt)：
其中n在1与N之间。
在用于提取生理信息的系统中实施它们时，改变上述表达式或选择不同的公式(可能利用其他术语)可以是有用的。
另一种可能性是拉普拉斯变换，其也能够用于从信号的时域形式获得信号的频域表示。
其他可能性存在诸如多个信号分类(MUSIC)算法、基音检测算法(PDA)、平均幅度不同函数(ADMF)、平均平方平均差分函数(ASDMF)等。也存在分别被称为YIN算法和MPM算法的算法。
图4表示根据实施例的用于产生质量度量的系统40。如图2所示，存在信号处理链，其包括片块选择单元21、提取单元22和信号分析器23。除了向提取单元23提供一系列运动补偿的片块之外，在一个实施例中，片块选择单元21向照明质量评估器(ILL)41和运动质量评估器(MOT)42提供输入。在另一实施例中，信号提取器22向运动质量评估器42提供信息。信号分析器23向质量度量计算器(QMC)43提供输入，以及提供生理测量结果。
图5表示根据图4的系统的实施例操作的流程。
在步骤s51处，片块选择单元21向照明质量评估器41提供帧或者更具体地说，提供所选择的感兴趣的总体区域。照明质量评估器41能够使用计算针对整个帧或感兴趣的总体区域的像素值的直方图的方便方法。这可以根据每个颜色通道或针对组合的颜色通道而被执行。根据(一个或多个)直方图，可以将代表性值(例如平均值、标准偏差或中值)与量化噪声和相机噪声的值组合，以产生能够得出取决于照明的信噪比。量化由在像素中使用的存储它们针对每种颜色的值的位数定义，并且相机噪声由相机硬件定义并且是如图像传感器和相机光学器件之类的函数。这两个参数对于给定的系统都是已知的。
在步骤s52处，片块选择单元21向运动补偿评估器42提供来自它在步骤s33期间执行的关于运动补偿的处理的信息。该信息能够与图像稳定中使用的预测的运动矢量有关。例如，能够使用预测的运动矢量的最大幅值。运动补偿中使用的校正有时会向经校正的图像中引入错误(有时称为“伪影”)。这种伪影的范例是在强烈对比的区域之间的边界附近存在的失真。能够通过将参数(例如可能预期到它们的区域中的对比度梯度)进行比较来搜索这些伪影。
在备选实施例中，信号提取器22将关于所提取的信号的信息提供给运动质量评估器42。运动质量评估器能够计算所提取的信号水平随时间的变化。在任何给定的情形中，所提取的信号水平应保持相对恒定或至少在某些边界内保持相对恒定。预期限制外的变化通常是对象的运动的影响的结果或由运动补偿引入的伪影的影响的结果。例如，运动补偿伪影可以增加和/或减少后续片块之间的像素差异，这导致针对那些时间点的信号的幅度的明显变化。
应注意的是，能够将上述两种形式的运动质量评估器42进行组合并使用两种方式来评估运动补偿质量。
能够查看在特定时间或来自图像的特定部分的局部变化，或者查看随时间的平均变化，并将其与限制或预期值进行比较。此外，能够预期随时间平均的相对于像素值的信号强度处于特定界限内，因为给定系统检测给定生理现象的总体敏感性能够被习得。因此，这些界限外的偏移能够用于指示错误的存在。因此，它们能够用于评估对象运动的程度和运动补偿的效力，即作为运动补偿的质量度量。
在步骤s53处，信号分析器23执行根据实施例的操作以导出生理信息结果。如前所述，对于运动补偿和选择感兴趣区域有不同的选项。这些具有不同的特性，并且在某些条件下，任何两种选定方法可以产生不同的结果。此外，与背景像素值相比，所提取的信号通常将较弱。
如上所述，为了提取频率值，存在各种选项。由于前面的步骤的影响，这些也能够产生它们产生的结果的差异，特别是因为它们将在其上操作的所提取的信号与从其提取它的绝对像素值相比通常相对较弱。例如，对于ACF，希望产生能够被检测到的峰值，使得能够找到它们之间的迟滞。由于微弱的信号和前面的处理步骤的影响，峰值检测可能很困难。这甚至能够产生比实际迟滞更长的迟滞，并且将其解读为小于实际值的表观频率。对于短时或离散傅立叶变换(STFT或DFT)，低信噪比可以导致输出谱中中的虚假峰值，并且这些能够使找到感兴趣峰值更加困难，有时甚至达到表观基频为实际值的两倍的程度。功率谱密度函数(PSDF)对所提取的信号中的某些缺陷也具有敏感性。
因此，在步骤35处，在相同的信号上使用两种或更多种方法，并且由质量度量计算器43比较结果以产生表示时间频率变换的结果的质量的质量度量(“分析方法的比较”)。比较可以通过找到两个结果之间的差异来执行。其他可能性能够是记录一系列时间间隔内的差异，并计算差异的分布的方差或计算两个(或更多个)群体的读数的相关系数。可以存在另外的可能性。
因此，所述系统能够通过以下操作来产生针对从图像帧的序列进行的生理信息提取的质量度量：使用信号提取单元来提取信号，并且然后使用信号分析器根据所述信号使用多个计算函数来计算多个生理信息结果，每个结果使用不同的计算函数，并且然后使用质量度量计算器基于多个生理信息结果中的生理信息结果之间的比较来计算质量度量。这提供了如下优点：即它们一致的程度能够是所提取的信号质量的指示，并且因此能够导出对其做出贡献的图像处理。
通常，从图像帧中提取的信号是时域表示，并且生理信息结果是频域的或能够容易地从其导出频率的形式。
该方法可以从自相关函数、傅立叶变换和功率谱密度函数中选择。存在并且也可以使用导出频率的其他方法。这些具有如下优点：具有稍微不同的特性和敏感性。因此，一致的程度可以是整个过程的质量的有用指示。
图6表示包括根据实施例的用于产生质量度量的系统的用于产生生理信息的系统60。图像捕获单元61(IC)将视频帧的序列提供给处理链20。生理信息被馈送到耦合到显示器5的控制器62(CON)。照明质量评估器41、运动质量评估器42接收来自处理链20的输入，如关于图4所描述的。如上所述，质量度量计算器43从信号分析器23接收输入并执行‘分析方法的比较’。质量度量计算器43还接收来自照明质量评估器41和运动质量评估器42的结果。它向显示器5提供质量度量。图像捕获单元61还可以向显示器提供图像序列或其部分。系统60可以整体地或部分地被集成到单件设备中，并且该单件设备可以是摄像机2或诸如计算机的另一设备。该设备可以被实施在智能手机中。
耦合到控制器62的显示器可以将质量度量显示为数值，例如百分比或比例表示，以便向用户传达(或已经)显示的生理信息的可靠性。显示器也能够是颜色表示，诸如红色-琥珀色-绿色排列。上述的组合也是可能的。
质量度量可以在它被计算时被显示，也能够在测量的时段之后进行更新。另一种可能性是使系统60将质量度量值与选定限制进行比较，并记录其是通过还是失败。在选定时间段内，系统60能够记录这些通过失败结果的发生率，并且如果发生率本身低于选定限制，则该时间段整体上能够被认为是可接受的并且如此报告-例如用绿灯。或者，它能够将通过的百分比报告为导出的质量度量。例如，所述系统能够以每秒一个的速率在两分钟时段内记录上方/下方样本的数量。如果少于50％在限制外，则整个两分钟是可接受的。
质量度量计算器43可以将来自照明质量评估器41的结果连同‘分析方法的比较’的结果一起组合到质量度量中。这具有以下优点：连同由‘分析方法的比较’提供的过程的总体评估，质量度量对照明质量具有敏感性，并且能够由用户用来调整照明。
质量度量计算器43可以将来自运动质量评估器42的结果连同‘分析方法的比较’的结果一起组合到质量度量中。这具有以下优点：连同由‘分析方法的比较’提供的过程的总体评估，质量度量对运动补偿质量具有敏感性。质量度量能够由用户用来调整系统设置或稳定对象，鼓励他们更少移动或限制某些移动，如头部的旋转。另一种可能性是质量度量能够由控制器62用来控制信号提取单元22的设置。
质量度量计算器43可以将各种个体质量度量组合为加权和。如果要使用质量度量的简单显示，则它可以针对限制单个地检查每个并添加通过/失败结果。它也可以计算它们在它们各自的限制外的值的加权和。它也能够使用它们在限制外的偏移的频率。这些方法的组合也是可能的。将个体质量度量进行组合具有以下优点：除了对过程进行整体评估外，质量度量还能够反映由过程的特定部分(诸如照明质量和运动补偿)引起的问题。个体质量度量也能够被组合为监督学习方法的部分。
照明均匀性可以对最终结果有重大影响。因此，能够期望对此进行估计，并使用此估计作为质量度量的部分和/或向使用该系统的人给出关于是否应当调整照明的指示。
当照明是定向的并且在感兴趣的总体区域上以倾斜角度到达时会发生特定问题。由于诸如脸部的感兴趣的总体区域通常不是平的，所以倾斜照明能够导致阴影或显著性，例如，运动引起的跨感兴趣的总体区域的反射光水平的变化。这种影响导致信噪比的降低，部分因为在用于信号提取所选择的区域上的照明的实际水平能够较低，或者照明通常不如用户看起来的情况那样均匀。更重要的是，其上的照明梯度能够与信号处理(特别是运动补偿)相互作用，并显著降低信噪比。事实上，这种现象还放大了由对象的移动引起的问题。
图7表示用于捕获和分析来自对象的视频图像的序列以便使用根据实施例的系统60提取关于在对象中发生的生理过程的信息(‘生理信息’)的布置。除了关于图1描述的元件和系统60的元件之外，光电二极管71被布置为从所选择的方向接收光，即它们是定向的，并且将它们入射到其上的光的测量结果提供给控制器62。
从表面8反射或发射的光常常能够加剧由运动补偿功能遇到的困难。无论何时表面8是天花板并且无论何时对象1直立时，尤其如此，因为照明以非常小的角度落在对象的脸部上。当从天花板反射或发射的光是主要的光源时，问题更糟。
该系统能够以多种方式测量倾斜照明影响结果的程度。该系统可以通过使用照明角度评估器641根据反射的照明水平测量照明均匀性或角度来对照明质量度量做出贡献。这具有对为整个系统的设置或环境的结果的缺陷或问题更敏感的优点。照明角度评估器可以被组合到上述的照明质量评估器41中。
因此，照明角度评估器可以使用以下项中的至少一个：像素值的直方图、梯度的测量结果或跨感兴趣区域的所述像素值的标准偏差以及来自定向光电二极管的读数。这些的优点在下面进行讨论。
跨感兴趣的总体区域的全部或部分分布的像素的像素值的直方图可以披露能够指示倾斜照明的值的大差距(差距，或标准偏差或方差)，因为这样的照明强调了由对象形态产生的阴影。该直方图在信息内容上与参考图5所讨论的直方图类似，因此可以以类似的方式被容易地实施为质量度量的部分。应注意的是，诸如标准偏差和方差的统计参数能够在没有确定完整直方图的情况下被测量。这样的统计分析具有作为提取生理信息所必需的图像处理的部分的优点。
另一可能性是测量跨感兴趣区域的反射光的强度的梯度。这能够通过在一个或多个帧中使用适于披露梯度的存在的滤波器来搜索跨感兴趣的总体区域的在一个或多个方向上的像素的值来实现。通过‘滤波器’，这里是指对一个或多个像素的值执行的数学函数或操作，并且以便检测或披露感兴趣特征的存在。用于检测梯度的合适滤波器包括Haar类特性，并且这些特征能够被选择并被应用以检测垂直梯度和/或水平梯度。通过使用不同Haar类特征的组合，不仅能够检测梯度的存在，而且能够根据方向和程度对其进行分类。由此产生的信息能够根据前面讨论的任何方式而被组合到质量度量中。这可以是比直方图更精确的照明质量的指示，并且包括更精确的优点在于：它能够用于生成能够指导用户如何改进设置的反馈。也能够将两种方法进行组合，即执行直方图并使用梯度检测来精炼结果。通过首先使用直方图进行分类和选择，能够节省用于梯度检测所需要的计算资源。
另一可能性是使用定向二极管71来测量从表面8反射的光的水平。一个简单的方法能够是将单个测量结果与选定限制进行比较。更准确的方法能够是将来自朝向表面8取向的定向光电二极管71的测量结果与另一检测点进行比较。另一检测点能够是例如在与相机3相同的方向上取向的或者实际上具有由相机3本身测得的光照水平的第二定向光电二极管。许多相机具有能够用于提供第二定向光电二极管71的功能的环境光传感器或照度计。由瞄准表面的定向光电二极管71检测到的光的水平与另一探测点的比率能够与一个或多个选定阈值进行比较，以便提供照明的角度的可接受性的指示。或者，如早前所讨论的，该比率能够被组合成整体质量度量。定向二极管的优点是：它们相对便宜，并且能够根据实际情形来放置和取向。
应注意的是，上述实施例说明而不是限制本发明，并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计出许多备选实施例。
在权利要求书中，括号内的任何附图标记不得被解释为限制权利要求。动词“包括”及其变形的使用不排除除了权利要求中陈述的元件或步骤以外的元件或步骤的存在。在元件之前的词语“一”或“一个”不排除多个这种元件的存在。本发明可以通过包括若干不同元件的硬件以及通过适当编程的计算机或处理单元来实施。在列举了若干单元的设备权利要求中，这些单元中的若干可以由同一项硬件来体现。在互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。
本发明的各方面可以被实施在计算机程序产品中，所述计算机程序产品可以是存储在可由计算机运行的计算机可读存储设备上的计算机程序指令的汇集。本发明的指令可以采用任何可解读或可执行的代码机制，包括但不限于脚本、可解读的程序、动态链接库(DLL)或Java类。指令能够被提供为完整的可执行程序、部分可执行程序、对现有程序的修改(例如更新)或对现有程序的扩展(例如插件)。此外，本发明的处理的部分可以被分布在多个计算机或处理器上。
适合于存储计算机程序指令的存储介质包括所有形式的非易失性存储器，包括但不限于EPROM、EEPROM和闪存设备、诸如内部和外部硬盘驱动器的磁盘、可移除磁盘和CD-ROM盘。计算机程序产品可以被分布在这样的存储介质上，或者可以被提供以用于通过诸如HTTP、FTP、电子邮件的任何适当手段或通过连接到诸如因特网的网络的服务器来下载。
Claims (14)
1.一种用于产生用于评价从图像帧的序列进行的生理信息提取的质量的质量度量值的系统(40、60)，包括：
-信号提取单元(22)，其被配置为从多个所述图像帧中提取表示生理特性的信号；
-信号分析器(23)，其被配置为根据所述信号使用多个计算函数来计算多个生理信息结果，所述多个计算函数被包括在计算函数的列表中，每个生理信息结果是使用来自计算函数的列表的不同的计算函数来计算的，其中，所述计算函数的所述列表包括自相关函数、傅立叶变换函数、功率谱密度函数、拉普拉斯变换、多信号分类算法、基音检测算法以及均方平均差函数、YIN算法和MPM算法，以及
-质量度量计算器(43)，其用于基于所述多个生理信息结果中的生理信息结果之间的比较来计算所述质量度量值。
2.根据权利要求1所述的系统，还包括照明质量评估器(41)，所述照明质量评估器被配置为产生指示所述信号的幅度的照明值。
3.根据权利要求2所述的系统，还包括运动补偿评估器(42)，所述运动补偿评估器被配置为产生根据所述信号的所述幅度的变化中的至少一个以及根据表示所述多个图像帧中的图像帧之间的图像特征的相对运动的位移矢量导出的运动补偿度量。
4.根据权利要求1所述的系统，还包括照明角度评估器(641)，所述照明角度评估器被配置为产生根据反射的照明水平的测量结果导出的照明角度度量。
5.根据权利要求4所述的系统，其中，所述照明角度度量基于以下项中的至少一个：感兴趣区域的所述图像帧中的像素值的直方图、所述感兴趣区域的所述图像帧中的所述像素值的标准偏差、所述感兴趣区域的所述图像帧中的所述像素值的方差、跨所述感兴趣区域的所述图像帧中的所述像素值中的梯度的测量结果以及来自定向光电二极管的读数。
6.根据权利要求1-5中的任一项所述的系统，其被配置为基于信号比较度量、照明质量度量、运动补偿度量和照明角度度量中的至少两个的组合来计算所述质量度量值。
7.根据权利要求1-5中的任一项所述的系统，其被配置为将质量度量值与在选定时间段内的第一选定限制进行比较并记录通过失败结果，并将所述选定时间段内的通过失败结果的数量与第二选定限制进行比较，以便产生针对所述选定时间段的导出的质量度量。
8.根据权利要求1-5中的任一项所述的系统，其被配置为提供所提取的生理信息的质量的指示。
9.一种产生用于评价生理信息结果的提取的质量的质量度量值的方法，包括：
-接收视频图像的序列；
-从所述视频图像的序列中提取表示生理特性的信号；
-根据所述信号使用多个计算函数来计算多个生理信息结果，所述多个计算函数被包括在计算函数的列表中，每个生理信息结果是使用不同的计算函数来计算的，其中，所述计算函数的列表包括自相关函数、傅立叶变换函数、功率谱密度函数、拉普拉斯变换、多信号分类算法、基音检测算法以及均方平均差函数、YIN算法和MPM算法，并且
-基于所述多个生理信息结果中的生理信息结果之间的比较来计算所述质量度量值。
10.根据权利要求9所述的方法，还包括测量所述信号的幅度。
11.根据权利要求10所述的方法，还包括测量所述信号的幅度的变化。
12.根据权利要求9至11中的任一项所述的方法，还包括测量照明落在感兴趣区域上的角度。
13.根据权利要求12所述的方法，其中，测量所述角度包括以下操作中的至少一个：计算跨所述感兴趣区域的反射的照明水平的直方图，测量跨所述感兴趣区域的所述照明水平的梯度，以及使用定向光电二极管来测量反射的照明水平。
14.一种包括指令的计算机可读介质，所述指令当在计算机上被执行时使所述计算机执行权利要求9至13中的任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15202330 | 2015-12-23 | ||
| EP15202330.5 | 2015-12-23 | ||
| PCT/EP2016/082554 WO2017109169A1 (en) | 2015-12-23 | 2016-12-23 | Apparatus and method for measuring the quality of an extracted signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108471967A CN108471967A (zh) | 2018-08-31 |
| CN108471967B true CN108471967B (zh) | 2022-01-18 |
Family
ID=55027456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680075787.5A Active CN108471967B (zh) | 2015-12-23 | 2016-12-23 | 用于测量提取的信号的质量的装置和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10667704B2 (zh) |
| EP (1) | EP3393347B8 (zh) |
| JP (1) | JP7041061B6 (zh) |
| CN (1) | CN108471967B (zh) |
| WO (1) | WO2017109169A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10902619B2 (en) * | 2016-10-26 | 2021-01-26 | Duke University | Systems and methods for determining quality metrics of an image or images based on an edge gradient profile and characterizing regions of interest in an image or images |
| EP3844460A4 (en) * | 2018-08-31 | 2022-06-01 | Nuralogix Corporation | METHOD AND SYSTEM FOR DYNAMIC VISUALIZATION OF SIGNALS IN REAL TIME |
| CN110420011B (zh) * | 2019-08-07 | 2021-01-12 | 杭州泽铭睿股权投资有限公司 | 一种具有血谱光学图像成像功能的摄像机 |
| US11172836B1 (en) * | 2019-12-05 | 2021-11-16 | Sergio Lara Pereira Monteiro | Method and means to measure heart rate with fitbit devices |
| WO2022090944A1 (en) * | 2020-10-30 | 2022-05-05 | Biospectal Sa | Devices and methods for blood pressure estimation using transdermal optical recording |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090082642A1 (en) * | 2006-06-13 | 2009-03-26 | Elfi-Tech Ltd. | System and method for measurement of biological parameters of a subject |
| US20140148663A1 (en) * | 2012-11-23 | 2014-05-29 | Koninklijke Philips Electronics N.V. | Device and method for extracting physiological information |
| US20140275832A1 (en) * | 2013-03-14 | 2014-09-18 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a subject |
| US20140303454A1 (en) * | 2011-08-22 | 2014-10-09 | Isis Innovation Limited | Remote monitoring of vital signs |
| US20150031965A1 (en) * | 2013-07-26 | 2015-01-29 | Tata Consultancy Services Limited | Monitoring physiological parameters |
| US20150057554A1 (en) * | 2013-08-23 | 2015-02-26 | Covidien Lp | Systems and methods for monitoring blood pressure |
| US20150297142A1 (en) * | 2012-07-30 | 2015-10-22 | Koninklijke Philips N.V. | Device and method for extracting physiological information |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006856B2 (en) | 2003-01-10 | 2006-02-28 | Nellcor Puritan Bennett Incorporated | Signal quality metrics design for qualifying data for a physiological monitor |
| US7567833B2 (en) | 2004-03-08 | 2009-07-28 | Stryker Leibinger Gmbh & Co. Kg | Enhanced illumination device and method |
| US8401257B2 (en) | 2007-01-19 | 2013-03-19 | Bioptigen, Inc. | Methods, systems and computer program products for processing images generated using Fourier domain optical coherence tomography (FDOCT) |
| EP2511871B1 (en) | 2009-12-09 | 2018-05-09 | Fujitsu Limited | Capacitance sensor and biological image forming method |
| CN103476330B (zh) | 2011-04-21 | 2016-07-13 | 皇家飞利浦有限公司 | 用于人的生命体征测量的设备和方法 |
| WO2013156908A1 (en) | 2012-04-17 | 2013-10-24 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a living being |
| BR112014030765A2 (pt) | 2012-06-12 | 2017-06-27 | Koninklijke Philips Nv | sistema para determinar o sinal vital de um indivíduo, dispositivo para determinar o sinal vital de um indivíduo, método para determinar o sinal vital de um indivíduo e programa de computador |
| CN109157223A (zh) | 2012-12-04 | 2019-01-08 | 皇家飞利浦有限公司 | 用于获得生物的生命体征信息的设备及方法 |
| JP6290248B2 (ja) | 2012-12-21 | 2018-03-07 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法 |
| US20150037781A1 (en) | 2013-08-02 | 2015-02-05 | David S. Breed | Monitoring device and system for remote test taking |
| US9928607B2 (en) | 2013-10-17 | 2018-03-27 | Koninklijke Philips N.V. | Device and method for obtaining a vital signal of a subject |
-
2016
- 2016-12-23 EP EP16822181.0A patent/EP3393347B8/en active Active
- 2016-12-23 WO PCT/EP2016/082554 patent/WO2017109169A1/en active Application Filing
- 2016-12-23 JP JP2018532379A patent/JP7041061B6/ja active Active
- 2016-12-23 CN CN201680075787.5A patent/CN108471967B/zh active Active
- 2016-12-23 US US16/063,507 patent/US10667704B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090082642A1 (en) * | 2006-06-13 | 2009-03-26 | Elfi-Tech Ltd. | System and method for measurement of biological parameters of a subject |
| US20140303454A1 (en) * | 2011-08-22 | 2014-10-09 | Isis Innovation Limited | Remote monitoring of vital signs |
| US20150297142A1 (en) * | 2012-07-30 | 2015-10-22 | Koninklijke Philips N.V. | Device and method for extracting physiological information |
| US20140148663A1 (en) * | 2012-11-23 | 2014-05-29 | Koninklijke Philips Electronics N.V. | Device and method for extracting physiological information |
| US20140275832A1 (en) * | 2013-03-14 | 2014-09-18 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a subject |
| US20150031965A1 (en) * | 2013-07-26 | 2015-01-29 | Tata Consultancy Services Limited | Monitoring physiological parameters |
| US20150057554A1 (en) * | 2013-08-23 | 2015-02-26 | Covidien Lp | Systems and methods for monitoring blood pressure |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3393347B1 (en) | 2020-02-19 |
| JP2019503751A (ja) | 2019-02-14 |
| CN108471967A (zh) | 2018-08-31 |
| EP3393347A1 (en) | 2018-10-31 |
| WO2017109169A1 (en) | 2017-06-29 |
| JP7041061B2 (ja) | 2022-03-23 |
| US20180368707A1 (en) | 2018-12-27 |
| JP7041061B6 (ja) | 2022-05-30 |
| US10667704B2 (en) | 2020-06-02 |
| EP3393347B8 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108471967B (zh) | 用于测量提取的信号的质量的装置和方法 | |
| EP3478176B1 (en) | Method and apparatus for face detection/recognition systems | |
| US9025826B2 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
| US11672471B2 (en) | Osteoporosis diagnostic support apparatus | |
| JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| CN112200162B (zh) | 基于端到端网络的非接触式心率测量方法、系统和装置 | |
| JP6927322B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
| CN104424632B (zh) | 一种视频对比度异常检测方法及装置 | |
| CN105550694B (zh) | 一种度量人脸图像模糊程度的方法 | |
| Hernandez-Ortega et al. | A comparative evaluation of heart rate estimation methods using face videos | |
| JP2019503751A5 (zh) | ||
| Nikitin et al. | Face quality assessment for face verification in video | |
| US20200178902A1 (en) | A system and method for extracting a physiological information from video sequences | |
| JP2020537552A (ja) | 複数のセンサを伴うダイレクトフォトプレチスモグラフィ（ｐｐｇ）のためのコンピュータ実装方法及びシステム | |
| Slapnicar et al. | Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities | |
| Kopeliovich et al. | Optimal facial areas for webcam-based photoplethysmography | |
| Malacarne et al. | Improved remote estimation of heart rate in face videos | |
| Raja et al. | Artifact detection in gamut mapped images using saliency | |
| CN113347920A (zh) | 血压测量装置、模式设定装置以及血压测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |