CN117243564A - 非接触式受试者监测 - Google Patents
非接触式受试者监测 Download PDFInfo
- Publication number
- CN117243564A CN117243564A CN202310696570.8A CN202310696570A CN117243564A CN 117243564 A CN117243564 A CN 117243564A CN 202310696570 A CN202310696570 A CN 202310696570A CN 117243564 A CN117243564 A CN 117243564A
- Authority
- CN
- China
- Prior art keywords
- image
- skin
- video frames
- ambient light
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 35
- 238000013442 quality metrics Methods 0.000 claims description 15
- 238000005096 rolling process Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000036548 skin texture Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 26
- 238000012937 correction Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003862 health status Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000001126 phototherapy Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000013186 photoplethysmography Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009429 distress Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 206010040829 Skin discolouration Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000037370 skin discoloration Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000001052 yellow pigment Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/04—Babies, e.g. for SIDS detection
- A61B2503/045—Newborns, e.g. premature baby monitoring
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Optics & Photonics (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dermatology (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
公开了一种计算机实现的方法(100),其适于监测能够相对于环境光源移动的受试者的至少一个皮肤区域。接收(102)受试者的视频帧的序列。视频帧序列在光发射器向受试者提供变化的照明(例如,脉冲照明)时被捕获。然后使用视频帧序列来生成(106、110)第一和第二环境光校正图像,然后将其各自分割(108、112)以标识至少一个皮肤区域。还提供了用于实现该方法的计算机程序产品以及用于监测至少一个皮肤区域的系统。
Description
技术领域
本发明涉及一种适于监测受试者(诸如幼儿)的皮肤的方法,并且特别涉及一种在监测能够相对于环境光源移动的受试者的皮肤时适于校正环境光的方法。
背景技术
用于监测受试者的皮肤的视觉检查方法是已知的。这样的视觉检查方法,例如常规的皮肤颜色分析,通常由受过训练的护士来进行,他们评估皮肤的黄度和红度以便识别受试者是否健康、感觉舒适并且不处于任何种类的痛苦中。然而,这种颜色评估是主观的,在不规则的基础上进行的,并且本身可能对受试者特别是幼儿造成痛苦。颜色的视觉感知受到可用的光发射器的颜色绘制的高度影响,并且因此通常必须在(近)日光条件下进行适当的颜色评估。这在某些环境下可能是困难的,诸如新生儿重症监护室(NICU)和/或可能需要使用具有高显色指数的特殊光发射器。
在家中或在医院环境(诸如NICU)中被监测的患者可能需要定期和定量的评估,以便标识特定参数的清晰趋势线并执行适当的诊断。例如,为了定量测量胆红素,需要由红细胞分解产生的黄色色素,或者血液测试或者使用诸如所谓的BilicCheck之类的基于光谱仪的系统的评估。作为另一个示例,为了测量血氧,最常用的是光电体积描记术(PPG)接触探针,其借助于用于固定其位置的胶带而被固定到受试者(例如幼儿)的皮肤,导致皮肤发炎和水疱。这些常规侵入式测量方法可能会对受试者造成显著的不适,并且因此应该被最小化,特别是当受试者是婴儿或幼儿时。因此,需要一种非接触式解决方案来不引人注意地监测幼儿的健康状况,尤其是在NICU中。
此外,期望的是,用于执行这种评估的方法可以远程地完成,使得不需要受试者定期前往医生办公室或医院。对于在变化的照明条件下对皮肤颜色的远程连续监测,环境对测量结果的影响应当最小,以便使测量结果是临床相关的。虽然有已知的用于监测受试者的健康的非侵入式的检查方法,其中对受试者的捕获图像进行处理以校正环境光的影响,但是使受试者保持不移动足够长的一段时间以进行该方法可能是有挑战性的。因为对幼儿的监测在诊所和家中都是如此重要,所以非接触式远程监测可以提供监测幼儿的最佳手段,因为它是不引人注意的。非接触式幼儿监测中的挑战之一是在远程数据采集期间存在许多错误或伪影源。这些主要包括幼儿的运动和环境光的变化。
发明内容
本发明由权利要求来限定。
按照根据本发明的一个方面的示例,提供了一种计算机实现的方法,其适于监测能够相对于环境光源移动的受试者的至少一个皮肤区域,该方法包括:接收在光发射器被控制以向受试者提供变化的照明时所捕获的受试者的视频帧序列;使用在视频帧序列的第一部分的捕获期间由所述变化的照明引起的在所述第一部分的视频帧之间的变化的曝光来生成第一环境光校正图像;分割第一环境光校正图像以生成第一分割图像,在第一分割图像中标识至少一个皮肤区域;使用在视频帧序列的第二部分的捕获期间由所述变化的照明引起的在所述第二部分的视频帧之间的变化的曝光来生成第二环境光校正图像,第二部分在时间上不同于第一部分;分割第二环境光校正图像以生成第二分割图像,在第二分割图像中标识所述至少一个皮肤区域。
该方法可以使得能够评估能够相对于环境光源(特别是固定源)移动的受试者的皮肤区域。通过针对环境光来校正序列的第一部分并生成第一分割图像,针对环境光来校正序列的第二部分并生成第二分割图像,可以在相同视频帧序列内的不同时间点处评估受试者的相同皮肤区域。以此方式,可以允许受试者相对于环境光源的移动,使得尽管受试者移动,也可以获得与皮肤区域相关的可靠数据。
注意,例如通过对在视频帧序列之后捕获的另一视频帧序列再次执行该方法,可以重复该方法。
备选地或附加地,该方法可以包括使用序列的时间上不同的第三、第四、第五等等(多个)部分来生成第三、第四、第五等等(多个)分割图像。
术语“变化的照明”可以指的是被控制以在向受试者提供高曝光和向受试者提供低曝光之间振荡的照明。对受试者的低曝光在至少一些实施例中可以意味着没有由光发射器提供的照明。
所提供的照明的变化优选地通过脉冲照明来实现。
脉冲照明也被认为是调制照明。
术语“脉冲照明”可以指的是在每个脉冲期间被控制为开启并且在每个脉冲之前和之后被控制为关闭的照明。
在至少一些实施例中,脉冲照明是周期性的。
可以设想用于脉冲照明的任何合适的波形,例如方波或正弦波。优选地,在波形的每个周期期间在一个点(或多个点)处,光发射器被控制为关闭,换句话说,不提供或仅提供可忽略的照明。
在一些实施例中,当捕获视频帧序列的第一部分和第二部分时,施加相同周期的脉冲照明。
在至少一些实施例中,术语“环境光校正”可以被认为是环境光去除,其中环境光对受试者的影响被去除,使得可以进行对至少一个皮肤区域的评估,例如对至少一个皮肤区域的颜色相关评估。
在本文中,术语“在时间上不同”可以意味着第二部分的各帧中的至少一些帧在与第一部分的各帧被捕获期间的时间段不同的时间段(例如随后的时间段)期间被捕获。
在一些实施例中,在与捕获第二部分的每个帧期间的时间段不同的时间段期间捕获第一部分的每个帧。还可以想到,在备选实施例中,第一部分和第二部分共享用于生成第一和第二环境光校正图像的至少一个公共视频帧。
注意,术语“环境光校正图像”和“分割图像”旨在指代图像数据,并且因此这些术语都不应被理解为限于可经由显示设备显示的图像。
因此,在本文所描述的一些实施例中,该方法包括从第一和第二分割图像中的一个或多个分割图像中提取至少一个皮肤参数,但是不显示第一和第二光校正图像以及第一和第二分割图像中的任一者。
在备选实施例中,该方法还可以包括显示第一和第二分割图像。
在这样的实施例中,诸如临床医生、护理人员和/或受试者之类的用户可以在所显示的第一和第二分割图像之间进行视觉比较。
在一些实施例中,该方法包括显示第一和第二分割图像以及从第一和第二分割图像中的一个或多个分割图像中提取至少一个皮肤参数。
在一些实施例中,变化的照明可以是脉冲照明;可选地,其中脉冲照明的脉冲频率为至少70Hz的频率。
换句话说,先前在捕获视频帧序列时使用的变化的照明可以是脉冲照明,可选地,其中脉冲照明的脉冲频率处于至少70Hz的频率。
以至少70Hz的频率提供的光可以有助于最小化对受试者的不适或可能的伤害,同时还有助于在视频帧序列的捕获期间提供充足的照明以促进环境光校正。
在一些实施例中,该方法包括控制光发射器以向受试者提供变化的照明。
在这样的实施例中,该方法可以包括控制光发射器以至少70Hz的频率改变光。
视频帧序列的帧速率可以是至少每秒24帧。
术语“帧速率”可以指的是被用于环境光校正和分割步骤的例如存储的视频帧序列的呈现速率。
至少每秒24帧、优选地至少每秒60帧的帧/呈现速率可以有助于确保对移动受试者的(多个)皮肤区域的有效跟踪。
在一些实施例中,可以以至少每秒24帧、优选地至少每秒60帧的捕获速率来捕获视频帧序列。这可以允许为视频帧序列捕获足够数目的帧,使得有充足的数据可用于环境光校正。
换句话说,先前被用来捕获视频帧序列的捕获速率可以是至少每秒24帧。
在一些实施例中,帧速率等于捕获速率。
在一些实施例中,该方法包括控制成像单元以捕获视频帧序列。
在这样的实施例中,该方法可以包括控制成像单元以至少每秒24帧的捕获速率并且优选地以至少每秒60帧的捕获速率来捕获视频帧。
在一些实施例中,视频帧是滚动快门相机捕获的视频帧。
因此,上面提及的成像单元可以包括滚动快门相机或由滚动快门相机来定义。
在一些实施例中,变化的照明的定时相对于视频帧捕获定时是使得视频帧中的每一个视频帧包括由变化的照明引起的较多曝光的区域和曝光仅由于环境光源引起的较少曝光的区域,较多曝光的区域和较少曝光的区域在第一部分的视频帧之间被不同地定位,并且较多曝光的区域和较少曝光的区域在第二部分的视频帧之间被不同地定位,其中基于视频帧序列的第一部分的较多曝光的区域和较少曝光的区域之间的比较来生成第一环境光校正图像,并且其中基于视频帧序列的第二部分的较多曝光的区域与较少曝光的区域之间的比较来生成第二环境光校正图像。
可以以任何适当的方式来实现视频帧序列的相应部分的较多和较少曝光的区域之间的比较,以便生成相应的环境光校正图像。例如,与一个图像区域中的区域之一相对应的像素强度可以从与同一图像区域中的较多曝光的区域相对应的像素强度中减去。因此,减法导致由于发射器而不是环境光源的照明所引起的像素强度。
更一般地,该方法可以包括在生成第一和第二环境光校正图像之前线性化每个视频帧。
该线性化可以包括对每个视频帧应用伽马校正或者通过对每个视频帧应用伽马校正来定义。
变化的照明的频率可以与捕获视频帧的帧速率不协调/未协调。
谐波是具有被定义为基频的倍数的频率的周期性信号。因此,本文中的术语“不协调”意味着由光发射器提供的照明的频率不是捕获视频帧的帧速率的倍数积分。
频率和帧速率之间的这种不协调关系可以帮助实现在第一部分的视频帧之间和第二部分的视频帧之间被不同地定位的期望的较多曝光的区域和较少曝光的区域,使得它们适于环境光校正处理。
在一些实施例中,该方法还可以包括:从第一和第二分割图像中的一个或多个分割图像中提取至少一个皮肤参数;以及输出至少一个皮肤参数。
使用变化的照明的上述环境光校正和对这样的环境光校正图像的分割可以意味着可以从第一和/或第二分割图像可靠地提取(多个)皮肤参数。
当从第一和第二分割图像中提取皮肤参数时,在一些实施例中,环境光校正可以有助于实现从第一分割图像中提取的(多个)皮肤参数与从第二分割图像中提取的对应的(多个)皮肤参数之间的有效比较。因此,可以在同一视频帧序列内随时间跟踪(多个)皮肤参数。
皮肤参数可以是以下各项中的一项或多项的度量:皮肤颜色、皮肤纹理、皮肤形状和皮肤光学反射率。
特别提及的是作为皮肤颜色的度量的皮肤参数,因为通过上述环境光校正和分割过程极大地促进了该度量的提取。还发现这种皮肤颜色的度量在例如评估受试者(例如新生儿)中的胆红素水平方面也有特别的用处。
因此,在一些实施例中,皮肤参数包括或者就是受试者的胆红素水平的度量。
由于本公开的方法使得能够在相同视频帧序列内的不同时间点处监测受试者的相同皮肤区域,因此尽管受试者相对于环境光源移动,也可以密切地监测受试者(例如新生儿)的皮肤颜色的度量。
在一些实施例中,第一和第二分割图像各自包括第一皮肤区域和第二皮肤区域,该方法包括:将从第一分割图像标识的第一皮肤区域与从第二分割图像标识的第一皮肤区域进行比较,以确定第一图像一致性参数;将从第一分割图像标识的第二皮肤区域与从第二分割图像标识的第二皮肤区域进行比较,以确定第二图像一致性参数;以及比较第一图像一致性参数和第二图像一致性参数。
图像一致性参数的这种比较可以有助于标识第一和第二皮肤区域中的哪一个皮肤区域更适合用于随后的分析,例如第一和第二皮肤区域中的哪一个皮肤区域应该被用于提取一个或多个皮肤参数。
该方法还可以包括基于第一图像一致性参数和第二图像一致性参数的比较来选择第一皮肤区域或第二皮肤区域,其中所输出的皮肤参数与所选择的皮肤区域相关。
通过选择在第一分割图像和第二分割图像之间更一致的皮肤区域,例如由于具有更高的图像一致性参数,可以更可靠地提取皮肤参数,特别是在该方法包括从第一分割图像和第二分割图像中提取与所选择的皮肤区域相关的皮肤参数的实施例中。
该方法还可以包括使用视频帧序列来确定图像质量量度,其中响应于图像质量量度满足或超过预定阈值而实现所述皮肤参数的提取或输出。
以此方式,仅当图像质量量度满足或超过预定阈值时,才可以提取或输出皮肤参数。这可以有助于避免由于较差的图像质量而提供不可靠的皮肤参数的情况。
该方法还可以包括:响应于图像质量量度未能满足所述预定阈值,发布指示不可靠图像数据的报告;或者响应于图像质量量度满足/超过预定阈值,输出与至少一个皮肤区域相关的所述皮肤参数。
基于图像质量量度发布这样的报告可以允许采取另外的步骤,这可以有助于通过例如重新定位受试者并重复捕获视频帧序列来获得满足预定阈值的另外图像。
在一些实施例中,该方法可以包括:获得第一分割图像(204A)和/或第二分割图像(204B)的RGB值;以及将RGB值转换为CIE L*a*b*值。
当(多个)皮肤参数包括或者就是皮肤颜色的度量时,这种向CIE L*a*b*值的转换可能特别有用。CIE L*a*b*值特别有助于评估受试者(例如新生儿)的胆红素水平。
该方法可以包括获得第一分割图像204A和/或第二分割图像204B的RGB值;将RGB值转换为XYZ三刺激值;以及将XYZ三刺激值转换为CIE L*a*b*值。
根据另一方面,提供了一种包括计算机程序代码的计算机程序产品,当计算机程序代码在具有处理系统的计算设备上被执行时,使处理系统执行该方法的所有步骤。
根据又一方面,提供了一种用于监测能够相对于环境光源移动的受试者的至少一个皮肤区域的系统,该系统包括:光发射器;图像捕获单元;以及处理系统,该处理系统被配置为:接收在光发射器向受试者提供变化的照明时由图像捕获单元捕获的受试者的视频帧序列;使用在视频帧序列的第一部分的捕获期间由所述变化的照明引起的在所述第一部分的视频帧之间的变化的曝光来生成第一环境光校正图像;分割第一环境光校正图像以生成第一分割图像,在第一分割图像中标识至少一个皮肤区域;使用在视频帧序列的第二部分的捕获期间由所述变化的照明引起的在所述第二部分的视频帧之间的变化的曝光来生成第二环境光校正图像,第二部分在时间上不同于第一部分;以及分割第二环境光校正图像以生成第二分割图像,在第二分割图像中标识所述至少一个皮肤区域。
在一些实施例中,处理系统还可以被配置为控制图像捕获单元来捕获所述视频帧序列;和/或控制光发射器以向受试者提供所述脉冲照明。
可以提供一个或多个非暂态计算机可读介质,非暂态计算机可读介质具有存储在其上的计算机程序,计算机程序包括计算机程序代码,计算机程序代码被配置为在计算机程序在一个或多个处理器上运行时使一个或多个处理器实现根据本文所描述的任何实施例的方法。
更一般地,在本文中关于方法或计算机程序描述的实施例可应用于系统,并且在本文中关于系统描述的实施例可应用于方法或计算机程序。
附图说明
为了更好地理解本发明,并且为了更清楚地示出如何实现本发明,现在将仅通过示例的方式对附图进行参考,在附图中:
图1示出了根据一个示例的适于监测至少一个皮肤区域的方法的流程图;
图2示意性地描绘了根据一个示例的视频帧序列以及对该视频帧序列的第一和第二部分的处理;
图3示出了根据另一个示例的适于监测至少一个皮肤区域的方法的流程图;
图4示出了根据另一个示例的适于监测至少一个皮肤区域的方法的流程图;以及
图5示出了根据一个示例的用于监测至少一个皮肤区域的系统的框图。
具体实施方式
将参考附图描述本发明。
应当理解,详细描述和特定示例虽然指示了方法和系统的示例性实施例,但是仅旨在用于说明的目的,而不旨在限制本发明的范围。本发明的方法和系统的这些和其他特征、方面和优点将从以下描述、所附权利要求和附图中变得更好理解。应当理解,附图仅仅是示意性的并且没有按比例绘制。还应当理解,在所有附图中使用相同的附图标号来指示相同或相似的特征。
提供了一种计算机实现的方法,其适于监测能够相对于环境光源移动的受试者的至少一个皮肤区域。接收受试者的视频帧序列。捕获视频帧序列,同时光发射器向受试者提供变化的照明,例如,脉冲照明。然后使用该视频帧序列来生成第一和第二环境光校正图像,该第一和第二环境光校正图像然后各自被分割以标识至少一个皮肤区域。还提供了用于实现该方法的计算机程序产品,以及用于监测至少一个皮肤区域的系统。
图1示出了根据一个实施例的计算机实现的方法100的流程图,其可以被用于执行适于监测能够相对于环境光源移动的受试者的至少一个皮肤区域的环境光校正。参见图1和图2,方法100包括接收102视频帧200的序列,生成106、110第一和第二环境光校正图像,以及分割108、112第一和第二环境光校正图像以标识至少一个皮肤区域。
参见图2,视频帧200的序列例如是由诸如滚动快门相机之类的图像捕获单元按时间顺序获得的受试者的一个或多个视频帧。视频帧200的序列是其皮肤将被监测的诸如患者的受试者(例如婴儿)的视频帧序列。接收到的视频帧200的序列已经由图像捕获单元捕获,该图像捕获单元已被控制104以捕获所述视频帧200,同时光发射器被控制103以向受试者提供变化的照明。
可以控制光发射器和图像捕获单元以任何合适的方式对受试者进行照明,使得所得到的视频帧包括变化的曝光区域214A、214B、212A、212B。在一些实施例中,光发射器可能已被控制为仅在图像捕获单元每隔一帧捕获时才开启。以此方式,视频帧200的序列在其中受试者被光发射器照明的视频帧和其中受试者仅被环境光照明的视频帧之间交替。
备选地,光发射器和图像捕获单元可能已被控制为使得对受试者的曝光在每个单独视频帧内变化。再次参见图2,变化的照明导致视频帧200在每个视频帧中包括亮带和暗带。亮带(较多曝光的区域214A、214B)示出了在视频帧的捕获期间受试者被光发射器照明的区域,而暗带(较少曝光的区域212A、212B)示出了受试者未被光发射器照明或被最小程度地照明的区域。来自光发射器的变化的照明可以使视频帧包括较多曝光的区域和较少曝光的区域,其中区域之间的边界是模糊的,即,不如亮带和暗带那样清晰。换句话说,较多曝光的区域到较少曝光的区域之间的过渡是渐进的。
变化的照明可以指的是被控制为在向受试者提供高曝光和向受试者提供低曝光之间进行振荡的照明。高曝光可以指的是受试者被光发射器照明的时段。低曝光可以指的是受试者仅被环境光照明的时段。在备选实施例中,低曝光可以意味着由光发射器提供给受试者的照明最小,诸如在光发射器在光波形的每个周期期间在高点和低点之间脉动的情况下。
在一些实施例中,变化的照明或脉冲照明可以被认为是调制照明。术语“调制照明”可以指的是被控制为在其对受试者进行照明时改变强烈度或强度的照明。如此,照明可以在每个视频帧上的强度和频率上变化,并且因此可以导致较多曝光的区域和较少曝光的区域例如在受试者上的照明强度和/或较多和较少曝光的区域的尺寸方面变化。
当使用脉冲照明时,照明可以被控制为在每个脉冲期间被开启,并且在每个脉冲之前和之后被关闭。如此,这通过视频帧200的序列提供了清晰的对受试者的低曝光的区域和对受试者的高曝光的区域。以此方式,脉冲照明是周期性的,并且可以是任何合适的波形,诸如方波或正弦波。可能优选的是,在波形的每个周期期间在一个点(或多个点)处,光发射器被控制为关闭,换句话说,不提供或仅提供可忽略的照明,使得在视频帧序列中的较多和较少曝光的区域之间存在明显的区别。
如果变化的照明没有达到零电平(被控制为关闭),则驱动波形在数学上可以被DC或恒定信号偏置。该DC偏置可以被认为是环境光贡献。如将在下面进一步讨论的,这对于环境光校正而言是不理想的,因为所生成的环境光校正图像与使用变为零电平的变化的照明(即,在视频帧的捕获期间的某点处被控制为关闭)所生成的环境光校正图像相比将具有较低的动态范围。
方法可以包括控制103光发射器以向受试者提供变化的照明。在一些实施例中,变化的照明是脉冲照明;可选地,其中脉冲照明的脉冲频率为至少70Hz的频率。
备选地或附加地,方法可以包括控制104成像单元以捕获视频帧。在一些实施例中,可以控制成像单元以至少每秒24帧的捕获速率来捕获视频帧,并且优选地以至少每秒60帧的捕获速率来捕获视频帧。
然后处理视频帧200的序列以生成106、110第一和第二环境光校正图像202A、202B。图2示意性地描绘了根据一个实施例的视频帧200的序列以及对视频帧200的序列的第一和第二部分200A、200B的处理。
在图2中所示的实施例中,视频帧200序列包括在生成108、110第一和第二环境光校正图像202A、202B时使用的八个视频帧。可以使用视频帧序列中的三个或更多的任何数目的视频帧。视频帧序列被分割成第一部分200A和第二部分200B,每个部分包括四个不同的视频帧,换句话说,第一部分200A和第二部分200B的视频帧在时间上彼此不同。备选地,在与捕获第二部分的每个帧期间的时间段不同的时间段期间捕获第一部分的每个帧。在另外的备选实施例中,第一部分和第二部分共享用于生成第一和第二环境光校正图像的至少一个公共视频帧。
在所示的实施例中,每个视频帧包括较多曝光的区域212A、212B和较少曝光的区域214A、214B。这些较多曝光的区域212A、212B和较少曝光的区域214A、214B是相对于视频帧速率捕获定时的变化的照明或脉冲照明的定时的结果,使得受试者被照明的时间至少部分少于视频帧被捕获的时间。换句话说,照明的频率高于相机(诸如滚动快门相机)捕获视频帧序列的速率。在图2中所示的视频帧200的序列中,受试者以高于滚动快门相机捕获图像的速率的频率被暴露给脉冲照明,从而导致较多曝光的区域212A、212B和较少曝光的区域214A、214B。
当捕获第一部分200A和第二部分200B时,可以施加相同周期的脉冲照明,如图2中所示的说明性示例。在备选实施例中,脉冲照明的周期可以在第一部分200A和第二部分200B之间变化。然而,在第一部分200A和第二部分200B的视频帧中,一个视频帧的每个较多曝光的区域212A、212B在相应的第一或第二部分200A、200B内的对应的视频帧中具有对应的较少曝光的区域214A、214B。这允许生成108、110更完整的环境光校正图像202A、202B,这将在下面进一步讨论。
将较多曝光的区域212A、212B和较少曝光的区域214A、214B相互比较,以生成第一和第二环境光校正图像202A、202B。可以以任何合适的方式实现视频帧序列的相应部分的较多和较少曝光的区域之间的这种比较,以便生成相应的环境光校正图像。在一些实施例中,这是通过将包括光发射器对受试者的贡献(较多曝光的区域212A、212B)的第一合成图像(图2中不可见)与仅包括环境光对受试者的贡献(较少曝光的区域214A、214B)的第二合成图像203A、203B进行比较来实现的,使得可以从视频帧中去除环境光的影响。例如,可以从较多曝光的区域212A、212B的导出像素强度中减去较少曝光的区域214A、214B的导出像素强度,使得剩余像素强度包含至少大部分是由光发射器提供的照明的贡献。该剩余像素强度可以被用来构造环境光校正图像202A、202B。当变化的照明是脉冲照明时,其中光发射器被控制为在每个脉冲期间打开,并且在每个脉冲之前和之后关闭,在较多和较少曝光的区域之间有明显的区别,并且因此可以执行导出和减去像素强度。
备选地,当照明被控制为在向受试者提供高曝光和向受试者提供低曝光之间进行振荡时,诸如当波形不是方波并且因此导致不太明显的较多和较少曝光的区域时,则可以执行进一步的图像处理以将该组图像分解成仅由光发射器提供的照明的贡献和仅为环境光的贡献。
在一些实施例中,方法可以在生成第一和第二环境光校正图像202A、202B之前线性化每个视频帧。该线性化可以包括对每个视频帧应用伽马校正或者通过对每个视频帧应用伽马校正来定义。
环境光校正图像202A、202B可以是环境光去除图像202A、202B。术语“环境光去除图像”可以指的是其中从视频帧中去除环境光的影响的环境光校正图像。
在图2中所示的实施例中,视频帧200是变化的照明的频率与捕获视频帧的帧速率不协调/未协调的结果。谐波是具有被定义为基频的倍数的频率的周期性信号。因此,在图2中所示的实施例中,由光发射器提供的照明的频率不是捕获视频帧的帧速率的倍数积分。
因此,使用在视频帧200的序列的第一部分200A的捕获期间由变化的照明引起的在第一部分200A的视频帧之间的变化的曝光来生成106第一环境光校正图像202A。使用在视频帧序列的第二部分200B的捕获期间由变化的照明引起的在第二部分200B的视频帧之间的变化的曝光来生成110第二环境光校正图像202B,第二部分200B在时间上不同于第一部分200A。
所生成的第一环境光校正图像202A然后被分割108以生成第一分割图像204A,其中至少一个皮肤区域被标识206A、208A、210A。同样地,所生成的第二环境光校正图像202B然后被分割110以生成第二分割图像204A,其中至少一个皮肤区域被标识206B、208B、210B。在分割第一和第二环境光校正图像202A、202B时,在第一和第二环境光校正图像上标识至少一个皮肤区域206A、206B。
用于标识感兴趣的皮肤区域的分割108、112可以以本领域已知的任何合适的方式来执行。例如,像素特性(诸如像素强度或颜色)中的尖锐差异可以被用来限定身体部分或皮肤区域(诸如痣或疤痕)的轮廓。然后,可以基于检测到的像素特性的差异来分割环境光校正图像,以隔离感兴趣的皮肤区域。也可以使用该方法来分割其他感兴趣区域,诸如一般的前额、肢体或其他部位。
在分割第一和第二环境光校正图像时,可以在第一和第二环境光校正图像中标识相同的皮肤区域。这可以通过在分割之前分别针对第一环境光校正图像和第二环境光校正图像中的每一者执行环境光校正来实现。这允许两个图像彼此比较,而不管在视频帧200的序列的捕获期间的环境光条件的变化,使得在第一和第二环境光校正图像中的每一者中定义相同皮肤区域的像素特性的差异是相似的。例如,如果在视频帧序列的第一部分和视频帧序列的第二部分之间受试者将其头部从一个位置移动到不同位置,则环境光对例如前额的影响将导致相同的皮肤区域被不同地照明。因此,通过在分割之前校正每个图像中的环境光,可以标识、比较和/或处理相同的皮肤区域以用于监测。
因为已经分别针对第一分割图像和第二分割图像针对环境光校正了皮肤区域,所以可以从分割图像204A、204B中提取皮肤参数。环境光校正有助于在从第一分割图像中提取的皮肤参数与从第二分割图像中提取的对应皮肤参数之间进行有效比较。因此,可以在相同的视频帧序列内随时间跟踪皮肤参数。备选地或附加地,在已经针对环境光进行了校正之后,可以跟踪皮肤区域并将其显示在显示单元上以供用户视觉地检查皮肤区域。
从皮肤区域导出的皮肤参数可以从第一和第二分割图像中被提取并被输出给用户。图3示出了一个实施例的流程图,该实施例包括从第一和第二分割图像204A、204B中的一个或多个分割图像中提取114至少一个皮肤参数并输出116至少一个皮肤参数的其他步骤。
所输出的皮肤参数可以是皮肤颜色、皮肤纹理、皮肤形状和皮肤光学反射率中的一者或多者的度量,或者是适用于监测或确定受试者健康的任何其他有用的度量。所输出的皮肤参数还可以是被用于获得生理相关的时间相关参数的基于皮肤的参数的时间序列,例如用于获得心率的皮肤发红的时间变化。还可以通过显示器或声音向用户报告/输出该生理相关参数。方法还可以包括执行一种算法以基于与查找表相比较的生理相关参数值来检测受试者的健康状态,例如正常或紧张状态,并且可以向用户提供警报、报告、声音,以警告状态的改变。
在其他实施例中,方法100可以包括处理环境光校正图像以估计受试者的姿势。这可以通过本领域已知的任何合适的手段来实现,诸如使用人工智能、深度学习、卷积神经网络(CNN)和完全卷积网络(FCN)。在FCN的情况下,期望包括用于控制网络内的每个信道的数据流的选通跳过连接,以用于控制数据流。方法然后可以生成患者的骨骼图像和/或身体部分的分割也被称为语义分割。
在一些实施例中,算法可以被用于环境光校正。可以使用本领域中已知的任何合适的算法,然而,已知一些算法对受试者运动相对敏感,从而沿着显著移动的受试者的边缘产生强烈的白线。因此,默认地,算法将基于最小运动的间隔来建立绝对颜色。备选地,并且优选地,该方法使用标识序列内的哪些帧具有很少的运动伪影并且因此最适合于环境光校正的算法。因此,该方法可以从视频帧序列中选择要在第一部分和第二部分中使用以用于生成第一和第二环境光校正图像的视频帧。
该方法还可以包括获得第一分割图像204A和/或第二分割图像204B的RGB值,并将这些RGB值转换为CIE L*a*b*值。大多数图像捕获单元(诸如滚动快门相机)所捕获的颜色通常以RGB数来表达,人眼的视觉感知系统由CIE L*a*b*颜色系统更好地表示。该方法可以首先将RGB值转换为XYZ三刺激值,然后将XYZ值转换为CIE L*a*b*值。因此,通过将RGB值转换为CIE L*a*b*值,可以以对用户(例如护士专业人员)更有用的方式来分析或呈现皮肤区域。
因此,该方法可以包括获得第一分割图像204A和/或第二分割图像204B的RGB值;将RGB值转换为XYZ三刺激值;以及将XYZ三刺激值转换为CIE L*a*b*值。
在一个示例性实施例中,从使用已知光谱的光发射器和滚动快门RGB相机捕获的视频帧200的序列中去除环境光,被启用的滚动快门RGB相机以高帧速率(60、90fps或更高)捕获序列,如以上方法中所描述的。根据以这种方式获得的线性RGB值,可以确定三刺激XYZ值以及CIE-L*a*b*值。通过补偿环境光的改变,可以补偿否则将由例如工作人员和经过的参观者的衣服所引起的伪影,伪影可能会引起照明的明显颜色改变。将a*和b*值报告为明显的红色和黄色可以提供对患者状况的更相关的跟踪。
图4示出了适于监测皮肤区域的方法的流程图,其中第一和第二分割图像204A、204B各自包括第一皮肤区域206A、206B和第二皮肤区域208A、208B。从第一分割图像204A标识第一皮肤区域206A,并将其与从第二分割图像204B标识的第一皮肤区域206B进行比较118,以确定第一图像一致性参数。然后从第一分割图像标识第二皮肤区域208A,并将其与从第二分割图像标识的第二皮肤区域208B进行比较,以确定第二图像一致性参数。然后将得到的第一图像一致性参数和第二图像一致性参数互相比较。
因此,通过比较图像一致性参数,该方法标识第一和第二皮肤区域中的哪一个皮肤区域更适合在随后的分析中使用,诸如输出从第一或第二皮肤区域中的更适合的皮肤区域中导出的皮肤参数。图像一致性参数可以基于像素强度,使得其在环境光校正之后标识第一和第二皮肤区域中的哪一个皮肤区域彼此更紧密地匹配。
图4还描绘了使用视频帧序列确定124图像质量量度。基于与以下各项相关的至少一个参数来确定124针对每个皮肤区域的图像质量量度:视频帧序列内的后续视频帧的信噪比;以及后续视频帧之间的运动。图像质量量度还可以部分地来自于由人工智能算法所生成的概率。
皮肤参数的提取114或输出116是响应于图像质量量度满足或超过预定阈值而实现的。如果图像质量量度未能满足预定阈值,则发布126指示图像数据不可靠的报告。如果图像质量量度满足或超过预定阈值,则输出114与至少一个皮肤区域相关的皮肤参数。
基于图像质量量度发布这样的报告可以允许采取其他步骤,其可以有助于获得满足预定阈值的其他图像。例如,报告可以建议对受试者的重新定位和/或接收新的视频帧序列。
图5描绘了用于监测能够相对于环境光源移动的受试者的至少一个皮肤区域的系统300。系统300包括光发射器302、图像捕获单元304和处理系统308。
系统被布置成接收在光发射器302向受试者提供变化的照明时由图像捕获单元304捕获的受试者的视频帧序列。然后使用在视频帧序列的第一部分的捕获期间由变化的照明引起的在第一部分的视频帧之间的所得到的变化的曝光来生成第一环境光校正图像。系统然后分割第一环境光校正图像以生成第一分割图像,在第一分割图像中标识至少一个皮肤区域。
在视频帧序列的第二部分的捕获期间由变化的照明引起的在第二部分的视频帧之间的所得到的变化的曝光被用来生成第二环境光校正图像。系统被布置为随后分割第二环境光校正图像以生成第二分割图像,在第二分割图像中标识至少一个皮肤区域。
在一些实施例中,处理单元308被用来控制图像捕获单元304以捕获视频帧200的序列。处理单元308可以被布置为控制光发射器以向受试者提供变化的照明。因此,处理单元308可以被布置为控制图像捕获单元以捕获受试者的视频帧序列,同时控制光发射器向受试者提供变化的照明。
在一些实施例中,系统300还可以包括至少一个用户接口306。备选地或附加地,至少一个用户接口可以在系统300的外部、与系统300分离或远离系统300。例如,至少一个用户接口可以是另一设备的一部分。用户接口可以用于向系统300的用户提供由本文所描述的方法产生的信息。备选地或附加地,用户接口可以被配置为接收用户输入。例如,用户接口可以允许系统300的用户手动输入指令、数据或信息。在这些实施例中,处理单元308可以被配置为从一个或多个用户接口获取用户输入。
用户接口可以是使得能够向系统300的用户绘制、输出或显示信息的任何用户接口。备选地或附加地,用户接口可以是使得系统300的用户能够提供用户输入、与系统300交互和/或控制系统300的任何用户接口。例如,用户接口可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或应用(例如在平板电脑或智能电话上)、显示屏、图形用户接口(GUI)或其他视觉绘制组件、一个或多个扬声器、一个或多个麦克风或任何其他音频组件、一个或多个光发射器、用于提供触觉反馈的组件(诸如振动功能)、或任何其他用户接口、或者用户接口的组合。
在一些实施例中,系统300可以包括存储器。备选地或附加地,一个或多个存储器可以在系统300的外部、与系统300分离或远离系统300。例如,一个或多个存储器可以是另一设备的一部分。存储器可以被配置为存储可以由处理单元308执行以执行本文所描述的方法的程序代码。存储器可以被用来存储由系统300的处理单元308获取或做出的信息、数据、信号和测量。例如,视频帧200的序列中的一个或多个视频帧序列,例如包括视频帧序列的呈现速率、第一环境光校正图像202A、第二环境光校正图像202B、第一分割图像204A和第二分割图像204B,可以被存储在存储器中。处理单元308还可以被配置为控制存储器以存储视频帧200的序列,例如,包括视频帧序列的呈现速率、第一环境光校正图像202A、第二环境光校正图像202B、第一分割图像204A和/或第二分割图像204B。
在一些实施例中,系统300可以包括通信接口或电路系统,用于使得系统200能够与系统300内部或外部的任何接口、存储器和/或设备通信。通信接口可以无线地或经由有线连接来与任何接口、存储器和/或设备通信。例如,通信接口可以无线地或经由有线连接来与一个或多个用户接口通信。类似地,通信接口可以无线地或经由有线连接来与一个或多个存储器通信。
处理单元可以包括多于一个的计算机处理器单元(CPU),例如用于控制图像捕获单元的第一CPU和用于控制光发射器的第二CPU。
图像捕获单元304可以包括CPU,CPU被配置为将所捕获的视频帧序列发送到处理单元308,处理单元308被布置为接收视频帧以用于环境光校正和分割。因此,图像捕获单元304和处理单元308被布置为彼此通信,使得处理单元308命令图像捕获单元捕获视频帧序列,并且图像捕获单元通过捕获视频帧然后将其发送到处理单元来进行往复运动。
处理系统308可以包括CPU,CPU被配置成用于:通过去除环境光来校正所捕获的视频帧序列;将所捕获的视频帧序列分割成用于图像分析的相关图像段;计算皮肤参数值;以及将所计算的相关皮肤参数值转换为受试者的健康状态。系统还可以包括接口单元,用于基于转换后的受试者的健康状态信号(例如平均胆红素)来提供受试者的健康状态信号(例如“停止处理”)。
系统还可以包括处理单元,其被配置为从接口单元接收受试者的健康状态信号。系统还可以包括用户接口单元,其被配置为接收受试者健康状态信号并且当某个信号高于阈值时提供用户相关信息,例如警报。CPU还可以被配置为实现检测和测量诸如幼儿之类的受试者的移动的步骤,从而产生运动图,并且因此可以利用运动补偿来实现图像分割。
系统可以被布置成以规则的时间间隔捕获受试者的视频帧序列,并计算和存储环境光校正图像。根据请求,系统可以在显示器306上以时间流逝的形式在彩色显示器上将这些环境光校正图像显示为视频。这将使得颜色随时间变化的趋势对于人眼更好地可见,以区分所述受试者的健康状况的改善和变化。附加地,如果存在颜色变化,则可以通过对所显示的颜色的*a和*b值应用>1的乘法因子来放大颜色变化。
在本发明的另一示例性实施例中,提供了一种用于家庭使用的基于相机的幼儿监测系统,其包括成像设备和显示设备。成像设备例如经由Wifi来与显示设备进行无线通信,以用于双向视频、音频和数据通信。成像设备包括相机单元304、调制红外LED(940nm)单元302、控制单元308和计算单元。相机单元被配置用于在白天和夜晚时间使用,因此在940nm区域中具有良好的光谱灵敏度。控制单元控制相机单元和调制LED单元。计算单元308计算环境光校正帧,并将视频流式传输到显示设备306。显示设备包括第二计算单元,以用于处理视频以分割成身体图像部分,并计算针对每个身体部分的可靠性得分加权皮肤参数。第二计算单元还基于所计算的皮肤参数的时间序列来计算生理相关参数,包括呼吸率和心率。显示设备还显示幼儿的实况视频馈送。
系统可以使用用于环境光校正的算法。已知该算法对受试者运动相对敏感,从而沿着显著移动的受试者的边缘产生强烈的白线。因此,默认地,算法将基于最小运动的间隔建立绝对颜色。该方法标识序列内的哪些帧具有很少的运动伪影并且因此最适合于环境光抑制。由于该算法对各帧之间的运动量建立了品质因数,所以基于运动的速率和频率来确定诸如保育器中的幼儿之类的受试者是被动的、主动的还是处于痛苦中是相对简单的。因此,关于颜色和运动轮廓的组合报告可以提供改善的报告和改善的患者结果。
本发明的另一示例性实施例的特征在于一种自适应光疗处理系统,其包括皮肤胆红素监测模块和光疗处理模块。皮肤胆红素监测模块包括调制光发射器单元、相机单元、计算单元和用于向处理模块发送输出信号的接口单元;并且光疗处理模块包括光发射器单元、控制单元和用于接收来自监测模块的输入信号的接口单元。在这里,所使用的光发射器单元(用于L*a*b*颜色评估)包含能够以足够的特异性解决由皮肤胆红素引起的相关皮肤变色的光谱成分。因此,需要相对宽带的光发射器光谱。
特别是为了评估胆红素的存在,在450nm波长附近充足蓝光的存在是相关的。为此目的,本实施例中的光发射器使用“冷”白色LED,其提供适当地解决黄色和红色皮肤反射率的变化所需的足够的蓝色和绿色光谱成分,并且其可以被调制而不偏移有效发射光谱。特别地,可以适当地采用光温超过5000K的LED光源。即使这些光发射器的显色性远未达到100%,结合所提出的环境光校正技术来使用标准白平衡校准足以建立合理准确的L*a*b*量化。
在皮肤胆红素测量期间,用调制光发射器短暂地(或连续地)对幼儿进行照明,并且相机单元捕获幼儿的几个视频帧。按照本文所描述的方法,对视频帧进行处理以使得环境光被去除,并使用图像识别算法将帧分割成解剖部分。在这里定义ROI,例如,前额,并且在ROI内测量黄度。然后,例如通过使用查找表,系统可以将黄度与皮肤胆红素相关联,这可以被用于将测量ROI黄度转换成皮肤胆红素值。
通过跟踪皮肤胆红素值,并且基于用户定义的阈值,可以例如通过减小或增加光输出的强度或禁用光输出来调整光疗处理模块。
本发明的另一示例性实施例的特征在于基于相机的幼儿生命体征监测系统,其包括调制光发射器单元、相机单元、计算单元、用户接口单元和显示单元。光发射器的光谱发射被配置为增强对皮肤血液的检测。
在皮肤血液测量期间,用调制光发射器短暂地(或连续地)对幼儿进行照明,并且相机单元捕获幼儿的几个视频帧。对视频帧进行处理以使得环境光被去除,并且使用图像识别算法将图像分割成解剖部分。在这里定义ROI,例如,脸颊区域,并且在ROI内测量PPG。可以测量与皮肤血液相关的其他参数,例如,血氧。检测到的幼儿的运动也可以被用作相关的测量参数,例如,呼吸、压力相关的运动等。这些参数可以被显示在显示单元中。
本领域技术人员能够容易地开发用于执行本文所描述的任何方法的处理器。因此,流程图的每个步骤可以表示由处理器执行的不同动作,并且可以由处理器的相应模块来执行。
如上面所讨论的,系统利用处理器来执行数据处理。处理器可以用软件和/或硬件以多种方式来实现,以执行所需的各种功能。处理器通常采用一个或多个微处理器,其可以使用软件(例如,微码)来编程以执行所需的功能。处理器可以被实现为执行某些功能的专用硬件和执行其他功能的一个或多个编程微处理器和相关联的电路系统的组合。
可以在本公开的各种实施例中采用的电路系统的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
在各种实现中,处理器可以与诸如易失性和非易失性计算机存储器(诸如RAM、PROM、EPROM和EEPROM)之类的一个或多个存储介质相关联。存储介质可以编码有一个或多个程序,当程序在一个或多个处理器和/或控制器上被执行时,执行所需的功能。各种存储介质可以被固定在处理器或控制器内,或者可以是可传送的,使得存储在其上的一个或多个程序可以被加载到处理器中。
通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的变型。在权利要求中,词语“包括”不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。
在相互不同的从属权利要求中叙述某些措施的纯粹事实并不指示不能有利地使用这些措施的组合。
如果在权利要求或说明书中使用术语“适于”,则应注意,术语“适于”旨在等同于术语“被配置为”。
权利要求中的任何附图标记不应解释为限制范围。
Claims (15)
1.一种计算机实现的方法(100),适于监测能够相对于环境光源移动的受试者的至少一个皮肤区域,所述方法包括:
接收(102)在光发射器被控制以向所述受试者提供变化的照明时所捕获的所述受试者的视频帧(200)的序列;
使用在所述视频帧的序列的第一部分(200A)的捕获期间由所述变化的照明引起的在所述第一部分的视频帧之间的变化的曝光来生成(106)第一环境光校正图像(202A);
分割(108)所述第一环境光校正图像以生成第一分割图像(204A),在所述第一分割图像中标识所述至少一个皮肤区域(206A、208A、210A);
使用在所述视频帧的序列的第二部分(200B)的捕获期间由所述变化的照明引起的在所述第二部分的视频帧之间的变化的曝光来生成(110)第二环境光校正图像(202B),所述第二部分在时间上不同于所述第一部分;
分割(112)所述第二环境光校正图像以生成第二分割图像(204B),在所述第二分割图像中标识所述至少一个皮肤区域(206B、208B、210B)。
2.根据权利要求1所述的计算机实现的方法(100),还包括:
从所述第一分割图像(204A)和所述第二分割图像(204B)中的一个或多个分割图像中提取(114)至少一个皮肤参数;以及
输出(116)所述至少一个皮肤参数。
3.根据权利要求2所述的计算机实现的方法(100),其中所述皮肤参数是以下各项中的一项或多项的度量:皮肤颜色、皮肤纹理、皮肤形状和皮肤光学反射率。
4.根据权利要求2或3所述的计算机实现的方法(100),包括:使用所述视频帧的序列来确定(124)图像质量量度,其中响应于所述图像质量量度满足或超过预定阈值来实现所述皮肤参数的所述提取(114)或所述输出(116)。
5.根据权利要求4所述的计算机实现的方法(100),包括:
响应于所述图像质量量度未能满足所述预定阈值,发布(126)指示不可靠图像数据的报告;或者
响应于所述图像质量量度满足/超过所述预定阈值,输出(114)与所述至少一个皮肤区域相关的所述皮肤参数。
6.根据前述权利要求中任一项所述的计算机实现的方法(100),其中所述第一分割图像(204A)和所述第二分割图像(204B)各自包括第一皮肤区域(206A、206B)和第二皮肤区域(208A、208B),所述方法包括:
将从所述第一分割图像(204A)标识的所述第一皮肤区域(206A)与从所述第二分割图像(204B)标识的所述第一皮肤区域(206B)进行比较(118),以确定第一图像一致性参数;
将从所述第一分割图像标识的所述第二皮肤区域(208A)与从所述第二分割图像标识的所述第二皮肤区域(208B)进行比较(120),以确定第二图像一致性参数;以及
比较(122)所述第一图像一致性参数和所述第二图像一致性参数。
7.根据当从属于权利要求2至5中任一项时的权利要求6所述的计算机实现的方法(100),包括:基于所述第一图像一致性参数和所述第二图像一致性参数的所述比较(122)来选择所述第一皮肤区域或所述第二皮肤区域,输出的所述皮肤参数与所选择的所述皮肤区域相关。
8.根据前述权利要求中任一项所述的计算机实现的方法(100),还包括:
获得所述第一分割图像(204A)和/或所述第二分割图像(204B)的RGB值;以及
将所述RGB值转换为CIE L*a*b*值。
9.根据前述权利要求中任一项所述的计算机实现的方法(100),其中所述变化的照明是脉冲照明;可选地,其中所述脉冲照明的脉冲频率处于至少70Hz的频率。
10.根据前述权利要求中任一项所述的计算机实现的方法(100),其中所述视频帧的序列的帧速率至少为每秒24帧。
11.根据前述权利要求中任一项所述的计算机实现的方法(100),其中所述视频帧是滚动快门相机捕获的视频帧。
12.根据前述权利要求中任一项所述的计算机实现的方法(100),其中所述变化的照明的定时相对于视频帧捕获定时使得所述视频帧(200)中的每一个视频帧包括由所述变化的照明引起的较多曝光的区域和曝光仅由于所述环境光源引起的较少曝光的区域,所述较多曝光的区域和所述较少曝光的区域在所述第一部分(200A)的所述视频帧之间被不同地定位,并且所述较多曝光的区域和所述较少曝光的区域在所述第二部分(200B)的所述视频帧之间被不同地定位,
其中基于所述视频帧的序列的所述第一部分的所述较多曝光的区域(212A)与所述较少曝光的区域(214A)之间的比较来生成所述第一环境光校正图像(202A),以及
其中基于所述视频帧的序列的所述第二部分的所述较多曝光的区域(212B)与所述较少曝光的区域(214B)之间的比较来生成所述第二环境光校正图像(202B)。
13.一种包括计算机程序代码的计算机程序产品,所述计算机程序代码当在具有处理系统的计算设备上被执行时,使所述处理系统执行根据权利要求1至12中任一项所述的方法(100)的所有步骤。
14.一种用于监测能够相对于环境光源移动的受试者的至少一个皮肤区域的系统(300),所述系统包括:
光发射器(302);
图像捕获单元(304);以及
处理系统(308),所述处理系统(308)被配置为:
接收在所述光发射器向所述受试者提供变化的照明时由所述图像捕获单元捕获的所述受试者的视频帧的序列;
使用在所述视频帧的序列的第一部分的捕获期间由所述变化的照明引起的在所述第一部分的视频帧之间的变化的曝光来生成第一环境光校正图像;
分割所述第一环境光校正图像以生成第一分割图像,在所述第一分割图像中标识所述至少一个皮肤区域;
使用在所述视频帧的序列的第二部分的捕获期间由所述变化的照明引起的在所述第二部分的视频帧之间的变化的曝光来生成第二环境光校正图像,所述第二部分在时间上不同于所述第一部分;以及
分割所述第二环境光校正图像以生成第二分割图像,在所述第二分割图像中标识所述至少一个皮肤区域。
15.根据权利要求14所述的系统(300),其中所述处理系统(308)还被配置为控制所述图像捕获单元(304)捕获所述视频帧的序列;和/或控制所述光发射器(302)以向所述受试者提供所述变化的照明。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22179392.0A EP4292515A1 (en) | 2022-06-16 | 2022-06-16 | Non-contact subject monitoring |
EP22179392.0 | 2022-06-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117243564A true CN117243564A (zh) | 2023-12-19 |
Family
ID=82404365
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202321498714.0U Active CN220988769U (zh) | 2022-06-16 | 2023-06-13 | 非接触式受试者监测系统 |
CN202310696570.8A Pending CN117243564A (zh) | 2022-06-16 | 2023-06-13 | 非接触式受试者监测 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202321498714.0U Active CN220988769U (zh) | 2022-06-16 | 2023-06-13 | 非接触式受试者监测系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4292515A1 (zh) |
CN (2) | CN220988769U (zh) |
WO (1) | WO2023241986A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6021210A (en) * | 1997-12-01 | 2000-02-01 | Sensar, Inc. | Image subtraction to remove ambient illumination |
JP6545658B2 (ja) * | 2013-03-12 | 2019-07-17 | ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション | ビリルビンレベルを推定すること |
WO2019126470A1 (en) * | 2017-12-22 | 2019-06-27 | Google Llc | Non-invasive detection of infant bilirubin levels in a smart home environment |
EP3839880A1 (en) * | 2019-12-20 | 2021-06-23 | Koninklijke Philips N.V. | A system for performing ambient light image correction |
-
2022
- 2022-06-16 EP EP22179392.0A patent/EP4292515A1/en active Pending
-
2023
- 2023-06-06 WO PCT/EP2023/065026 patent/WO2023241986A1/en unknown
- 2023-06-13 CN CN202321498714.0U patent/CN220988769U/zh active Active
- 2023-06-13 CN CN202310696570.8A patent/CN117243564A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023241986A1 (en) | 2023-12-21 |
EP4292515A1 (en) | 2023-12-20 |
CN220988769U (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2656760C2 (ru) | Система и способ для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения | |
JP6488291B2 (ja) | リモート光体積変動記録法のための自動カメラ調整 | |
RU2677765C2 (ru) | Система для скрининга состояния оксигенации субъекта | |
JP6114469B2 (ja) | 生理学的情報を抽出する装置、システム及び方法 | |
EP3664704B1 (en) | Device, system and method for determining a physiological parameter of a subject | |
US20180279885A1 (en) | Device, system and method for obtaining vital sign information of a subject | |
CN106999116B (zh) | 用于皮肤检测的设备和方法 | |
CN105979861B (zh) | 用于基于反射和透射的光来确定对象的生命体征的设备、系统和方法 | |
US20150223700A1 (en) | Device, system and method for determining vital signs of a subject based on reflected and transmitted light | |
EP3440991A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
EP3479754A1 (en) | Device, system and method for determining at least one vital sign of a subject | |
CN114269231A (zh) | 使用一组机器学习诊断模型来确定基于患者肤色的诊断 | |
EP3422931B1 (en) | Device, system and method for determining a vital sign of a subject | |
CN220988769U (zh) | 非接触式受试者监测系统 | |
US11810325B2 (en) | Method, device and system for enabling to analyze a property of a vital sign detector | |
Saxena | A Non-Contact Based System to Measure SPO2 and Systolic/Diastolic Blood Pressure using Rgb-Nir Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |