CN115916038A - 内眦系统和方法的热成像温度测量的距离补偿 - Google Patents
内眦系统和方法的热成像温度测量的距离补偿 Download PDFInfo
- Publication number
- CN115916038A CN115916038A CN202180052269.2A CN202180052269A CN115916038A CN 115916038 A CN115916038 A CN 115916038A CN 202180052269 A CN202180052269 A CN 202180052269A CN 115916038 A CN115916038 A CN 115916038A
- Authority
- CN
- China
- Prior art keywords
- thermal
- distance
- person
- temperature
- logic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004861 thermometry Methods 0.000 title description 5
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 76
- 238000012937 correction Methods 0.000 claims abstract description 42
- 230000036760 body temperature Effects 0.000 claims description 42
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 28
- 238000003384 imaging method Methods 0.000 description 41
- 230000001815 facial effect Effects 0.000 description 25
- 230000015654 memory Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000013179 statistical model Methods 0.000 description 12
- 238000001931 thermography Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000005855 radiation Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 101100460844 Mus musculus Nr2f6 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 206010037660 Pyrexia Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000036757 core body temperature Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6844—Monitoring or controlling distance between sensor and tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Ophthalmology & Optometry (AREA)
- Toxicology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Geometry (AREA)
- Radiation Pyrometers (AREA)
Abstract
公开了各种技术以提供使用内眦的热图像的改进的人体温度检测。在一个示例中,一种方法包括使用热成像器捕获人的热图像。方法还包括使用热图像的对应像素来确定与人的面部的内眦相关联的未补偿温度测量值。方法还包括确定岁热成像器和人之间的距离而变化的校正项。方法还包括将校正项应用于未补偿温度测量值以提供与内眦相关联的校正温度测量值以补偿与距离相关联的衰减。还提供了附加的方法和系统。
Description
相关申请的交叉引用
本申请要求于2020年6月26日提交并且名称为“内眦系统和方法的热成像温度测量的距离补偿”美国临时专利申请第63/044,516号的优先权和权益,上述申请通过引用整体并入本文。
本申请要求于2021年3月8日提交并且名称为“内眦系统和方法的热成像温度测量”的美国临时专利申请第63/158,273号的优先权和权益,上述申请通过引用整体并入本文。
技术领域
本发明总体上涉及热成像,并且更具体地,涉及补偿热图像温度测量的距离相关衰减以及检测人的面部和内眦。
背景技术
热成像系统经常用于检测场景中的各种物体或人的温度。例如,在人的情况下,这样的系统可以用于检测体温。这样的系统在检测与可能的健康状况(例如,感染或疾病)相关联的升高的体温中可以是特别有用的。
在一些情况下,人眼的内眦(例如,上眼睑和下眼睑相遇的眼睛的内角,也称为内眦)可以用于温度检测。特别地,内眦可以用作体温的一般近似。因而,升高的内眦温度可能与总体升高的体温相关联。
然而,内眦温度检测的常规方法可能存在误差。例如,内眦可以包括捕获的人脸或身体的整体热图像的相对小部分。因此,内眦可以仅与捕获的热图像的少量像素相关联。结果,由于来自其他相邻面部特征的其他杂散热波长的影响,与内眦相关联的测量温度值可能随着距离显著减小。内眦也可能难以检测,特别是当人佩戴面罩或其他面部覆盖物时。
因此,需要一种使用内眦的热成像进行温度检测的改进方法,其提供优于常规技术的改善的准确度。
发明内容
公开了各种技术以提供使用内眦的热图像的改进的人体温度检测。特别地,提供了热成像系统和相关方法,其中补偿距离相关的温度衰减以改善人体温度检测的准确度。这样的技术在准确检测与可能的健康状况相关联的可能升高的人体温度方面特别有用。
公开了各种技术以提供改进的面部检测。例如,提供了热成像系统和相关方法,其中检测热图像中的人的面部和内眦,并且确定人的内眦的温度测量值和体温。基于所确定的温度,可以触发警报和/或可以生成通知,以便识别超过阈值(例如,超过温度测量值的统计模型的连续平均值)的升高的体温。
在一个实施例中,一种方法包括:使用热成像器捕获人的热图像;确定随所述热成像器和人之间的距离而变化的校正项;以及应用所述校正项以提供与人的面部的内眦相关联的校正温度测量值以补偿与所述距离相关联的衰减。
在另一实施例中,一种系统包括热成像器;以及逻辑装置,所述逻辑装置配置成操作所述热成像器以捕获人的热图像,确定随所述热成像器和人之间的距离而变化的校正项,以及应用所述校正项以提供与人的面部的内眦相关联的校正温度测量值以补偿与所述距离相关联的衰减。
在另一实施例中,一种方法包括使用热成像器捕获人的热图像,使用人工神经网络检测所述热图像中的人的面部和内眦,使用所述热图像的对应像素确定内眦的温度测量值,以及使用所述温度测量值确定人的体温。
在另一实施例中,一种系统包括热成像器和逻辑装置,所述逻辑装置配置成操作所述热成像器以捕获人的热图像,使用人工神经网络检测所述热图像中的人的面部和内眦,使用所述热图像的对应像素确定内眦的温度测量值,以及使用所述温度测量值确定人的体温。
本发明的范围由权利要求限定,权利要求通过引用并入本部分。通过考虑一个或多个实施例的以下详细描述,将向本领域技术人员提供对本发明的实施例的更完整的理解,以及其附加优点的实现。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的实施例的成像系统的框图。
图2示出了根据本公开的实施例的热成像器的框图。
图3示出了根据本公开的实施例的人工神经网络的框图。
图4示出了根据本公开的实施例的在不同距离处捕获的一系列热图像。
图5示出了根据本公开的实施例的经历距离分析的热图像。
图6示出了根据本公开的实施例的未补偿温度测量值的绘图。
图7示出了根据本公开的实施例的校正温度测量值的绘图。
图8和9示出了根据本公开的实施例的具有相关联的未补偿温度测量值的热图像。
图10和11示出了根据本公开的实施例的具有相关联的校正温度测量值的热图像。
图12示出了根据本公开的实施例的确定校正温度测量值的过程。
图13-18示出了根据本公开的一个或多个实施例的用于向用户提供关于温度计算和确定的温度测量值的反馈的各种叠加。
图19示出了根据本公开的实施例的使用统计模型确定人是否具有升高的或正常的温度的工作流程。
通过参考下面的详细描述,可以最好地理解本发明的实施例及其优点。应当领会,相同的附图标记用于标识一个或多个附图中所示的相同元件。
具体实施方式
根据本文进一步讨论的实施例,提供了各种方法和系统,其中处理热图像以便以补偿可能的距离衰减的方式确定人(例如,个人)的温度。特别地,本文讨论的技术对于提供人内眦的准确温度测量值特别有用。
在这方面,内眦通常是人面部上最热的特征,并且是体温的合理近似(例如,内眦的升高的温度通常可能与升高的核心体温相关联)。因此,通过提高内眦温度测量值的准确度,可以更准确地检测与各种健康状况相关联的升高的体温。
当捕获人面部的热图像时,与内眦相关联的大部分热辐射由所得热图像的少量像素提供。然而,那些像素和其他周围像素也可以与来自面部的其他部分(例如,眼睛、眉毛、鼻子等)的热辐射贡献相关联。随着距离的增加,该效果可以变得更加明显。例如,在更大的距离处,更少数量的像素(例如,并且因此热图像的总像素的更小比例)将与内眦本身相关联,并且越来越多数量(例如,更大比例)的像素将与面部的其他部分相关联。结果,随着到人的距离增加,在捕获的热图像中,与内眦相关联的总影响热辐射将减小。因此,当处理这样的热图像以检测内眦的温度(例如,并因此用于检测可能升高的体温)时,检测到的温度可能随距离变化很大。这种基于距离的温度变化可能在准确检测可能升高的体温方面产生困难。
根据本文讨论的实施例,提供了补偿技术,其中可以将校正项应用于与使用热图像检测到的人的内眦相关联的温度测量值。例如,热图像中的人的面部宽度和/或面部面积(例如,以像素为单位)可以用于确定可以应用于检测到的温度以提供补偿温度的校正项。通过应用校正项,所得补偿温度可以提供内眦温度的稳定表示,而不管热成像器和成像的人之间的距离如何。
这样的实施方式对于需要测量不同距离处的多个人的温度的应用特别有用,例如在扫描人群以寻找可能升高的温度的情况下。通过应用如本文所讨论的校正项,即使当人分布在距热成像系统不同的距离处时,也可以在这样的应用中确定准确的体温。
同样根据本文讨论的实施例,包括各种技术以提供关于温度、相对于热成像器的位置和其他特征的用户反馈。在一些实施例中,可以使用统计分析来提供用户体温的连续平均值。这样的连续平均值可以用于确定阈值以检测升高的体温。
现在转向附图,图1示出了根据本公开的实施例的成像系统100的框图。如图所示,成像系统100包括具有光圈158的壳体151(例如,相机主体)、一个或多个滤波器160、一个或多个光学部件162、热成像器164、成像器接口166、逻辑装置168、用户控件170、存储器172、通信接口174、机器可读介质176、距离传感器177、显示器178、其他传感器180和其他部件182。
在各种实施例中,成像系统100可以实现为例如相机系统,如便携式(例如,手持式)热感相机系统、实现为另一装置的一部分的小形状因子相机系统、固定相机系统和/或其他适当的实现方式。成像系统100可以定位成从场景190(例如,成像系统100的视场)接收红外辐射194。在各种实施例中,场景190可以包括各种感兴趣的特征,如一个或多个人192(例如,人)。
如图所示,人192(例如,人)可以位于距成像系统100距离102处。在各种实施例中,距离102可以随时间改变。例如,如果人192和/或成像系统100在捕获一系列热图像时处于运动中,则可以以不同的关联距离102捕获不同的热图像。
距离传感器177可以实现为用于检测距离102的任何适当类型的装置。这样的实施方式可以包括例如飞行时间传感器、LIDAR系统、雷达系统和/或其他适当的实施方式。在一些实施例中,可以使用其他技术来确定距离102,如处理热图像以确定与人192的各种特征相关联的热图像中的像素的数量,也如本文所讨论的。
红外辐射194通过光圈158被接收并且穿过一个或多个滤波器160,所述一个或多个滤波器可以设置成选择性地过滤感兴趣的特定热波长以获得要由热成像器164捕获的图像。光学部件162(例如,包括一个或多个透镜、附加滤波器、透射窗口和/或其他光学部件的光学组件)使经滤波的红外辐射194通过以供热成像器164捕获。
因而,应当领会,滤波器160和/或光学部件162可以一起操作以选择性地滤除红外辐射194的多个部分,使得仅期望的波长和/或期望的热辐射强度最终由热成像器164接收。在各种实施例中,可以提供这些部件的任何期望的组合(例如,可以包括和/或省略各种部件以适合于各种实现方式)。
热成像器164可以响应于红外辐射194捕获场景190的热图像。热成像器164可以包括用于捕获场景190的热图像(例如,热图像帧)的传感器阵列。在一些实施例中,热成像器164还可以包括一个或多个模数转换器,用于将由传感器捕获的模拟信号转换为数字数据(例如,像素值)以提供捕获的图像。成像器接口166将捕获图像提供给逻辑装置168,所述逻辑装置可以用于处理图像、将原始和/或经处理的图像存储在存储器172中和/或从存储器172检索存储图像。热成像器164的实施例的附加实现方式的细节将在本文中关于图2进一步讨论。
逻辑装置168可以包括例如微处理器、单核处理器、多核处理器、微控制器、配置成执行处理操作的可编程逻辑装置、数字信号处理(DSP)装置、用于存储可执行指令(例如,软件、固件或其他指令)的一个或多个存储器和/或用于执行本文描述的各种操作中的任何操作的装置和/或存储器的任何其他适当组合。逻辑装置168配置成与成像系统100的各种部件接口和通信,以执行本文中描述的各种方法和处理步骤。在各种实施例中,处理指令可以集成在作为逻辑装置168的一部分的软件和/或硬件中,或者集成在可以存储在存储器172和/或机器可读介质176中的代码(例如,软件和/或配置数据)中。在各种实施例中,存储在存储器172和/或机器可读介质176中的指令允许逻辑装置168执行本文所讨论的各种操作和/或控制系统100的各种部件以用于这样的操作。
存储器172可以包括用于存储数据和信息的一个或多个存储器装置(例如,一个或多个存储器)。一个或多个存储器装置可以包括各种类型的存储器,包括易失性和非易失性存储器装置,如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存、固定存储器、可移动存储器和/或其他类型的存储器。
机器可读介质176(例如,存储器、硬盘驱动器、光盘、数字视频盘或闪存)可以是存储由逻辑装置168执行的指令的非暂时性机器可读介质。在各种实施例中,机器可读介质176可以被包括作为成像系统100的一部分和/或与成像系统100分离,其中通过将机器可读介质176联接到成像系统100和/或通过成像系统100从机器可读介质(例如,包含非暂时性信息)下载(例如,经由有线或无线链路)指令来将存储的指令提供给成像系统100。
逻辑装置168可以配置成处理捕获的图像并将它们提供给显示器178以呈现给用户并由用户观看。显示器178可以包括显示装置,如液晶显示器(LCD)、有机发光二极管(OLED)显示器和/或适于向系统100的用户显示图像和/或信息的其他类型的显示器。逻辑装置168可以配置成在显示器178上显示图像和信息。例如,逻辑装置168可以配置成从存储器172检索图像和信息,并将图像和信息提供给显示器178以呈现给系统100的用户。显示器178可以包括显示电子器件,其可以由逻辑装置168使用以显示这样的图像和信息。
用户控件170可以包括具有一个或多个用户致动部件的任何期望类型的用户输入和/或接口装置,例如一个或多个按钮、滑动条、旋钮、键盘、操纵杆和/或配置成生成一个或多个用户致动输入控制信号的其他类型的控件。在一些实施例中,用户控件170可以与显示器178集成作为触摸屏,以作为用户控件170和显示器178两者操作。逻辑装置168可以配置成感测来自用户控件170的控制输入信号,并且响应于从其接收的感测到的控制输入信号。在一些实施例中,显示器178和/或用户控件170的部分可以由平板电脑、膝上型计算机、台式计算机和/或其他类型的装置的适当部分来实现。
在各种实施例中,用户控件170可以配置成包括一个或多个其他用户激活机构以提供成像系统100的各种其他控制操作,例如自动聚焦、菜单启用和选择、视场(FoV)、亮度、对比度、增益、偏移、空间、时间和/或各种其他特征和/或参数。
成像系统100可以包括各种类型的其他传感器180,包括例如麦克风、导航传感器、温度传感器和/或其他适当的传感器。
逻辑装置168可以配置成通过通信接口174(例如,通过有线和/或无线通信)接收来自成像器接口166的图像以及来自运动传感器177、传感器180和/或用户控件170的信号和数据,并将其传递到一或多个外部装置(例如,远程系统)。在这方面,通信接口174可以实现为通过电缆提供有线通信和/或通过天线提供无线通信。例如,通信接口174可以包括一个或多个有线或无线通信组件,例如以太网连接、基于IEEE 802.11标准的无线局域网(WLAN)组件、无线宽带组件、移动蜂窝组件、无线卫星组件或各种其他类型的无线通信组件,包括配置用于与网络通信的射频(RF)、微波频率(MWF)和/或红外频率(IRF)组件。因而,通信接口174可以包括与其联接的天线,以用于无线通信目的。在其他实施例中,通信接口174可以配置成与DSL(例如,数字用户线路)调制解调器、PSTN(公共交换电话网络)调制解调器、以太网装置和/或配置用于与网络通信的各种其他类型的有线和/或无线网络通信装置接口连接。
在一些实施例中,网络可以实现为单个网络或多个网络的组合。例如,在各种实施例中,网络可以包括互联网和/或一个或多个内联网、陆线网络、无线网络和/或其他适当类型的通信网络。在另一示例中,网络可以包括配置成与诸如互联网的其他通信网络通信的无线电信网络(例如,蜂窝电话网络)。因而,在各种实施方案中,成像系统100和/或其单独的关联部件可以与特定网络链路相关联,例如URL(统一资源定位符)、IP(互联网协议)地址和/或移动电话号码。
成像系统100可包含各种其他部件182,例如扬声器、附加显示器、视觉指示器(例如,记录指示器)、振动致动器、电池或其他电源(例如,可再充电或其他)和/或适合于特定实施方式的附加部件。
尽管成像系统100的各种特征在图1中一起示出,但是各种示出的部件和子部件中的任何一个可以以分布式方式实现并且适当地彼此远程使用。
尽管已在热成像系统的背景下描述了成像系统100,但是也可以设想其他实施例。在一些实施例中,光圈158、滤波器160、光学部件162和/或成像器164可以实现为通过和捕获除了热波长之外或代替热波长的其他波长,例如可见光波长。例如,成像系统100可以实现为捕获场景190的热图像和可见光图像两者,以用于彼此比较以检测缩放或其他现象。作为另一示例,针对不同波长实现的不同成像系统100可以用于捕获场景190的热图像和可见光图像。
图2示出了根据本公开的实施例的热成像器164的框图。在该图示的实施例中,热成像器164是焦平面阵列(FPA),其包括红外传感器232的传感器阵列230(例如,实现为单位单元)和读出集成电路(ROIC)202。尽管示出了红外传感器232的8×8阵列(例如,对应于像素的行和列),但这仅仅是为了示例和便于说明的目的。可以根据需要使用任何期望的传感器阵列尺寸。
每个红外传感器232可以例如通过诸如微测辐射热计的红外检测器和相关联的电路来实现以提供捕获的热图像的像素的图像数据(例如,与捕获的电压相关联的数据值)。在这方面,时间复用电信号可以由红外传感器232提供给ROIC 202。
ROIC 202包括生成偏置和定时控制电路204、列放大器205、列多路复用器206、行多路复用器208和输出放大器210。由红外传感器232捕获的图像可以由输出放大器210提供给逻辑装置168和/或任何其他适当的部件以执行本文描述的各种处理技术。ROIC和红外传感器(例如,微测辐射热计电路)的进一步描述可以在2000年2月22日发布的美国专利第6,028,309号中找到,其全部内容通过引用并入本文。
图3示出了根据本公开的实施例的人工神经网络300的框图。例如,在一些实施例中,神经网络300可以由逻辑装置168实现。
如图所示,神经网络300包括布置在多个层中的各种节点302,所述多个层包括接收一个或多个输入310的输入层304、隐藏层306和提供一个或多个输出320的输出层308。尽管示出了特定数量的节点302和层304、306和308,但是在各种实施例中可以提供任何期望数量的这样的特征。
在一些实施例中,神经网络300可以用于对由成像系统100捕获并提供给神经网络300的输入310的各种热图像执行面部检测。这种面部检测的结果可以由神经网络在输出320处提供。在一些实施例中,可以通过向输入310提供人脸的热图像(例如,存储在机器可读介质176中)来训练神经网络300。
图4示出了根据本公开的实施例的在不同距离处捕获的人192的一系列热图像410至420。例如,如图所示,已在0.5米至4米范围内的各种距离处捕获了热图像410至420。还如图所示,人192的内眦402存在于热图像410至420中的每一个中。然而,随着距离增加,内眦402的尺寸在热图像410至420中变得越来越小。在这方面,随着距离的增加,与内眦402相关联的热图像410至420中的像素数量也相应地减少。此外,其他面部特征的贡献将成比例地变高,从而导致与内眦402相关联的捕获像素的总体温度降低。
例如,如图4中进一步所示,检测到的内眦402的未补偿温度(例如,通过处理确定为与内眦402相关联的像素的值来执行)随着距离从0.5米的距离处的高35.9℃减小到4米的距离处的低35.1℃(例如,0.8℃的变化)。该变化在升高的体温检测的背景下可能是显著的,因为这样的误差可以确定人的测量体温是否超过与健康状况相关联的阈值。
根据本文讨论的各种实施例,可以确定校正项以补偿这种基于距离的衰减。在这方面,校正项可以是距离的函数。例如,这通常可以由以下等式1表示:
CompensatedTemp=MeasuredTemp+Correction(Distance)(等式1)
在等式1中,CompensatedTemp是补偿距离的内眦402的校正温度测量值(例如,补偿温度值),MeasuredTemp是通过分析热图像确定的内眦402的未补偿温度测量值,并且Correction是作为Distance的函数应用于MeasuredTemp的校正项,其中Distance是距成像系统100和人192的距离102。因此,在各种实施例中,如等式1中阐述的Correction(Distance)可以使用适当的基于距离的相关来提供校正项。
距离102可以通过各种技术来确定。例如,在一些实施例中,距离102可以由距离传感器177使用如所讨论的适当类型的传感器和/或系统来确定。在一些实施例中,可以通过参考场景190中具有到成像系统100的已知距离的其他可能特征来确定距离102。
在一些实施例中,可以通过执行对人192的一个或多个捕获的热图像的分析来确定距离102。例如,图5示出了根据本公开的实施例的经历距离分析的热图像402。在一些实施例中,逻辑装置168可以执行关于图5讨论的分析。
在图5中,处理热图像402以检测包括耳510和512的人192的面部502。另外,计算耳510和512之间的面部宽度(例如,也称为“ear2ear(耳朵到耳朵)”或“e2e”)514。该面部宽度514可以用于确定近似距离102。在这方面,成像系统100可以被预校准(例如,用存储在机器可读介质176中的适当信息)以将面部宽度514(例如,跨宽度514的像素的数量)与距离102相关联。例如,人通常具有在相对窄的范围内(例如,通常12cm至16cm)的面部宽度。结果,成像系统100可以存储与检测到的面部相关联的像素数量(例如,假设面部宽度514是平均面部宽度)和距离102之间的预定相关。因此,通过确定与面部宽度514相关联的热图像410的像素的数量,成像系统100可以确定距离102的近似值。
尽管已讨论了面部宽度514和距离102之间的相关性,但是也可以使用其他相关性,例如确定与面部502的面积相关联的像素的数量(例如,与面部相关联的热图像的像素的数量)以及预校准成像系统100以将平均面部面积与距离102相关联。
更详细地考虑面部宽度514相关性,可以更新等式1以具体地解决面部宽度514(例如,“ear2ear”或“e2e’”),如以下等式2中阐述:
CompensatedTemp=MeasuredTemp+Correction(ear2ear)(等式2)
在等式2中,ear2ear是与面部宽度514相关联的热图像410中的像素的数量。在一些实施例中,可以根据以下等式3确定校正项Correction(ear2ear):
Correction(ear2ear)=p1/(p2+ear2ear)(等式3)
在等式3中,p1和p2是与面部宽度514(例如,ear2ear)和距离102之间的预定相关性相对应的拟合常数。
在查看等式3时,应当领会,随着ear2ear值减小(例如,对应于与距离102的较大值相关联的面部宽度514减小),Correction(ear2ear)(例如,校正项)的量值增加以补偿与内眦402相关联的像素的基于距离的衰减。
在查看图6和7时可以进一步领会该补偿的结果。在这方面,图6示出了根据本公开的实施例的未补偿温度测量的绘图610、620和630。特别地,绘图610、620和630示出了从一系列热图像确定的三个不同的人192的内眦402(沿着竖直轴线表示为Tmax(C))和对应的面部宽度514(沿着水平轴线表示为“耳朵到耳朵(ear2ear)”)确定的未补偿温度测量值(例如,绘图610、620和630中的每一个对应于与不同的人192相关联的温度测量值)。应当领会,ear2ear的较大值对应于与捕获的热图像相关联的较小距离102。如图所示,绘图610、620和630展示了大约2℃(例如,范围从低的大约32.9℃到高的大约35℃)的温度测量中的实质的基于距离的衰减。
相比之下,图7示出了根据本公开的实施例的校正温度测量值的绘图710、720和730。特别地,绘图710、720和730示出了使用图6的相同热图像针对内眦402和对应的面部宽度514确定的校正的(例如,距离补偿的)温度测量值。例如,在一些实施例中,可以通过将适当的校正项(例如,根据关于等式1至3讨论的技术)应用于图6的未补偿温度测量值来确定图7的校正温度测量值。
如图所示,绘图710、720和730展示了在小温度范围内(例如,范围从低的大约35.4℃到高的大约36℃)的每个人192的基本均匀的温度测量值。此外,绘图710中的变化特别好地包含在仅0.1℃的范围内。将绘图710、720和730的补偿温度测量值与绘图610、620和630的未补偿温度测量值进行比较,显然补偿温度测量值提供了与距离102无关的内眦温度的可靠表示。
图8至10进一步示出了本文所讨论的温度补偿技术的结果。例如,图8和9示出了根据本公开的实施例的具有相关联的未补偿温度测量值的热图像800和900。在图8中,已在距热成像系统100远距离(例如,大约20英尺)处捕获热图像800。检测到的人810、812和814的内眦温度分别为31.8℃、31.3℃和32.0℃。此外,所有人的平均温度为31.69℃。
在图9中,已在距热成像系统100近距离(例如,大约5英尺)处捕获热图像900。检测到的人810、812和814的内眦温度分别为33.2℃、32.5℃和33.1℃(例如,全部高于图8的内眦温度)。此外,所有人的平均温度为32.93℃(例如,高于图8的平均温度)。因此,应当领会,与图8和9相关联的未补偿温度测量值表明显著的基于距离的衰减。
图10和11示出了根据本公开的实施例的具有相关联的补偿温度测量值的热图像1000和1100。在这方面,热图像1000和1100使用与热图像800和900相同的原始捕获的热图像数据,但是包括补偿温度测量值的结果。
如图10中所示(例如,在大约20英尺的远距离处捕获的热图像1000),检测到的人810、812和814的内眦温度分别为33.8℃、33.5℃和34.3℃。此外,所有人的平均温度为33.86℃。
在图11中(例如,在大约5英尺的近距离处捕获的热图像1100),检测到的人810、812和814的内眦温度分别为33.7℃、33.3℃和33.6℃(例如,全部在温度上接近图10的温度)。此外,所有人的平均温度为33.56℃(例如,在温度上接近图10的温度)。因此,应当领会,与图10和11相关联的补偿温度测量值表明与基于距离的衰减无关的一致性。
图12示出了根据本公开的实施例的确定经补偿温度测量值的过程1200。在框1210中,逻辑装置168执行预处理操作(例如,预校准)以确定距离102和捕获的热图像的各种特征之间的相关性,以确定等式3的拟合常数p1和p2。例如,在一些实施例中,框1210可以包括在距成像系统100不同距离102处捕获对象或人的多个热图像以确定与各种特征(例如,面部宽度514或其他人面部特征)相关联的像素数量和不同距离102之间的相关性。然后逻辑装置168可以适当地确定拟合常数p1和p2的值,以补偿在热图像中捕获的特征中的与距离相关的变化。
在框1215中,热成像器164捕获场景190中的一个或多个感兴趣的人192的一个或多个热图像。例如,热成像器164可以由逻辑装置(例如,逻辑装置168)操作以捕获热图像。
在框1220中,逻辑装置168执行面部检测(例如,使用神经网络300和/或其他适当的面部检测技术)以检测面部和人192的内眦402在捕获的热图像中的位置。例如,逻辑装置168可以采用人工神经网络(例如,神经网络300)、检测系统(例如,如下面参考图19所述)和/或其他适当的面部检测技术来检测热图像中的人192的面部和内眦402。在实施例中,框1220可以包括在捕获的热图像中检测人192佩戴的面部覆盖物,例如面罩或另一类型的面部覆盖物。
在框1230中,逻辑装置168确定到人192的距离102。如所讨论的,可以使用各种技术。在一些实施例中,可以通过确定人192的面部宽度514(例如,ear2ear值)和/或其他面部特征并且与距离102相关性(例如,通过由框1210提供的预定相关性)来执行基于像素的方法。例如,可以使用一个或多个面部特征的像素数量(例如,面部宽度、面部面积等)和距离之间的预定相关性来确定距离102,但是可以设想其他配置。在其他实施例中,可以适当地使用距离传感器177和/或其他技术。
在框1232中,可以生成关于距离102的通知。例如,成像系统100可以基于确定的距离生成确定需要人192相对于热成像器164移动的通知。例如,成像系统100可以生成指示人192不正确定位,例如在距热成像器164的优选距离范围之外的通知。结果,可以重复图12的一个或多个框,直到人192正确地定位在优选的距离范围内。以该方式,在随后的步骤中进行温度测量之前,可以适当地对准人192,如下所述。
在框1233中,逻辑装置168确定内眦402的未补偿温度测量值。例如,框1233可以包括确定与对应于内眦402的热图像的像素值相关联的温度。在各种实施例中,可以例如通过平均和/或以其他方式处理对应的像素值来确定这样的温度。
在框1235中,逻辑装置168确定要应用于先前检测到的未补偿温度测量值的校正项。例如,校正项可以被确定为热成像器164和人192之间的距离的函数。在如所讨论的基于像素的方法的情况下,可以使用等式3来确定校正项。在其他实施例中,可以使用作为距离的函数的任何适当的校正项,如关于等式1所讨论的。在实施例中,可以基于与面部覆盖物(例如,面罩)相关联的衰减来确定校正项,如下所述。以该方式,过程1200可以补偿由人192佩戴的一个或多个面部覆盖物,例如下面参考图13-18描述的那些面部覆盖物。
在框1240中,逻辑装置168将校正项应用于未补偿温度测量值(先前在框1225中确定),以提供如关于图7、10和11所讨论的校正温度测量值。例如,可以应用校正项,以提供与内眦402相关联的校正温度测量值以补偿与距离102、面部覆盖物或其他因素相关联的衰减,如本文所述。
在框1245中,成像系统100将校正温度测量值提供给成像系统100的用户。例如,在一些实施例中,成像系统100可以提供校正温度测量值作为在显示器178上呈现给用户的热图像的一部分,类似于图10和11的热图像1000和1100或图13-18的热图像。校正温度测量值可以与人192的体温相关。例如,逻辑装置168可以采用测量系统和/或其他适当的温度确定技术来基于内眦402的温度确定人192的体温,如本文所述。
在框1247中,逻辑装置168用统计模型处理校正温度测量值。例如,可以使用统计分析来提供校正温度测量值(例如,用户体温)的连续平均值,例如参考图19所述。连续平均值可以用于确定检测升高的体温的阈值,如下面所解释的。
在框1250中,逻辑装置168确定校正温度测量值是否与升高的体温相关联。例如,校正温度测量值可以用于识别与人192相关联的可能的健康状况。可以基于校正温度测量值超过阈值(例如在框1247中由统计模型提供的连续平均值)来确定升高的体温。如果没有检测到升高的体温,则图12的过程返回到框1215,其中可以捕获并随后处理附加的热图像,如所讨论的。
如果在框1250中检测到升高的体温,则图12的过程继续到框1255,其中成像系统100可以生成关于升高的体温的通知。例如,在各种实施例中,成像系统100可以适当地使用成像系统100的各种部件来生成文本、图标、颜色、闪光灯、声音、警报和/或其他类型通知的形式的可见和/或可听通知。关于升高的体温的通知可以包括许多配置,例如下面参考图13-18描述的那些配置。此后,图12的过程返回到框1215,其中可以捕获并随后处理附加的热图像,如所讨论的。
在一些实施例中,可以针对捕获的热图像中存在的多个人192执行图12的操作(例如,如关于图10和11类似地讨论和示出)。在一些实施例中,当一个或多个人192移动通过场景190和/或具有变化的距离102时,可以重复图12的操作以提供更新的校正温度测量值。
还设想了附加实施例。例如,尽管已讨论了使用面部尺寸(例如,宽度和/或面积)和距离之间的相关性来确定校正项,但是其他相关也是可能的。例如,在一些实施例中,在距成像系统100相同距离102处具有不同面部尺寸(例如,对应于不同头部尺寸)的人192的热图像可能导致不同的温度测量值(例如,由于不同面部尺寸的内眦的不同尺寸以及因此相应地与其相关联的不同像素数量)。因此,在一些实施例中,可以适当地进一步调整和/或相关联校正项以进一步补偿与距成像系统100相同距离102处的人192的不同大小的面部相关联的这样的差异。
如关于图12的框1232、1245和1255所讨论的,设想了各种技术来提供关于内眦402的校正温度测量值的用户反馈。在实施例中,用户(例如,人192)可以看着热成像器164并接收关于用户相对于热成像器164的位置和/或确定的用户体温的反馈。例如,用户可以在热图像中看到叠加或其他通知,其提供热成像器164的状态、用户的位置(例如,太近、太远等)和/或确定的用户体温(例如,低于正常、正常或升高)的视觉指示。
如关于图12的框1247所讨论的,各种实施例在确定用户的升高体温时利用统计分析方法。例如,可以使用确定体温的连续平均值来设置阈值以准确地确定用户是否正在发烧。例如,这样的连续平均值可以考虑可能以其他方式影响人体温的环境因素(例如,环境温度或其他特征)。
图13-18示出了根据本公开的一个或多个实施例的用于向用户提供关于温度计算和确定的温度测量值的反馈的各种通知或指示。例如,如关于图12的框1232所讨论的,逻辑装置168可以生成关于到人192的距离102的通知。如关于图12的框1245所讨论的,逻辑装置168可以生成提供人192的校正温度测量值的通知。另外,如关于图12的框1255所讨论的,逻辑装置168可以生成升高体温的通知。
图13示出了第一通知1300。如图所示,第一通知1300可以是人192的面部上的叠加,但是可以设想其他配置,包括例如在显示器178上提供的一个或多个通知或界面(例如,网页界面)。第一通知1300可以配置成向用户提供关于温度计算的第一指示。例如,第一通知1300可以指示系统当前正在计算人192的温度、人192适当地定位(例如,在优选的距离范围内)等。第一通知1300可以是第一图案、类型和/或颜色(例如青色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1232中生成第一通知1300。
图14示出了第二通知1400。类似于第一通知1300,第二通知1400可以是在显示器178上提供的人192的面部上的叠加、通知和/或界面(例如,网页界面)。第二通知1400可以配置成向用户提供关于温度计算的第二指示。例如,第二通知1400可以指示系统处于校准模式、人192定位得太近等。第二通知1400可以是第二图案、类型和/或颜色(例如黄色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1232中生成第二通知1400。
图15示出了第三通知1500,其可以是在显示器178上提供的人192的面部上的叠加、通知和/或界面(例如,网页界面)。第三通知1500可以配置成向用户提供关于温度计算的第三指示。例如,第三通知1500可以指示人192不正确地定位,例如在优选距离范围之外。在这样的实施例中,第三通知1500可以提供指示人192相对于相机移动以提供具有用于内眦辐射测量的足够像素的热图像的反馈,如上所述。第三通知1500可以是第三图案、类型和/或颜色(例如紫色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1232中生成第三通知1500。
图16示出了第四通知1600,其可以是在显示器178上提供的人192的面部上的叠加、通知和/或界面(例如,网页界面)。第四通知1600可以配置成向用户提供第四指示,例如关于人192的确定温度测量值。例如,第四通知1600可以指示人192的检测温度低于正常,例如低于特定于人192或一般人的正常范围。第四通知1600可以是第四图案、类型和/或颜色(例如蓝色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1245或框1255中生成第四通知1600。
图17示出了第五通知1700,其可以是在显示器178上提供的人192的面部上的叠加、通知和/或界面(例如,网页界面)。第五通知1700可以配置成向用户提供第五指示,例如关于人192的确定温度测量值。例如,第五通知1700可以指示人192的检测温度是正常的,例如在特定于人192或一般人的正常范围内。第五通知1700可以是第五图案、类型和/或颜色(例如绿色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1245或框1255中生成第五通知1700。
图18示出了第六通知1800,其可以是在显示器178上提供的人192的面部上的叠加、通知和/或界面(例如,网页界面)。第六通知1800可以配置成向用户提供第六指示,例如关于人192的确定温度测量值。例如,第六通知1800可以指示人192的检测温度升高,例如高于特定于人192或一般人的正常范围。第六通知1800可以是第六图案、类型和/或颜色(例如红色叠加)以区别于其他指示,如本文所提供的。可以在图12的框1245或框1255中生成第六通知1800。
参考图13-18,每个通知1300、1400、1500、1600、1700或1800可以是捕获人192的面部的矩形叠加。这样的示例仅是说明性的,并且通知1300、1400、1500、1600、1700、1800可以具有其他配置,包括例如圆形、卵形或多边形配置。在实施例中,每个通知1300、1400、1500、1600、1700或1800可以捕获人192的内眦402。在实施例中,通知1300、1400、1500、1600、1700、1800可以突出显示内眦402。
如图所示,成像系统100(例如,神经网络300)可以检测或适应人192佩戴的一个或多个面罩1310(或其他面部覆盖物)。例如,可以确定校正项以补偿面部覆盖物衰减。在这方面,校正项可以是罩1310的类型、罩1310的颜色、罩1310的材料属性、罩1310相对于内眦402的位置和/或其他罩属性等的函数。可以通过执行对人192的一个或多个捕获热图像的分析来确定一个或多个罩属性。
图19示出了根据本公开的实施例的由系统100执行以使用统计模型确定人是否具有升高或正常温度的工作流程1900。工作流程1900提供更新统计模型并提供所得的升高或正常温度确定的方法,其指示人192与先前样本相比是否具有升高温度。可以在图12的框1247中执行工作流程1900。
如图所示,可以将一个或多个热图像(例如,由热成像器164捕获,例如在图12的框1215中)提供给检测系统1902。检测系统1902可以是在逻辑装置168和/或系统100的其他逻辑装置上运行的模块或程序。检测系统1902可以检测热图像中的一个或多个面部和/或面部特征。例如,检测系统1902可以检测并突出显示热图像内的人192的内眦402。在实施例中,检测系统1902可以检测由人192佩戴的面部覆盖物(例如,面罩1310)(例如,使用神经网络300)。在实施例中,检测系统1902可以在图12的框1220中处理热图像。检测系统1902可以将跟踪ID 1904添加到检测(例如,如图所示的“ID01”)。
可以将检测系统1902的输出(例如,具有跟踪ID 1904的热图像)提供给测量系统1906。类似于检测系统1902,测量系统1906可以是在逻辑装置168和/或系统100的其他逻辑装置上运行的模块或程序。测量系统1906可以确定热图像的选定点上的温度测量值1908。例如,测量系统1906可以使用热图像的相应像素来确定人192的内眦402的温度测量值1908,如上所述,例如在图12的框1233中。测量系统1906可以确定校正项和/或将校正项应用于温度测量值1908(例如,在检测之前),以补偿与面部覆盖物1310相关联的衰减,例如在图12的框1235和/或框1240中。在一些实施例中,测量系统1906可以使用温度测量值1908来确定人192的体温。
可以将测量系统1906的输出(例如,具有跟踪ID 1904和测量温度1908的热图像)提供给采样系统1910。采样系统1910可以是在逻辑装置168和/或系统100的其他逻辑装置上运行的模块或程序。采样系统1910可以为每个跟踪ID 1904创建一个样本1914。例如,样本1914可以包括跟踪ID 1904和测量温度1908。
可以将样本1914提供给异常检测系统1920。异常检测系统1920可以是在逻辑装置168和/或系统100的其他逻辑装置上运行的模块或程序。异常检测系统1920可以处理(例如,比较)测量温度1908与统计模型1922,例如在图12的框1247中。如果测量温度1908在统计模型1922的阈值内,则确定人192的温度是正常的(例如,在图12的框1250处)。然而,如果测量温度1908高于统计模型1922,则确定人192的温度升高(例如,在图12的框1250处)。
统计模型1922可以是体现关于内眦温度测量值的一个或多个统计假设的任何数学模型。正常温度确定可以基于一个或多个测量温度1908超过阈值(例如,超过阈值概率)的。升高温度确定可以基于一个或多个测量温度1908超过或低于阈值(例如,低于阈值概率)。
如关于图12的框1255所讨论的,可以响应于体温超过阈值而生成一个或多个通知以识别升高体温。例如,可以在通知1926(例如,第五通知1700)处提供正常温度确定。可以在通知1928(例如,第六通知1800)处提供升高温度确定。可以在显示器178、用户界面或其他装置上提供通知1926和1928。在实施例中,升高温度确定可以触发警报和/或对适当的后续程序的请求。例如,可以触发二次测量方法以确定人192是否正在发烧。
统计模型1922可以是动态的。例如,每次面部在用于测量的适当距离内时,可以将测量的内眦区域温度(例如,内眦402的测量温度)添加到统计模型1922,以提供连续平均值。可以从所有先前的内眦温度测量值保留连续平均值以识别高于平均的温度。例如,如果测量的内眦区域温度高于当前连续平均值,则可以进行升高温度确定。
在适用的情况下,本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。此外,在适用的情况下,在不脱离本公开的精神的情况下,本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件和/或两者的复合组件。在适用的情况下,在不脱离本公开的精神的情况下,本文阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件或两者的子组件。另外,在适用的情况下,设想软件组件可以实现为硬件组件,反之亦然。
根据本公开的软件(如程序代码和/或数据)可以存储在一个或多个计算机可读介质上。还可以设想,本文所识别的软件可以使用一个或多个通用或专用计算机和/或计算机系统、联网和/或以其他方式来实现。在适用的情况下,本文描述的各种步骤的顺序可以改变、组合成复合步骤和/或分成子步骤以提供本文描述的特征。
上述实施例说明但不限制本发明。还应当理解,根据本发明的原理,许多修改和变化是可能的。因此,本发明的范围仅由所附权利要求限定。
Claims (20)
1.一种方法,所述方法包括:
使用热成像器捕获人的热图像;
使用所述热图像的对应像素来确定与人的面部的内眦相关联的未补偿温度测量值;
确定随所述热成像器和人之间的距离而变化的校正项;以及
将所述校正项应用于所述未补偿温度测量值,以提供与内眦相关联的校正温度测量值,从而补偿与所述距离相关联的衰减。
2.根据权利要求1所述的方法,所述方法还包括:
确定与面部相关联的所述热图像的像素的数量;以及
使用所述像素的数量和所述距离之间的预定关联来确定所述距离。
3.根据权利要求2所述的方法,其中,所述像素的数量与面部的宽度和/或面积相关联。
4.根据权利要求1所述的方法,所述方法还包括在所述热图像中检测人的面部和内眦。
5.根据权利要求4所述的方法,其中,所述检测包括通过人工神经网络处理所述热图像。
6.根据权利要求1所述的方法,所述方法还包括使用所述校正温度测量值确定人的升高体温。
7.根据权利要求6所述的方法,所述方法还包括生成通知,以向所述热成像器的用户通知升高体温。
8.根据权利要求1所述的方法,所述方法还包括预处理多个热图像,以确定所述距离和所述校正项之间的相关性。
9.根据权利要求1所述的方法,所述方法还包括针对多个人在距所述热成像器的多个距离处重复所述方法。
10.根据权利要求1所述的方法,其中,通过包括所述热成像器的便携式热感相机执行所述方法。
11.一种系统,所述系统包括:
热成像器;以及
逻辑装置,所述逻辑装置配置成:
操作所述热成像器以捕获人的热图像;
使用所述热图像的对应像素,来确定与人的面部的内眦相关联的未补偿温度测量值;
确定随所述热成像器和人之间的距离而变化的校正项;以及
将所述校正项应用于所述未补偿温度测量值,以提供与内眦相关联的校正温度测量值,从而补偿与所述距离相关联的衰减。
12.根据权利要求11所述的系统,其中,所述逻辑装置配置成:
确定与面部相关联的所述热图像的像素的数量;以及
使用所述像素的数量和所述距离之间的预定关联来确定所述距离。
13.根据权利要求12所述的系统,其中,所述像素的数量与面部的宽度和/或面积相关联。
14.根据权利要求11所述的系统,其中,所述逻辑装置配置成在所述热图像中检测人的面部和内眦。
15.根据权利要求14所述的系统,其中,所述逻辑装置配置成通过人工神经网络处理所述热图像以检测面部和内眦。
16.根据权利要求11所述的系统,其中,所述逻辑装置配置成使用所述校正温度测量值确定人的升高体温。
17.根据权利要求16所述的系统,其中,所述逻辑装置配置成生成通知以向所述热成像器的用户通知升高体温。
18.根据权利要求11所述的系统,其中,所述逻辑装置配置成预处理多个热图像以确定所述距离和所述校正项之间的相关性。
19.根据权利要求11所述的系统,其中,所述逻辑装置配置成针对多个人在距所述热成像器的多个距离处确定校正温度测量值。
20.根据权利要求11所述的系统,其中,所述系统是便携式热感相机。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063044516P | 2020-06-26 | 2020-06-26 | |
US63/044,516 | 2020-06-26 | ||
US202163158273P | 2021-03-08 | 2021-03-08 | |
US63/158,273 | 2021-03-08 | ||
PCT/US2021/039267 WO2021263214A1 (en) | 2020-06-26 | 2021-06-25 | Distance compensation for thermal imaging temperature measurement of inner canthus systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115916038A true CN115916038A (zh) | 2023-04-04 |
Family
ID=77051134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180052269.2A Pending CN115916038A (zh) | 2020-06-26 | 2021-06-25 | 内眦系统和方法的热成像温度测量的距离补偿 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20220110528A1 (zh) |
KR (1) | KR20230029853A (zh) |
CN (1) | CN115916038A (zh) |
WO (1) | WO2021263214A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6028309A (en) | 1997-02-11 | 2000-02-22 | Indigo Systems Corporation | Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array |
JP4217664B2 (ja) * | 2004-06-28 | 2009-02-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
KR101898897B1 (ko) * | 2010-06-04 | 2018-09-14 | 테크니메드 에스.알.엘. | 환자의 내부 체온을 측정하기 위한 방법 및 디바이스 |
US11497406B2 (en) * | 2014-07-31 | 2022-11-15 | Samsung Electronics Co., Ltd | Apparatus and method for enhancing accuracy of a contactless body temperature measurement |
CN109419495A (zh) * | 2017-08-25 | 2019-03-05 | 中国科学院半导体研究所 | 一种基于红外热像仪测量眼睛温度的校准方法 |
US11307098B2 (en) * | 2020-03-27 | 2022-04-19 | Ecb Consulting Llc | Systems and approaches for obtaining temperature measurements using thermal imaging |
-
2021
- 2021-06-25 WO PCT/US2021/039267 patent/WO2021263214A1/en active Application Filing
- 2021-06-25 CN CN202180052269.2A patent/CN115916038A/zh active Pending
- 2021-06-25 KR KR1020237002541A patent/KR20230029853A/ko unknown
- 2021-12-20 US US17/556,975 patent/US20220110528A1/en active Pending
-
2022
- 2022-12-22 US US18/145,779 patent/US20230126197A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021263214A1 (en) | 2021-12-30 |
US20220110528A1 (en) | 2022-04-14 |
KR20230029853A (ko) | 2023-03-03 |
US20230126197A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10598550B2 (en) | Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor | |
US7613360B2 (en) | Multi-spectral fusion for video surveillance | |
US9681066B2 (en) | Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement | |
EP2936799B1 (en) | Time spaced infrared image enhancement | |
KR101111167B1 (ko) | 이동통신 단말기의 열화상 촬영 장치 및 방법 | |
US10539502B2 (en) | Moisture measurement device with thermal imaging capabilities and related methods | |
CN205157051U (zh) | 红外传感器组件 | |
US20120307046A1 (en) | Methods and apparatus for thermographic measurements | |
US20110169960A1 (en) | Video enhancement system | |
KR20130101566A (ko) | 적외선 어레이 센서를 이용한 온도측정장치 및 온도측정방법 | |
US12101459B2 (en) | Imager health monitoring systems and methods | |
US20240256977A1 (en) | Image setting determination and associated machine learning in infrared imaging systems and methods | |
US20220133186A1 (en) | Optical glucometer | |
US20200326276A1 (en) | Dynamic determination of radiometric values using multiple band sensor array systems and methods | |
US20220110528A1 (en) | Thermal imaging temperature measurement of inner canthus systems and methods | |
KR20220085006A (ko) | 적외선 이미징-관련 불확실성 측정 시스템 및 방법 | |
CN212228729U (zh) | 成像系统 | |
CN204996085U (zh) | 确定高尔夫球场上距离的设备、系统及旗杆 | |
US20230225620A1 (en) | Detection of elevated body temperature using circadian rhythms systems and methods | |
US11885740B2 (en) | Determination of level and span for gas detection systems and methods | |
US20230069029A1 (en) | Variable sensitivity in infrared imaging systems and methods | |
US20240040215A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US11549827B1 (en) | System and method for automated condition value reporting | |
WO2024030331A1 (en) | Light signal assessment receiver systems and methods | |
Lynch et al. | Improvements to NPOESS temperature and moisture sounding by combining sounder and imaging instrument data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |