CN104684465B - 使用热成像的婴儿监测系统及方法 - Google Patents

使用热成像的婴儿监测系统及方法 Download PDF

Info

Publication number
CN104684465B
CN104684465B CN201380047256.1A CN201380047256A CN104684465B CN 104684465 B CN104684465 B CN 104684465B CN 201380047256 A CN201380047256 A CN 201380047256A CN 104684465 B CN104684465 B CN 104684465B
Authority
CN
China
Prior art keywords
baby
thermal image
image
infrared imaging
imaging module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380047256.1A
Other languages
English (en)
Other versions
CN104684465A (zh
Inventor
E·R·路易斯
A·C·泰希
J·D·弗兰克
A·斯托特
N·霍根斯特恩
T·R·赫尔特
K·斯特兰德玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Publication of CN104684465A publication Critical patent/CN104684465A/zh
Application granted granted Critical
Publication of CN104684465B publication Critical patent/CN104684465B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/087—Measuring breath flow
    • A61B5/0878—Measuring breath flow using temperature sensing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • A61B2503/045—Newborns, e.g. premature baby monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/7214—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using signal cancellation, e.g. based on input of two identical physiological sensors spaced apart, or based on two signals derived from the same sensor, for different optical wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Radiation Pyrometers (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

公开了使用热成像来监测需要被观测的婴儿或其他人的系统和方法的各种技术。例如，婴儿监测系统可以包括红外成像模块、可见光摄像机、处理器、显示器、通信模块和存储器。该监测系统可以使用红外成像模块捕获包括婴儿的至少局部视图的场景的热图像，红外成像模块封闭在便携式或可安装外壳中，外壳配置为定位用于远程监测婴儿。可以对热图像执行各种热图像处理和分析操作以产生与婴儿有关的监测信息。该监测信息可以包括向看护人主动提供警告的各种警报以及场景的用户可视图像。该监测信息可以呈现在使看护人方便观察的位于远程位置的外部装置或显示器处。

Description

使用热成像的婴儿监测系统及方法
相关申请的交叉参考
本申请主张了2012年7月12提出的且题名为“INFANT MONITORING SYSTEMS ANDMETHODS USING THERMAL IMAGING”的美国临时专利申请No.61/670,842的权益，通过引用将其全文并入本文。
本申请主张了2012年12月31提出的且题名为“COMPACT MULTI-SPECTUM IMAGINGWITH FUSION”的美国临时专利申请No.61/748,018的权益，通过引用将其全文并入本文。
本申请主张了2013年3月15提出的且题名为“TIME SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用将其全文并入本文。
本申请主张了2013年3月15提出的且题名为“INFRARED IMAGING ENHANCEMENTWITH FUSION”的美国临时专利申请No.61/793,592的权益，通过引用将其全文并入本文。
本申请主张了2012年12月26提出的且题名为“TIME SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用将其全文并入本文。
本申请主张了2012年12月26提出的且题名为“INFARED IMAGING ENHANCEMENTWITH FUSION”的美国临时专利申请No.61/746,074的权益，通过引用将其全文并入本文。
技术领域
本发明的一个或多个实施例大体上涉及热成像装置，并且具体地，例如涉及利用热图像对可能需要观测的婴儿、老人、病人或其他人提供监测。
背景技术
用于监测婴儿的装置是目前可用的。然而，最常规的婴儿监护仪不过是远程查看和/或收听装置，使用可见光图像传感器(例如，基于CMOS或基于CCD的传感器)和/或麦克风来被动地向看护人提供婴儿的图像和/或声音。同样地，这些常规的婴儿监护仪需要看护人持续地留意监护仪以获知婴儿的任何异常状态或活动，这实际上是不可能的。此外，即使看护人恒定守夜地站在监护仪前(如果不是不可能的)，可能也十分难以检测可能导致婴儿死亡、伤害或其它严重损害的异常状态。例如，包括呼吸暂停的异常呼吸模式是婴儿猝死综合症(SIDS)的症状及原因，但是通过婴儿的视频图像难以识别异常呼吸模式。在另一个实例中，虽然异常体温可能是需要立即照料的严重疾病的信号，但通过常规视频图像不能得到温度读数。
尽管一些常规解决方案可以用于检测运动、心跳或温度的有限主动监测的，但这些常规的解决方案是基于需要接触的技术的。即，这些解决方案需要贴片和/或电极与婴儿的身体直接接触，贴片和/或电极在尿布或衣服中，传感器垫在床垫上或其它传感器直接或间接接触婴儿以检测温度、运动和心跳。因此，基于接触的解决方案不仅不方便而且还限制监控位置的选择(例如，仅在床上或在婴儿床中)。
常规婴儿监护仪的另一缺点是，为了在夜间或其它低光条件下观察需要有主动照明。如果婴儿接近光源则婴儿的主动照明的图像通常会褪色，且如果婴儿远离光源则会太昏暗。此外，光源会增加婴儿监护仪的摄像机模块的体积并会使电源(例如，电池)快速耗尽，因此限制了婴儿监护仪的便携性。
发明内容
公开了使用热成像监测可能需要被观测的婴儿或其他人的系统和方法的各种技术。例如，婴儿监测系统可以包括红外成像模块、可见光摄像机、处理器、显示器、通信模块和存储器。该监测系统使用为远程监测婴儿而配置的密封在便携式或可安装外壳中的红外成像模块，可以捕获包括婴儿的至少一部分视图的场景的热图像。可以对热图像执行各种热图像处理和分析操作以产生与婴儿有关的监测信息。该监测信息可以包括向看护人主动提供警告的各种警报和场景的用户可视图像。该监测信息可以呈现在使看护人方便观察的位于远程位置的外部装置或显示器上。
在一个实施例中，监测系统包括红外成像模块，其包括配置成在红外成像模块的视野(FOV)内捕获场景的热图像的焦平面阵列(FPA)；基本上密封红外成像模块并且配置成使婴儿的至少部分位于FOV内的外壳；和与红外成像模块通信的处理器，该处理器被配置成分析热图像以产生与婴儿的有关的监测信息。
在另一实施例中，一种方法包括在红外成像模块的FPA处捕获红外成像模块的FOV内的场景的热图像，其中布置该红外成像模块以使婴儿的至少一部分处于红外成像模块的FOV内；和分析热图像以产生与婴儿有关的监测信息。
本发明的范围由通过引用并入该部分的权利要求来限定。通过考虑一个或多个实施例的下面的详细描述，将使该领域的那些技术人员更全面地理解本发明的实施例，以及认识其附加优势。将参考附图，首先简略描述附图。
附图说明
图1示例了根据本公开的实施例的被配置成在主机装置中实现的红外成像模块。
图2示例了根据本公开的实施例的装配好的红外成像模块。
图3示例了根据本公开的实施例的并置在插口内的红外成像模块的分解图。
图4示例了根据本公开的实施例的包括红外传感器阵列的红外传感器组件的方块图。
图5示例了根据本公开的实施例的确定NUC项的各种操作的流程图。
图6示例了根据本公开的实施例的邻近像素之间的差异。
图7示例了根据本公开的实施例的平场校正技术。
图8示例了根据本公开的实施例的图5的各种图像处理技术和图像处理流水线中应用的其它操作。
图9示例了根据本公开的实施例的时域降噪过程。
图10示例了根据本公开的实施例的图6的图像处理流水线的几个过程的具体实施细节。
图11示例了根据本公开的实施例的邻域像素的空间相关的FPN。
图12示例了根据本公开的实施例的具有红外成像模块的婴儿监测系统的方块图。
图13示例了根据本公开的实施例的可被红外成像模块捕获的且被处理器分析的婴儿的热图像实例。
图14示例了根据本公开的实施例的在两个分离外壳中提供的婴儿监测系统。
图15示例了根据本公开的实施例的使用热成像监测婴儿的过程。
图16示例了根据本公开的实施例的组合热图像和可见光图像的过程。
通过参考下面的具体实施方式，将更好地理解该发明的实施例和它们的优势。应该意识到，相似的附图标记用于标识在一个或多个图中示例的相似元件。
具体实施方式
图1示例了根据本公开的实施例的被配置成在主机装置102中实现的红外成像模块100(例如，红外摄像机或红外成像装置)。用小形状因素和按照晶片级封装技术或其它封装技术，可以实现用于一个或多个实施例的红外成像模块100。
在一个实施例中，可以配置红外成像模块100以实现便携式主机装置102，诸如手机、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放机或者其它任何适当的移动装置。在这一点上，红外成像模块100可以用于为主机装置102提供红外成像特征。例如，可以配置红外成像模块100以捕获、处理和/或以其它方式管理红外图像并使用任何期望的方法(例如，为了进一步处理，存储在存储器中、显示、由运行于主机装置102的各种应用使用、输出到其它装置，或者其它用途)将这种红外图像提供给主机装置102。
在各种实施例中，可以配置红外成像模块100以在低电压电平和在宽温度范围内操作。例如，在一个实施例中，红外成像模块100可使用约2.4伏特、2.5伏特、2.8伏特或者更低电压的电源来操作，并在约-20℃至约+60℃的温度范围内(例如，在约80℃的环境温度范围内提供适当的动态范围和特性)操作。在一个实施例中，通过在低电压电平操作红外成像模块100，红外成像模块100可经受与其它类型的红外成像装置相比减少的自发热。结果，可以用更少的补偿这种自发热的措施来操作红外成像模块100。
如图1所示，主机装置102可以包括插口104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其它部件198。可以配置插口104以接收红外成像模块100，如由箭头101所示。在这一点上，图2示例了根据本公开的实施例的装配在插口104中的红外成像模块100。
运动传感器194可以通过可用于检测主机装置102的运动的一个或多个加速度表、陀螺仪或其它适当的装置来实现。运动传感器194可以由处理模块160或者处理器195监控并且向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可被实现为主机装置102(如图1所示)、红外成像模块100、或附着到或以其它方式与主机装置102连接的其它装置的一部分。
处理器195可被实现为可由主机装置102用于执行适当的指令(诸如提供在存储器196中的软件指令)的任何适当的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或其它装置)。显示器197可用于显示捕获的和/或处理的红外图像和/或其它图像、数据和信息。其它部件198可用于实现各种应用(例如，时钟、温度传感器、可见光摄像机或者其它部件)所期望的主机装置102的任何特征。另外，可以提供机器可读介质193以存储用于加载到存储器196中的并由处理器195执行的非暂时性指令。
在各种实施例中，红外成像模块100和插口104可被实现为大规模生产以促进高容量应用，诸如实现为手机或其它装置(例如，需要小形状因素)。在一个实施例中，当将红外成像模块100安装在插口104中时，红外成像模块100和插口104的组合可展示出约8.5mm乘8.5mm乘5.9mm的总尺寸。
图3示例了根据本公开的实施例的并置在插口104内的红外成像模块100的分解图。红外成像模块100可以包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
透镜镜筒110可至少部分地封闭光学元件180(例如，透镜)，其经由透镜镜筒110中的孔112在图3中部分可见。透镜镜筒110可以包括可用于使透镜镜筒110与外壳120中的孔122接合的基本上圆柱形的延伸部114。
红外传感器组件128可以例如用安装到基板140上的帽盖130(例如，盖子)来实现。红外传感器组件128可以包括以阵列或其它方法在基板140上实现的并被帽盖130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可被实现为焦平面阵列(FPA)。这种焦平面阵列可被实现为例如真空封装组件(例如，被盖130和基板140密封)。在一个实施例中，红外传感器组件128可被实现为晶片级封装(例如，红外传感器组件128可由提供在晶片上的一组真空封装组件切单而成)。在一个实施例中，红外传感器组件128可以实现为使用约2.4伏特、2.5伏特、2.8伏特或者类似电压的电源操作。
可以配置红外传感器132以从目标场景检测红外辐射(例如，红外能量)，目标场景包括例如具体实现中所期望的中波红外波段(MWIR)、长波红外波段(LWIR)和/或其它热成像波段。在一个实施例中，红外传感器组件128可根据晶片级封装技术来提供。
红外传感器132可被实现为例如微测辐射热仪或以任何期望的阵列图案排列以提供多个像素的其它类型的热成像红外传感器。在一个实施例中，红外传感器132可被实现为具有17μm像素间距的氧化钒(VOx)探测器。在各种实施例中，可以使用约32乘32红外传感器132阵列、约64乘64红外传感器132阵列、约80乘64红外传感器132阵列或其它阵列尺寸。
基板140可以包括例如在一个实施例中包括具有小于约5.5mm乘5.5mm尺寸的读出集成电路(ROIC)的各种电路。基板140还可以包括接合垫142，当如图5A、5B和5C所示装配红外成像模块100时，接合垫142可用于接触位于外壳120内表面上的补充连接。在一个实施例中，ROIC可以用执行电压调节的低压差调压器(LDO)来实现以减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比(PSRR)。另外，通过用ROIC实现LDO(例如，在晶片级封装范围内)，可以消耗较少的管芯面积且需要更小的分立管芯(或芯片)。
图4示例了根据本公开的实施例的包括红外传感器132阵列的红外传感器组件128的方块图。在示例的实施例中，将红外传感器132提供为ROIC 402的单位单元阵列的一部分。ROIC 402包括偏压产生和定时控制电路404、列放大器406、列多路复用器406、行多路复用器408和输出放大器410。通过输出放大器410可以将由红外传感器132捕获的图像帧(例如，热图像)提供到执行本文中描述的各种处理技术的处理模块160、处理器195和/或任何其它适当的部件。虽然图4中示出了8乘8阵列，但是在其它实施例中可以使用任何期望的阵列配置。在2000年2月22日发布的美国专利No.6,028,309中可以找到ROIC和红外传感器(例如，微测辐射热仪)的进一步描述，并通过引用将其全文并入本文。
红外传感器组件128可以捕获图像(例如，图像帧)并从其ROIC以各种速率提供这种图像。处理模块160可被用于执行捕获的红外图像的适当的处理且可根据适当的架构来实现。在一个实施例中，处理模块160可被实现为ASIC。在这一点上，可以配置这种ASIC以用高性能和/或高效率执行图像处理。在另一实施例中，处理模块160可以用通用的中央处理单元(CPU)来实现，可以配置该中央处理单元(CPU)以实施执行图像处理的适当的软件指令、用各种图像处理块协调并执行图像处理、协调处理模块160和主机装置102之间的通讯和/或其它操作。在又一实施例中，处理模块160可以用现场可编程门阵列(FPGA)来实现。正如该领域的技术人员将理解的，在其它实施例中处理模块160可以用其它类型的处理和/或逻辑电路来实现。
在这些和其它实施例中，在适当时，处理模块160还可以用诸如易失存储器、非易失存储器和/或一个或多个接口(例如，红外探测器接口、内部集成电路(I2C)接口、移动产业处理器接口(MIPI)、联合检测活动小组(JTAG)接口(例如，IEEE 1149.1标准测试访问端口和边界扫描结构)、和/或其它接口)的其它部件来实现。
在一些实施例中，红外成像模块100还进一步包括可用于调整由红外传感器组件128捕获的红外图像帧的焦点的一个或多个执行机构199。例如，执行机构199可用于相对彼此移动光学元件180、红外传感器132和/或其它部件，以根据本文中描述的技术选择性地聚焦或散焦红外成像帧。执行机构199可以根据任何类型的运动感应设备或机构来实现，且可以位于适合不同应用的红外成像模块100的内部或外部的任何位置。
当装配红外成像模块100时，外壳120可以基本上封闭红外传感器组件128、基座150和处理模块160。外壳120可以有助于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可以提供电连接126以连接各个部件，如下所述。
当装配红外成像模块100时，电连接126(例如，导电路径、迹线或其它类型的连接)可以与接合垫142电连接。在各种实施例中，电连接126可嵌入在外壳120中，提供在外壳120的内表面上，和/或由外壳120以其它方式提供。电连接126可以以如图3所示的终止于从外壳120的底表面伸出的连接124。当装配红外成像模块100时(例如，在各种实施例中外壳120可以依托在电路板170的顶上)，连接124可以与电路板170连接。处理模块160可以经由适当的电连接与电路板170电连接。结果，红外传感器组件128可以经由例如由接合垫142、外壳120内表面上的补充连接、外壳120的电连接126、连接124和电路板170提供的导电路径与处理模块160电连接。有利地，这种布置可以在红外传感器组件128和处理模块160之间不需要提供引线接合的情况下来实现。
在各种实施例中，外壳120中的电连接126可以由任何期望的材料制成(例如，铜或任何其它适当的导电材料)。在一个实施例中，电连接126可以有助于红外成像模块100的散热。
在其它实施例中可以使用其它连接。例如，在一个实施例中，传感器组件128可以通过陶瓷板附接到处理模块160，该陶瓷板经由引线接合连接到传感器组件128并且通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，可以将传感器组件128直接安装在刚性柔性板上并用引线接合电连接，并且可以用引线接合或BGA将处理模块160安装并连接到刚性柔性板。
为了示例而不是限制的目的，提供了本文中阐述的红外成像模块100和主机装置102的各种实现。在这一点上，可以将本文中描述的各种技术的任何技术应用于执行红外/热成像的任何红外摄像机系统、红外成像器或其它装置。
红外传感器组件128的基板140可以安装到基座150上。在各种实施例中，基座150(例如，底座)可以由例如由金属注射成型(MIM)形成的铜制成并提供有黑色氧化物或镍涂层抛光。在各种实施例中，基座150可以由指定应用所期望的任何期望的材料，例如锌、铝或镁制成，并且可以用具体应用所期望的任何期望的可应用过程，例如铝铸造、MIM或锌的快速铸造来形成。在各种实施例中，基座150可以实现为提供支撑结构、各种电路路径、热的散热特性和其它适当特性。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。
在各种实施例中，电路板170可以接收外壳120并因此可以物理支撑红外成像模块100的各个部件。在各种实施例中，电路板170可以被实现为印刷电路板(例如，FR4电路板或其它类型的电路板)、刚性或柔性互连(例如，带或其它类型的互连)、柔性电路基板、柔性塑料基板或其它适当的结构。在各种实施例中，基座150可以用针对电路板170描述的各种特征和特性来实现，反之亦然。
插口104可以包括为接收红外成像模块100而配置的空腔106(例如，如图2的装配图所示)。红外成像模块100和/或插口104可以包括适当的突出部、臂、插脚、紧固件或任何其它适当的接合构件，其可用于使用磨擦、张力、粘附力和/或任何其它适当的方式使红外成像模块100固定到插口104或其内部。插口104可以包括啮合构件107，当将红外成像模块100插入到插口104的空腔106中时，啮合构件107可啮合外壳120的表面109。在其它实施例中可以使用其它类型的啮合构件。
红外成像模块100可以经由适当的电连接(例如，触点、插脚、引线或任何其它适当的连接)与插口104电连接。例如，插口104可以包括可接触红外成像模块100的对应电连接(例如，电路板170的侧面或底表面上的互连垫、触点或其它电连接，基座150上的接合垫142或其它电连接，或其它连接)的电连接108。电连接108可以由任何期望的材料(例如，铜或任何其它适当的导电材料)制成。在一个实施例中，当将红外成像模块100插入到插口104的空腔106中时，电连接108可以被机械地偏置以紧靠着红外成像模块100的电连接按压。在一个实施例中，电连接108可以至少部分地固定插口104中的红外成像模块100。在其它实施例中可以使用其它类型的电连接。
插口104可以经由类似类型的电连接与主机装置102电连接。例如，在一个实施例中，主机装置102可以包括与通过孔190的电连接108相连接的电连接(例如，焊接头、咬合连接或其它连接)。在各种实施例中，可以将这种电连接制造到插口104的侧面和/或底部。
通常在没有引线接合连接所需的额外间隙的情况下，可以利用可用于将组件直接安装到电路板的倒装芯片技术来实现红外成像模块100的各种部件。作为实例，可以使用倒装芯片连接以减小红外成像模块100的总尺寸，用于在紧凑的小形状因素的应用中。例如，在一个实施例中，使用倒装芯片连接可以将处理模块160安装到电路板170。例如，可以用这种倒装芯片配置实现红外成像模块100。
在各种实施例中，根据在2010年7月27日提出的美国专利申请No.12/844,124和在2011年3月30日提出的美国临时专利申请No.61/469,651中所述的各种技术(例如，晶片级封装技术)，可以实现红外成像模块100和/或相关部件，并将其全部作为参考并入本文。此外，根据一个或多个实施例，根据例如在2008年12月30日发布的美国专利No.7,470,902、在2000年2月22日发布的美国专利No.6,028,309、在2004年11月2日发布的美国专利No.6,812,465、在2006年4月25日发布的美国专利No.7,034,301、在2010年3月16日发布的美国专利No.7,697,048、在2008年12月30日发布的美国专利No.7,470,904、在2008年9月2日提出的美国专利申请No.12/202,880和在2008年9月2日提出的美国专利申请No.12/202,896中所述的各种技术，可以实现、校正、测试和/或使用红外成像模块100和/或相关部件，并通过引用将其全部并入本文1。
再次参考图1，在各种实施例中，主机装置102可以包括快门105。在这一点上，当将红外成像模块100安装在其中时，可以使快门105选择性地位于插口104上(例如，如箭头103所示)。在这一点上，快门105在不使用时可以用于例如保护红外成像模块100。正如本领域的技术人员应该理解的，快门105还可以用作为红外成像模块100的部分校正过程(例如，NUC过程或其它校正过程)的温度参考。
在各种实施例中，快门105可以由各种材料，例如聚合物、玻璃、铝(例如，着色的或阳极化处理的)或其它材料制成。在各种实施例中，快门105可以包括一个或多个涂层以选择性滤波电磁辐射和/或调整快门105的各种光学特性(均匀的黑体涂层或反射的金涂层)。
在另一个实施例中，可以将快门105固定在适当的位置以随时保护红外成像模块100。在这种情况下，快门105或快门105的一部分可以由基本上不过滤所期望红外波长的适当的材料(例如，聚合物或红外传输材料，诸如硅、锗、硒化锌或硫化物玻璃)制成。在另一实施例中，正如该领域的技术人员应该理解的，快门可被实现为红外成像模块100的一部分(例如，在透镜镜筒内部或作为它的一部分或红外成像模块100的其它部件)。
可选择地，在另一实施例中，不需要提供快门(例如，快门105或其它类型的外部的或内部的快门)，而是可以使用无快门技术执行NUC过程或其它类型的校正。在另一实施例中，可以与基于快门的技术结合执行使用无快门技术的NUC过程或其它类型的校正。
根据在2011年6月10提出的美国临时专利申请No.61/495,873、在2011年6月10提出的美国临时专利申请No.61/495,879和在2011年6月10提出的美国临时专利申请No.61/495,888中所述的各种技术中的任何技术，可以实现红外成像模块100和主机装置102，并通过引用将其全部并入本文。
在各种实施例中，主机装置102和/或红外成像模块100的部件可以被实现为以有线和/无线网络与部件相互通信的本地或分布式系统。因此，通过具体实现中所期望的本地和/或远程部件可以执行在该公开中确定的各种操作。
图5示例了根据本公开的实施例的确定UNC项的各种操作的流程图。在一些实施例中，通过处理由红外传感器132捕获的图像帧的处理模块160或处理器195(两者还通常被称为处理器)，可以执行图5的操作。
在方块505中，红外传感器132开始捕获场景的图像帧。通常，场景将是其中主机装置102当前位于的真实世界环境。在这一点上，可以打开快门105(如果选择性提供)以允许红外成像模块从场景接收红外辐射。红外传感器132在图5示出的所有操作期间可以继续捕获图像帧。在这一点上，连续捕获的图像帧可以用于进一步详述的各种操作。在一个实施例中，在将它们用于图5示出的操作之前，通过其它项(例如，本文中进一步描述的关于图8的工厂增益项812、工厂补偿项816、先前确定的NUC项817、列FPN项820和行FPN项824)，可以时域滤波(例如，根据本文中进一步描述的关于图8的方块826的过程)并处理捕获的图像帧。
在方块510中，检测NUC过程发起事件。在一个实施例中，可以响应于主机装置102的物理运动发起NUC过程。例如，可以通过可被处理器轮询的运动传感器194检测这种运动。在一个实例中，用户可以以特定方式移动主机装置102，诸如通过有意地以“清除”或“挥击”运动来回摇摆主机装置102。在这一点上，用户可以根据预定的速率和方向(速度)(诸如上下、左右或其它方式)移动主机装置102以发起NUC过程。在该实例中，使用这种运动可以允许用户直观地操作主机装置102以模拟图像帧捕获中的噪声“清除”。
在另一实例中，如果运动超过了阈值(例如，运动大于正常使用的预期)，则可以用主机装置102发起NUC过程。可以预见的是，主机装置102的任何期望类型的空间平移可用于发起NUC过程。
还在另一实例中，如果自从先前执行NUC过程之后已消逝最小时间，则可以用主机装置102发起NUC过程。在进一步的实例中，如果自从先前执行NUC过程之后红外成像模块100已经历最小温度变化，则可以用主机装置102发起NUC过程。在进一步的实例中，可以连续地发起并重复NUC过程。
在方块515中，在检测到NUC过程发起事件之后，确定是否确实应执行NUC过程。在这一点上，基于是否满足一个或多个附加条件，可以选择性发起NUC过程。例如，在一个实施例中，除非自从先前执行NUC过程之后已消逝最小时间，否则可以不执行NUC过程。在另一实施例中，除非自从先前执行NUC过程之后红外成像模块100已经历最小温度变化，否则可以不执行NUC过程。在其它实施例中可以使用其它标准或条件。如果适当的标准或条件满足，则流程图继续到方块520。否则，流程图返回到方块505。
在NUC过程中，模糊的图像帧可用于确定可应用于捕获的图像帧以校正FPN的NUC项。如所述的，在一个实施例中，通过积累多个移动场景(例如，当场景和/或热成像器处于运动状态时捕获的)的图像帧可以得到模糊的图像帧。在另一实施例中，通过使热成像器的光学元件或其它部件散焦可以得到模糊的图像帧。
因此，在方块520中，提供了一种可选择的方法。如果使用基于运动的方法，则流程图继续到方块525。如果使用基于散焦的方法，则流程图继续到方块530。
现在参考基于运动的方法，在方块525中检测运动。例如，在一个实施例中，基于由红外传感器132捕获的图像帧可以检测运动。在这一点上，适当的运动检测过程(例如，图像配准过程、帧间差分计算或其它适当过程)可以应用于捕获的图像帧以确定运动是否存在(例如，捕获的是静止的还是移动的图像帧)。例如，在一个实施例中，可以确定连续图像帧像素附近的像素或区域改变是否多于用户定义的量(例如，百分比和/或阈值)。如果至少指定的像素百分比已改变了至少用户定义的量，将有足够的把握检测运动以进行到方块535。
在另一个实施例中，可以在每个像素的基础上确定运动，其中只积累表示显著变化的像素以提供模糊的图像帧。例如，可以为每个像素提供计数器，并且计数器用于确保为每个像素积累相同数量的像素值，或用于基于为每个像素实际积累的像素值的数量平均化像素值。可以执行其它类型的基于图像运动的检测，诸如执行拉东变换。
在另一实施例中，可以基于由运动传感器194提供的数据检测运动。在一个实施例中，这种运动检测可以包括检测主机装置102是否沿相对直线轨迹移动通过空间。例如，如果主机装置102沿相对直线轨迹移动，则成像场景中出现的某一目标可能不会十分模糊(例如，场景中的物体可以被对齐或基本上平行于直线轨迹移动)。因此，在这种实施例中，由运动传感器194检测的运动的条件可以是主机装置102表示或不表示特定轨迹。
在另一个实施例中，可以使用运动检测过程和运动传感器194两者。因此，使用这些不同实施例中的任何实施例，当至少部分场景和主机装置102彼此相对运动时(例如，其可以由主机装置102相对于场景移动、至少部分场景相对于主机装置102移动，或者由这两种情况引起)，可以确定是否捕获每个图像帧。
由于红外传感器132的热时间常数(例如，微测辐射热仪热时间常数)与场景运动互相影响，所以预计用于检测运动的图像帧可以表示被捕获的场景的一些次要的模糊(有关场景的模糊的热图像数据)。
在方块535中，积累用于检测运动的图像帧。例如，如果检测连续系列的图像帧的运动，则可以积累该系列图像帧。作为另一个实例，如果检测仅有一些图像帧的运动，则不移动图像帧可被跳过且不被包括在积累中。因此，基于检测的运动可以选择性积累连续或不连续系列的图像帧。
在方块540中，平均积累的图像帧以提供模糊的图像帧。由于在运动期间捕获积累的图像帧，所以预计真实的场景信息将在图像帧之间改变，并因此导致场景信息在最终产生模糊的图像帧中被进一步模糊(方块545)。
相比之下，FPN(例如，由红外成像模块100的一个或多个部件引起的)将在至少短时间内并在至少运动期间场景辐照度的有限变化的期间内保持固定。结果，在运动期间在时间和空间紧密靠近捕获的图像帧将受到完全相同的或者至少是非常相似的FPN的影响。因此，虽然场景信息可以在连续的图像帧中变化，但是FPN将会保持基本恒定。通过平均，在运动期间捕获的多个图像帧将使场景信息变模糊，但不会使FPN变模糊。结果，与场景信息相比，在方块545提供的模糊图像帧中定义的FPN将保持更清晰。
在一个实施例中，在方块535和540中积累并平均32个以上的图像帧。然而，在其它实施例中可以使用任何所期望数量的图像帧，但是当帧计数减少时，通常会降低校正精度。
现在参考基于散焦的方法，在方块530中，可以执行散焦操作以有意使红外传感器132捕获的图像散焦。例如，在一个实施例中，可以使用一个或多个执行机构199调整、移动或以其它方式平移红外成像模块100的光学元件180、红外传感器组件128和/或其它部件，以使红外传感器132捕获场景的模糊(例如，未聚焦的)图像帧。为了有意散焦红外图像帧例如手动(例如，用户发起的)散焦，还可考虑基于非执行机构的其它技术。
虽然在图像帧该场景看起来模糊不清，但是FPN(例如，由红外成像模块100的一个或多个部件引起的)将不受散焦操作的影响。结果，将提供场景的模糊的图像帧(方块545)，其中在模糊图像中保持比场景信息更清晰定义的FPN。
在上面的论述中，描述了与单一的捕获图像帧有关的基于散焦的方法。在另一个实施例中，基于散焦的方法可以包括在红外成像模块100散焦时积累多个图像帧，并平均散焦图像帧以去除时间噪声的影响并在方块545中提供模糊的图像帧。
因此，将意识到，通过基于运动的方法或者基于散焦的方法可以在方块545中提供模糊的图像帧。因为通过或者运动、散焦或者这两种方法将使大部分场景信息变模糊，所以可以有效地认为模糊的图像帧是关于场景信息的原始捕获图像帧的低通滤波版本。
在方块550中，处理模糊的图像帧以确定更新的行和列FPN项(例如，如果没有事先确定行和列FPN项，则在方块550的第一循环中，更新的行和列FPN项可以是新的行和列FPN项)。作为在该公开中使用的，根据红外成像模块100的红外传感器132和/或其它部件的方向，可以互换地使用行和列项。
在一个实施例中，方块550包括确定用于每行模糊图像帧的空间FPN校正项(例如，每行都可以有它自己的空间FPN校正项)，和确定用于每列模糊图像帧的空间FPN校正项(例如，每列都可以有它自己的空间FPN校正项)。这种处理可以用于减小空间的和缓变(1/f)的行和列FPN，其在例如由ROIC 402中放大器的1/f噪声特性引起的热成像仪中是固有，可在图像帧中表现为垂直和水平条纹。
有利地，通过使用模糊的图像帧确定空间行和列FPN项，将会减少将真实成像场景中的垂直和水平目标弄错为行和列噪声的风险(例如，当FPN保持不模糊时，真实场景内容将是模糊的)。
在一个实施例中，通过考虑模糊图像帧的邻近像素之间的差异可以确定行和列FPN项。例如，图6示例了根据本公开的实施例的邻近像素之间的差异。具体地，在图6中，比较像素610和它的8个水平邻近像素：d0-d3在一边且d4-d7在另一边。可以平均邻近像素之间的差异以得到示例的分组像素的偏移误差的估计。可以在行或列为每个像素计算偏移误差，并可以使用该平均结果校正整个行或列。
为了防止真实场景数据被解释为噪声，可以使用上下阈值(thPix和-thPix)。不使用落在这些阈值外面的像素值(在该实例中为像素d1和d4)来得到偏移误差。另外，通过这些阈值可以限制行和列FPN校正的最大量。
在2009年3月2日提出的美国专利申请No.12/396,340中，阐述了用于执行空间行或列FPN校正处理的进一步技术，并将其全部作为参考并入本文。
再次参考图5，将在方块550中确定的更新的行和列FPN项存储(方块552)并应用(方块555)于方块545中提供的模糊图像帧。在应用这些项之后，可以减少模糊图像帧中的一些空间行和列FPN。然而，因为通常将这种项应用于行和列，所以附加的FPN可以保留，诸如与像素间漂移和其它原因相关的空间不相关FPN。与单独行和列不直接相关的空间相关FPN的邻近区域也可以保留。因此，可以执行如下所述的进一步处理以确定NUC项。
在方块560中，确定模糊图像帧中的局部对比值(例如，邻近或小组像素之间梯度的边缘或绝对值)。如果模糊图像帧中的场景信息包括未明显变模糊(例如，在原始场景数据中的高对比边缘)的对比区域，则通过方块560中的对比确定过程可以识别这种特征。
例如，可以计算模糊图像帧中的局部对比值，或者可以应用任何其它期望类型的边缘确定过程以识别作为局部对比区域的一部分的模糊图像帧中的某些像素。可以认为在该方法中作标记的像素包含应被解释为FPN的过多的高空间频率场景信息(例如，这种区域可以对应于未充分模糊的场景的一部分)。同样地，这些像素不能被用于NUC项的进一步确定中。在一个实施例中，这种对比检测处理可以依赖于比FPN的预期对比值高的阈值(例如，对比值高于阈值的像素可被认为是场景信息，低于阈值的像素可被认为是表示FPN)。
在一个实施例中，在将行和列FPN项应用于模糊图像帧之后(例如，如图5所示)，可以在模糊图像帧上执行方块560的对比确定。在另一个实施例中，在确定行和列FPN项之前，可以先于方块550执行方块560以确定对比(例如，防止基于对比的场景影响这些项的确定)。
方块560之后，预计模糊图像帧中剩余的任何高空间频率内容通常可归因于空间不相关的FPN。在这一点上，在方块560之后，由于有意模糊图像帧(例如，通过方块520至545中的运动或散焦)、应用行和列FPN项(方块555)和对比确定(方块560)，所以从模糊图像帧中去除或排除了许多其它噪声或基于实际所需场景的信息。
因此，可以预计在方块560之后，任何剩余的高空间频率内容(例如，表现为对比区域或模糊图像帧的差异)可归因于空间不相关的FPN。因此，在方块565中，高通滤波模糊的图像帧。在一个实施例中，这可以包括应用高通滤波器以从模糊图像帧中提取高空间频率内容。在另一个实施例中，这可以包括将低通滤波器应用于模糊图像帧并获得低通滤波的图像帧和未滤波的模糊图像帧之间的差以得到高空间频率内容。根据本公开的各种实施例，高通滤波器可以通过计算传感器信号(例如，像素值)与其邻居之间的平均差来实现。
在方块570中，可以对高通滤波的模糊图像帧执行平场校正过程以确定更新的NUC项(例如，如果没有事先执行NUC过程，则在方块570的第一循环中，更新的NUC项可以是新的NUC项)。
例如，图7示例了根据本公开的实施例的平场校正技术700。在图7中，可以利用其邻近像素712至726的值确定用于模糊图像帧的每个像素710的NUC项。对于每个像素710，基于各个邻近像素值之间的绝对差可以确定几个梯度。例如，在像素712和714(从左到右的对角梯度)、像素716和718(从上到下的垂直梯度)、像素720和722(从右到左的对角梯度)、以及像素724和728(从左到右的水平梯度)之间可以确定绝对值差。
可以求这些绝对差之和以提供像素710的总梯度。可以确定与总梯度成反比的像素710的加权值。可以对模糊图像帧的所有像素710执行该过程直到提供每个像素710的加权值。对于低梯度区域(例如，模糊的或具有低反差的区域)，加权值将接近一。相反地，对于高梯度区域，加权值将是零或接近零。将通过高通滤波估算的NUC项的更新与加权值相乘。
在一个实施例中，通过将一定量的时间衰减应用到NUC项确定过程，可以进一步减少将场景信息引入到NUC项中的风险。例如，可以选择0和1之间的时间衰减因子λ，以使存储的新的NUC项(NUCNEW)为旧NUC项(NUCOLD)和估算的更新的NUC项(NUCUPDATE)的加权平均值。在一个实施例中，这个可以表示为NUCNEW＝λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
虽然描述了有关梯度的NUC项的确定，但是在适当时，作为代替，可以使用局部对比值。也可以使用其它技术，例如标准差的计算。可以执行其它类型的平场校正过程以确定NUC项，例如包括2000年2月22日发布的美国专利No.6,028,309、2004年11月2日发布的美国专利No.6,812,465和2008年5月5日提出的美国专利申请No.12/114,865中确定的各种过程，并通过引用将其全部并入本文。
再次参考图5，方块570可以包括NUC项的附加处理。例如，在一个实施例中，为了保持场景信号均值，通过由每个NUC项减去NUC项均值，可以使所有NUC项之和恢复到零。而且在方块570中，为了避免行和列噪声影响NUC项，可以由每行和列的NUC项减去每行和列的均值。结果，在将NUC项应用于捕获的图像之后(例如，在本文中进一步详述的方块580中)，使用在方块550中确定的行和列FPN项的行和列FPN滤波器可以在进一步循环中能更好地滤除行和列噪声(例如，进一步如图8所示)。在这一点上，行和列FPN滤波器通常可以使用更多数据以计算每行和每列偏移系数(例如，行和列FPN项)，并因此可以提供更强大的替代品，从而与基于高通滤波以捕获空间不相关噪声的NUC项相比，降低空间相关的FPN。
在方块571-573中，可以选择性执行附加的高通滤波和更新NUC项的进一步确定，以去除具有比先前被行和列FPN项移除的空间频率低的空间相关FPN。在这一点上，红外成像模块100的红外传感器132或其它部件的一些可变性会引起不易成型为行和列噪声的空间相关FPN噪声。这种空间相关的FPN可以包括，例如，与邻近的红外传感器132相比难以响应辐照度的传感器封装或者红外传感器132集群上的窗口缺陷。在一个实施例中，可以用偏差校正来缓和这种空间相关FPN。如果这种空间相关FPN的量是显著的，则也可以检测模糊图像帧中的噪声。由于该类型的噪声可以影响邻域像素，所以具有小核(kernel)的高通滤波器可以不检测邻域中的FPN(例如，用于高通滤波器的所有值可以从受影响的像素邻近区域中得到并因此可以受相同偏移误差的影响)。例如，如果用小核(例如，仅考虑落入受空间相关FPN影响的相邻像素内的直接相邻的像素)执行方块565高通滤波，则可以不检测广泛分布的空间相关FPN。
例如，图11示例了根据本公开实施例的像素邻近区域中的空间相关的FPN。如样品图像帧1100所示，像素1110的邻近区域可以表示未精确校正为单独行和列的并分布在几个像素的邻近区域内的空间相关的FPN(例如，在该实例中约4乘4的邻近区域)。样品图像帧1100还包括在滤波计算中不使用的表示基本均匀响应的一组像素1120，和用于估算像素1110的邻近区域的低通值的一组像素1130。在一个实施例中，为了促进硬件或软件计算效率，像素1130可以是被2整除的像素数。
再次参考图5，在方块571-573中，可以选择性执行附加的高通滤波和更新的NUC项的进一步确定以去除诸如用像素1110表示的空间相关FPN。在方块571中，将在方块570中确定的更新的NUC项应用于模糊图像帧。因此，此时，模糊图像帧首先将要被校正以用于空间相关的FPN(例如，通过在方块555中应用更新的行和列FPN项)，而且还首先被校正以用于空间不相关的FPN(例如，通过应用在方块571中应用的更新的NUC)。
在方块572中，用比在方块565中使用的更大的核应用进一步高通滤波，并在方块573中可以确定进一步更新的NUC项。例如，为了检测像素1110中存在的空间相关FPN，在方块572中应用的高通滤波器可以包括来自像素的足够大的邻域的数据，以能够确定不受影响的像素(例如，像素1120)和受影响的像素(例如，像素1100)之间的差异。例如，可以使用具有大核的低通滤波(例如，远大于3乘3像素的N乘N核心)，并减去该结果以执行适当的高通滤波。
在一个实施例中，为了计算效率，可以使用稀疏的核以仅使用在N乘N邻近区域内的少数邻近像素。对于使用遥远邻域(例如，大的核心)的任何指定的高通滤波器操作，有将真实(潜在模糊的)场景信息建模为空间相关FPN的风险。因此，在一个实施例中，为了在方块573中确定更新的NUC项，可以将时间衰减因子λ设置为接近1。
在各种实施例中，可以重复方块571-573(例如，级联的)以重复执行具有增大核尺寸的高通滤波，以提供进一步校正期望邻域尺寸的空间相关FPN的进一步更新的NUC项。在一个实施例中，通过空间相关FPN是否已被方块571-573的先前执行的更新的NUC项移除，可以确定执行这种循环的判定。
方块571-573完成之后，进行关于是否将更新的NUC项应用到捕获的图像帧(574)的判定。例如，如果用于整个图像帧的NUC项的绝对值的平均数小于最小阈值或者大于最大阈值，则该NUC项可以被视为假的或者不可能提供有意义的校正。可选择地，可以将阈值标准应用于单独像素以确定哪个像素接收更新的NUC项。在一个实施例中，该阈值可以对应于新计算的NUC项和先前计算的NUC项之间的差。在另一个实施例中，该阈值可以与先前计算的NUC项无关。可以应用其它试验(例如，空间相关试验)以确定是否应该应用NUC项。
如果NUC项被视为假的或者不可能提供有意义的校正，则流程图返回到方块505。否则，将存储新确定的NUC项(方块575)以替换先前的NUC项(例如，通过事先执行的图5的循环确定的)并将其应用到捕获的图像帧(方块580)。
图8示例了根据本公开的实施例的图5的各种图像处理技术和图像处理流水线800中应用的其它操作。在这一点上，流水线800识别用于校正由红外成像模块100提供的图像帧的整体迭代的图像处理方案背景下的图5的各种操作。在一些实施例中，流水线800可以用由红外传感器132捕获的图像帧的处理模块160或处理器195(这两者通常还称为处理器)操作来提供。
可以将由红外传感器132捕获的图像帧提供到结合多个图像帧的帧平均器804以提供具有改良的信噪比的图像帧802。帧平均器804可以用被实现为支持高图像捕获速率的红外传感器组件128的红外传感器132、ROIC 402和其它部件来有效地提供。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒240个图像)捕获红外图像帧。在该实施例中，这种高帧速率可以例如，通过以相对低电压(例如，与移动电话电压兼容的)操作红外传感器组件128，并通过使用相对小阵列的红外传感器132(例如，在一个实施例中是64乘64的红外传感器阵列)来实现。
在一个实施例中，这种红外图像帧可以由红外传感器组件128以高帧速率(例如，240Hz或其它帧速率)提供给处理模块160。在另一实施例中，红外传感器组件128可以整合较长时间或多个时间段以便以低帧速率(例如30Hz、9Hz或其它帧速率)向处理模块160提供整合的(例如，平均的)红外图像帧。在本文中先前引用的美国临时专利申请No.61/495,597中可以找到关于可用于提供高图像捕获速率实现的进一步信息。
图像帧802继续通过流水线800，其中它们可以通过各种项来调整，被时域滤波，用于确定各种调整项的和增益补偿。
在方块810和814中，将工厂增益项812和工厂偏移项816应用于图像帧802以分别补偿在制造和试验期间确定的红外成像模块100的各个红外传感器132和/或其它部件之间的增益和偏移差。
在方块580中，将NUC项817应用到图像帧802以校正所述的FPN。在一个实施例中，如果NUC项817还未被确定(例如，在发起NUC过程之前)，则可以不执行方块580或可以使用使图像数据不发生变化(例如，每个像素将等于零的偏移)的初始化值作为NUC项817。
在方块818和822中，将列FPN项820和行FPN项824分别应用于图像帧802。列FPN项820和行FPN项824可以根据所述的方块550来确定。在一个实施例中，如果列FPN项820和行FPN项824还未被确定(例如，在发起NUC过程之前)，则可以不执行方块818和822或可以使用使图像数据不发生变化(例如，每个像素将等于零的偏移)的初始化值作为列FPN项820和行FPN项824。
在方块826中，根据时域降噪(TNR)过程对图像帧802执行时域滤波。图9示例了根据本公开的实施例的TNR过程。在图9中，处理当前接收的图像帧802a和先前时间滤波的图像帧802b以确定新的时间滤波的图像帧802e。图像帧802a和802b包括分别集中在像素805a和805b附近的局部邻域像素803a和803b。邻域803a和803b对应于图像帧802a和802b内的同一位置且是图像帧802a和802b中的全部像素的子集。在示例的实施例中，邻域803a和803b包括5乘5的像素区域。在其它实施例中可以使用其它邻域尺寸。
确定并平均邻域803a和803b的对应像素之间的差异以提供用于对应于像素805a和805b位置的平均变量值805c。可以使用平均变量值805c以确定方块807中的被应用于图像帧802a和802b的像素805a和805b的加权值。
在一个实施例中，如图表809所示，方块807中确定的加权值可以与平均变量值805c成反比，以便当领域803a和803b之间的差异大时，使加权值迅速降为零。在这一点上，领域803a和803b之间的大的差异可以表明变化已出现在场景内(例如，由于运动)，并且在一个实施例中，为了避免引入模糊的帧场景变化，像素802a和802b可以被适当地加权。
可以将方块807中确定的加权值应用到像素805a和805b以确定图像帧802e的对应像素805e的值(方块811)。在这一点上，像素805e可以具有取决于平均变量值805c和方块807中确定的加权值的像素805a和805b的加权平均(或其它组合)值。
例如，时域滤波的图像帧802e的像素805e可以是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差异是由于噪声，则期望领域805a和805b之间的平均变化将接近于零(例如，对应于未校正的平均变化)。在这种情况下，期望领域805a和805b之间的差异之和将接近于零。这样，可以使两个图像帧802a的像素805a适当地加权以有助于像素805e的值。
然而，如果这种差异之和不为零(例如，在一个实施例中，甚至与零的差异不大)，则该变化可被解释为认为是运动而不是噪声。因此，基于用领域805a和805b表现的平均变化可以确定运动。在这些情况下，在图像帧802b的像素805b可被大量加权的同时，图像帧802a的像素805a也可被大量加权。
也可以考虑其它实施例。例如，虽然已将平均变量值805c描述为基于领域805a和805b确定，但在其它实施例中，平均变量值805c可以基于任何期望标准(例如，基于单独像素或其它类型的组的像素)来确定。
在上述实施例中，将图像帧802a描述为当前接收的图像帧，且将图像帧802b描述为先前时域滤波的图像帧。在另一个实施例中，图像帧802a和802b可以是由红外成像模块100捕获的未被时域滤波的第一和第二图像帧。
图10示例了关于方块826的TNR过程的进一步实现细节。如图10所示，可以将图像帧802a和802b分别读入到行缓冲器1010a和1010b中，在将图像帧802b读入到行缓冲器1010b之前可以将它存储在帧缓冲器1020中。在一个实施例中，行缓冲器1010a-b和帧缓冲器1020可以用由红外成像模块100和/或主机装置102的任何适当部件提供的一块随机读取存储器(RAM)来实现。
再次参考图8，可以将图像帧802e传输到用于进一步处理的自动增益补偿块828，以提供可被所需的主机装置102使用的最终图像帧830。
图8进一步示例了为确定所述的行和列FPN项和NUC项可被执行的各种操作。在一个实施例中，这些操作可以使用如图8所示的图像帧802e。因为图像帧802e已被时域滤波，所以至少一些时域噪声可以被去除，因此将无意影响行和列FPN项824和820和NUC项817的确定。在另一实施例中，可以使用未被时域滤波的图像帧802。
在图8中，将图5的方块510、515和520共同表现在一起。如所述，可以选择性发起NUC过程，并对各种NUC过程发起事件作反应并基于各种标准或条件执行NUC过程。而且还如所述的，根据提供模糊图像帧(方块545)的基于运动的方法(方块525、535和540)或基于散焦的方法(方块530)，可以执行NUC过程。图8还示例了有关图5的先前详述的各种附加方块550、552、555、560、565、570、571、572、573和575。
如图8所示，可以以迭代的方法确定并应用行和列FPN项824和820和NUC项817项，以使用图像帧802确定已应用先前项的更新的项。结果，图8的整个过程可以反复地更新并应用这种项以连续地减小被主机装置102使用的图像帧830的噪声。
再次参考图10，示例了有关流水线800的图5和8的各个块的进一步实现细节。例如，方块525、535和540示出为以正常帧速率操作由流水线800接收的图像帧802。在图10示出的实施例中，方块525中制造的确定被表现为用于确定指定图像帧802是否充分改变的菱形判定，从而其可视为如果增加到其它图像帧将增强模糊的图像帧，并且因此被积累(在该实施例中方块535用箭头表示)和平均(方块540)。
而且在图10中，列FPN项820(方块550)的确定被示出为以更新的速率操作，由于在方块540中执行平均，所以在该实例中是1/32的传感器帧速率(例如，正常帧速率)。在其它实施例中可以使用其它更新的速率。虽然在图10中仅识别了列FPN项820，但是可以以降低帧速率的类似方法实现行FPN项824。
图10还示例了有关方块570的NUC项确定过程的进一步实现细节。在这一点上，可以将模糊图像帧读到行缓冲器1030(例如，用红外成像模块100和/或主机装置102的任何适当部件提供的一块RAM实现)。可以对模糊图像帧执行图7的平场校正技术700。
鉴于本公开，将意识到可以使用本文中描述的技术去除各种类型的FPN(例如，包括非常高的振幅的)，诸如空间相关的行和列FPN和空间不相关的FPN。
也可以考虑其它实施例。例如，在一个实施例中，在更新行和列FPN项和/或NUC项时的速率可以与估计的模糊图像帧中的模糊量成反比，和/或与局部对比值(例如，在方块560中确定的)的量级成反比。
在各种实施例中，所描述的技术可以提供超过常规的基于快门的噪声校正技术的优势。例如，通过使用无快门过程，不需要提供快门(例如，诸如快门105)，所以允许减小尺寸、重量、成本和机械复杂性。如果不需要机械操作快门，则还可以降低提供到红外成像模块100的或由红外成像模块100产生的功率和最大电压。通过移除作为潜在故障点的快门将改善可靠性。无快门过程还可以消除用快门的成像场景的临时堵塞引起的潜在的图像中断。
同样，通过使用有意模糊的从真实世界场景(用快门提供的非均匀场景)捕获的图像帧校正噪声，可以对具有辐照度类似于成像真实场景所需的辐照度的图像帧执行噪声校正。这能够提高根据各种描述的技术确定的噪声校正项的精确性和有效性。
现在参考图12，示出了根据本公开的实施例的具有红外成像模块1202的婴儿监测系统1200的方块图。尽管在本公开的这个或其它实例中婴儿1232被表示为婴孩或幼儿，但应该意识到，本文揭露的系统和方法可以用于监测需要和/或期望被监测或观测的大一点的孩子、老年人、病人或任何其他人。因此，本公开中的“婴儿”应被理解为包括所有和任何这些人，婴儿监测系统1200可以用在任何其它的适当设置中，诸如在老年人的疗养院中或在医院中。
监测系统1200可以包括红外成像模块1202、可见光摄像机1206、处理器1208、存储器1210、通信模块1212、显示器1214、运动传感器1216、控制面板1217和/或其它部件1218。在各种实施例中，系统1200的部件可以以与图1的主机装置102的对应部件相同或类似的方法来实现。而且，可以配置系统1200的部件以执行本文中描述的各种NUC过程和其它过程。
在各种实施例，红外成像模块1202可以是根据本文揭露的各种实施例实现的小型红外摄像机或者小型红外成像装置。红外成像模块1202可以包括例如根据本文揭露的各种实施例或适当的其它实施例实现的FPA。
可以配置红外成像模块1202以捕获、处理和/或以其它方式管理至少包括婴儿1232的局部视图的场景1230的红外图像(例如，包括热图像)。在这一点上，可以将红外成像模块1202固定、安装、安置或以其它方式布置在使至少部分婴儿1232位于红外成像模块1202的视野(FOV)1204范围内的任何适当的位置。例如，可以可调地将红外成像模块1202固定到需要使至少局部放置的婴儿1232在FOV 1204范围内的墙、床扶手、床头板、婴儿床护栏、童车框架、汽车座椅靠背、或任何结构或一件家具的任何适当部分上。
可以将红外成像模块1202容纳在外壳1220，在一些实施例中，外壳1220包括压板、夹子、吸盘或其它适当的连接机构以将外壳1220可拆卸地连接到(由此也将红外成像模块1202连接到)如上所列的适当位置中。在一些实施例中，可以用适当的紧固件将外壳1220固定地安装到适当的位置。在一些实施例中，外壳1220可以包括使外壳1220位于桌面或任何其它基本水平面上的机架。在一些实施例中，外壳可以包括用于进一步调整容纳在其中的红外成像模块1202的位置、方向和/或角度的至少一个铰接接头或其它类似的机构。因此，在各种实施例中，可以配置外壳以适当地定位红外成像模块1202，从而至少部分地将婴儿1232放置在FOV 1204范围内。
在一些实施例中，红外成像模块1202可以包括将红外辐射从场景1230引导到红外成像模块1202的FPA的各种光学元件1203(例如，红外透射透镜、红外透射棱镜、红外反射镜、红外光纤元件)。当难以以期望的角度和/或位置安装红外成像模块1202时，光学元件1203可能是有用的。例如，如果在早产儿的恒温箱中几乎没有或完全没有用于以期望位置安装红外成像模块1202的空间，则可以使用柔性的光纤电缆和透镜将红外辐射发送到安装在别处的红外成像模块1202。还应注意，光学元件1203可以用于适当地限定或改变红外成像模块1202的FOV 1204。可以选择性地提供可切换控制的FOV(例如，可由红外成像模块1202和/或处理器1204选择的)，当例如期望婴儿1232的面部区域的选择性特写视图时，它可能是有用的。
光学元件1203还可以包括适合通过某些波长的但基本阻挡其它波长的红外辐射的一个或多个滤波器(例如，短波红外(SWIR)滤波器、中波红外(MWIR)滤波器、长波红外(LWIR)滤波器和窄带滤波器)。可以使用这种滤波器为增加对期望带的红外线波长的灵敏性而量身定做红外成像模块1202。例如，当检测如本文进一步描述的婴儿1232的呼出气息时，通过使用仅以与具体吸入/呼出的二氧化碳(CO2)或呼出气息的其它成分气体的波谱匹配的波长传输的窄带滤波器，可以得到更好的结果。在一些实施例中，滤波器可以是可选的(例如，提供为可选的滤滤轮)。在其它实施例中，可以将滤波器固定为适合期望应用的监测系统1200。
由红外成像模块1202捕获、处理和/或以其它方式管理的红外图像可以是辐射标准化的红外图像(例如，热图像)。也就是说，组成捕获的图像的像素可以包含校正的热数据(例如，温度)。如上文中连同图1的红外成像模块100所述的，可以使用适当的技术来校准红外成像模块1202和/或相关组件，以使由红外成像模块1202捕获的图像是适当地校准的热图像。在一些实施例中，通过红外成像模块1202和/或处理器1208可以周期性地执行适当的校准过程，以使红外成像模块1202和由它捕获的热图像可以保持适当的校准。
辐射标准化使红外成像模块1202和/或处理器1208能够有效地从热图像检测具有特定温度范围的目标。红外成像模块1202和/处理器1208可以有效地检测这种目标，因为具有特定温度的目标的热图像可以容易地从背景和其它目标中辨认出来，并且较少受照明条件或遮蔽(例如，被服装遮蔽)的影响。相比之下，对可见光图像(例如，由CMOS或CCD传感器捕获的图像)或非标准化的红外图像执行的目标检测操作，诸如对这种图像执行的边缘检测和/或图案识别算法，可能是计算复杂的还是无效的。
例如，在一个实施例中，可以配置红外成像模块1202和/或处理器1208以从热图像中检测具有大约在穿衣服的婴儿的温度范围之内的温度的像素的邻近区域(还称为“团迹”和“温暖团迹”)，该温度范围例如在约75°F(例如，穿衣服的身体部分)和约110°F(例如，暴露的身体部分，诸如脸和手)之间。这种“温暖团迹”可以表明场景1230中存在婴儿(例如，婴儿1232)，并可以如本文所述地被进一步分析以查明婴儿的存在、跟踪婴儿的面部区域并确定与婴儿有关的各种特征。
可见光摄像机1206可以是小型的可见光成像模块或成像装置，且可以以与本文中揭露的红外成像模块1202的各种实施例类似的方法，但用对可见光(可见光谱中的辐射)敏感的一个或多个传感器来实现。例如，在一个实施例中，可见光摄像机1206可以用电荷耦合装置(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属-氧化物-半导体(CMOS)传感器、科学的CMOS(sCMOS)传感器或其它传感器来实现。在一些实施例中，由可见光摄像机1206捕获的可见光图像可以被处理器1208接收，可以配置处理器1208以如本文中进一步描述的融合、附加或以其它方式组合可见光图像和由红外成像模块1202捕获的热图像。
在一个实施例中，可以使可见光摄像机1206与红外成像模块1202共置在外壳1220中，并使它们定向以使可见光摄像机1206的FOV 1207至少部分重叠红外成像模块1202的FOV 1204。在一个实例中，红外成像模块1202和可见光摄像机1206可以被实现为根据在本文先前引用的美国临时专利申请No.61/748,018中描述的各种技术的共享共有基板的双传感器模块。这种双传感器模块实现可以包括用于红外成像和可见光成像的共有电路和/或共有抑制装置，因此与红外成像模块1202和可见光摄像机1206被实现为单独模块的实施例相比，潜在地减小了婴儿监测系统1200的总尺寸。此外，双传感器模块实现可适于通过将传感器模块更近地间隔开而减小由红外成像模块1202和可见光摄像机1206捕获的图像之间的视差。
处理器1208可以被实现为如图1的处理器195所述的任何适当的处理装置。在一些实施例中，本文中描述的处理器1208的至少某个部分或某些功能可以被实现为红外成像模块1202的一部分，例如，关于图1的上述的处理模块160。在一些实施例中，处理器1208的至少某个部分或某些功能可以是外部装置的其它现有处理器的一部分，或用外部装置的其它现有处理器来实现，外部装置例如移动电话、平板电脑、膝上型电脑、台式电脑、汽车信息显示系统或可用于显示监测系统1200的监测信息的其它装置。在其它实施例中，处理器1208可以与这种其它的外部处理器和与这种处理器有关的部件相连接并通信。
可以配置处理器1208使其与监测系统1200的其它部件相连接并通信，以执行本文描述的各种处理和分析操作。可以配置处理器1208以接收由红外成像模块1202捕获的热图像。可以配置处理器1208，以对接收的包括婴儿(例如，婴儿)的至少局部视图的场景(例如，场景1230)的热图像执行如本文进一步描述的各种热图像处理和分析操作，例如，检测并跟踪婴儿，并确定与婴儿相关的各种特征。可以配置处理器1208，以集合、编辑、分析或以其它方式处理热图像处理的结果，并分析产生关于婴儿的监测信息的操作。
在一个实例中，可以配置处理器1208以确定婴儿是否呼吸正常，并在确定婴儿呼吸不正常(例如，表示无呼吸、强力呼吸图案或其它异常呼吸图案)后产生警报。在这一点上，可以配置处理器1208以根据该公开的一个或多个实施例在热图像中检测并跟踪婴儿的脸和面部特征。
而且参考图13，示出了可被红外成像模块1202捕获的热图像的实例(示出为用于容易理解的用户可见的热图像，用较亮的部分表示较高的温度)。如该实例的热图像所示，婴儿的脸1334通常表现比被覆盖的身体1335或背景高的温度。此外，面部特征诸如眼睛、口和鼻孔通常表现甚至更高的温度。因此，使用本文或别处描述的适当的检测和跟踪操作，可以准确并高效地区分和跟踪脸(例如，脸1334)以及更具体的眼睛、鼻子和口(例如眼睛区域1336、泪腺区域1339和口鼻区域1337)。
在其它实施例中，如果由可见光摄像机1206捕获的可见光图像是可用的，则可以配置处理器1208以附加地或可选择地基于可见光图像跟踪脸和面部特征。例如，可见光图像与一定的环境光线的条件下的热图像相比可以提供更多细节和对比，因此其在良好光照条件下可以使用适当的人脸跟踪算法来分析。在另一实例中，可以分析可见光图像和热图像两者以互补地增加检测和跟踪的精确性。在另一实例中，可以如本文中进一步描述的组合或融合热图像和可见光图像，并可以分析组合或融合的图像以跟踪脸和面部特征。如果处理器1208被配置为使用可见光图像检测和跟踪脸和面部特征，则可以进一步配置处理器1208以将可见光图像中跟踪的脸和面部特征的像素坐标转换成热图像中的对应的像素坐标。
根据该公开的实施例，通过分析热图像以检测婴儿的呼出气息并分析检测的呼气之间的间隔可以确定婴儿是否正常呼吸。在该实施例中，可以配置处理器1208以在被跟踪的口鼻区域1337中或附近检测呼出气息1338的存在。呼出气息1338可以在每次呼气之后的短时间内出现在热图像中，且可以是可检测为富含CO2气体的且具有略低于体温的温度的明显热柱。因此，通过分析跟踪的关于具有这种气体辐射特性的一组像素存在的口鼻区域1337，可以检测呼出气息1338。而且，如上文中连同红外成像模块1202的光学元件1203所述的，在一些实施例中可使用窄带滤波器，以使CO2吸收和发射的红外辐射可以更清楚地并以比来自用于呼出气息1338的改良检测的其它物质的红外辐射更高的对比度示出。可以配置处理器1208以在例如检测某段时间没有呼气(例如，表示呼吸暂停)，检测的呼气之间的间隔太长(例如，表示呼吸暂停)，或检测的呼气之间的间隔太短(表示换气过度)时产生警告。
在另一实施例中，可以配置处理器1208以通过分析跟踪的口鼻区域1337检测口鼻区域1337的温度和/或形状的周期性变化来检测呼吸。例如，可以配置处理器1208以检测鼻孔中的略微更高和更低的温度的周期性变化和/或口鼻区域1337的周期性动作，其可以表示吸气和呼气的循环周期。还可以预见的是，可以配置处理器1208以通过执行其它适当的分析和/或处理操作，例如检测表示呼吸的各种周期性变化来检测呼吸。在各种实施例中，可以配置处理器1208以通过执行本文中描述的呼吸检测操作的任意组合来检测呼吸。
在另一实例中，可由处理器1208产生的监测信息包括婴儿的大概体温和/或异常体温的报警提醒。如上所述，可以配置处理器1208以通过分析热图像、可见光图像和/或热-可见光图像的组合以在热图像中定位并跟踪婴儿的脸。在一个实施例中，可以配置处理器1208以通过汇总、平均和/或以其它方式分析有关对应于婴儿脸的热图像像素的辐射数据(例如，温度数据)，来确定大概体温。在另一实施例中，可以配置处理器1208以通过得到有关婴儿眼睛的泪腺(还称为泪总管或鼻泪管)区域1339的温度，来确定大概体温。通常，泪腺区域1339表现的温度比身体的其它暴露的皮肤部分的温度更稳定且更接近于人体的核心温度。因此，在该实施例中可以配置处理器1208以检测并跟踪如图13所示的泪腺区域1339(例如眼角内侧)，并通过分析有关对应于检测的泪腺区域1339的热图像像素的辐射数据(例如，温度数据)来确定大概体温。
在其它实施例中，可以配置处理器1208以通过对在此包含的热图像和辐射数据执行其它适当的处理和分析操作来估算大概体温。在各种实施例中，可以配置处理器1208以便如果由热图像确定的大概体温高于或低于某一阈值则产生报警，以警告高烧或其它异常健康情况。
在产生监测信息的另一实例中，可以配置处理器1208以分析热图像检测婴儿口鼻区域中的外来物质的存在。在一个实施例中，可以配置处理器1208以分析图案的表示外来物质存在的跟踪的口鼻区域(例如，口鼻区域1337)。因为外来物质的辐射特性(例如，温度、呼出/吸入波长、辐射率、反射率和/或透射率)可能不同于婴儿皮肤或呼出气息的辐射特性，所以可以分析跟踪的口鼻区域的热图像的变化，该变化可表示外来物质存在。在其他实施例中，可以配置处理器1208以通过执行适合热图像的其它适当的目标检测操作来检测外来物质的存在。在各种实施例中，可以配置处理器1208以便如果在口鼻区域中检测到外来物质则产生警报，以通知婴儿需要被清洁以防止潜在地窒息或以其它方式需要帮助。
在产生监测信息的另一实例中，可以配置处理器1208以分析热图像确定婴儿的大概姿势(例如，婴儿是否俯卧、仰卧、坐或站)。如上所述，在热图像中可以跟踪婴儿的身体、脸、面部特征的位置。在一个实施例中，可以配置处理器1208以通过分析脸相对于身体的位置和/或方向来确定大概姿势。在另一实施例中，可以分析热图像中的婴儿的轮廓和/或宽高比以确定姿势。在各种实施例中，可以配置处理器1208以通过执行本文描述的姿势确定操作的任意组合和用于姿势确定的其它适当的热图像分析操作来确定婴儿的姿势。在各种实施例中，可以配置处理器1208以从用户接收报警触发姿势的选择，如果婴儿的大概姿势被确定为与选择的姿势匹配则产生警报。因此，例如如果婴儿站在婴儿床中则可以选择通知或警告用户，以使用户可以照料婴儿和/或防止婴儿摔下来。
在另一实例中，由处理器1208可产生的监测信息包括由红外成像模块1202捕获的场景(例如，场景1230)的用户可视图像(例如，温谱图)。可以配置处理器1208以使用适当的方法和算法转换热图像。在一个实施例中，可以将热图像的像素中包含的辐射数据(例如，温度数据)转换成灰阶或色阶像素以构建人能够看得见的图像。用户可视热图像可以选择性地包括表示对应像素颜色和/或强度的大概温度的图例或规模。这种用户可视图像可以被用户(例如，父母、看护人)看到，以便即使当关闭灯或使灯光变暗时(例如，在晚上当婴儿躺在床上时)也能目视检测婴儿的状态。
如果场景的可见光图像是可用的(例如，由可见光摄像机1206捕获的)，则可以配置处理器1208以附加、融合、混合或以其它方式组合热图像和可见光图像以产生具有更高清晰度和/或对比度的用户可见图像。例如，可以配置处理器1208以产生包括对应于场景1230的辐射数据和/或其它红外特征的组合图像，但其通常比由热或可见光图像单独提供时具有更显著的目标细节(例如，轮廓和/或边缘细节)和/或对比度，如本文进一步描述的。在另一实例中，组合图像可以包括对应于场景1230中的一个或多个目标(例如，婴儿1232)的辐射数据和可见光特征(例如，可见光谱的颜色)，如本文引用的例如美国专利申请61/473,207，61/746,069，61/746,074，61/792,582，61/793,952，12/766,739，13/105,765或13/437,645，或国际专利申请PCT/EP2011/056432或适当的其它申请的各种专利申请中公开的各种实施例所述。在这些实例中产生的组合图像可以提供足够的辐射数据、边缘细节和对比度以能更容易地识别和/或解释婴儿1232的状态。
在另一实例中，可由处理器1208产生的监测信息包括婴儿附近的大概环境温度。在一个实施例中，可以配置处理器1208以由对应于背景的像素的辐射数据(例如，温度数据)确定环境温度。在一个实施例中，为了更精确地确定环境温度，可以集合和/或平均辐射数据。在其它实施例中，可以配置处理器1208以通过对热图像和其中包含的辐射数据执行其它适当的处理和分析操作来估算大概的环境温度。在一些实施例中，代替或除了使用热图像的环境温度确定操作之外，可以使用常规温度传感器确定环境温度。
存储器1210可以包括一个多个存储器以存储包含热图像和监测信息的数据和信息。一个或多个存储器可以包括用于热图像和其它信息存储的包括易失性和非易失性存储器诸如RAM(随机访问存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪速存储器和/或磁盘驱动器的各种类型的存储器。在一个实施例中，为了检查和/或进一步判断由监测系统1200监测的婴儿的状态，随后可以检索存储在一个或多个存储器中的热图像和监测信息。在各种实施例中，可以配置处理器1208以执行存储在存储器1210上的软件指令以便以本文描述的方式执行各种方法、处理或操作。
可以配置显示器1212以显示、指示或以其它方式转换由处理器1208产生的监测信息。在各种实施例中，显示器1212可以用电子显示屏诸如液晶显示器(LCD)、阴极射线管(CRT)或各种其它类型的通常已知的视频显示器和监视器来实现。根据这种实施例的显示器1212可以适合显示由处理器1208从红外成像模块1202捕获的热图像转换的用户可见热图像。
在各种实施例中，显示器1212可以被容纳在不同于可布置红外成像模块1202的外壳1220的第二外壳中，以使用户可以在远离可包括至少婴儿局部视图的场景(例如，场景1230)的位置看见监测信息。在一些实施例中，为了向用户显示监测信息，外部装置诸如移动电话、平板电脑、膝上型电脑、台式电脑、汽车信息显示系统或任何其它装置上的现有显示屏可以从监测系统1200接收热图像和/或监测信息。
在这一点上，可以配置通信模块1214以操作、管理或以其它方式使监测系统1200的各种部件之间的和监测系统1200与外部装置之间的有线和/或无线通信便利。例如，可在外壳1220中布置的且位于捕获婴儿1232的热图像的适当位置的红外成像模块1202，经由通信模块1214可以向和从可位于用户可见的另一位置的处理器1208传输和接收数据。在另一实例中，红外成像模块1202和/或处理器1208，可以经由配置成管理有线和/或无线连接的通信模块1214，向和从可接收和进一步处理用于向用户展示的未加工/加工过的热图像和/或监测信息的外部装置传输和接收数据。
在各种实施例中，通信模块1214可以包括无线通信部件(例如，基于IEEE 802.11无线局域网标准、BluetoothTM标准、ZigBeeTM标准或其它适当的短距离无线通信标准)、无线宽带部件(例如，基于WiMax技术)、移动蜂窝部件、无线卫星部件或其它适当的无线通信部件。通信模块1214还可以被配置为基于无线电频率(RF)、微波频率(MWF)、红外频率(IRF)和/或其它适当的无线传输技术的专有的无线通信协议和接口。为了无线通信的目的，通信模块1214可以包括与其连接的天线。因此，在一个实例中，通信模块1214通过建立至无线路由器、集线器或其它适当的无线网装置的无线链路，可以操作、管理或以其它方式辅助无线通信。
在各种实施例中，可以配置通信模块1214以经由有线通信部件诸如用于有线通信的以太网接口、电力线调制解调器、数字用户线路(DSL)调制解调器、公共电话交换网络(PSTN)调制解调器、线缆调制解调器和/或其它适当的部件与有线网络连接。专有的有线通信协议和接口还可以由通信模块1206支持。为了有线通信的目的，可以配置通信模块1214以在有线链路(例如，经由网络路由器、转换器、集线器或其它网络装置)通信。例如，有线链路可以用支持对应的有线网络技术的电源线电缆、同轴电缆、光纤电缆或其它适当的电缆或电线来实现。
在一些实施例中，监测系统1200可以包括监测系统1200的各种应用所需的许多这样通信模块1214以适合各种类型的监测环境。在其它实施例中，通信模块1214可以被集成为或实现为监测系统1200的各种其它部件的一部分。例如，红外成像模块1202、处理器1208和显示器1212每个都可以包括为执行通信模块1214的操作而配置的，且在没有单独的通信模块1214的情况下可以经由有线和/或无线连接通信的子部件。
运动传感器1216可以以关于图1描述的运动传感器194相同或类似的方式来实现。运动传感器1216可以被监测并给用于执行本文描述的各种NUC技术的红外成像模块1202和/或处理器1208提供信息。
在各种实施例中，监测系统1200可以包括控制面板1217，其具有配置为与用户交互并接收用户输入的控制信号的一个或多个用户激活机构(例如，按钮、旋钮、滑块等)。在一些实施例中，控制面板1217可以是配置为作为用户输入装置和显示装置两者的显示器1212的一部分。例如，控制面板1217可以被实现为显示在显示器1212(例如，用户驱动的触摸屏)上的图形用户接口(GUI)，该显示器1212具有配置为经由显示器1212与用户交互并接收用户输入的控制信号的用户激活机构(例如，按钮、旋钮、滑块等)的一个或多个图像。因此，例如，用户可选择性打开或关闭由监测系统1200提供的各种检测/警告或使用控制面板1212调整监测系统1200的其它配置。还应该了解，可以在可接收用户输入的信号并将它们传输给监测系统1200的外部装置(例如，可用于处理热图像和/或显示监测信息的移动电话、平板电脑、膝上型电脑、台式电脑、汽车信息显示系统或任何其它装置)上实现或显示控制面板。
杂散部件1218可以包括监测系统1200的各种应用所需的任何其它装置或部件。在一些实施例中，杂散部件1218可以包括可用于响应由处理器1208产生的警报以产生听得见的和/或看得见的报警信号的警报信号灯(例如，闪光灯、脉冲光源)、钟、用于产生声调的有关电路的扬声器或其它适当的装置。在一些实施例中，各种部件1218可以包括用于从例如场景1230中的婴儿1232捕获声音的扩音器，以使用户除了观看监测信息以外可以听到婴儿制造的任何声音。在一些实施例中，各种部件1218可以包括可为校正和检验本文中描述的各种热图像分析提供参考数据点的温度传感器(例如，热电偶、体温表)、湿度传感器和其它传感器。
在各种实施例中，如期望的或者根据应用需要，可以组合和/或实现或不组合和/或不实现监测系统1200的一个或多个部件。例如，处理器1208可以与红外成像模块1202、存储器1210和/或通信模块1214组合在一起。在另一实例中，处理器1208可以与红外成像传感器1202组合在一起，并且由红外成像模块1202内部的电路(例如，处理器、逻辑装置、微处理器、微控制器等)执行处理器1208的某些操作。
图14示例了根据本公开的实施例的提供在摄像机外壳1420和显示器外壳1422中的婴儿监测系统1400。监测系统1400可以包括红外成像模块1402、可见光摄像机1406、处理器1408、存储器1410、显示器1412、通信模块1414、运动传感器1416、控制面板1417和其它杂散部件1418，它们中的任何一种都可以以与图12的监测系统的相应部件相同或类似的方式实现。
摄像机外壳1420可以以与外壳1220类似的方式实现，且可以容纳红外成像模块1402、可见光摄像机1406、通信模块1414和运动传感器1416。摄像机外壳1420可以包括夹子1424或其它适当的连接机构，以在使至少婴儿1432的一部分能够位于红外成像模块1402的FOV 1404范围内的位置处将摄像机外壳1420可拆卸地连接到适当的结构1428(例如，床扶手、床头板、婴儿床护栏、童车框架、汽车座椅靠背、或者一件家具的任何其它的适当部分)。摄像机外壳1420可以进一步包括用于进一步调整摄像机外壳1420的位置、方向和/或角度的铰接接头1426或其它类似的机构。因此，例如，为了把用于捕获包括至少婴儿的一部分的场景1430的红外成像模块1404放在适当位置，用户可以可拆卸地连接和/或调整摄像机外壳1420，以在可放置需要观测的婴儿或其他人的儿童床中、床上、游戏区域中、婴儿车中、车中或任何其它地方监测婴儿。如图12的外壳1222所示，摄像机外壳1420可以选择性或额外地包括为使摄像机外壳1420能位于桌面或任何其它基本水平面上而配置的机架。
显示器外壳1442可用于容纳显示器1412和通信模块1414。其它剩余部件，诸如处理器1408、存储器1410和杂散部件1418可以被容纳在监测系统1400的各种应用所需的摄像机外壳1420、显示器外壳1422或两者(例如，部件可被重复或可被分成部分)中。显示器外壳1442可以是便携的且可以与摄像机外壳1420分开，以使用户在远离由摄像机外壳1420中的红外成像模块1402捕获的场景1430的位置可以看到监测信息。在这一点上，通信模块1414经由有线链路1413(例如，包括网络路由器、转换器或集线器)或无线链路(例如，包括无线路由器或集线器)可以有助于容纳在摄像机外壳1420中的部件(例如，红外成像模块1402)和容纳在显示器外壳1422中的其它部件(例如，处理器1408)之间的通信。
如图14所示，在一些实施例中，监测系统1200/1400还允许用户定义虚拟边界1440。经由例如控制面板1217/1417和/或显示在显示器1212/1412上的GUI的相互作用，用户可以定义虚拟边界1440。虚拟边界1440可由用户定义以描述婴儿不安全的或其它不可取的区域。例如，虚拟边界1440外部的场景1430中的区域可被用户表示为不安全的或其它不可取的区域。在这一点上，可以配置处理器1208/1408以如上所述地检测婴儿的存在并跟踪婴儿的位置。可以进一步配置处理器1208/1408以执行婴儿的大概位置是否落在了由虚拟边界1440定义的安全区域外的确定，并依据婴儿可能落在虚拟边界1440外的或在热图像中未检测的确定来产生警报。因此，例如，如果婴儿爬出安全游戏区、婴儿落下床或以其它方式移动出由虚拟边界定义的安全区域，则能通知用户。在一个实施例中，可以配置处理器1208/1408以通过分析和比较婴儿位置与由虚拟边界定义的安全区域位置的像素坐标来检测出边界的婴儿。在其它实施例中，使用可以包括场景重建操作、目标跟踪操作和/或虚拟绊线检测操作的一个或多个图像分析操作(例如，视频分析)，可以执行该确定。
图14还示出了显示器1412的屏幕截图实例。由处理器1208/1408产生的某些或所有监测信息可以以各种文本和/或图形形式被显示在显示器1212/1412上。在一些实施例中，某些或所有监测信息可以以声音的形式，以及经由各种指示器和灯光(例如，闪烁报警灯)来额外地或可选择地提供。该屏幕截图实例示出了警报1442、温度信息1443、婴儿姿势信息1444和显示在显示器1212/1412上的用户观察的场景的用户可视图像。用户可视图像可以示出婴儿的热图像的形状1446以及温度计1448。除了或者作为替代物显示温谱图之外，用户可视图像还可以以更自然的色彩(例如，只使用可见光图像或与热图像结合)显示。因此，经由显示器1212/1412，即使在完全黑暗的环境中，用户也可以观察包括婴儿(例如，婴儿1232/1432)的场景(例如，1230/1430场景)的图像，同时会有利地得到各种警报和监测信息的描述。
因此，为了远程监测期望或需要被观测的婴儿或其他人，可以方便地布置监测系统1200/1400。通过捕获、处理和分析包括婴儿的至少局部视图的场景的热图像，监测系统1200/1400可以确定关于场景和婴儿的各种状态，并产生监测信息。监测信息可以包括，但不限制于：警告异常呼吸、异常温度、姿势变化、口/鼻中的外来物质和婴儿离开安全区域，以及与由场景的热图像转换的婴儿和用户可视图像有关的各种状态(例如，姿势、温度)的警报。因此监测系统1200/1400方便地向看护人提供主动报警，并由此有助于防止由婴儿和/或环境的SIDS和其它状态引起的死亡、伤害或其它危害。即使当将婴儿放在低光或无光的环境时，监测系统1200/1400也可以方便地向看护人提供婴儿的清晰视图。
现在参考图15，示例了根据本公开的实施例的使用热成像监测婴儿的过程1500的流程图。例如，过程1500可以通过监测婴儿1232/1432的监测系统1200/1400来执行。应该意识到，仅用于举例的目的确定了监测系统1200/1400和婴儿1232/1432，可以使用任何其它适当的系统执行过程1500所有或部分过程。
在方块1502中，可以用红外成像模块(例如，红外成像模块1202/1402)捕获包括婴儿(例如，婴儿1232/1432)的至少局部视图的场景(例如，场景1230/1430)的热图像(例如，包含有辐射数据的像素)。捕获的热图像可以是如上文中关于红外成像模块1202/1402描述的辐射校准的热图像。并且，在一些实施例中，捕获的热图像可以是缩放和/或透视校准的热图像。即，真实场景中的目标(例如，婴儿)的几何特性(例如，大小和位置)可以由热图像中的目标的像素坐标得到。当将红外成像模块(例如，红外成像模块1202/1402)首先安装在期望位置时，使用适当的技术可以手动或自动执行尺寸和/或角度校准。在一些实施例中，安装之后使用适当的技术还可以周期性地执行自动再校准。
捕获的热图像可被例如与红外成像模块1202/1402通信耦合的处理器1208/1408接收。在一些实施例中，捕获的热图像经由使用适当的网络协议和接口(例如，经由通信模块1214/1414)的无线或有线连接可以从红外成像模块传输到位于远程的且与红外成像模块分开的处理器。例如，可以将捕获的热图像无线地传输到处理器1208/1408，处理器1208/1408可以与显示器1212/1412共置于在用户(例如，父母、看护人)附近布置的用于远程监测婴儿的显示器外壳1422中。在方块1504中，例如，通过使用本文描述的各种NUC技术可以对捕获的热图像执行NUC过程以去除其中的噪声。
在方块1506中，可以分析捕获的热图像以产生有关婴儿的监测信息。例如，可以对捕获的热图像执行各种分析和处理操作以检测和跟踪婴儿，并确定与婴儿和/或场景有关的各种特征。
在一个实施例中，为了检测和跟踪婴儿，可以从辐射校正的热图像检测具有特定范围的温度值的相邻像素区域。例如，检测操作可以区分具有婴儿特征(例如，具有暴露的脸)的表面温度分布的区域(或“团迹”)。例如通过执行各种滤波操作和分析团迹的尺寸、形状和/或热特性，可以进一步处理和/或分析其中检测的热图像和团迹，以查明婴儿的检测并进一步确定跟踪的脸和面部特征的位置。如上述的有关图13所述，面部特征诸如眼睛、口和鼻孔通常表现比脸的其它暴露区域高的温度。因此，在一个实例中，可以利用对检测的团迹执行的滤波操作(诸如扩张和阈值滤波)以进一步定位于面部特征。并且，如果需要查明面部特征的检测，则可以进一步分析定位于面部特征的尺寸、形状和/或辐射特性。
在另一实施例中，可以分析热图像，以使用例如适合用于热图像的背景建模技术、边缘检测技术或其它前景目标检测技术，检测一个或多个候选的前景目标。然后可以分析候选目标的辐射特性(例如，表面温度分布)以确定它们是否对应于可出现在场景中的婴儿的特征。例如，放在婴儿床上的玩偶最初可被检测为候选前景目标，但它的辐射特性随后会很快地显露出来，它不具有婴儿的表面温度分布，因此它不是婴儿。如该实例所示，使用热图像的目标检测与使用可见光图像的目标检测技术相比，可以较少地受假目标的错误检测的影响。还可以分析候选目标的尺寸和形状，以基于检测的候选人的大小、形态和辐射特性可以查明该检测。如上所述，如果需要定位或跟踪婴儿的面部特征，则可以执进一步处理和分析操作。
在该实施例的一个方面中，背景建模技术可以用于检测场景中目标。由于场景的背景(例如，婴儿床或床)很少变化，且由于热图像通常对照明条件改变不敏感，所以可以建造具有高精确性的背景模型(例如，属于背景的像素)，不同于背景(还称为“感兴趣区域”)的像素区域可以被容易地区分为候选前景目标。如上所述，然后可以分析这种感兴趣区域(ROI)的辐射特性以进一步查明检测的ROI是否可能存在婴儿。
在各种实施例中，方块1506描述的各种处理和分析操作可以省略或包括在内，且可以以适合检测和跟踪婴儿和/或他的脸的任何其它顺序来执行。例如，在一些实施例中，检测热图像中的温暖“团迹”可足以检测和跟踪场景中的婴儿，然而，在其它实施例中可以执行结合增加检测和跟踪的精确性的各种热图像分析。
在一些实施例中，如果可见光图像是可用的(例如，由可见光摄像机1206捕获的)，方块1506的操作可以额外或可选择地包含对可见光图像或可见光图像和热图像的组合图像执行适当的人脸检测和跟踪算法。如果使用可见光图像执行人脸和面部特征的检测和跟踪，则方块1506的操作可以进一步包含转换可见光图像中跟踪的人脸和面部特征的像素坐标为热图像中对应的像素坐标。通过分析热图像、可见光图像和/或组合图像，还可以使用方块1506的用于检测和跟踪热图像中目标的其它适当的技术。
通过进一步分析和处理和/或在处理和分析期间执行检测和跟踪，可以确定与婴儿和/或场景有关的各种特征以产生监测信息。例如，通过分析和处理如上所述的用于图12的处理器1208的热图像，可以确定大概体温、大概环境温度、场景中婴儿的相对位置和婴儿的姿势。如有关图12的处理器1208的进一步描述的，可以进一步分析和/或处理各种特征以产生警告异常体温、姿势改变和婴儿移出安全区域的警报。在另一实例中，通过进一步分析跟踪的口鼻区域可以检测婴儿的呼出气息，如果检测出如上所述的有关图12的处理器1208的异常呼吸图案，则可以产生警报。而且如针对处理器1208所描述的那样，如果在跟踪的婴儿的口鼻区域检测出外来物质，则可以产生警报。
在方块1508中，可以产生场景的用户可视图像。在一个实施例中，通过使用适当的方法和算法转换热图像可以产生用户可视图像。例如，可以将包含在热图像的像素中的热数据(例如，温度数据)转换成灰阶或色阶像素以构建人能够看得见的图像。用户可视图像可以选择性包括表示对应像素颜色和/或强度的大概温度的图例或规模。
在一些实施例中，过程1500可以进一步包括使用可见光摄像机(例如，可见光摄像机1206/1406)捕获场景的可见光图像。在该实施例中，当例如可用光足以产生可识别的可见光图像时，使用单独的或与热图像组合的可见光图像代替现有的温谱图，可以选择性地以更自然的色彩显示用户可视图像。在这一点上，作为一些实施例，方块1508的操作还可以包含融合或组合热图像和可见光图像以产生具有更高清晰度、对比度和/或细节的用户可视图像。
参考图16，其为组合或融合热图像和可见光图像的过程1600的流程图，可以进一步详细描述根据一个或多个实施例的融合或组合操作。组合的图像可以包括对应于场景1230/1430的辐射数据和/或其它红外特征，但通常比由热或可见光图像单独提供时具有更显著的目标细节(例如，轮廓和/或边缘细节)和/或对比度。因此，例如，在这些实施例中产生的组合图像可以有益地提供能容易地识别和/或解释婴儿1232/1432的状态的足够的辐射数据、细节和对比度。
在方块1602中，可以接收可见光图像。例如，如上所述，可以用可见光摄像机1206/1406捕获场景1230/1430的可见光图像，可以以如接收方块1502的热图像所述的类似的方式使捕获的可见光图像被处理器1208/1408接收。因此，处理器1208/1408可以执行使用例如热图像和可见光图像两者的过程1600的各种操作。
在方块1604中，可以从一个或多个可见光图像和热图像中得到方块1608中的高空间频率内容。例如，可以配置处理器1208/1408以从在方块1602和/或1502接收的一个或多个可见光和热图像中得到高空间频率内容。根据各种实施例得到的高空间频率内容包括从例如一个或多个可见光和热图像中获得的边缘/轮廓细节和/或高对比度像素。
在一个实施例中，通过对图像执行高通滤波(例如，空间滤波器)操作，其中高通滤波操作的结果是高空间频率内容，可以从接收的图像中得到高空间频率内容。在可选择的实施例中，通过对图像执行低通滤波操作，然后从原始图像中减去该结果以产生作为高空间频率内容的剩余内容，可以从接收的图像中得到高空间频率内容。在另一实施例中，经由成像差异，例如其中以相同的方法从受第一图像干扰的第二图像中减去一个图像，该减法的结果是高空间频率内容，可以从选择的图像中得到高空间频率内容。例如，可以配置红外成像模块1202/1402的光学元件1203和可见光摄像1206/1406的光学元件以将摆动、散焦和/或运动假像引入到由红外成像模块1202/1402和可见光摄像机1206/1406中的一个或两个捕获的连续图像中。高空间频率内容可以由连续地减去邻近的或半邻近的图像来得到。
在一些实施例中，高空间频率内容可以仅从可见光图像或热图像中得到。在其它实施例中，高空间频率内容可以仅从单独的可见光或热图像中得到。在进一步的实施例中，高空间频率内容可以从可见光和/或热图像的一个或多个部分诸如可见光图像的亮度部分，或例如热图像的辐射部分中得到。最终的高空间频率内容可以被暂时存储起来(例如，在存储器1210/1410)，和/或根据方块1608可以被进一步处理。
在方块1606中，一个或多个热图像可以被去噪。例如，可以配置处理器1208/1408以使用各种图像处理操作来去噪、使平滑或模糊场景1230/1430的一个或多个热图像。在一个实施例中，由于大大减小将双边缘(例如，边缘噪声)引入到场景的组合图像中描述的目标的风险，所以从热图像中去除高空间频率噪声使处理的热图像能够与根据方块1604得到的高空间频率内容组合。
在一个实施例中，去除热图像的噪声可以包括对图像执行低通滤波(例如，空间和/或时间滤波)操作，其中低通滤波操作的结果是去噪或处理的热图像。在进一步的实施例中，去除一个或多个热图像的噪声可以包括下采样热图像和随后上采样回到原始分辨率的图像。
在另一实施例中，处理的热图像可以由场景1230/1430的主动地模糊热图像来得到。例如，可以配置光学元件1203以使红外成像模块1202/1402捕获的一个或多个热图像略微散焦。有意模糊热图像的结果可被充分去噪或模糊以减少或消除如下面进一步描述的将双边缘引入到场景1230/1430的组合图像中的风险。在其它实施例中，可以通过处理器1208/1408对接收的热图像执行模糊或平滑图像处理，作为使用光学元件1203主动模糊场景1230/1430的热图像的替代或补充。最终处理的热图像可以被暂时存储起来(例如，在存储器1210/1410中)，和/或根据方块1608可以被进一步处理。
在方块1608中，可以将高空间频率内容与一个或多个热图像混合在一起。例如，可以配置处理器1208/1408以将在方块1604得到的高空间频率内容与一个或多个热图像，诸如在方块1606中提供的处理的热图像混合在一起。
在一个实施例中，通过使高空间频率内容叠加到热图像上，其中高空间频率内容会代替或改写对应于存在高空间频率内容的热图像的那些位置，可以将高空间频率内容与热图像混合在一起。例如，高空间频率内容可以包括场景1230/1430图像中描述的目标边缘，但不可以存在于这种目标的内部的范围内。在这种实施例中，混合的图像数据可以简单包括如方块1610所述的随后可被编码成组合图像的一个或多个部分的高空间频率内容。
例如，热图像的辐射部分可以是热图像的色度部分，且高空间频率内容可以从可见光图像的亮度和/或色度分量中得到。在该实施例中，组合图像可以包括编码成组合图像的色度分量的辐射分量(例如，热图像的色度部分)和直接编码成组合图像的亮度分量的高空间频率内容(例如，作为混合的图像数据但没有热图像分布)。这样一来，热图像的辐射分量的辐射校准可以被保留。在类似的实施例中，混合图像数据可以包括附加热图像的亮度分量的高空间频率内容，和编码成最终的组合图像的亮度分量的最终的混合数据。
在其它实施例中，高空间频率内容可以从一个或连续的可见光和/或热图像的一个或多个特定分量中得到，且高空间频率内容可以被编码成对应的组合图像的一个或多个分量。例如，高空间频率内容可以从可见光谱图像的亮度分量中获得，且在该实施例中属于所有亮度图像数据的高空间频率内容都可以被编码成组合图像的亮度分量。
在另一实施例中，使用混合参数和算法等式可以将高空间频率内容与热图像混合在一起。例如，在一个实施例中，高空间频率内容可以从可见光图像的亮度分量中得到。在该实施例中，根据混合参数和混合等式可以将高空间频率内容与对应的热图像的亮度分量混合在一起以产生混合的图像数据。混合的图像数据可被编码成组合图像的亮度分量，例如，热图像的色度分量可被编码成组合图像的色度分量。在红外图像的辐射部分可以为其色度部分的实施例中，组合图像可以保留热图像的辐射校正。在其它实施例中，可以将辐射分量的一些部分与高空间频率内容混合在一起，然后将其编码为组合图像。
更普遍地，高空间频率内容可以从可见光图像和/或热图像的一个或多个分量中得到。在该实施例中，可以将高空间频率内容与热图像的一个或多个分量混合在一起以产生混合的图像数据(例如，使用混合参数和混合等式)，最终的组合图像可以包括编码成对应的组合图像的一个或多个分量的混合的图像数据。在一些实施例中，混合数据的一个或多个分量不必对应于组合图像的最终的一个或多个分量(例如，可以执行作为编码过程的一部分的色彩空间/格式转换)。
混合参数值可由用户选择(例如，经由控制面板1217/1417)，或者根据背景或其它数据，例如或者根据婴儿监测系统1200/1400所需的图像增强水平，可以由处理器1208/1408自动确定。在一些实施例中，例如在通过显示器显示组合图像时，可以使用控制面板1217/1417的旋钮调整或改善混合参数。在一些实施例中，可以选择混合参数以使混合的图像数据只包括热特征、或可选择地只包括可见光特征。还可以限制混合图像的范围，例如，以免产生与特定色彩空间/格式或显示器的动态范围有关的出界的混合图像。
除了或者作为替代物的上述处理之外，根据高对比模式的处理可以包括作为在本文先前引用的美国专利申请No.13/437,695中公开的一个或多个处理步骤，处理步骤的顺序、算术组合和/或混合参数的调整。可以使用下面的等式以用来自高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的分量Y、Cr和Cb。
hp_y_vis＝高通(y_vis)
(y_ir,cr_ir,cb_ir)＝彩色的(低通(ir_信号_线性))
在上面的等式中，高通(y_vis)可以是从高通滤波可见光图像的亮度分量得到的高空间频率内容。彩色的(低通(ir_信号_线性))可以是低通滤波热图像之后热图像的最终的亮度和色度分量。在一些实施例中，热图像可以包括选择为0.5倍的最大亮度(例如，显示和/或处理步骤的)的亮度分量。在相关的实施例中，热像图的辐射分量可以是热图像的色度分量。在一些实施例中，使用上述的标记法，可以去掉热图像的y_ir分量且组合图像的分量可以是(y_vis,cr_ir,cb_ir)。
在另一实施例中，可以使用下面的等式以用来自高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的分量Y、Cr和Cb。
comb_y＝y_ir+alpha×hp_y_vis
comb_cr＝cr_ir
comb_cb＝cb_ir
因此alpha的变化给用户提供了判定组合图像中需要多少对比的机会。由于alpha接近于零，所以将示出单独的热图像，然而由于alpha非常高，所以在组合图像中可以看到非常清晰的轮廓/边缘。理论上，alpha可以是无限大的数，但在实践中限制可能将是必须的，以限制alpha的大小使其接近于使当前应用便利的大小。
一旦将高空间频率内容与一个或多个热图像混合在一起，处理就可以进行到方块1610，其中为了形成组合图像，混合数据可被编码成组合图像的分量。
在方块1610中，混合数据可被编码成组合图像的一个或多个分量。例如，可以配置处理器1208/1408以将根据方块1608得到或产生的混合数据编码成组合图像，组合图像会增加、改善或以其它方式增强或者由可见光或者由热图像传输的它们自己能看见的信息。在一些实施例中，将混合数据编码成组合图像的分量可以包括附加的图像处理操作，例如，作为实例的动态范围调整、标准化、增益和偏差操作、降噪和色彩空间转换。
另外，可以配置处理器1208/1408以将其它图像数据编码成组合图像。例如，如果混合图像数据被编码成组合图像的亮度分量，可以将或者可见光图像或热图像的色度分量编码成组合图像的色度分量。经由用户的输入例如或者基于背景或其它数据可自动确定，可以做出源图像的选择。更普遍地，在一些实施例中，未用混合数据编码的组合图像的分量可以用对应的可见光图像或热图像的分量来编码。这样一来，在最终的组合图像中可以保留热图像的辐射校准和/或可见光图像的色彩空间校正。
返回图15，在方块1508中，随后可以利用根据过程1600的一个或多个实施例得到的组合图像以产生具有比使用单独热图像产生的对比度和/或细节更高的用户可视图像。
在方块1510中，可以将产生的包括用户可视图像的监测信息呈现给用户。例如，某些或所有监测信息可以作为文本描述、图表和/或符号显示在显示器(例如，显示器1212/1412)上，如显示器1412的屏幕截图实例所示。在一些实施例中，可以附加地或可选择地以声音的形式呈现某些监测信息。例如，通过发声警报器和/或使用用于产生声音的扩音器、铃、汽笛、钟和/或其它部件传送计算机生成的或预先录制的语音公告，可以向用户通知各种警报。在一些实施例中，可以使用各种光和指示器来呈现某些或所有监测信息。例如，可以使用被隔离的LED指示器表示温度信息，可以用闪光表示各种警告。
在一个实施例中，产生的监测信息经由使用适当的网络协议和接口的无线或有线连接(例如，经由通信模块1214/1414)，可以从处理器传输到位于远程的显示监测信息的显示器或外部装置。在一个实施例中，为了与外部装置进行数据交换，使用适当的应用层协议(例如，简单对像访问协议(SOAP)和超文本传输协议(HTTP))或者专有数据交换格式，可以转换、包裹、构建或以其它方式编排产生的监测信息。
因此，过程1500可以有利地提供与婴儿有关的各种状态的非接触式的(例如，没有在身体上放置传感器贴片或在床垫上放置传感器垫)且主动的(例如，自动检测)监测，使用户在远程位置和/或外部装置能够方便地看到监测信息。即使当场景接收小的或没有照明时，过程1500也可以有利地提供包括婴儿的至少局部视图的场景的用户可视图像。
虽然已描述了各种图像处理技术(例如，尤其关于图15和16)，但是可以使用本文中引用的任何专利应用中阐述的各种处理技术的任何一种。例如，在一些实施例中，根据在美国专利申请61/473,207，61/746,069，61/746,074，61/792,582，61/793,952，12/766,739，13/105,765或13/437,645，或国际专利申请PCT/EP2011/056432或适当的其它申请中阐述的任何技术，可以混合或以其它方式组合可视图像和/或热图像。
应用时，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。而且应用时，在不偏离本公开的精神的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。应用时，在不偏离本公开的精神的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分离成包括软件、硬件或两者的子部件。另外，应用时，可以预见的是，软件部件可以被实现为硬件部件，反之亦然。
根据本公开的软件，诸如非持续性指令、程序编码和/或数据可以被存储在一个或多个非持续性机器可读介质上。还可以预见的是，本文中确定的软件可以使用网络式和/或其它方式的一个或多个通用或专用计算机和/或计算机系统来实现。应用时，本文中描述的各种步骤的顺序可以被改变、组合成复合步骤，和/或被分离成子步骤以提供本文中描述的特征。
上述实施例示例但不限制该发明。还应该理解，根据该发明的原则可以进行许多修改和变更。因此，本发明的范围仅用随附的权利要求来限定。

Claims (24)

1.一种监测系统，包括：
红外成像模块，其包括配置成捕获红外成像模块的视野(FOV)内的场景的热图像的焦平面阵列(FPA)；
外壳，其基本上封闭红外成像模块并且配置成经定位以使婴儿的至少一部分位于FOV内；和
与红外成像模块通信的处理器，该处理器被配置成：
检测热图像中成像在婴儿的口鼻区域中或口鼻区域附近的CO2气体；
至少基于检测到的CO2气体确定婴儿是否呼吸正常；以及
产生与婴儿有关的监测信息，该监测信息包括在确定婴儿呼吸不正常后产生的警报。
2.根据权利要求1所述的监测系统，其中该外壳还封闭处理器，该监测系统还包括：
配置成通过网络向外部装置传输监测信息的通信模块。
3.根据权利要求1所述的监测系统，其中远离红外成像模块和外壳布置处理器。
4.根据权利要求1所述的监测系统，其中：
该处理器被配置为：分析热图像以从场景中检测和跟踪婴儿的面部区域。
5.根据权利要求1所述的监测系统，其中红外成像模块包括光学滤波器，该光学滤波器被配置为使CO2气体的吸收/发射光谱中的红外辐射通过。
6.根据权利要求1所述的监测系统，其中：
该处理器被配置为：
分析热图像以确定婴儿的体温，
确定婴儿的体温是否正常，和
在确定婴儿的体温异常后产生警报；并且
该监测信息包括婴儿的体温和/或警报。
7.根据权利要求1所述的监测系统，其中：
该处理器被配置为：
分析热图像以确定婴儿的姿势，
确定婴儿的姿势是否是用户选择的姿势中的一种，和
在确定该姿势与用户选择的姿势中的一种相匹配后产生警报；并且
该监测信息包括婴儿的姿势和/或警报。
8.根据权利要求1所述的监测系统，其中：
该处理器被配置为：
分析热图像以从场景中检测婴儿，和
如果在热图像中未检测到婴儿或如果在用户限定的区域中未检测到婴儿则产生警报；并且
该监测信息包括警报。
9.根据权利要求1所述的监测系统，其中：
该处理器被配置为：
分析热图像以检测婴儿的口鼻区域中的外来物质的存在，和
如果在口鼻区域中检测到外来物质则产生警报；并且
该监测信息包括警报。
10.根据权利要求1所述的监测系统，其中：
该处理器被配置为使用热图像产生场景的用户可视图像；并且
该监测信息包括用户可视图像。
11.根据权利要求10所述的监测系统，还包括可见光摄像机，该可见光摄像机的FOV至少部分重叠红外成像模块的FOV，该可见光摄像机被配置为捕获场景的至少一部分的可见光图像，其中该处理器被配置为：
从可见光图像的至少一个中得到高空间频率内容；和
通过将高空间频率内容附加到热图像以改善用户可视图像中的对比度和边缘细节而产生用户可视图像。
12.根据权利要求1所述的监测系统，其中：
该热图像是场景的未被模糊的热图像；
该红外成像模块还被配置为捕获场景的有意模糊的热图像；和
该处理器被配置为基于有意模糊的热图像确定多个非均匀性校正(NUC)项并将该NUC项应用于未被模糊的热图像以去除未被模糊的热图像的噪声。
13.一种监测方法，包括：
在红外成像模块的焦平面阵列(FPA)处捕获红外成像模块的视野(FOV)内的场景的热图像，其中该红外成像模块定位成使婴儿的至少一部分处于红外成像模块的FOV内；和
检测热图像中成像在婴儿的口鼻区域中或口鼻区域附近的CO2气体；
至少基于检测到的CO2确定婴儿是否呼吸正常；以及
产生与婴儿有关的监测信息，该监测信息包括在确定婴儿呼吸不正常后产生的警报。
14.根据权利要求13所述的监测方法，还包括将监测信息通过网络传输到外部装置。
15.根据权利要求13所述的监测方法，其中通过远离红外成像模块布置的处理器产生监测信息。
16.根据权利要求13所述的监测方法，还包括从场景中检测和跟踪婴儿的面部区域。
17.根据权利要求13所述的监测方法，还包括使用光学元件将来自场景的红外辐射引导到FPA，该光学元件包括配置为使CO2气体的吸收/发射光谱中的红外辐射通过的滤波器。
18.根据权利要求13所述的监测方法，还包括：
通过分析热图像确定婴儿的体温；
确定婴儿的体温是否正常；和
在确定婴儿的体温异常后产生警报。
19.根据权利要求13所述的监测方法，还包括：
通过分析热图像确定婴儿的姿势；
确定婴儿的姿势是否是用户选择的姿势中的一种；和
在确定该姿势与用户选择的姿势中的一种相匹配后产生警报。
20.根据权利要求13所述的监测方法，还包括：
通过分析热图像从场景中检测婴儿；和
如果在场景中未检测到婴儿或如果在用户限定的区域中未检测到婴儿则产生警报。
21.根据权利要求13所述的监测方法，还包括：
通过分析热图像检测婴儿的口鼻区域中的外来物质的存在；和
如果在口鼻区域中检测到外来物质则产生警报。
22.根据权利要求13所述的监测方法，还包括使用热图像产生场景的用户可视图像，其中该监测信息包括用户可视图像。
23.根据权利要求22所述的监测方法，还包括使用可见光摄像机捕获场景的至少一部分的可见光图像，其中，该可见光摄像机的FOV至少部分重叠红外成像模块的FOV，其中产生用户可视图像包括：
从可见光图像的至少一个中得到高空间频率内容；和
将高空间频率内容附加到热图像以改善用户可视图像中的对比度和边缘细节。
24.根据权利要求13所述的监测方法，其中热图像是未被模糊的热图像，该方法进一步包括：
捕获场景的有意模糊的热图像；
基于有意模糊的热图像确定多个非均匀性校正(NUC)项；和
将该NUC项应用于未被模糊的热图像以去除未被模糊的热图像的噪声。
CN201380047256.1A 2012-07-12 2013-07-12 使用热成像的婴儿监测系统及方法 Expired - Fee Related CN104684465B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201261670824P 2012-07-12 2012-07-12
US61/670,824 2012-07-12
US201261746069P 2012-12-26 2012-12-26
US201261746074P 2012-12-26 2012-12-26
US61/746,069 2012-12-26
US61/746,074 2012-12-26
US201261748018P 2012-12-31 2012-12-31
US61/748,018 2012-12-31
US201361792582P 2013-03-15 2013-03-15
US201361793952P 2013-03-15 2013-03-15
US61/792,582 2013-03-15
US61/793,952 2013-03-15
PCT/US2013/050393 WO2014012070A1 (en) 2012-07-12 2013-07-12 Infant monitoring systems and methods using thermal imaging

Publications (2)

Publication Number Publication Date
CN104684465A CN104684465A (zh) 2015-06-03
CN104684465B true CN104684465B (zh) 2017-07-07

Family

ID=48857017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047256.1A Expired - Fee Related CN104684465B (zh) 2012-07-12 2013-07-12 使用热成像的婴儿监测系统及方法

Country Status (2)

Country Link
CN (1) CN104684465B (zh)
WO (1) WO2014012070A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708550B2 (en) 2014-04-08 2020-07-07 Udisense Inc. Monitoring camera and mount
EP3164990B1 (en) * 2014-04-08 2020-03-04 UdiSense Inc. Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis
CN106413545B (zh) * 2014-05-13 2019-07-05 欧姆龙株式会社 姿势估计装置、姿势估计系统和姿势估计方法
US10602082B2 (en) 2014-09-17 2020-03-24 Fluke Corporation Triggered operation and/or recording of test and measurement or imaging tools
US10271020B2 (en) 2014-10-24 2019-04-23 Fluke Corporation Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection
EP3029600A1 (en) * 2014-12-01 2016-06-08 Axis AB Thermal image object detection
CN104486562B (zh) * 2014-12-26 2017-11-24 昆明物理研究所 基于固定积分时间的嵌入式红外图像超帧处理方法
WO2016108225A1 (en) * 2014-12-31 2016-07-07 Parenting Science Ltd Systems and methods of monitoring and encouraging exercise in infants
WO2016116307A1 (en) 2015-01-19 2016-07-28 Koninklijke Philips N.V. Device, system and method for skin detection
CN104586401A (zh) * 2015-01-19 2015-05-06 赵树乔 一种追踪人体姿态的方法
US10530977B2 (en) 2015-09-16 2020-01-07 Fluke Corporation Systems and methods for placing an imaging tool in a test and measurement tool
WO2017070629A1 (en) 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
CN105389943B (zh) * 2015-11-18 2017-10-13 上海斐讯数据通信技术有限公司 防止跌落的安全装置、安全监控系统及方法
JP6763719B2 (ja) * 2015-12-07 2020-09-30 パナソニック株式会社 生体情報測定装置、生体情報測定方法及びプログラム
US10912516B2 (en) 2015-12-07 2021-02-09 Panasonic Corporation Living body information measurement device, living body information measurement method, and storage medium storing program
CN105539217A (zh) * 2016-02-03 2016-05-04 成都欧贝乐商贸有限公司 一种用于记录儿童健康数据的儿童安全座椅
WO2017132931A1 (zh) * 2016-02-04 2017-08-10 武克易 具有看护功能的物联网智能设备
CN105551189A (zh) * 2016-02-04 2016-05-04 武克易 物联网设备智能看护方法
CN105551188A (zh) * 2016-02-04 2016-05-04 武克易 具有看护功能的物联网智能设备实现方法
CN105554477A (zh) * 2016-02-04 2016-05-04 武克易 物联网智能拍摄系统
CN105554476A (zh) * 2016-02-04 2016-05-04 武克易 具有看护功能的物联网智能设备
USD854074S1 (en) 2016-05-10 2019-07-16 Udisense Inc. Wall-assisted floor-mount for a monitoring camera
CN105769471B (zh) * 2016-05-24 2018-02-27 窦翠云 一种血液科一体式护理床
CN106037681A (zh) * 2016-06-30 2016-10-26 宁德师范学院 一种提高生活质量的床
US10539268B2 (en) 2016-07-13 2020-01-21 Chigru Innovations (OPC) Private Limited Oscillation systems
US10357117B2 (en) 2016-07-13 2019-07-23 Chigru Innovations (OPC) Private Limited Rocking cradle
US10447972B2 (en) 2016-07-28 2019-10-15 Chigru Innovations (OPC) Private Limited Infant monitoring system
GB2569936B (en) * 2016-10-14 2021-12-01 Facense Ltd Calculating respiratory parameters from thermal measurements
CN106781380A (zh) * 2016-12-13 2017-05-31 安徽乐年健康养老产业有限公司 一种红外智能语音看护系统
CN106725358A (zh) * 2016-12-29 2017-05-31 杭州博博科技有限公司 一种病房体温测量数据采集系统
CN106919806A (zh) * 2017-04-27 2017-07-04 刘斌 一种人体监测方法、装置以及系统及计算机可读存储设备
CN107592335A (zh) * 2017-07-25 2018-01-16 深圳市盛路物联通讯技术有限公司 一种活动区域管理方法及物联网服务器
GB2565279B (en) * 2017-08-01 2020-02-12 Jaguar Land Rover Ltd Image processor and method for image processing
USD855684S1 (en) 2017-08-06 2019-08-06 Udisense Inc. Wall mount for a monitoring camera
TWI637352B (zh) * 2017-08-23 2018-10-01 緯創資通股份有限公司 影像處理裝置和方法
CN107647854A (zh) * 2017-10-19 2018-02-02 宋彦震 基于物联网的人体信息采集终端
CN107679518A (zh) * 2017-10-27 2018-02-09 深圳极视角科技有限公司 一种检测系统
CN107944346B (zh) * 2017-11-02 2020-07-03 歌尔股份有限公司 基于图像处理的异常情况监测方法及监测设备
CN111372516A (zh) 2017-11-22 2020-07-03 乌迪森斯公司 呼吸监控器
CN108652625B (zh) * 2018-02-05 2021-07-16 苏州朗润医疗系统有限公司 一种用于保障磁共振扫描安全的图像识别方法及系统
WO2019191146A1 (en) * 2018-03-27 2019-10-03 Flir Systems, Inc. People counting and tracking systems and methods
CN108852362A (zh) * 2018-03-29 2018-11-23 广东美的制冷设备有限公司 睡眠状态的检测方法、装置、空调器及可读存储介质
CN108682112A (zh) * 2018-05-15 2018-10-19 京东方科技集团股份有限公司 一种婴幼儿监护装置、终端、系统、方法和存储介质
AU2018423679B2 (en) 2018-05-18 2022-07-14 Essity Hygiene And Health Aktiebolag Presence and absence detection
CN109091303A (zh) * 2018-05-24 2018-12-28 何泽熹 智能监护系统
GB2571147B (en) * 2018-06-13 2020-03-25 Braintrain2020 Ltd Apparatus for sensing
CN108600706B (zh) * 2018-06-15 2023-12-15 云南电网有限责任公司文山供电局 手持式测温仪扩展无人远程监控系统及监控方法
CN109211409A (zh) * 2018-09-27 2019-01-15 中国医学科学院北京协和医院 病床监测系统
CN110974186B (zh) * 2018-10-02 2022-08-30 希尔-罗姆服务公司 用于确定目标区域温度变化的温度监测系统和方法
USD900430S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket
USD900431S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket with decorative pattern
USD900429S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band with decorative pattern
USD900428S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band
CN109907739B (zh) * 2019-03-21 2021-07-30 苏州浪潮智能科技有限公司 一种基于图像识别的睡眠时患感冒的告警方法与系统
CN111507290A (zh) * 2019-05-28 2020-08-07 小蚁科技（香港）有限公司 受抚者监视和看护系统
CN110338769A (zh) * 2019-06-18 2019-10-18 秒针信息技术有限公司 告警处理方法、装置、存储介质及电子装置
CN110633710B (zh) * 2019-09-09 2022-04-15 重庆大直科技有限公司 一种生猪疾病预警系统
CN111272293A (zh) * 2019-12-31 2020-06-12 扬州海通电子科技有限公司 一种热分布监控系统及其检测方法
GB2593435A (en) * 2020-02-11 2021-09-29 Breatheox Ltd Respiratory monitoring device
CN111507268B (zh) * 2020-04-17 2024-02-20 浙江华感科技有限公司 报警方法及装置、存储介质和电子装置
CN113645435A (zh) * 2020-04-27 2021-11-12 财团法人工业技术研究院 影像监控装置与方法
TWI721885B (zh) 2020-05-14 2021-03-11 雲云科技股份有限公司 具熱感應輔助之光影像生理監視系統
CN111696684A (zh) * 2020-06-12 2020-09-22 南通沪联智慧医疗科技有限公司 一种智能测温物联网大数据预警平台的方法
IL275524B (en) 2020-06-18 2021-12-01 Elbit Systems C4I And Cyber Ltd System and method for measuring parameters without contact
CN111772633B (zh) * 2020-07-16 2023-06-23 韩锋 一种遥感呼吸功能监护装置及方法
CN112057074A (zh) * 2020-07-21 2020-12-11 北京迈格威科技有限公司 呼吸速率测量方法、装置、电子设备及计算机存储介质
RU2737138C1 (ru) * 2020-08-19 2020-11-25 ООО "Ай Ти Ви групп" Система и способ контроля температуры тела людей по видеоданным
TWI755907B (zh) * 2020-10-23 2022-02-21 正修學校財團法人正修科技大學 人臉影像真偽辨識系統及其方法
US11669962B2 (en) 2020-10-26 2023-06-06 Covidien Lp Temperature monitoring with a thermal camera
CN114732246B (zh) * 2022-03-30 2024-02-06 浙江梦神家居股份有限公司 一种智能床垫软硬度调节方法、系统、存储介质及智能终端
CN115191781B (zh) * 2022-07-28 2023-07-21 慕思健康睡眠股份有限公司 一种基于智能床垫的画面抓取方法及相关产品
CN115381440B (zh) * 2022-09-30 2023-05-23 广东工业大学 一种床边跌倒检测方法
CN117373110A (zh) * 2023-08-30 2024-01-09 武汉星巡智能科技有限公司 可见光-热红外成像的婴幼儿行为识别方法、装置及设备
CN117690159B (zh) * 2023-12-07 2024-06-11 武汉星巡智能科技有限公司 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备
CN118097512A (zh) * 2024-03-13 2024-05-28 武汉星巡智能科技有限公司 共眠场景下婴幼儿和成人识别方法、装置、设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3390802B2 (ja) * 1995-03-28 2003-03-31 日本光電工業株式会社 呼吸モニタ
US6028309A (en) 1997-02-11 2000-02-22 Indigo Systems Corporation Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array
US5903659A (en) * 1997-04-17 1999-05-11 Raytheon Company Adaptive non-uniformity compensation algorithm
EP1356418A4 (en) * 2000-12-15 2005-09-28 Omnicorder Technologies Inc METHOD AND DEVICE FOR MEASURING PHYSIOLOGY BY INFRARED DETECTOR
US6812465B2 (en) 2002-02-27 2004-11-02 Indigo Systems Corporation Microbolometer focal plane array methods and circuitry
US7034301B2 (en) 2002-02-27 2006-04-25 Indigo Systems Corporation Microbolometer focal plane array systems and methods
US7422365B2 (en) * 2003-04-25 2008-09-09 Land Instruments International Limited Thermal imaging system and method
US7470902B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera electronic architectures
US7470904B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera packaging
US8463006B2 (en) * 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
US7679048B1 (en) 2008-04-18 2010-03-16 Flir Systems, Inc. Systems and methods for selecting microbolometers within microbolometer focal plane arrays
KR101898897B1 (ko) * 2010-06-04 2018-09-14 테크니메드 에스.알.엘. 환자의 내부 체온을 측정하기 위한 방법 및 디바이스
US8786698B2 (en) * 2010-09-23 2014-07-22 Sony Computer Entertainment Inc. Blow tracking user interface system and method
US8907287B2 (en) * 2010-12-01 2014-12-09 Hill-Rom Services, Inc. Patient monitoring system
WO2018227003A1 (en) 2017-06-08 2018-12-13 Superior Energy Services, Llc Deep set safety valve

Also Published As

Publication number Publication date
WO2014012070A1 (en) 2014-01-16
CN104684465A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104684465B (zh) 使用热成像的婴儿监测系统及方法
US9843743B2 (en) Infant monitoring systems and methods using thermal imaging
US10900943B2 (en) Method, apparatus and system for food intake and physical activity assessment
US9504426B2 (en) Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video
JP6110396B2 (ja) 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体
Gade et al. Thermal cameras and applications: a survey
Van Gastel et al. Motion robust remote-PPG in infrared
US20160156880A1 (en) Durable compact multisensor observation devices
EP2384420B1 (en) Method and apparatus for monitoring an object
US9813643B2 (en) Thermal recognition systems and methods
CN205449295U (zh) 装置附件
CN204615945U (zh) 可穿戴装置
US9655554B2 (en) Device and method for monitoring movement and orientation of the device
EP3247261A1 (en) Device, system and method for skin detection
CN106464844A (zh) 用于配置婴儿监控器摄像机以提供用于分析的统一数据集的系统和方法
CN103975577A (zh) 智能监视摄像机系统及方法
He et al. IR night vision video-based estimation of heart and respiration rates
US20150051461A1 (en) System and method for performing a remote medical diagnosis
CN103907342B (zh) 利用阻隔红外传感器确定绝对辐射值的方法和装置
US20210304584A1 (en) Rapid thermal dynamic image capture devices with increased recognition and monitoring capacity
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
van Gastel et al. Near-continuous non-contact cardiac pulse monitoring in a neonatal intensive care unit in near darkness
CN205080731U (zh) 用于遥控交通工具的系统
CN106033636A (zh) 一种火灾监控方法及系统
Ruminski et al. Estimation of respiration rate using an accelerometer and thermal camera in eGlasses

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170707