CN205157051U - 红外传感器组件 - Google Patents

红外传感器组件 Download PDF

Info

Publication number
CN205157051U
CN205157051U CN201390001074.6U CN201390001074U CN205157051U CN 205157051 U CN205157051 U CN 205157051U CN 201390001074 U CN201390001074 U CN 201390001074U CN 205157051 U CN205157051 U CN 205157051U
Authority
CN
China
Prior art keywords
infrared
infrared sensor
sensor
radiation
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN201390001074.6U
Other languages
English (en)
Inventor
A·C·泰希
W·A·特雷
P·布朗热
J·D·弗兰克
J·H·迪斯特尔茨威格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Application granted granted Critical
Publication of CN205157051U publication Critical patent/CN205157051U/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0846Optical arrangements having multiple detectors for performing different types of detection, e.g. using radiometry and reflectometry channels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/12Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106Arrays

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

提供了用于具有混合式红外传感器阵列的红外传感器组件的各种技术。在一个实例中,这种混合式红外传感器阵列可包括多个微测热辐射仪和非测热辐射红外传感器。非测热辐射红外传感器可以是热电堆或不同于基于测热辐射仪传感器的其它类型的红外传感器。非测热辐射红外传感器可用于提供用阵列捕获的场景对象或区域的更精确的且更稳定的温度读数。在一些实施方式中,非测热辐射红外传感器还可以用于执行,阵列的微测热辐射仪的无快门辐射校正。红外传感器组件可以包括,例如,混合式红外传感器阵列,以及包括接合垫和/或适当电路的基板,以获得和/或传输来自非测热辐射红外传感器的输出信号。

Description

红外传感器组件
相关申请的交叉引用
本申请要求2013年3月15日提出的申请号为61/790,189和2012年11月26日提出的申请号为61/730,031,题都为“HYBRIDINFRAREDSENSORARRAYHAVINGHETEROGENGOUSINFRAREDSENSORS”的美国临时申请的权益,通过引用的方式将其作为整体合并于此。
本申请要求申请号为61/748,018,申请日为2012年12月31日,题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
技术领域
本实用新型的一个或者多个实施方式通常涉及红外成像装置,更具体地,例如,涉及具有两种或两种以上异构类型的红外传感器的装置的混合式红外传感器组件。
背景技术
诸如用于便携式红外摄像机或其它装置的红外传感器阵列,通常被实现为具有形成在基板顶部上的微测热辐射仪的焦平面阵列。由于其相对小的像素尺寸和相对简单的支持读出集成电路(ROIC),这种微测热辐射仪阵列在热成像应用中正变得普遍。然而,虽然这种微测热辐射仪阵列允许以小封装和低成本的方式高分辨率热成像,但是由于其对环境温度变化的灵敏度和其相对低的温度分辨率(例如,在一种实现方式中仅精确到约±2°F),通常不能依赖它们获得精确的温度读数。
虽然其它类型的红外传感器可以提供更精确的和/或更稳定的温度确定,但这些其它类型的红外传感器通常需要更复杂的结构和支持电路,具有更大的像素尺寸,和/或以其它方式在用于热成像的传感器阵列中实施是更复杂和昂贵的。例如,热电堆红外传感器(例如,通过将一个或多个热电偶分组在一起形成的传感器元件),可以在更宽的温度范围内更稳定,且比基于测热辐射仪的传感器有更好的温度分辨率,但通常需要更复杂的读出电路和更大的像素尺寸来实现期望的灵敏度,因此不适合实现紧凑的、低成本的同时高分辨率的热成像阵列。
实用新型内容
提供了用于具有混合式红外传感器阵列的红外传感器组件的各种技术。在一个实例中,这种混合式红外传感器阵列可包括多个微测热辐射仪和提供在阵列的大致中心区域的非测热辐射红外传感器。非测热辐射红外传感器可以是热电堆或不同于基于测热辐射仪传感器的其它类型的红外传感器。非测热辐射红外传感器可用于提供由用阵列捕获的场景对象或区域的更精确的且更稳定的温度读数。在一些实施方式中,非测热辐射红外传感器还可以用于执行阵列的微测热辐射仪的无快门辐射测定校正。红外传感器组件可以包括,例如,混合式红外传感器阵列,以及包括接合垫和/或适当电路的基板,以获得和/或传输来自非测热辐射红外传感器的输出信号。
在一个实施方式中,红外传感器组件包括红外传感器阵列,该阵列包括配置成成像场景的多个微测热辐射仪,和配置成检测红外辐射的非测热辐射传感器;和耦接到阵列的基板,该基板包括配置成提供来自微测热辐射仪的、对应于捕获的场景的红外图像的信号的读出集成电路(ROIC),和配置成提供来自非测热辐射传感器的信号的输出电路。
在另一个实施方式中,所述非测热辐射传感器包括热电堆红外传感器。
在另一个实施方式中,所述热电堆红外传感器包括在两个接合点处两种不同材料接合在一起的热电偶。
在另一个实施方式中,所述微测热辐射仪为与所述两种不同材料中的一种相同的材料。
在另一个实施方式中,所述非测热辐射传感器布置在所述阵列的大致中心区域。
在另一个实施方式中,所述阵列包括一个或多个附加的非测热辐射传感器。
在另一个实施方式中,所述附加的非测热辐射传感器布置在所述阵列的一个或多个角中。
在另一个实施方式中,所述非测热辐射传感器布置在所述阵列的角中。
在另一个实施方式中,所述的红外传感器组件进一步包括配置成组合来自所述读出集成电路的信号和来自所述输出电路的信号以产生所述场景的混合红外图像数据的处理模块。
在另一个实施方式中,所述基板包括电连接到所述输出电路的、且配置成与外部电触点形成电连接以传输来自所述输出电路的信号的接合垫。
在另一个实施方式中,由所述输出电路提供的信号包括代表与所述场景相关的温度信息的信号。
在另一个实施方式中,所述温度信息包括所述场景中的点的点温度读数;以及由所述非测热辐射传感器检测的所述红外辐射对应于从所述点发射的红外辐射。
在另一个实施方式中,所述微测热辐射仪基于所述温度信息被辐射测定地校准。
在另一个实施方式中,所述一个或多个附加的非测热辐射传感器配置成检测红外辐射并且通信耦接到所述输出电路;以及由所述输出电路提供的所述信号包括代表与所述场景相关的温度信息的信号。
在另一个实施方式中,所述温度信息包括所述场景中对应的多个点的多个点温度读数;以及由所述非测热辐射传感器检测的所述红外辐射对应于从所述场景中的所述对应的多个点发射的红外辐射。
在另一个实施方式中,所述温度信息包括基于由所述非测热辐射传感器检测的所述红外辐射的平均温度。
在另一个实施方式中,所述温度信息包括基于由所述非测热辐射传感器检测的所述红外辐射的温度梯度。
在另一个实施方式中,由所述输出电路提供的所述信号包括代表与所述场景相关的温度信息;由所述读出集成电路提供的所述信号包括代表所述场景的捕获的所述红外图像的红外图像数据;所述捕获的红外图像包括对应于所述非测热辐射传感器在所述阵列中的一个位置的盲点;以及所述混合红外图像数据包括所述红外图像数据和基于所述温度信息的红外像素数据以填充所述盲点。
在另一个实施方式中,一种方法包括:在红外传感器阵列,接收来自场景的红外辐射,其中该阵列包括多个微测热辐射仪和至少一个非测热辐射传感器;通过通信耦接到微测热辐射仪的读出集成电路(ROIC),提供代表场景的红外图像的红外图像数据;和通过通信耦接到至少一个非测热辐射传感器的输出电路,提供与场景有关的温度信息,其中ROIC和输出电路都提供在基板上。
在另一个实施方式中,提供混合式红外传感器组件的方法包括:制备微测热辐射仪以形成焦平面阵列(FPA),该FPA具有没有微测热辐射仪的至少一部分;在FPA的至少一部分上制备至少一个非测热辐射传感器;提供电耦接到微测热辐射仪的读出集成电路(ROIC),以产生对应于入射在微测热辐射仪上的红外辐射的图像的输出信号;和提供电连接到至少一个非测热辐射传感器的,且配置成与外部装置形成电连接的接合垫,以传输来自至少一个非测热辐射传感器的信号。
本实用新型的范围由权利要求书限定,通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施方式的详细描述,将会向本领域技术人员提供对本实用新型实施方式的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。
附图说明
图1示出了根据本公开实施方式的、被配置为在主机装置中实现的红外成像模块。
图2示出了根据本公开实施方式的、装配后的红外成像模块。
图3示出了根据本公开实施方式的、并列的置于插座之上的红外成像模块的分解图。
图4示出了根据本公开实施方式的、包括红外传感器阵列的红外传感器组件的框图。
图5示出了根据本公开实施方式的、确定非均匀校正(NUC)项的各种操作的流程图。
图6示出了根据本公开实施方式的、相邻像素之间的差值。
图7示出了根据本公开实施方式的平场校正技术。
图8示出了根据本公开实施方式的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。
图9示出了根据本公开实施方式的时域噪声削减步骤。
图10示出了根据本公开实施方式的、图8的图像处理流水线的几个步骤的具体的实施细节。
图11示出了根据本公开实施方式的、附近像素中的空间相关的固定模式噪声(FPN)。
图12示出了根据本公开实施方式的、包括混合式传感器阵列的红外传感器组件的另一种实现的透视图。
图13示出了根据本公开实施方式的、包括混合式传感器阵列的红外传感器组件的又另一种实现的透视图。
通过参考下面的详细说明,将会更好的理解本实用新型的实施方式及其优点。应当理解的是,相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。
具体实施方式
图1示出了根据本公开实施方式的、被配置为在主机装置102中实现的红外成像模块100(例如,红外照相机或者红外成像装置)。在一个或者多个实施方式中,可根据晶圆级封装技术或者其他封装技术,实现小形状因子的红外成像模块100。
在一个实施方式中,红外成像模块100可被配置为在小型的便携式主机装置102中实现,例如,移动电话、平板电脑装置、膝上型电脑装置、个人数字助理、可见光照相机、音乐播放器或者任何其他合适的移动装置。就这方面而言,红外成像模块100可用于向主机装置102提供红外成像功能。例如,红外成像模块100可被配置为捕获、处理、和/或管理红外图像,并将该红外图像提供给主机装置102,主机装置102能够以任何期望的方式来使用该红外图像(例如,对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。
在各种实施方式中,红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如,在一个实施方式中,红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作,并且可在约-20℃到约+60℃的温度范围中工作(例如,在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施方式中,通过使红外成像模块100在低电压电平下工作,与其他类型的红外成像装置相比,红外成像模块100自身所产生的热量较少。因此,红外成像模块100在工作时,可利用简化的措施来补偿这种自身产生的热量。
如图1所示,主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言,图2示出了根据本公开实施方式的、装配在插座104中的红外成像模块100。
可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息,以检测运动。在各种实施方式中,运动传感器194可实现为主机装置102的一部分(如图1所示),也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。
处理器195可实现为任何合适的处理装置(例如,逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置),主机装置102可使用上述处理装置来执行适当的指令,例如,存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能,如可能期望的各种应用(例如,时钟、温度传感器、可见光照相机或者其他部件)。另外,机器可读介质193可用于存储非临时性指令,可将该非临时性指令加载到存储器196中并由处理器195执行。
在各种实施方式中,可大量生产红外成像模块100和插座104,以推动它们的广泛应用,例如,其可应用在移动电话或者其他装置(例如,需要小形状因子的装置)中。在一个实施方式中,当红外成像模块100安装到插座104中时,红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。
图3示出了根据本公开的实施方式的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
透镜镜筒110可至少部分的装入光学元件180(例如,透镜),通过透镜镜筒110中的孔112,所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114,其可用于使透镜镜筒110与外壳120中的孔122接触。
例如,可由安装在基板140上的帽130(例如,盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如,红外探测器)。例如,在一个实施方式中,红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如,由帽130和基板140密封)。在一个实施方式中,红外传感器组件128可实现为晶片级封装(例如,红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施方式中,红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。
红外传感器132可被配置为检测目标场景的红外辐射(例如,红外能量),所述目标场景包括:例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施方式中,可根据晶片级封装技术来提供红外传感器组件128。
红外传感器132可实现为例如微辐射热计探测器,或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施方式中,红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施方式中,可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。
基板140可包括各种电路,其中包括例如读出集成电路(ROIC),在一个实施方式中,该读出集成电路(ROIC)的尺寸比约5.5mm×5.5mm小。基板140还可包括接合焊盘142,其可用于当如图3所示的那样装配好红外成像模块100时,与放置在外壳120的内表面上的相辅相成的连接点相接触。在一个实施方式中,可利用执行电压调节的低压差稳压器(LDO)来实现ROIC,以降低引入到红外传感器组件128中的噪声,从而提供改进的电源抑制比(PSRR)。另外,通过实现具有ROIC的LDO(例如,在晶圆级封装内),可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。
图4示出了根据本公开的实施方式的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施方式中,红外传感器132作为ROIC402的单位晶格阵列的一部分。ROIC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即,热图像)提供给处理模块160、处理器195和/或任何其他合适的部件,以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列,但是任何期望的阵列配置均可用于其他实施方式中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到,通过引用的方式将其作为整体合并于此。
红外传感器阵列128可捕获图像(例如,图像帧),并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理,并且可以根据任何适当的结构来实现该处理模块160。在一个实施方式中,处理模块160可实现为ASIC。就这方面而言,这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施方式中,可利用通用中央处理单元(CPU)来实现处理模块160,所述CPU可被配置为执行适当的软件指令,以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施方式中,可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施方式中,如本领域技术人员所理解的,可利用其他类型的处理和/或逻辑电路来实现处理模块160。
在这些和其他实施方式中,处理模块160还可与其他合适的部件来实现,例如,易失性存储器、非易失性存储器和/或一个或者多个接口(例如,红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如,IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。
在一些实施方式中,红外成像模块100可进一步包括一个或者多个致动器199,其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如,致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件,以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199,并且可将致动器199放置在红外成像模块100内部或者外部的任何位置,以适应不同的应用。
当将红外成像模块100装配好后,外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如,在一个实施方式中,外壳120可提供用于连接各种部件的电连接部件126,下面将对其进行详细描述。
当将红外成像模块100装配好时,电连接部件126(例如,导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施方式中,可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示,电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时,连接部件124可与电路板170连接(例如,在各种实施方式中,外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此,红外传感器组件128可例如通过导电路径与处理模块160电连接,所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是,这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。
在各种实施方式中,可使用任何期望的材料(例如,铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施方式中,电连接部件126可有助于对红外成像模块100产生的热量进行散热。
其他连接可用于其他实施方式中。例如,在一个实施方式中,传感器组件128可通过陶瓷板连接到处理模块160,所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施方式中,传感器组件128可直接安装到刚柔性板上并与焊线电连接,并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。
本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例,而不是限制。就这方面而言,本文所描述的各种技术中的任何一个均可应用到任何红外照相机系统、红外成像器或者用于进行红外/热成像的其他装置。
红外传感器组件128的基板140可安装到基座150上。在各种实施方式中,基座150(例如,底座)可例如由通过金属注射成形(MIM)形成的铜制造,并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施方式中,基座150可由任何期望的材料制造,例如,可根据特定应用,由例如锌、铝或者镁制造,并且,基座150可通过任何期望的应用流程形成,例如,可根据特定应用,例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施方式中,基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施方式中,基座150可以是至少部分使用陶瓷材料实现的多层结构。
在各种实施方式中,电路板170可容纳外壳120,从而可在物理上支撑红外成像模块100的各种部件。在各种实施方式中,电路板170可实现为印刷电路板(例如,FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如,互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施方式中,基座150可实现为具有描述的电路板170的各种功能和属性,反之亦然。
插座104可包括被配置为容纳红外成像模块100(例如,如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件,所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104,或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107,其可在当红外成像模块100插入到插座104的腔体106中时,接合外壳120的表面109。其他类型的接合部件可用于其他实施方式中。
红外成像模块100可通过适当的电连接部件(例如,触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如,插座104可包括电连接部件108,其可与红外成像模块100的相应的电连接部件(例如,互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如,铜或者任何其他合适的导电材料)制造。在一个实施方式中,电连接部件108可被机械的压扁,以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施方式中,电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施方式中。
插座104可通过类似类型的电连接部件与主机102电连接。例如,在一个实施方式中,主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如,焊接连接、搭扣式连接或者其他连接)。在各种实施方式中,这种电连接部件可置于插座104的侧面和/或底部。
可通过倒装芯片技术来实现红外成像模块100的各种部件,所述倒装芯片技术可用于将部件直接安装到电路板上,而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因子应用中减少红外成像模块100的整体尺寸。例如,在一个实施方式中,可使用倒装芯片连接部件将处理模块160安装到电路板170。例如,可使用这种倒装芯片配置来实现红外成像模块100。
在各种实施方式中,可根据如申请号为12/844,124,申请日为2010年7月27日的美国专利申请和申请号为61/469,651,申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如,圆晶级封装技术),来实现红外成像模块100和/或相关的部件,通过引用的方式将其作为整体合并于此。另外,根据一个或者多个实施方式,可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件,所述文献例如为:如公开号为7,470,902、公开日为2008年12月30日的美国专利,公开号为6,028,309、公开日为2000年2月22日的美国专利,公开号为6,812,465、公开日为2004年11月2日的美国专利,公开号为7,034,301、公开日为2006年4月25日的美国专利,公开号为7,679,048、公开日为2010年3月16日的美国专利,公开号为7,470,904、公开日为2008年12月30日的美国专利,申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请,通过引用的方式将上述文献作为整体合并于此。
如所述的,在一些实施方式中,主机装置102可包括其它部件198,诸如非热摄像机(例如,可见光摄像机)。非热摄像机可以是小形状因子成像模块或成像装置,且可以以类似的方式被实现为本文公开的,但具有响应非热频谱的辐射(例如,可见光波长、紫外线波长或其它非热波长的辐射)的一个或多个传感器的、红外成像模块100的各种实施方式。例如,在一些实施方式中,非热摄像机可用电荷耦合装置(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器或其它传感器实现。
在一些实施方式中,可将非热摄像机与红外成像模块100并置在一起,并定位其方向以使非热摄像机的视野(FOV)与红外成像模块100的FOV至少部分重叠。在一个实例中,根据通过引用的方式并入本文的申请号为61/748,018的美国临时专利申请中描述的各种技术,红外成像模块100和非热摄像机可被实现为共用公共基板的双传感器模块。
对于具有这种非热光摄像机的主机装置102的实施方式,根据全部的通过引用的方式并入本文的、例如申请号为61/473,207、12/766,739、13/105,765或13/437,645的美国专利、或者申请号为PCT/EP2011/056432的国际专利所记载的各种技术,各种部件(例如,处理器195、处理模块160和/或其它处理部件)可配置成叠加、融合、混合或以其它方式组合由红外成像模块100捕获的红外图像(例如,包括热图像)和由非热摄像机捕获的非热图像(例如,包括可见光图像)。
再次参考图1,在各种实施方式中,主机装置102可包括快门105。就这方面而言,可在红外成像模块100安装在插座中时,将快门105选择性的放置在插座104上(例如,如箭头103所确定的方向)。就这方面而言,快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考,如本领域技术人员所应当理解的,所述温度参考作为红外成像模块100的校正过程(例如,非均匀性校正(NUC)过程或者其他校正过程)的一部分。
在各种实施方式中,快门105可由各种材料制造,例如,聚合物、玻璃、铝(例如,涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施方式中,快门105可包括一个或者多个涂层(例如,均匀的黑体涂层或者反射性的镀金涂层),其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。
在另一个实施方式中,可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下,快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如,聚合物,或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的,在另一个实施方式中,快门可实现为红外成像模块100的一部分(例如,在透镜镜筒或者红外成像模块100的其他部件内,或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。
可选的,在另一个实施方式中,无需提供快门(例如,快门105或者其他类型的外部或者内部快门),而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施方式中,使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。
可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102,所述文献为:申请号为61/495,873,申请日为2011年6月10日的美国临时专利申请;申请号为61/495,879,申请日为2011年6月10日的美国临时专利申请;以及申请号为61/495,888,申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。
在各种实施方式中,主机装置102和/或红外成像模块100的部件可实现为本地系统,或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此,可根据特定实施的需要,通过本地和/或远程部件来执行本公开所提及的各种操作。
图5示出了根据本公开实施方式的、确定NUC项的各种操作的流程图。在一些实施方式中,可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。
在块505,红外传感器132开始捕获场景的图像帧。通常,场景将会是主机装置102当前处于的真实环境。就这方面而言,快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间,红外传感器132可连续地捕获图像帧。就这方面而言,连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施方式中,可对捕获的图像帧进行时域滤波(例如,根据块826的步骤对捕获的图像帧进行时域滤波,本文将根据图8对其进一步描述),并且在所述图像帧被用于图5所示的操作之前,由其他项(例如,工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824,本文将根据图8对其做进一步描述)对它们进行处理。
在块510,检测到NUC步骤的启动事件。在一个实施方式中,NUC步骤可响应于主机装置102的物理移动而启动。例如,可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中,用于可能会以特定的方式来移动主机装置102,例如,通过有意的来回移动主机装置102,使主机装置102做“消除”或者“重击”运动。就这方面而言,用户可根据预定的速率和方向(速度),例如,通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中,这种移动的使用可允许用户直观的操作主机装置102,以模拟对捕获的图像帧的噪声“消除”。
在另一个例子中,如果检测到运动超过阈值(例如,运动超过了期望的正常使用),则可由主机装置102来启动NUC步骤。可以预期的是,主机装置102的任何期望的类型的空间移位均可用于启动NUC步骤。
在另一个例子中,如果自从先前执行的NUC步骤以来,已经过去了最小时间,则可由主机装置102启动NUC步骤。在另一个例子中,如果自从先前执行的NUC步骤以来,红外成像模块100已经经历了最小的温度改变,则可由主机装置102启动NUC步骤。在另外的例子中,可连续地启动并重复NUC步骤。
在块515,检测到NUC步骤启动事件之后,确定是否应该真正地执行NUC步骤。就这方面而言,可基于一个或者多个附加条件是否满足,来选择性地启动NUC步骤。例如,在一个实施方式中,除非自从先前执行的NUC步骤以来,已经过去了最小时间,否则不会执行NUC步骤。在另一个实施方式中,除非自从先前执行的NUC步骤以来,红外成像模块100已经经历了最小的温度变化,否则不会执行NUC步骤。其他标准或者条件可用于其他实施方式中。如果已经满足合适的标准或者条件,流程图就会继续到块520。否则,流程图返回到块505。
在NUC步骤中,模糊图像帧可用于确定NUC项,所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的,在一个实施方式中,可通过累加运动场景的多个图像帧(例如,当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施方式中,可通过使热成像仪的光学元件或者其他部件散焦,来获得模糊图像帧。
因此,块520提供了两种方法的选择。如果使用基于运动的方法,则流程图继续到块525。如果使用基于散焦的方法,则流程图继续到块530。
现在参考基于运动的方法,在块525,检测到运动。例如,在一个实施方式中,可基于红外传感器132捕获的图像帧检测运动。就这方面而言,合适的运动检测步骤(例如,图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧,以确定是否存在运动(例如,是否已经捕获到静态的或者运动的图像帧)。例如,在一个实施方式中,能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如,百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量,则可以非常肯定的检测到运动,从而流程图转到块535。
在另一个实施方式中,可以在每个像素的基础上确定运动,其中,只累加那些显示出明显变化的像素,以提供模糊图像帧。例如,可以为每个像素设置计数器,所述计数器用于保证每个像素累加的像素值的数量相同,或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测,例如,执行拉东(Radon)变换。
在另一个实施方式中,可基于运动传感器194提供的数据来检测运动。在一个实施方式中,这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如,如果主机装置102正沿着相对笔直的轨迹移动,那么下述情况是可能的:出现在成像后的场景中的某些对象可能不够模糊(例如,场景中的对象与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此,在该实施方式中,只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时,运动传感器194才能检测到运动。
在又另一个实施方式中,可使用运动检测步骤和运动传感器194二者。因此,使用这些各种实施方式中任意一个,能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如,这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起),是否捕获到每个图像帧。
可以预期的是,检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如,与场景相关的模糊的热图像数据),所述次级模糊是由于红外传感器132的热时间常数(例如,微辐射热时间常数)与场景移动交互而引起的。
在块535,对检测到运动的图像帧进行累加。例如,如果检测到连续的一系列图像帧的运动,则可对系列图像帧进行累加。做为另外一个例子,如果只检测到某些图像帧的运动,则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此,可基于检测到的运动,选择连续的或者不连续的一系列图像帧进行累加。
在块540,对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的,所以我们期望图像帧之间实际的场景信息将会不同,从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。
与此相反,在运动期间,在至少短时间内以及场景辐射的至少有限变化时,FPN(例如,由红外成像模块100的一个或者多个部件引起的)保持不变。结果是,在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此,尽管连续图像帧中的场景信息可能会改变,但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均,所述多个图像帧将会模糊场景信息,但是不会模糊FPN。结果是,与场景信息相比,FPN将在块545提供的模糊图像帧中保持的更加清楚。
在一个实施方式中,在块535和540中,对32个或者更多图像帧进行累加和平均。然而,任何期望数量的图像帧均可用在其他实施方式中,只是随着帧的数量的减少,校正精度通常会降低。
现在参考基于散焦的方法,在块530,进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如,在一个实施方式中,一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件,以使得红外传感器132捕获场景的模糊的(例如,没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦,例如,如人工(例如,用户启动的)散焦。
尽管图像帧中的场景可能会出现模糊,但是通过散焦操作,FPN(例如,由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是,场景的模糊图像帧(块545)将会具有FPN,并且与场景信息相比,所述FPN将在所述模糊图像中保持的更加清楚。
在上面的讨论中,已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施方式中,基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加,并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。
因此,可以理解的是,既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊,所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。
在块505,对模糊图像帧进行处理以确定更新的行和列的FPN项(例如,如果之前没有确定行和列的FPN项,那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的,根据红外传感器132和/或红外成像模块100的其他部件的方向,术语行和列可互换的使用。
在一个实施方式中,块550包括确定每行模糊图像帧(例如,每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项,以及还确定每列模糊图像帧(例如,每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f),这种缓慢变化例如是由ROIC402中的放大器的1/f噪声特征引起,所述1/f噪声特征可表现为图像帧中的垂直和水平条。
有利的是,通过利用模糊图像帧确定空间行和列的FPN,会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如,真实场景内容被模糊,而FPN保持不被模糊)。
在一个实施方式中,可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如,图6示出了根据本公开实施方式的、相邻像素之间的差值。具体地,在图6中,将像素610与它附近的8个水平相邻像素进行比较:d0-d3在一侧,d4-d7在另一侧。可对相邻像素之间的差值进行平均,以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算,并且得到的平均值可用于校正整个行或者列。
为了防止将真实的场景数据解释为噪声,可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中,是像素d1和d4)不用于获得偏移误差。另外,这些阈值可限制行和列FPN校正的最大量。
申请号为12/396,340,申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术,通过引用的方式将其作为整体合并于此。
再次参考图5,将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后,可降低模糊图像帧中的一些空间行和列的FPN。然而,因为这些项通常应用于行和列,所以附加的FPN可保持,例如,空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此,可进行进一步的处理以确定NUC项,下面将对其进行描述。
在块560,确定模糊图像帧中的局部反差值(例如,相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如,原始场景数据中的高反差边缘),那么可由块560的反差确定步骤来识别这些特征。
例如,可计算模糊图像帧中的局部反差值,或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息,可将该很高空间频率的场景信息解释为FPN(例如,这种区域可对应于还没有被充分模糊的场景的部分)。因此,可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施方式中,这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如,可以认为显示出的反差值高于阈值的像素是场景信息,而认为那些低于阈值的像素是显示FPN)。
在一个实施方式中,在行和列FPN项已经应用于模糊图像帧之后,可对模糊图像帧执行块560的反差确定(例如,如图5所示)。在另一个实施方式中,可在块550之前执行块560,以在确定行和列FPN项之前确定反差(例如,以防止基于场景的反差对于确定该项有影响)。
在块560之后,可以预期的是,残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言,在块560之后,已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外,这是因为:对图像帧的有意地模糊(例如,通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。
因此,可以预期的是,在块560之后,任何残留的高空间频率分量(例如,显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此,在块565,对模糊图像帧进行高通滤波。在一个实施方式中,这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施方式中,这可包括对模糊图像帧应用低通滤波器,并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施方式,可通过计算传感器信号(例如,像素值)和其相邻信号之间的平均差值来实现高通滤波器。
在块570,对高通滤波后的模糊图像帧进行平场校正处理,以确定更新的NUC项(例如,如果先前没有进行NUC步骤,那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。
例如,图7示出了根据本公开实施方式的平场校正技术700。在图7中,可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说,可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如,可确定下述像素之间的绝对差值:像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。
可对这些绝对差值进行求和,以提供像素710的求和梯度。可确定像素710的权重值,所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤,直到为每个像素710提供加权值。对于具有低梯度的区域(例如,被模糊的区域或者具有低对比度的区域)来说,权重值将会接近1。相反,对于具有高梯度的区域来说,权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。
在一个实施方式中,通过将一定量的时间衰减应用到NUC项确定步骤,能够进一步地降低将场景信息引入到NUC项的风险。例如,可选择位于0和1之间的时间衰减因子λ,这样存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的平均加权值。在一个实施方式中,这可表示为:NUCNEW=λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
尽管已经描述了根据梯度来确定NUC项,但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术,例如,标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项,包括:例如公开号为6,028,309,公开日为2000年2月22日的美国专利;公开号为6,812,465,公开日为2004年11月2日的美国专利;以及申请号为12/114,865,申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。
再次参考图5,块570可包括对NUC项的附加处理。例如,在一个实施方式中,为了保留场景信号的平均值,可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570,为了避免行和列噪声影响NUC项,可从每行和列的NUC项中减去每行和列的平均值。结果是,使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如,在块580所进行的步骤,本文将对此作进一步地描述)的进一步的迭代中(例如,如图8所详细示出的)的行和列噪声。就这方面而言,行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如,行和列的FPN项),并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比,可从而提供更加可靠的、用于减少空间相关的FPN的可选项。
在块571-573,可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN,所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言,红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声,不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损,所述红外传感器132组与相邻的红外传感器132相比,其响应不同的辐射度。在一个实施方式中,可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多,则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素,具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如,高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取,从而所述全部值可被同样的偏移误差影响)。例如,如果使用小的内核执行块565的高通滤波(例如,只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素),则可能不能检测到广泛分布的空间相关的FPN。
例如,图11示出了根据本公开实施方式的、附近像素中的空间相关的FPN。如采样的图像帧1100所示,像素1110附近的像素可表现出空间相关的FPN,所述空间相关的FPN不准确的与单个行和列相关,并且分布于附近的多个像素(例如,在该例子中,附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130,所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应,所述像素1130用于估计像素1110附近的像素的低通值。在一个实施方式中,像素1130可以是可分为2个的多个像素,以便于硬件或者软件的有效计算。
再次参考图5,在块571-573,可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理,以消除空间相关的FPN,例如,像素1110表现出的空间相关的FPN。在块571,将在块570确定的更新的NUC项应用到模糊图像帧。因此,此时,模糊图像帧将会已经用于初步校正空间相关的FPN(例如,通过在块555应用更新的行和列FPN项),并且也用于初步校正空间不相关的FPN(例如,通过在块571应用更新的NUC项)。
在块572,进一步的应用高通滤波器,该高通滤波器的核比块565中使用的高通滤波器的核大,并且可在块573进一步地确定更新的NUC项。例如,为了检测像素1110中存在的空间相关的FPN,在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据,从而能够确定没有受到影响的像素(例如,像素1120)和受到影响的像素(例如,像素1110)之间的差值。例如,可使用具有大核的低通滤波器(例如,远大于3×3像素的N×N内核),并且可减去得到的结果以进行适当的高通滤波。
在一个实施方式中,为了提高计算效率,可使用稀疏内核,从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如,具有大核的高通滤波器)来说,存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此,在一个实施方式中,可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。
在各种实施方式中,可重复块571-573(例如,级联),以利用递增的核尺寸迭代地执行高通滤波,从而提供进一步更新的NUC项,所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施方式中,可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除,来确定执行这种迭代的决定。
在块571-573完成之后,作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如,如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值,或者大于最大的阈值,则可认为该NUC项是假的或者不能提供有意义的校正。可选的,可将阈值标准应用到各个像素,以确定哪个像素接收到更新的NUC项。在一个实施方式中,阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施方式中,阈值可独立于先前计算的NUC项。可应用其他测试(例如,空间相关性测试)以确定是否应用该NUC项。
如果认为NUC项是假的或者不可能提供有意义的校正,则流程图返回到块505。否则,存储最新确定的NUC项(块575)以替代先前的NUC项(例如,由图5中先前执行的迭代确定),并将所述最新确定的NUC项应用到(块580)捕获的图像帧。
图8示出了根据本公开实施方式的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言,流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下,图5的各种操作。在一些实施方式中,可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。
可将红外传感器132捕获的图像帧提供给帧平均器804,所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如,在一个实施方式中,红外传感器组件128可以以240Hz的帧速率(例如,每秒捕获240幅图像)来捕获红外图像帧。在该实施方式中,例如可通过使红外传感器组件128工作在相对较低的电压(例如,与移动电话的电压相兼容),以及通过使用相对较小的红外传感器132阵列(例如,在一个实施方式中,为64×64的红外传感器阵列),来实现这样高的帧速率。
在一个实施方式中,可以以较高的帧速率(例如,240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施方式中,红外传感器组件128可以在较长的时间段或者多个时间段进行积分,从而以较低的帧速率(例如,30Hz、9Hz或者其他帧速率)将积分后的(例如,取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495,879的美国临时专利申请中找到。
通过流水线800处理的图像帧802用于确定各种调整项和增益补偿,其中,由各种项、时域滤波来对所述图像帧802进行调整。
在块810和814,将工厂增益项812和工厂偏移项816应用于图像帧802,以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。
在块580,将NUC项817应用于图像帧802,以如上所述的校正FPN。在一个实施方式中,如果还没有确定NUC项817(例如,在已经启动NUC步骤之前),则可能不会执行块580,或者可将初始值用于不会导致图像数据改变的NUC项817(例如,每个像素的偏移值将等于0)。
在块818到822,分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施方式中,如果还没有确定列FPN项820和行FPN项824(例如,在已经启动NUC步骤之前),则可能不会执行块818和822,或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如,每个像素的偏移值将等于0)。
在块826,根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施方式的TNR步骤。在图9中,对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置,并且是图像帧802a和802b全部像素的子集。在示出的实施方式中,相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施方式中。
确定相邻像素803a和803b对应的像素的差值并对其求平均,以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值,以将其应用到图像帧802a和802b的像素805a和805b。
在一个实施方式中,如曲线图809所示,在块807确定的权重值可与平均增量值805c成反比,以使得当相邻像素803a和803b之间差别较大时,权重值迅速的降低到0。就这方面而言,相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如,由于运动而发生的变化),并且在一个实施方式中,可对像素802a和802b进行适当的加权,以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施方式中。
在块807确定的权重值可用于像素805a和805b,以确定图像帧802e的相应像素805e的值(块811)。就这方面而言,像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。
例如,时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的,那么可以预期的是,相邻像素805a和805b之间的平均值的变化将会接近于0(例如,对应于不相关的变化的平均值)。在这种情况下,可以预期的是,相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下,可对图像帧802a的像素805a进行适当的加权,以有助于生成像素805e的值。
然而,如果该差值的和不为0(例如,在一个实施方式中,甚至很接近于0),那么可将变化解释为是由运动引起的,而不是由噪声引起的。因此,可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下,可对图像帧802a的像素805a施加较大的权重,而对图像帧802b的像素805b施加较小的权重。
其他实施方式也是可以考虑的。例如,尽管描述的是根据相邻像素805a和805b来确定平均增量值805c,但是在其他实施方式中,可根据任何期望的标准(例如,根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。
在上面的实施方式中,已经将图像帧802a描述为当前接收到的图像帧,并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施方式中,图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。
图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示,分别将图像帧802a和802b读入到行缓冲器1010a和1010b,并且在将图像帧802b(例如,先前图像帧)读入到行缓冲器1010b之前,可将其存储到帧缓冲器1020中。在一个实施方式中,可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。
再次参考图8,可将图像帧802e传送到自动增益补偿块828,其对图像帧802e进行进一步地处理,以提供主机装置102可根据需要使用的结果图像帧830。
图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施方式中,这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波,所以可消除至少某些时域噪声,从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施方式中,可使用没有经过时域滤波的图像帧802。
在图8中,图5的块510、515和520集中的表示在一起。如所讨论的,可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的,可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤,以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。
如图8所示,可确定行和列FPN项824和820以及NUC项817,并且以迭代的方式应用上述项,以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是,图8的所有步骤可重复地更新,并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。
再次参考图10,其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如,将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施方式中,将在块525所做的决定表示为决定菱形(decisiondiamond),其用于确定给定图像帧802是否已经充分的改变,从而可以认为如果将图像帧加入到其他图像帧中,该图像帧将会增强模糊,因此将该图像帧进行累加(在该实施方式中,通过箭头来表示块535)和平均(块540)。
同样的在图10中,将对列FPN项820的确定(块550)显示为以更新速率操作,在该例子中,由于在块540执行的平均处理,该更新速率为传感器帧速率(例如,正常帧速率)的1/32。其他更新速率可用于其他实施方式中。尽管图10仅标识出了列FPN项820,但是可以以相同的方式,以降低的帧速率来实现行FPN项824。
图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言,可将模糊图像帧读入到行缓冲器1030(例如,由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。
鉴于本公开的内容,应当理解的是,本文描述的技术可用于消除各种类型的FPN(例如,包括很高幅度的FPN),例如,空间相关的行和列FPN以及空间不相关的FPN。
其他实施方式也是可以考虑的。例如,在一个实施方式中,行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比,和/或与局部反差值(例如,在块560确定的局部反差值)的大小成反比。
在各种实施方式中,描述的技术优于传统的基于快门的噪声校正技术。例如,通过使用无快门的步骤,不需要设置快门(例如,如快门105),从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门,还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除,将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。
同样的,通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声,可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。
再次参考红外传感器组件128,进一步公开了使用混合式红外传感器阵列实现红外传感器组件128或一般地实现其它类型的红外传感器组件或FPA的技术。根据公开的各种实施方式,这种混合式红外传感器阵列可包括在红外传感器阵列或其它配置中提供的两种或更多种异构类型的红外传感器。例如,在各种实施方式中,可将红外传感器组件128的红外传感器132实现为微测热辐射仪的FPA,其中FPA可包括不是微测热辐射仪的一个或多个红外传感器。在各种实施方式中,可提供(例如,制备)代替FPA上的一个或多个微测热辐射仪的这种非测热辐射传感器,并可以利用其以获得与由FPA捕获的场景有关的更精确的温度信息。在一些实施方式中,可代替FPA上的一个或多个微测热辐射仪的、或与FPA上的微测热辐射仪一起提供这种非测热辐射传感器(例如,耦接或邻接FPA,例如物理地连附到FPA分立式的非测热辐射传感器),并可以利用其以获得与由FPA捕获的场景有关的更精确的温度信息。
作为实例的实现,图12示出了根据该公开实施方式的具有混合式传感器阵列1232的红外传感器组件1228。在图12示出的示例性实施方式中,可将非测热辐射传感器1233提供在混合式传感器阵列1232的一般中心区域中,而混合式红外传感器阵列1232的剩余部分可以是以与对应实现上述的关于图3和4的传感器132的类似方式实现的微测热辐射仪。虽然图12示出了10乘11的、具有代替在一般中心区域中的四个(2乘2)微测热辐射仪的非测热辐射传感器1233的微测热辐射仪阵列,但应该注意,在各种实施方式中可以使用任何期望的配置。例如,根据各种实施方式,混合式传感器阵列1232可以是约32乘32、约64乘64、约80乘60阵列或其它阵列尺寸,其中根据微测热辐射仪和非测热辐射传感器1233的相对尺寸和其它要求,可代替任何数量的微测热辐射仪提供非测热辐射传感器1233。
如本文所述的,红外传感器组件128可配置成以低电压操作,例如,2.8伏特、2.5伏特、2.4伏特或更低的电压。就这方面而言,对于一些实施方式,可将LDO提供为具有混合式传感器阵列1232的红外传感器组件1228的一部分(例如,作为ROIC位于同一芯片和/或晶片级封装上)。根据例如申请号为PCT/US2012/041744、题为“LOWPOWERANDSAMLLFORMFACTORINFRAREDIMAGING”的国际专利中记载并通过引入的方式将它合并于此的各种技术,可将LDO实现为红外传感器组件1228的一部分,并使其配置成给红外传感器组件1228的各个部件提供在约1.5至2.8伏特范围中的低的、调整的电压(例如,在一个实施方式中约2.5伏特)。
在一些实施方式中,可将非测热辐射传感器1233实现为热电堆。通常,热电堆可包括一个热电偶或一组热电偶,其中每个热电偶可包括在两点(例如,热接合点和冷接合点)接合的一对不同材料,以在热接合点接收红外辐射时,可通过热电效应产生输出电压。在很多情况下,这种热电堆可用于确定(例如,辐射测定地确定)对象(例如,用混合式传感器阵列1232捕获的场景中的对象)的温度,其比使用典型的微测热辐射仪得到的对象温度更精确。而且,与典型的微测热辐射仪相比,热电堆对环境温度的改变有较低的灵敏度。
例如,根据一些实现方式,当确定人的典型皮肤温度时,混合式传感器阵列1232的热电堆非测热辐射传感器1233可具有约±0.1°F的误差范围,而混合式传感器阵列1232的微测热辐射仪可具有约±2°F的误差范围。而且,例如,由于微测热辐射仪对于变化的环境温度的灵敏度,所以需要更复杂且更频繁的微测热辐射仪和相应电路的再校准过程(例如,产生绝对温度读数的辐射测定校准过程)。
如上所述,对于其中使用热电堆实现非测热辐射传感器1233的实施方式,可以制备(例如,沉积、生长、微机械加工或以其它方式形成)一对两种不同的热电材料,以使它们在适当的点相互接触。在各种实施方式中,如本领域的技术人员所应该理解的,可以选择适合形成热电偶的一对不同的基于硅的和/或金属热电材料,来实现非测热辐射传感器1233。
在一些实施方式中,一对材料中的一种可以是使用在红外传感器组件1228的其它部分(例如,混合式传感器阵列1232的微测热辐射仪)中的材料,这在一些情况下可以消除在制备过程期间对附加层(例如,附加金属层)的需要。例如,在一个实施方式中,用于非测热辐射传感器1233的该对材料中的一种是VOx,同时混合式传感器阵列1232的微测热辐射仪也被实现为VOx探测器。该对材料中的另一种可以是用于形成具有VOx层的热电偶的任何适当的材料。在一个实施方式中,非测热辐射传感器1233可以是由VOx层和钨层形成一对的热电堆。在另一个实施方式中,该对中的至少一种材料可以是与用于制备混合式传感器阵列1232和/或红外传感器组件1228的硅工艺兼容的硅基材料。
可使用各种类型的和组合的材料实现热电偶。在下面的表1中确定了几个非限制性实例。在其他实例中,可使用各种半导体材料来提供性能优势(例如,改善信号强度)。
表1
如上所述,在图12的示例性实施方式和其它实施方式中,实现非测热辐射传感器1233的热电堆可以比微测热辐射仪具有更大的二维尺寸,其在混合式传感器阵列1232上占用四个(2乘2)微测热辐射仪的位置。通常,实现非测热辐射传感器1233的热电堆的尺寸可根据具体应用需要所期望的那样改变。例如,可以增加热电堆的尺寸(例如,包括更多和/或更大热电偶),以实现期望的信噪比或灵敏度。因此,根据微测热辐射仪和期望实现的热电堆的相对尺寸,热电堆可以占用单个测热辐射仪、四个测热辐射仪、九个(3乘3)测热辐射仪或其它适当数量的测热辐射仪的位置。应该意识到,对于一些实施方式,微测热辐射仪和/或热电堆可不具有方形像素形式,因此,实现非测热辐射传感器1233的热电堆可以占用微测热辐射仪的非方形数量的位置。
在其它实施方式中,非测热辐射传感器1233可以使用其它类型的非测热辐射传感器来实现。例如,在一些实施方式中,非测热辐射传感器1233可以使用热释电探测器(例如,由氮化镓(GaN)、硝酸铯(CsNO3)、聚乙烯氟化物或在受到热时产生能量的其它热释电材料制成)来实现。在另一个实例中,非测热辐射传感器1233可以使用对红外辐射敏感的光子探测器(例如,各种类型的光电二极管,包括n上p、p上n和其它类型)来实现。在又另一个实例中,非测热辐射传感器1233可以使用没有典型测热辐射结构(例如,没有测热辐射仪中包括的吸收器、桥和/或其它结构)的热敏电阻来实现。
基板1240可以包括配置成从非测热辐射传感器1233获得输出(例如,输出电压、电流、电阻或其它值)的支持电路和/或电子部件(例如,包括半导体部件)。例如,在一些实施方式中,如本领域的技术人员所应该理解的,基板1240可包括前置放大器、基板温度传感器(例如,参考热敏电阻计或测热辐射仪)、驱动器、锁存器、多路复用器和/或适合从上述热电偶获得(例如,基于热电偶产生期望信号)输出的其它电子部件。在一些实施方式中,基板1240还可包括接合垫1243,其可用于将基板1240上的且与非测热辐射传感器1233相关的各种电路和/或部件电连接到外部电路或装置。例如,参考图3和4在上面描述的外壳120和/或电路板170,可进一步包括适合于与接合垫1243形成电连接的适当的互补触点或连接器。
在一些实施方式中,基板1240可以以与上述参考图3-4和本文其它地方所述的基板140相同或类似的方式来实现。即,如对于上述基板140所述的,基板1240可以包括ROIC和/或用于微测热辐射仪的其它电路,且可以具有以与接合垫142类似方式实现的接合垫1242。在其它实施方式中,基板1240上的ROIC,除了适合获得并传输(例如,通过接合垫1242或接合垫1243)微测热辐射仪的输出之外,还适合获得并传输非测热辐射传感器1233的输出。在一个实施方式中,在没有用于非测热辐射传感器1233的单独接合垫(例如,接合垫1243)的情况下,基板1240可适合经由接合垫1242传输非测热辐射传感器1233和微测热辐射仪两者的输出。
利用混合式传感器阵列1232的微测热辐射仪和非测热辐射传感器1233,红外传感器组件1288可以捕获场景的图像(例如,热图像数据)和/或温度信息,并以各种速率提供来自其ROIC和/或其它电路的这种图像和/或温度信息。如上面参考图3和4所述,捕获的图像和/或温度信息可提供给处理模块160进行适当处理。在红外传感器组件1228的实例应用中,为了使主机装置的用户可以观察,可将捕获的和/处理的图像提供给主机装置(例如,图1的主机装置102),以由主机装置存储、显示和/或进一步处理。在另一个实例应用中,使用非测热辐射传感器1233得到的温度信息可由主机装置接收、存储、显示和/或进一步处理,以使用主机装置使用户可以得到场景中对象的精确的温度读数。
由于非测热辐射传感器1233可以占用混合式传感器阵列1232上的一个或多个微测热辐射仪的位置,所以由微测热辐射仪捕获的原始图像数据可包含对应于混合传感器阵列1232上的、来自场景的入射红外辐射集中于非测热辐射传感器1233的区域的盲点。因此,在一些实施方式中,可校正、混合、或以其它方式处理由微测热辐射仪捕获的图像,以产生具有填充的或以其它方式移除的盲点的图像。例如,在一些实施方式中,主机装置102的处理模块160和/或处理器195可被配置成混合非测热辐射传感器1233的输出(例如,温度信息)与由微测热辐射仪捕获的原始图像数据以填充盲点。在一个实施方式中,这种混合过程可包括转换和/或标准化非测热辐射传感器1233的输出,以产生与由微测热辐射仪捕获的图像数据兼容(例如,尺度、格式和/或其它品质)的像素数据,并组合转换的和/或标准化的像素数据与图像数据以填充盲点。在其它实施方式中,在不使用非测热辐射传感器1233的输出的情况下,处理模块160和/或处理器195可配置成推断(例如,通过取相邻像素的平均和/或其它常规方法)原始图像数据以填充盲点。在再其它实施方式中,可使用基板1240上的ROIC和/其它电路在电路级执行盲点的填充。
图13示出了根据公开的另一实施方式的具有混合式传感器阵列1322的红外传感器组件1328。如所示的,混合式传感器阵列1332可包括提供在混合式传感器阵列1332的每个角中和一般中心区域中的多个非测热辐射传感器1333A-1333E。每个非测热辐射传感器1333A-1333E都可以以与非测热辐射传感器1233相同或类似的方式来实现。红外传感器组件1328还可以包括基板1340、用于微测热辐射仪的ROIC的接合垫1342、用于非测热辐射传感器1333A-1333E的接合垫1343和/或其它部件,它们都可以以与图12的红外传感器组件1228的相应组件类似的方式来实现,但它们可被相应地修改以适应多个非测热辐射传感器1333A-1333E,而不是单个非测热辐射传感器1233。例如,在一些实施方式中,为了经由接合垫1343进行传输,基板1340可包括多路复用器、开关电路和/或其他合适部件,以多路复用或以其它方式管理非测热辐射传感器1333A-1333E的多个输出。在另一个实例中,对于一些实施方式,可增加接合垫1343的数量以支持多个非测热辐射传感器1333A-1333E。在另一实例中,处理模块160、处理器195和/或基板1340的各种电路可配置成填充由多个非测热辐射传感器1333A-1333E造成的多个盲点。
通过在混合式传感器阵列1332的每个角中和一般中心区域中提供非测热辐射传感器1333A-1333E,能获得与由红外传感器组件1328捕获的整个场景有关的更精确的温度读数。例如,可以平均、插值或以其它方式处理来自多个非测热辐射传感器1333A-1333E的多个温度读数,以提供场景的平均温度、温度梯度或与整个场景有关的其它温度信息,而不是使用中间的单个非测热辐射传感器1233提供仅是单一对象或场景区域的点读数。在另一个实例中,多个非测热辐射传感器1333A-1333E可同时允许场景中的多个对象或区域的多个点读数。在另一个实例中,在不必移动主机装置(例如,主机装置102)来对象或区域布置场景中心的情况下,在混合式传感器阵列1332上的各种位置处的多个非测热辐射传感器1333A-1333E可允许场景中对象或区域的点读数。
在本公开的范围和精神内,可以考虑非测热辐射传感器1233/1333A-1333E的其它数量和/或位置用于其它实施方式。例如,在一个实施方式中,可以提供四个非测热辐射传感器,每个非测热辐射传感器各自布置在混合式传感器阵列的每个角中。而且,虽然关于红外成像模块100的红外传感器组件128在上面描述了红外传感器组件1228/1328,但是在不偏离本公开的范围精神的情况下,描述的用于红外传感器组件1228/1328的技术可应用于其它成像传感器组件、封装或模块。例如,根据本文适当更改描述的传感器组件类型的各种技术,可将非测热辐射红外传感器提供在可见光成像传感器组件(例如,基于CCD或基于CMOS的成像传感器),其它红外成像传感器组件或者适于捕获其它波长的电磁辐射的成像传感器组件。
因此,例如,可将具有混合式传感器阵列1232/1332的红外传感器组件1228/1328的各种实现封装为在主机装置102中实现的红外成像模块100,以不仅提供热成像能力(例如,包括使用户能够看到、存储,或使用主机装置102进一步处理捕获的热图像),还提供得到场景中的对象/区域的或场景本身的更精确且稳定的温度读数的能力。以实例的方式,使用这种主机装置,在观察示出整个温度分布的人的热图像时,用户能够得到人的身体温度的精确的(例如,精确到约±0.1°F)点读数。为了帮助用户得到点温度读数,这种主机装置可配置成,例如指示(例如,使用指示器,比如显示在屏幕上的十字/标线或者投射到对象的激光指示器)可得到点温度读数的场景的一个点或多个点。
此外,在各种实施方式中,可使用非测热辐射传感器1233/1333A-1333E来执行混合式传感器阵列1232/1332的微测热辐射仪的辐射测定校准。如上所述,在一些情况下,为了保持微测热辐射仪的输出和测量的温度或通量之间的相关性,微测热辐射仪和相关电路/部件需要周期的辐射测定校准。通常,用于测热辐射仪的辐射测定校准过程涉及使测热辐射仪阵列(例如,微测热辐射仪的FPA)在变化的温度级下观察的一致通量的场景(例如,传感器阵列的所有测热辐射仪接收红外辐射通量的大致类似的量)。如本领域的技术人员所理解的,一些常规方法可涉及可被控制的外部黑体装置产生期望量的一致红外辐射通量。其它常规方法可通过使用可关闭和温控的快门(例如,图1的快门105)允许独立的辐射测定校准以向传感器阵列提供一致通量的场景。
相较之下,对于在各种实施方式中的红外传感器组件1228/1328,可在不需要快门或外部黑体装置的情况下,执行独立的辐射测定校准过程。例如,可使用非测热辐射传感器1233/1333A-1333E来提供由混合式传感器阵列1232/1332观察的与场景有关的参考温度或通量读数,其中基于参考温度读数可校准混合式传感器阵列1232/1332的微测热辐射仪。即,例如,代替观察由温控快门或黑体装置建立的场景,在执行辐射测定校准过程时,考虑到可使用非测热辐射传感器1233/1333A-1333E得到对于这种场景的参考温度或通量,混合式传感器阵列1232/1332可以观察任何基本一致的场景(例如,用户可指引具有红外组件1228/1328的主机装置102观察具有基本一致温度和辐射率的墙或其它任何表面的小块)。就这方面而言,根据一些实施方式,使用非测热辐射传感器1233/1333A-1333E,红外成像模块100和主机装置102的红外传感器组件1228/1328、处理模块160、处理器195和/或其它部件可适于执行独立的但无快门的辐射测定校准过程。
在合适的情况下,可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施方式。同样的在合适的情况下,在不脱离本公开的精神的情况下,可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下,在不脱离本公开的精神的情况下,可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外,在合适的情况下,可以预期的是,软件部件能够实现为硬件部件,反之亦然。
根据本公开的软件,例如,非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是,可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下,本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤,以提供本文所描述的功能。
以上所描述的实施方式仅为了举例说明,而不是限制本实用新型。还应当理解的是,根据本实用新型的原理,许多修改和改变是可能的。因此,本实用新型的范围仅由下面的权利要求书限定。

Claims (18)

1.一种红外传感器组件,其特征在于,包括:
红外传感器的阵列,所述阵列包括:
配置成成像场景的多个微测热辐射仪,和
配置成检测红外辐射的非测热辐射传感器;和
耦接到所述阵列的基板,所述基板包括:
配置成提供来自所述微测热辐射仪的、对应于捕获的所述场景的红外图像的信号的读出集成电路,和
配置成提供来自所述非测热辐射传感器的信号的输出电路。
2.根据权利要求1所述的红外传感器组件,其特征在于,其中所述非测热辐射传感器包括热电堆红外传感器。
3.根据权利要求2所述的红外传感器组件,其特征在于,其中所述热电堆红外传感器包括在两个接合点处两种不同材料接合在一起的热电偶。
4.根据权利要求3所述的红外传感器组件,其特征在于,其中所述微测热辐射仪为与所述两种不同材料中的一种相同的材料。
5.根据权利要求1所述的红外传感器组件,其特征在于,其中所述非测热辐射传感器布置在所述阵列的大致中心区域。
6.根据权利要求1所述的红外传感器组件,其特征在于,其中所述阵列包括一个或多个附加的非测热辐射传感器。
7.根据权利要求6所述的红外传感器组件,其特征在于,其中所述附加的非测热辐射传感器布置在所述阵列的一个或多个角中。
8.根据权利要求1所述的红外传感器组件,其特征在于,其中所述非测热辐射传感器布置在所述阵列的角中。
9.根据权利要求1所述的红外传感器组件,其特征在于,进一步包括配置成组合来自所述读出集成电路的信号和来自所述输出电路的信号以产生所述场景的混合红外图像数据的处理模块。
10.根据权利要求1所述的红外传感器组件,其特征在于,其中所述基板包括电连接到所述输出电路的、且配置成与外部电触点形成电连接以传输来自所述输出电路的信号的接合垫。
11.根据权利要求1所述的红外传感器组件,其特征在于,其中由所述输出电路提供的信号包括代表与所述场景相关的温度信息的信号。
12.根据权利要求11所述的红外传感器组件,其特征在于,其中:
所述温度信息包括所述场景中的点的点温度读数;以及
由所述非测热辐射传感器检测的所述红外辐射对应于从所述点发射的红外辐射。
13.根据权利要求11所述的红外传感器组件,其特征在于,其中所述微测热辐射仪基于所述温度信息被辐射测定地校准。
14.根据权利要求6所述的红外传感器组件,其特征在于,其中:
所述一个或多个附加的非测热辐射传感器配置成检测红外辐射并且通信耦接到所述输出电路;以及
由所述输出电路提供的所述信号包括代表与所述场景相关的温度信息的信号。
15.根据权利要求14所述的红外传感器组件,其特征在于,其中:
所述温度信息包括所述场景中对应的多个点的多个点温度读数;以及
由所述非测热辐射传感器检测的所述红外辐射对应于从所述场景中的所述对应的多个点发射的红外辐射。
16.根据权利要求14所述的红外传感器组件,其特征在于,其中所述温度信息包括基于由所述非测热辐射传感器检测的所述红外辐射的平均温度。
17.根据权利要求14所述的红外传感器组件,其特征在于,其中所述温度信息包括基于由所述非测热辐射传感器检测的所述红外辐射的温度梯度。
18.根据权利要求9所述的红外传感器组件,其特征在于,其中:
由所述输出电路提供的所述信号包括代表与所述场景相关的温度信息;
由所述读出集成电路提供的所述信号包括代表所述场景的捕获的所述红外图像的红外图像数据;
所述捕获的红外图像包括对应于所述非测热辐射传感器在所述阵列中的一个位置的盲点;以及
所述混合红外图像数据包括所述红外图像数据和基于所述温度信息的红外像素数据以填充所述盲点。
CN201390001074.6U 2012-11-26 2013-11-26 红外传感器组件 Expired - Lifetime CN205157051U (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261730031P 2012-11-26 2012-11-26
US61/730,031 2012-11-26
US201261748018P 2012-12-31 2012-12-31
US61/748,018 2012-12-31
US201361790189P 2013-03-15 2013-03-15
US61/790,189 2013-03-15
PCT/US2013/072105 WO2014082097A1 (en) 2012-11-26 2013-11-26 Hybrid infrared sensor array having heterogeneous infrared sensors

Publications (1)

Publication Number Publication Date
CN205157051U true CN205157051U (zh) 2016-04-13

Family

ID=49753526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201390001074.6U Expired - Lifetime CN205157051U (zh) 2012-11-26 2013-11-26 红外传感器组件

Country Status (3)

Country Link
EP (1) EP2923187B1 (zh)
CN (1) CN205157051U (zh)
WO (1) WO2014082097A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808877A (zh) * 2016-09-08 2018-03-16 原相科技股份有限公司 远红外线感测阵列集成电路组合以及远红外线传感器封装
CN109328295A (zh) * 2016-06-23 2019-02-12 株式会社村田制作所 红外线检测元件及红外线检测装置
CN110073186A (zh) * 2016-12-07 2019-07-30 优利斯公司 红外图像传感器
CN110199181A (zh) * 2017-01-18 2019-09-03 海曼传感器有限责任公司 高分辨率热电堆红外传感器阵列
CN111579096A (zh) * 2020-05-07 2020-08-25 深圳市微电元科技有限公司 一种红外测温传感器模组及测温方法、测温设备
US11054313B2 (en) 2016-08-30 2021-07-06 Pixart Imaging Inc. Far infrared sensor apparatus having multiple sensing element arrays inside single package
TWI792214B (zh) * 2021-03-10 2023-02-11 群光電子股份有限公司 溫度感測模組與電子裝置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
CN205157056U (zh) * 2012-12-21 2016-04-13 菲力尔系统公司 用于监视动力系统的系统
US10602082B2 (en) 2014-09-17 2020-03-24 Fluke Corporation Triggered operation and/or recording of test and measurement or imaging tools
US10271020B2 (en) 2014-10-24 2019-04-23 Fluke Corporation Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection
US20170078544A1 (en) 2015-09-16 2017-03-16 Fluke Corporation Electrical isolation for a camera in a test and measurement tool
WO2017070629A1 (en) 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
CN107730482B (zh) * 2017-09-28 2021-07-06 电子科技大学 一种基于区域能量和方差的稀疏融合方法
WO2019087522A1 (ja) 2017-10-31 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN108921100B (zh) * 2018-07-04 2020-12-01 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN110166678A (zh) * 2019-06-26 2019-08-23 京东方科技集团股份有限公司 图像采集结构及其采集方法、显示装置
CN110809111B (zh) * 2019-11-27 2022-06-24 Oppo广东移动通信有限公司 镜头组件、终端设备及终端设备的补光控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028309A (en) 1997-02-11 2000-02-22 Indigo Systems Corporation Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array
JP2001304973A (ja) * 2000-04-26 2001-10-31 Denso Corp 赤外線イメージセンサ
US6631287B2 (en) * 2001-04-03 2003-10-07 Welch Allyn, Inc. Infrared thermometer
US6812465B2 (en) 2002-02-27 2004-11-02 Indigo Systems Corporation Microbolometer focal plane array methods and circuitry
US7034301B2 (en) 2002-02-27 2006-04-25 Indigo Systems Corporation Microbolometer focal plane array systems and methods
DE10360676A1 (de) * 2003-12-23 2005-07-21 Daimlerchrysler Ag Verfahren zur Temperaturerfassung
WO2006038213A2 (en) * 2004-10-04 2006-04-13 Bluebird Optical Mems Ltd. Millimeter wave pixel and focal plane array imaging sensors thereof
US7459686B2 (en) * 2006-01-26 2008-12-02 L-3 Communications Corporation Systems and methods for integrating focal plane arrays
US7470902B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera electronic architectures
US7470904B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera packaging
US7629582B2 (en) * 2006-10-24 2009-12-08 Raytheon Company Dual band imager with visible or SWIR detectors combined with uncooled LWIR detectors
US7679048B1 (en) 2008-04-18 2010-03-16 Flir Systems, Inc. Systems and methods for selecting microbolometers within microbolometer focal plane arrays
US8618481B2 (en) * 2008-11-21 2013-12-31 Babak NIKOOBAKHT Use of noble metal nanoparticles as light absorbers and heat generators in thermal photodetectors, sensors and microelectromechanical devices
BR112019025668B1 (pt) 2017-06-08 2024-03-12 Superior Energy Services, L.L.C Válvula de segurança de subsuperfície

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109328295A (zh) * 2016-06-23 2019-02-12 株式会社村田制作所 红外线检测元件及红外线检测装置
US11874174B2 (en) 2016-08-30 2024-01-16 Pixart Imaging Inc. Far infrared sensor apparatus having multiple sensing element arrays inside single package
US11054313B2 (en) 2016-08-30 2021-07-06 Pixart Imaging Inc. Far infrared sensor apparatus having multiple sensing element arrays inside single package
US11573127B2 (en) 2016-08-30 2023-02-07 Pixart Imaging Inc. Far infrared sensor apparatus having multiple sensing element arrays inside single package
CN107808877A (zh) * 2016-09-08 2018-03-16 原相科技股份有限公司 远红外线感测阵列集成电路组合以及远红外线传感器封装
CN107808877B (zh) * 2016-09-08 2019-11-05 原相科技股份有限公司 远红外线感测阵列集成电路组合以及远红外线传感器封装
CN110073186B (zh) * 2016-12-07 2021-10-29 灵锐得公司 红外图像传感器
CN110073186A (zh) * 2016-12-07 2019-07-30 优利斯公司 红外图像传感器
CN110199181A (zh) * 2017-01-18 2019-09-03 海曼传感器有限责任公司 高分辨率热电堆红外传感器阵列
US11187589B2 (en) 2017-01-18 2021-11-30 Heimann Sensor Gmbh High-resolution thermopile infrared sensor array
CN110199181B (zh) * 2017-01-18 2021-07-20 海曼传感器有限责任公司 高分辨率热电堆红外传感器阵列
CN111579096A (zh) * 2020-05-07 2020-08-25 深圳市微电元科技有限公司 一种红外测温传感器模组及测温方法、测温设备
TWI792214B (zh) * 2021-03-10 2023-02-11 群光電子股份有限公司 溫度感測模組與電子裝置

Also Published As

Publication number Publication date
EP2923187A1 (en) 2015-09-30
EP2923187B1 (en) 2016-11-02
WO2014082097A1 (en) 2014-05-30

Similar Documents

Publication Publication Date Title
CN205157051U (zh) 红外传感器组件
US10110833B2 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
CN103875235B (zh) 用于红外成像装置的非均匀性校正技术
US10598550B2 (en) Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor
CN103748867A (zh) 低功耗和小形状因子红外成像
CN107836111B (zh) 用于增强动态范围红外成像的系统和方法
CN107534734B (zh) 具有热成像能力的湿度测量装置及相关方法
US12101459B2 (en) Imager health monitoring systems and methods
JP2013002959A (ja) 情報処理装置、及び情報処理方法
US20140160298A1 (en) Camera and method for thermal image noise reduction using post processing techniques
CN105027557A (zh) 补偿红外成像装置中校准漂移的技术
JP5617898B2 (ja) 撮像装置
US9961277B2 (en) Infrared focal plane array heat spreaders
CN103907342B (zh) 利用阻隔红外传感器确定绝对辐射值的方法和装置
CN204927290U (zh) 具有分段式焦平面阵列的系统
CN104981905B (zh) 成像传感器阵列中的异常时钟频率检测
US10701296B2 (en) Thermal camera with image enhancement derived from microelectromechanical sensor
CN105009169B (zh) 用于抑制图像中的天空区域的系统和方法
JP2023083980A (ja) 距離計測装置および距離検出技術、撮像装置
WO2014105904A1 (en) Infrared focal plane array heat spreaders
CN204996085U (zh) 确定高尔夫球场上距离的设备、系统及旗杆
EP4012363A1 (en) Infrared imaging-related uncertainty gauging systems and methods
CN205212950U (zh) 具有可区域化测辐射热计的成像装置
WO2015072006A1 (ja) 赤外線検知装置
JP2019213193A (ja) 赤外線撮像装置及びそれに用いられるプログラム

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20160413