CN114630060A - 与红外成像相关的不确定度测量系统和方法 - Google Patents

与红外成像相关的不确定度测量系统和方法 Download PDF

Info

Publication number
CN114630060A
CN114630060A CN202111542361.5A CN202111542361A CN114630060A CN 114630060 A CN114630060 A CN 114630060A CN 202111542361 A CN202111542361 A CN 202111542361A CN 114630060 A CN114630060 A CN 114630060A
Authority
CN
China
Prior art keywords
temperature
image data
infrared
focal plane
plane array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111542361.5A
Other languages
English (en)
Inventor
J·科斯切娃
K·M·贾德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flier Business Systems
Original Assignee
Flier Business Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flier Business Systems filed Critical Flier Business Systems
Publication of CN114630060A publication Critical patent/CN114630060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/90Testing, inspecting or checking operation of radiation pyrometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/027Constructional details making use of sensor-related data, e.g. for identification of sensor parts or optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/026Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/064Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106Arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J2005/202Arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • G01J5/804Calibration using atmospheric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)

Abstract

提供了用于促进成像系统和方法的不确定度测量的技术。在一个示例中,一种方法包括确定与场景的红外图像数据关联的温度数据。该方法还包括接收与红外图像数据关联的至少一个参数。该方法还包括基于至少一个参数确定与温度数据关联的不确定度因子。还提供了相关的装置和系统。

Description

与红外成像相关的不确定度测量系统和方法
技术领域
一个或多个实施例一般地涉及成像,并且更具体地,例如,涉及与红外成像相关的不确定度测量系统和方法。
背景技术
成像系统可以包括检测器的阵列,每个检测器用作像素以产生二维图像的一部分。存在各种各样的图像检测器,例如可见光图像检测器、红外图像检测器或可以设置在图像检测器阵列中用于捕获图像的其他类型的图像检测器。作为示例,多个传感器可以设置在图像检测器阵列中,以检测所需波长的电磁(EM)辐射。在一些情况下,例如对于红外成像,由检测器捕获的图像数据的读出可以由读出集成电路(ROIC)以时分复用方式执行。读出的图像数据可以传送到其他电路,例如用于处理、存储和/或显示。在一些情况下,检测器阵列和ROIC的组合可以称为焦平面阵列(FPA)。FPA和图像处理的处理技术的进步导致所得成像系统的增加能力和复杂程度。
发明内容
在一个或多个实施例中,一种方法包括确定与场景的红外图像数据关联的温度数据。所述方法还包括接收与所述红外图像数据关联的至少一个参数。所述方法还包括基于所述至少一个参数确定与所述温度数据关联的不确定度因子。
在一个或多个实施例中,一种红外成像系统包括处理电路。所述处理电路配置成确定与场景的红外图像数据关联的温度数据。所述处理电路还配置成接收与所述红外图像数据关联的至少一个参数。所述处理电路还配置成基于所述至少一个参数确定与所述温度数据关联的不确定度因子。
本公开的范围由权利要求限定,权利要求通过引用并入本部分。通过考虑一个或多个实施例的以下详细描述,本领域技术人员将更完整地理解本公开的实施例,以及其附加优点的实现。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的一个或多个实施例的示例性成像系统的框图。
图2示出了根据本公开的一个或多个实施例的示例性图像传感器组件的框图。
图3示出了根据本公开的一个或多个实施例的示例性图像传感器组件。
图4示出了根据本公开的一个或多个实施例的用于促进红外成像的不确定度测量的示例性系统。
图5示出了根据本公开的一个或多个实施例的用于捕获与从场景到红外相机的辐射传播相关的外部因素的示例性模型。
图6示出了根据本公开的一个或多个实施例的具有在其上显示的红外图像的示例性显示屏。
图7示出了根据本公开的一个或多个实施例的用于促进红外成像的不确定度测量的示例性过程的流程图。
图8示出了根据本公开的一个或多个实施例的用于促进红外图像生成的示例性过程的流程图。
通过参考下面的详细描述,可以最好地理解本公开的实施例及其优点。需要注意的是,各种部件的尺寸和这些部件之间的距离在图中并未按比例绘制。应当理解,相似的附图标记用于标识一个或多个图中所示的相似元件。
具体实施方式
下面阐述的详细描述旨在作为本主题技术的各种配置的描述,并不旨在表示可以实践本主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对主题技术的透彻理解的特定细节。然而,对于本领域技术人员来说清楚且显而易见的是,本主题技术不限于本文阐述的具体细节并且可以使用一个或多个实施例来实践。在一个或多个实例中,结构和部件以框图形式示出以避免模糊本主题技术的概念。本主题公开的一个或多个实施例结合一个或多个图示出和/或描述并且在权利要求中阐述。
提供了各种技术来促进红外成像的不确定度测量。在一些实施例中,成像系统包括检测器阵列和读出电路。检测器阵列包括检测器(例如,也称为检测器像素、检测器元件或简称为像素)。每个检测器像素检测入射EM辐射并生成指示场景的检测EM辐射的图像数据(例如,红外图像数据)。在一些实施例中,检测器阵列用于检测红外辐射(例如,热红外辐射)。对于红外图像(例如,热红外图像)的像素,像素的每个输出值可以表示/设置为和/或对应于温度、数字计数值、全温度范围的百分比或通常可以映射到温度的任何值。例如,一个像素输出的数字计数值13,000可以表示160℃的温度。
在一些实施例中,不确定度因子可以用于提供与检测器阵列所捕获的图像数据和/或从这样的图像数据导出(例如,基于其确定)的数据(例如,图像统计)关联的辐射测量精度的指示(例如,置信度的测量、量度)。辐射测量精度通常根据在捕获图像数据时和前后检测器阵列(例如,更一般地为成像系统)的操作条件而变化。在这方面,当成像系统用于捕获图像数据时,不确定度因子也可以被认为是成像系统的操作条件的指示。从图像数据导出的数据可以包括对象识别结果、温度预测、红外图像的平均温度、像素温度的标准偏差和/或方差、这些像素中的最低温度值、这些像素中的最高温度值和/或其他信息。
不确定度因子可以促进成像系统的用户和/或成像系统的电路和/或其他机器对场景和红外图像数据的分析。在这方面,不确定度因子向用户和/或机器提供指示,其可能有利于分析图像数据,例如用于安全应用(例如,入侵者检测、火灾检测、温度预测,等等)。例如,如果与成像系统关联的操作条件是次优的,则不确定度因子可能有助于指示成像系统的测量(例如,温度测量)可能不太准确。在一方面,不确定度因子可以被称为不确定度量度、不确定度尺度、置信度因子、置信度量度、置信度尺度、准确度因子、准确度尺度、准确度因子和/或通常任何类似的术语/短语。
在一些情况下,不确定度因子可以与来自场景的局部部分的图像数据(例如来自形成成像系统的点测光计的像素的红外数据值)关联。作为示例,不确定度因子可以提供与基于来自形成点测光计的像素的红外数据值确定的平均温度关联的置信度。作为另一示例,不确定度因子可以提供在红外图像中识别为人的对象确实是人的置信度。在一些情况下,不确定度因子可以与整个场景的红外数据值关联。例如,不确定度因子可以提供与基于来自检测器阵列的所有像素的红外数据值确定的平均温度关联的置信度。
不确定度因子可以基于一个或多个参数(例如,也称为因子或变量),例如作为非限制性示例,目标温度、成像系统温度(例如,相机温度)、成像系统的温度变化率、自校准处理(例如,最近的平场校正处理)以来的温度变化和/或成像系统的增益模式/状态(例如,低增益操作模式或高增益操作模式)。成像系统和/或其他系统可以访问和/或确定/测量这些参数中的各种参数以允许成像系统和/或其他系统确定(例如,计算)不确定度因子。
不确定度因子可能是定性的或定量的。作为示例,与由成像系统捕获和/或生成的图像数据关联的定性不确定度因子可以指示将图像数据分类为具有最高置信度、高置信度、中等置信度或无置信度。在一些情况下,可以使用术语/短语(例如,“最高置信度”、“无置信度”)和/或数字或符号(例如,数字1表示“最高置信度”,数字4表示“无置信度”)表示。作为示例,与成像系统捕获和/或生成的图像数据关联的定量不确定度因子可以指示基于图像数据生成的某个温度估计可以是正负某个百分比和/或温度值。在一些情况下,对于给定的一组图像数据,成像系统和/或其他系统可以用于确定定性不确定度因子和/或定量不确定度因子。用户可以提供指示以接收定性不确定度因子、定量不确定度因子或两者。
因此,使用各种实施例,成像系统和/或机器的用户可以经由不确定度因子而获知使用条件何时对于生成图像数据和/或基于图像数据导出结果(例如,导出准确的温度预测)是有利的还是次优的。例如,普通用户可能不知道何时能够容易地依赖来自成像系统的图像数据以及何时对图像数据更加谨慎。在一些安全应用中,例如具有相机的系统,如果相机视场中的任何东西例如触摸不安全,则相机就会警告用户,用户受益于知道与图像数据关联的不确定度。
尽管关于红外成像(例如,热红外成像)描述了不确定度测量的各种实施例,但不确定度测量可以应用于其他波段的图像数据,以促进这些其他波段的捕获辐射的分析(例如,用户分析和/或机器分析)。本文公开的方法和系统的各种实施例可以包括在各种装置和系统中或实现为各种装置和系统,例如可见光成像系统、红外成像系统、具有可见光和红外成像能力的成像系统、短波红外(SWIR)成像系统、光检测和测距(LIDAR)成像系统、雷达检测和测距(RADAR)成像系统、毫米波(MMW)成像系统、超声成像系统、X射线成像系统、移动数码相机、视频监控系统、视频处理系统或可能需要在EM光谱的一个或多个部分中获取图像数据的其他系统或装置。
现在参考附图,图1示出了根据本公开的一个或多个实施例的示例性成像系统100(例如,红外相机、平板计算机、膝上型计算机、个人数字助理(PDA)、移动装置、台式计算机或其他电子装置)的框图。然而,可能不需要示出所有部件,并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下,可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。
根据本公开的实施例,成像系统100可以用于捕获和处理图像。成像系统100可以代表检测EM辐射的一个或多个范围(例如,波段)并提供代表性数据(例如,一个或多个静止图像帧或视频图像帧)的任何类型的成像系统。成像系统100可以包括壳体,所述壳体至少部分地封闭成像系统100的部件,例如以促进成像系统100的紧凑性和保护。例如,图1中标记为175的实心框可以代表成像系统100的壳体。与图1中实心框内示出的那些相比,该壳体可以包含成像系统100的更多、更少和/或不同部件。在实施例中,成像系统100可以包括便携式装置并且可以例如包含到需要存储和/或显示图像的载具或非移动装置中。载具可以是陆基载具(例如,汽车、卡车)、海基载具、飞行器(例如,无人驾驶飞行器(UAV))、太空载具或可以包含成像系统100(例如,安装在其内、安装在其上等)的一般任何类型的载具。在另一示例中,成像系统100可以经由一种或多种类型的安装件联接到各种类型的固定位置(例如,家庭安全支架、露营地或户外支架或其他位置)。
根据一个实施方式,成像系统100包括处理部件105、存储器部件110、图像捕获部件115、图像接口120、控制部件125、显示部件130、感测部件135和/或网络接口140。根据各种实施例,处理部件105包括处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、单核处理器、多核处理器、微控制器、可编程逻辑器件(PLD)(例如,现场可编程门阵列(FPGA))、专用集成电路(ASIC)、数字信号处理(DSP)器件或可以通过硬连线、执行软件指令或两者的组合来配置以执行本文针对本公开的实施例讨论的各种操作的其他逻辑装置中的一个或多个。处理部件105可以配置成与成像系统100的各种其他部件(例如,110、115、120、125、130、135、140等)接口连接和通信以执行这样的操作。例如,处理部件105可以配置成处理从成像捕获部件115接收的捕获图像数据,将图像数据存储在存储器部件110中,和/或从存储器部件110检索存储的图像数据。在一方面,处理部件105可以配置成执行各种系统控制操作(例如,控制成像系统100的各种部件的通信和操作)和其他图像处理操作(例如,数据转换、视频分析等)。
在一些情况下,处理部件105可以对像素值执行诸如非均匀性校正(NUC)(例如,平场校正(FFC)或其他校准技术)、空间和/或时间滤波和/或辐射测量转换的操作。作为示例,FFC校准处理(例如,也称为FFC事件)通常可以指在数字成像中执行以从帧去除由图像检测器电路165的像素到像素输出的变化(例如,图像检测器电路165的各个微测辐射热计之间的变化)和/或光路中的失真引起的伪影的校准技术。在一种情况下,成像系统100可以包括内部结构(例如,快门、盖、罩、挡板)以选择性地阻挡图像检测器电路165。该结构可以用于向图像检测器电路165的检测器提供/呈现均匀场景。检测器被有效地从场景遮蔽。在一方面,FFC事件可以涉及在成像系统100的快门处于关闭位置以覆盖图像检测器电路165时捕获和平均多个帧,使得图像检测器电路165捕获结构的图像数据并且对场景视而不见。在另一种情况下,FFC事件可以包括使用外部FFC源,校正应用于捕获的图像数据,使得在查看外部FFC源时图像中的辐射测量数据是正确的。通常,内部FFC源和/或外部FFC源处于准确已知的温度。内部源(例如,内部结构)和/或外部源的捕获帧被累积并用于更新要应用于读出电路170(例如,接收读出电路170输出的帧的成像系统100的处理电路)输出的帧的FFC校正项并且通常不作为成像系统的输出被提供。在一些情况下,校准事件可以周期性地和/或根据用户命令执行。
在一个实施例中,存储器部件110包括一个或多个存储器装置,其配置成存储数据和信息,包括红外图像数据和信息。存储器部件110可以包括一种或多种不同类型的存储器装置,包括易失性和非易失性存储器装置,例如随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、非易失性随机存取存储器(NVRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘驱动器和/或其他类型的存储器。如上所述,处理部件105可以配置成执行存储在存储器部件110中的软件指令,以便执行方法和处理步骤和/或操作。在一个或多个实施例中,这样的指令在由处理部件105执行时可以使成像系统100执行操作以生成不确定度因子。处理部件105和/或图像接口120可以配置成在存储器部件110中存储由图像捕获部件115捕获的图像或数字图像数据。处理部件105可以配置成将经处理的静止和/或视频图像存储在存储器部件110中。
在一些实施例中,独立的机器可读介质145(例如,诸如硬盘驱动器、高密光盘、数字视频盘或闪存的存储器)可以存储软件指令和/或配置数据,其可以由计算机(例如,逻辑装置或基于处理器的系统)执行或访问以执行各种方法和操作,例如与处理图像数据关联的方法和操作。在一方面,机器可读介质145可以是便携式的和/或与成像系统100分开定位,通过将机器可读介质145联接到成像系统100和/或通过成像系统100从机器可读介质145下载(例如,经由有线链路和/或无线链路)将存储的软件指令和/或数据提供给成像系统100。应当领会,各种模块可以集成在软件和/或硬件中作为处理部件105的一部分,用于模块的代码(例如,软件或配置数据)存储在例如存储器部件110中。
成像系统100可以代表成像装置,例如视频和/或静物相机,以捕获和处理场景160的图像和/或视频。在这方面,成像系统100的图像捕获部件115可以配置成以特定光谱或模态捕获场景160的图像(例如,静止和/或视频图像)。图像捕获部件115包括图像检测器电路165(例如,热红外检测器电路)和读出电路170(例如,ROIC)。例如,图像捕获部件115可以包括IR成像传感器(例如,IR成像传感器阵列),其配置成检测近、中和/或远IR光谱中的IR辐射并且提供代表来自场景160的IR辐射的IR图像(例如,IR图像数据或信号)。例如,图像检测器电路165可以捕获(例如,检测、感测)具有在大约700nm至大约2mm的范围内或其一部分的波长的IR辐射。例如,在一些方面,图像检测器电路165可以对短波IR(SWIR)辐射、中波IR(MWIR)辐射(例如,具有2μm至5μm的波长的EM辐射)和/或长波IR(LWIR)辐射(例如,具有7μm至14μm的波长的EM辐射)或任何所需的IR波长(例如,通常在0.7μm至14μm范围内)敏感(例如,更好地检测)。在其他方面,图像检测器电路165可以捕获来自EM光谱的一个或多个其他波段的辐射,例如可见光、紫外光等。
图像检测器电路165可以捕获与场景160关联的图像数据(例如,红外图像数据)。为了捕获图像,图像检测器电路165可以检测场景160的图像数据(例如,以EM辐射的形式)并基于场景160生成图像的像素值。图像可以被称为帧或图像帧。在一些情况下,图像检测器电路165可以包括检测器阵列(例如,也称为像素阵列),其可以检测某个波段的辐射,将检测的辐射转换成电信号(例如,电压、电流等),并基于电信号生成像素值。阵列中的每个检测器可以捕获图像数据的相应部分并基于由检测器捕获的相应部分生成像素值。由检测器生成的像素值可以被称为检测器的输出。作为非限制性示例,每个检测器可以是光电检测器,例如雪崩光电二极管、红外光电检测器、量子阱红外光电检测器、微测辐射热计或能够将(例如,某个波长的)EM辐射转换为像素值的其他检测器。检测器阵列可以布置成行和列。在一个实施例中,图像检测器电路165可以从场景160中的(一个或多个)对象接收能量通量(例如,热红外能量通量)并将该能量通量转换为指示场景160中的(一个或多个)对象的温度的数据值。成像系统100可以进行辐射测量校准以确保从图像检测器电路165接收的能量大小到图像检测器电路165生成的数据值的准确转换。在一些情况下,不确定度因子可以基于与通量到温度转换关联的参数。
图像可以是或可以被认为是包括像素的数据结构并且是与场景160关联的图像数据的表示,每个像素具有表示从场景的一部分发射或反射并由生成像素值的检测器接收的EM辐射的像素值。基于上下文,像素可以指图像检测器电路165的检测器,其生成关联的像素值或从生成的像素值形成的图像的像素(例如,像素位置、像素坐标)。在一个实施例中,图像可以是基于热红外图像数据的热红外图像(例如,也称为热图像)。热红外图像的每个像素值表示场景160的相应部分的温度。
在一方面,由图像检测器电路165生成的像素值可以根据基于从转换检测到的辐射获得的电信号生成的数字计数值来表示。例如,在图像检测器电路165包括或以其他方式联接到模数(ADC)电路的情况下,ADC电路可以基于电信号生成数字计数值。对于可以使用14位表示电信号的ADC电路,数字计数值的范围可以从0到16,383。在这样的情况下,检测器的像素值可以是从ADC电路输出的数字计数值。在其他情况下(例如,在没有ADC电路的情况下),像素值本质上可以是模拟的,其值是或指示电信号的值。作为示例,对于红外成像,入射到图像检测器电路165(例如,IR图像检测器电路)上并被其检测到的更大量的IR辐射与更高的数字计数值和更高的温度关联。
对于红外成像,作为非限制性示例,与图像检测器电路165(及其关联的ADC电路,如果有的话)关联的特性可以包括动态范围、可以可靠表示的最小温度、可以可靠表示的最大温度和灵敏度。动态范围可以是或者可以指示可以由图像检测器电路165捕获并在红外图像中表示的最小温度和最大温度之间的范围(例如,差)。在这方面,低于最小温度的场景160的区域可能被掩埋在成像系统100的本底噪声中并且在IR图像中显得洗脱和/或有噪声。高于最大温度的场景160的区域导致红外图像的饱和,其中饱和的区域以与处于最大温度的区域相同的方式(例如,使用相同的颜色值或相同的灰度值)表示。例如,当图像检测器电路165使用ADC电路生成数字计数值时,处于或高于最大温度的温度可以全部映射到可以由ADC电路表示的最高值(例如,14位ADC电路的16,383),并且处于或低于最小温度的温度可以全部映射到可以由ADC电路表示的最低值(例如,0)。换句话说,红外图像不区分高于最大温度的区域和处于最大温度的区域,并且不区分低于最小温度的区域和处于最小温度的区域。
读出电路170可以用作检测图像数据的图像检测器电路165和处理由读出电路170读出的检测图像数据的处理部件105之间的接口,从读出电路170到处理部件105的数据通信由图像接口120促进。图像捕获帧速率可以指图像由图像检测器电路165按序列检测并由读出电路170提供给处理部件105的速率(例如,每秒图像)。读出电路170可以读出由图像检测器电路165根据积分时间(例如,也称为积分周期)生成的像素值。
在各种实施例中,图像检测器电路165和读出电路170的组合可以是、可以包括或可以一起提供FPA。在一些方面,图像检测器电路165可以是包括微测辐射热计阵列的热图像检测器电路,并且图像检测器电路165和读出电路170的组合可以被称为微测辐射热计FPA。在一些情况下,微测辐射热计阵列可以布置成行和列。微测辐射热计可以检测IR辐射并基于检测到的IR辐射生成像素值。例如,在一些情况下,微测辐射热计可以是热IR检测器,其检测热能形式的IR辐射并基于检测到的热能的量生成像素值。微测辐射热计可以吸收入射IR辐射并在微测辐射热计中产生相应的温度变化。温度的变化与微测辐射热计电阻的相应变化关联。每个微测辐射热计都用作像素,通过将每个微测辐射热计的电阻变化转换为时分复用电信号,可以生成入射IR辐射的二维图像或图片表示。转换可以由ROIC执行。微测辐射热计FPA可以包括IR检测材料,例如非晶硅(a-Si)、氧化钒(VOx)、它们的组合和/或其他检测材料。在一方面,对于微测辐射热计FPA,积分时间可以是或可以指示微测辐射热计偏置期间的时间间隔。在该情况下,较长的积分时间可能与较高的IR信号增益关联,但不会收集更多的IR辐射。可以通过微测辐射热计以热能的形式收集IR辐射。
在一些情况下,成像捕获部件115可以包括一个或多个滤波器,所述滤波器适于通过一些波长的辐射但基本上阻挡其他波长的辐射。例如,成像捕获部件115可以是包括适于通过一些波长的IR辐射而基本上阻挡其他波长的IR辐射的一个或多个滤波器(例如,MWIR滤波器、热IR滤波器和窄带IR滤波器)的IR成像装置。在该示例中,这样的滤波器可以用于定制成像捕获部件115以提高对所需IR波长带的灵敏度。在一方面,当IR成像装置被定制用于捕获热IR图像时,IR成像装置可以被称为热成像装置。其他成像装置,包括为捕获热范围外的红外IR图像而定制的IR成像装置,可以称为非热成像装置。
在一个具体的非限制性示例中,图像捕获部件115可以包括具有响应于包括近红外(NIR)、SWIR、MWIR、LWIR和/或非常长波红外(VLWIR)辐射的IR辐射的检测器的FPA的IR成像传感器。在一些其他实施例中,替代地或附加地,图像捕获部件115可以包括互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器,其可以在任何消费相机(例如,可见光相机)中找到。
可以包含在图像捕获部件115中的其他成像传感器包括光子混合器装置(PMD)成像传感器或其他飞行时间(ToF)成像传感器、LIDAR成像装置、雷达成像装置、毫米波成像装置、正电子发射断层摄影(PET)扫描仪、单光子发射计算机断层摄影(SPECT)扫描仪、超声成像装置或以特定模态和/或频谱操作的其他成像装置。值得注意的是,对于配置成以特定模态和/或频谱(例如,红外光谱等)捕获图像的这些成像传感器中的一些,例如,当与典型的基于CMOS或基于CCD的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像装置比较时,它们更倾向于产生具有低频阴影的图像。
由图像捕获部件115提供的图像或与图像对应的数字图像数据可以与相应的图像尺寸(也称为像素尺寸)关联。图像尺寸或像素尺寸通常是指图像中像素的数量,其可以例如表示为二维图像的宽度乘以高度或以其他方式适合于图像的相关尺寸或形状。因此,具有原始分辨率的图像可以被调整为更小的大小(例如,具有更小的像素尺寸),以便例如降低处理和分析图像的成本。可以基于对调整大小的图像的分析来生成滤波器(例如,非均匀性估计)。然后在应用于图像之前可以将滤波器的大小调整为图像的原始分辨率和尺寸。
在一些实施例中,图像接口120可以包括适当的输入端口、连接器、开关和/或电路,其配置成与外部装置(例如,远程装置150和/或其他装置)接口连接,以接收由外部装置生成或以其他方式存储在外部装置处的图像(例如,数字图像数据)。在一方面,图像接口120可以包括用于提供与图像数据关联的元数据的串行接口和遥测线。在一些情况下,元数据可以包括与图像数据(例如,其捕获)关联的信息,所述信息可以用于生成不确定度因子。接收到的图像或图像数据可以提供给处理部件105。在这方面,接收到的图像或图像数据可以转换成适合由处理部件105处理的信号或数据。例如,在一个实施例中,图像接口120可以配置成接收模拟视频数据并将其转换成合适的数字数据以提供给处理部件105。
图像接口120可以包括各种标准视频端口,所述标准视频端口可以连接到视频播放器、摄像机或能够生成标准视频信号的其他装置,并且可以将接收到的视频信号转换成适合由处理部件105处理的数字视频/图像数据。在一些实施例中,图像接口120还可以配置成与图像捕获部件115接口连接并从图像捕获部件115接收图像(例如,图像数据)。在其他实施例中,图像捕获部件115可以直接与处理部件105接口连接。
在一些实施例中,成像系统100可以选择性地以多种操作模式(例如,也称为操作状态)之一操作。例如,成像系统100可用的成像模式可以包括低增益模式(例如,也称为低增益状态)或高增益模式(例如,也称为高增益状态)。高增益模式可以与比低增益模式更高的灵敏度关联,而低增益模式可以与比高增益模式更高的动态范围(例如,更宽的温度范围)关联。低增益模式可以具有比高增益模式更低的最小温度和/或更高的最大温度。在一些情况下,高增益模式可以使用较长的积分时间,而低增益模式可以使用较短的积分时间。使用高增益模式或低增益模式生成的红外图像可以分别称为高增益红外图像或低增益红外图像。
成像系统100可以在低增益模式和高增益模式下操作之间转变。在一些情况下,当饱和和/或接近饱和温度(例如,超过饱和温度的90%)的像素数量达到阈值像素数量时可以发生从高增益模式到低增益模式的转变(例如,由成像系统100自主地或基于用户输入),而当不饱和的像素数超过阈值像素数量时可以发生从低增益模式到高增益模式的转变。例如,对于在高增益模式下操作的成像系统100,当阈值像素数量生成超过高到低饱和阈值的像素值时,成像系统100可以从高增益模式转变为低增益模式,否则如果不满足这些条件,则可以保持高增益模式。当阈值像素数量生成低于低到高饱和阈值的像素值时,成像系统100可以从低增益模式转变到高增益模式,否则如果不满足这些条件,则可以保持低增益模式。
在一方面,尽管低增益模式和高增益模式包含相同的输出范围(例如,当使用16位ADC电路时为0至65,535),但低增益模式与不同于高增益模式的温度范围关联。例如,在14位情况下(例如,0至16,383),在低增益模式下操作的像素生成的12,000的计数值可以指示400℃的温度,而由在高增益模式下操作的像素生成的12,000的相同计数值可以指示120℃的温度。在一方面,在高增益模式下,图像检测器电路165的像素可以具有在大约150℃至大约250℃之间的饱和温度。在低增益模式操作下,像素可以具有大约500℃至大约600℃之间的饱和温度。
利用一种或多种成像模式可以促进适应不同辐照度/温度水平的场景。多种图像捕获模式的使用可以促进图像捕获部件115捕获涉及温度的大变化的图像场景。高增益模式可以提供更高的灵敏度但是在对相对热(或冷)的对象成像时饱和,而低增益模式可以提供更大的场景温度范围,但灵敏度较低。
在一些实施例中,成像系统100可以在除了高增益和低增益模式之外的其他模式下操作,例如具有在高增益模式和低增益模式之间的灵敏度和/或动态范围的中等增益模式。附加的成像模式可以允许对灵敏度、动态范围、最小温度和/或最大温度进行更精细的调整和/或扩展以适应成像系统100可能遇到的各种场景/应用。成像系统100的各种部件可以包括用于每个操作模式的相应流水线。例如,成像捕获部件115(例如,成像捕获部件115的读出电路170)、图像接口120、处理部件105和/或成像系统100的其他部件可以包括不同的流水线以支持不同的操作模式。在通过引用整体并入本文的美国专利申请第16/511,401号中提供了可选择性地在多种操作模式下操作的成像系统的附加示例。
在一个实施例中,控制部件125包括用户输入和/或接口装置,例如可旋转旋钮(例如,电位计)、按钮、滑杆、键盘和/或其他装置,其适于生成用户输入控制信号。处理部件105可以配置成经由控制部件125感测来自用户的控制输入信号并且响应从其接收的任何感测到的控制输入信号。如本领域技术人员通常理解的,处理部件105可以配置成将这样的控制输入信号解释为值。在一个实施例中,控制部件125可以包括具有适于与用户交互并接收用户输入控制值的按钮的控制单元(例如,有线或无线手持控制单元)。在一个实施方式中,控制单元的按钮可以用于控制成像系统100的各种功能,例如成像系统或相机的自动对焦、菜单启用和选择、视场、亮度、对比度、噪声过滤、图像增强和/或各种其他功能。
在一个实施例中,显示部件130包括图像显示装置(例如,液晶显示器(LCD))或各种其他类型的众所周知的视频显示器或监视器。处理部件105可以配置成在显示部件130上显示图像数据和信息。处理部件105可以配置成从存储器部件110检索图像数据和信息并且在显示部件130上显示任何检索的图像数据和信息。显示部件130可以包括显示电路,处理部件105可以利用所述显示电路来显示图像数据和信息。显示部件130可以适于直接从图像捕获部件115、处理部件105和/或图像接口120接收图像数据和信息,或者图像数据和信息可以经由处理部件105从存储器部件110传送。在实施例中,显示部件130可以显示适合于请求和接收与显示不确定度因子相关的用户输入的图形用户界面。
在一个实施例中,如本领域技术人员将理解的,取决于应用或实施要求,感测部件135包括各种类型的一个或多个传感器。感测部件135的传感器至少向处理部件105提供数据和/或信息。在一方面,处理部件105可以配置成与感测部件135通信。在各种实施方式中,感测部件135可以提供关于环境条件的信息,例如室外温度、照明条件(例如,白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如,晴、雨和/或雪)、距离(例如,激光测距仪或飞行时间相机)和/或是否已进入或离开隧道或其他类型的封闭空间。感测部件135可以代表如本领域技术人员公知的用于监测可能对图像捕获部件115提供的图像数据(例如,对图像外观)具有影响的各种条件(例如,环境条件)的常规传感器。在一方面,感测部件135可以包括一个或多个温度传感器,以检测/监测成像系统100的一个或多个部件的温度。例如,温度传感器中的一个可以检测/监测图像检测器电路165的温度。
在一些实施方式中,感测部件135(例如,一个或多个传感器)可以包括经由有线和/或无线通信将信息中继到处理部件105的装置。例如,感测部件135可以适于通过本地广播(例如,射频(RF))传输、通过移动或蜂窝网络和/或通过基础设施(例如,交通或高速公路信息信标基础设施)中的信息信标或各种其他有线和/或无线技术从卫星接收信息。在一些实施例中,处理部件105可以使用从感测部件135检索到的信息(例如,感测数据)来修改图像捕获部件115的配置(例如,调整光敏度水平、调整图像捕获部件115的方向或角度、调整光圈等)。
在一些实施例中,成像系统100的各种部件可以分布在网络155上并彼此通信。在这方面,成像系统100可以包括网络接口140,其配置成促进成像系统100的各种部件之间通过网络155进行有线和/或无线通信。在这样的实施例中,如果需要,部件也可以被复制用于成像系统100的特定应用。也就是说,配置用于相同或相似操作的部件可以分布在网络上。此外,可以使用经由通过网络155上的网络接口140(如果需要)与成像系统100的各种部件通信的远程装置150(例如,传统数字视频记录器(DVR)、配置用于图像处理的计算机和/或其他装置)的适当部件来实现各种部件中的任何一个的全部或部分。因此,例如,处理部件105的全部或部分、存储器部件110的全部或部分和/或显示部件130的全部或部分可以在远程装置150处实现或复制。在一些实施例中,成像系统100可以不包括成像传感器(例如,图像捕获部件115),而是从与处理部件105和/或成像系统100的其他部件分开和远离定位的成像传感器接收图像或图像数据。应当领会,在不脱离本公开的范围和精神的情况下,成像系统100的分布式实现的许多其他组合是可能的。
此外,在各种实施例中,成像系统100的各种部件可以根据需要或取决于应用或要求被组合和/或实施或不实施。在一个示例中,处理部件105可以与存储器部件110、图像捕获部件115、图像接口120、显示部件130、感测部件135和/或网络接口140组合。在另一示例中,处理部件105可以与图像捕获部件115组合,使得处理部件105的某些功能由图像捕获部件115内的电路(例如,处理器、微处理器、逻辑装置、微控制器等)执行。
图2示出了根据本公开的一个或多个实施例的示例性图像传感器组件200的框图。然而,可能不需要示出的所有部件,并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下,可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。在实施例中,图像传感器组件200可以是FPA,例如,实现为图1的图像捕获部件115。
图像传感器组件200包括单位单元阵列205、列多路复用器210和215、列放大器220和225、行多路复用器230、控制偏置和定时电路235、数模转换器(DAC)240和/或数据输出缓冲器245。在一些方面,可以根据系统时钟和/或同步信号(例如,线同步(LSYNC)信号)来执行单位单元阵列205和其他部件的操作和/或与其相关的操作。单位单元阵列205包括单位单元的阵列。在一方面,每个单位单元可以包括检测器(例如,像素)和接口电路。每个单位单元的接口电路可以响应于由单位单元的检测器提供的检测信号(例如,检测电流、检测电压)而提供输出信号,例如输出电压或输出电流。输出信号可以指示由检测器接收的EM辐射的幅度并且可以被称为图像像素数据或简称为图像数据。列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以用于提供来自单位单元阵列205的输出信号作为数据输出线250上的数据输出信号。数据输出线250上的输出信号可以提供给图像传感器组件200下游的部件,例如处理电路(例如,图1的处理部件105)、存储器(例如,图1的存储器部件110)、显示装置(例如,图1的显示部件130)和/或便于处理、存储和/或显示输出信号的其他部件。数据输出信号可以是由用于图像传感器组件200的像素值形成的图像。在这方面,列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以共同提供图像传感器组件200的ROIC(或其一部分)。在一方面,接口电路可以被认为是ROIC的一部分,或者可以被认为是检测器和ROIC之间的接口。在实施例中,图像传感器组件200的部件可以被实施为使得单位单元阵列205混合到(例如,结合到、接合到、配合到)ROIC。这种混合的示例关于图3进行描述。
列放大器225通常可以代表适合于给定应用(模拟和/或数字)的任何列处理电路,并且不限于用于模拟信号的放大器电路。在这方面,列放大器225在这样的方面可以更一般地称为列处理器。由列放大器225接收的信号,例如模拟总线上的模拟信号和/或数字总线上的数字信号,可以根据信号的模拟或数字性质进行处理。作为示例,列放大器225可以包括用于处理数字信号的电路。作为另一示例,列放大器225可以是来自单位单元阵列205的数字信号穿过以到达列多路复用器215的路径(例如,无处理)。作为另一示例,列放大器225可以包括用于将模拟信号转换为数字信号(例如,获得数字计数值)的ADC。这些数字信号可以提供给列多路复用器215。
每个单位单元可以接收偏置信号(例如,偏置电压、偏置电流)以偏置单位单元的检测器以补偿由于例如温度变化、制造差异和/或其他因素而导致的单位单元的不同响应特性。例如,控制偏置和定时电路235可以生成偏置信号并将它们提供给单位单元。通过向每个单位单元提供适当的偏置信号,可以有效地校准单位单元阵列205以响应入射在单位单元的检测器上的光(例如,IR光)提供准确的图像数据。在一方面,控制偏置和定时电路235可以是逻辑电路、可以包括逻辑电路或者可以是逻辑电路的一部分。
控制偏置和定时电路235可以生成用于寻址单位单元阵列205的控制信号,以允许访问和读出单位单元阵列205的被寻址部分的图像数据。单位单元阵列205可以被寻址以逐行访问和读出来自单位单元阵列205的图像数据,但是在其他实施方式中,单位单元阵列205可以逐列或经由其他方式被寻址。
控制偏置和定时电路235可以生成偏置值和定时控制电压。在一些情况下,DAC240可以将作为数据输入信号线255上的数据输入信号或作为数据输入信号的一部分接收的偏置值转换成偏置信号(例如,模拟信号线260上的模拟信号),其可以通过列多路复用器210、列放大器220和行多路复用器230的操作提供给各个单位单元。例如,DAC 240可以将数字控制信号(例如,作为位提供)驱动到单位单元的适当模拟信号电平。在一些技术中,0或1的数字控制信号可以分别被驱动到适当的逻辑低电压电平或适当的逻辑高电压电平。在另一方面,控制偏置和定时电路235可以在不使用DAC 240的情况下生成偏置信号(例如,模拟信号)并且将偏置信号提供给单位单元。在这方面,一些实施方式不包括DAC 240,数据输入信号线255和/或模拟信号线260。在实施例中,控制偏置和定时电路235可以是、可以包括图1的处理部件105和/或成像捕获部件115、可以是其一部分或可以以其他方式与其联接。
在一个实施例中,图像传感器组件200可以实现为成像系统(例如,100)的一部分。除了图像传感器组件200的各种部件之外,成像系统还可以包括一个或多个处理器、存储器、逻辑、显示器、接口、光学器件(例如,透镜、反射镜、分束器)和/或可能适用于各种实施方式的其他部件。在一方面,数据输出线250上的数据输出信号可以提供给处理器(未示出)以进行进一步处理。例如,数据输出信号可以是由来自图像传感器组件200的单位单元的像素值形成的图像。处理器可以执行操作,例如非均匀性校正(例如,FFC或其他校准技术)、空间和/或时间滤波和/或其他操作。图像(例如,经处理的图像)可以存储在存储器(例如,在成像系统的外部或本地)中和/或显示在显示装置(例如,在成像系统的外部和/或与成像系统集成)上。图2的各种部件可以在单个芯片或多个芯片上实现。此外,尽管各种部件示出为一组单独的块,但是可以将各种块合并在一起或图2中所示的各种块可以分成独立的块。
应当注意在图2中单位单元阵列205示出为8×8(例如,单位单元的8行和8列)。然而,单位单元阵列205可以是其他阵列尺寸。作为非限制性示例,单位单元阵列205可以包括512×512(例如,单位单元的512行和512列)、1024×1024、2048×2048、4096×4096、8192×8192和/或其他阵列尺寸。在一些情况下,阵列尺寸可以具有不同于列尺寸(例如,一列中的检测器数量)的行尺寸(例如,一行中的检测器数量)。帧速率的示例可以包括30Hz、60Hz和120Hz。在一方面,单位单元阵列205的每个单位单元可以代表一个像素。
在实施例中,图像传感器组件200的部件可以实施为使得检测器阵列混合到(例如,结合到)读出电路。例如,图3示出了根据本公开的一个或多个实施例的示例性图像传感器组件300。然而,可能不需要示出的所有部件,并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下,可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。在实施例中,图像传感器组件300可以是图像传感器组件200、可以包括图像传感器组件200或者可以是图像传感器组件200的一部分。
图像传感器组件300包括器件晶片305、读出电路310和将器件晶片305结合(例如,机械和电结合)到读出电路310的接触件315。器件晶片305可以包括检测器(例如,单位单元阵列205)。接触件315可以将器件晶片305的检测器和读出电路310结合。接触件315可以包括器件晶片305的检测器的导电接触件、读出电路310的导电接触件和/或检测器的导电接触件和读出电路310的导电接触件之间的金属结合。在一个实施例中,器件晶片305可以使用结合凸块(例如,铟凸块)凸块结合(bump-bonded)到读出电路310。结合凸块可以形成在器件晶片305和/或读出电路310上,以允许器件晶片305和读出电路310之间的连接。在一方面,将器件晶片305混合到读出电路310可以指将器件晶片305(例如,器件晶片305的检测器)结合到读出电路310以将器件晶片305和读出电路310机械和电结合。
图4示出了根据本公开的一个或多个实施例的用于促进红外成像的不确定度测量的示例性系统400。然而,可能不需要示出的所有部件,并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下,可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。
系统400包括FPA 405、视觉表示装置410(例如,也称为着色装置)、图像分析装置415和显示装置420。在实施例中,FPA 405、视觉表示装置410和/或图像分析装置415可以使用单个芯片上的一个或多个处理电路实现或分布在两个或更多个芯片上。
FPA 405包括检测器阵列和ROIC。FPA 405从场景接收光并基于光(例如光的红外分量)生成红外数据值(例如,热红外数据值)。例如,FPA 405可以包括或可以联接到基于红外辐射生成红外数据值的ADC电路。16位ADC电路可以生成范围从0至65,535的红外数据值。在一方面,检测器阵列是检测IR辐射(例如,热IR辐射)的红外检测器阵列(例如,微测辐射热计阵列)。在一方面,FPA 405可以生成与红外数据值关联的报头。报头可以包括与红外数据值的捕获和/或当捕获红外数据值时FPA 405的操作关联的参数。图像分析装置415可以使用这样的数据来生成不确定度因子。在一些情况下,FPA 405可以经由串行接口和遥测线将报头提供给其他部件。作为非限制性示例,报头中提供的数据可以包括捕获红外数据值时FPA 405的温度TFPA、捕获红外数据值时的环境温度、捕获红外数据值前后的FPA 405的温度稳定性(例如,捕获红外数据值前后一段时间内温度TFPA的变化率)、FPA 405的校准源的温度、自FPA 405启动以来的时间、大气透射率和窗口透射率。在实施例中,FPA 405可以由成像捕获部件115实现。
视觉表示装置410从FPA 405和调色板(或调色板的指示)接收红外数据值并且将调色板应用于红外数据值以生成红外图像。视觉表示装置410可以包括调色板的选择(例如,用户选择、默认选择)。在一方面,应用调色板可以被称为对红外数据值着色(例如,使用颜色值和/或灰度值)。在一方面,视觉表示装置410可以从FPA 405生成报头和/或调整报头,以在报头中识别应用于红外数据值的调色板。报头可以附加到红外图像。应当注意,尽管FPA 405和视觉表示装置410在图4中示出为独立的部件,但视觉表示装置410可以是或可以被认为是FPA 405的一部分,使得FPA405输出通过将调色板应用于由FPA405捕获的红外数据值而生成的红外图像。在实施例中,视觉表示装置410可以由图1的处理部件105实现。
图像分析装置415接收数据并基于接收的数据生成不确定度因子。数据可以包括来自FPA 405的数据、来自包括FPA 405的成像系统(例如相机)的其他部件的数据和/或来自成像系统外部的源的数据。在一些情况下,由图像分析装置415用来生成不确定度因子的数据的至少一部分可以包含在由FPA 405生成的报头中,以提供与FPA 405捕获的红外数据值关联的数据(例如,元数据)。报头可以由FPA 405经由串行接口和遥测线提供给图像分析装置415。在一些情况下,图像分析装置415可以基于红外数据值生成温度数据。例如,温度数据可以包括温度确定结果、对象识别结果和/或其他。
与FPA 405(例如,更一般地说,包括FPA 405的成像系统)关联的辐射测量精度通常根据操作条件而变化。因而,在一些实施例中,由图像分析装置415生成的不确定度因子可以基于并且因此可以指示当红外数据值由FPA 405捕获时FPA 405(例如,更一般地说,成像系统)的操作条件。等效地,不确定度因子可以指示与关联于FPA 405的辐射测量数据关联的置信度。辐射测量数据可以包括由FPA 405捕获的红外数据值和/或基于红外数据值导出/生成的数据/结果(例如、图像温度统计、温度确定结果、对象识别结果等)。
在一些情况下,不确定度因子可以与来自场景的局部部分的红外数据值(例如来自形成成像系统的点测光计的像素的红外数据值)关联。作为示例,不确定度因子可以提供与基于来自形成点测光计的像素的红外数据值确定的平均温度关联的置信度。作为另一示例,不确定度因子可以提供在红外图像中识别为人的对象确实是人的置信度。在一些情况下,不确定度因子可以与整个场景的红外数据值关联。例如,不确定度因子可以提供与基于来自FPA 405的所有像素的红外数据值确定的平均温度关联的置信度。
在一些实施例中,不确定度因子可以基于与FPA 405和/或其操作关联的各种温度。作为非限制性示例,不确定度因子可以基于FPA 405的温度TFPA、环境温度、场景温度、校准源(例如,内部快门、外部源)的温度、FPA 405的温度随时间的变化率(例如,FPA 405是否处于稳态操作),在先前校准事件(例如,FFC事件)期间FPA 405的温度和/或各种这些温度相对于其他温度。与各种这些因素关联的权重可以取决于成像系统的增益状态(例如,低增益模式或高增益模式)。
各种这些参数与成像系统的增益误差和/或成像系统的偏移误差有关。不确定度因子可以基于这些参数。成像系统的偏移误差可能是由于成像系统不仅响应场景而且响应其自身温度(例如,成像系统的自热)。由于FPA405和/或成像系统的热模型的缺陷,这些参数中的一个或多个可能导致误差。在一些情况下,这样的缺陷可能是由于热模型的外推造成的。
在一个实施例中,成像系统的增益误差以及因此部分基于增益误差确定的不确定度因子可以基于目标温度Ttgt、校准源的温度、FPA 405的温度TFPA和/或成像系统的增益状态。增益误差可以基于(例如,成比例)目标温度相对于成像系统用于校准的源的温度TcalibSource。例如,增益误差可以基于(例如,成比例)目标温度Ttgt和校准源的温度TcalibSource之间的差。校准源的温度TcalibSource通常是准确已知的。在一方面,目标温度Ttgt可以是整个场景的温度特性。例如,目标温度可以是基于来自FPA 405的检测器的图像数据确定的平均温度。在一方面,目标温度Ttgt可以是场景的局部部分的温度特性。在一些情况下,点测光计可以限定场景的局部部分。例如,目标温度Ttgt可以是基于来自与局部部分关联的FPA 405的检测器子集的图像数据确定的平均温度。校准源可以是成像系统内部的源,例如阻挡FPA405的检测器的成像系统的结构(例如,快门、挡板),或成像系统外部的源。成像系统外部的源可以是具有已知温度的场景中的参考对象。例如,参考对象可以是黑体对象。
关于温度TFPA,成像系统可以存储和/或访问与FPA 405关联的响应率查找表。查找表的边界值可以与增益误差的更高可能性关联(例如,由于外推误差)。在一种情况下,增益误差可以基于FPA 405的当前温度TFPA相对于FPA 405的增益校准期间FPA 405的温度。例如,增益误差可以基于当前温度TFPA和增益校准期间FPA 405的温度之间的差。对于成像系统的增益状态,低增益状态可能与增益误差的较高可能性关联。由于在生成响应率查找表的校准过程期间较差的信噪比(SNR),低增益状态可能与增益误差的较高可能性关联。
在一个实施例中,成像系统的偏移误差和因此部分基于偏移误差确定的不确定度因子可以基于FPA 405的温度TFPA、执行先前校准事件(例如、FFC事件)时的温度Tcalib、与成像系统关联的温度稳定性、与成像系统关联的内部FFC、成像系统视场中的目标位置、自FPA405启动以来的时间和/或温度距离。不确定度因子可以基于(例如,成比例)温度TFPA和Tcalib之间的差。关于温度稳定性,当温度稳定性较低(例如,更多的温度回转)时,可能存在较大的偏移误差可能性。关于内部FFC,不完美的透镜和/或快门温度估计可能会导致偏移误差。关于目标位置,目标(例如,点测光计位置)离成像系统视场的中心越远,可能出现不均匀性的可能性就越大。对自FPA 405启动以来的时间,随着自FPA 405启动以来的时间增加,偏移误差的可能性更大(例如,由于热模型缺陷)。关于温度距离,漫射目标可能存在更大的杂散光贡献。
在一些方面,不确定度因子可以基于与辐射传播到FPA 405相关的外部因素,例如窗口透射、大气透射和目标发射率。作为示例,图5示出了根据本公开的一个或多个实施例的用于捕获与从场景505到红外相机520的辐射传播相关的这些外部因素的示例性模型500。在一个实施例中,红外相机520可以是、可以包括包含FPA 405的成像系统或可以是包含FPA405的成像系统的一部分。模型500基于由红外相机520捕获的场景505生成红外图像(例如,也称为辐射测量图像)。模型500考虑了场景505和红外相机520之间的大气510和窗口515。例如,大气510和窗口515可以在红外相机520的检测器(例如,微测辐射热计)的阵列的前面。因而,模型500考虑和/或可以调整以考虑在成像场景和红外相机520之间提供的附加部件(例如,诸如透镜和/或保护窗口的光学元件),以考虑归因于这样的附加部件的辐射测量变化。红外相机520上的入射辐射可以由以下给出:
Figure BDA0003408226980000241
表1提供了在上述等式和图5中使用的符号和描述。
表1:符号和描述
Figure BDA0003408226980000242
在一方面,图5和表1中所示的各种因素可能会影响辐射测量精度,从而影响不确定度因子。这些因素可以被跟踪(例如,由成像系统和/或其他系统)并用作红外相机520和/或包括红外相机520的辐射测量红外相机系统的反馈。在一些情况下,天气条件可能会影响大气透射、场景中对象的发射率和/或窗口透射。例如,诸如雾、雨和湿度的天气条件可能会导致窗口515上有水,从而影响通过窗口515的透射。可以测量湿度,并且可以基于测量的局部湿度来估计由于大气510中的水造成的损失。不确定度因子可以考虑表1中阐述的各种变量、天气条件和/或其他外部因素。
如前所述,不确定度因子可能是定量的或定性的。对于定量的不确定度因子,与本文提供的与捕获的红外图像数据关联的各种参数相关的等式和/或查找表可以用于提供与红外图像数据关联的置信度的定量指示。在一方面,与红外图像数据关联的置信度可以指红外图像数据本身和/或从红外图像数据导出的数据的置信度。当捕获红外数据值时,不确定度因子也可被视为操作条件的指示。在一些情况下,不确定度因子可以作为温度单位和/或百分比的预期准确度提供。作为一个示例,由红外图像数据形成的红外图像可能具有估计为42℃的平均温度和±1.25℃(或等效地±3%)的相关定量不确定度因子,使得平均温度可能预期落在42℃±1.25℃(或等效地42℃±3%)内。定量不确定度因子(例如,±1.25℃和/或±3%)可以显示在显示装置420上。在一些情况下,用户可以指示是否和/或如何向用户和/或他人显示/呈现定量不确定度因子。
不确定度因子可能是定性的。在一方面,基于捕获红外数据值时的操作条件,定性不确定度因子可以指示与FPA 405关联的红外图像数据落在多个预定的不确定度级别(例如,也称为预定置信度级别)中的哪个内。作为非限制性示例,定性不确定度因子可以是四个预定级别/值之一。然而,在其他示例中,与本示例中提供的四个相比,定性不确定度因子可能落在更少、更多和/或不同的预定水平内。
在具有四个预定级别的示例中,不确定度因子可以表示(例如,用于在显示装置420上显示)为术语/短语(例如,“高置信度”、“无置信度”)或数字/符号(例如,“1”表示高置信度,“4”表示无置信度)。应当注意,预定级别通常提供不确定度的相对量度,使得不确定度因子“1”比“2”与更高的置信度关联,“2”比“3”与更高的置信度关联,等等。例如,“3”的不确定度因子是否可以被认为是“足够的置信度”或“低置信度”可以取决于图像分析装置415的实施方式(例如,图像分析装置415如何生成不确定度因子)和/或应用(例如,安全应用可能认为与高于“1”的不确定度关联的所有不确定度因子是不充分的)。取决于实施方式和/或应用,预定级别可以但不必与不确定度的绝对测量关联。在这方面,定性不确定度因子的预定级别可以但不必对应于值或范围(例如,温度单位和/或百分比)。例如,一个实施方式可能指示“2”和“3”的定性不确定度因子可能分别对应于±2%和±5%的定量不确定度因子,而另一实施方式不提供定性不确定度因子和定量不确定度因子之间的对应关系。在一些情况下,对于定量不确定度因子,用户可以指示是否和/或如何向用户和/或他人显示/呈现定性不确定度因子。
在一个示例性实施方式中,当FPA 405的温度TFPA处于参考温度(例如,室温环境温度)附近、处于或接近稳态/温度操作(例如,FPA 405稳定的温度)、自先前校准事件(例如,FFC事件)以来的FPA 405的最小温度漂移,场景温度(例如,平均场景温度)在用于生成校准系数的温度范围内,窗口透射、大气透射和目标发射率等外部因素几乎不需要校正时,FPA405可以被称为在情形1(例如,也称为不确定度级别1、“最高置信度”或“最低不确定度”)中操作,因此被认为是在期望用于(例如,最佳用于)红外图像捕获的条件下操作。在这样的实施方式中,图像分析装置415可以接收指示这样的条件的数据(例如,由成像系统和/或其他系统测量)并且生成具有值“1”的不确定度因子以指示红外数据值是“最高置信度”。在一种情况下,用于生成不确定度因子的数据可以包括FPA 405的温度TFPA、FPA 405的温度TFPA随时间的变化率、场景温度、用于生成校准系数的温度范围以及外部因素。
在一方面,当温度TFPA在阈值温度TrefMin_thresh和TrefMax_thresh之间时,可以认为FPA405的温度TFPA在参考温度附近。远离参考温度的FPA 405的温度可能与更高的误差关联。在一种情况下,参考温度可以是室温环境温度。室温环境温度可以为22℃。例如,当FPA温度TFPA在室温环境温度的±3℃范围内(例如,TrefMin_thresh=19℃且TrefMax_thresh=25℃)时,可以认为FPA温度TFPA接近室温环境温度。FPA 405的不同实施方式可以使用不同的参考温度和/或不同的阈值温度TrefMin_thresh和/或TrefMax_thresh
在一方面,当表示为|δTFPA/δt|的温度TFPA随时间的变化率的幅度(即绝对值)小于稳定性阈值stableTthresh时,FPA405可以被认为处于稳态/稳定温度操作。在这方面,当|δTFPA/δt|=0时,可以认为FPA 405处于稳态操作。FPA 405的不同实施方式和/或应用可以使用不同的稳定性阈值。作为非限制性示例,稳定性阈值可以是0.1℃/min、0.2℃/min、0.3℃/min、0.4℃/min、0.5℃/min、这些值之间的值和/或其他值。
在一方面,当表示为|TFPA–TprevCalib|的温度TFPA和温度TprevCalib之间的差的幅度小于温度阈值TCalib_thresh时,可以认为FPA 405具有温度TFPA相对于执行最近校准事件(例如,FFC事件)时的温度TprevCalib的最小漂移/变化。
在一方面,目标温度可以在与FPA 405的校准关联的温度范围内。温度范围可以基于成像系统操作的增益状态(例如,低增益或高增益)。温度范围可以由下阈值温度TtgtMin_thresh(cur_gain_state)和上阈值温度TtgtMax_thres(cur_gain_state)界定,其中cur_gain_state是成像系统的增益状态并且阈值温度是cur_gain_state的函数。例如,阈值温度TtgtMin_thres(cur_gain_state)和TtgtMax_thres(cur_gain_state)对于高增益模式可以分别为5℃和150℃,对于低增益模式可以分别为5℃和600℃。在一种情况下,可以执行校准以确定入射辐射(例如,热红外辐射)和与入射辐射关联的温度之间的关系。校准可以用于生成与由FPA 405和/或由FPA 405下游的部件执行的通量到温度转换关联的系数。例如,可以执行校准,以确定用于限定从场景中的对象接收的能量通量和指示场景中对象的温度的数据值之间的关系的系数。在一些情况下,目标温度可以是整个场景的温度特性。例如,目标温度可以是基于来自FPA 405的检测器的图像数据确定的平均温度。在一些情况下,目标温度可以是场景的局部部分的温度特性。例如,目标温度可以是基于来自作为成像系统的点测光计的一部分的FPA 405的检测器的图像数据确定的平均温度。
在一方面,当基于这些外部因素的参数高于最小透射阈值时,可以认为对于外部因素几乎不需要校正。外部因素可以包括窗口透射、大气透射和目标发射率。
继续参考上面的示例性实施方式,如果满足情形1的大多数但不是所有条件,则FPA 405可以被称为在情形2中操作,并且等效地,图像分析装置415生成不确定因子“2”。在一种情况下,除了确定FPA 405的温度不在参考温度附近之外,可以满足情形1的所有条件。在一些情况下,在情形2中,尽管确定温度TFPA不在参考温度附近,但温度TFPA可能需要在成像系统的有效操作温度范围内。成像系统的有效操作温度范围可以跨越下温度阈值TopMin_thresh和上温度阈值TopMax_thresh,其中TopMin_thresh<TrefMin_thresh且TrefMax_thresh<TopMax_thresh。作为非限制性示例,TopMin_thresh=-40℃且TopMax_thresh=100℃,但是成像系统可以适当地设计成在低于-40℃和/或高于100℃的温度下操作。
如果满足情形2的大多数但不是所有条件,则FPA 405可以被称为在情形3中操作,并且等效地,图像分析装置415生成具有值“3”的不确定度因子。在一种情况下,除了FPA405未在稳定状态下操作之外,可以满足情形2的所有条件。当FPA 405的温度变化幅度大于稳定性阈值时,可以认为FPA 405在稳定状态之外操作。在一些情况下,在情形3中,当FPA405被认为处于稳定状态之外时,|δTFPA/δt|可能需要小于阈值回转阈值slowDriftthresh,其中slowDriftthresh>stableTthresh
如果不认为FPA 405在上面提供的情形1、2和3中操作,则FPA405可以被称为在情形4中操作,并且等效地,图像分析装置415生成具有值“4”的不确定度因子。在一些情况下,情形4可以指示没有特定置信度可归因于由FPA 405捕获的红外图像数据。
在一些情况下,上面提供的一个或多个阈值(例如,阈值温度、温度随时间的阈值变化率)可以由成像系统的制造商指定。FPA 405的不同实施方式和/或FPA 405的应用可以与不同的阈值关联。在一些情况下,阈值可以存储在由成像系统生成的每个图像的报头中。在报头中存储阈值可以促进处理由成像系统生成的图像,例如由成像系统的各种部件(例如,图像捕获部件115下游的部件)和/或其他系统生成的图像。
显示装置420接收来自视觉表示装置410的红外图像和来自图像分析装置415的不确定度因子,并选择性地显示红外图像和/或不确定度因子(例如,向用户和/或其他查看者)。在一方面,用户可以选择是否和/或如何显示红外图像和/或不确定度因子。在一些情况下,用户可以提供适当的设置以使显示装置420显示红外图像和接近和/或叠加在红外图像上的不确定度因子。在一些情况下,显示装置420可以显示一个或多个图形用户界面(GUI),其适合于接收用户输入,例如选择是否显示红外图像和/或不确定度因子的用户输入、选择将由视觉表示装置410应用于FPA 405的红外数据值的调色板的用户输入等。可以通过点击(例如,使用鼠标、触控笔、手指等)、键盘输入(例如,对于文本和数字)、手势输入(例如,对于触摸屏)、语音输入(例如,对于具有语音识别的成像系统)和/或其他接收用户输入的方式来接收用户输入。作为非限制性示例,输入字段可以包括文本输入字段、复选框、单选按钮、滑块或下拉菜单。更一般地,可以提供由视觉表示装置410输出的图像以使用显示装置420进行显示、存储(例如,使用存储器部件110)和/或进一步处理(例如,在显示之前)。在实施例中,显示装置420可以是显示部件130、可以包括显示部件130或者可以是显示部件130的一部分。
图6示出了根据本公开的一个或多个实施例的具有在其上显示的红外图像605(例如,热红外图像)的示例性显示屏600。在一个实施例中,显示屏600可以作为成像系统(例如,成像系统100)的一部分被提供或以其他方式联接到成像系统。可以提供显示屏600以供成像系统的用户查看。显示屏600可以是图1的显示部件130、可以包括图1的显示部件130或者可以是图1的显示部件130的一部分。
红外图像605具有颜色条610、与成像系统的点测光计关联的点测光计指示器615、与点测光计关联的温度值620、与点测光计关联的温度计条625、与点测光计关联的不确定度因子630以及叠加在其上的成像系统的电池指示器635。颜色条610提供红外图像605的像素的颜色和与该像素关联的温度之间的映射的表示。在温度计条625附近提供温度的数字标签。在一方面,颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635的位置、大小(例如,文本大小、条高度和条宽度)、格式和/或一些其他特性可以由用户调节。在一些情况下,用户可以设置颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635的例如,在显示屏600和/或显示在显示屏600上的图像上)例如,在显示屏600和/或显示在显示屏600上的图像上的)默认位置(和默认大小。
不确定度因子630表示为“S1”以指示情形1。不确定度因子630与点测光计关联并且提供与温度值620和温度计条625关联的置信度。在这方面,不确定度因子630可以被认为是与成像系统关联的当前操作条件的点测光计准确度的置信量度。用户可以指示如何表示(例如,显示什么格式)不确定度因子630。例如,可以使用“情形1”、“1”、“最高置信度”和/或由制造商提供和/或用户定义的其他格式而不是“S1”来表示不确定度因子630。在一种情况下,成像系统可以允许用户选择或定义一种格式来表示不确定度因子630可以呈现的每个预定不确定度级别。尽管在图6中不确定度因子630具体地与点测光计关联(例如,提供与温度值620和温度计条625关联的置信度),但不确定度因子630通常可以适用于由整个红外图像605提供的温度数据。此外,尽管不确定度因子630是定性的不确定度因子,但替代地或附加地,可以向用户显示定量的不确定度因子。
在一些情况下,不同于将颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635叠加在红外图像605上,颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635可以设置在显示屏600的红外图像605之外的部分上(当这样的屏幕不动产可用时)。当叠加在红外图像605上时(例如,其中这样的信息阻挡红外图像605的一部分)与当显示在红外图像605之外时相比,用户可以指定不同的格式以显示颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635。例如,当叠加在红外图像605上时,用户可以指定将不确定度因子630显示为“S1”,而当显示在红外图像605之外时显示为“情形1”。在一些情况下,用户可以能够选择颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635中的哪一个向用户显示或不显示。在一些方面,GUI可以在图像(例如,热红外图像)显示在显示屏600上的同时向用户显示,例如响应用户输入以调整是否和/如何显示颜色条610、点测光计指示器615、温度值620、温度计条625、不确定度因子630和/或电池指示器635以引起显示屏600和/或其他显示屏的实时调整。
成像系统的点测光计位于红外图像605的中心,如点测光计指示器615所示。在一些情况下,点测光计可以(例如,默认)位于红外图像605的中心。在一些情况下,点测光计的位置和/或大小可以由用户指定(例如,用户指定的感兴趣区域)。如点测光计指示器615以图形方式表示,点测光计包含多个像素。点测光计的位置可以作为行和列坐标被提供。例如,点测光计的位置可以由左下角像素和右上角像素的行和列坐标定义。尽管图6中的点测光计设置为正方形区域,但点测光计可以是其他形状,例如矩形、三角形、圆形或其他形状。
与点测光计关联的各种温度数据(例如,特性和统计)可以被确定(例如,通过图像分析装置415)并且提供给用户,例如像素的位置、像素的平均温度,像素温度的标准偏差和/或方差、这些像素中的最低温度值、这些像素中的最高温度值、具有最低温度值的像素的位置以及具有最高温度值的像素的位置。温度值620提供与点测光计指示器615关联的温度并且温度计条625提供温度值620的图形表示。例如,温度值620可以是点测光计所包含的像素的平均温度。在一些情况下,替代地或附加地,与温度值620关联的百分比值可以叠加在红外图像605上。百分比值可以是大约11.9%,原因是30℃处于沿着从-40℃至550℃的整个温度范围的大约11.9%点附近。不确定度因子630与点测光计关联并且提供与温度值620和温度计条625关联的置信度。在一些情况下,温度值620和不确定度因子630可以由图像分析装置415确定。在一些情况下,点测光计特征可以是可选的。在用户未请求局部数据(例如局部温度统计)的一些情况下,不确定度因子可以提供与整个红外图像关联的置信度,例如红外图像的所有像素的平均温度、所有像素的温度的标准偏差和/或方差、所有像素中的最低温度值等。
在一方面,用于生成红外图像605的调色板(由颜色条610表示)可以用于通过将颜色值应用/映射到该温度范围内的特征并为该温度范围外的温度(例如,高于和低于温度)应用/映射灰度值而强调具有某个温度范围(例如,感兴趣的温度范围)内的温度的场景特征。例如,调色板可以用于在红外图像中定位人体,例如用于人体检测应用。在该示例中,不确定度因子630可以提供与成像系统的人体检测能力关联的置信度。
图7示出了根据本公开的一个或多个实施例的用于促进红外成像的不确定度测量的示例性过程700的流程图。尽管出于解释目的本文主要参考图4的系统400来描述过程700,但过程700可以与用于促进红外成像的不确定度测量的其他系统相关地执行。应当注意图7中的一个或多个操作可以根据需要以不同的顺序组合、省略和/或执行。
在框705处,图像分析装置415确定与红外图像关联的温度数据。作为非限制性示例,温度数据可以包括对象识别结果、与一个或多个对象关联的温度预测、红外图像的平均温度、像素温度的标准偏差和/或方差、这些像素中的最低温度值和这些像素中的最高温度值。温度数据可以从红外图像的一部分(例如,点测光计)或整体导出。在一些情况下,图像分析装置415可以分析来自FPA 405的红外数据值和/或红外图像(例如,在红外数据值的着色之后),以获得温度数据。
在框710处,图像分析装置415接收与红外图像关联的参数。参数可以包括FPA 405的温度TFPA、FPA 405的温度TFPA随时间的变化率、场景温度、用于生成校准系数的温度范围、外部因素和/或其他。在一些情况下,当捕获图像数据时,参数中的至少一个可以与成像系统的操作条件关联。在一些情况下,图像分析装置415可以接收与红外图像关联的报头中的参数(例如,经由遥测线)。在框715处,图像分析装置415基于参数确定与温度数据关联的不确定度因子。不确定度因子可以是定性的和/或定量的。在框720处,图像分析装置415提供用于存储和/或显示的不确定度因子(例如,通过显示装置420)。在一个实施例中,不确定度因子可以与红外图像数据和/或红外图像关联地存储和/或显示。
尽管过程700参考图4的系统400进行描述,其中由系统400生成用于系统400捕获的图像数据的不确定度因子(例如,当图像数据被捕获并提供给视觉表示装置410时,不确定度因子大约实时地生成),过程700可以生成用于先前捕获/生成(例如,由系统400和/或其他系统)和存储的图像数据和/或图像的不确定度因子。然后可以访问/检索存储的图像数据和/或图像(例如,存储的快照和/或视频剪辑)和关联数据,以在以后的时间点进行处理。关联数据可以包括在附加到图像数据和/或图像的报头中提供和/或以其他方式与数据的与图像数据和/或图像的关联的适当指示一起存储的元数据。例如,这种处理可以包括生成用于存储的图像数据和/或图像的不确定度因子。例如,可以使用作为系统400的一部分或与系统400分离的图像查看/图像处理软件工具来处理存储的图像数据和/或图像。例如,元数据可以包括操作条件,例如,当FPA 405捕获图像数据时FPA 405的操作温度,和/或可以用于确定与图像数据和/或图像相关的不确定度因子的其他数据(例如,捕获图像数据的日期和时间,图像是在高增益模式还是低增益模式下捕获等)。
图8示出了根据本公开的一个或多个实施例的用于促进红外图像生成的示例性过程800的流程图。尽管出于解释目的本文主要参考图4的系统400来描述过程800,但过程800可以与用于促进红外图像生成的其他系统相关地执行。应当注意图8中的一个或多个操作可以根据需要以不同的顺序组合、省略和/或执行。
在框805处,FPA 405捕获红外辐射。当捕获红外辐射时,FPA 405可能处于某个操作温度。在框810处,FPA 405基于捕获的红外辐射生成红外图像数据。对于FPA 405的每个检测器,红外图像数据可以包括具有表示检测器接收的红外辐射强度的红外数据值的对应像素。例如,FPA 405可以包括ADC电路,其将每个红外数据值作为14位数字计数值(例如,0至16,383)输出并将这些14位数字计数值提供给视觉表示装置410。
在框815处,视觉表示装置410将调色板应用于红外图像数据以获得红外图像。视觉表示装置410可以从FPA 405接收红外图像数据和要应用于红外图像数据以表示红外图像数据的调色板的指示。在一些情况下,用户可以从预定义的调色板中选择调色板。在一些情况下,如果用户未指定调色板,则视觉表示装置410可以选择默认调色板(例如,用户以前和/或最常用的调色板)。在框820处,视觉表示装置410提供用于存储和/或显示的红外图像数据和/或红外图像。在实施例中,可以存储、显示(例如,使用显示装置420)和/或进一步处理(例如,在存储和/或显示之前和/或之后)红外图像。
在适用的情况下,可以使用硬件、软件或者硬件和软件的组合来实现本公开提供的各种实施例。同样在适用的情况下,本文中阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合部件,而不脱离本公开的精神。在适用的情况下,本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件,而不脱离本公开的精神。此外,在适用的情况下,可以预期软件部件可以实现为硬件部件,反之亦然。
根据本公开的软件,例如非暂时性指令、程序代码和/或数据,可以存储在一个或多个非暂时性机器可读介质上。还可以预期本文中识别的软件可以使用一个或多个通用或专用计算机和/或计算机系统来实现,无论是联网的和/或其他方式的。在适用的情况下,本文描述的各个步骤的顺序可以改变、组合成复合步骤和/或分成子步骤以提供本文描述的特征。
上述描述并非旨在将本公开限制为所公开的精确形式或特定使用领域。上述实施例说明但不限制本发明。可以预期本发明的各种替代实施例和/或修改根据本公开是可能的,无论在本文中明确描述还是暗示。因此,本发明的范围仅由以下权利要求限定。

Claims (20)

1.一种方法,所述方法包括:
确定与场景的红外图像数据关联的温度数据;
接收与所述红外图像数据关联的至少一个参数;以及
基于所述至少一个参数确定与所述温度数据关联的不确定度因子。
2.根据权利要求1所述的方法,其中,所述不确定度因子至少基于将所述至少一个参数与至少一个对应阈值进行比较。
3.根据权利要求1所述的方法,其中,所述至少一个参数与用于捕获所述红外图像数据的焦平面阵列(FPA)关联。
4.根据权利要求3所述的方法,其中,所述至少一个参数包括当捕获所述红外图像数据时所述焦平面阵列的温度、所述焦平面阵列的温度随时间的变化、与所述焦平面阵列的校准关联的温度、与所述焦平面阵列关联的增益模式、自所述焦平面阵列启动以来的时间和/或与所述焦平面阵列的视场的预定位置的距离。
5.根据权利要求3所述的方法,其中,所述至少一个参数包括捕获所述红外图像数据时所述焦平面阵列的温度和与所述焦平面阵列的校准关联的温度之间的差。
6.根据权利要求3所述的方法,还包括:
由所述焦平面阵列捕获红外辐射;以及
由所述焦平面阵列基于所述红外辐射生成所述红外图像数据,其中,对于所述焦平面阵列的每个检测器,所述红外图像数据包括表示所述检测器捕获的红外辐射的强度的所述红外图像数据的对应数据值,
其中,所述温度数据包括对象识别结果、与对象关联的温度预测、与所述红外图像数据关联的平均温度、与所述红外图像数据关联的标准偏差和/或方差、与所述红外图像数据关联的最低温度值以及与所述红外图像数据关联的最高温度值。
7.根据权利要求3所述的方法,其中,所述至少一个参数包括与所述场景和所述焦平面阵列之间的一个或多个对象关联的透射率。
8.根据权利要求1所述的方法,其中,所述不确定度因子是多个预定的不确定度级别中的一个。
9.根据权利要求8所述的方法,其中:
所述不确定度因子至少基于以下项而与所述多个预定的不确定度级别中的第一预定的不确定度级别关联:
用于捕获所述红外图像数据的焦平面阵列(FPA)的温度在第一温度范围之间;以及
所述焦平面阵列的温度随时间的变化率的幅度小于阈值速率;并且
所述不确定度因子至少基于以下项而与所述多个预定的不确定度级别中的第二预定的不确定度级别关联:
所述焦平面阵列的温度在所述第一温度范围之外并且在包含所述第一温度范围的第二温度范围之间;以及
所述焦平面阵列的温度随时间的变化率的幅度小于阈值速率。
10.根据权利要求9所述的方法,其中:
所述不确定度因子进一步至少基于与所述场景和所述焦平面阵列之间的一个或多个对象关联的透射率大于透射率阈值而与所述第一预定的不确定度级别关联;并且
所述不确定度因子进一步至少基于所述透射率大于透射率阈值而与所述第二预定的不确定度级别关联。
11.根据权利要求1所述的方法,还包括:
存储所述不确定度因子;和/或
显示所述不确定度因子。
12.根据权利要求11所述的方法,还包括显示所述红外图像数据的表示,其中,所述不确定度因子叠加在所述表示上。
13.一种红外成像系统,所述红外成像系统包括:
处理电路,所述处理电路配置成:
确定与场景的红外图像数据关联的温度数据;
接收与所述红外图像数据关联的至少一个参数;
基于所述至少一个参数确定与所述温度数据关联的不确定度因子。
14.根据权利要求13所述的红外成像系统,其中,所述不确定度因子至少基于将所述至少一个参数与至少一个对应阈值进行比较。
15.根据权利要求13所述的红外成像系统,其中,所述处理电路配置成在基于所述红外图像数据形成的红外图像的报头中接收所述至少一个参数。
16.根据权利要求13所述的红外成像系统,其中,所述至少一个参数与用于捕获所述红外图像数据的焦平面阵列(FPA)关联,其中,所述至少一个参数包括当捕获所述红外图像数据时所述焦平面阵列的温度、所述焦平面阵列的温度随时间的变化、与所述焦平面阵列的校准关联的温度、与所述焦平面阵列关联的增益模式、自所述焦平面阵列启动以来的时间、与所述焦平面阵列的视场的预定位置的距离和/或与所述场景和所述焦平面阵列之间的一个或多个对象关联的透射率。
17.根据权利要求13所述的红外成像系统,其中,所述温度数据包括对象识别结果、与对象关联的温度预测、与所述红外图像数据关联的平均温度、与所述红外图像数据关联的标准偏差和/或方差、与所述红外图像数据关联的最低温度值以及与所述红外图像数据关联的最高温度值。
18.根据权利要求13所述的红外成像系统,还包括焦平面阵列(FPA),所述焦平面阵列配置成:
捕获红外辐射;以及
基于所述红外辐射生成所述红外图像数据,其中,对于所述焦平面阵列的每个检测器,所述红外图像数据包括表示所述检测器捕获的红外辐射的强度的所述红外图像数据的对应数据值。
19.根据权利要求13所述的红外成像系统,其中,所述不确定度因子是多个预定的不确定度级别中的一个。
20.根据权利要求19所述的红外成像系统,其中:
所述不确定度因子至少基于以下项而与所述多个预定的不确定度级别中的第一预定的不确定度级别关联:
用于捕获所述红外图像数据的焦平面阵列(FPA)的温度在第一温度范围之间;以及
所述焦平面阵列的温度随时间的变化率的幅度小于阈值速率;并且
所述不确定度因子至少基于以下项而与所述多个预定的不确定度级别中的第二预定的不确定度级别关联:
所述焦平面阵列的温度在所述第一温度范围之外并且在包含所述第一温度范围的第二温度范围之间;以及
所述焦平面阵列的温度随时间的变化率的幅度小于阈值速率。
CN202111542361.5A 2020-12-14 2021-12-13 与红外成像相关的不确定度测量系统和方法 Pending CN114630060A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063125370P 2020-12-14 2020-12-14
US63/125370 2020-12-14

Publications (1)

Publication Number Publication Date
CN114630060A true CN114630060A (zh) 2022-06-14

Family

ID=78413687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111542361.5A Pending CN114630060A (zh) 2020-12-14 2021-12-13 与红外成像相关的不确定度测量系统和方法

Country Status (4)

Country Link
US (1) US20220187136A1 (zh)
EP (1) EP4012363A1 (zh)
KR (1) KR20220085006A (zh)
CN (1) CN114630060A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117073853B (zh) * 2023-10-18 2023-12-29 南京谷贝电气科技有限公司 红外成像仪全自动化校验装置及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080210872A1 (en) * 2003-08-11 2008-09-04 Opgal Ltd. Radiometry Using an Uncooled Microbolometer Detector
US20100051794A1 (en) * 2008-09-04 2010-03-04 The Boeing Company Infrared sensor calibration system and method
US20130147966A1 (en) * 2009-02-23 2013-06-13 Flir System, Inc. Flat field correction for infrared cameras
CN103931172A (zh) * 2011-06-10 2014-07-16 菲力尔系统公司 使用热成像智能监控大街的系统及方法
WO2015166265A1 (en) * 2014-05-01 2015-11-05 Crowcon Detection Instruments Limited Self-correcting gas camera
WO2016033297A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera
WO2017100702A2 (en) * 2015-12-09 2017-06-15 Flir Systems, Inc. Unmanned aerial system based thermal imaging systems and methods
CN107547892A (zh) * 2016-06-23 2018-01-05 弗兰克公司 热异常检测
DE102018218726A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren zum Betrieb einer Wärmebildkamera sowie Wärmebildkamera
CN111133755A (zh) * 2017-07-27 2020-05-08 菲力尔系统公司 用于红外相机的平场校正系统和方法
US20200309683A1 (en) * 2017-09-27 2020-10-01 Konica Minolta, Inc. Gas Image Device and Image Acquisition Method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185465A (ja) * 2007-01-30 2008-08-14 Nec Electronics Corp 赤外線センサの温度補償方法および装置
US9196026B2 (en) * 2013-10-04 2015-11-24 Fluke Corporation Thermal imager with large dynamic range and improved signal-to-noise ratio
WO2021142164A1 (en) * 2020-01-10 2021-07-15 Flir Commercial Systems, Inc. Radiometric calibration systems for infrared imagers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080210872A1 (en) * 2003-08-11 2008-09-04 Opgal Ltd. Radiometry Using an Uncooled Microbolometer Detector
US20100051794A1 (en) * 2008-09-04 2010-03-04 The Boeing Company Infrared sensor calibration system and method
US20130147966A1 (en) * 2009-02-23 2013-06-13 Flir System, Inc. Flat field correction for infrared cameras
CN103931172A (zh) * 2011-06-10 2014-07-16 菲力尔系统公司 使用热成像智能监控大街的系统及方法
WO2015166265A1 (en) * 2014-05-01 2015-11-05 Crowcon Detection Instruments Limited Self-correcting gas camera
WO2016033297A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera
WO2017100702A2 (en) * 2015-12-09 2017-06-15 Flir Systems, Inc. Unmanned aerial system based thermal imaging systems and methods
CN107547892A (zh) * 2016-06-23 2018-01-05 弗兰克公司 热异常检测
CN111133755A (zh) * 2017-07-27 2020-05-08 菲力尔系统公司 用于红外相机的平场校正系统和方法
US20200309683A1 (en) * 2017-09-27 2020-10-01 Konica Minolta, Inc. Gas Image Device and Image Acquisition Method
DE102018218726A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren zum Betrieb einer Wärmebildkamera sowie Wärmebildkamera

Also Published As

Publication number Publication date
US20220187136A1 (en) 2022-06-16
EP4012363A1 (en) 2022-06-15
KR20220085006A (ko) 2022-06-21

Similar Documents

Publication Publication Date Title
US10598550B2 (en) Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor
CN107836111B (zh) 用于增强动态范围红外成像的系统和方法
US20220217326A1 (en) Imager health monitoring systems and methods
US10735659B2 (en) Rotation-adaptive video analytics camera and method
US11924590B2 (en) Image color correction systems and methods
EP4012363A1 (en) Infrared imaging-related uncertainty gauging systems and methods
US11082641B2 (en) Display systems and methods associated with pulse detection and imaging
US20230046320A1 (en) Non-uniformity correction calibrations in infrared imaging systems and methods
US20200264279A1 (en) Rotatable light sources and associated pulse detection and imaging systems and methods
EP4096216A1 (en) Temperature compensation in infrared imaging systems and methods
WO2023055753A1 (en) Image setting determination and associated machine learning in infrared imaging systems and methods
US20220141384A1 (en) Situational awareness-based image annotation systems and methods
US10972648B2 (en) Pulse detection and synchronized pulse imaging systems and methods
US20230069029A1 (en) Variable sensitivity in infrared imaging systems and methods
EP4044587A1 (en) Image non-uniformity mitigation systems and methods
KR102661043B1 (ko) 이미지 불균일 완화 시스템 및 방법
US20240048849A1 (en) Multimodal imager systems and methods with steerable fields of view
US20240089610A1 (en) Stray light mitigation systems and methods
US20230058486A1 (en) Burn-in mitigation and associated imaging systems and methods
US20230131678A1 (en) Imager verification systems and methods
US20230160751A1 (en) Vacuum health detection for imaging systems and methods
EP4144080B1 (en) Imaging method and imaging device with unit cell selection verification
WO2023101923A1 (en) Detection threshold determination for infrared imaging systems and methods
US20220182532A1 (en) Palette and infrared image generation systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Taili Diane Ferrier business systems

Address before: California, USA

Applicant before: Flier business systems