CN110312919A - 用于热成像系统的热成像处理 - Google Patents

用于热成像系统的热成像处理 Download PDF

Info

Publication number
CN110312919A
CN110312919A CN201780086493.7A CN201780086493A CN110312919A CN 110312919 A CN110312919 A CN 110312919A CN 201780086493 A CN201780086493 A CN 201780086493A CN 110312919 A CN110312919 A CN 110312919A
Authority
CN
China
Prior art keywords
temperature
thermal imaging
imaging system
scene
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780086493.7A
Other languages
English (en)
Other versions
CN110312919B (zh
Inventor
R·威廉姆斯
W·J·帕里希
J·沃利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seker Heat LLC
Seek Thermal Inc
Original Assignee
Seker Heat LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seker Heat LLC filed Critical Seker Heat LLC
Publication of CN110312919A publication Critical patent/CN110312919A/zh
Application granted granted Critical
Publication of CN110312919B publication Critical patent/CN110312919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
    • G01J5/0804—Shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52—Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • G01J5/53—Reference sources, e.g. standard lamps; Black bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种用于量产的热成像系统的热成像处理，所述热成像系统包括成像传感器和环境温度传感器，所述热成像处理包括在系统的制造和实际使用中的三个不同位置处的操作。可以在一个环境温度下在少量受控场景温度下对给定设计的所有单元执行温度校准，以产生将传感器信号与场景温度相关联的函数。针对每个单独的单元确定函数，并且所述函数对于每个单元可以是独特的。选定校准单元可以经受鉴定测试，其中所述选定校准单元在多个受控环境温度下暴露于更大数量的受控场景温度，并且可以导出在各种场景/环境温度组合下校准导出函数与观察结果之间的误差和/或实际场景温度并将其放入加载到所有生产单元中的表中。在成像系统的实际使用中，对于任何给定的实际观察信号和温度传感器值，可以从该表中导出对应的场景温度和/或误差并将其用于修改来自校准函数的温度值。

Description

用于热成像系统的热成像处理
相关申请的交叉引用
本申请要求2016年12月20日提交的题为“用于热成像系统的热成像处理(THERMOGRAPHY PROCESS FOR A THERMAL IMAGING SYSTEM)”的美国临时申请序列号62/436,964和2017年12月15日提交的题为“用于热成像系统的热成像处理(THERMOGRAPHYPROCESS FOR A THERMAL IMAGING SYSTEM)”的美国非临时申请序列号15/843,667的权益，这二者的全部内容通过引用并入本文并用于所有目的。
技术领域
本公开总体涉及用于例如热成像相机和传感器的热成像系统的热成像处理，并且特别涉及适用于生产热成像系统的处理。
背景技术
高性能低成本的非冷却热成像装置(例如基于测辐射热计焦平面阵列(FPA)的装置)的日益普及使得能够设计和生产可质量热成像的面向消费者的热成像相机和传感器。这种热成像系统长期以来一直很昂贵并且难以生产，因此限制了高性能长波成像用于高价值仪器，例如航空航天、军事或大规模商业应用。量产的给定设计的热成像系统可能具有与复杂的军事或工业系统不同的设计要求。实现精确的热成像是这样的系统，即图像数据转换成场景温度的精确转换可能需要新型方法和技术。
发明内容
本文描述的示例性实施例具有创新特征，其中没有一个是必不可少的或者仅对其期望属性负责。在不限制权利要求的范围的情况下，现在将概述有利特征中的一些。
在一些实施例中，可以提供一种用于量产的热成像系统的热成像处理，所述热成像系统包括成像传感器和环境温度传感器，所述热成像处理包括在系统的制造和实际使用中的三个不同位置处的操作。可以在一个环境温度下在少量受控场景温度下对给定设计的所有单元执行温度校准，以产生将传感器信号与场景温度相关联的函数。针对每个单独的单元确定所述函数，并且所述函数对于每个单元可以是独特的。选定的经校准的单元可以经受鉴定测试，其中所述选定的经校准的单元在多个受控环境温度下暴露于更大数量的受控场景温度，并且可以导出在各种场景/环境温度组合下校准导出函数与观察结果之间的误差和/或实际场景温度并将其放入加载到所有生产单元中的表中。在成像系统的实际使用中，对于任何给定的实际观察信号和温度传感器值，可以从该表中导出对应的场景温度误差和/或实际场景温度并将其用于修改来自校准函数的温度值。
在一个实施例中，可以提供一种用于针对成组的生产热成像系统将信号转换成温度的处理，所述成组的热成像系统中的每个系统包括：光电检测器的阵列，每个光电检测器构造成输出信号Sx,y，所述信号对应于成像场景的一部分的温度；和环境温度传感器。所述处理可以包括在成像系统制造和使用的不同阶段执行三个操作。第一个操作可以是对所述成组的热成像系统中的所有热成像系统执行场景温度校准，所述校准包括：在校准环境温度下将每个热成像系统暴露于n个已知温度场景，每个已知温度场景具有独特场景温度Tsi，即从Ts1到Tsn，其中n至少为2；针对每个热成像系统，基于信号Sx,y，开发单元特定的函数F(Sx,y)i＝Tsi，其将观察到的信号拟合到已知场景温度；和存储对应于校准环境温度的环境温度传感器值Tsen。第二个操作可以包括对所述成组的热成像系统的先前校准的热成像系统的子集执行场景温度/环境温度鉴定测试，所述鉴定测试包括：将所述子集中的每个热成像系统暴露于多个已知环境温度，并且在每个环境温度下，将单元暴露于不同场景温度下的多个已知温度场景；获得针对环境温度和场景温度的每个组合的函数F(Sx,y)；将环境温度传感器输出与已知环境温度相关联；和创建针对每个环境温度下的每个已知场景的F(Sx,y)与已知场景温度之间的误差ΔT或者已知场景温度Tact中的至少一者的二维表。第三个操作可以包括对于所述成组的热成像系统中的单独热成像系统，在后续操作使用期间通过基于Sx,y和环境温度传感器值从二维表中提取实际场景温度或误差信息中的至少一者调整F(Sx,y)。
在一些实施例中，用于校准和鉴定的已知温度场景可以是设置在预定温度下的黑体。在一些实施例中，可以通过将单元放置在温度室中并以预定方式改变腔室温度来产生所述多个环境温度。
在一些实施例中，校准环境温度可以是室温，并且温度传感器值是Tsenrt。在一些实施例中，可以针对ΔTherm＝Tsens﹣Tsensrt开发与腔室温度的相关性。在一些实施例中，F(Sx,y)＝G(Sx,y)+O，其中G是增益项，O是偏移项。
在一些实施例中，二维表的轴可以是对应于每个黑体温度的F(Sx,y)的值和对应于每个腔室温度的ΔTherm值。在一些实施例中，在操作期间与光电检测器信号相关联的温度可以是Tx,y＝G(Sx,y)+O+ΔT或Tx,y＝Tactx,y中的至少一者。
在一些实施例中，所开发的表可以作为查询表存储在给定设计的所有单元中，并且输入可以是实际信号F(Sx,y)和ΔTherm。在一些实施例中，在单元操作期间，如果任何给定的F(Sx,y)和ΔTherm不恰好等于表轴值，则所使用的误差值ΔT可以通过表误差值的3步线性插值、双线插值或者双三次插值来确定。
附图说明
参考以下结合附图的详细描述来描述本文提供的实施例的方面和优点。在各个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例性实施例而不旨在限制本公开的范围。
图1A示出了示例性成像系统的功能框图。
图1B示出了图1A中所示的示例性成像系统的功能框图，其中在相机和移动电子设备之间划分成像系统的功能。
图2示出了示例性校准测试设置。
图3示出了示例性鉴定测试设置。
图4示出了温度误差查询表的示例。
图5示出了示例性热成像处理的流程图。
具体实施方式
一般而言，本公开的实施例涉及提高转换在针对场景温度对给定场景成像时热成像系统的信号输出的准确度。这些实施例涉及成像系统的制造和测试以及它们的操作用途。本公开包括对给定系统设计的所有单元执行校准的校准元件以及对选定数量的经校准的单元执行鉴定的鉴定元件。
出于说明的目的，本文描述的示例和实施方式集中于包括使用焦平面阵列的红外相机或传感器的成像系统。现在将关于某些示例和实施例描述本公开的各个方面，这些示例和实施例旨在说明而非限制本公开。对于这些方面中的许多方面，示例性实施例将描述成像系统，其中热传感器将图像数据传递到一个或多个处理器，所述处理器执行一系列图像处理步骤，其包括用于热成像的元件。
本文描述的一些实施例规定使用来自所有单元的制造测试的热成像数据，所述热成像数据具有关于选定单元的鉴定测试数据。有利地，这可以允许更简单和更快速的制造测试。
本文描述的一些实施例规定使用来自鉴定测试的数据以在由用户实施的单元操作期间调整热成像计算。有利地，这可以允许在给定热成像系统设计的所有单元的校准后操作使用期间提高热成像精度。
所公开的热成像处理可以实施为可以是编程计算机方法或数字逻辑方法的模块或元件并且可以使用各种模拟和/或数字分立电路部件(晶体管、电阻器、电容器、电感器、二极管等)中的任意部件、可编程逻辑、微处理器、微控制器、专用集成电路或其他电路元件的组合来加以实施。构造成存储计算机程序或计算机可执行指令的存储器可以与分立电路部件一起实施，以执行本文描述的方法中的一个或多个。在某些实施方式中，所公开的方法可以结合相机核心上的一个或多个焦平面阵列(FPA)来实现，其中执行所公开的方法的处理器和存储器部件可以位于与相机核心配合的处理设备上，例如，包括智能电话、平板电脑、个人计算机等的移动设备。在一些实施方式中，成像系统的处理和存储元件可以位于可编程逻辑或作为核心或相机系统的部分的机载处理器中。通常，数字控制功能、图像采集、图像处理和图像显示/分析可以分布在一个或多个数字元件或处理器上。在任何公开的实施例中引用系统处理器或任何控制器不应被解释为暗示控制和处理功能存在于单个元件中。
作为由所公开的系统和方法提供的一些优点的特定示例，成像系统可以包括构造成获取场景图像的热成像焦平面阵列(FPA)。FPA可以包括N个检测器的二维阵列，所述FPA构造成输出场景的二维图像。出于成像目的，由FPA产生图像帧(通常来自检测器Nf中所有或一些的数据)，每个相继帧包含来自阵列的在相继时间窗口中捕获的数据。因此，由FPA传送的数据帧包括Nf个数字字，每个数字字表示图像中的特定像素Sx,y信号。这些数字字通常具有由模数转换(A/D)处理确定的长度。例如，如果像素数据用14位A/D转换，则像素字的长度可以是14位，并且每个字可以有16384个计数。对于用作热成像系统的IR相机，这些字可以对应于由阵列中的每个像素测量的辐射的强度。在特定示例性中，对于测辐射热计IRFPA，每个像素的强度通常对应于成像场景的对应部分的温度，其中较低的值对应于较冷的区域而较高的值对应于较热的区域。可能需要在视觉显示器上显示该数据。
FPA中的每个像素可以包括辐射检测器，其响应于检测到的辐射产生相对小的信号，其例如在红外成像阵列中。与从不是由入射辐射引起的源产生的FPA中的信号或信号电平或非图像信号相比，这些信号可能相对较小，其中这些非图像信号与FPA的材料、结构和/或部件有关。例如，FPA中的像素可以包括接口电路，所述接口电路包括读出集成电路(ROIC)上的电阻器网络、晶体管和电容器，所述读出集成电路可以直接接口连接到检测器的阵列。例如，可以使用MEMS工艺制造微测辐射热计检测器阵列、微电子机械系统(MEMS)装置。然而，相关联的ROIC可以使用电子电路技术制造。这两个部件可以组合在一起形成FPA。与响应于检测器上的入射辐射而产生的信号相比，接口电路和检测器本身的组合可以具有相对大的偏置和温度行为。因此，通常希望在显示或以其他方式处理图像数据之前补偿与图像信号无关的这些效果。
在2015年8月18日提交的美国专利申请号14/829,500、2014年5月30日提交的美国专利申请号14/292,124、2015年8月18日提交的美国专利申请号14/829,490、2015年8月4日提交的美国专利申请号14/817,989、2015年8月4日提交的美国专利申请号14/817,847中公开了图像处理系统和方法的示例，每一个申请都通过引用整体并入本文。这些引用申请描述了各种成像系统构造和用于调整伪像和校正图像质量劣化的各种技术，这些伪像和图像质量劣化至少部分是因成像系统的各种特性和特征而出现。可以在处理单元中完成这些各种图像处理功能，所述处理单元如所述可以是相机装置、接口连接到相机装置的处理装置的部分，和/或在相机装置和处理装置之间分配。对于一些成像系统，处理单元可以包括用于操作快门的控制功能。还可以使用通常包括可见光敏感FPA的可视传感器。这种可视成像系统在数码相机、个人电子设备(PED)等中常见。用于两个传感器的图像处理和显示功能的资源可以共享或分开，以便于特定系统设计。包括各种或相同类型的多个成像传感器的系统也可受益于所公开的系统和方法。
示例性成像系统
图1A示出了示例性热成像系统100的功能框图，所述热成像系统包括：图像传感器，例如焦平面阵列102；预处理模块104；非均匀性校正模块106；滤波器模块108；热成像模块110；直方图均衡化模块112；显示处理模块114；和显示器116。焦平面阵列102可以输出强度数据(例如，图像、热图像等)的一系列帧。每帧可以包括像素值的阵列，每个所述像素值表示由焦平面阵列102上的对应像素检测到的光强度。像素值可以作为串行数字数据流从焦平面阵列102中读出。在一些实施例中，使用处理焦平面阵列102的整行或整列的读出电子器件从焦平面阵列102读出像素值。在一些实施例中，读出的电子器件将数据输出为一次多列或多行的流。例如，一些FPA利用称为电子滚动快门的技术，其在图像采集期间以总帧的离散增量或子帧激活光电检测器，并在相应获取子帧时输出子帧。因此，后续图像处理可以构造成基于子帧地起作用，一次一个或多个子帧地对整个帧起作用。可以将数据流的格式构造成符合期望的、标准的或预定义的格式。数字数据流可以显示为二维图像，例如通过显示器116。
在一些实施例中，焦平面阵列102可以是与读出集成电路(“ROIC”)集成的微测辐射热计的阵列。微测辐射热计的阵列可以构造成响应于一定量的热辐射或温度而产生电信号。ROIC可以包括缓冲器、积分器、模数转换器、定时部件等，以从微测辐射热计的阵列读取电信号并输出数字信号(例如，分成图像帧的14位串行数据)。与焦平面阵列102相关联的系统和方法的附加示例在2014年5月30日提交的题为“用于成像系统的数据数字化以及显示(Data Digitization and Display for an Imaging System)”的美国专利申请号14/292,124中公开，其全部内容通过引用结合于此。
焦平面阵列102可以具有与其相关联的校准或其他监测信息(例如，校准数据103)，可以在图像处理期间使用所述校准或其他检测信息以生成优质图像。例如，校准数据103可以包括储存在数据存储器中并由成像系统100中的模块检索的不良像素图和/或增益表，以校正和/或调整由焦平面阵列102提供的像素值。校准数据103可包括增益表。如本文所述，焦平面阵列102可包括具有集成读出电子器件的多个像素。读出电子器件可以具有与其相关联的增益，其中增益可以与电子器件中的电容器的跨阻抗成比例。可以在一些实施方式中采用像素增益表形式的该增益值可以由成像系统100的图像处理模块使用。用于成像系统100的校准数据的附加示例性在2015年8月18日提交的题为“用于成像系统的增益校准(Gain Calibration for an Imaging System)”的美国专利申请号14/829,490中提供，其全部内容通过引用结合于此。校准数据103可以存储在成像系统100上或者存储在另一个系统上的数据存储器中，以为了在图像处理期间进行检索。
成像系统100包括构造成处理来自焦平面阵列102的图像数据的一个或多个模块。在不背离所公开的实施例的范围的情况下可以去除成像系统100的模块中的一个或多个模块，也可以存在未示出的模块。描述以下模块以说明所公开的成像系统可用的功能的广度，而不是指示任何单独的模块或所描述的功能是必需的，关键的，必要的或必不可少的。诸如非均匀性校正模块106、滤波器模块108、热成像模块110和/或直方图均衡化模块112的模块可以统称为“图像处理链”。
成像系统100包括预处理模块104。预处理模块104可以构造成从焦平面阵列102接收数字数据流并执行预处理功能。这些功能的示例性包括帧平均、高级帧范围滤波等。预处理模块104可以输出用于其他模块的串行数字数据。
作为示例，预处理模块104可以包括条件求和功能，其构造成实现积分和平均技术以增加图像数据中的视在信噪比。例如，条件求和功能可以构造成组合数字化图像数据的相继帧形成数字集成图像。该数字集成图像也可以被平均以减少图像数据中的噪声。条件求和功能可以构造成针对来自焦平面阵列102的每个像素对来自相继帧的值求和。例如，条件求和功能可以对来自四个相继帧的每个像素的值求和，然后对该值求平均值。在一些实施方式中，条件求和功能可以构造成从相继帧中选择最佳或优选帧而不是对相继帧求和。这些技术和另外的实施例的示例性公开于2014年5月30日提交的题为“用于成像系统的数据数字化以及显示(Data Digitization and Display for an Imaging System)”的美国专利申请号14/292,124，其全部内容通过引用结合于此。
作为另一示例，预处理模块104可包括自适应电阻器数模转换器(“RDAC”)功能，其构造成确定和/或调整焦平面阵列102的操作偏置点。例如，对于包括快门的成像系统，成像系统100可以构造成调整焦平面阵列102中的检测器的操作偏置点。自适应RDAC功能可以实现自适应操作偏置校正方法，所述方法至少部分地基于周期性测量平场图像(例如，关闭快门获取的图像)。自适应RDAC功能可以至少部分地基于平场图像的测量或检测到的随时间的漂移来实现对操作偏置的持续调整。由自适应RDAC功能提供的偏置调整可以提供由于诸如温度变化的影响而造成的光电检测器和电子器件随时间的漂移的补偿。在一些实施例中，自适应RDAC功能包括RDAC网络，其可被调整以使测量的平场数据更接近参考偏置水平。在2015年8月18日提交的题为“成像系统的操作偏置的自适应调整(Adaptive Adjustmentof Operating Bias of an Imaging System)”的美国专利申请号14/829,500中提供了与自适应RDAC功能相关的系统和方法的附加示例，其全部内容通过引用结合于此。
也可以存在不良像素替换，其示例在2016年2月19日提交的题为“用于成像系统的像素抽选(Pixel Decimation for an Imaging System)”的美国专利申请号62/297,669中有所描述，其全部内容通过引用结合于此。可能包括像素抽选的不良像素替换功能可以访问不良像素图，其可以是校准数据的部分。在各种实施方式中，可以通过观察给定像素是否在预定容限之外或者与它们的邻居的差异超过预定阈值在图像数据内识别不良像素。
在预处理模块104之后，其他处理模块可以构造成执行一系列逐像素或像素组处理步骤。例如，图像处理系统100包括非均匀性校正模块106，其构造成针对不是图像场景本身的部分而是传感器的伪像的增益和偏移效应调整像素数据。例如，非均匀性校正模块106可以构造成接收数字数据流并针对非均匀性校正焦平面阵列102中的像素值。在一些成像系统中，这些校正可以从生效校准元件的致动而导出，例如在焦平面阵列102上间歇地关闭快门以获得均匀的场景数据。根据该获取的均匀场景数据，非均匀性校正模块106可以构造成确定与均匀性的偏差。非均匀性校正模块106可以构造成基于这些确定的偏差来调整像素数据。在一些成像系统中，非均匀性校正模块106利用其他技术来确定焦平面阵列中的均匀性的偏差。这些技术中的一些可以在不使用快门的情况下实现，并且可以使用另一种类型的生效元件，并且可以依赖于将已知场景呈现给成像阵列而不是平场场景。一些NUC技术不依赖于物理校准元件而是使用图像处理技术来导出NUC。用于非均匀性校正的系统和方法的其它示例性描述于2015年8月4日提交的题为“用于成像系统的时基偏移校正(TimeBased Offset Correction for Imaging Systems)”的美国专利申请号14/817,847，其全部内容通过引用结合于此。自适应校准或快门控制可以包括预处理模块104中存在的元件或等效物，以及如2016年3月11日提交的题为“用于成像系统的时基偏移校正以及自适应校准(TIME BASED OFFSET CORRECTION FOR IMAGING SYSTEMS AND ADAPTIVECALIBRATION)”的美国专利申请号15/068,405中所述的图像处理链的部分，其全部内容通过引用结合于此。如果需要，固定模式噪声(FPN)缓解可以作为NUC模块的部分进行，以为了在图像处理链中尽早放置该功能。FPN缓解应优选地在偏移校正后进行，因此在NUC之前不能合理地发生。或者，在一些情况下，固定模式噪声缓解元件可以与基于快门或其他物理校准元件的NUC并行或甚至代替NUC操作。这些方法可以称为基于场景的NUC(SBNUC)。用于FPN缓解和/或SBNUC的系统和方法的其他示例描述于2016年6月27日提交的题为“用于成像系统的固定模式噪声缓解(Fixed Pattern Noise Mitigation for a Thermal ImagingSystems)”的美国专利申请号62/355,797中，其全部内容通过引用结合于此。
在预处理模块104之后，成像系统100可以包括高/低Cint信号处理功能，其构造成从预处理模块104接收数字数据流(例如，14位串行数据)。高/低Cint功能可以构造成通过应用增益表(例如，如校准数据103中所提供的)来处理数字数据流。高/低Cint功能可以构造成使用高/低积分部件的输出来处理数字数据流。这种高/低积分部件可以与与焦平面阵列102相关联的ROIC集成。在2014年5月30日提交的题为“用于成像系统的数据数字化以及显示(Data Digitization and Display for an Imaging System)”的美国专利申请号14/292,124中描述高/低积分部件的示例，其全部内容通过引用结合于此。
图像处理系统100包括滤波器模块108，其构造成应用一个或多个时间和/或空间滤波器来解决其他图像质量问题。例如，焦平面阵列的读出集成电路可能将伪像引入图像，例如行和/或列之间的变化。滤波器模块108可以构造成校正这些基于行或列的伪像，如在2015年5月1日提交的题为“用于成像系统的紧凑行列噪声滤波器(Compact Row ColumnNoise Filter for an Imaging System)”的美国专利申请号14/702,548中更详细描述的那样，其全部内容通过引用结合于此。滤波器模块108可以构造成执行校正以减少或消除图像中的不良像素的影响，增强图像数据中的边缘，抑制图像数据中的边缘，调整梯度，抑制图像数据中的峰值等。
例如，滤波器模块108可以包括不良像素功能，其构造成提供焦平面阵列102上不产生可靠数据的像素的图。可以忽略或丢弃这些像素。在一些实施例中，丢弃来自不良像素的数据并用从相邻、附近和/或旁边像素导出的数据替换。导出的数据可以基于插值、平滑、平均等。对于需要具有不良像素替换的像素疏值的情况，可以在链中更早地放置不良像素功能。
作为另一示例，滤波器模块108可以包括热梯度功能，其构造成基于热梯度来调整存在于图像数据中但是不是成像系统100所成像的场景的部分的像素值。热梯度功能可以构造成通过校正成像系统100中产生的热梯度使用局部平坦场景数据来导出数据以提高图像质量。确定用于热梯度功能的校正的示例在2015年12月1日提交的题为“基于局部平坦场景的图像调整(Image Adjustment Based on Locally Flat Scenes)”的美国专利申请号14/956,1115中有更详细的描述，其全部内容通过引用结合于此。
滤波器模块108可以包括构造成调整异常像素值的峰值限制功能。例如，峰值限制功能可以构造成将异常像素值钳制到阈值。
滤波器模块108可以构造成包括自适应低通滤波器和/或高通滤波器和/或带通滤波器。在一些实施例中，成像系统100应用自适应低通滤波器或高通滤波器，但不两者都应用。自适应低通滤波器可以构造成确定像素数据内的这样的位置，其中像素可能不是边缘类型图像成分的部分。在这些位置中，自适应低通滤波器可以构造成用平滑的像素数据替换特定像素数据(与更宽的图像区域数据相反)(例如，用相邻像素的平均值或中值替换像素值)。这可以有效地降低图像中这些位置的噪声。高通滤波器可以构造成通过产生边缘增强因子来增强边缘，所述边缘增强因子可以用于选择性地增大或减小像素数据以用于边缘增强的目的。自适应低通滤波器和高通滤波器的附加示例在2015年8月4日提交的题为“用于数字图像的局部对比调整(Local Contrast Adjustment for Digital Images)”的美国专利申请号14/817,989中有所描述，其全部内容通过引用结合于此。上述类型的高通滤波器结果或者适合于图像处理功能的任何形式的高通滤波器结果可以用作用于自适应快门控制的信息的全部或部分，如本文中参考图9所述。高通滤波器和相关技术也可用于检测图像中的边缘特征。
滤波器模块108可以构造成将可选滤波器应用于图像数据。例如，可选滤波器可以包括但不限于平均滤波器、中值滤波器、平滑滤波器等。可以打开或关闭可选滤波器，以对图像数据提供目标或期望的效果。
图像处理系统100包括构造成将强度转换为温度的热成像模块110。光强度可以对应于来自场景的光强度和/或来自成像系统100的视野中的物体的光强度。热成像模块110可以构造成将测量的光强度转换成对应于场景和/或成像系统100的视野中的物体的温度。热成像模块110可以接收校准数据(例如，校准数据103)作为输入。热成像模块110还可以使用原始图像数据(例如，来自预处理模块104的像素数据)和/或滤波数据(例如，来自滤波器模块108的像素数据)作为输入。在2015年8月27日提交的题为“用于热成像相机的热成像(Thermography for a Thermal Imaging Camera)”的美国专利申请号14/838,000中提供热成像模块和方法的示例，其全部内容通过引用结合于此。本公开涉及上述引用申请的替代方法，以用于这样的用例，其中理想的是增加热成像导出场景温度相对于实际场景温度的准确度。
图像处理系统100包括直方图均衡化模块112或其他显示转换模块(例如，压缩模块或不同技术组合)，其构造成使图像数据为在显示器116上显示做好准备。在一些成像系统中，来自焦平面阵列102的像素值的数字分辨率可以超过显示器116的数字分辨率。直方图均衡化模块112可以构造成调整像素值使得图像或图像的一部分的高分辨率值匹配显示器116的低分辨率。直方图模块112可以构造成调整图像的像素值以避免在几乎没有数据或没有数据的场景强度值上使用显示器116的有限显示范围。当在显示器116上观看利用成像系统100获取的图像时，这对于成像系统100的用户可能是有利的，原因在于它可以减少未利用的显示范围的量。例如，显示器116可以具有数字亮度标度，对于红外图像，所述数字亮度标度对应于较高强度表示较高温度的温度。然而，显示亮度标度，例如灰度级，通常是比像素采样字短得多的数字字，所述像素采样字与模数(A/D)转换分辨率有关。例如，像素数据的A/D采样字可以是14位，而诸如灰度级的显示范围通常可以是8位。因此，为了显示目的，直方图均衡化模块112可以构造成压缩更高分辨率的图像数据以适合显示器116的显示范围。在2014年5月30日提交的题为“用于成像系统的数据数字化以及显示(DataDigitization and Display for an Imaging System)”的美国专利申请号14/292,124中提供可以由直方图均衡化模块112实现的算法和方法的示例，其全部内容通过引用结合于此。
成像系统100包括显示处理模块114，其构造成通过例如选择颜色表将温度和/或像素值转换为彩色显示器上的颜色来使像素数据为在显示器116上显示做好准备。作为示例，显示处理模块可以包括着色器查询表，所述着色器查询表构造成将像素数据和/或温度数据转换为彩色图像以在显示器116上显示。着色器查询表可以构造成至少部分地取决于给定场景的温度与阈值温度的关系使用不同颜色显示查询表来显示热成像场景的不同温度。例如，当显示场景的热图像时，可以根据场景的各种温度与输入温度的关系使用不同的查询表来显示场景的各种温度。在一些实施例中，可以使用颜色查询表来显示高于、低于或等于输入温度值的温度，而可以使用灰度查询表来显示其他温度。因此，着色器查询表可以构造成根据场景内的温度范围结合用户偏好或选择来应用不同的着色查询表。2015年9月11日提交的题为“热图像的选择性彩色显示(Selective Color Display of a ThermalImage)”的美国专利申请号14/851,576描述了由显示处理模块提供的功能的附加示例，其全部内容通过引用结合于此。显示处理模块114还可以包含显示驱动器或接口连接到显示驱动器，所述显示驱动器将颜色表值转换为实际亮度颜色值以驱动显示器116，例如RGB、yCV等。
显示器116可以构造成显示处理后的图像数据。显示器116还可以构造成接收输入以与图像数据交互和/或控制成像系统100。例如，显示器116可以是触摸屏显示器。
成像系统100可以作为独立设备提供，例如热传感器。例如，成像系统100可以包括成像系统壳体，所述成像系统壳体构造成包封成像系统100的硬件部件(例如，焦平面阵列102、读出电子器件、微处理器、数据存储器、现场可编程门阵列和其他电子部件等)。成像系统壳体可以构造成支撑构造成将光(例如，红外光、可见光等)引导到图像传感器102上的光学器件。壳体可以包括一个或多个连接器以提供从成像系统100连接到一个或多个外部系统的数据连接。壳体可以包括一个或多个用户接口部件，以允许用户与成像系统100交互和/或控制成像系统。用户接口部件可以包括例如但不限于触摸屏、按钮、切换键、开关、键盘等。
在一些实施例中，成像系统100可以是多个成像系统的网络的部分。在这样的实施例中，成像系统可以一起联网到一个或多个控制器。
图1B示出了图1A中示出的示例性成像系统100的功能框图，其中成像系统100的功能在相机或传感器140和处理装置150之间划分。处理装置150可以是移动设备或其他计算设备。通过在不同系统或装置之间划分图像获取、预处理、信号处理和显示功能，相比于机载执行大多数或所有这种功能的成像系统，相机140可构造成相对低功率，相对紧凑且相对计算效率高。如图1B所示，相机140构造成包括焦平面阵列102和预处理模块104。在一些实施例中，被示为处理装置150的部分的模块中的一个或多个可被包括在相机140中而不是处理装置150中。在一些实施例中，至少部分地基于相机140和处理装置150之间的功能划分来实现某些优点。例如，可以使用专用硬件(例如，现场可编程门阵列、专用集成电路等)和软件的组合在相机140上有效地实现一些预处理功能，否则在处理装置150上实现这些处理功能可能计算昂贵或劳动密集。因此，在本文公开的实施例的至少一些的一方面包括通过选择哪些功能将在相机140上执行(例如，在预处理模块104中)以及哪些功能将在处理装置150上执行(例如，在热成像模块110中)可以达到某些优点的实现。
相机140的输出可以是表示由预处理模块104提供的像素值的数字数据流。可以使用电子连接器(例如，微型USB连接器、专有连接器等)、电缆(例如，USB电缆、以太网电缆、同轴电缆等)和/或无线(例如，使用蓝牙、近场通信、Wi-Fi等)将数据发送到处理装置150。处理装置150可以是智能手机、平板电脑、笔记本电脑、计算机或其他类似的便携式或非便携式电子设备。在一些实施例中，电力通过电连接器和/或电缆从处理装置150输送到相机140。
成像系统100可以构造成利用处理装置150的计算能力、数据存储和/或电池电力来为相机140提供图像处理能力、电力、图像存储等。通过将这些功能从相机140卸载到处理装置150，相机可以具有成本效益的设计。例如，相机140可以构造成消耗相对较少的电子功率(例如，降低与提供功率相关联的成本)，相对较少的计算能力(例如，降低与提供强大处理器相关联的成本)和/或相对较少的数据存储(例如，降低与在相机140上提供数字存储相关联的成本)。因为成像系统100利用处理装置150的优越能力实施图像处理、数据存储等，所以至少部分地由于相机构造成提供相对小的计算功率、数据存储和/或电力，因此这能够减小与制造相机140相关联的成本。
热成像处理的概念
本公开主要涉及能够测量和/或指示场景的全部或一部分的温度的热成像系统。系统可另外构造成提供场景的热图像。将热图像数据转换成温度的处理通常被称为热成像。在各种实施例中，可以针对每个像素单独地或针对所选像素或像素的小组完成从图像信号到温度的转换。每个像素/像素组转换有时称为点热成像。作为点热成像的替代或补充，代表整个场景或场景的大部分的温度可以是期望的结果。通常，希望两种模式在成像系统中可替换或并存。
如上所述，热成像系统，特别是基于微测辐射热计的、便宜的、面向市场大众的系统，易受影响图像质量和准确度的广泛影响。特别地，图像信号转换成图像温度可能受到场景信号幅度(例如，场景温度)和成像传感器(例如，FPA)所暴露于的环境温度的影响。场景和环境温度的影响可因装置而异，并且可在系统的多个层级下存在变化，其包括独立的单元内的像素与像素之间的变化，给定设计内的单元与单元之间的变化，以及设计与设计之间的变化。较高成本的成像系统可以提供更多工具来减轻这些影响，例如用于传感器环境温度控制的器件以及受控或已知的温度校准装置，例如温度控制或温度监控的快门标记。本公开涉及这样的系统，其中用于缓解温度影响的工具受限。
本公开的某些实施例可以在具有简单廉价实施方式的集成环境温度传感器的成像系统中实现。因此，集成温度传感器不一定直接连接到FPA。此外，温度传感器的性能可能因单元而异。本公开的热成像处理可以利用温度传感器以及在系统制造的各个阶段获取的数据。
示例性热成像处理
参考图2，示出了热成像系统100的基本元件。FPA 102通过光学器件220观察场景。FPA 102信号被从集体显示为元件210的处理和显示元件处理和显示或以其他方式呈现给用户。环境温度传感器230与处理和显示元件210通信。环境温度传感器230可以位于FPA102附近或甚至位于其上。在一些实施例中，环境温度传感器230和FPA102之间的接近度对于精确确定FPA 102附近的环境温度是理想的。但是，只要环境温度传感器230在热成像系统100的内部(例如，在也包封FPA 102的系统壳体内)，则至少当环境和/或FPA温度足够稳定以使系统处于内部温度平衡时，来自温度传感器230的数据与FPA102的温度之间便可存在基本固定的关系。环境温度传感器230放置得离FPA 102越远，在温度快速变化期间，例如FPA预热和突然环境温度变化(例如用户将系统从室内带到室外)，热成像将越不准确。
图2示出了用于场景温度校准的测试设置，其可以作为制造测试的部分对一些或所有单元执行。在图2的测试设置中，热成像系统100保持在第一环境温度下，使得FPA 102保持在第一环境温度下。在最简单的情况下，这可能是依赖于测试区域的温度控制的测试区域的室温。在一些实施例中，温度可以以更专用的方式加以控制，例如，在温度室或受控温度保持装置中。优选地，可以在相同的受控环境温度下测试所有单元。控制程度可以从系统的主动温度控制(例如温度室或受控温度保持装置)变化到依赖于完成测试的房间的环境温度控制。利用受控且可重复的测试温度可有利地减少在后续操作使用期间的热成像转换中的误差。在校准期间，待测试的每个热成像系统100被加电并且在获取测试数据之前允许达到内部温度平衡。达到平衡的时间可以取决于系统设计，并且可以凭经验确定，或者直接通过观察温度传感器230的输出并等待其稳定来确定。
在校准期间，每个单元暴露于具有不同已知温度的至少两个场景。这些场景可以是平场的，例如，构造成使得单元的视场(FOV)观察均匀的已知温度场景。可以构造校准场景，使得FPA 102中的每个像素暴露于已知温度。在图2的示例性校准设置中，存在保持在三个不同场景温度下的三个平场场景，所述三个平场场景实现为三个黑体240，每个黑体处于不同的温度并且构造成使得热成像系统100在黑体240填充单元FOV或至少单元像素的待校准部分的情况下依次观察每个黑体240。该部分通常是所有像素，但是可以在黑体240填充少于所有像素的情况下实现校准。
从在不同场景温度下获取的场景图像，导出将传感器信号强度S与场景温度Ts相关联的函数，使得对于每个温度场景i＝1到n，F(S)＝Tsi，其中对于图2中的示例，n＝3。可以对所有像素全局导出函数F，即给定FPA的每个像素使用相同的函数。然而，希望以更精细的尺度导出F，例如像素的组将共享为所述组单独地导出的函数。如果计算和存储器资源允许，则希望针对每个像素单独地导出函数，使得F(S)实际上是F(Sx,y)，其中Sx,y是位于坐标(x，y)处的像素的传感器信号强度。
在一个非限制性示例性中，产生可接受结果的函数是3点线性拟合，Ts＝G(Sx,y)+O。总体而言，对该函数，该3点线性拟合对传感器强度信号S(x,y)应用增益项G和偏移项O。就热成像而言，校准测试的结果是保存函数F(Sx,y)或其一部分，例如，为线性拟合示例保存G和O。还保存了在达到平衡后在测试期间观察到的温度传感器值Tsens。该值可以对应于室温或受控的测试温度。出于说明性目的，可以将保存的值标记为Tsensrt。函数或至少细节(例如，特定系数)可以并且通常确实在单元之间变化并且甚至在每个单元内逐个像素地变化。
图3示出了可以对已经校准(例如，已经具有如上参考图2所述存储的F(Sx,y)和Tsensrt)的单元的选定子集执行的附加鉴定测试。鉴定的目的是提供可存储在所有单元中的更多信息，以提高热成像的准确性。鉴定测试针对热成像的四个误差源：转换对场景温度的依赖性，对传感器环境温度的依赖性，关于从温度传感器到传感器的偏移的变化，以及关于偏移的从温度传感器到传感器变化。
在多个场景温度和多个受控环境温度下实施鉴定测试。在图3的示例性测试设置中，利用若干温度受控黑体240产生多个场景温度，每个黑体设置在覆盖预期场景温度的范围的不同温度下。例如，在示例性测试设置中，十六个黑体(例如，图3中的M＝16)覆盖可能的温度范围，例如，从﹣15℃到500℃。在示例性测试设置中，黑体可以处于正常的室内环境中，所以特别是对于低于室温设置(例如，如果发生结霜)，实际的黑体表面温度可能与设置不对应。因此，可以用高温计320监测表面温度，并且高温计值可以用于场景温度。不同的产品可能需要不同的场景温度范围，但是示例性测试设置为上述限制内的任何范围提供了十六个场景温度数据点。
鉴定测试还可以包括在多个受控成像传感器环境温度下的测试。在图3的示例性设置中，成像系统100可以放置在可控温度室310中，并且构造成按照顺序观察每个黑体240。腔室可以被编程为覆盖宽范围的温度，例如，对于12个环境温度数据点，以10度的增量从﹣40℃到80℃。例如，黑体240可以安装在围绕腔室的观察口的轮子上。然而，对场景温度和/或环境温度进行控制和排序，期望的结果是每个场景温度在多个环境温度下成像。
对于每个环境温度下的每个场景温度，将实际已知的场景温度与从F(Sx,y)导出的值进行比较，并将差值或热成像误差ΔT存储在表中，其中一个轴是报告的场景温度，而另一个是受控的传感器环境温度。替代地，实际温度Tact可以与误差一起存储或代替误差存储。温度传感器的值Tsens与每个环境温度相关联。替代地，为了调整从温度传感器到温度传感器的偏移差异，可以从Tsesn中减去从校准中保存的值以创建偏移校正项ΔTherm＝Tsens﹣Tsensrt。
因此，创建图4中所示的误差表，其中一个轴是F(S)BBm，其中，m＝1到M(测试场景温度的数量)，另一个轴是Tsenschk，或者在一些实施例中，ΔThermchk，其中，k＝1到K(环境温度数据点的数量)，并且每个点是与每个测试点的实际环境温度相对应的温度传感器数据。可以对给定设计的一个或多个单元进行鉴定测试，并且可以通过聚合来自多个单元的结果来产生误差表，例如对每个结果误差进行平均。可以针对任何数量的像素导出该表，其包括用于每个像素的误差表。结果表存储到每个生产单元中。在用户实际使用期间，对于任何给定的实际观察信号和温度值，在表上找到最接近的对应误差ΔT，并且通过该误差调整报告的场景温度。对于线性拟合示例，实际报告的Tx,y＝G(Sx,y)+O+ΔTx,y或简单地等于Tactx,y的最接近值。
为了更高的准确度，当F(Sx,y)和/或ΔTherm位于表数据点之间时可以使用插值。可能的插值技术包括三步线性、双线性或双三次插值。
示例性热成像处理步骤
图5示出了用于热成像的示例性处理的流程图。为了便于描述，该处理将被描述为由本文参考图1A和1B描述的成像系统100以及利用参考图2和图3描述的测试构造执行。然而，该处理的步骤中的一个或多个步骤可以由成像系统100中的任何模块或模块的组合来执行。类似地，任何单独的步骤可以通过成像系统100中未示出的模块的组合来执行。图5的示例性处理可以包括：“全单元校准”部分，其中所有单元都被校准，如上文参考图2所述；和“选定单元鉴定”部分，其中如参考图3上文所述进一步分析从先前经校准单元中选定的至少一部分单元。在各种实施例中，可以对一个或多个直到所有经校准单元执行选定单元鉴定。例如，可以使用选定单元鉴定处理进一步分析1％、5％、10％、25％、50％或更多或甚至所有经校准单元。因为鉴定处理可以涉及基于诸如线性拟合等的统计方法确定一个或多个系数(如参考图3所述)，所以可以通过对相对更大百分比的经校准单元实施鉴定处理来增强鉴定处理的结果的准确性和/或统计质量。
对于全单元校准，在方框500中，将单元暴露于两个或更多个已知温度场景。例如，这些可以是均匀的温度场景。
在方框501中，开发将观察到的信号拟合到已知场景温度的函数F(Sx,y)，所述函数对于每个单元是特定的。例如，所述函数可以是对场景温度数据点的线性拟合。
在方框502中，观察并存储对应于校准测试期间的环境温度的温度传感器值。
对于选定单元鉴定测试，在方框503中，将单元暴露于多个已知温度场景，在多个环境温度下观察每个场景并计算针对每个场景和每个环境温度的F(Sx,y)。例如，已知温度场景可以由处于一系列不同温度下的黑体来产生并且环境温度可以通过将测试单元放置在温度受控室中来改变。
在方框504中，将温度传感器值与已知环境温度相关联。例如，希望实际上与温度传感器值减去来自校准的存储值相关联以减少温度传感器中的偏移变化。
在方框505中，针对每个场景/环境温度数据点，创建并存储已知场景温度和从F(Sx,y)导出的值之间的误差的表。例如，该表可以从一个单元导出或者从多个单元的聚合数据导出。一旦开发，表便可以加载到相同设计、批次、版本或任何其他合适分组的所有单元中。
在所有单元的校准后操作使用期间，在方框506处，通过基于在执行使用中的热成像时的当前信号和温度传感器值从表中提取误差信息来调整F(Sx,y)。例如，对于表条目之间的F(Sx,y)和温度传感器值，误差可以从最近的表值插值。
根据实施例，本文描述的任何算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件都是实践算法所必需的)。此外，在某些实施例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理或多个处理器或处理器核或在其他并行架构上，而非顺序执行。
结合本文公开的实施例描述的各种说明性逻辑块、模块和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已经在功能方面对各种说明性部件、块、模块和步骤进行了总体描述。将此类功能性实施为硬件还是软件取决于赋予整个系统的特定应用和设计约束。所描述的功能可以针对每个特定应用以不同方式实现，但是这种实现决策不应被解释为导致脱离本公开的范围。
结合本文公开的实施例描述的各种说明性逻辑块和模块可由机器实施或执行，例如构造有特定指令的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、分立硬件部件或其任何组合，其设计用于执行本文所述的功能。处理器可以是微处理器，但是在替代方案中，处理器可以是控制器、微控制器或状态机、它们的组合等。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP核的一个或多个微处理器或任何其他这样的构造。例如，本文描述的LUT可以使用分立存储器芯片、微处理器中的存储器的一部分、闪存、EPROM或其他类型的存储器来实现。
结合本文公开的实施例描述的方法、处理或算法的元件可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在RAM存储器、闪速储存器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD﹣ROM或本领域中已知的任何其他形式的计算机可读存储介质中。示例性存储介质可以耦合到处理器使得处理器可以从存储介质读取信息并将信息写入存储介质。在替代方案中，存储介质可以与处理器成一体。处理器和存储介质可以驻留在ASIC中。软件模块可以包括计算机可执行指令，其使硬件处理器执行计算机可执行指令。
本文使用的条件语言，例如“能够”、“可能”、“可以”、“例如”等，除非另有说明或者在所使用的上下文中以其他方式理解，否则通常旨在传达某些实施例包括而其他实施例不包括某些特征、元件和/或状态。因此，这种条件语言通常不旨在暗示一个或多个实施例以任何方式需要该特征、元件和/或状态，或者一个或多个实施例必须包括用于在有或没有作者输入或提示的情况下决定是否包括这些特征、元件和/或状态或者在任何特定实施例中要实施这些特征、元件和/或状态的逻辑。术语“包括(comprising)”、“包括(including)”、“具有”、“涉及”等是同义词并且以开放式方式包括性地使用且不排除附加的元件、特征、动作、操作等等。此外，术语“或”就其包括性的意义使用(而非就其排除性的意义使用)，使得当例如用于连接元件的列表时，术语“或”表示列表中的元件中的一个、一些或全部。
除非另有明确说明，否则诸如短语“X、Y或Z中的至少一者”之类的析取语言在上下文中被理解为通常用于表示项目、术语等可以是X、Y或Z，或者其任何组合(例如，X、Y和/或Z)。因此，这种析取语言通常不旨在且不应该暗示某些实施方案需要X中的至少一者，Y中的至少一者或Z中的至少一者各自存在。
术语“约”或“近似”等是同义词并且用于表示由该术语修饰的值具有与其相关联的理解范围，其中该范围可以是±20％、±15％、±10％、±5％或±1％。术语“基本上”用于表示结果(例如，测量值)接近目标值，其中接近可意味着例如，结果处于值的80％内、值的90％内，值的95％内，或者值的99％内。
除非另有明确说明，否则诸如“一(a)”或“一(an)”的冠词通常应被解释为包括一个或多个所描述的项目。因此，诸如“构造成……的装置”的短语旨在包括一个或多个所记载的装置。这样的一个或多个所记载的装置也可以共同构造成执行所描述的记载。例如，“构造成执行记载A、B和C的处理器”可以包括第一处理器，其构造成执行记载A，所述第一处理器与构造成执行记载B和C的第二处理器一起工作。
虽然以上详细描述已经示出、描述并指出了应用于说明性实施例的新颖特征，但是应当理解的是在不脱离本公开的精神的情况下可以对所示装置或算法的形式和细节进行各种省略、替换和改变。如将认识到的那样，本文描述的某些实施例可以体现为不提供本文阐述的所有特征和益处的形式，这是因为一些特征可以与其他特征分开使用或实践。在权利要求的含义和等效范围内的所有变化都包含在其范围内。

Claims (10)

1.一种用于针对成组的生产热成像系统将信号转换成温度的处理，所述成组的热成像系统中的每个热成像系统包括：光电检测器的阵列，每个光电检测器构造成输出对应于成像场景的一部分的温度的信号Sx,y；和环境温度传感器，所述处理包括：
对所述成组的热成像系统中的所有热成像系统执行场景温度校准，所述校准包括：
在校准环境温度下将每个热成像系统暴露于n个已知温度场景，每个已知温度场景具有独特场景温度TSi，即从Ts1到Tsn，其中n至少为2；
针对每个热成像系统，基于所述信号Sx,y，开发单元特定的函数F(Sx,y)i＝Tsi，其将观察到的信号拟合到已知场景温度；和
存储对应于所述校准环境温度的环境温度传感器值Tsen；
对所述成组的热成像系统的先前校准的热成像系统的子集执行场景温度/环境温度鉴定测试，所述鉴定测试包括：
将所述子集中的每个热成像系统暴露于多个已知环境温度，并且在每个环境温度下，将单元暴露于不同已知场景温度下的多个已知温度场景，从而获得针对环境温度和场景温度的每个组合的函数F(Sx,y)；
将环境温度传感器输出与所述已知环境温度相关联；和
创建针对每个环境温度下的每个已知场景的F(Sx,y)与所述已知场景温度之间的误差ΔT或者所述已知场景温度Tact中的至少一者的二维表；和
对于所述成组的热成像系统中的单独的热成像系统，在后续操作使用期间通过基于Sx,y和所述环境温度传感器值从所述二维表中提取实际场景温度或误差信息中的至少一者调整F(Sx,y)。
2.根据权利要求1所述的处理，其中，用于所述校准和所述鉴定的所述已知温度场景是设置在预定温度下的黑体。
3.根据权利要求1所述的处理，其中，通过将所述热成像系统放置在温度室中并以预定方式改变所述温度室的腔室温度来产生多个所述环境温度。
4.根据权利要求1所述的处理，其中，F(Sx,y)＝G(Sx,y)+O，其中，G是增益项，O是偏移项。
5.根据权利要求1所述的处理，其中，所述校准环境温度是室温，并且所述温度传感器值是Tsenrt。
6.根据权利要求5所述的处理，其中，针对ΔTherm＝Tsens﹣Tsensrt开发与腔室温度的相关性。
7.根据权利要求6所述的处理，其中，在操作期间与光电检测器信号相关联的温度是Tx,y＝G(Sx,y)+O+ΔT或Tx x,y＝Tactx,y中的至少一者。
8.根据权利要求6所述的处理，其中，所述二维表的第一轴包括对应于每个黑体温度的F(Sx,y)值，并且其中，所述二维表的第二轴包括对应于每个腔室温度的ΔTherm值。
9.根据权利要求8所述的处理，其中，所开发的表被存储为用于所述成组的热成像系统中的每个热成像系统的查询表，并且其中，输入所述查询表的输入是实际信号F(Sx,y)和ΔTherm。
10.根据权利要求9所述的处理，其中，在操作使用期间，如果任何给定的F(Sx,y)和ΔTherm不恰好等于表轴值，则所使用的误差值ΔT由表误差值的3步线性插值、双线性插值或双三次插值中的至少一者确定。
CN201780086493.7A 2016-12-20 2017-12-18 用于热成像系统的热成像处理 Active CN110312919B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662436964P 2016-12-20 2016-12-20
US62/436,964 2016-12-20
US15/843,667 US10605668B2 (en) 2016-12-20 2017-12-15 Thermography process for converting signal to temperature in a thermal imaging system
US15/843,667 2017-12-15
PCT/US2017/067063 WO2018118801A1 (en) 2016-12-20 2017-12-18 Thermography process for a thermal imaging system

Publications (2)

Publication Number Publication Date
CN110312919A true CN110312919A (zh) 2019-10-08
CN110312919B CN110312919B (zh) 2021-03-19

Family

ID=60972404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086493.7A Active CN110312919B (zh) 2016-12-20 2017-12-18 用于热成像系统的热成像处理

Country Status (4)

Country Link
US (1) US10605668B2 (zh)
EP (1) EP3559619B1 (zh)
CN (1) CN110312919B (zh)
WO (1) WO2018118801A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111765978A (zh) * 2020-06-19 2020-10-13 四川康佳智能终端科技有限公司 一种红外测温处理方法及系统、智能设备及存储介质
CN113138026A (zh) * 2021-04-26 2021-07-20 长视科技股份有限公司 一种基于测温系统的测温方法、装置、计算机设备
WO2021184254A1 (zh) * 2020-03-18 2021-09-23 深圳市大疆创新科技有限公司 红外热成像测温方法、电子设备、无人机及存储介质
CN115004256A (zh) * 2020-03-03 2022-09-02 赫尔实验室有限公司 使用基于概率信号时间逻辑的优化来进行基于对比度和熵的感知调整

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104321B1 (ko) * 2018-12-27 2020-04-24 한화시스템 주식회사 열상 카메라의 소프트 불량 픽셀 검출 방법
KR102704626B1 (ko) * 2019-02-22 2024-09-06 한화비전 주식회사 열화상 센서 제어 방법 및 그 장치
CN110686781B (zh) * 2019-04-12 2024-04-09 福建鼎泰康医疗设备有限公司 一种温度校准方法及装置
KR102198748B1 (ko) * 2019-06-27 2021-01-05 한화시스템 주식회사 후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 방법
WO2021041717A1 (en) * 2019-08-30 2021-03-04 Seek Thermal, Inc. Design, test, and operation of a small thermal imaging core
EP3799423B1 (en) * 2019-09-26 2023-04-05 Goodrich Corporation Non-uniformity correction for focal plane arrays
US11867566B2 (en) * 2019-09-27 2024-01-09 Welch Allyn, Inc. Systems and methods for temperature determination
EP3885725B1 (en) * 2020-03-23 2022-01-12 Axis AB Method, device, and system for temperature calibration and determination of a temperature in a scene
EP3904853A1 (fr) * 2020-04-30 2021-11-03 The Swatch Group Research and Development Ltd Procéde de calibration d'au moins un capteur de température électronique
US20210401294A1 (en) * 2020-06-25 2021-12-30 The United States Of America, As Represented By The Secretary Of The Navy Sensor agnostic temperature detection system
US20220240787A1 (en) * 2020-06-25 2022-08-04 The United States Of America, As Represented By The Secretary Of The Navy Sensor agnostic temperature detection system
US12078544B2 (en) * 2020-11-11 2024-09-03 Radiant Innovation Inc. Temperature calibration method of infrared thermal image camera and calibration method of temperature sensing system of infrared thermal image camera
CN113273972B (zh) * 2021-06-25 2022-06-17 浙江大华技术股份有限公司 一种人体测温方法及装置
US20230123056A1 (en) * 2021-10-14 2023-04-20 Radiant Innovation Inc. Temperature measuring device having a temperature calibration function
TWI811989B (zh) 2022-01-27 2023-08-11 國家中山科學研究院 在環境溫度變動下測溫穩定的方法
CN115389026B (zh) * 2022-04-13 2024-07-02 国网福建省电力有限公司莆田供电公司 一种用于电网设备在线巡检的智能红外热成像装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128884A (en) * 1989-12-18 1992-07-07 Prager Kenneth E Black body calibration using image processing techniques
US20050029453A1 (en) * 2003-08-05 2005-02-10 Bae Systems Information And Electronic Systems Integration, Inc. Real-time radiation sensor calibration
WO2011086433A1 (en) * 2010-01-18 2011-07-21 Telops Inc. Radiometric calibration method for infrared detectors
CN103827623A (zh) * 2011-08-09 2014-05-28 瑞尼斯豪公司 用于检查工件的方法和设备
WO2014173464A1 (en) * 2013-04-26 2014-10-30 Mtech Imaging Pte Ltd Noise correction in an infra-red imaging system
CN105371991A (zh) * 2015-12-01 2016-03-02 上海申矽凌微电子科技有限公司 温度传感器芯片测试装置及测试方法
WO2016033297A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera
CN105942987A (zh) * 2016-04-18 2016-09-21 北京异度矩阵科技有限公司 一种用于连续监测的便携式红外体温计及其温度补偿方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222454B1 (en) 1999-07-01 2001-04-24 Goal Electronics Inc. Non-contacting temperature sensing device
JP4795610B2 (ja) 2000-05-01 2011-10-19 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 放射センサの温度変動を補償するための方法および装置
IL157344A0 (en) 2003-08-11 2004-06-20 Opgal Ltd Internal temperature reference source and mtf inverse filter for radiometry
US7304297B1 (en) 2004-07-01 2007-12-04 Raytek Corporation Thermal imager utilizing improved radiometric calibration technique
SE531942C2 (sv) 2007-02-01 2009-09-15 Flir Systems Ab Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering
US20090018531A1 (en) 2007-06-08 2009-01-15 Cynosure, Inc. Coaxial suction system for laser lipolysis
US7750301B1 (en) 2007-10-02 2010-07-06 Flir Systems, Inc. Microbolometer optical cavity tuning and calibration systems and methods
US20090272888A1 (en) 2008-01-25 2009-11-05 Nugent Paul W Thermal infrared imaging system and associated methods for radiometric calibration
US8212210B2 (en) 2008-02-04 2012-07-03 Flir Systems Ab IR camera and method for presenting IR information
US8407616B2 (en) 2008-08-29 2013-03-26 Fluke Corporation Graphical user interfaces and methods for thermography
US8595689B2 (en) 2008-12-24 2013-11-26 Flir Systems Ab Executable code in digital image files
US9491376B2 (en) 2009-02-23 2016-11-08 Flir Systems, Inc. Flat field correction for infrared cameras
US9171361B2 (en) 2010-04-23 2015-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8520970B2 (en) 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US10044946B2 (en) 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
EP2437486A1 (en) 2010-10-04 2012-04-04 Flir Systems AB IR Camera and Method for Processing Thermal Image Information
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
SE536839C2 (sv) 2012-12-18 2014-09-30 Flir Systems Ab Förfarande för kalibrering av sensor, datorprogram och datorläsbart medium.
US9681066B2 (en) 2013-07-08 2017-06-13 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement
CN106030493B (zh) 2013-12-18 2018-10-26 前视红外系统股份公司 基于滑动手势处理红外图像

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128884A (en) * 1989-12-18 1992-07-07 Prager Kenneth E Black body calibration using image processing techniques
US20050029453A1 (en) * 2003-08-05 2005-02-10 Bae Systems Information And Electronic Systems Integration, Inc. Real-time radiation sensor calibration
WO2011086433A1 (en) * 2010-01-18 2011-07-21 Telops Inc. Radiometric calibration method for infrared detectors
CN103827623A (zh) * 2011-08-09 2014-05-28 瑞尼斯豪公司 用于检查工件的方法和设备
WO2014173464A1 (en) * 2013-04-26 2014-10-30 Mtech Imaging Pte Ltd Noise correction in an infra-red imaging system
WO2016033297A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera
CN105371991A (zh) * 2015-12-01 2016-03-02 上海申矽凌微电子科技有限公司 温度传感器芯片测试装置及测试方法
CN105942987A (zh) * 2016-04-18 2016-09-21 北京异度矩阵科技有限公司 一种用于连续监测的便携式红外体温计及其温度补偿方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115004256A (zh) * 2020-03-03 2022-09-02 赫尔实验室有限公司 使用基于概率信号时间逻辑的优化来进行基于对比度和熵的感知调整
WO2021184254A1 (zh) * 2020-03-18 2021-09-23 深圳市大疆创新科技有限公司 红外热成像测温方法、电子设备、无人机及存储介质
CN111765978A (zh) * 2020-06-19 2020-10-13 四川康佳智能终端科技有限公司 一种红外测温处理方法及系统、智能设备及存储介质
CN113138026A (zh) * 2021-04-26 2021-07-20 长视科技股份有限公司 一种基于测温系统的测温方法、装置、计算机设备

Also Published As

Publication number Publication date
US10605668B2 (en) 2020-03-31
CN110312919B (zh) 2021-03-19
US20180180485A1 (en) 2018-06-28
WO2018118801A1 (en) 2018-06-28
EP3559619A1 (en) 2019-10-30
EP3559619B1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
CN110312919A (zh) 用于热成像系统的热成像处理
US20160065848A1 (en) Thermography for a thermal imaging camera
US9930324B2 (en) Time based offset correction for imaging systems
CN109839072B (zh) 一种基于dic的温度场与变形场同步测量的方法及装置
US10128808B2 (en) Gain calibration for an imaging system
CN106797440A (zh) 成像系统的操作偏置的自适应调整
US9947086B2 (en) Image adjustment based on locally flat scenes
US9167179B2 (en) On-board non-uniformity correction calibration methods for microbolometer focal plane arrays
US20120239330A1 (en) Radiometric calibration method for infrared detectors
CN206146624U (zh) 一种热红外高光谱成像仪盲元检测装置
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
US9255846B1 (en) Digital temperature determination using a radiometrically calibrated and a non-calibrated digital thermal imager
US10890490B2 (en) Thermography process for converting signal to temperature in a thermal imaging system
CN111272290B (zh) 基于深度神经网络的测温红外热像仪标定方法及装置
Zhang et al. A method for improving temperature measurement precision on the uncooled infrared thermal imager
CN110487416B (zh) 一种红外热像仪netd与mrtd的快速测试方法
Jähne Emva 1288 standard for machine vision: Objective specification of vital camera data
Marcotte et al. Infrared camera NUC and calibration: comparison of advanced methods
CN109565557A (zh) 用于热成像系统的固定模式噪声减轻
CN111707382A (zh) 一种温度变形同步测量的动态光学补偿方法及装置
Castorena et al. Non-uniform system response detection for hyperspectral imaging systems
CN115931142A (zh) 一种比色测温黑体标定方法
König et al. Nonuniformity determination of infrared imagers by detecting radiance temperatures with the Data Reference Method
Rashman et al. Adapting thermal-infrared technology and astronomical techniques for use in conservation biology
Kienitz Thermal imaging as a modern form of pyrometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant