CN109565557A - 用于热成像系统的固定模式噪声减轻 - Google Patents

用于热成像系统的固定模式噪声减轻 Download PDF

Info

Publication number
CN109565557A
CN109565557A CN201780040394.5A CN201780040394A CN109565557A CN 109565557 A CN109565557 A CN 109565557A CN 201780040394 A CN201780040394 A CN 201780040394A CN 109565557 A CN109565557 A CN 109565557A
Authority
CN
China
Prior art keywords
pixel
fpn
frame
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780040394.5A
Other languages
English (en)
Inventor
R·威廉姆斯
W·J·帕里希
J·乌尔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seker Heat LLC
Seek Thermal Inc
Original Assignee
Seker Heat LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seker Heat LLC filed Critical Seker Heat LLC
Publication of CN109565557A publication Critical patent/CN109565557A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

其视场FOV经历相对于观察的场景的偶尔移动的成像系统可以被配置为减少获取的图像数据的固定模式噪声(FPN)。可以通过借助于一系列的步骤发展逐个像素的FPN校正项来减少FPN，所述步骤包括使图像模糊，识别要从一些计算排除的像素，用于移动下的帧的移动检测器和FPN更新器，以及用于静止的帧的FPN衰减元件。

Description

用于热成像系统的固定模式噪声减轻
技术领域
本公开一般涉及用于诸如特别是包括热成像的照相机以及可视成像照相机的成像系统的固定模式噪声(FPN)减少，并且特别是涉及用于开发可以应用于图像数据的FPN滤波的系统和方法。
背景技术
诸如测热辐射计(bolometer)焦面阵列(FPA)的高性能、低成本未冷却红外成像设备的越来越多的可用性使得能够设计和制造能够进行质量热成像的大规模制造、面向消费者的红外(IR)照相机。这种热成像传感器长期昂贵并且难以制造，因此限制高性能、长波成像向诸如航空(aerospace)、军事或大尺寸商业应用的高值设施的使用。大规模制造的IR照相机可以具有与复杂的军事或工业系统不同的设计需求。这种系统中的固定模式噪声可能超过可接受的水平，因此，可能希望滤除FPN的新方式。
发明内容
这里描述的示例性实施例具有新颖性特征，在这些特征中没有单个的一个是必需的或者单独地负责它们的希望的属性。在不限制权利要求的范围的情况下，将概括有利的特征中的一些。
在一些实施例中，视场FOV经受相对于观察的场景的偶尔移动的成像系统可以被配置为减少获取的图像数据的固定模式噪声(FPN)。可以通过通过一系列的步骤发展逐个像素的FPN校正项来减少FPN，所述步骤包括使图像模糊，识别要从一些计算排除的像素，用于移动下的帧的移动检测器和FPN更新器，以及用于静止的帧的FPN衰减元件。
在第一方面中，描述了一种用于减少成像系统中的固定模式噪声(FPN)的方法，成像系统包括至少一个成像传感器和关联的图像信号处理链，其中，图像像素数据的连续的帧被产生和传递到图像信号处理链，并且，这里，成像系统的视场(FOV)经受相对于成像场景的偶尔移动。所述方法包括：选择一组像素Px,y sig，所述一组像素Px,y sig包含图像帧的至少一部分，应用FPN滤波以产生FPN校正项FPNx,y，以及至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素，以产生用于计算当前帧的FPNx,y的值的经校正的一组像素Px,y。应用FPN滤波包含：将像素Px,y中的至少一些模糊化以创建模糊像素组Kx,y，并且对于至少一个后面的帧保存模糊像素组Kx,y，其中，Kx,y值在FPN滤波的应用期间对于当前帧和至少一个之前帧是可用的；将满足一个或更多个预先确定的准则的像素识别为对于当前图像帧的排除像素；通过比较来自当前帧和至少一个之前帧的Kx,y值，检测图像移动，当检测到移动时，至少部分地基于用于当前非排除像素的Px,y和Kx,y并且至少部分地基于用于当前排除像素的之前的FPNx,y信息，计算更新的FPNx,y项；以及当没有检测到移动时，对于排除像素和非排除像素均使FPNx,y衰减。
在第一方面的一些实施例中，一组像素Px,y sig包含远离图像帧边界的至少一个像素。在第一方面的一些实施例中，将像素Px,y中的至少一些模糊化包含：对选择的像素应用滚动核；以及用从中心像素的最近邻居像素导出的像素值替代各核的中心像素，以创建模糊像素Kx,y。在第一方面的一些实施例中，创建模糊像素组Kx,y包含计算最近邻居像素的平均值、中值、缩放平均值或缩放中值中的至少一个。
在第一方面的一些实施例中，核是3×3核，并且Kx,y是与各核中的中心像素相邻的8个像素的中值。在第一方面的一些实施例中，将像素识别为排除像素包含以下至少之一：在Px,y或Kx,y像素的至少一部分中的至少一个上执行振幅滤波并且排除预先确定的振幅之上的像素；或者在Px,y或Kx,y像素的至少一部分上执行边缘滤波并且排除边缘滤波结果超过预先确定的值的像素。在第一方面的一些实施例中，边缘滤波包含高通滤波或X滤波中的至少一个。在第一方面的一些实施例中，检测移动包含：计算从至少一个之前帧到下一帧的Kx,y值的至少一部分的差值，对超过预先确定的差值阈值的像素Kx,y的数量进行计数，以及如果所述数量超过预先确定的计数阈值，则确定存在移动。
在第一方面的一些实施例中，时间t0对应计算FPNx,y的第一帧，时间t对应当前帧，并且时间t-1对应于之前帧，其中，计算更新FPNx,y项目包含：设定FPNx,y(t0)＝0，将FPNx,y(t)设定为FPNx,y(t-1)+S(Px,y(t)-Kx,y(t))或检测到t和t-1处的帧之间的移动的非排除像素的FPNx,y(t-1)-ave(FPNx,y(t-1))+S(Px,y(t)-Kx,y(t))中的至少一个，对检测到t和t-1处的帧之间的移动的排除像素，设定FPNx,y(t)＝FPNx,y(t-1)，这里，S是预先确定的缩放因子，并且其中，衰减包含对于没有检测到t和t-1处的帧之间的移动的所有像素设定FPNx,y(t)＝D*FPNx,y(t-1)，这里，D是预先确定的衰减因子。
在第一方面的一些实施例中，至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素以产生经校正的一组像素Px,y包含以下至少之一：将Px,y设定为Px,y sig-FPNx,y(t-1)；将剪切滤波应用于Px,y像素的至少一部分；和将Px,y像素传递到图像信号处理链的其它模块。
在第二方面中，描述了一种带有固定模式噪声(FPN)减小的成像系统。所述成像系统包括：至少一个成像传感器和关联的图像信号处理链，其中，图像像素数据的连续的帧被产生和传递到图像信号处理链，并且，这里，成像系统的视场(FOV)经受相对于成像场景的偶尔移动。所述系统还包括：被配置为选择一组像素Px,y sig的选择元件，所述一组像素Px,y sig包含图像帧的至少一部分；被配置为产生FPN校正项FPNx,y的FPN滤波；和被配置为至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素以产生用于计算当前帧的FPNx,y的值的经校正的一组像素Px,y的FPN应用元件。FPN滤波包含：被配置为将像素Px,y中的至少一些模糊化以创建模糊像素组Kx,y并且对于至少一个后面的帧保存模糊像素组Kx,y的模糊化元件，其中，Kx,y值在FPN滤波的应用期间对于当前帧和至少一个之前帧是可用的；被配置为将满足一个或更多个预先确定的准则的像素识别为对于当前图像帧的排除像素的排除元件；被配置为通过比较来自当前帧和至少一个之前帧的Kx,y值来检测图像移动的移动检测元件；被配置为当检测到移动时至少部分地基于用于当前非排除像素的Px,y和Kx,y并且至少部分地基于用于当前排除像素的之前FPNx,y信息计算更新的FPNx,y项的FPNx,y更新元件；和被配置为当没有检测到移动时对于排除像素和非排除像素均使FPNx,y衰减的FPNx,y衰减元件。
在第二方面的一些实施例中，一组像素Px,y sig包含远离图像帧边界的至少一个像素。在第二方面的一些实施例中，模糊化元件被配置为：向选择的像素应用滚动核；以及用从中心像素的最近邻居像素导出的像素值替代各核的中心像素，以创建模糊的像素Kx,y。在第二方面的一些实施例中，模糊化元件被配置为通过计算最近邻居像素的平均值、中值、缩放平均值或缩放中值中的至少一个来创建模糊的像素Kx,y。
在第二方面的一些实施例中，核是3×3核，并且，Kx,y是邻近各核中的中心像素的8个像素的中值。在第二方面的一些实施例中，排除元件被配置为进行以下至少之一：在Px,y或Kx,y像素的至少一部分中的至少一个上执行振幅滤波并且排除预先确定的振幅之上的像素；或者在Px,y或Kx,y像素的至少一部分上执行边缘滤波并且排除其边缘滤波结果超过预先确定的值的像素。
在第二方面的一些实施例中，边缘滤波包含高通滤波或X滤波中的至少一个。在第二方面的一些实施例中，移动检测元件被配置为：计算从至少一个之前帧到下一帧的Kx,y值的至少一部分的差值；对超过预先确定的差值阈值的像素Kx,y的数量进行计数；以及如果所述数量超过预先确定的计数阈值，则确定存在移动。
在第二方面的一些实施例中，时间t0对应于计算FPNx,y的第一帧，时间t对应于当前帧，并且时间t-1对应于之前帧，其中，更新FPNx,y元件被配置为：设定FPNx,y(t0)＝0，将FPNx,y(t)设定为FPNx,y(t-1)+S(Px,y(t)-Kx,y(t))或检测到t和t-1处的帧之间的移动的非排除像素的FPNx,y(t-1)-ave(FPNx,y(t-1))+S(Px,y(t)-Kx,y(t))中的至少一个，这里，S是预先确定的缩放因子，以及对检测到t和t-1处的帧之间的移动的排除像素，设定FPNx,y(t)＝FPNx,y(t-1)，并且其中，衰减元件被配置为对于没有检测到t和t-1处的帧之间的移动的所有像素设定FPNx,y(t)＝D*FPNx,y(t-1)，这里，D是预先确定的衰减因子。
在第一方面的一些实施例中，应用FPNx,y元件被配置为通过以下至少之一产生所述一组像素Px,y：将Px,y设定为Px,y sig-FPNx,y(t-1)；将剪切滤波应用于Px,y像素的至少一部分；以及将Px,y像素传递到图像信号处理链的其它模块。
附图说明
结合附图参照以下的详细描述，描述这里提供的实施例的多个方面和优点。在全部的附图中，附图标记可以被再次使用，以表示提到的要素之间的对应关系。提供附图是为了示出这里描述的示例性实施例，并且不意在限制本公开的范围。
图1A示出示例性成像系统的功能框图。
图1B示出图1A所示的示例性成像系统的功能框图，其中，成像系统的功能在照相机与移动电子设备之间被分割。
图2示出FPN在一些成像系统中如何随时间表现。
图3示出用于成像系统的示例性非均匀校正(NUC)步骤。
图4示出偏移和增益NUC元件的示例性操作。
图5是FPN减小元件的示例性实施例的框图。
图6示出示例性模糊化元件。
图7示出示例性边缘滤波。
图8示出示例性振幅滤波。
图9示出示例性限定活性FPN像素元件
图10示出示例性运动检测器元件。
图11示出示例性衰减FPN元件。
图12示出示例性更新FPN元件。
图13示出示例性应用FPN元件。
图14示出用于减少FPN的示例性方法的流程图。
具体实施方式
一般而言，本公开的多个方面涉及减小或减轻固定模式噪声(FPN)对成像系统的图像质量的影响。这些方面涉及通过成像系统观察的视场和/或场景内容不恒定的成像系统。例如，可能至少偶尔存在一些类别的图像的移动，从而导致场景中的特征例如在连续的图像中改变它们的位置。对于这种成像系统，图像移动可以帮助FPN减轻。本公开包括减少FPN对图像数据的影响的系统和方法。例如，FPN滤波可以被应用于图像数据，并且FPN滤波可以至少部分地依赖于图像移动。这些系统和方法可以与其它图像处理功能组合地使用FPN滤波，以向用户呈现更清楚、更容易解释的图像。这些系统和方法适用于任何成像系统，并且可以特别适用于包括热成像传感器的系统。在一些实施例中，热成像传感器数据通过一系列大量的图像处理步骤经受处理，以校正许多热成像传感器共有的均匀性的缺少、随时间的稳定性以及低信噪比特性(signal to noise characteristics)。FPN在热成像中也是潜在的问题。在一些实施例中，早期在图像处理步骤中应用FPN滤波可能是有利的。
出于例示而不是限制的目的，这里描述的例子和解释关注包括使用焦面阵列的红外照相机或传感器的成像系统。将关于意在例示而不是限制本公开的某些例子和实施例描述本公开的各种方面。对于这些方面中的许多，非限制性示例性实施例将描述热传感器将图像数据传输到执行一系列的图像处理步骤的一个或更多个处理器的成像系统，该成像系统包括用于FPN减轻的元件。
这里描述的一些实施例规定利用图像特征的随时间的移动来开发和更新FPN滤波。有利地，这可以允许方便和及时地应用于图像移动常常盛行的这种系统。
这里描述的一些实施例用于在图像处理操作中早期应用FPN滤波。有利地，在许多情况下，这可以允许减少的后续处理。
在这里描述的一些实施例规定抑制FPN，同时对诸如边缘和热斑的图像特征保持保真度。有利地，这可以通过高对比度图像特征的很少的畸变允许更清晰的外观图像。
公开的FPN减轻方法可以实现为可以是编程的计算机方法或数字逻辑方法的模块或元件，并且可以通过使用各种模拟和/或数字离散电路组件(晶体管、电阻器、电容器、电感器、二极管等)、可编程逻辑、微处理器、微控制器、专用集成电路或其它电路元件中的任何的组合被实现。被配置为存储计算机程序或计算机可执行指令的存储器可以与离散的电路组件一起被实现，以实施这里描述的方法中的一种或更多种。在某些实现中，可以与照相机核心上的一个或更多个焦面阵列(FPA)结合地实现公开的方法，其中，执行公开的方法的处理器和存储器组件可以处于与照相机核心配合的处理设备(诸如包括智能电话、平板电脑、个人计算机等的移动设施)上。在一些实现中，成像系统的处理和存储器元件可以处于作为核心或照相机系统的一部分的可编程逻辑或板上处理器中。在一些实施例中，可以在照相机核心上的处理元件上实现像素映射、边缘检测和图像组合，并且，可以通过与核心配合的系统控制器实现进一步的图像处理和显示。一般地，数字控制功能、图像获取、图像处理和图像显示/分析可以跨着一个或更多个数字元件或处理器分布。参照公开的实施例中的任一个中的系统处理器或任何控制器不应被解释为暗示控制和处理功能驻留在单个元件中。
作为由公开的系统和方法提供的一些优点的特定例子，成像系统可以包括被配置为获取场景的图像的热成像焦面阵列(FPA)。FPA可以包括N个检测器的二维阵列，FPA被配置为输出场景的二维图像。对于成像目的，一般地，图像帧，一般是来自检测器中的全部或一些的数据Nf，由FPA产生，各连续的帧包含来自在连续的时间窗口中拍摄的阵列的数据。因此，通过FPA传输的数据的帧包含Nf个数字词，每个词代表图像中的特定像素Px,y signal。这些数字词通常具有由模-数转换(A/D)处理确定的长度。例如，如果用14位A/D转换像素数据，则像素词可以具有14位的长度，并且每个词可以存在16384个计数。对于用作热成像系统的IR照相机，这些词可以对应于由阵列中的各像素测量的放射线的强度。在特定例子中，对于测热辐射计IR FPA，每像素的强度通常对应于成像场景的相应部分的温度，较低值对应于较冷区域且较高的值对应于较热的区域。可能希望在视频显示器上显示该数据。
诸如在红外成像阵列中，FPA中的各像素可以包括响应于检测的放射线产生相对小的信号的放射线检测器。与源自不是由入射的放射线导致的来源的FPA中的信号或信号电平或者非图像信号相比，这些信号可能相对小，其中，这些非图像信号与FPA的材料、结构和/或组件有关。例如，FPA中的像素可以包括接口电路，接口电路包含可以与检测器的阵列直接接口连接的读出集成电路(ROIC)上的电阻器网络、晶体管和电容器。例如，可以通过使用MEMS处理制造微测热辐射计检测器阵列、微电气机械系统(MEMS)器件。但是，可以通过使用电子电路技术制造相关的ROIC。这两个组件可以被组合在一起，以形成FPA。接口电路和检测器自身的组合可以具有与响应于入射在检测器上的放射线产生的信号相比相对大的偏移和温度行为。因此，可能希望在显示或以其它的方式处理图像数据之前补偿这些不与图像信号有关的效果。
在分别在这里通过引用并入其全部内容的在2015年8月18日提交的美国专利申请No.14/829500(现在为美国专利No.9584750)、在2014年5月30日提交的美国专利申请No.14/292124、在2015年8月18日提交的美国专利申请No.14/829490(现在为美国专利No.9595934)、在2015年8月4日提交的美国专利申请No.14/817989和在2015年8月4日提交的美国专利申请No.817847中，公开了图像处理系统和方法的例子。这些引用的申请描述了用于调整伪像并且校正至少部分地由于成像系统的各种性能和特性而出现的图像质量的劣化的各种成像系统配置和各种技术。可以在如描述的那样可以任意地是照相机设备的一部分的处理单元、与照相机设备连接的处理设备中实现并且/或者在两者之间分布这些各种图像处理功能。对于一些成像系统，处理单元可以包括用于操作快门的控制功能。也可以使用通常包括可见光敏感FPA的可见光传感器。这种可见光成像系统在数字照相机和个人电子设备(PED)等中是常见的。为了便于特定的系统设计，用于两个传感器的图像处理和显示功能的资源可以被分享，或者是单独的。包括各种或相同类型的多个成像传感器的系统也可以受益于公开的系统和方法。
示例性成像系统
图1A示出示例性热成像系统100的功能框图，该热成像系统100包括诸如焦面阵列102的图像传感器、预处理模块104、非均匀校正模块106、滤波模块108、热成像仪模块110、直方图均衡模块112、显示处理模块114和显示器116。焦面阵列102可以输出强度数据(例如，图像、热图像等)的一系列的帧。各帧可以包括像素值的阵列，各像素值代表由焦面阵列102上的相应像素检测的光强度。像素值可以作为串行数字数据的流被读出到焦面阵列102的外面。在一些实施例中，通过使用处理焦面阵列102的整个行或整个列的读出电子器件，将像素值读出到焦面阵列102的外面。在一些实施例中，读出电子器件一次将数据作为几个列或行的流输出。例如，一些FPA利用称为电子滚动快门的技术，该技术在总帧的离散增量或子帧中的图像获取过程中激活光电检测器并且在它们因此被获取时输出子帧。因此，随后的图像处理可以被配置为在子帧的基础上起作用，从而通过整个帧一次使一个或更多个子帧工作。数据流的格式可以被配置为符合希望的、标准的或预先确定的格式。数字数据的流可以诸如通过显示器116被显示为二维图像。
在一些实施例中，焦面阵列102可以是与读出集成电路(“ROIC”)一体化的微测热辐射计的阵列。微测热辐射计的阵列可以被配置为响应于热辐射的量或温度产生电信号。ROIC可以包括缓冲器、积分器、模-数转换器和定时组件等，以从微测热辐射计的阵列读取电信号并且输出数字信号(例如，分成图像帧的14位串行数据)。在2014年5月30日提交的发明名称为“Data Digitization and Display for an Imaging System”的美国专利申请No.14/292124中公开了与焦面阵列102相关的系统和方法的额外例子，在这里通过引用并入其全部内容。
焦面阵列102可以具有可以在图像处理中使用以产生高级图像的校准或与其相关的其它的监视信息(例如，校准数据103)。例如，校准数据103可以包括坏的像素地图和/或存储于数据存储器中并且通过成像系统100中的模块检索的增益表，以校正和/或调整由焦面阵列102提供的像素值。校准数据103可以包括一个或更多个增益表。如这里描述的那样，焦面阵列102可以包括具有集成的读出电子器件的多个像素。读出电子器件可以具有与其相关的增益，其中，所述增益可以例如与电子器件中的电容器的跨阻抗成比例，或者另外与电子器件的特性有关。在一些实现中可以采取像素增益表的形式的该增益值可以被成像系统100的图像处理模块使用。在2015年8月18日提交的发明名称为“Gain Calibration foran Imaging System”的美国专利申请No.14/829490中提供用于成像系统100的校准数据的额外例子，在这里通过引用并入其全部内容。校准数据103可以被存储于成像系统100上，或者存储于另一系统中的数据存储器中，以供在图像处理中检索。
示例性成像系统100包括被配置为处理来自焦面阵列102的图像数据的一个或更多个模块。可以在不背离公开的实施例的范围的情况下消除成像系统100的模块中的一个或更多个，并且，也可存在未示出的模块。描述以下的模块，以示出可用于公开的成像系统的功能的宽泛性，并且不表明任何单独的模块或描述的功能是需要的、关键、基本或必需的。诸如非均匀性校正模块106、滤波模块108、热成像仪模块110和/或直方图均衡模块112的模块可以被统称为“图像处理链”。
示例性的成像系统100包括预处理模块104。预处理模块104可以被配置为从焦面阵列102接收数字数据流并且执行预处理功能。这种功能的例子包括帧平均化、高级帧宽滤波等。预处理模块104可以输出用于其它模块的串行数字数据。
作为例子，预处理模块104可以包括被配置为实现积分和平均化技术以增加图像数据中的视在信噪比(apparent signal to noise)的条件求和功能。例如，条件求和功能可以被配置为组合数字化的图像数据的连续的帧，以形成数字集成图像。该数字集成图像也可以平均化，以减少图像数据中的噪声。条件求和功能可以被配置为将来自各像素的连续的帧的值求和，所述各像素来自焦面阵列102。例如，条件求和功能可以将来自四个连续的帧的各像素的值求各，并然后将该值平均化。在一些实现中，条件求和功能可以被配置为从连续的帧选择最佳或优选帧而不是将连续的帧求和。在2014年5月30日提交的发明名称为“Data Digitization and Display for an Imaging System”的美国专利申请No.14/292124中公开这些技术和额外实施例的例子，在这里通过引用并入其全部内容。
作为另一例子，预处理模块104可以包括被配置为确定和/或调整焦面阵列102的操作偏置点的自适应电阻器数字模拟转换器(“RDAC”)功能。例如，对于包括快门的成像系统，成像系统100可以被配置为调整焦面阵列102中的检测器的操作偏置点。自适应RDAC功能可以实现至少部分地基于平坦场图像(例如，通过关闭快门获取的图像)的周期性测量的自适应操作偏置校正方法。自适应RDAC功能可以至少部分地基于平坦场图像的随时间的测量或检测的漂移实现操作偏置的不间断调整。由自适应RDAC功能提供的偏置调整可以提供由于诸如温度变化的影响导致的光电检测器和电子器件的随时间的漂移的补偿。在一些实施例中，自适应RDAC功能包括可以被调整以使得测量的平坦场数据更接近基准偏置电平的RDAC网络。在2015年8月18日提交的发明名称为“Adaptive Adjustment of the OperatingBias of an Imaging System”的美国专利申请No.14/829500中提供与自适应RDAC功能有关的系统和方法的额外例子，在这里通过引用并入其全部内容。
也可以存在坏像素替换，在2016年2月19日提交的发明名称为“Pixel Decimationfor an Imaging System”的美国临时专利申请No.62/297669中描述其例子，在这里通过引用并入其全部内容。可以包括像素抽取(pixel decimation)的坏像素替换功能可以访问坏像素地图，所述坏像素地图可以是校准数据的一部分。在各种实现中，可以通过观察给定的像素是否在预确定的容限外面或者与其邻居相比改变大于预先确定的阈值的值，在图像数据内识别坏像素。
在预处理模块104之后，其它的处理模块可以被配置为执行一系列的逐个像素或像素组处理步骤。例如，图像处理系统100包括被配置为调整不是图像场景自身的一部分而是传感器的伪像的增益和偏移效果的像素数据的非均匀校正模块106。例如，非均匀校正模块106可以被配置为接收数字数据流，并且校正焦面阵列102中的不均匀的像素值。在一些成像系统中，可以从诸如间歇性地关闭焦面阵列102上的快门的操作中校准元件的致动导出这些校正，以获取均匀的场景数据。从该获取的均匀场景数据，非均匀校正模块106可以被配置为确定距均匀性的偏差。非均匀校正模块106可以被配置为基于这些确定的偏差调整像素数据。在一些成像系统中，非均匀校正模块106利用其它的技术，以确定焦面阵列中距均匀性的偏差。这些技术中的一些可以在不使用快门的情况下被实现，并且可以利用另一类型的操作中元件，并且，与平坦场场景相对，可以依赖于向成像阵列呈现已知的场景。一些NUC技术不依赖于物理校准元件，并且使用图像处理技术以导出NUC。在2015年8月4日提交的发明名称为“Time Based Offset Correction of Imaging Systems”的美国专利申请No.14/817847中描述用于非均匀校正的系统和方法的额外例子，在这里通过引用并入其全部内容。自适应校准或快门校正可以包括存在于预处理模块104中的元件或等同物以及在2016年3月11日提交的发明名称为“TIME BASED OFFSET CORRECTION FOR IMAGINGSYSTEMS AND ADAPTIVE CALIBRATION”的美国专利申请No.15/068405中描述的图像处理链的多个部分，在这里通过引用并入其全部内容。如果希望的话，FPN减轻元件可以作为NUC模块的一部分出现，以将该功能早期放在图像处理链中。FPN减轻应优选在偏移之后出现。
在预处理模块104之后，成像系统100可以包括被配置为从预处理模块104接收数字数据(例如，14位串行数据)流的高/低Cint信号处理功能。高/低Cint功能可以被配置为通过应用例如在校准数据103中提供的增益表来处理数字数据流。高/低Cint功能可以被配置为通过使用高/低积分组件的输出来处理数字数据流。这种高/低积分组件可以与和焦面阵列102相关的ROIC集成。在2014年3月30日提交的发明名称为“Data Digitization andDisplay for an Imaging System”的美国专利申请No.14/292124中描述了高/低积分组件的例子，在这里通过引用并入其全部内容。
示例性图像处理系统100包括被配置为应用一个或更多个时间和/或空间滤波以解决其它的图像质量问题的滤波模块108。例如，焦面阵列的读出积分电路可以将伪像引入到图像中，诸如行和/或列之间的变化。如在2015年5月1日提交的发明名称为“Compact RowColumn Noise Filter for an Imaging System”的美国专利申请No.14/702548中非常详细描述的那样，滤波模块108可以被配置为校正这些基于行或列的伪像，在这里通过引用并入其全部内容。滤波模块108可以被配置为执行校正以减少或消除图像中的坏像素的影响、增强图像数据中的边缘、抑制图像数据中的边缘、调整梯度以及抑制图像数据中的峰等。
例如，滤波模块108可以包括被配置为提供焦面阵列102上的不产生可靠数据的像素的地图的坏像素功能。这些像素可以被忽略或舍弃。在一些实施例中，来自坏像素的数据被舍弃并且被从相邻、邻近和/或附近的像素导出的数据替代。导出的数据可以基于内插、平滑化或平均化等。对于希望带坏像素替代的像素抽取的情况，坏像素功能可以被更早地放在链中。
作为另一例子，滤波模块108可以包括热梯度功能，热梯度功能被配置为基于存在于图像数据中但不是通过成像系统100成像的场景的一部分的热梯度调整像素值。热梯度功能可以被配置为使用局部平坦场景数据来导出数据，以通过校正在成像系统100中产生的热梯度提高图像质量。在2015年12月1日提交的发明名称为“Image Adjustment Basedon Locally Flat Scenes”的美国专利申请No.14/956111中描述了确定热梯度功能的校正的例子，在这里通过引用并入其全部内容。
滤波模块108可以包括被配置为调整孤立点(outlier)像素值的峰极限功能。例如，峰极限功能可以被配置为将孤立点像素值钳位到(clamp)阈值。
滤波模块108可以被配置为包括自适应低通滤波和/或高通滤波和/或带通滤波。在一些实施例中，成像系统100任意地应用自适应低通滤波或高通滤波，但不是两者。自适应低通滤波可以被配置为确定像素数据内的可能像素不是边缘型图像成分的一部分的位置。在这些位置中，自适应低通滤波可以被配置为用平滑化的像素数据替代与更宽的图像区域数据相对的特定像素数据(例如，用邻居像素的平均值或中值替代像素值)。这可以有利地在图像中减少这种位置中的噪声。高通滤波可以被配置为出于边缘增强的目的通过产生可以用于选择性地支援(boost)或消除像素数据的边缘增强因子来增强边缘。在2015年8月4日提交的发明名称为“Local Contrast Adjustment for Digital Images”的美国专利申请No.14/817989中描述了自适应低通滤波和高通滤波的额外例子，在这里通过引用并入其全部内容。如这里参照图9描述的那样，上述的类型或适于图像处理功能的任何形式的高通滤波结果可以被用作用于自适应快门控制的信息的全部或一部分。高通滤波和相关的技术也可以被用于检测图像中的边缘特征。
滤波模块108可以被配置为向图像数据应用可选的滤波。例如，可选的滤波可以没有限制地包括平均化滤波、中值滤波和平滑化滤波等。可选的滤波可以被接通或关断，以在图像数据上提供目标或希望的效果。
示例性图像处理系统100包括被配置为将强度转换成温度的热成像仪模块110。光强度可以对应于来自成像系统100中的视场中的场景和/或物体的光的强度。热成像仪模块110可以被配置为将测量的光强度转换成对应于成像系统100的视场中的场景和/或物体的温度。热成像仪模块110可以接收校准数据(例如，校准数据103)作为输入。热成像仪模块110也可使用原始图像数据(例如，来自预处理模块104的像素数据)和/或滤波数据(例如，来自滤波模块18的像素数据)作为输入。在2015年8月27日提交的发明名称为“Thermography for a Thermal Imaging Camera”的美国专利申请No.14/838000中提供热成像仪模块和方法的例子，在这里通过引用并入其全部内容。
示例性图像处理系统100包括直方图均衡模块112或被配置为准备用于在显示器116上显示的图像数据的其它显示转换模块(例如，压缩模块或不同的技术的组合)。在一些成像系统中，来自焦面阵列102的像素值的数字分辨率可以超过显示器116的数字分辨率。直方图均衡模块112可以被配置为调整像素值，以使图像或图像的一部分的高分辨率值匹配显示器116的下分辨率。直方图均衡模块112可以被配置为以避免在存在很少或不存在数据的场景强度值上使用显示器116的有限显示范围的方式调整图像的像素值。这对于在显示器116上观看用成像系统100获取的图像时的成像系统100的用户可能是有利的，原因是它可以减少不被利用的显示范围的量。例如，显示器116可以具有数字亮度测度，该数字亮度测度对于红外图像对应于温度，其中较高强度表示较高温度。但是，显示亮度测度，例如灰度测度，一般是远比与模拟数字(A/D)转换分辨率有关的像素采样词短得多的数字词。例如，像素数据的A/D采样词可以是14位，而诸如灰度测度的显示范围可以一般为8位。因此，出于显示目的，直方图均衡模块112可以被配置为压缩较高分辨率图像数据，以适合显示器116的显示范围。在2014年5月30日提交的发明名称为“Data Digitization and Displayfor an Imaging System”的美国专利申请No.14/292124中公开可以由直方图均衡模块112实现的算法和方法的例子，在这里通过引用并入其全部内容。
示例性成像系统100包括显示处理模块114，显示处理模块114被配置为准备用于通过例如选择将温度和/或像素值转换成彩色显示器上的颜色的颜色表在显示器116上显示的像素数据。作为例子，显示处理模块可以包括着色剂查找表，着色剂查找表被配置为将像素数据和/或温度数据转换成用于在显示器116上显示的颜色图像。着色剂查找表可以被配置为通过使用至少部分地依赖于给定的场景的温度与阈值温度的关系的不同的颜色显示查找表来显示热成像场景的不同温度。例如，当显示场景的热图像时，可以通过使用依赖于它们与输入温度的关系的不同的查找表来显示场景的各种温度。在一些实施例中，可以通过使用颜色查找表来显示高于、低于或等于输入温度值的温度，同时可以通过使用灰度测度查找表来显示其它的温度。因此，着色剂查找表可以被配置为与用户偏好或选择组合地根据场景内的温度范围应用不同的着色查找表。在2015年9月11日提交的发明名称为“Selective Color Display of a Thermal Image”的美国专利申请No.14/851576中描述由显示处理模块提供的功能的额外例子，在这里通过引用并入其全部内容。显示处理模块114也可包含将颜色表值转换成诸如RGB、yCV等的驱动显示器116的实际亮度颜色值的显示驱动器或者与其接口连接。
显示器116可以被配置为显示处理的图像数据。显示器116也可以被配置为接收输入以与图像数据交互并且/或者控制成像系统100。例如，显示器116可以是触摸屏显示器。
成像系统100可以被设置为独立的设备，诸如热传感器。例如，成像系统100可以包括成像系统外壳，成像系统外壳被配置为封装成像系统100的硬件组件(例如，焦面阵列102、读出电子器件、微处理器、数据存储器、场可编程门阵列和其它电子组件等)。成像系统外壳可以被配置为支撑被配置为将光(红外光、可见光等)引导到图像传感器102上的光学器件。外壳可以包括提供从成像系统100到一个或更多个外部系统的数据连接的一个或更多个连接器。外壳可以包括一个或更多个用户界面组件以允许用户与成像系统100交互并且/或者控制成像系统100。用户界面组件可以没有限制性地包括例如触摸屏、按钮、切换键、开关和键盘等。
在一些实施例中，成像系统100可以为多个成像系统的网络的一部分。在这种实施例中，成像系统可以一起联网到一个或更多个控制器。
图1B示出图1A所示的示例性成像系统100的功能框图，其中，成像系统100的功能在照相机或传感器140与处理设备150之间被分割。处理设备150可以是移动设备或其它计算设备。通过在不同的系统或设备之间分割图像获取、预处理、信号处理和显示功能，与在照相机上(on board)执行这些功能中的大多数或全部的成像系统相比，照相机140可以被配置为相对低功率、相对紧凑并且相对计算有效。如图1B所示，照相机140被配置为包括焦面阵列102和预处理模块104。在一些实施例中，例示为处理设备150的一部分的模块中的一个或更多个可以包含于照相机140而不是处理设备150中。在一些实施例中，至少部分地基于照相机140与处理设备150之间的功能的分割，实现某些优点。例如，可以通过使用专用硬件(例如，场可编程门阵列、专用集成电路等)与软件的组合，在照相机140上有效地实现一些预处理功能，否则所述软件在处理设备150上实现起来会在计算上更昂贵或者工作密集。因此，这里公开的实施例中的至少一些的方面包括可以通过选择要在照相机140上(例如，在预处理模块104中)执行哪些功能以及要在处理设备150上(例如，在热成像仪模块110中)执行哪些功能达到某些优点的实现。
照相机140的输出可以是代表由预处理模块104提供的像素值的数字数据流。可以通过使用电子连接器(例如，微USB连接器、专有连接器等)、线缆(例如，USB线缆、以太网线缆、共轴线缆等)和/或以无线的方式(例如，通过使用BLUETOOTH、近场通信、Wi-Fi等)，将数据传送到处理设备150。处理设备150可以是智能电话、平板电脑、膝上型计算机、计算机或其它类似的便携式或非便携式电子设备。在一些实施例中，电力通过电气连接器和/或线缆从处理设备150被输送到照相机140。
成像系统100可以被配置为利用处理设备150的计算力、数据存储器和/或电池电力以为照相机140提供图像处理能力、电力和图像存储等。通过将这些功能从照相机140卸载到处理设备150，照相机可以具有成本有效的设计。例如，照相机140可以被配置为消耗相对少的电子电力(例如，减少与提供电力相关的成本)、相对少的计算力(例如，减少与提供强大处理器相关的成本)和/或相对少的数据存储器(减少与在照相机140上设置数字存储器相关的成本)。由于成像系统100利用处理设备150的超级能力以执行图像处理和数据存储等，因此，这可以至少部分地由于照相机140被配置为提供相对少的计算力、数据存储器和/或电力而减少与制造照相机140相关的成本。
FPN减轻或减少的概念
本公开主要涉及易受固定模式噪声(FPN)影响(对于任意类型的成像系统，可能是这种情况，但是对于热成像系统、特别是低成本热成像传感器，常常是这种情况)的成像系统。固定模式噪声是一般用于描述由于像素到像素噪声电平变化或对于相同信号的响应变化导致的图像劣化的术语。FPN的一个方面可以是像素到像素偏移变化，这可以通过偏移或均匀性校正操作被解决。在一些实施例中，本公开在执行与FPN减轻相异的非均匀校正(NUC)操作的成像系统中是有用的。例如，可以通过使用诸如快门的校准设备、偶尔关闭快门由此将诸如IR FPA的成像传感器暴露到平坦场场景并且根据对平坦场场景的像素响应的变化确定像素到像素偏移，执行NUC。通过在成像操作期间随时间偶尔关闭快门，诸如由于系统的温度变化导致的偏移和偏移漂移可以被解决。快门以外的其它物理校准技术也是可能的。没有快门或其它物理校准元件的基于场景的偏移或NUC技术也是可能的，并且这些中的一些也解决FPN，但是不使用物理周期性偏移校准的这些系统也可以不执行。并且，在对于热成像系统随时间保持热成像精度时，可以通过关闭快门实现的在成像操作的时间暴露于已知的温度均匀场景是有帮助的。因此，虽然也可以与其它的偏移校正无关地使用本公开的教导，但是本公开涉及除了基于物理校准的偏移校正以外可以存在的FPN减轻，
对于具有快门的系统，用于热成像系统的通常的操作校准器、快门相对于传感器(FPA)系统光学器件的放置以及系统机械结构可能常常意味着，随着快门关闭，传感器可能事实上相对于诸如传感器的FOV内的系统的物理和/或光学元件的温度变化的像素到像素偏移的其它来源闭塞。并且，与观察关闭的快门相比，外部场景元件可以通过光学器件以不同的角度聚焦到传感器上，如果单独的传感器具有角度依赖的响应差异，则这会导致额外的像素到像素偏移。或者，与快门的平坦场温度不同，场景特征可以具有变化的温度，并且像素可以具有不同的温度依赖响应性和/或信噪比特性。不管什么原因，FPN可以在甚至具有物理偏移校准的系统中出现。图2示出用于示例性的基于快门的热成像器的观察的FPN行为。从图2可以看出，FPN伴随各快门关闭和随后的偏移校正减小，但是在快门关闭之间，FPN将重建，并且，尽管有快门关闭偏移校正，有时基线FPN也将随时间进程生长。因此，系统最初可以产生清洁的图像，但是，即使周期性地进行基于快门的偏移校准，图像质量也会随时间劣化。
图3示出FPN滤波200是NUC模块106的一部分的示例性布置。FPN滤波将被应用于已针对偏移106a和增益变化106b进行调整的图像数据，或者，换句话说，可以对于作为NUC处理的一部分的该示例性布置考虑FPN滤波。当然，FPN滤波可以被放在图像处理链的其它部分中，但是早期应用它事实上会减少或消除针对图像处理链的其它部分的需要。由于各图像处理步骤会趋于在某种程度上使图像数据平坦化或者畸变，因此这会加速图像帧的处理和/或增加图像的保真度。图4示出如何在具有偏移漂移控制(例如，RDAC调整)的基于快门的系统中处理一组像素Px,y raw signal。首先，从通过RDAC调整从快门关闭的成像导出的平坦场图像帧被用于校正像素到像素偏移，并然后在每个像素的基础上应用增益表，由此创建像素组Px,y sig，所述像素组Px,y sig反过来被输送到FPN滤波。在一些情况下，可能希望从Px,y sig数据组排除与图像帧边缘相邻的像素或者甚至处于图像帧边缘中、来自图像帧边缘的几个像素。在这种情况下，没有FPN校正被应用于边缘像素。
示例性FPN减轻系统元件
图5示出接收像素组Px,y sig的形式的图像数据并且传递减小的FPN像素组Px,y的示例性FPN滤波200的元件。滤波可以以正向馈送的方式起作用，这在于来自之前帧的FPN滤波校正FPNx,y被应用于Px,y sig，以创建经FPN校正的像素组Px,y。因此，FPN滤波200作用于已滤波的数据Px,y和模糊(201)数据组Kx,y上。Kx,y被保存，使得来自当前图像帧和至少前一帧的模糊数据组可用于滤波200。将FPN滤波更强烈地应用于图像的一些部分而不是其它可能是有利的。诸如边缘的高对比度的图像区域或高振幅区域不会模糊成准平坦场状态，并因此可能在产生FPN校正时不那样有用。因此，边缘检测器202和振幅检测器203可被用于识别图像的某些区域，并且限定FPN活性像素元件204可以被用于指定哪些像素将被FPN滤波使用以及将根据确定FPN减轻排除哪些像素。
使用来自当前和至少一个之前帧的模糊数据，移动检测器205检测是否存在帧到帧图像移动。如果存在移动，则更新元件207更新FPN校正数据组FPNx,y，并且更新对排除像素和未排除像素可能采取不同的形式。如果没有检测到移动，则可能希望由于图像是静态的而使FPNx,y衰减，并且FPNx,y数据组随时间变得较少有效，并因此不应继续贡献到滤波。来自之前帧的校正数据FPNx,y被应用于Px,y sig，以创建被传递到图像处理链的剩余部分以及到当前帧的FPN滤波操作的经FPN校正的数据Px,y。因此，来自之前帧的FPN校正项被正向馈送到当前帧，并且被用于FPN校正图像以供进一步处理以及使用经FPN校正的数据来计算当前FPN校正项，该当前FPN校正项又将被正向馈送到下一帧。
现在转到FPN滤波中的各元件的示例性实现的描述。虽然对于各元件将描述特定的实现，但应理解，这些元件中的许多代表在图像处理中常常使用的功能。对于给定的像素，许多图像处理操作，诸如滤波、平滑化和修剪等基于基于涉及周围像素的矩形或正方形分组的一些类型的计算替代或修改像素。该分组被称为核(kernel)，并且最常见地是核滚动通过图像的活性部分即图像的要被处理的区域，使得各活性像素经历涉及其为中心的核的操作。公开的实现对于大部分为基于核的图像处理功能，并且，许多变化以及核尺寸对于这些元件中的几个是可能的。例如，存在许多执行模糊操作的方式，包括用从周围的像素导出的一些值(例如，平均中值等)替代中心像素，或者将中心像素的值减小某个量并且将该量扩展到周围的像素。可以以各种方式执行边缘检测，包括几种类型的高通滤波操作。也可以各种方式执行修剪或峰检测，并且，图像移动检测也具有许多可能的实现。基于场景的NUC技术的大多数描述将包含图像移动检测的版本。因此，本公开和指向其教导的宽的权利要求不应视为受到特定FPN滤波元件描述的限制，原因是这些描述意欲教导基于些元件实现FPN滤波的一个方法。
图6表示示例性模糊化元件201。操作2011建立3×3的核尺寸。操作2011可以是包含中心像素及其最近邻居的最近邻居核。操作2012使核滚动通过图像的希望的部分，该希望的部分可以建立为排除图像边界处或附近的像素。操作2013通过用各像素的最近邻居的中值替代各像素来创建模糊像素组Kx,y。中值以外的其它函数，诸如平均、缩放平均/中值以及其它的函数是可能的。在步骤2014中，Kx,y模糊像素组被保存，以被用于下一帧的滤波使用，使得来自之前帧时间t-1和时间t的当前帧的至少两个模糊像素组是可用的。
图7示出用于将像素标注为边缘的边缘检测元件202。例如，边缘检测元件202可以被配置为确定表达Edgex,y是真还是假。边缘检测元件202示出X滤波边缘检测方案。但是，会理解，可以使用各种高通滤波实现中的任一种来识别边缘像素。图7表示应用于模糊像素组Kx,y的边缘检测元件202，尽管边缘检测元件202可以等同地应用于非模糊像素组Px,y。图7的滤波的解释性边缘的示例性边缘阈值可以例如处于10～200、50～70或其它阈值范围内。
图8表示示例性振幅检测器元件203。振幅检测器元件203使用模糊和未模糊像素数据两者以将像素识别为峰。例如，表示振幅检测器元件203可以被配置为确定表达Peakx,y是真还是假。同样，基于振幅的像素识别和峰的定义的许多变化是可能的。对于图8的示例性实现，选择识别其值大于全部模糊(或者，也可以使用非模糊)像素的平均值的20％的像素的振幅滤波已被使用。在各种实施例中，振幅滤波可以识别其值大于平均像素值的10％、20％、30％或其它百分比的像素。
图9表示示例性活性像素标识符元件204。在一些方面中，如果来自任意的振幅检测器203或边缘检测器202的结果对于给定的像素为真，则该像素的相关的FPN校正项FPNx,y可以保持相同并且不被更新。例如，它保持与其处于之前帧FPNx,y(t-1)上时相同的值。如果两个检测器的结果皆为假，则如下面参照图12描述的那样，FPN校正项可以被更新到当前值FPNx,y(t)。该排除处理和相关的滤波可以提高FPN滤波的性能，尽管FPN滤波也可以被配置为更新对于所有像素相同的校正项。一般地，边缘也可以不模糊，并因此可能对于FPN减轻没有用。对于热成像系统，对应于较高振幅区域的高温度区域可能不那么有用，原因是校正可能由增益误差而不是偏移误差主导，而FPN校正一般适用于去除偏移。
图10所示的是移动检测205的示例性实现。该元件使用当前帧模糊像素数据Kx,y(t)和至少来自之前帧的模糊数据Kx,y(t-1)两者。可以执行两个比较。来自当前帧和之前帧的模糊像素之间的差异可以与第一预先确定的阈值比较。另外，超过第一阈值的差值的总数可以与第二预先确定的计数阈值比较。如果超过的计数大于计数阈值，则可以假定两个帧之间的移动。例如，表达移动可以被确定为真。图10所示的移动检测器205相对简单、有效且易于实现移动检测器205的实施例。但是，也可以使用其它的图像移动检测实施方式。移动检测可能在许多成像系统(例如，特别是低成本热成像系统)中是有用的，原因是由于移动成像系统导致的图像移动可能趋于暂时使图像模糊。当模糊步骤在移动下被应用于图像数据时，对图像的低对比度区域的模糊影响可以被强调(这是边缘和热斑可以被排除的原因)，以创建与FPN有关的准平坦场区域。准平坦场值用作可以使FPN减轻的另一有关偏移。差值阈值的示例性值可以在例如0～50之间。例如，阈值可以为14或另一适当的数量。在另一示例性实施例中，数量阈值可以为0.1×N，这里，N是来自诸如图9所示的元件204的活性像素标识符元件的未排除像素的数量。作为未排除像素的乘数(multiplier)的小于1的值可能是适当的。
现在将参照图11和图12，描述示例性衰减元件206和示例性更新FPN元件207。根据是否检测到移动，如示例性衰减元件206和示例性更新FPN元件207所示，不同的方案是可能的。如果移动为真，则可通过向之前校正项FPNx,y(t-1)添加依赖于当前帧模糊和非模糊像素数据Px,y(t)和Kx,y(t)的因子来更新用于未排除像素的校正因子FPNx,y(t)。已使用小于1的缩放因子S(如图7所示)，特别是已使用0.8。还可能希望对于FPNx,y执行可选的偏移校正。在图7的步骤2071中表示示例性的偏移校正，这里，从FPN项减去来自未排除像素的所有FPN项的平均。对于图9所示的排除像素，当前校正因子被设定为等于从之前帧导出的值。对于应用FPN滤波的第一帧，例如，t0，FPNx,y(t0)被设定为零。当没有检测到移动时，通过将校正项乘以小于1的数，如示例性衰减元件206所示，用于排除像素和未排除像素的校正因子FPNx,y均衰减。在一些实现中该数量被选择为仅稍小于1，这里，对于慢的衰减使用了1/16383的因子D，但是在一些情况也可能希望更快的衰减。
现在将参照图13，描述示例性应用FPN元件208。如示例性应用元件208所示，一旦对于各像素确定了校正项数据组FPNx,y，则它可被应用于Px,y sig。在图13的示例性实施例中，应用校正可以包括在操作2081中从相应的像素信号值减去校正项。如上所述，应用是对于之前帧的导出的FPN校正值，即，FPNx,y(t-1)，使得滤波200作用于之前滤波的像素组上。另一可选的操作2082是抑制任何特定高振幅结果的修剪步骤。修剪阈值Th对于该示例性实施方式可以为0～1000，例如，200或该范围中的另一数量。步骤2083中的Px,y被传递到信号处理链上以及被传递到当前帧FPN滤波操作。
可以理解，在图和/或说明书中示出的“小于”或“大于”符号/词语中的任一个可以包括或不包括“或者等于”。还应理解，组合要素实施例的变化是可能的，原因是在任何给定系统中实现可接受的结果可能不需要所有的要素。例如，对于一些系统，衰减或排除操作可能是可选的。对于各种阈值和缩放因子给出的数值代表特定的成像系统设计，并且对于可以应用不同的阈值和/或者缩放因子的不同系统可能不是最佳的。FPN滤波也可被应用于当关闭快门时需要的图像数据集，例如，FPN滤波可以可选地通过其它的NUC操作运行。
用于FPN减轻的示例性方法
图14示出用于减轻固定模式噪声的示例性方法1400的流程图。可通过使用成像系统或图像处理系统中的一个或更多个硬件组件实现方法1400。为了便于描述，方法1400将被描述为由这里参照图1A和图1B以及图4和图5描述的成像系统100执行。但是，可通过成像系统100中的任何模块或模块的组合执行方法1400的步骤中的一个或更多个。类似地，可通过成像系统100未示出的模块的组合执行任何单独的步骤。
在块1405中，选择一组像素Px,y sig。一组像素Px,y sig可以包括图像帧中的全部或一部分。通过使用从FPN滤波导出的FPN校正项FPN对FPN校正Px,y sig。例如，从FPN操作排除图像边界处或附近的像素可能是有利的。
在块1415中，应用FPN滤波，使得对于帧中的各选择的像素确定FPN校正项。所述确定包括产生FPN校正项FPNx,y的步骤，包括：
1)模糊Px,y以创建模糊像素组Kx,y并且对于至少一个帧保存Kx,y像素组，使得Kx,y值可用于当前帧和至少一个之前帧；
2)将满足预先确定的准则的像素识别为对于当前图像帧被排除；
3)通过比较来自当前和之前帧的Kx,y值，检测图像移动；
4)当检测到移动时，从用于当前未排除像素的Px,y和Kx,y计算更新的FPNx,y项，并且使用用于当前排除像素的之前FPNx,y信息，并且，当没有检测到移动时，使用于排除和未排除像素的FPNx,y衰减。
在详细的元件描述中，如上面解释的那样，执行这些步骤的元件的任选的实现是可能的。
在块1425中，校正的图像帧被传递到信号处理链。例如，校正的图像帧可以被传递到诸如图1A和图1B所示的显示器116的显示器和或/或系统100的任何其它介入的组件。
根据实施例，可以以不同的次序执行、可以一起添加、合并或忽略这里描述的算法中的任一种的某些作用、事件或功能(例如，不是所有描述的作用或事件对于算法的实践都是需要的)。并且，在某些实施例中，可以例如通过多线程处理、中间处理或多个处理器或处理器核心或者在其它的并行构架上同时执行作用或事件，而不是依次执行。
关于这里公开的实施例描述的各种解释性的逻辑块、模块和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地示出这种硬件和软件的可交换性，以上关于其功能一般性地描述了各种解释性的组件、块、模块和步骤。这种功能是实现为硬件还是软件依赖于对整个系统提出的特定的应用和设计约束。对于各特定的应用能够以不同的方式实现描述的功能，但是这种实现决定不应被解释为导致背离本公开的范围。
可以通过诸如配有特定的指令的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或被设计为执行这里描述的功能的其任何组合的机器，实现或者执行关于这里公开的实施例描述的各种解释性的逻辑块和模块。处理器可以是微处理器，但是在替代性方案中，处理器可以是控制器、微控制器或状态机或者它们的组合等。处理器也可实现为计算设备的组合，例如，DSP和微处理器、多个微处理器、与DSP核心结合的一个或更多个微处理器或者任何其它这种配置的组合。例如，可以通过使用离散的存储器芯片、微处理器中的存储器的部分、闪存、EPROM或其它类型的存储器实现这里描述的LUT。
可以在硬件中、在由处理器执行的软件模块中或者在两者的组合中直接实施结合这里公开的实施例描述的方法、处理或算法的要素。软件模块可以驻留于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可去除盘、CD-ROM或在本领域中已知的任何其它形式的计算机可读存储介质中。示例性存储介质可以与处理器耦合，使得处理器可以从存储介质读取信息以及向其写入信息。在替代性方案中，存储介质可以与处理器一体化。处理器和存储介质可驻留于ASIC中。软件模块可以包括导致硬件处理器执行计算机可执行指令的计算机可执行指令。
这里使用的条件语言，诸如“能够”、“会”、“可能”和“例如”等，除非另外特别指出或者另外在使用的上下文中理解，否则一般旨在表示某些实施例包括某些特征、要素和/或状态，而其它的实施例不包括。因此，这样的条件语言一般不旨在意味着特征、要素和/或状态是一个或更多个实施例所需要的任何方式或者一个或更多个实施例必需包括用于在具有或没有作者输入或提示的情况下决定是否包括或者要在任何特定实施例中执行这些特征、要素和/或状态的逻辑。术语“包括”、“包含”、“具有”和“含有”等是同义的，并且以开放式的方式被包容性地使用，并且不排除额外的要素、特征、作用和操作等。并且，术语“或者”以其包容性的意义(并且不是以其排除性的意义)被使用，使得当用于例如连接元件的列表时，术语“或者”意味着列表中的要素中的一个、一些或全部。
诸如短语“X、Y或Z中的至少一个”的析取语言，除非另外特定指出，否则通过上下文被另外理解为一般用于给出项目、术语等可以任意地为X、Y或Z或者它们的组合(例如，X、Y和/或Z)。因此，这种析取语言一般不旨在并且不应意味着某些实施例需要分别存在X中的至少一个、Y中的至少一个或Z中的至少一个。
术语“约”或“大约”等是同义的，并且被用于表示通过该术语修改的值具有与其相关的理解范围，这里，该范围可以为±20％、±15％、±10％、±5％或±1％。术语“基本上”被用于表示结果(例如，测量值)接近目标值，这里，接近可以意味着例如结果在值的80％内、值的90％内、值的95％内、值的99％内。
除非另外明确指出，否则，诸如“一种”或“一种”的冠词一般应被解释为包括一个或更多个描述的项目。因此，诸如“被配置为…的设备”旨在包括一个或更多个记载的设备。这种一个或更多个记载的设备也可被共同配置为实施陈述的记载。例如，“被配置为实施记载A、B和C的处理器”可以包括与被配置为实施记载B和C的第二处理器结合工作的被配置为实施记载A的第一处理器。
虽然以上的详细描述表示、描述和指出应用于解释性实施例的新颖性特征，但应理解，可以不背离本公开的精神的情况下提出示出的设备或算法的形式和细节的各种省略、替代和变化。可以认识到，可以在不提供这里阐述的所有特征和益处的形式内体现这里描述的某些实施例，原因是一些特征可以与其它分开地被使用或实践。来自权利要求的等同物的意思和范围内的所有变化包含于它们的范围内。

Claims (20)

1.一种用于减少成像系统中的固定模式噪声(FPN)的方法，成像系统包括至少一个成像传感器和关联的图像信号处理链，其中，图像像素数据的连续的帧被产生和传递到图像信号处理链，并且，这里，成像系统的视场(FOV)经受相对于成像场景的偶尔移动，所述方法包括：
选择一组像素Px,y sig，所述一组像素Px,y sig包含图像帧的至少一部分；
应用FPN滤波以产生FPN校正项FPNx,y，以及
至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素，以产生用于计算当前帧的FPNx,y的值的经校正的一组像素Px,y；
其中，应用FPN滤波包含：
将像素Px,y中的至少一些模糊化以创建模糊像素组Kx,y，并且对于至少一个后面的帧保存模糊像素组Kx,y，其中，Kx,y值在FPN滤波的应用期间对于当前帧和至少一个之前帧是可用的；
将满足一个或更多个预先确定的准则的像素识别为对于当前图像帧的排除像素；
通过比较来自当前帧和至少一个之前帧的Kx,y值，检测图像移动；
当检测到移动时，至少部分地基于用于当前非排除像素的Px,y和Kx,y并且至少部分地基于用于当前排除像素的之前的FPNx,y信息，计算更新的FPNx,y项；以及
当没有检测到移动时，对于排除像素和非排除像素均使FPNx,y衰减。
2.根据权利要求1所述的方法，其中，所述一组像素Px,y sig包含远离图像帧边界的至少一个像素。
3.根据权利要求1所述的方法，其中，将像素Px,y中的至少一些模糊化包含：
对选择的像素应用滚动核；以及
用从中心像素的最近邻居像素导出的像素值替代各核的中心像素，以创建模糊像素Kx,y。
4.根据权利要求3所述的方法，其中，创建模糊像素Kx,y包含计算最近邻居像素的平均值、中值、缩放平均值或缩放中值中的至少一个。
5.根据权利要求4所述的方法，其中，核是3×3核，并且Kx,y是与各核中的中心像素相邻的8个像素的中值。
6.根据权利要求1所述的方法，其中，将像素识别为排除像素包含以下至少之一：
在Px,y或Kx,y像素的至少一部分中的至少一个上执行振幅滤波并且排除预先确定的振幅之上的像素；或者
在Px,y或Kx,y像素的至少一部分上执行边缘滤波并且排除边缘滤波结果超过预先确定的值的像素。
7.根据权利要求6所述的方法，其中，边缘滤波包含高通滤波或X滤波中的至少一个。
8.根据权利要求1所述的方法，其中，检测移动包含：
计算从至少一个之前帧到下一帧的Kx,y值的至少一部分的差值；
对超过预先确定的差值阈值的像素Kx,y的数量进行计数；以及
如果所述数量超过预先确定的计数阈值，则确定存在移动。
9.根据权利要求1所述的方法，其中，时间t0对应于计算FPNx,y的第一帧，时间t对应于当前帧，并且时间t-1对应于之前帧，其中，计算更新的FPNx,y项包含：
设定FPNx,y(t0)＝0；
将FPNx,y(t)设定为FPNx,y(t-1)+S(Px,y(t)-Kx,y(t))或检测到t和t-1处的帧之间的移动的非排除像素的FPNx,y(t-1)-ave(FPNx,y(t-1))+S(Px,y(t)-Kx,y(t))中的至少一个，这里，S是预先确定的缩放因子；以及
对检测到t和t-1处的帧之间的移动的排除像素，设定FPNx,y(t)＝FPNx,y(t-1)；以及
其中，衰减包含对于没有检测到t和t-1处的帧之间的移动的所有像素设定FPNx,y(t)＝D*FPNx,y(t-1)，这里，D是预先确定的衰减因子。
10.根据权利要求1所述的方法，其中，至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素以产生经校正的一组像素Px,y包含以下至少之一：
将Px,y设定为Px,y sig-FPNx,y(t-1)；
将剪切滤波应用于Px,y像素的至少一部分；和
将Px,y像素传递到图像信号处理链的其它模块。
11.一种带有固定模式噪声(FPN)减小的成像系统，所述成像系统包括：
至少一个成像传感器和关联的图像信号处理链，其中，图像像素数据的连续的帧被产生和传递到图像信号处理链，并且，这里，成像系统的视场(FOV)经受相对于成像场景的偶尔移动；
被配置为选择一组像素Px,y sig的选择元件，所述一组像素Px,y sig包含图像帧的至少一部分；
被配置为产生FPN校正项FPNx,y的FPN滤波；和
FPN应用元件，FPN应用元件被配置为至少部分地基于来自之前图像帧的FPNx,y修改Px,y sig的单个像素以产生用于计算当前帧的FPNx,y的值的经校正的一组像素Px,y；
其中，FPN滤波包含：
被配置为将像素Px,y中的至少一些模糊化以创建模糊像素组Kx,y并且对于至少一个后面的帧保存模糊像素组Kx,y的模糊化元件，其中，Kx,y值在FPN滤波的应用期间对于当前帧和至少一个之前帧是可用的；
被配置为将满足一个或更多个预先确定的准则的像素识别为对于当前图像帧的排除像素的排除元件；
被配置为通过比较来自当前帧和至少一个之前帧的Kx,y值来检测图像移动的移动检测元件；
FPNx,y更新元件，FPNx,y更新元件被配置为当检测到移动时至少部分地基于用于当前非排除像素的Px,y和Kx,y并且至少部分地基于用于当前排除像素的之前FPNx,y信息计算更新的FPNx,y项；和
被配置为当没有检测到移动时对于排除像素和非排除像素均使FPNx,y衰减的FPNx,y衰减元件。
12.根据权利要求11所述的系统，其中，所述一组像素Px,y sig包含远离图像帧边界的至少一个像素。
13.根据权利要求11所述的系统，其中，模糊化元件被配置为：
向选择的像素应用滚动核；以及
用从中心像素的最近邻居像素导出的像素值替代各核的中心像素，以创建模糊的像素Kx,y。
14.根据权利要求13所述的系统，其中，模糊化元件被配置为通过计算最近邻居像素的平均值、中值、缩放平均值或缩放中值中的至少一个来创建Kx,y。
15.根据权利要求14所述的系统，其中，核是3×3核，并且，Kx,y是邻近各核中的中心像素的8个像素的中值。
16.根据权利要求11所述的系统，其中，排除元件被配置为进行以下至少之一：
在Px,y或Kx,y像素的至少一部分中的至少一个上执行振幅滤波并且排除预先确定的振幅之上的像素；或者
在Px,y或Kx,y像素的至少一部分上执行边缘滤波并且排除其边缘滤波结果超过预先确定的值的像素。
17.根据权利要求16所述的系统，其中，边缘滤波包含高通滤波或X滤波中的至少一个。
18.根据权利要求11所述的系统，其中，移动检测元件被配置为：
计算从至少一个之前帧到下一帧的Kx,y值的至少一部分的差值；
对超过预先确定的差值阈值的像素Kx,y的数量进行计数；以及
如果所述数量超过预先确定的计数阈值，则确定存在移动。
19.根据权利要求11所述的系统，其中，时间t0对应于计算FPNx,y的第一帧，时间t对应于当前帧，并且时间t-1对应于之前帧，
其中，更新FPNx,y元件被配置为：
设定FPNx,y(t0)＝0；
将FPNx,y(t)设定为FPNx,y(t-1)+S(Px,y(t)-Kx,y(t))或检测到t和t-1处的帧之间的移动的非排除像素的FPNx,y(t-1)-ave(FPNx,y(t-1))+S(Px,y(t)-Kx,y(t))中的至少一个，这里，S是预先确定的缩放因子；以及
对检测到t和t-1处的帧之间的移动的排除像素，设定FPNx,y(t)＝FPNx,y(t-1)；
其中，衰减元件被配置为对于没有检测到t和t-1处的帧之间的移动的所有像素设定FPNx,y(t)＝D*FPNx,y(t-1)，这里，D是预先确定的衰减因子。
20.根据权利要求11所述的系统，其中，应用FPNx,y元件被配置为通过以下至少之一产生所述一组像素Px,y：
将Px,y设定为Px,y sig-FPNx,y(t-1)；
将剪切滤波应用于Px,y像素的至少一部分；以及
将Px,y像素传递到图像信号处理链的其它模块。
CN201780040394.5A 2016-06-28 2017-06-22 用于热成像系统的固定模式噪声减轻 Pending CN109565557A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662355797P 2016-06-28 2016-06-28
US62/355,797 2016-06-28
US15/629,526 2017-06-21
US15/629,526 US10230912B2 (en) 2016-06-28 2017-06-21 Fixed pattern noise mitigation for a thermal imaging system
PCT/US2017/038707 WO2018005221A1 (en) 2016-06-28 2017-06-22 Fixed pattern noise mitigation for a thermal imaging system

Publications (1)

Publication Number Publication Date
CN109565557A true CN109565557A (zh) 2019-04-02

Family

ID=60678133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040394.5A Pending CN109565557A (zh) 2016-06-28 2017-06-22 用于热成像系统的固定模式噪声减轻

Country Status (4)

Country Link
US (1) US10230912B2 (zh)
EP (1) EP3476117A1 (zh)
CN (1) CN109565557A (zh)
WO (1) WO2018005221A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104820A (zh) * 2019-06-18 2020-12-18 安讯士有限公司 更新固定模式噪声矩阵
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3488420B1 (en) * 2016-07-20 2022-04-06 The State of Israel, Ministry of Agriculture & Rural Development, Agricultural Research Organization (ARO) (Volcani Center) Radiometric imaging
US11049226B1 (en) * 2019-04-23 2021-06-29 Bae Systems Information And Electronics Systems Integration Inc. Median based frequency separation local area contrast enhancement
CN113643406B (zh) * 2021-08-12 2022-03-25 北京的卢深视科技有限公司 图像生成方法、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170949A2 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
WO2014107120A1 (en) * 2012-12-11 2014-07-10 Flir Systems Ab Method for imaging processing, and image processing device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507018B2 (en) * 1996-08-30 2003-01-14 Raytheon Company Ditherless non-uniformity compensation for infrared detector arrays with recursive spatial low pass filtering
US7035475B1 (en) * 1999-06-17 2006-04-25 Raytheon Company Non-traditional adaptive non-uniformity compensation (ADNUC) system employing adaptive feedforward shunting and operating methods therefor
US7933464B2 (en) * 2006-10-17 2011-04-26 Sri International Scene-based non-uniformity correction and enhancement method using super-resolution
US8306348B2 (en) * 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
US7995859B2 (en) * 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
WO2016073054A2 (en) 2014-08-20 2016-05-12 Seek Thermal, Inc. Gain calibration for an imaging system
CN106797440A (zh) 2014-08-20 2017-05-31 塞克热量股份有限公司 成像系统的操作偏置的自适应调整

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170949A2 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
WO2014107120A1 (en) * 2012-12-11 2014-07-10 Flir Systems Ab Method for imaging processing, and image processing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
CN112104820A (zh) * 2019-06-18 2020-12-18 安讯士有限公司 更新固定模式噪声矩阵
CN112104820B (zh) * 2019-06-18 2022-06-21 安讯士有限公司 更新固定模式噪声矩阵
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置
CN114414060B (zh) * 2020-10-12 2024-03-15 阿自倍尔株式会社 测定装置

Also Published As

Publication number Publication date
EP3476117A1 (en) 2019-05-01
US10230912B2 (en) 2019-03-12
WO2018005221A1 (en) 2018-01-04
US20170374304A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
US9947086B2 (en) Image adjustment based on locally flat scenes
CN109565557A (zh) 用于热成像系统的固定模式噪声减轻
EP3289759B1 (en) Compact row column noise filter for an imaging system
US10186020B2 (en) Local contrast adjustment for digital images
EP3183872B1 (en) Adaptive adjustment of operating bias of an imaging system
US10605668B2 (en) Thermography process for converting signal to temperature in a thermal imaging system
US10128808B2 (en) Gain calibration for an imaging system
US9930324B2 (en) Time based offset correction for imaging systems
US10362242B2 (en) Selective color display of a thermal image
US10467736B2 (en) Image adjustment based on locally flat scenes
CN105191288B (zh) 异常像素检测
US10600164B2 (en) Image adjustment based on locally flat scenes
US20170243326A1 (en) Pixel decimation for an imaging system
US10867371B2 (en) Fixed pattern noise mitigation for a thermal imaging system
Zhou et al. Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images
Liu et al. A DSP-based neural network non-uniformity correction algorithm for IRFPA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190402