CN102415091A - 用于处理红外图像的系统和装置 - Google Patents

Abstract

本发明的一个或多个实施例提供了用于处理红外图像的系统和方法，以：接收非均匀场景的红外图像数据，将列噪声滤波校正应用到红外图像数据，和/或将行噪声滤波校正应用到红外图像数据，并且基于列和/或行噪声滤波校正提供已校正红外图像数据作为红外输出图像数据。

Description

用于处理红外图像的系统和装置

技术领域

本发明一般涉及红外图像，并且更具体地涉及诸如利用噪声滤波技术对红外图像进行的图像处理。

背景技术

由红外成像器(诸如基于微辐射热测定仪的红外成像器)生成的图像通常包括噪声。例如，噪声的主要源可能是由于时间、1/f、和/或固定空间噪声造成的，并且典型的红外成像系统可包括校准算法以尽力使这些类型的噪声最小化。

作为示例，红外成像系统一般使用内部快门，其使得红外成像系统针对(against)均匀(uniform)目标获取图像以执行校准过程。然而，存在与这类过程相关联的一些缺点。例如，快门的需要增加了红外成像系统的制造成本。此外，校准过程不校正除了快门之外的噪声源(例如，由于光学路径内的镜头或其他组件所导致的)。此外，场景温度可能不同于快门的温度，并且对辐射的检测器元件响应可能不是完全线性的。这样，以快门温度进行的校正可能不适合于红外成像系统正在成像的具体场景。而且，在使用快门的偏移校准期间，红外成像系统可能不能如用户所期望的那样捕获场景的图像。

人类观察者对于红外成像器中典型的高频空间噪声非常敏感。低通滤波器可用于减少噪声，但是这使图像模糊、并且降低了系统性能。

结果，需要针对红外成像和处理红外图像的改进技术，其可在不依赖快门或者需要均匀场景的情况下减少空间、时间和/或1/f类型噪声，并且可不引入模糊或者引入最小模糊。

发明内容

根据一个或多个实施例的在这里公开的系统和方法提供了用于处理由红外传感器(例如红外相机)捕获的图像的技术，以便诸如提高图像质量。例如，根据实施例，公开图像处理算法，以将红外图像分离为列和行部分或区段(portion)，其可被分开地处理以减少噪声并提供改进的红外图像。

根据一个或多个实施例，用于处理红外图像数据的系统和方法包括：从非均匀场景接收红外图像数据；将所述红外图像数据分离为列噪声滤波区段和行噪声滤波区段；确定列噪声偏移项；基于列噪声偏移项来应用列噪声滤波校正到红外图像数据；确定行噪声偏移项；基于行噪声偏移项来应用行噪声滤波校正到红外图像数据；基于列和行噪声滤波校正提供已校正红外图像数据作为红外输出图像数据；以及存储所述红外输出图像数据。在一个实现中，相同的列噪声偏移项被应用到列噪声滤波区段的特定列中的每个对应像素，并且相同的行噪声偏移项被应用到行噪声滤波区段的特定行中的每个对应像素。

在各种实现中，所述系统和方法可包括：通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算行噪声滤波区段的列相邻者(neighbor)差；以及通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算列噪声滤波区段的行相邻者差。所述系统和方法可包括：在分开地计算列和行相邻者差之后执行列和行相邻者差的直方图；分开地将所述列和行相邻者差与预定阈值进行比较；并且如果所述差低于所述预定阈值，则将列和行相邻者差添加到相应列和行。在一个方面，所述将列和行相邻者差添加到相应列和行的步骤包括分别地将列和行相邻者差添加到关于特定列和行的直方图。

在各个实现中，所述系统和方法可包括：确定关于相应列和行的中值差(median difference)；将所述中值差添加到关于相应列和行的一个或多个先前校正项；以及将所述校正项应用到红外图像数据。在一个方面，所述红外图像数据包括红外输入视频数据，所述已校正红外图像数据包括已校正红外视频数据，并且所述红外输出图像数据包括红外输出视频数据。所述系统和方法可以包括在估计所述列和行噪声滤波校正值之前对红外图像数据进行高通滤波。在一个方面，对相应行和列进行高通滤波包括减去低通滤波运算的结果。所述红外图像数据可包括多个帧，其中除第一帧之外，每个帧被分开地校正为具有至少一个先前帧的当前帧。所述系统和方法可包括将红外图像数据延迟一个帧、并显示红外输出图像数据。

根据实施例，用于处理红外图像数据的方法包括：从多像素红外检测器接收基于非均匀场景的红外图像数据；识别红外图像数据的列噪声滤波区段；确定用于对应列的列噪声偏移项；基于列噪声偏移项将列噪声滤波校正应用到红外图像数据，其中所述列噪声偏移项被应用到列噪声滤波区段的每个对应列中的至少大多数红外图像数据；基于列噪声滤波校正提供已校正红外图像数据作为红外输出图像数据；以及存储所述红外输出图像数据。

根据实施例，红外成像系统包括：红外检测器(例如，由诸如红外相机的红外成像装置所使用的)；处理器，适于处理来自红外检测器的、非均匀场景的红外图像数据；以及存储部件，适于存储所述红外输出图像数据。所述处理器可适于通过如下来处理来自红外检测器的红外图像数据：从多像素红外检测器接收基于非均匀场景的红外图像数据；识别红外图像数据的列噪声滤波区段；确定用于对应列的列噪声偏移项；基于所述列噪声偏移项将列噪声滤波校正应用到红外图像数据，其中所述列噪声偏移项被应用到列噪声滤波区段的每个对应列中的至少大多数红外图像数据；以及基于列噪声滤波校正提供已校正红外图像数据作为红外输出图像数据。

本发明的范围由权利要求所限定，通过参考将权利要求合并在这个部分中。通过考虑一个或多个实施例的如下详细描述，将向本领域的技术人员提供本发明的实施例的更完整理解连同其附加优点的实现。将参考所附的图表，首先简要描述所述图表。

附图说明

图1示出了根据本发明实施例的用于红外图像处理的系统的框图；

图2A至图2C是图示了根据本发明实施例的用于对红外图像进行噪声滤波的方法的流程图；

图3A至图3C是图示了根据本发明实施例的红外图像数据和红外图像的处理的图表；

图4示出了根据本发明实施例的用于论述处理技术的传感器数据的行区段；

图5A至图5C示出了根据本发明实施例的用于对红外图像进行列和行噪声滤波的示范实现。

通过参考接下来的详细描述来最好地理解本发明的实施例和它们的优点。应该理解，相同的附图标记被用于识别在一个或多个图中图示的相同元件。

具体实施方式

这里公开的根据一个或多个实施例的系统和方法提供了用于由红外成像系统捕获的图像的图像处理算法。例如，在一个实施例中，可处理红外图像以减少红外图像内的噪声(例如，改善图像细节和/或图像质量)。对于一个或多个实施例，可应用处理技术来减少在红外图像的行和/或列内的噪声。

可以将噪声的显著(significant)区段定义为行和列噪声。这类噪声可通过读出集成电路(ROIC)中的非线性来解释。如果不去除这类噪声，则它可能被显现为最终图像中的垂直和水平条带，并且人类观察者对这些类型的图像伪影非常敏感。如果存在行和列噪声，则依赖于来自诸如自动目标跟踪器的红外传感器的影像(imagery)的其他系统还可能经受性能恶化。

由于红外检测器和读出集成电路(ROIC)组合件的非线性行为，即使当执行快门操作或者外部黑体校准时，也可能有残余的行和列噪声(例如，正在成像的场景可能不具有与快门确切相同的温度)。在偏移校准之后，行和列噪声的量可能随时间增加，并渐进地增加到某个最大值。在一个方面，这可被称为1/f类型噪声。

在任何给定的帧中，行和列噪声可被视为高频空间噪声。传统地，可使用空域滤波器(例如，局部线性或非线性低通滤波器)或频域滤波器(例如，傅立叶或小波空间中的低通滤波器)来减少这类噪声。然而，这些滤波器可具有负面影响，诸如图像的模糊和微弱细节的潜在损失。

本领域的技术人员应该理解，对列或行的任何引用可包括部分列或部分行，并且术语“行”和“列”是可交换的并且不是限制性的。这样，在不脱离本发明的范围的情况下，取决于应用，术语“行”可用于描述行或列，并且同样地，术语“列”可用于描述行或列。

图1示出了根据本发明实施例的用于红外图像捕获和处理的系统100(例如红外相机)的框图。在一个实现中，所述系统100包括处理组件110、存储组件120、图像捕获组件130、控制组件140和显示组件150。可选地，所述系统可包括感测组件160。

所述系统100可表示诸如红外相机的红外成像装置，用以捕获和处理诸如场景170的视频图像之类的图像。所述系统100可表示适于检测红外辐射并提供代表性数据和信息(例如，场景的红外图像数据)的任何类型的红外相机。例如，系统100可表示指向近、中和/或远红外谱的红外相机。在另一示例中，红外图像数据可包括场景170的非均匀数据(例如，不是来自快门或黑体的实际图像数据)，以进行处理，如这里所陈述的。系统100可包括便携式装置，并且可被合并在例如运载工具(例如，机动车或者其他类型的基于地面的车辆、飞行器或者航天器)、或者需要存储和/或显示红外图像的非移动安装中。

在各实施例中，处理组件110包括诸如一个或多个微处理器、单核处理器、多核处理器、微控制器的处理器、逻辑装置(例如，被配置为执行处理功能的可编程逻辑装置(PLD))、数字信号处理(DSP)装置等。所述处理组件110可适于与组件120、130、140和150接口并通信，以执行方法和处理步骤和/或操作，如这里所描述的。处理组件110可包括噪声滤波模块112，该噪声滤波模块112适于实现噪声减少和/或去除算法(例如，诸如参考图2A到图2C所论述的噪声滤波算法)。在一个方面，作为噪声滤波算法的一部分或者与其分开地，所述处理组件110可适于执行包括对红外图像数据进行缩放的各种其他图像处理算法。

应该理解，噪声滤波模块112可被集成在软件和/或硬件中而作为处理组件110的一部分，例如在存储组件120中存储用于噪声滤波模块112的代码(例如，软件或配置数据)。这里所公开的噪声滤波算法的实施例可由分离的计算机可读介质(例如存储器，诸如硬盘驱动器、压缩盘、数字视频盘或闪存)来存储，以便由计算机(例如，基于逻辑或处理器的系统)运行以执行这里公开的各种方法和操作。在一个方面，所述计算机可读介质可以是便携式的、和/或位于与系统100分开的地方，通过将计算机可读介质耦接到系统100和/或由系统100从计算机可读介质下载(例如经由有线链路和/或无线链路)噪声滤波算法，来向系统100提供所存储的噪声滤波算法。

在一个实施例中，所述存储组件120包括适于存储数据和信息(包括红外数据和信息)的一个或多个存储装置。所述存储组件120可包括一个或多个各种类型的存储装置，包括易失性和非易失性存储装置，诸如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存等。处理组件110可适于执行在存储组件120中存储的软件，以执行这里描述的方法和处理步骤和/或操作。

在一个实施例中，所述图像捕获组件130包括一个或多个红外传感器(例如，任何类型的多像素红外检测器，诸如焦平面阵列)，用于捕获代表图像(诸如场景170)的红外图像数据(例如，静止图像数据和/或视频数据)。在一个实现中，提供图像捕获组件130的红外传感器以将捕获的图像数据表示(例如，转换)为数字数据(例如，经由作为系统100一部分的、作为红外传感器的一部分包括的或者与红外传感器分开地包括的模数转换器)。在一个方面，所述红外图像数据(例如，红外视频数据)可包括图像(诸如场景170)的非均匀数据(例如，实际的图像数据)。所述处理组件110可适于处理所述红外图像数据(例如，以便提供处理后的图像数据)、将所述红外图像数据存储在存储组件120中、和/或从存储组件120中检索所存储的红外图像数据。例如，处理组件110可适于处理在存储组件120中存储的红外图像数据，以提供处理后的图像数据和信息(例如，已捕获的和/或处理后的红外图像数据)。

在一个实施例中，控制组件140包括适于生成用户输入控制信号的用户输入和/或接口装置，诸如可旋转旋钮(例如，电位计)、按压按钮、滑动条、键盘等。所述处理组件110可适于经由控制组件140感测来自用户的控制输入信号，并且对从其接收的任何所感测的控制输入信号进行响应。所述处理组件110可适于将这样的控制输入信号解析为值，如本领域的技术人员所通常理解的。

在一个实施例中，控制组件140可包括具有按压按钮的控制单元(例如，有线或无线手持控制单元)，所述按压按钮适于与用户接口，并接收用户输入控制值。在一个实现中，控制单元的按压按钮可用于控制系统100的各个功能，诸如自动聚焦、菜单使能和选择、视野、亮度、对比度、噪声滤波、高通滤波、低通滤波、和/或本领域技术人员所理解的各种其他特征。在另一实现中，一个或多个按压按钮可用于提供用于噪声滤波算法的输入值(例如，一个或多个噪声滤波值、调整参数、特性等)。例如，一个或多个按压按钮可用于调整由系统100所捕获和/或处理的红外图像的噪声滤波特性。

在一个实施例中，显示组件150包括图像显示装置(例如，液晶显示器(LCD))或各种其他类型的一般已知的视频显示器或监视器。处理组件110可适于在显示组件150上显示图像数据和信息。处理组件110可适于从存储组件120中检索图像数据和信息，并且在显示组件150上显示任何所检索的图像数据和信息。显示组件150可包括显示电子仪器，其可由处理组件110利用以显示图像数据和信息(例如，红外图像)。显示组件150可适于经由处理组件110直接从图像捕获组件130接收图像数据和信息，或者可经由处理组件110从存储组件120传输所述图像数据和信息。

在一个实施例中，取决于应用或实现需要，可选的感测组件160包括各种类型的一个或多个传感器，本领域的技术人员将理解此。可选感测组件160的传感器至少向处理组件110提供数据和/或信息。在一个方面，处理组件110可适于与感测组件160通信(例如，通过从感测组件160接收传感器信息)、以及与图像捕获组件130通信(例如，通过从图像捕获组件130接收数据和信息并且向系统100的一个或多个其他组件提供和/或从其接收命令、控制和/或其他信息)。

在各种实现中，感测组件160可提供关于环境条件的信息，诸如外部温度、光照条件(例如，白天、夜晚、黄昏和/或黎明)、湿度等级、特定气候条件(例如，晴天、雨天、和/或下雪)、距离(例如激光测距仪)、和/或已经进入还是退出隧道或其他类型的围绕物。感测组件160可表示本领域技术人员通常已知的用于监视各种条件(例如，环境条件)的传统传感器，所述条件可能对图像捕获组件130所提供的数据有影响(例如，对图像外观)。

在一些实现中，可选的感测组件160(例如，一个或多个传感器)可包括用于经由有线和/或无线通信将信息中继到处理组件110的装置。例如，可选的感测组件160可适于通过如下方式从卫星接收信息：即通过本地广播(例如，射频(RF))传输、通过移动或蜂窝网络和/或通过基础设施中的信息信标(例如，交通或公路信息信标基础设施)、或各种其他的有线和/或无线技术。

在各个实施例中，可以根据期望或取决于应用或需要来合并、实现或不实现系统100的组件，其中系统100表示相关系统的各个功能块。在一个示例中，处理组件110可与存储组件120、图像捕获组件130、显示组件150和/或可选的感测组件160合并。在另一示例中，处理组件110可以与图像捕获组件130组合，其中仅仅处理组件110的特定功能由图像捕获组件130内的电路(例如，处理器、微处理器、逻辑装置、微控制器等)来执行。此外，系统100的各个组件可以彼此远离(例如，图像捕获组件130可包括对于处理组件110等的远程传感器，处理组件110等表示可以或不可以与图像捕获组件130通信的计算机)。

根据本发明的实施例，图2A示出了用于对红外图像进行噪声滤波的方法220。在一个实现中，这个方法220涉及减少和/或去除在诸如图1的红外成像系统100的红外成像装置中的时间、1/f、和/或固定空间噪声。方法220适于在噪声滤波算法中利用红外图像数据的基于行和列的噪声分量。在一个方面，所述基于行和列的噪声分量可能在红外传感器的影像中的噪声中占主导(dominate)(例如，在典型的基于微辐射热测定仪的系统中，总噪声的大约2/3可以是空间的)。

在一个实施例中，图2A的方法220包括行和列噪声滤波算法的高级框图。在一个方面，行和列噪声滤波算法可被最佳化以使用最少的硬件资源。

参考图2A，方法220的处理流程实现了递归模式的操作，其中在计算行和列噪声之前应用先前的校正项，这可允许较低空间频率的校正。在一个方面中，当行和列噪声是空间相关的时，所述递归方式是有用的。这有时被称作条带化(banding)，并且在列噪声情况中可显现为几个相邻列受相似的偏移误差影响。当在不同计算中使用的几个相邻者经受相似误差时，用于计算误差的平均差可能歪斜，并且可能仅部分地校正所述误差。通过在计算当前帧中的误差之前应用部分校正，可以递归地减少误差的校正量，直到误差被最小化或去除。在所述递归的情况中，如果没有应用HPF(块208)，则当融合到噪声模型中时，作为图像一部分的自然梯度可能在几次迭代之后失真。在一个方面，自然水平梯度可表现为低空间相关的列噪声(例如，严重条带化)。在另一方面，HPF可防止非常低的频率场景信息与噪声估计干扰，并因此限制递归滤波的负面效应。

参考图2A的方法220，接收红外图像数据(例如，诸如来自图1的图像捕获组件130的原始视频源)作为输入视频数据(块200)。接下来，将列校正项应用到输入视频数据(块201)，并且将行校正项应用到输入视频数据(块202)。接下来，在将列和行校正应用到输入视频数据之后，提供视频数据(例如，“干净的”视频数据)作为输出视频数据(219)。在一个方面中，术语“干净的”可以指例如经由噪声滤波算法的一个或多个实施例来从输入视频数据中去除或减少噪声(块201、202)。

参考图2A的处理部分(例如，递归处理)，经由数据信号路径219a将HPF应用(块208)到输出视频数据219。在一个实现中，分开地将经高通滤波的数据提供给列噪声滤波区段201a和行噪声滤波区段202a。

对于列噪声滤波区段201a，方法220可适于如下处理输入视频数据200和/或输出视频数据219。

1.向当前帧应用在先前帧中计算的先前列噪声校正项(块201)。

2.通过减去低通滤波(LPF)运算的结果对当前帧的行进行高通滤波(块208)，例如如参考图3A至图3C所论述的。

3.对于每个像素，计算在中心像素与一个或多个(例如，8个)最近的相邻者之间的差(块214)。在一个实现中，最近的相邻者包括一个或多个最近的水平相邻者。所述最近相邻者可包括一个或多个垂直或其他的非水平的相邻者(例如，不纯粹水平，即在同一行上)，而不脱离本发明的范围。

4.如果所计算的差低于预定阈值，则将所计算的差添加到关于特定列的差的直方图上(块209)。

5.在当前帧的结束处，通过检查差的累积直方图来找到中值差(块210)。在一个方面，为了添加后的稳健性，可以仅仅使用具有某一特定最小发生数目的差。

6.将当前校正项延迟一个帧(块211)，即将它们应用到下一个帧。

7.将中值差添加(块212)到先前的列校正项，以提供更新的列校正项(块213)。

8.在下一帧中应用更新的列噪声校正项(块201)。

对于行噪声滤波区段202a，方法220可适于如下处理输入视频数据200和/或输出视频数据219。

1.向当前帧应用在先前帧中计算的先前行噪声校正项(块202)。

2.通过减去低通滤波(LPF)运算的结果对当前帧的列进行高通滤波(块208)，与上面针对列噪声滤波区段201a类似地论述的。

3.对于每个像素，计算在中心像素与一个或多个(例如，8个)最近的相邻者之间的差(块215)。在一个实现中，最近的相邻者包括一个或多个最近的垂直相邻者。所述最近相邻者可包括一个或多个水平或其他的非垂直的相邻者(例如，不纯粹垂直，即在同一列上)，而不脱离本发明的范围。

4.如果所计算的差低于预定阈值，则将所计算的差添加到关于特定行的差的直方图上(块207)。

5.在当前行(例如，线)的结束处，通过检查差的累积直方图来找到中值差(块206)。在一个方面，为了添加后的稳健性，可以仅仅使用具有某一特定最小发生数目的差。

6.将当前帧延迟与所使用的最近垂直相邻者的数目(例如8)等价的时间段。

7.将中值差添加(块204)到先前帧(块205)的行校正项(块203)。

8.在当前帧中应用更新的行噪声校正项(块202)。在一个方面中，这可需要行缓冲器(例如，如在6中所提及的)。

在一个方面中，对于每个列中的所有像素(或至少它们的最大子集)，可对于每个相关联的列应用同样的偏移项(或者项集合)。这可防止滤波器使空间局部细节模糊。

类似地，在一个方面中，分别对于每个行中的所有像素(或至少它们的最大子集)，可应用同样的偏移项(或者项集合)。这可禁止滤波器使空间局部细节模糊。

在一个示例中，可仅仅使用行的子集(例如，前32行)来计算列偏移项的估计。在这个情况中，仅需要32行延迟来在当前帧中应用列校正项。这可提高滤波器在去除高时间频率列噪声方面的性能。替换地，所述滤波器可被设计为具有最小延迟，并且一旦可以(例如使用来自所述32行的数据)计算合理的估计，就仅应用校正项。在这个情况中，仅可以最佳地滤波第33行以及以后的行。

在一个方面中，可能不需要所有样本，并且在这样的实例中，例如可以仅每第2行或第4行用于计算列噪声。在另一方面中，同样可应用在计算行噪声时，并且在这个实例中，例如可仅使用来自每第4列的数据。应该理解，在不脱离本发明的范围的情况下，本领域的技术人员可使用各种其他迭代。

在一个方面中，滤波器可按照其中对已滤波的数据进行滤波而不是对原始数据进行滤波的递归模式来操作。在另一方面中，如果使用递归(IIR)滤波器来计算估计的运行平均值，则以有效的方式来近似在一行中的像素与相邻行中的像素之间的平均差。例如，代替取相邻者差(例如，8个相邻者差)的平均值，可以计算在像素与相邻者的平均值之间的差。

根据本发明的实施例，图2B示出了用于对红外图像数据进行噪声滤波的替换方法230。参考图2A和图2B，图2A的方法220的一个或多个处理步骤和/或操作已经改变顺序、或者已经被变更或组合以用于图2B的方法230。例如，计算行和列相邻者差的操作(块214、215)可被去除，或者与诸如生成行和列相邻者差的直方图(块207、209)的其他操作合并。在另一示例中，可以在找到中值差(块206)之后执行延迟操作(块205)。在各个示例中，应该理解，类似的处理步骤和/或操作具有类似的范围，如先前在图2A所描述的，并因此，将不重复所述描述。

在方法220和230的又一替换方式中，实施例可排除直方图，并依赖于平均计算的差而不是中值计算的差。在一个方面中，这可能稍微地较不稳健，但是可允许列和行噪声滤波器的更简单实现。例如，可以通过实现为无限脉冲响应(IIR)滤波器的运行平均来分别近似相邻行和列的平均。在行噪声的情况中，IIR滤波器实现可减少或者甚至消除对用于平均计算的几行数据进行缓冲的需要。

在方法220和230的又一替换方式中，新噪声估计可以在视频数据的每个帧中计算，并且仅仅应用在下一帧中(例如，在噪声估计之后)。在一个方面中，这个替换方式可能提供较差的性能，但是可较简单地实现。在另一方面中，这个替换方式可称作非递归方法，本领域的技术人员将理解这一点。

例如，在一个实施例中，图2C的方法240包括行和列噪声滤波算法的高级框图。在一个方面中，行和列噪声滤波算法可被优化以使用最少的硬件资源。参考图2A和图2B，类似的处理步骤和/或操作可具有类似的范围，并因此将不重复描述。

参考图2C，方法240的处理流程实现了非递归模式的操作。如所示出的，方法240向来自视频源200的未校正输入视频数据应用列偏移校正项201和行偏移校正项202，以例如产生校正后的或干净的输出视频信号219。在列噪声滤波区段201a中，基于在特定列中的像素值与属于相邻列214的一个或多个像素之间的平均差210来计算列偏移校正项213。在行噪声滤波区段202a中，基于在特定行中的像素值与属于相邻行215的一个或多个像素之间的平均差206来计算行偏移校正项203。在一个方面中，可任意地考虑其中行或列偏移校正项203、213被应用到来自视频源200的输入视频数据的顺序(例如，行首先或者列首先)。在另一方面中，在视频帧的结束之前不可能完全知道行和列校正项，并因此，如果来自视频源200的输入视频数据没有被延迟，则行和列校正项203、213不可被应用到从其计算它们的输入视频数据。

在本发明的一个方面中，可以对红外成像传感器(例如图1的图像捕获组件130)所提供的图像数据连续地运算列和行噪声滤波算法。与可能需要均匀场景(例如，如通过快门或外部校准的黑体所提供的)来估计空间噪声的传统方法不同，如在一个或多个实施例中陈述的，列和行噪声滤波算法可以对实时场景数据进行运算。在一个方面中，可进行如下的假设：对于在位置[x，y]附近的一些小邻域(neighborhood)，相邻红外传感器元件应该提供相似的值，因为它们是接近的近程中的场景的成像部件。如果来自特定红外传感器元件的红外传感器读数不同于邻近者，则这可能是空间噪声的结果。然而，在一些实例中，这可能对于特定行或列中的每个传感器元件并非准确(例如，由于作为场景的自然部分的局部梯度所导致的)，但是平均地，行或列可具有与相邻行和列的值接近的值。

对于一个或多个实施例，通过首先取出一个或多个低空间频率(例如使用高通滤波器(HPF))，可以使场景贡献最小化，以保留与实际行和列空间噪声高度相关的差。在一个方面中，通过使用边缘保留滤波器，诸如中值滤波器或双边滤波器，由于图像中的强边缘，一个或多个实施例可使伪影最小化。

根据本发明的一个或多个实施例，图3A至图3C图示了对红外图像进行滤波的图表实现(例如，数字计数(digital count)对数据列)。图3A示出了当对场景进行成像时来自传感器元件行的典型值(作为示例)的图表图示(例如，图表300)。图3B示出了来自图3A的图像数据值的低通滤波(LPF)的结果的图表图示(例如，图表310)。图3C示出了从图3A的原始图像数据中减去图3B中的低通滤波器(LPF)输出的图表图示(例如，图表320)，其结果是从图3A中的原始图像数据的场景中去除低频和中频分量的高通滤波器(HPF)轮廓。这样，图3A至图3C图示了HPF技术，其可用于一个或多个实施例(例如，利用方法220和/或230)。

在本发明的一个方面中，列和/或行噪声的最终估计可称作所有已测量差的平均或中值估计。因为红外传感器的噪声特性一般是已知的，所以可以将一个或多个阈值应用到噪声估计。例如，如果测量60个数字计数的差，但是已知噪声典型地小于10个数字计数，则可以忽略这个测量。

根据本发明的一个或多个实施例，图4示出了传感器数据行401(例如，关于行中的多个像素的像素数据行)的图表图示400(例如，数字计数对数据列)，该传感器数据行401具有第5列数据402和关于8个最近相邻者的数据(例如，最近的像素相邻者，在第5列数据402左边的4个列410和在第5列数据402右边的4个列411)。在一个方面，参考图4，所述传感器数据行401是关于由多像素红外传感器或检测器(例如，图1的图像捕获组件130)捕获的图像或场景的传感器数据行的一部分。在一个方面中，第5列数据402是要被校正的数据列。对于该传感器数据行401，用箭头404指出在第5列数据402与它的相邻者列(410、411)的平均403之间的差。因此，可基于相邻数据来获得并说明噪声估计。

根据本发明的一个或多个实施例，图5A至图5C示出了对红外图像(例如，来自红外视频数据的图像帧)进行列和行噪声滤波的示范实现。图5A示出了红外图像500以及列校正项的对应图表502，红外图像500具有根据存在严重行和列噪声的场景而估计的列噪声。图5B示出了列噪声被去除并且仍旧存在空间行噪声的红外图像510、和行校正项的对应图表512，其中根据图5A中的场景估计行校正项。图5C示出了行和列噪声被去除的(例如，应用了图5A至图5B的列和行校正项)、作为干净的红外图像的、图5A中的场景的红外图像520。

在一个实施例中，图5A示出了具有严重行和列噪声的红外视频帧(即，红外图像500)。如这里描述地计算列噪声校正系数，以产生例如639个校正项，即每列一个校正项。图表502示出了列校正项。从图5A的红外视频帧500中减去这些偏移校正项，以产生图5B中的红外图像510。如图5B中所示出的，仍旧存在行噪声。如这里描述地计算行噪声校正系数，以产生例如639个行项，即每行一个校正项。图表512示出了行偏移校正项，从图5B中的红外图像510中减去行偏移校正项，以产生行和列噪声被显著减少或去除的、图5C中的干净的红外图像520。

在各个实施例中，应该理解，不需要行和列滤波二者。例如，在方法220、230或240中可执行列噪声滤波201a或行噪声滤波202a。

应该理解，对列或行的任何引用可包括部分列或部分行，并且术语“行”和“列”是可交换的，以及是非限制性的。例如，在不脱离本发明的范围的情况下，取决于应用，术语“行”可用于描述行或列，并且同样，术语“列”可用于描述行或列。

在各个方面中，根据噪声滤波算法的实施例，可通过查看实际场景(例如，不是快门或黑体)来估计列和行噪声，如这里所公开的。可通过测量在来自特定行(和/或列)中的元素的传感器读数与来自相邻行(和/或列)的传感器读数之间的中值差或平均差来估计列和行噪声。

可选地，在测量所述差之前可将高通滤波器应用到图像数据，这可减少或者至少最小化使场景一部分的梯度失真和/或引入伪影的风险。在一个方面中，在平均或中值估计中可以仅使用相差小于可配置阈值的传感器读数。可选地，直方图可用于有效地估计所述中值。可选地，当从直方图中寻找中值估计时，可以仅使用超过最小计数的直方图仓(bin)。可选地，可使用递归IIR滤波器估计在像素与它的相邻者之间的差，这可减少或至少最小化对存储用于处理的图像数据(例如，行噪声区段)的需要(例如，如果从传感器中按行方向读出图像数据)。在一个实现中，可使用如下的递归滤波器算法来估计在第j行上的第i列的当前平均列值

${\stackrel{\‾}{C}}_{i,j}=(1-\mathrm{\α})\·{\stackrel{\‾}{C}}_{i-1,j}+\mathrm{\α}\·C_{i,j}$

$\mathrm{\Δ}{R}_i=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{C}_{i,j}-{\stackrel{\‾}{C}}_{i-1,j}$

在这个等式中，α是阻尼因子，并且可设置为例如0.2，在该情况中，对于第j行上的特定第i列的运行平均值的估计将是第j行第i-1列的已估计运行平均值与第j行第i列上的当前像素值的加权和。现在，可通过取每个值C_i，j与第i行之上的相邻者的运行递归平均值

的差来近似在第j行的值与相邻行的值之间的估计差。这种方式估计平均差不像取真正的平均差那样准确，因为仅使用了上面的行，但是与存储几行实际的像素值相比、它要求仅存储一行运行平均值。

在一个实施例中，参考图2A，方法220的处理流程可实现递归模式的运算，其中在计算行和列噪声之前应用先前的列和行校正项，这允许在估计噪声之前、当对图像进行高通滤波时、校正较低的空间频率。

通常，在处理期间，递归滤波器至少重新使用一部分输出数据作为输入数据。递归滤波器的反馈输入可称作无限脉冲响应(IIR)，其可例如用指数增长输出数据、指数衰减输出数据、或正弦输出数据来表征。在一些实现中，递归滤波器可以不具有无限脉冲响应。这样，例如移动平均滤波器的一些实现用作递归滤波器，但是具有有限脉冲响应(FIR)。

在可适用时，可使用硬件、软件、或硬件和软件的各种组合来实现本发明的各个实施例。在可适用时，可以将这里陈述的各种硬件组件和/或软件组件合并为包括软件、硬件和/或二者的复合组件，而不脱离本公开的范围和功能。在可适用时，可以将这里陈述的各种硬件组件和/或软件组件分离为具有软件、硬件和/或二者的子组件，而不脱离本公开的范围和功能。在可适用时，预期可将软件组件实现为硬件组件，并且反之亦然。

根据本公开的软件(诸如程序代码和/或数据)可被存储在一个或多个计算机可读介质上。还预期，这里识别的软件可使用一个或多个通用或专用计算机和/或计算机系统、网络连接和/或其他方式来实现。在可适用时，这里描述的各个步骤的排序可改变、组合为复合步骤、和/或分离为子步骤，已提供这里描述的特征。

这里描述的实施例说明但不限制本发明。还应该理解，根据本公开的原理，可能进行无数的修改和变更。因此，本发明的范围仅仅由接下来的权利要求所限定。

Claims (27)

1.一种用于处理红外图像数据的方法，包括：

从多像素红外检测器接收基于非均匀场景的红外图像数据；

确定用于对应列的列噪声偏移项；

基于所述列噪声偏移项对红外图像数据应用列噪声滤波校正，其中所述列噪声偏移项被应用到每个对应列中的至少大多数红外图像数据；

基于列噪声滤波校正提供已校正红外图像数据作为红外输出图像数据；以及

存储所述红外输出图像数据。

2.根据权利要求1的方法，还包括：

确定用于对应行的行噪声偏移项；

基于所述行噪声偏移项对红外图像数据应用行噪声滤波校正，其中所述行噪声偏移项被应用到每个对应行中的至少大多数红外图像数据；

其中，所述提供已校正红外图像数据作为红外输出图像数据的步骤进一步基于行噪声滤波校正。

3.根据权利要求2的方法，还包括：

识别红外图像数据的列噪声滤波区段；以及

识别红外图像数据的行噪声滤波区段。

4.根据权利要求2的方法，其中：

所述确定列噪声偏移项的步骤包括通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算列噪声滤波区段的列相邻者差；以及

所述确定行噪声偏移项的步骤包括通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算行噪声滤波区段的行相邻者差。

5.根据权利要求4的方法，包括：在分开地计算列和行相邻者差之后，分开地生成列和行相邻者差的直方图。

6.根据权利要求5的方法，包括：

分开地将所述列和行相邻者差与预定阈值进行比较；以及

如果所述差低于所述预定阈值，则将列和行相邻者差添加到相应列和行。

7.根据权利要求6的方法，其中，所述将列和行相邻者差添加到相应列和行的步骤包括分别地将列和行相邻者差添加到关于特定列和行的直方图。

8.根据权利要求7的方法，包括确定关于相应列和行的中值差。

9.根据权利要求8的方法，包括：

将所述中值差添加到关于相应列和行的一个或多个先前列和行校正项；以及

将所述列和行校正项应用到红外图像数据。

10.根据权利要求2的方法，包括：在将列和行噪声滤波校正应用到红外图像数据之前，对红外图像数据进行高通滤波。

11.根据权利要求10的方法，其中，所述相应行和列的高通滤波包括减去低通滤波运算的结果。

12.根据权利要求2的方法，包括：

在应用列和行噪声滤波校正之前，将红外图像数据延迟一个帧；以及

显示所述红外输出图像数据。

13.一种红外成像系统，包括：

红外检测器

处理器，适于通过如下步骤来处理来自红外检测器的、非均匀场景的红外图像数据：

从多像素红外检测器接收基于非均匀场景的红外图像数据；

确定用于对应列的列噪声偏移项；

基于所述列噪声偏移项对红外图像数据应用列噪声滤波校正，其中所述列噪声偏移项被应用到每个对应列中的至少大多数红外图像数据；和

基于列噪声滤波校正提供已校正红外图像数据作为红外输出图像数据；以及

存储器组件，适于存储所述红外输出图像数据。

14.根据权利要求13的红外成像系统，其中，所述处理器还适于通过如下步骤来处理来自红外检测器的、非均匀场景的红外图像数据：

确定用于对应行的行噪声偏移项；以及

基于所述行噪声偏移项对红外图像数据应用行噪声滤波校正，其中所述行噪声偏移项被应用到每个对应行中的至少大多数红外图像数据；

其中，所述提供已校正红外图像数据作为红外输出图像数据的步骤进一步基于行噪声滤波校正。

15.根据权利要求14的红外成像系统，其中：

所述确定列噪声偏移项包括通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算列噪声滤波区段的列相邻者差；以及

所述确定行噪声偏移项包括通过针对每个像素计算中心像素与多个相邻像素之间的差来分开地计算行噪声滤波区段的行相邻者差。

16.根据权利要求15的红外成像系统，其中，所述确定行和列噪声偏移项包括：通过在分开地计算列和行相邻者差之后分开地生成列和行相邻者差的直方图，来处理红外图像数据。

17.根据权利要求16的红外成像系统，其中，所述确定行和列噪声偏移项包括通过如下操作来处理红外图像数据：

分开地将所述列和行相邻者差与预定阈值进行比较；以及

如果所述差低于所述预定阈值，则将列和行相邻者差添加到相应列和行。

18.根据权利要求17的红外成像系统，其中，所述将列和行相邻者差添加到相应列和行包括分别地将列和行相邻者差添加到关于特定列和行的直方图。

19.根据权利要求18的红外成像系统，其中，所述确定行和列噪声偏移项包括通过确定关于相应列和行的中值差来处理红外图像数据。

20.根据权利要求19的红外成像系统，其中，所述确定行和列噪声偏移项包括通过以下操作来处理红外图像数据：

将所述中值差添加到关于相应列和行的一个或多个先前列和行校正项；以及

将所述列和行校正项应用到红外图像数据。

21.根据权利要求20的红外成像系统，其中，所述确定行和列噪声偏移项包括：通过在将列和行噪声滤波校正应用到红外图像数据之前，对红外图像数据进行高通滤波，来处理红外图像数据：

22.根据权利要求14的红外成像系统，其中，所述处理器适于通过以下操作来处理红外图像数据：

在应用列和行噪声滤波校正之前，将红外图像数据延迟一个帧；以及

经由显示组件来显示所述红外输出图像数据。

23.根据权利要求13的红外成像系统，其中所述红外成像系统包括红外相机，该红外相机适于捕获和处理包括非均匀场景的红外视频图像数据的红外图像数据，以及其中所述红外检测器适于检测红外辐射并提供非均匀场景的代表性红外图像数据。

24.根据权利要求13的红外成像系统，其中所述红外检测器远离所述处理器，并且其中所述红外检测器适于远程地将红外图像数据中继到处理器，所述处理器包括计算机系统。

25.根据权利要求13的红外成像系统，其中，所述红外成像系统包括红外相机，所述红外相机包括：

控制组件，适于与用户接口，并接收用户输入控制信号以控制红外成像系统的各个操作；以及

显示组件，适于显示红外图像数据；

其中，所述处理器适于从红外检测器获得红外图像数据、并在显示组件上显示所获得的红外图像数据，以及

其中，所述处理器适于从存储组件中检索红外图像数据、并在显示组件上显示所检索的红外图像数据。

26.一种计算机可读介质，在其上存储用于执行权利要求1的方法的计算机可读指令。

27.一种计算机可读介质，在其上存储用于执行权利要求2的方法的计算机可读指令。

Images