CN104620282B

CN104620282B - 用于抑制图像中的噪声的方法和系统

Info

Publication number: CN104620282B
Application number: CN201380047915.1A
Authority: CN
Inventors: A·弗伊; M·T·马焦尼
Original assignee: NOISELESS IMAGING Ltd Oy; Flir Systems Inc
Current assignee: NOISELESS IMAGING Ltd Oy; Teledyne Flir LLC
Priority date: 2012-07-16
Filing date: 2013-07-16
Publication date: 2018-01-12
Anticipated expiration: 2033-07-16
Also published as: CN104620282A; EP2873058B1; US20140015921A1; EP2873058A1; US9635220B2; WO2014014957A1

Abstract

公开了有效地抑制图像(例如，视频或静止图像)中的噪声的各种技术。例如，可以将图像中的噪声更准确的建模为具有结构化的随机噪声分量和结构化的固定模式噪声(FPN)分量。可以实时地以及在离线处理中稳健并有效地估计噪声的各种参数。可以基于各种噪声参数和运动参数，对图像中的噪声进行自适应地滤波。这种滤波技术可以有效地抑制甚至具有突出的FPN分量的图像中的噪声，并且还可以提高可能受到噪声影响的其他操作的效率。

Description

用于抑制图像中的噪声的方法和系统

相关申请的交叉引用

本专利申请是2013年7月16日申请的、申请号为13/943,035的美国专利申请的继续，其主张2012年7月16日申请的、申请号为61/672,010的美国临时专利申请的优先权，通过引用的方式将它们作为整体合并到本文中。

技术领域

本发明的一个或多个实施例总体上涉及数字图像处理，并且更具体的，例如涉及图像中的噪声抑制。

背景技术

噪声是导致图像传感器捕获的图像(例如，视频和静止图像)退化的主要原因之一。在假设噪声是随机的和非结构化的以便可以通过平均或平滑来去除噪声的情况下，传统的噪声滤波技术一般通过应用各种平均或平滑操作来抑制噪声。

然而，噪声的非结构化随机的假设是不准确的。实际上，噪声可以包括固定模式噪声(FPN)分量(例如，由于读出电路中的列噪声、不规则像素尺寸和/或其他不规则性导致的噪声)和随机噪声分量。FPN分量可以表现为基本上不随时间变化的噪声模式，因此通过平均不能使其衰减，而是在传统的噪声滤波之后其通常变得更加明显。对于低成本传感器、具有极窄像素间距的传感器或者在执行中以极低的信噪比(SNR)工作(例如，在微光成像、热成像、范围成像或具有低SNR的其他成像应用中)的传感器来说，FPN变得更成问题。另外，对于大多数成像器来说，FPN和随机噪声分量通常是结构化的(例如，有色噪声)，并且在FPN和随机噪声分量中存在不同的相关性。因此，传统的滤波技术通常会产生具有明显结构化的伪影的图像。

发明内容

本发明公开了有效地抑制图像(例如，视频或静止图像)中的噪声的各种技术。例如，可以将图像中的噪声更准确的建模为具有结构化的随机噪声分量和结构化的固定模式噪声(FPN)分量。可以实时地以及在离线处理中稳健地并有效地估计噪声的各种参数。可以基于各种噪声参数和运动参数，对图像中的噪声进行自适应地滤波。这种滤波技术可以有效地抑制噪声，甚至是具有突出的FPN分量的图像中的噪声，并且还可以提高可能受到噪声影响的其他操作的效率。

在一个实施例中，一种方法包括：接收多个视频图像帧；通过对从所述视频图像帧提取的多个图像块进行分组，构建多个时空体积；对所述时空体积进行滤波，其中，所述滤波为对所述视频图像帧中的随机噪声(RND)分量的功率谱密度(PSD)和固定模式噪声(FPN)分量的PSD进行建模，以抑制这两种类型的噪声；以及对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧。

在另一个实施例中，一种系统包括：视频接口，其被配置为接收多个视频图像帧；处理器，其与所述视频接口通信并被配置为：通过对从所述视频图像帧提取的多个图像块进行分组，构建多个时空体积，对所述时空体积进行滤波，其中，所述滤波为对所述视频图像帧中的随机噪声(RND)分量的功率谱密度(PSD)和固定模式噪声(FPN)分量的PSD进行建模，以抑制这两种类型的噪声；以及对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧；以及存储器，其与所述处理器通信并被配置为存储所述视频图像帧。

本发明的范围由通过引用的方式合并到该部分的权利要求书限定。通过考虑下面对一个或多个实施例的详细描述，将向本领域技术人员提供对本发明实施例的更加完整的理解以及其实现的附加的优点。参考首先将简要介绍的附图。

附图说明

图1示出了根据本公开实施例的视频处理系统的框图。

图2A-2B示出了根据本公开实施例的视频图像中的随机噪声的例子。

图2C示出了根据本公开实施例的视频图像中的固定模式噪声(FPN)的例子。

图3A和3B示出了根据本公开实施例的、分别表示随机噪声分量和FPN分量的功率谱密度的例子的图表。

图4示出了根据本公开实施例的、抑制视频图像中的噪声的过程的流程图。

图5示出了根据本公开实施例的、构建并滤波时空体积以抑制视频图像中的噪声的过程的流程图。

图6示出了根据本公开实施例的、为了构建时空体积而提取图像块所沿着的运动轨迹的例子。

图7示出了根据本公开实施例的、对时空体积的三维(3D)光谱执行滤波的视觉表示。

图8示出了根据本公开实施例的、随机噪声分量和FPN分量的功率谱密度的例子的各种二维(2D)变换的表示。

图9示出了根据本公开实施例的、红外成像传感器捕获的输入视频图像帧的例子。

图10A示出了通过使用传统技术进行滤波产生的视频图像帧的例子。

图10B示出了通过使用传统技术进行滤波和增强产生的视频图像帧的例子。

图11A示出了根据本公开实施例进行滤波后产生的视频图像帧的例子。

图11B示出了根据本公开实施例进行滤波和增强后产生的视频图像帧的例子。

通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应当理解的是，相同的参考标号用于标识在一个或多个附图中示出的相同的元件。

具体实施方式

本文公开的方法和系统的各种实施例可用于对随机噪声和FPN建模以抑制图像(例如，视频或静止图像)中的两种类型的噪声。更具体的，在一个或多个实施例中，即使在具有突出的FPN分量的图像中，通过更准确地对噪声建模以包括随机噪声分量和FPN分量、估计一个或多个噪声参数，基于运动自适应参数对图像进行滤波、和/或执行本文描述的其他操作，方法和系统可以允许有效地抑制噪声。

在本文公开的方法和系统的一个方面，可以在时空体积上执行滤波，可以通过对沿着运动轨迹从视频图像帧序列提取的图像块进行分组(例如，固定大小的部分或一段视频图像帧)来构建时空体积中的任意一个。因为该时空体积中不同的图像块可以属于视频图像上的不同的空间位置，所以FPN可以显示为体积中的随机噪声，从而可以将FPN作为这种随机噪声进行建模和滤波。如果运动很少或没有运动，不同的图像块可以对准(例如，属于视频图像帧上的相同的空间位置)，从而FPN可以在时空体积中保持为这样。就这方面而言，如本文进一步描述的，不仅基于各种噪声参数，还基于在时空体积中捕获的相对运动，通过自适应地对时空体积滤波，本公开的各种实施例可以有效地抑制FPN。

在本文公开的方法和系统的另一个方面，根据本公开的各个实施例，可以通过使用待处理的视频图像和/或可以用于估计噪声参数目的的其他视频图像，估计与FPN和随机噪声都相关的一个或多个噪声参数。

因此，在各种实施例中，可以基于估计的噪声参数和在体积中捕获的运动(例如，图像块的逐帧的相对空间对准)，在时空体积上自适应地执行滤波操作。在某些实施例中，可以通过对时空体积应用三维(3D)变换(例如，离散余弦变换(DCT)、离散正弦变换(DST)、离散小波变换(DWT)或其他正交变换)以获得3D光谱、修改(例如，调整、自适应地缩小)3D光谱的系数并且应用逆变换以获得滤波后的时空体积，来有效地执行该滤波操作。可以聚合(例如，组合或使用自适应或非自适应的权重来平均)滤波后的时空体积的图像块以构建滤波后的视频图像帧。在某些实施例中，视频图像帧可以是一组离散的静止图像，其可以用于提供数字静止图像(例如，如数码相机捕获的数码照片)。

因此，例如，本文公开的方法和系统的各种实施例可以包括在或实现为各种装置和系统，例如，红外成像装置、移动数码相机、视频监控系统、视频处理系统、或可能需要从受到噪声损害的视频图像(例如，红外图像传感器或工作在低信噪比条件下的其他传感器捕获的视频图像)获得可接受的质量的视频图像的其他系统或装置。另外，本文公开的各种技术并不限于提供噪声抑制，而是可以进一步有利地改进各种其他视频处理操作(例如，增强、恢复、去模糊、均衡、锐化、超分辨率和可以受到噪声损害的其他操作)的性能和高级分析(例如，目标检测、目标识别、目标跟踪、分割、场景跟踪和其他分析操作)的性能。

图1示出了根据本公开实施例的、用于捕获和/或处理视频图像的系统100(例如，红外照相机)的框图。在一个实施方式中，系统100包括处理部件110、存储部件120、图像捕获部件130、视频接口部件134、控制部件140、显示部件150、感测部件160和/或网络接口180。

系统100可以表示成像装置，例如，捕获和/或处理图像(例如，场景170的视频图像)的视频摄像机。在一个实施例中，系统100可以实现为被配置为检测红外辐射并提供代表性的数据和信息(例如，场景的红外图像数据)的红外照相机。例如，系统100可以表示针对近、中和/或远红外光谱的红外照相机。在某些实施例中，系统100捕获和/或处理的图像数据可以包括如本文提出的要进行处理的场景170的非均匀的数据(例如，不是来自快门或黑体的真实图像数据)。系统100可以包括便携式装置并且可以合并到例如车辆(例如，汽车或其他类型的陆上车辆、飞行器或航天器)或要求将被存储和/或显示的红外图像的非移动设备中。

在各种实施例中，处理部件110包括处理器，例如，一个或多个微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理功能的可编程逻辑器件(PLD))、数字信号处理(DSP)装置等。处理部件110可适于与系统100的各种其他部件连接并通信，以执行如本文所述的方法和处理步骤和/或操作。处理部件110可以包括被配置为实现噪声抑制和/或移除操作(例如，参考图2A-11B所讨论的)的噪声滤波模块112。在一个方面，处理部件110可以被配置为执行包括缩放和/或转换图像数据的各种其他图像处理算法，其可以作为噪声滤波操作的一部分，也可以独立于噪声滤波操作。

应当理解的是，噪声滤波模块112可以集成到作为处理部件110的一部分的软件和/或硬件中，其中，例如，噪声滤波模块112的代码(例如，软件或配置数据)存储在存储部件120中。可以通过独立的机器可读介质121(例如，诸如硬盘驱动器、压缩盘、数字视频盘或闪存的存储器)存储如本文公开的噪声滤波操作的实施例，由计算机(例如，基于逻辑或处理器的系统)执行所述实施例以执行本文公开的各种方法和操作。在一个方面，机器可读介质121可以是便携式的和/或位于独立于系统100的地方，其中，通过将计算机可读介质耦合到系统100和/或由系统100从计算机可读介质121下载(例如，通过有线链路和/或无线链路)噪声滤波操作，将存储的噪声滤波操作提供给系统100。

在一个实施例中，存储部件120包括被配置为存储包括视频图像数据和信息的数据和信息的一个或多个存储设备。存储部件120可以包括一个或多个各种类型的存储设备，包括易失性和非易失性存储设备，例如，RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存、硬盘驱动器和/或其他类型的存储器。处理部件110可以被配置为执行存储在存储部件120中的软件以执行本文描述的处理步骤和/或操作。处理部件110可以被配置为将图像捕获部件130捕获和/或通过视频接口部件134接收的视频图像数据存储到存储部件120中。处理部件110可被配置为将处理(例如，滤波)后的视频图像数据存储到存储部件120中。

在各种实施例中，图像捕获部件130可以包括用于捕获代表诸如场景170的图像的图像数据(例如，静止图像数据和/或视频数据)的一个或多个图像传感器。在一个实施例中，图像捕获部件130可以包括用于捕获代表诸如场景170的图像的热图像数据(例如，热静止图像数据和/或热视频数据)的一个或多个红外传感器(举列来说，任意类型的多像素红外探测器，例如，焦平面阵列)。在一个实施例中，图像捕获部件130的红外传感器可以提供将捕获的图像数据表示(例如，转换)为数字数据(例如，通过包括在红外传感器中并作为其一部分或独立于红外传感器作为系统100的一部分的模数转换器)。在另一个实施例中，可以在视频接口部件134处提供数字转换和/或其他接口连接。

在一个方面，视频和/或静止图像数据(例如，热视频数据)可以包括诸如场景170的图像的非均匀的数据(例如，实际图像数据)。在一些实施例中，视频和/或静止图像数据还可以包括例如可用作校准视频和/或校准图像数据的均匀数据(例如，快门或参考黑体的图像数据)。处理部件110可被配置为处理捕获的图像数据(例如，以提供处理后的图像数据)、将图像数据存储到存储部件120中和/或从存储部件120中取出存储的图像数据。例如，处理部件110可适于处理存储在存储部件120中的热图像数据以提供处理(例如，滤波)后的图像数据和信息。

在一些实施例中，视频接口部件134可以包括合适的输入端口、连接器、开关和/或被配置为与外部装置(例如，远端装置182和/或其他装置)连接以接收由外部装置生成或存储在该外部装置中的视频数据(例如，视频数据132)的电路。可以将接收到的视频数据提供给处理部件110。就这方面而言，可以将接收到的视频数据转换为适于处理部件110处理的信号或数据。例如，在一个实施例中，视频接口部件134可被配置为接收模拟视频数据并将其转换为提供给处理部件110的合适的数字数据。在该实施例的一个方面，视频接口部件134可以包括各种标准的视频端口，其可以连接到视频播放器、视频摄像机或能够生成标准视频信号的其他设备，并且可以将接收到的视频信号转换为适于由处理部件110处理的数字视频/图像数据。在某些实施例中，视频接口部件134还可以被配置为与图像捕获部件130连接并从该图像捕获部件130接收图像数据。在其他实施例中，图像捕获部件130可以直接与处理部件110联系。

在一个实施例中，控制部件140包括适于产生用户输入控制信号的用户输入和/或接口装置，例如，旋钮(例如，电位器)、按钮、滑动条、键盘和/或其他装置。处理部件110可适于感测用户通过控制部件140输入的控制输入信号，并且对任意感测到的从其中接收的控制输入信号作出响应。如本领域技术人员通常可理解的，处理部件110可适于将该控制输入信号解释为值。在一个实施例中，控制部件140可以包括控制单元(例如，有线或无线的手持式控制单元)，其具有适于与用户相联系并接收用户输入控制值的按钮。在一个实施方式中，控制单元的按钮可用于控制系统100的各种功能，例如，自动对焦、菜单使能和选择、视场、亮度、对比度、噪声滤波、图像增强和/或各种其他功能。

在一个实施例中，显示部件150包括图像显示装置(例如，液晶显示器(LCD))或通常已知的各种其他类型的视频显示器或监视器。处理部件110可适于在显示部件150上显示图像数据和信息。处理部件110可适于从存储部件120检索图像数据和信息并在显示部件150上显示任意检索的图像数据和信息。显示部件150可以包括显示电路，处理部件110可以使用该显示电路来显示图像数据和信息(例如，滤波后的热图像)。显示部件150可适于通过处理部件110和/或视频接口部件134直接从图像捕获部件130接收图像数据和信息，或者图像数据和信息可以通过处理部件110将从存储部件120转移。

在一个实施例中，感测部件160包括一个或多个各种类型的传感器，如本领域技术人员将会理解的，传感器的类型取决于应用或实现的要求。感测部件160的传感器将数据和/或信息提供给至少一个处理部件110。在一个方面，处理部件110可适于与感测部件160通信(例如，通过从感测部件160接收传感器信息)并与图像捕获部件130通信(例如，通过从图像捕获部件130接收数据和信息，并且将命令、控制和/或其他信息提供给系统100的一个或多个其他部件，和/或从系统100的一个或多个其他部件接收命令、控制和/或其他信息)。

在各种实施方式中，感测部件160可以提供有关环境条件的信息，例如，外界温度、光照条件(例如，白天、夜晚、黄昏和/或黎明)、湿度等级、特定的天气条件(例如，晴、下雨和/或降雪)、距离(例如，激光测距仪或飞行时间照相机)和/或已经进入或离开隧道或其他类型的封闭物。感测部件160可以表示本领域技术人员通常理解的、用于监控可能对图像捕获部件130提供的数据产生影响(例如，影响图像的外观)的各种条件(例如，环境条件)的传统传感器。

在某些实施方式中，感测部件160(例如，一个或多个传感器)可以包括通过无线和/或有线通信将信息转送到处理部件110的装置。例如，感测部件160可适于通过本地广播(例如，射频(RF))传输、通过移动或蜂窝网络和/或通过基础设施(例如，运输或高速信标基础设施)中的信标或者各种其他无线和/或有线技术，从卫星接收信息。

在各种实施例中，可以根据需要或者基于应用或要求，组合和/或实现或不实现系统100的各个部件。在一个例子中，处理部件110可以与存储部件120、图像捕获部件130、视频接口部件、显示部件150、网络接口180和/或感测部件160相组合。在另一个例子中，处理部件110可以与图像捕获部件130相组合，其中，图像捕获部件130内的电路(例如，处理器、微处理器、逻辑器件、微控制器等)仅执行处理部件110的某些功能。

另外，在某些实施例中，系统100的各个部件可以是分布式的并通过网络190彼此进行通信。就这方面而言，系统100可以包括被配置为便于通过网络实现系统100的各个部件之间的有线和/或无线通信的网络接口180。在该实施例中，如果为了系统100的特定应用的需要，还可以复制部件。也就是说，被配置为执行相同或相似操作的部件可以分布在网络中。另外，如果需要，可以使用通过网络190上的网络接口180与系统100的各个部件通信的远端装置182(例如，传统的数字视频录像机(DVR)、被配置为进行图像处理的计算机和/或其他装置)的合适部件，实现各个部件中的任意一个的全部或部分。因此，例如，全部或部分处理器110、全部或部分存储部件120、和/或全部或部分显示部件150可以在远端装置182实现或复制，并且其被配置为执行如本文进一步描述的视频图像数据的滤波。在另一个例子中，系统100可以包括独立于并远离处理部件110和/或系统100的其他部件的图像捕获部件。可以理解，在不脱离本公开的范围和精神的情况下，系统100的分布式实现的很多其他组合是可能的。

图2A-2C示出了根据本公开实施例的视频图像数据中的随机噪声和FPN的例子。更具体的，图2A-2B示出了分别从两个连续的视频图像帧提取随机噪声的例子，并且图2C示出了存在于视频图像帧序列中的FPN。在图2A-2C中，FPN随着时间的变化(例如，在连续的视频图像帧上)基本上保持不变(例如，不改变或者略微改变)，而随机噪声可以随时间随机地改变。

由多个图像传感器捕获的视频图像数据表现出随机噪声和FPN。然而，很多传统的滤波技术简单地将存在于静止或视频图像中的噪声建模为随机和非结构化的噪声，本文公开的方法和系统有利地对视频图像数据中的随机噪声分量和FPN分量进行建模，以有效地抑制其中的这两种类型的噪声。在各种实施例中，还可以对表现为由于传感器的缺陷(例如，响应非均匀性、坏点、噪点或其他缺陷)而引起的噪声进行建模，或者将其作为FPN的一部分。另外，在由多个图像传感器捕获的静止图像或视频图像中表现出的噪声不是非结构化的噪声。然而，随机分量和FPN分量可以是相关的。也就是说，不同空间(例如，不同像素坐标)和时间(例如，在不同帧中)位置的噪声像素不是彼此独立的，而是彼此相关。因此，视频图像数据中的典型噪声称作“有色”噪声，而不是“白”噪声。

在图3A-3B所示的噪声的例子的功率谱密度(PSD)图表中，可以容易地观察到这种特性。更具体的，图3A示出了随机噪声分量的例子的PSD图表，并且图3B示出了FPN分量的例子的PSD图表，二者都通过32×32傅里叶变换而计算和呈现，并由在中心的直流(DC)项示出。如本领域技术人员通常理解的，在图像处理中，白噪声的PSD图表示出的所有系数基本上都是相同的恒定值。相反，图3A-3B中的典型的噪声的例子的特征在于，随机噪声分量和FPN分量中的清楚并明显的非均匀性的PSD图表。例如，图3A中的随机噪声的PSD图表示出了较大的水平相关性，这典型地是由于许多类型的图像传感器中的列噪声而导致的。如可以理解的那样，可以通过除了傅里叶变换之外的其他变换(例如，根据离散余弦变换(DCT)、各种类型的小波变换或其他合适的变换)来分析并表示噪声的相关性。

在本文描述的系统和方法的实施例中，可以将典型的噪声的这种结构化的属性(或“有色的”)建模为随机噪声分量和FPN分量，从而允许通过对其中的典型噪声的更准确的建模，有效地抑制视频图像数据中的噪声。

在一个实施例中，可以将随机噪声分量和FPN分量都建模为高斯色噪声。执行的与本公开有关的实验已经表明，可以利用高斯分布来很好的近似这两种噪声分量。在其他实施例中，可以使用其他分布(例如，泊松分布或莱斯分布)来代替高斯分布。

可以将建模为高斯色噪声的随机噪声分量和FPN分量的一个例子数学地表示如下。令i＝1，2是像素的空间坐标，并且是视频图像帧索引(例如，时间索引)。此外，令X＝X₁×X₂和V＝X×T分别表示空间(例如，针对视频图像帧内的像素)域和时空(例如，针对视频图像帧的序列)域。随后，在一个例子中，可以将噪声视频数据z：V→R建模为：

z(x₁，x₂，t)＝y(x₁，x₂，t)+η_RND(x₁，x₂，t)+η_FPN(x₁，x₂，t)

(等式1)

其中，y：V→R是未知的没有噪声的视频，η_RND：V→R和η_FPN：V→R是随机分量和FPN分量的实现。

如上所述，在一个实施例中，可以假设这两个噪声分量并将其建模为高斯色噪声，

(等式2)

(等式3)

其中，遵循独立同分布(i.i.d)的高斯分布的白噪声参数，以便：

i.i.d.w.r.t.x₁，x₂并且独立的w.r.t.t，

(等式4)

i.i.d.w.r.t.x₁，x₂但不是独立的w.r.t.t，

(等式5)

其中，表示卷积运算符，并且k_RND和k_FPN分别是确定η_RND和η_FPN的功率谱密度的等效卷积和。

在各种实施例中，可以如下文进一步描述的从视频图像数据估计标准偏差值σ_RND和σ_FPN。与本公开有关的实验已经表明，标准偏差值σ_RND和σ_FPN以及FPN的η_FPN通常随时间缓慢的变化。正因为如此，在某些实施例中，可以仅零星地估计标准偏差值σ_RND和σ_FPN。

更具体的，可以假设：

(等式6)

(等式7)

(等式8)

其中，这些偏导数相对于t的如此近似使得可以将σ_RND，σ_FPN和η_FPN视为相对于本文描述的操作(例如，滤波操作)使用的时间窗内的t保持不变。

另外，可以假设η_RND和η_FPN的PSD为相对于对应的σ²RND和σ² _FPN的固定模量归一化。也就是说，在对视频图像数据操作期间不需要估计PSD，而在某些实施例中，可以将PSD视为内置的校准参数。正因为如此，在某些实施例中，可以使用校准视频图像或适于校准目的的任何其他图像，离线地估计η_RND和η_FPN的PSD，并且只需要周期性地或根据需要地重新校准所述PSD。

在某些实施例中，通过使等式1具有作为y和t的函数的σ_RND和σ_FPN，可以将等式1概括为包含依赖于信号的噪声模型。可以将该函数合理地认为其可分为独立因子中，如：

以及

另外，当可以将σ_RND进一步地分解成垂直分量和水平分量时，在各种实施例中，如本文进一步描述的，噪声中的这种各向异性可以嵌入到噪声的PSD表示中。

可以指出的是，一些“坏点”(例如，总是显示固定值的亮点或从来检测不到光的噪点)可能导致极低概率的脉冲噪声，从而可能不能由等式1充分地捕获。然而，本公开的各种实施例考虑并入基于查找表的简单平均/中值运算或其他便宜的专门程序，以补偿这种情况。

已经描述了可以在本公开的系统和方法的各个实施例中使用的示例噪声模型和相关的噪声参数(例如，标准偏差σ_RND、标准偏差σ_FPN、η_RND的PSD、η_FPN的PSD)的例子，现在将参考图4来描述根据本公开的实施例的、抑制视频数据中的噪声的过程400。例如，可以由系统100的各个实施例执行过程400。应当理解的是，标识的系统100和其中的各个部件仅是为了举例说明的目的，并且任何其他合适的系统都可用于执行过程400的全部或部分。

在操作404，可以接收多个视频图像帧(例如，可以由连续的静止图像组成以构建移动视频)。例如，可以在视频接口部件134和/或处理部件110处接收由图像捕获部件130或外部装置(例如，产生视频数据132的外部装置)捕获或产生的视频图像数据(例如，输入视频401)。在某些实施例中，可以根据特定应用或要求的需要或期望，处理或管理视频图像数据以从中提取多个视频图像帧。例如，视频接口部件134和/或处理部件110可被配置为提取多个视频图像帧，随后可以在处理器110处接收所提取的多个视频图像帧。

在操作406，可使用视频图像帧估计随机噪声分量的标准偏差σ_RND和FPN分量的标准偏差σ_FPN。例如，可以在图1的处理部件110计算、运算、近似或估计随机噪声分量的标准偏差σ_RND和FPN分量的标准偏差σ_FPN。如上所述，例如，在滤波或处理一定数量的视频图像帧之后，可以仅零星地估计该参数。正因为如此，如果需要，可以在实时图像处理管道内使用标准偏差估计操作。在一个实施例中，例如，标准偏差估计运算可以嵌入到噪声滤波模块112中。在另一个实施例中，可以在独立的模块中实现标准偏差估计运算。

在各种实施例中，可以通过对视频执行时域高通滤波并计算视频的时域高通形式的绝对偏差的中值(MAD)，估计随机噪声分量中的标准偏差σ_RND。例如，在一个实施例中，可以通过获得一个视频图像帧和延迟一帧后的另一个视频图像帧之间的差值来执行时域高通滤波。随后可以对视频的时域高通形式进行MAD计算，以获得标准偏差σ_RND的稳健(robust)估计。在其他实施例中，可以在三维(3D)变换域(例如，如本文进一步讨论的，通过对滤波应用去相关变换所执行的变换)中估计标准偏差σ_RND，其中，表示最高时间频率的系数或某些高于阈值的频率可用作MAD计算的样本值。还可以预期的是，对视频图像数据进行时域高通滤波的其他已知方法和/或估计标准偏差的其他已知方法可适于与过程400一起使用。

在各种实施例中，可以从估计的标准偏差σ_RND以及FPN分量和随机噪声分量的总标准偏差的估计获得标准偏差σ_FPN。在一个实施例中，标准差σ_FPN可以计算为：

(等式9)

其中，σ_RND+FPN是FPN分量和随机分量的总标准偏差。在其他实施例中，可以使用在给定标准偏差σ_RND+FPN和标准偏差σ_RND的情况下估计标准偏差σ_FPN的其他统计标准(例如，最大似然)来计算标准偏差σ_FPN。

在各种实施例中，可以通过对视频执行空间高通滤波并计算视频的空间高通形式的MAD来估计总标准偏差σ_RND+FPN。例如，在一个实施例中，可以通过获得视频图像帧和偏移一个像素的视频图像帧之间的差值来执行空间高通滤波。随后可以视频的空间高通形式进行MAD计算，以获得标准偏差σ_RND+FPN的稳健估计，如上所述，所述标准偏差σ_RND+FPN反过来可用于获得σ_FPN的稳健估计。在其他实施例中，可以在三维(3D)变换域(例如，如本文进一步讨论的，通过对滤波应用去相关变换所执行的变换)中估计标准偏差σ_RND+FPN，其中，表示最高空间频率的系数或某些高于阈值的频率可用作MAD计算的样本值。还可以预期的是，对视频图像进行高通空间滤波的其他已知方法和/或估计标准偏差的其他已知方法可适于与过程400一起使用。

在操作408，可以使用校准视频402或可用于校准目的的任意其他视频图像来估计随机噪声分量η_RND和FPN分量η_FPN的功率谱密度(PSD)。如上所述，可以认为η_RND和η_FPN的PSD是σ_RND和σ_FPN的恒模归一化。正因为如此，在某些实施例中，可以离线和/或仅周期性地(例如，当期望或需要重新校准时)执行操作408。在某些实施例中，校准视频402可以提供基本上均匀的视频图像(例如，通过捕获关闭的快门、基本上均匀的黑体、基本上均匀的背景的图像或其他类似的图像而获得的视频图像)，以便可以更有效地从真实图像中区分出存在于校准视频402中的噪声。在其他实施例中，可以通过使用包含噪声的任意视频来执行PSD估计，所包含的噪声的分布和相关性对于捕获要通过过程400滤波的视频图像的图像传感器来说是典型的。

在某些实施例中，可以通过对校准视频402执行自相关运算来计算随机噪声分量η_RND和FPN分量η_FPN的PSD。在其他实施例中，计算PSD的其他合适的技术可适于用于操作408。

在某些实施例中，除了或代替与FPN相关的各种统计参数(例如，如本文所述的，估计的FPN的PSDη_FPN和标准偏差σ_FPN)，可以动态地估计视频图像帧中的FPN的实际模式。对于一个或多个实施例来说，可以从视频图像帧中减去动态估计的FPN模式，在减去所述动态估计的FPN模式后得到的视频图像帧中，可以在线估计残留FPN(例如，在减去动态估计的FPN模式之后，保留在视频图像中的FPN)和/或其他噪声(例如，使用接收到的视频图像帧)的PSD，而不是离线估计(例如，使用校准视频402)。这种残留FPN或其他噪声的PSD的在线估计可以使得能够进行噪声滤波，例如，其对于建模不准确和不精确来说具有稳健性。

在操作410，可以由从视频图像帧提取的图像块(举例来说，图像块，例如，视频图像帧的固定尺寸的分块或部分)构建时空体积(例如，包含从不同的时间位置(例如，从不同的视频图像帧)提取的图像块)。在过程400的各个方面，可以对构建的时空体积执行滤波和/或其他处理操作。

在各种实施例中，可以通过沿着运动轨迹从视频图像帧序列中提取图像块并将提取的图像块堆叠到一起来构建时空体积。例如，如果在实施例中使用8×8的图像块，则构建的时空体积的大小可以是8×8×N，其中，N是追踪运动所沿着的轨迹(例如，多个视频图像帧)的长度。在某些实施例中，可以通过连接运动向量确定运动轨迹，其中，通过例如块匹配技术或任意其他合适的运动或光流估计技术获得所述运动向量。可以从接收到的视频图像帧计算运动向量，或者当输入视频401是编码的视频时，可以使用嵌入在编码的视频中的运动向量。在某些实施例中，可以使用运动向量来评估与上述的FPN相关的各种动态(例如，瞬时或在线)估计的质量。

简要地参考图5和6，进一步描述了构建时空体积的例子。图5示出了根据本公开实施例的、构建并滤波时空体积508以抑制输入视频501中的噪声的过程500。例如，可以将过程500作为图14的过程400(例如，操作410-414)的一部分来执行。图6示出了根据本公开实施例的、为了构建时空体积而提取图像块所沿着的运动轨迹的例子。

如上所述，在某些实施例中，可以使用块匹配技术来构建时空体积。例如，在操作506，可以使用块匹配技术来构建时空体积508。也就是说，可以检查多个视频图像帧502以搜索与参考图像块503匹配(例如，满足特定的相似性标准)的图像块504A-504D。该图像块503、504A-504D可以定义运动轨迹，并且可以聚合到一起以构建时空体积508。需要注意的是，可以针对每个参考图像块重复虚线圈起来的操作(例如，包括操作506、510-514)，以构建并滤波多个时空体积。在另一个例子中，可以选择图6中的图像块602A-602J作为通过使用各种运动估计技术定义的运动轨迹。正因为如此，可以提取图像块602A-602J并将其聚合到一起以形成例如长度为10的时空体积。

如可以在图5和6看出的，时空体积可以包括可对应于视频图像上的各个不同的空间位置的图像块。在这种情况下，FPN可以基本上表现为随机噪声(例如，由于图像块的位置的变化而不固定于特定的像素位置)，这允许对FPN如此建模和滤波。然而，如果有很少或没有运动，全部或相当一部分FPN可以保留在时空体积中，正因如此，可以基本上基于与FPN相关的噪声系数对所述全部或相当一部分FPN进行滤波。因此，多少FPN可以被捕获为随机噪声或保留为时空体积中的FPN可以取决于图像块的相对对准(例如，时空体积中的多少图像块对准以及多少图像块来自其他空间位置)。

再次参考图4，在操作412，可以对构建的时空体积进行滤波(例如，以抑制噪声或执行如本文相对于操作512进一步描述的其他操作)。在各种实施例中，滤波可以至少部分地基于一个或多个噪声参数。例如，在某些实施例中，滤波可以至少部分地基于随机噪声分量的标准偏差σ_RND、FPN分量的标准偏差σ_FPN、随机噪声分量的PSD和/或FPN分量的PSD，可以在操作406和408处，对上述参数中的任意一个进行计算、运算、近似或估计。在某些实施例中，如本文进一步讨论的，滤波可以进一步地适于构建的时空体积的其他特性。

在某些实施例中，可以对时空体积的3D变换域表示(也称作3D光谱)执行滤波。例如，再次参考图5，滤波操作可以包括对时空体积应用三维(3D)变换以获得3D光谱(例如，在操作510)、修改(例如，自适应地缩小)3D光谱的系数(例如，在操作512)、以及应用逆变换以获得滤波后的时空体积(例如，在操作514)。还可以预期的是，除了操作510-514之外或者替代操作510-514，还可以执行其他形式的调整，例如，加权平均或扩散。

更具体的，在操作510，可以对时空体积应用去相关3D变换。该去相关3D变换可以包括离散余弦变换(DCT)、离散正弦变换(DST)、离散小波变换(DWT)、离散傅里叶变换(DFT)或通常对图像信号进行去相关的任何其他合适的变换(例如，可分离的、正交变换)。在一个实施例中，DCT可用于变换操作。

可以通过可分离的级联成分的较低维变换，应用去相关3D变换。例如，对于空间去相关来说，可以对聚合在时空体积中的每个图像块(例如，尺寸为8×8)应用2D变换(例如，尺寸为8×8的可分离的DCT)，并且对于时间去相关来说，可以应用长度为N(例如，长度与时空体积的长度相匹配的1D DCT)的1D变换。如本领域技术人员可以理解的，这两个级联变换的顺序可以颠倒，产生的结果相同。

还参考图7，产生的3D光谱702可以包括表示3D变换域中的时空值的多个光谱系数(如图7的小圆圈所示)。3D光谱702还可以包括直流(DC)平面704和交流(AC)共体积706。直流平面704可以视为直流项的集合，其可以指对应于0频率的变换域系数并且可以表示值的平均。就这方面而言，DC平面704中的DC项可以编码有关FPN分量的信息。正因如此，在某些实施例中，如本文进一步描述的，可以基于系数属于哪个平面(例如，DC平面或AC共体积)来调整滤波操作。AC共体积706可以视为其他剩余的系数，其通常满足与DC平面704中的系数具有某种类型的正交关系。应当注意，图7仅是为了解释对3D光谱的滤波操作而提供的视觉表示，正因如此，不应当将描述的3D光谱702、DC平面704、AC共体积706的位置、尺寸和/或形状理解为限制产生的3D光谱。

在图5的操作512，可以执行缩小(或收缩)以修改3D光谱(例如，3D光谱702)的系数，从而获得缩小的3D光谱708。缩小可以包括阈值处理(例如，硬阈值处理、软阈值处理或其他阈值处理)、缩放、维纳(Wiener)滤波或适于调整变换域中的信号的其他操作。在各种实施例中，缩小基于相应的可能嵌入在每个光谱系数中的噪声的系数标准偏差，修改光谱系数。因此，例如，在一个实施例中，可以通过基于相应的系数标准偏差对光谱系数应用硬阈值处理(例如，如果不满足阈值，则将值设为0)，来执行缩小。在另一个例子中，可以在两个或更多个阶段中执行缩小，其中，可以在较早的阶段执行阈值处理，以向在较晚的阶段中执行的维纳滤波提供估计。

可以基于与可能存在于视频图像中的随机噪声分量和FPN分量相关的各个系数，近似、计算或获得系数标准偏差。例如，在一个实施例中，可以至少部分地基于随机噪声分量的标准偏差σ_RND和FPN分量的标准偏差σ_FPN，对系数标准偏差进行近似。

在另一个实施例中，除了标准偏差σ_RND和标准偏差σ_FPN之外，还可以基于随机噪声分量的PSD和FPN分量的PSD，对系数标准偏差进行近似。如以上描述的关于在图2A-3B和等式1-5中对噪声的建模，这些PSD可以编码噪声分量的相关性或结构。如果相对于用于空间去相关的2D变换计算这些PSD，则这些PSD可以在应用1D变换以进行时间去相关之前，为2D光谱中的每个系数额外地提供随机噪声分量和FPN分量的变化。通过图8可以更好的看出或理解PSD的这些属性，图8示出了相对于用于空间去相关的2D变换计算的随机噪声分量和FPN分量的PDS的示例图形表示。

在各种实施例中，一个或多个这些和其他噪声参数可以是基于估计值的(例如，作为过程400的一部分在线和/或离线估计的值)。例如，可以基于标准偏差σ_RND、标准偏差σ_FPN、随机噪声分量的PSD和/或FPN分量的PSD近似系数标准偏差，全部或者部分上述参数可以是通过上述的图4的操作406和408获得的估计值。

除了如上所述的基于噪声参数近似或计算系数标准偏差之外，还可以基于在时空体积中捕获的运动，进一步地适应、改进或调整所述系数标准偏差。也就是说，根据本公开的各种实施例，已经观察到，在时空体积中分组的图像块的相对对准影响了如何在频谱系数中显现FPN分量。例如，在所有图像块都对准的极端情况下(例如，当没有运动时)，在所有图像块中FPN分量可能是相同的。正因如此，FPN分量可以通过平均简单地累加，从而构成3D光谱中的DC平面的内容的实质部分，而不是噪声。在所有图像块都来自视频图像的各个不同空间位置的另一个极端情况下，FPN分量可以随图像块的不同而表现出不同的模式。正因如此，仅限于在时空体积中，FPN分量可以表现为另一个随机噪声分量。

因此，在一些实施例中，不仅可以基于噪声参数对系数标准偏差进行近似，而是还可以进一步地基于时空体积的尺寸、与时空体积相关的图像块的相对空间对准、和/或3D光谱内的系数的位置(例如，系数位于DC平面还是位于AC共体积)，适应、改进或调整所述系数标准偏差。在一个实施例中，可以使用包括两个极端情况并同时提供用于中间情况的逐渐过渡的公式表示来获得对系数标准偏差的这种自适应近似。

该公式表示的一个例子可以在形式上描述如下。对于时间长度为N的时空体积来说，令L_n≤N1≤n≤N是形成时空体积的图像块的数量，其共享与体积中的第n个块相同的原始空间位置。令(可选的不同定义，其可以更实际地取决于具体的滤波实现，可以是L＝L₁)。随后可以针对时间DC平面及其互补的AC共体积中的系数，将系数标准偏差近似为：

(等式10)

(等式11)

其中，σ_DC和σ_AC分别是用于DC平面和AC共体积中的系数的系数标准偏差，并且，其中和是FPN分量和随机噪声分量相对于2D空间去相关变换的PSD。因此，通过使用从等式10和11得到的σ_DC和σ_AC修改光谱系数，本公开的实施例可以执行自适应缩小，其可以允许对视频图像中的噪声的接近最优滤波。需要注意的是，在等式10和11中，分别令L＝N(没有运动)或L＝0(图像块全部来自不同的空间位置)，则得到上述的极端情况。

另外，在操作512处，为了进一步地处理或操作，还可以对缩小的3D光谱(例如，缩小的3D光谱708)执行其他操作。例如，在一个实施例中，可以使用协作的α求根或通过提高一些合适的光谱系数来锐化和/或增强图像的对比度的其他技术，进一步地修改光谱系数。在其他例子中，可以执行图像恢复、去模糊、锐化、均衡、超分辨率或其他操作，以进一步地修改缩小的3D光谱的系数。然而，不准确地建模和/或次最佳的抑制噪声通常导致增强或其他操作无效，或者更糟的，导致增强和其他操作退化而不是改进图像，如本文进一步说明的，可以通过本公开的实施例实现的接近最佳的噪声抑制可以有利地提高增强和其他操作的效率。

在操作514，可以对缩小的3D光谱应用去相关的3D逆变换，以获得滤波后的时空体积(例如，滤波后的时空体积714)。如图7所示，可以以任何顺序应用级联的可分离的2D和1D逆变换(例如，利用中间的2D光谱710或中间的1D光谱712)，以获得滤波后的时空体积714。

在操作414/516，可以使用合适的聚合技术对来自滤波后的时空体积的图像块进行聚合，以生成滤波后的视频图像帧(例如，滤波后的视频416)。例如，在各种实施例中，聚合可以包括对图像块的加权平均。在一些实施例中，用于平均的权重可以部分地基于系数标准偏差。在该实施例中，聚合操作可受益于以上的操作512描述的对系数标准偏差的自适应近似。可以理解，如果该操作部分地基于系数标准偏差，则与过程400和500相关的其他操作也可以受益于本公开提供的自适应性。

现在参考图9-11B，其示出了可以通过本公开的实施例获得的有利结果的例子以及与通过传统技术获得结果的比较。图9示出了红外成像传感器捕获的输入视频图像帧的例子。图9的输入视频图像帧显示出相关的随机噪声和相关的FPN。图10A示出了通过使用传统的噪声滤波技术对图9的输入视频图像进行处理得到的产生的视频图像帧的例子。更具体的，用于获得图10A的传统技术采用了传统的加性白高斯噪声(AWGN)模型。也就是说，与本公开的各种实施例不同，其没有对噪声相关性/结构建模，或者没有对分离的FPN分量和随机噪声分量建模。在图10A中，这导致无效的噪声抑制，从产生的视频图像帧中可清楚地看到残留的FPN和可见的结构化的假象。

另外，在图10B的例子中，其示出了通过使用传统技术对图9的输入视频图像帧进行滤波和增强获得的产生的视频图像帧，对经过传统的滤波后的视频图像帧执行增强(例如，锐化和/或增强对比度)的操作导致视频图像帧的退化而不是改进，其中噪声加剧而不是衰减。

相反，在根据本公开的实施例通过对图9的输入视频图像进行滤波得到的产生的滤波后的视频图像帧的图11A的例子中，有效地抑制了FPN分量和随机噪声分量，并且在产生的视频图像中没有结构化的假象。另外，图11B示出了根据本公开的实施例通过对图9的输入视频图像进行滤波和增强得到的产生的视频图像帧的例子，在图11B中，可以更好地理解对噪声准确建模和滤波的优点。

因此，本文公开的方法和系统的实施例通过对噪声更加准确地建模、估计一个或多个噪声参数、基于运动自适应系数对图像进行滤波、和/或执行本文所述的其他操作，即使在具有突出的FPN分量的图像中，也可以允许有效地抑制噪声。本文公开的方法和系统的实施例还可以有利地抑制在经过传统的FPN补偿过程(例如，已经执行的列噪声补偿技术、基于预先校准或动态估计的FPN掩膜的FPN移除和/或其他技术)之后仍然可能保留的残留FPN。因此，例如，本文公开的方法和系统的实施例可以包括在或实现为捕获和/或处理受到噪声损害的视频或静止图像(例如，由红外图像传感器或工作在低信噪比条件下的其他传感器捕获的视频或静止图像、和/或通过传统的FPN补偿技术处理的视频或静止图像)的各种装置和系统，以有利地提高图像质量。

当适用时，可以使用硬件、软件或硬件和软件的结合实现本公开提供的各种实施例。同样的当适用时，在不背离本公开的精神的情况下，可以将本文提出的各种硬件部件和/或软件部件合并为包括硬件、软件和/或硬件和软件二者的复合部件。当适用时，在不背离本公开的精神的情况下，可以将本文提出的各种硬件部件和/或软件部件分离为包括硬件、软件和/或硬件和软件二者的子部件。另外，当适用时，可以预期的是，软件部件可以实现为硬件部件，反之亦然。

根据本公开的软件(例如，非临时性指令、程序代码和/或数据)可以存储于一个或多个非临时性计算机可读介质中。还可以预期的是，可以使用一个或多个通用或专用计算机和/或计算机系统、网络和/或其他类似物实现本文标识的软件。当适用时，可以改变本文描述的各个步骤的顺序、合并其为复合步骤和/或分离其为子步骤，以提供本文所述的功能。

以上描述的实施例仅是为了举例说明，而不是限制本发明。应当理解的是，根据本发明的原理，可以做出多种修改和改变。因此，本发明的范围仅由下面的权利要求书限定。

Claims

1.一种用于抑制图像中噪声的方法，包括：

接收多个视频图像帧；

通过对从所述视频图像帧沿着估计的运动的轨迹提取的多个图像块进行分组，构建多个时空体积；

对所述时空体积进行滤波，其中，所述滤波为对所述视频图像帧中的随机噪声RND分量和固定模式噪声FPN分量进行建模，以抑制这两种类型的噪声，并且其中至少基于在每个时空体积中捕获的估计的运动自适应地进行所述滤波，以抑制FPN分量；以及

对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧。

2.根据权利要求1所述的方法，其中，每个所述图像块是从对应的一个所述视频图像帧提取的固定大小的分块。

3.根据权利要求1所述的方法，其中，所述视频图像帧是热视频图像帧。

4.根据权利要求1所述的方法，还包括从视频图像帧序列确定所述估计的运动的轨迹。

5.根据权利要求1所述的方法，其中，对所述时空体积进行滤波进一步包括：

对所述时空体积应用去相关变换以生成相应的三维3D光谱，其中，每个3D光谱包括代表相应的一个所述时空体积的变换域的多个光谱系数；

至少部分地基于对RND分量和FPN分量进行建模的一个或多个噪声参数，对每个所述3D光谱中的至少某些光谱系数进行修改；以及

对所述3D光谱应用去相关变换的逆变换，以生成所述滤波后的时空体积。

6.根据权利要求5所述的方法，进一步包括：

估计所述视频图像帧中的所述RND分量的标准偏差和所述FPN分量的标准偏差；以及

至少使用所述RND分量的标准偏差和所述FPN分量的标准偏差，对系数标准偏差进行近似,

其中所述一个或多个噪声参数包括所述系数标准偏差，并且

其中所述修改包括基于相应的系数标准偏差缩小所述至少某些光谱系数。

7.根据权利要求6所述的方法，其中：

使用视频图像帧的时域高通形式的中位数绝对偏差MAD，估计所述RND分量的标准偏差；以及

使用所述RND分量的标准偏差和视频图像帧的空间高通形式的MAD，估计所述FPN分量的标准偏差。

8.根据权利要求6所述的方法，进一步包括：估计所述RND分量的功率谱密度PSD和所述FPN分量的PSD，其中，进一步地基于所述RND分量的PSD和所述FPN分量的PSD，近似所述系数标准偏差。

9.根据权利要求8所述的方法，其中，进一步基于相应的时空体积的大小、与相应的时空体积相关的块的相对空间对准、和/或相应的3D光谱内的相应的光谱系数的位置，近似所述系数标准偏差，从而至少基于所述估计的运动调整所述系数标准偏差。

10.根据权利要求5所述的方法，进一步包括：

估计所述视频图像帧中的FPN模式；以及

从所述视频图像帧减去估计的FPN模式，其中，在对所述时空体积进行滤波之前、期间或之后，执行相减。

11.根据权利要求5所述的方法，其中，至少部分地基于所述系数标准偏差，聚合所述图像块。

12.根据权利要求5所述的方法，进一步包括：修改所述3D光谱的光谱系数，以锐化和/或提高所述视频图像帧的对比度。

13.一种用于抑制图像中噪声的系统，包括：

视频接口，其被配置为接收多个视频图像帧；

处理器，其与所述视频接口通信并被配置为：

对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧；以及

存储器，其与所述处理器通信并被配置为存储所述视频图像帧。

14.根据权利要求13所述的系统，其中，每个所述图像块是从对应的一个所述视频图像帧提取的固定大小的分块。

15.根据权利要求13所述的系统，进一步包括被配置为捕获场景的图像的图像捕获装置，其中，由所述图像捕获装置提供所述视频图像帧。

16.根据权利要求15所述的系统，其中，所述图像捕获装置是被配置为捕获场景的热图像的红外照相机。

17.根据权利要求13所述的系统，其中，所述处理器被配置为从视频图像帧序列确定所述估计的运动的轨迹。

18.根据权利要求13所述的系统，其中，所述处理器被配置为：

19.根据权利要求18所述的系统，其中所述处理器被进一步配置为：

其中所述一个或多个噪声参数包括所述系数标准偏差，并且

20.根据权利要求19所述的系统，其中，所述处理器被配置为：

21.根据权利要求19所述的系统，其中：

所述处理器被进一步配置为：估计所述RND分量的功率谱密度PSD和所述FPN分量的PSD；以及

进一步地基于所述RND分量的PSD和所述FPN分量的PSD，近似所述系数标准偏差。

22.根据权利要求21所述的系统，其中，所述处理器被配置为：进一步基于相应的时空体积的大小、与相应的时空体积相关的块的相对空间对准、和/或相应的3D光谱内的相应的光谱系数的位置，近似所述系数标准偏差，从而至少基于所述估计的运动调整所述系数标准偏差。

23.根据权利要求18所述的系统，其中，所述处理器被配置为：

估计所述视频图像帧中的FPN模式；以及

从所述视频图像帧减去估计的FPN模式，其中，在对所述时空体积进行滤波之前、期间或之后，执行估计的FPN模式的相减。

24.根据权利要求18所述的系统，其中，所述处理器被配置为：至少部分地基于所述系数标准偏差，聚合所述图像块。

25.根据权利要求18所述的系统，其中，所述处理器被进一步地配置为：修改所述3D光谱的光谱系数，以锐化和/或提高所述视频图像帧的对比度。