CN109286761A - 用于抑制视频影像中的杂波的装置和方法 - Google Patents

用于抑制视频影像中的杂波的装置和方法 Download PDF

Info

Publication number
CN109286761A
CN109286761A CN201810804758.9A CN201810804758A CN109286761A CN 109286761 A CN109286761 A CN 109286761A CN 201810804758 A CN201810804758 A CN 201810804758A CN 109286761 A CN109286761 A CN 109286761A
Authority
CN
China
Prior art keywords
subgraph
image
correction
kth frame
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810804758.9A
Other languages
English (en)
Other versions
CN109286761B (zh
Inventor
丹尼斯·J·耶尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109286761A publication Critical patent/CN109286761A/zh
Application granted granted Critical
Publication of CN109286761B publication Critical patent/CN109286761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及用于抑制视频影像中的杂波的装置和方法。抑制视频影像中的杂波的方法包括从焦平面阵列(102)接收(402)视频影像；将视频影像分解(404)成对应于杂波图的独立移动坐标变换，所述杂波图是视频影像的子图像。方法还包括从视频影像的图像去除(406)子图像以产生图像的杂波抑制版本，并且呈现(416)图像的杂波抑制版本。从图像去除(406)子图像包括为子图像生成(408)相应的零阶校正，并从图像减去(410)相应的零阶校正。并且去除(406)子图像包括从相应的零阶校正为子图像递归地生成(412)相应的第一阶校正，并从图像减去(414)相应的第一阶校正。在生成并从图像减去相应的第一阶校正之前，生成并从图像减去相应的零阶校正。

Description

用于抑制视频影像中的杂波的装置和方法
技术领域
本公开总体涉及成像和跟踪，并且具体地涉及视频影像中的杂波的递归抑制。
背景技术
成像和跟踪系统通常包括用于识别和跟踪物体的传感器。例如，某些传感器(诸如雷达系统)发出从物体反射并被系统接收的信号。其他传感器(诸如电光传感器)偶从物体本身接收电磁辐射信号。该领域的改进旨在改进这些传感器以使其更精准。
特别地，电光传感器通常使用望远镜以及检测红外辐射的焦平面阵列。固定图案噪声(fixed pattern noise，FPN)的抑制是电光传感器的一个发展领域。通常，校准或非均匀性校正已被用于抑制固定图案噪声。然而，这种固定图案抑制方法可留下大的残留固定图案，这限制传感器性能并增大传感器噪声水平，尤其是当原始图像包含严重杂波时。另外，可存在其中使用前无法执行校准且必须即刻使用系统的情况。此外，在移动平台上使用具有望远镜和焦平面阵列的光学传感器跟踪物体存在其他问题，诸如需要补偿移动平台的移动。
已经开发了用于从成像和跟踪系统去除视频影像中的FPN的技术，并且这些技术中的许多对于整齐或轻度杂乱的影像工作非常良好。但是，可期望具有一种装置和方法，其能够针对具有不良(harsher)杂波的影像改进这些技术。
发明内容
本公开的示例实现涉及用于抑制视频影像中的杂波的改进的装置、方法和计算机可读存储介质。本公开的示例实现利用递归运动补偿积分技术递归地抑制视频影像中的独立移动杂波图(或场)，所述模式中的一个(但不是唯一一个)可以是FPN。本公开的示例实现提供一种技术方法，用于以导致优良目标检测的方式递归地去除视频影像中的杂波图，特别是对于暗目标。视频影像中被抑制的杂波使能够检测否则被不良杂波遮蔽的难以检测的目标。
本公开因此包括但不限于下面描述的示例实现。
一些示例实现提供抑制视频影像中的杂波的方法，所述方法包括从焦平面阵列接收视频影像；将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括：为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及呈现所述图像的所述杂波抑制版本。
在先前或任何随后示例实现的方法的一些示例实现或其任何组合中，分解所述视频影像包括使将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，所述图像是所述视频影像的第k帧的图像，去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，并且生成所述相应的零阶校正包括为所述第k帧的所述第m子图像生成零阶校正，包括：从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，以及其中递归地生成所述相应的第一阶校正包括从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括：独立地为排除所述第m子图像的每个子图像：使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，递归地生成相应的第一阶校正包括为所述子图像递归地生成相应的第一阶和更高阶校正，并且从所述图像减去所述相应的第一阶校正包括从所述图像减去所述相应的第一阶和更高阶校正，以及其中对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，以及其中递归地生成所述相应的第一阶和更高阶校正包括从所述第k帧的所述M个子图像中的至少一些的所述相应的第n阶校正为所述第k帧的所述第m子图像递归地生成第(n+1)阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正包括：独立地为所述M个子图像中的至少一些的每个子图像：使用多个坐标变换分别变换所述子图像的所述第n阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述第n阶校正，从而产生所述子图像的N个变换的第n阶校正；以及对所述子图像的所述N个变换的第n阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的第n阶校正；以及对所述M个子图像中的至少一些的所累加的、归一化的和否定的第n阶校正进行累加，以获得累加，所述累加是所述第k帧的所述第m子图像的所述第(n+1)阶校正，或者从所述累加获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
在任何先前或任何随后示例实现的方法的一些示例实现或其任何组合中，所述M个子图像中的至少一些是全部的所述M个子图像，并且为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正进一步包括从所述累加减去所述第m子图像的所累加的、归一化的和否定的第n阶校正，以获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
一些示例实现提供一种用于抑制视频影像中的杂波的装置，所述装置包括处理器，所述处理器被配置为使所述装置执行多个操作，包括使所述装置至少执行任何先前的示例实现的方法或其任何组合。
一些示例实现提供一种用于抑制视频影像中的杂波的计算机可读存储介质，所述计算机可读存储介质是非暂时性的并且具有存储在其中的计算机可读程序代码部分，所述计算机可读程序代码部分响应于处理器的执行，使装置至少执行任何先前的示例实现的方法或其任何组合。
通过阅读以下详细描述以及下面简要描述的附图，本公开的这些和其他特征、方面和优点将变得显而易见。本公开包括在本公开中阐述的两个、三个、四个或更多个特征或要素的任何组合，而不管这些特征或要素是否在本文描述的特定示例实现中被明确地组合或另外引用。本公开旨在从整体上阅读，使本公开的任何可分离特征或元素在其方面和示例实现的任一个中应被视为可组合，除非在本公开的上下文另外明确指出。
因此，应该理解，提供本发明内容仅仅是为了总结一些示例实现的目的，以便提供对本公开的一些方面的基本理解。因此，应该理解，上述示例实现仅仅是示例，并且不应该被解释为以任何方式缩小本公开的范围或精神。根据以下结合附图进行的详细描述，其他示例实现、方面和优点将变得显而易见，所述附图通过示例示出了一些描述的示例实现的原理。
附图说明
已经以一般术语描述了本公开的示例实现，现在将参考附图，所述附图不一定按比例绘制，并且其中：
图1示意性示出根据本公开的示例实现的递归运动补偿积分(RMCI)系统；
图2是根据一些示例性实现的计算装置的处理器的功能框图，所述处理器被配置为使计算装置为视频影像的第k帧的第m子图像生成零阶校正；
图3是根据一些示例性实现的计算装置的处理器的功能框图，所述处理器被配置为使计算装置为第k帧的第m子图像生成第(n+1)阶校正；
图4示出根据一些示例实现包括抑制视频影像中的杂波的方法的各种操作的流程图；以及
图5示出根据一些示例实现可对应于计算装置的装置。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的一些实现，其中示出本公开的一些但不是全部的实现。实际上，本公开的各种实现可以以许多不同的形式来体现，并且不应该被解释为限于在本文阐述的实现；相反，提供这些示例实现使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本公开的范围。例如，除非另外指明，否则将某物引用为第一、第二等不应被解释为暗示特定的顺序。此外，例如，可以在本文参考定量度量、值、关系等。除非另有说明，否则这些中的任何一个或多个(如果不是全部的话)可以是绝对的或近似的，以说明可发生的可接受的变型，诸如由于工程公差等引起的变化。相同的附图标记始终指代相同的元件。
本公开的示例实现涉及成像和跟踪，并且具体地涉及使用递归运动补偿积分(RMCI)抑制视频影像中的杂波，并且由此使得能够检测否则被杂波遮蔽的难以检测的目标。根据示例实现，由焦平面阵列(FPA)获取的影像被分解成与对应于杂波图(或场)的独立移动坐标变换，所述杂波图是子图像，其中使用关于通过FPA的所有子图像运动的详细信息递归抑制所述杂波图中的每个。
例如，假设从移动的高空平台通过薄云层俯视地面记录视频，并且地面和云层具有通过FPA的不同运动。在这种情况下，地面地形形成一个子图像，并且云层形成另一个子图像。如果FPA包含明显的固定图案噪声(FPN)，则FPN形成另一个零运动的子图像。
示例实现通过减去连续的子图像校正来从任何期望的FPA图像递归地移除每个子图像。首先，为每个杂波图(子图像)生成并从期望的FPA图像减去零阶子图像校正。然后递归地生成附加校正，并且也从期望的FPA图像减去所述附加校正。就这一点而言，从零阶校正计算第一阶子图像校正，并减去所述第一阶子图像校正。然后从第一阶校正计算第二阶子图像校正，并减去所述第二阶子图像校正。依次类推更高阶子图像校正。杂波抑制随着每次递归得到改进。通过零阶校正很大程度上抑制了杂波，然后通过第一阶校正更多地抑制，然后通过第二阶校正显着地抑制，等等。连续的校正越来越小，直到最终过程去除子图像期望的量。
图1示意性示出根据本公开的示例实现的RMCI系统100。如所示出，在一些示例中，RMCI系统包括固定安装到可移动平台104的图像感测设备，诸如焦平面阵列(FPA)102。合适的可移动平台的示例包括交通工具，诸如陆地交通工具(地面交通工具)、轨道交通工具、飞机(空中交通工具)、航天器、船只等。合适的可移动平台的其他示例包括卫星、导弹、高级杀伤交通工具等。
在一些示例中，FPA 102是光学传感器106的部件，其还包括一组光学器件108。例如，一组光学器件可以是望远镜的一部分并且包括一个或多个透镜、反射器等。FPA可以包括检测器的物理阵列，所述阵列被配置为检测通过一组光学器件聚焦的红外或其他波长，并且生成焦平面阵列数据，或者更具体地指示所述焦平面阵列数据的视频影像。例如，焦平面阵列的检测器可以包括长波段检测器和/或短波段检测器，但是也可以使用其他类型的检测器，诸如可见检测器。
还如图所示，在一些示例中，RMCI系统100包括与FPA 102通信的计算装置110，并且通常被配置为抑制来自FPA的视频影像中的杂波，以产生视频影像的杂波抑制版本。计算装置被配置为呈现视频影像的在杂波抑制版本以供目标检测处理器112接收，由显示器114呈现和/或存储在非易失性存储器116中，其中的任何一个或多个可以与计算装置集成或与计算装置分离。计算装置包括一个或多个部件(诸如处理器118)中的每个的一个或多个，其一个合适的示例是现场可编程门阵列(FPGA)。下面将更详细地描述根据各种示例实现的合适的计算装置。
根据本公开的示例实现，处理器118被配置为使计算装置110(有时更简单地称为“装置”)执行多个操作。就这一点而言，使得装置从FPA 102接收视频影像，将视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是视频影像的子图像，并且从视频影像的图像去除子图像以产生图像的杂波抑制版本。在一些示例中，这些独立移动杂波图中的一个是与FPA关联的固定图案噪声(FPN)。然后使得装置呈现图像的杂波抑制版本，诸如以供目标检测处理器112接收，由显示器114呈现和/或存储在非易失性存储器116中。
在从来自FPA 102的视频影像的图像去除子图像时，处理器118被配置为使计算装置110为子图像至少生成相应的零阶校正，并从图像减去所述相应的零阶校正。此外，处理器被配置为从相应的零阶校正为子图像递归地生成相应的第一阶校正，并从图像减去所述相应的第一阶校正。根据示例实现，在生成并从图像减去相应的第一阶校正之前，生成并从图像减去相应的零阶校正。
尽管视频影像可以包括任何数量的帧的任何数量的图像，但是在下面描述了各种示例实现，其中图像是视频影像的任意第k帧的图像。类似地，尽管子图像可以包括任何数量的子图像，但是在下面描述了各种示例实现，其中子图像包括可能M个子图像的任意第m子图像。如下所述，然后，在一些示例中，使计算装置110从第k帧的图像去除包括第m子图像的子图像。
图2是根据一些示例性实现的计算装置110的处理器118的功能框图，所述处理器被配置为使得装置为第k帧的第m子图像生成零阶校正。这包括使得装置从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量(算数平均数)，并从而产生N个连续的DC去除的图像(202)。
使计算装置110使用第m子图像从N个连续帧到第k帧的相应坐标变换206来变换204所述N个连续的DC去除的图像，并从而产生N个变换图像。可以以多种不同方式中的任何一种来指定相应的坐标变换，诸如根据数学仿射变换或根据图像光流偏移。类似地，可以以多种不同方式中的任何一种来获得相应的坐标变换，诸如通过可由可移动平台104获得的导航数据(例如，地理位置)和外部环境几何形状的组合，或者通过影像内的子图像运动的直接测量。不管如何获得或指定相应的坐标变换，然后对N个变换的图像进行累加208和归一化210，以获得第k帧的第m子图像的零阶校正212。
在一些示例中，使计算装置110从第k帧的所有M个子图像的相应的零阶校正为第k帧的第m子图像递归地生成第一阶校正。在一些示例中，这包括独立地为排除第m子图像的每个子图像，使计算装置使用多个坐标变换分别变换子图像的零阶校正，以产生子图像的变换的零阶校正，以及对子图像的N个变换的零阶校正进行累加、归一化和否定(negate)，并从而产生子图像的累加的、归一化的和否定的零阶校正。针对排除第m子图像的M个子图像对该累加的、归一化的和否定的零阶校正进行累加，以获得第k帧的第m子图像的第一阶校正。
所述子图像的多个坐标变换中的每个是子图像从视频影像的N个连续帧的第k帧到N个连续帧的第q帧的坐标变换以及第m子图像从第q帧到第k帧的坐标变换的组合。多个坐标变换包括q从1到N的值，分别变换零阶校正，从而产生子图像的N个变换的零阶校正。对子图像的N个变换的零阶校正进行累加、归一化和否定，以产生子图像的累加的、归一化的和否定的零阶校正。
在一些示例中，使得装置递归地生成相应的第一阶校正包括使得递归地生成子图像的第一阶和更高阶校正。在一些示例中，还使得装置从图像减去相应的第一阶校正，包括使得从图像减去相应的第一阶和更高阶校正。对于任意n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。在一些另外的示例中，使计算装置110递归地生成相应的第一阶和更高阶校正包括使得从第k帧的M个子图像中的至少一些的相应的第n阶校正为第k帧的第m子图像递归地生成第(n+1)阶校正。
图3是根据一些示例性实现的计算装置110的处理器118的功能框图，所述处理器被配置为使得装置为第k帧的第m子图像生成第(n+1)阶校正。如所示出，在一些示例中，这包括独立地为M个子图像中的至少一些中的每个子图像，使得装置使用多个坐标变换306分别变换302子图像的第n阶校正304。如前，这些坐标变换中的每个是子图像从视频影像的N个连续帧的第k帧到N个连续帧的第q帧的坐标变换以及第m子图像从第q帧到第k帧的坐标变换的组合。多个坐标变换包括q从1到N的值，分别变换第n阶校正，从而产生子图像的N个变换的第n阶校正。
此外，独立地为M个子图像中的至少一些中的每个子图像，使计算装置110对子图像的N个变换的第n阶校正进行累加308、归一化和否定310，并从而产生子图像的累加的、归一化的和否定的第n阶校正。
使计算装置110对M个子图像中的至少一些的累加的、归一化的和否定的第n阶校正进行累加312，以获得累加，所述累加是第k帧的第m子图像的第(n+1)阶校正314，或者从所述累加获得第k帧的第m子图像的第(n+1)阶校正。就这一点而言，在一些示例中，M个子图像中的至少一些是全部的M个子图像。在这些实例中，使得装置递归地生成第(n+1)阶校正进一步包括使得从累加减去316第m子图像的累加的、归一化的和否定的第n阶校正318，以获得第k帧的第m子图像的第(n+1)阶校正。
从计算方面讲，递归地生成子图像的相应的第一阶和更高阶校正是高度可并行化的。如在图3中看出，将计算链(包括302-310)中的每个馈送到累加的、归一化的和否定的第n阶校正的累加312中以在图的右侧产生最终累加完全相互独立。给定适当的处理硬件，可以同时执行这些计算链中的每个。类似地，在累加所累加的、归一化的和否定的第n阶校正之后，每次从累加进行减法以获得第(n+1)阶校正也互相独立。所以，原则上这也可以并行执行。
图4示出根据本公开的一些示例实现包括抑制视频影像中的杂波的方法400的各种操作的流程图。如在方框402和404处示出，方法包括从FPA 102接收视频影像，并且将视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是视频影像的子图像。如在406处示出，方法还包括从视频影像的图像去除子图像以产生图像的杂波抑制版本。
去除子图像包括为子图像生成相应的零阶校正，并且从图像减去相应的零阶校正，如在方框408和410处示出。所述去除还包括从相应的零阶校正为子图像递归地生成相应的第一阶校正，并从图像减去相应的第一阶校正，如在方框412和414处示出。如所示出，在生成并从图像减去相应的第一阶校正之前，生成并从图像减去相应的零阶校正。方法还包括呈现图像的杂波抑制版本，如在方框416处示出。
如以上所解释，计算装置110包括一个或多个部件(诸如处理器118)中的每个的一个或多个，其一个合适的示例是FPGA。在一些示例中，针对大部分图像处理使用FPGA实现处理器，这是因为它们在许多图像处理操作方面具有极高速度。这种类型的硬件实现非常适合高速视频影像中的实时杂波抑制，但它不是唯一可能的硬件实现。实际上，可以通过各种方式实现计算装置，包括硬件、单独地或在来自计算机可读存储介质的一个或多个计算机程序的指导下。在一些示例实现中，计算装置包括并广泛使用图形处理单元(GPU)，所述图形处理单元被设计为并行处理许多坐标变换。
在一些示例中，可以提供一个或多个装置，所述装置被配置为用作或以其他方式实现在本文示出和描述的计算装置110。在涉及多于一个装置的示例中，相应装置可以以多种不同的方式(诸如经由有线或无线网络等直接地或间接地)连接到彼此或者以其他方式彼此通信。
图5更具体地示出在一些示例中可对应于计算装置110的装置500。通常，本公开的示例实现的装置可以包括、包括有一个或多个固定或便携式电子设备或者以一个或多个固定或便携式电子设备实现。合适的电子设备的示例包括智能电话、平板计算机、膝上型计算机、台式计算机、工作站计算机、服务器计算机等。装置可以包括多个部件中的每个的一个或多个，诸如连接到存储器504(例如，存储设备)的处理器502(例如，处理器118)。
处理器502通常是能够处理诸如例如数据、计算机程序和/或其他合适电子信息的信息的任何计算机硬件。处理器由电子电路的集合组成，其中电子电路中的一些可被封装为集成电路或多个互连集成电路(集成电路有时更通常地被称为“芯片”)。处理器可以被配置为执行计算机程序，所述计算机程序可被存储在处理器上或以其他方式存储在(相同或另一个装置的)存储器504中。
处理器502可以是多个处理器、多处理器核或某种其他类型的处理器，这取决于特定实现。进一步地，可以使用多个异构处理器系统实现处理器，其中主处理器在单个芯片上具有一个或多个辅助处理器。作为另一个说明性示例，处理器可以是包含相同类型的多个处理器的对称多处理器系统。在又一个示例中，处理器可被实现为或者以其他方式包括一个或多个专用集成电路(ASIC)、FPGA等。因此，尽管处理器可能够执行计算机程序以执行一个或多个功能，但是各种示例的处理器可能够在不借助于计算机程序的情况下执行一个或多个功能。
存储器504通常是能够临时和/或永久存储信息的任何计算机硬件，诸如例如数据、计算机程序(例如，计算机可读程序代码506)和/或其它合适信息的信息。存储器可以包括易失性和/或非易失性存储器，并且可以是固定的或可移除的。合适的存储器的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移动计算机磁盘、光盘、磁带或上述的某种组合。光盘可以包括光盘只读存储器(CD-ROM)、光盘读/写(CD-R/W)、DVD等。在各种情况下，存储器可以被称为计算机可读存储介质。计算机可读存储介质是能够存储信息的非暂时性设备，并且可与计算机可读传输介质(诸如能够将信息从一个位置传送到另一个位置的电子暂时信号)区分开。如本文描述的计算机可读介质通常可以指计算机可读存储介质或计算机可读传输介质。
除了存储器之外，处理器还可以连接到用于显示、传输和/或接收信息的一个或多个接口。接口可以包括通信接口508(例如，通信单元)和/或一个或多个用户接口。通信接口可被配置为传输和/或接收信息，诸如传输到和/或接收自其他装置(多个装置)、网络(多个网络)等。通信接口可被配置为通过物理(有线)和/或无线通信链路传输和/或接收信息。合适的通信接口的示例包括网络接口控制器(NIC)、无线NIC(WNIC)等。
用户接口可以包括显示器510(例如，显示器114)和/或一个或多个用户输入接口512(例如，输入/输出单元)。显示器可被配置为向用户呈现或以其他方式显示信息，所述显示器的合适示例包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示面板(PDP)等。
用户输入接口512可以是有线或无线的，并且可被配置为从用户接收信息到装置中，诸如用于处理、存储和/或显示。用户输入接口的合适示例包括麦克风、图像或视频捕获设备、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏)、生物传感器等。用户接口还可以包括一个或多个接口，用于与外围设备诸如打印机、扫描仪等进行通信。
如上所述，程序代码指令可被存储在存储器中，并且由处理器执行，以实现本文描述的系统、子系统和它们各自的元件的功能。应该理解，可以从计算机可读存储介质将任何合适的程序代码指令加载到计算机或其他可编程装置上以产生特定的机器，使得特定的机器成为用于实现本文指定的功能的装置。这些程序代码指令还可被存储在计算机可读存储介质中，所述计算机可读存储介质可以指导计算机、处理器或其他可编程装置以特定方式运行以生成特定的机器或特定的制造物品。存储在计算机可读存储介质中的指令可以产生制造物品，其中制造物品称为用于实现本文描述的功能的装置。可以从计算机可读存储介质检索程序代码指令并将其加载到计算机、处理器或其他可编程装置中，以配置计算机、处理器或其他可编程装置执行将在计算机、处理器或其他可编程装置上执行或由计算机、处理器或其他可编程装置执行的操作。
可以顺序地执行程序代码指令的检索、加载和执行，使得一次检索、加载和执行一个指令。在一些示例实现中，可以并行地执行检索、加载和/或执行，使得一起检索、加载和/或执行多个指令。程序代码指令的执行可以产生计算机实现的过程，使得由计算机、处理器或其他可编程装置执行的指令提供用于实现在本文描述的功能的操作。
通过处理器执行指令或者将指令存储在计算机可读存储介质中支持用于执行指定功能的操作的组合。以这种方式，装置500可以包括处理器502以及耦合到处理器的计算机可读存储介质或存储器504，其中处理器被配置为执行存储在存储器中的计算机可读程序代码506。还将理解的是，可以通过执行指定功能的基于专用硬件的计算机系统和/或处理器，或者专用硬件和程序代码指令的组合实现一个或多个功能以及功能的组合。
进一步地，本公开包括根据以下条款的实施例：
条款1一种用于抑制视频影像中的杂波的装置，所述装置包括：
处理器，所述处理器被配置为使得所述装置执行多个操作，包括使得所述装置至少：
从焦平面阵列接收视频影像；
将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；
从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括使得所述装置至少：
为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及
从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及
呈现所述图像的所述杂波抑制版本。
条款2根据条款1所述的装置，其中使得所述装置分解所述视频影像包括使得将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
条款3根据条款1或2所述的装置，其中，所述图像是所述视频影像的第k帧的图像，使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，并且使得所述装置生成所述相应的零阶校正包括使得为所述第k帧的所述第m子图像生成零阶校正，包括使得所述装置至少：
从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；
使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及
对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
条款4根据条款1-3中的任一项所述的装置，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中使得所述装置递归地生成所述相应的第一阶校正包括使得从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
条款5根据条款4所述的装置，其中使得所述装置为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括使得至少：
独立地为排除所述第m子图像的每个子图像：
使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及
对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及
对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
条款6根据条款1-5中的任一项所述的装置，其中使得所述装置递归地生成相应的第一阶校正包括使得为所述子图像递归地生成相应的第一阶和更高阶校正，并且使得所述装置从所述图像减去所述相应的第一阶校正包括使得从所述图像减去所述相应的第一阶和更高阶校正，以及
其中对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
条款7根据条款6所述的装置，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中使得所述装置递归地生成所述相应的第一阶和更高阶校正包括使得从所述第k帧的所述M个子图像中的至少一些的所述相应的第n阶校正为所述第k帧的所述第m子图像递归地生成第(n+1)阶校正。
条款8根据条款7所述的装置，其中使得所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正包括使得至少：
独立地为所述M个子图像中的至少一些的每个子图像：
使用多个坐标变换分别变换所述子图像的所述第n阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述第n阶校正，从而产生所述子图像的N个变换的第n阶校正；以及
对所述子图像的所述N个变换的第n阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的第n阶校正；以及
对所述M个子图像中的至少一些的所累加的、归一化的和否定的第n阶校正进行累加，以获得累加，所述累加是所述第k帧的所述第m子图像的所述第(n+1)阶校正，或者从所述累加获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
条款9根据条款8所述的装置，其中，所述M个子图像中的至少一些是全部的所述M个子图像，并且使得所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正进一步包括使得从所述累加减去所述第m子图像的所累加的、归一化的和否定的第n阶校正，以获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
条款10一种抑制视频影像中的杂波的方法，所述方法包括：
从焦平面阵列接收视频影像；
将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；
从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括：
为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及
从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及
呈现所述图像的所述杂波抑制版本。
条款11根据条款10所述的方法，其中分解所述视频影像包括使得将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
条款12根据条款10-11中的任一项所述的方法，其中，所述图像是所述视频影像的第k帧的图像，去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，并且生成所述相应的零阶校正包括使得为所述第k帧的所述第m子图像生成零阶校正，包括：
从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；
使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及
对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
条款13根据条款10-12中的任一项所述的方法，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中递归地生成所述相应的第一阶校正包括从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
条款14根据条款13所述的方法，其中为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括：
独立地为排除所述第m子图像的每个子图像：
使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及
对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及
对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
条款15根据条款10-14中的任一项所述的方法，其中递归地生成相应的第一阶校正包括为所述子图像递归地生成相应的第一阶和更高阶校正，并且从所述图像减去所述相应的第一阶校正包括从所述图像减去所述相应的第一阶和更高阶校正，以及
其中对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
条款16根据条款15所述的方法，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中递归地生成所述相应的第一阶和更高阶校正包括从所述第k帧的所述M个子图像中的至少一些的所述相应的第n阶校正为所述第k帧的所述第m子图像递归地生成第(n+1)阶校正。
条款17根据条款16所述的方法，其中为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正包括：
独立地为所述M个子图像中的至少一些的每个子图像：
使用多个坐标变换分别变换所述子图像的所述第n阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述第n阶校正，从而产生所述子图像的N个变换的第n阶校正；以及
对所述子图像的所述N个变换的第n阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的第n阶校正；以及
对所述M个子图像中的至少一些的所累加的、归一化的和否定的第n阶校正进行累加，以获得累加，所述累加是所述第k帧的所述第m子图像的所述第(n+1)阶校正，或者从所述累加获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
条款18根据条款17所述的方法，其中，所述M个子图像中的至少一些是全部的所述M个子图像，并且为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正进一步包括从所述累加减去所述第m子图像的所累加的、归一化的和否定的第n阶校正，以获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
条款19一种用于抑制视频影像中的杂波的计算机可读存储介质，所述计算机可读存储介质是非暂时性的并且具有存储在其中的计算机可读程序代码部分，所述计算机可读程序代码部分响应于处理器的执行，使得装置至少：
从焦平面阵列接收视频影像；
将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；
从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括使得所述装置至少：
为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及
从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及
呈现所述图像的所述杂波抑制版本。
条款20根据条款19所述的计算机可读存储介质，其中使得所述装置分解所述视频影像包括使得将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
条款21根据条款19-20中的任一项所述的计算机可读存储介质，其中，所述图像是所述视频影像的第k帧的图像，使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，并且使得所述装置生成所述相应的零阶校正包括使得为所述第k帧的所述第m子图像生成零阶校正，包括使得所述装置至少：
从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；
使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及
对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
条款22根据条款19-21中的任一项所述的计算机可读存储介质，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中使得所述装置递归地生成所述相应的第一阶校正包括使得从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
条款23根据条款22所述的计算机可读存储介质，其中使得所述装置为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括使得至少：
独立地为排除所述第m子图像的每个子图像：
使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及
对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及
对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
条款24根据条款19-23中的任一项所述的计算机可读存储介质，其中使得所述装置递归地生成相应的第一阶校正包括使得为所述子图像递归地生成相应的第一阶和更高阶校正，并且使得所述装置从所述图像减去所述相应的第一阶校正包括使得从所述图像减去所述相应的第一阶和更高阶校正，以及
其中对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
条款25根据条款24所述的计算机可读存储介质，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使得所述装置去除所述子图像包括使得从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中使得所述装置递归地生成所述相应的第一阶和更高阶校正包括使得从所述第k帧的所述M个子图像中的至少一些的所述相应的第n阶校正为所述第k帧的所述第m子图像递归地生成第(n+1)阶校正。
条款26根据条款25所述的计算机可读存储介质，其中使得所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正包括使得至少：
独立地为所述M个子图像中的至少一些的每个子图像：
使用多个坐标变换分别变换所述子图像的所述第n阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述第n阶校正，从而产生所述子图像的N个变换的第n阶校正；以及
对所述子图像的所述N个变换的第n阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的第n阶校正；以及
对所述M个子图像中的至少一些的所累加的、归一化的和否定的第n阶校正进行累加，以获得累加，所述累加是所述第k帧的所述第m子图像的所述第(n+1)阶校正，或者从所述累加获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
条款27根据条款26所述的计算机可读存储介质，其中，所述M个子图像中的至少一些是全部的所述M个子图像，并且使得所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正进一步包括使得从所述累加减去所述第m子图像的所累加的、归一化的和否定的第n阶校正，以获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
受益于前述说明书和相关附图中呈现的教导的本公开所属领域的技术人员将想到本文阐述的本公开的许多修改和其他实现。因此，应该理解是，本公开不限于所公开的具体实现，并且修改和其他实现旨在被包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实现，但应当理解，可在不脱离所附权利要求范围的情况下通过替代实施来提供元件和/或功能的不同组合。就这一点而言，例如，还可以考虑不同于以上明确描述的那些的元件和/或功能的组合，如可在所附权利要求的一些中阐述的。尽管在本文使用了特定术语，但它们仅在概括和描述意义上而非出于限制目的被使用。

Claims (15)

1.一种用于抑制视频影像中的杂波的装置，所述装置包括：
处理器，所述处理器被配置为使所述装置执行多个操作，包括使所述装置至少：
从焦平面阵列接收视频影像；
将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；
从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括使所述装置至少：
为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及
从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中，在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及
呈现所述图像的所述杂波抑制版本。
2.根据权利要求1所述的装置，其中，使所述装置分解所述视频影像包括使所述装置将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
3.根据权利要求1或2所述的装置，其中，所述图像是所述视频影像的第k帧的图像，使所述装置去除所述子图像包括使所述装置从所述第k帧的图像去除包括第m子图像的所述子图像，并且使所述装置生成所述相应的零阶校正包括使所述装置为所述第k帧的所述第m子图像生成零阶校正，包括使所述装置至少：
从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；
使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及
对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
4.根据权利要求1或2所述的装置，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使所述装置去除所述子图像包括使所述装置从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中，使所述装置递归地生成所述相应的第一阶校正包括使所述装置从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
5.根据权利要求4所述的装置，其中，使所述装置为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括使所述装置至少：
独立地为排除所述第m子图像的每个子图像：
使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及
对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及
对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
6.根据权利要求1或2所述的装置，其中，使所述装置递归地生成相应的第一阶校正包括使所述装置为所述子图像递归地生成相应的第一阶和更高阶校正，并且使所述装置从所述图像减去所述相应的第一阶校正包括使所述装置从所述图像减去所述相应的第一阶和更高阶校正，以及
其中，对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
7.根据权利要求6所述的装置，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且使所述装置去除所述子图像包括使所述装置从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中，使所述装置递归地生成所述相应的第一阶和更高阶校正包括使所述装置从所述第k帧的所述M个子图像中的至少一些的所述相应的第n阶校正为所述第k帧的所述第m子图像递归地生成第(n+1)阶校正。
8.根据权利要求7所述的装置，其中，使所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正包括使所述装置至少：
独立地为所述M个子图像中的至少一些的每个子图像：
使用多个坐标变换分别变换所述子图像的所述第n阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述第n阶校正，从而产生所述子图像的N个变换的第n阶校正；以及
对所述子图像的所述N个变换的第n阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的第n阶校正；以及
对所述M个子图像中的至少一些的所累加的、归一化的和否定的第n阶校正进行累加，以获得累加，所述累加是所述第k帧的所述第m子图像的所述第(n+1)阶校正，或者从所述累加获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
9.根据权利要求8所述的装置，其中，所述M个子图像中的至少一些是全部的所述M个子图像，并且使所述装置为所述第k帧的所述第m子图像递归地生成所述第(n+1)阶校正进一步包括使所述装置从所述累加减去所述第m子图像的所累加的、归一化的和否定的第n阶校正，以获得所述第k帧的所述第m子图像的所述第(n+1)阶校正。
10.一种抑制视频影像中的杂波的方法，所述方法包括：
从焦平面阵列接收视频影像；
将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图是所述视频影像的子图像；
从所述视频影像的图像去除所述子图像以产生所述图像的杂波抑制版本，包括：
为所述子图像生成相应的零阶校正，并从所述图像减去所述相应的零阶校正；以及
从所述相应的零阶校正为所述子图像递归地生成相应的第一阶校正，并且从所述图像减去所述相应的第一阶校正，其中，在生成并从所述图像减去所述相应的第一阶校正之前，生成并从所述图像减去所述相应的零阶校正；以及
呈现所述图像的所述杂波抑制版本。
11.根据权利要求10所述的方法，其中，分解所述视频影像包括将所述视频影像分解成对应于杂波图的独立移动坐标变换，所述杂波图中的一个是与所述焦平面阵列关联的固定图案噪声。
12.根据权利要求10或11所述的方法，其中，所述图像是所述视频影像的第k帧的图像，去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，并且生成所述相应的零阶校正包括为所述第k帧的所述第m子图像生成零阶校正，包括：
从直到并包括所述第k帧的所述视频影像的N个连续帧的N个连续图像中的每个去除DC分量，并从而产生N个连续的DC去除的图像；
使用所述第m子图像从所述N个连续帧到所述第k帧的相应坐标变换来变换所述N个连续的DC去除的图像，并从而产生N个变换图像；以及
对所述N个变换图像进行累加和归一化以获得所述第k帧的所述第m子图像的所述零阶校正。
13.根据权利要求10或11所述的方法，其中，所述子图像是M个子图像，所述图像是所述视频影像的第k帧的图像，并且去除所述子图像包括从所述第k帧的图像去除包括第m子图像的所述子图像，以及
其中，递归地生成所述相应的第一阶校正包括从所述第k帧的所有M个子图像的所述相应的零阶校正为所述第k帧的所述第m子图像递归地生成第一阶校正。
14.根据权利要求13所述的方法，其中，为所述第k帧的所述第m子图像递归地生成所述第一阶校正包括：
独立地为排除所述第m子图像的每个子图像：
使用多个坐标变换分别变换所述子图像的所述零阶校正，所述坐标变换中的每个是所述子图像从所述视频影像的N个连续帧的第k帧到所述N个连续帧的第q帧的坐标变换以及所述第m子图像从所述第q帧到所述第k帧的坐标变换的组合，所述多个坐标变换包括q从1到N的值，分别变换所述零阶校正，从而产生所述子图像的N个变换的零阶校正；以及
对所述子图像的所述N个变换的零阶校正进行累加、归一化和否定，并从而产生所述子图像的累加的、归一化的和否定的零阶校正；以及
对排除所述第m子图像的所述M个子图像的所累加的、归一化的和否定的零阶校正进行累加，以获得所述第k帧的所述第m子图像的所述第一阶校正。
15.根据权利要求10或11所述的方法，其中，递归地生成相应的第一阶校正包括为所述子图像递归地生成相应的第一阶和更高阶校正，并且从所述图像减去所述相应的第一阶校正包括从所述图像减去所述相应的第一阶和更高阶校正，以及
其中，对于n≥0，从相应的第n阶校正生成相应的第(n+1)阶校正，并且在生成并从所述图像减去所述相应的第(n+1)阶校正之前，生成并从所述图像减去所述相应的第n阶校正。
CN201810804758.9A 2017-07-21 2018-07-20 用于抑制视频影像中的杂波的装置和方法 Active CN109286761B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/656,808 US10438326B2 (en) 2017-07-21 2017-07-21 Recursive suppression of clutter in video imagery
US15/656,808 2017-07-21

Publications (2)

Publication Number Publication Date
CN109286761A true CN109286761A (zh) 2019-01-29
CN109286761B CN109286761B (zh) 2021-07-23

Family

ID=62909346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810804758.9A Active CN109286761B (zh) 2017-07-21 2018-07-20 用于抑制视频影像中的杂波的装置和方法

Country Status (4)

Country Link
US (1) US10438326B2 (zh)
EP (1) EP3432258B1 (zh)
JP (1) JP7128671B2 (zh)
CN (1) CN109286761B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780272B (zh) * 2019-10-29 2023-06-30 西安电子科技大学 一种颠簸平台sar的非参数化成对回波抑制方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6024476A (ja) * 1983-07-21 1985-02-07 Nec Corp レ−ダ装置
US5341142A (en) * 1987-07-24 1994-08-23 Northrop Grumman Corporation Target acquisition and tracking system
US5317395A (en) * 1993-03-31 1994-05-31 The United States Of America As Represented By The Secretary Of The Army Focal plane array dual processing system and technique
US5400161A (en) 1993-10-04 1995-03-21 Raytheon Company Optical system including focus-defocus focal plane array compensation technique using liquid crystal phased array
EP0698777B1 (en) 1994-07-22 2002-02-20 Hughes Electronics Corporation Satellite focal plane array imager
US5894323A (en) 1996-03-22 1999-04-13 Tasc, Inc, Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data
US5798786A (en) 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
US6108032A (en) 1996-11-05 2000-08-22 Lockheed Martin Fairchild Systems System and method for image motion compensation of a CCD image sensor
DE69739272D1 (de) 1996-11-05 2009-04-02 Bae Systems Information Vorrichtung zur elektro-optischen fernerkundung mit bewegungskompensation
JP2930051B2 (ja) * 1997-04-15 1999-08-03 日本電気株式会社 レーダビデオ信号処理装置
US5903659A (en) * 1997-04-17 1999-05-11 Raytheon Company Adaptive non-uniformity compensation algorithm
US6714240B1 (en) * 1998-06-23 2004-03-30 Boeing North American, Inc. Optical sensor employing motion compensated integration-device and process
US6211515B1 (en) 1998-10-19 2001-04-03 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and wavelet filter
JP3855796B2 (ja) * 2002-02-25 2006-12-13 三菱電機株式会社 映像補正装置
US8553113B2 (en) 2003-08-20 2013-10-08 At&T Intellectual Property I, L.P. Digital image capturing system and method
US7742077B2 (en) 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
CA2616871A1 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
FR2882160B1 (fr) 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
US7656428B2 (en) 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
US9298014B2 (en) 2005-07-01 2016-03-29 Flir Systems, Inc. Image stabilization system
US7907278B1 (en) * 2006-11-06 2011-03-15 Lowell Williams Staring imaging grating spectrometer for detection of projectiles
US20080118104A1 (en) 2006-11-22 2008-05-22 Honeywell International Inc. High fidelity target identification and acquisition through image stabilization and image size regulation
JP5889324B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8611600B2 (en) * 2011-10-12 2013-12-17 Raytheon Company Three-frame difference moving target acquisition system and method for target track identification
US9402028B2 (en) 2012-03-15 2016-07-26 Honeywell International Inc. Image stabilization and tracking system
EP2873058B1 (en) * 2012-07-16 2016-12-21 Flir Systems, Inc. Methods and systems for suppressing noise in images
US9646388B2 (en) 2015-01-09 2017-05-09 The Boeing Company Integrated image distortion correction with motion compensated integration
JP6598660B2 (ja) * 2015-12-01 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US10438326B2 (en) 2019-10-08
EP3432258A1 (en) 2019-01-23
EP3432258B1 (en) 2020-02-19
JP7128671B2 (ja) 2022-08-31
JP2019032824A (ja) 2019-02-28
US20190026868A1 (en) 2019-01-24
CN109286761B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
US10408918B2 (en) Sky polarization and sun sensor system and method
Remondino et al. TOF range-imaging cameras
Förstner Reliability analysis of parameter estimation in linear models with applications to mensuration problems in computer vision
CN109285124A (zh) 相对于视频影像中的前景目标抑制背景杂波的装置和方法
KR20110120317A (ko) 3ｄ 포인트 클라우드 데이터를 2ｄ 전자광학 영상 데이터로 등록
WO2017213769A1 (en) Geometric matching in visual navigation systems
US9900581B2 (en) Parametric online calibration and compensation in ToF imaging
US10295657B2 (en) Time of flight-based systems operable for ambient light and distance or proximity measurements
US20160334509A1 (en) Structured-light based multipath cancellation in tof imaging
DE102019201522A1 (de) Kompensation einer Verzerrung in einem elektromagnetischen Verfolgungssystem
JP2013008364A (ja) 画像の表示
US20160350936A1 (en) Methods and Systems for Detecting Moving Objects in a Sequence of Image Frames Produced by Sensors with Inconsistent Gain, Offset, and Dead Pixels
US10798522B1 (en) Method and system for container location analysis
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
Fawcett et al. Two decades of digital photogrammetry: Revisiting Chandler’s 1999 paper on “Effective application of automated digital photogrammetry for geomorphological research”–a synthesis
Marin et al. Design and simulation of a high-speed star tracker for direct optical feedback control in ADCS
CN109286761A (zh) 用于抑制视频影像中的杂波的装置和方法
Wittman et al. Ubercalibration of the Deep Lens Survey
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
CN109470269B (zh) 空间目标测量机构的标定方法、标定设备及标定系统
CN117506919B (zh) 一种手眼标定方法、装置、终端设备及存储介质
CN113962876B (zh) 一种像素畸变的校正方法、校正装置及终端
US11686828B2 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
US20230258810A1 (en) Enhancing depth estimation with brightness image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant