CN103460223B - 波长差异的闪烁减少 - Google Patents

Abstract

多个系统，包括用于获取和/或校正特别是由于大气失真和/或其他失真的图像的装置和方法。这些校正可以包括：采集对应同一场景在不同波长范围的图像的两组或多于两组的图像数据，并且利用波长与期望的失真之间的相关性来区分由于失真引起的视在图像运动与由于对象或场景移动引起的视在图像运动；以及其他操作。这些系统在任何适当的成像环境中都是有用的，这些成像环境包括导航、定位、搜索和救援、执法、商业摄像机和/或监控等等。

Description

波长差异的闪烁减少

相关申请的交叉引用

本申请基于在2011年2月10日提交的序列号为61/441,609的美国临时专利申请，并且根据美国法典第35条第§119(e)款要求其利益，出于全部目的将该申请通过引用全部并入本文。

引言

光学系统可能用于形成和/或记录物体和/或场景的图像。不幸的是，当光学系统基于已经通过介质的图像数据获取图像时，获得的图像一般将会被介质和被光学系统自身的部件扭曲。例如，使用望远镜或其他的远距离成像系统观察到的物体的图像可能被大气影响（如，闪烁、对流、湍流、散射和不同的大气折射率、以及其他的能够在传入的波前等部分中诱发空间和时间的干扰）扭曲和被仪器的机械的、温度的以及光学的限制（如，视场焦距之外的部分导致的路径长度误差、在受物镜孔径影响的空间频率的采集上的限制、物镜中未校正的相差、支撑设备所产生的镜面变形、等等）扭曲。这些失真发生在，例如，当地基望远镜（或其他成像仪器）获取地面上、天空中、或太空中的物体的图像时，以及当在航空器或卫星中的机载或太空望远镜（或其他成像仪器）获取地球大气内的比如地球表面上或近地球表面的物体的图像时。这也可能发生在成像系统和所要成像的物体被地球大气的一部分，主要是水平地分隔，或既水平分隔又垂直分隔的情况中。

大气失真的影响能显著限制图像分辨率。例如，在正直向上观测的高海拔的天文观测站，大气失真能将最佳的“观测条件”限制在大约一个微弧度。对于典型的用于摄像机和光电系统的低海拔和近地平线的可视场景，限制的分辨率变得迅速恶化。

已经开发了各种方法来减轻或消除图像失真的影响。这些方法通常依赖于获取所需的成像数据所在的波长范围内的正确信息。例如，可见图像数据被用于校正可见图像，而红外线图像数据被用于校正红外线图像。然而，使用多光谱图像的计算校正具有之前尚未被发现的优点。

当试图校正闪烁时，与已知图像校正技术相关的缺点可能特别明显。闪烁（或闪光）是从物体接收到的光（如，光的强度）的变化。闪烁一般在本质上是周期性的，具有典型的几秒钟的周期，且用于消除闪烁的许多现有技术依赖于在至少一个完整的周期上的整合运动积分动作（integratingmotion）。因此，用于校正闪烁的现有算法通常在产生校正的图像时导致较大的时延。这些算法也具有不希望的模糊或涂抹移动物体的后果。对于任何安装在像航空器或地面交通工具一样的移动平台上的系统，或对于在系统中实时或接近实时地观察图像是重要的任何其他系统而言，这是不希望的。在这些情况中，需要消除、或至少减轻，包括闪烁在内的大气失真影响的有效而实用的装置。

概述

本发明（teaching）提供包括装置的系统和方法，所述装置和方法用于获取图像和/或校正图像，特别是校正从闪烁和/或其他扰动（turbulence）引起的失真的图像。这些校正包括：采集对应于相同场景在不同波长范围的图像的两组或多于两组的图像数据，且使用波长与预期的失真之间的相关性来区分由于失真引起的视在图像运动和由于物体或场景移动引起的视在图像运动；以及其他操作。这些系统在任何合适的成像环境中都是有用的，所述成像环境包括导航、定位、搜索和救援、执法，和/或监控，等等。

附图简述

图1是描述根据本发明的方面的图像校正系统的第一个示例性的实施方式的示意图。

图2是描述根据本发明的方面的校正图像的第一个示例性的方法的流程图。

图3是描述根据本发明的方面的图像校正系统的第二个示例性的实施方式的示意图。

图4是描述根据本发明的方面的校正图像的第二个示例性的方法的流程图。

图5是装配有根据本发明的方面的图像校正系统的示例性的支撑平台（即，直升机）的视图。

定义

用于本公开的技术术语具有被本领域的技术人员所通常理解的意义。然而，如下所述，下面的术语可能具有其他的意义。在这些意义中定义的波长范围是示例性的，而不是限制，且根据资源或背景，可能略有重叠。波长范围介于大约1nm与大约1mm之间，其包括紫外线、可见光和红外线辐射，并且该波长范围位于x射线辐射和微波辐射之内，可以共同被称为光辐射。

紫外线辐射。正常人的眼睛不可见的电磁辐射，具有的波长从仅比x射线辐射长的，大约100nm到仅比可见光谱中的紫色光短的，大约400nm。紫外线辐射包括（A）UV-C（从大约100nm到大约280或290nm）；（B）UV-B（从大约280或290nm到大约315或320nm）；以及（C）UV-A（从大约315或320nm到大约400nm）。

可见光。正常人的眼睛可见的电磁辐射，具有的波长从仅比紫外线辐射长的，大约360或400纳米到仅比红外线辐射短的，大约760到800纳米。可见光一般可以被人类肉眼成像和发现，且包括紫色（大约390-425nm）、靛蓝色（大约425-445nm）、蓝色（大约445-500nm）、绿色（大约500-575nm）、黄色（大约575-585nm）、橙色（大约585-620nm）和红色（大约620-740nm）的光、等等。

红外线（IR）辐射。正常人的眼睛不可见的电磁辐射，具有的波长从仅比可见光谱中红光长的，大约700或800纳米到仅比微波辐射短的，大约1毫米。红外线辐射包括（A）IR-A（从大约700nm到大约1,400nm）；（B）IR-B（从大约1,400nm到大约3,000nm）；以及（C）IR-C（从大约3,000nm到大约1mm）。IR辐射，特别是IR-C，可以由热量引起或生成，而且可以由物体以与其温度和发射率成比例地发射。具有在大约3,000和5,000nm之间（即，在大约3和5μm之间）和在大约7,000或8,000和14,000nm之间（即，在大约7或8和14μm之间）的波长的部分红外线范围，可能特别有益于热成像，因为它们对应大气吸收中的最小量，而且这样更容易被探测到（特别是在远处的情况）。对相对较短的波长IR辐射的特殊兴趣导致下列分类：（A）近红外线（NIR）（从大约780nm到大约1,000nm（1μm））；（B）短波红外线（SWIR）（从大约1,000nm（1μm）到大约3,000nm（3μm））；（C）中波红外线（MWIR）（从大约3,000nm（3μm）到大约8,000nm（8μm）、或大约3μm到5μm）；（D）长波红外线（LWIR）（从大约6,000nm（6μm）到大约15,000nm（15μm），或大约8μm到12μm）；（E）甚长波红外线（VLWIR）或远红外线（FIR）（从大约15,000nm（15μm）到大约1mm）。部分红外线范围，特别是具有在大约0.1和1mm之间的波长的远IR或热IR的部分，可以可选地或另外地，被称为毫米波（MMW）波长。

相机。单独使用或与输入光学器件组合使用的图像传感器，所述光学器件将入射辐射传送给传感器。相机可以根据探测到的波长波段进行描述，如果还有任何的输入光学器件，还由传感器的光谱灵敏度和光谱选择性的组合来确定。例如，每个相机可能是，主要或专门探测可见光的可见光相机、主要或专门探测紫外线辐射的紫外线相机、或者主要或专门探测红外线辐射的红外线相机。如果是红外线相机，那么该相机可能是主要或专门探测SWIR的短波红外线相机、主要或专门探测MWIR的中波红外线相机、主要或专门探测LWIR的长波红外线相机、或其组合（如，MWIR/LWIR相机）、等等。

详细描述

本发明关于包括装置的系统和方法，用于获取图像和/或校正图像，特别是校正由于扰动引起的波前错误和失真的图像。如本文所应用的，获取图像可以包括光学形成复件、副本、和/或物体或场景的其他的形式的复制品，尤其是采用反光镜（反射式光学器件）和/或透镜（折射光学器件）。复件、副本、和/或复制品，可能以模拟的或数字的格式轮流被探测到，尤其是采用模拟的（如，胶片）和/或数字的（如，电荷耦合器、焦平面阵列）记录机制。如本文应用的，校正图像可能包括通过分析在时间上分离的图像帧中和/或两个或更多波长范围中的图像数据来确定校正的信息；识别对应于移动物体的输入图像数据中的区域；且然后消除扰动引起的失真以生成校正的输出图像。根据本发明的图像校正一般将实时或大体上实时执行，虽然也可能利用本发明实施后续处理。

如下文更详细描述的，本发明可能包括应用单个的多光谱传感器或对不同波长范围中的辐射敏感的多个传感器。在多个传感器的情况中，第一个传感器可能对相对较短的波长（如可见光、等等）敏感，而第二个传感器可能对相对较长的波长（如红外线和/或毫米波波长、等等）敏感。另外，两个传感器可能对可见光谱的不同部分或红外线光谱的不同部分敏感。而且，本发明可能包括能够感应在两个或多个波长范围中的辐射的多光谱相机的使用。例如，适合与本发明一同使用的多光谱相机可能对红外线光谱的两个不同部分敏感（比如，中波红外线辐射和长波红外线辐射），或者对部分或整个的可见光谱和/或红外线辐射光谱敏感。

各种传感器的组合也被本发明所考虑。例如，多光谱传感器可以被配置为捕获可见光谱的红色、绿色和蓝色部分中的可见光，而根据本发明，这个传感器可以被单独使用，或结合一个或多个被配置成捕获像SWIR、MWIR、或LWIR辐射的红外线光谱部分的传感器来使用。

无论使用了多少传感器，本发明考虑在两个或多于两个的波长范围中感知图像数据，并且比较视在运动（视在运动可能包括线性的或非线性的移动）和/或不同波长范围中的图像中的物体的一阶或顶端/倾斜（tip/tilt）相位失真。因为对应于像闪烁这样的失真的视在运动预计将依赖于波长，而对应于实际物体运动的视在运动预计将不依赖于波长，所以这就使得失真导致的视在运动被部分地或整个地识别且被从图像数据中消除，同时保留实际物体或场景移动。更具体的是，大气失真通常随着波长的增加而减弱。这使得相对于传感器的实际物体运动将被估计出并且从由大气影响引起的视在的对象的移动中分离出来。类似地，相位失真预计将以一种可以预测的方式依赖于波长。因此，可以生成实质上仅响应传感器视场内的实际物体和物体运动而生成校正的图像。

根据本发明，失真效应的波长依赖性可能结合所捕获的图像数据的任何组合或子组合被用于识别和消除失真。此外，所分析的失真效应可能包括各种效应，包括依赖于波长的平移失真、依赖于波长的旋转波前失真（如顶端/倾斜）和/或依赖于波长的相位失真。即使用于识别失真区域的失真效应在原始图像数据中其本身是不可见的，失真效应的任何组合仍然可以被用于解析和消除可见图像失真。如下是被本发明所考虑的技术的通用数学描述。

A.直接识别失真导致的移动

本发明考虑直接识别并消除闪烁导致的移动。在两个波长观察移动的情况中，用符号t表示真实的物体或场景的移动，用符号s表示名义上的（nominal）闪烁移动，且用符号m表示测量到的移动，在波长λ1和λ2测量到的移动可以通过方程描述：

m₁＝f(λ₁,s)+t（1）

m₂＝f(λ₂,s)+t（2）

其中，函数f将闪烁移动与波长联系起来。这个方程组提供带有两个未知数s和t的两个方程，而且这样可以解析求解（在某些情况）或计算求解闪烁移动s。在三个或多于三个波长观察移动的情况中，最小二乘或其他的适当的优化方法可以被用来求解闪烁移动。在所有情况中，输入的图像数据然后可以被校正以从图像中消除闪烁部分f(λ₁,s)，保留未受影响的真实的场景移动。

B.通过相位失真识别图像失真

本发明还考虑使用在多个波长的聚焦图像中观察到的图像的相位失真来识别和消除可见光的图像失真。被像地球的大气一样的介质，和/或被成像系统的各种光学部件扭曲的图像的校正，一般能够使用解卷积的数学原理来完成。这个原理源于对于任意三维物体，光学成像系统产生的图像密度分布i(x,y,z)是物体密度分布o(x,y,z)与描述理论上的点光源的模糊的点扩展函数（PSF）s(x,y,z)的卷积的概念：

$i(x,y,z)=\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dx}}^{\′}\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dy}}^{\′}\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dz}}^{\′}o(x^{\′},y^{\′},z^{\′})s(x-x^{\′},y-y^{\′},z-z^{\′})\≡o(x,y,z)\⊗s(x,y,z)$

（三维情形）（3）

其中被称为卷积运算符。PSF描述当光传播于物体和图像之间时，光是如何由于衍射和其他失真的影响而被介质和/或成像系统扩散或模糊的。相同的关系适用于二维（即，平面）和一维物体（即，线性），但是卷积方程采用更简单的形式：

$i(x,y)=\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dx}}^{\′}\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dy}}^{\′}o(x^{\′},y^{\′})s(x-x^{\′},y-y^{\′})\≡o(x,y)\⊗s(x,y)$ （二维情形）（4）

$i\left(x\right)=\underset{-\∞}{\overset{\∞}{\∫}}{\mathrm{dx}}^{\′}o\left(x^{\′}\right)s(x-x^{\′})\≡o\left(x\right)\⊗s\left(x\right)$ （一维情形）。（5）

为简单起见，在本公开中，以下空间依赖性一般将从方程中省略；例如，卷积运算将被写成：

$i=o\⊗s,---\left(6\right)$

而不考虑空间维度的数目（或在其表示中使用的坐标系统）。

解卷积的目的是，从测量到的图像密度分布函数i，提取描述物体中的实际密度分布的物体密度分布函数o，如上所述，所述测量到的图像密度分布函数i可能被环境和/或仪器因素减弱。卷积的数学原理认为两个函数的卷积的傅立叶变换是函数的傅立叶变换的普通乘积，即：

$\mathrm{\Γ}(f\⊗g)=\mathrm{\Γ}\left(f\right)\mathrm{\Γ}\left(g\right),---\left(7\right)$

其中Γ是傅立叶变换运算符，在一维中（利用适当的扩展至更高的维数）由下面的公式定义：

$\mathrm{\Γ}\left(f\left(x\right)\right)=F\left(\mathrm{\ω}\right)=\frac{1}{\sqrt{2\mathrm{\π}}}\underset{-\∞}{\overset{\∞}{\∫}}f\left(x\right)e^{-\mathrm{i\ωx}}\mathrm{dx}.---\left(8\right)$

这个数学简化的结果是，解卷积通常在傅立叶（或频率）空间进行。PSF的傅立叶变换，即，

Γ(s(x))＝s(ω)，（9）

某些时候被称为光学传递函数（OTF）。

以上描述可以略做修改以用于像检测器阵列这样的离散系统。在这种情况中，上面的方程（6）能够被如下表示：

$i\left(x\right)=\underset{x^{\′}\∈\mathrm{\χ}}{\mathrm{\Σ}}o\left(x^{\′}\right)s(x-x^{\′})\≡o\left(x\right)\⊗s_k\left(x\right)---\left(10\right)$

其中o仍是物体密度分布，sk是具有差异（diversity）k的PSF，ik是第k个差异图像（diversityimage），而x是空间坐标。如果物体、多个PSF、和图像被认为是N×N大小的阵列，那么方程（10）的域被描述成集合

χ＝{0,1，...，N-1}x{0,1,...,N-1}。（11）

依赖于波长的相位差异能够通过考虑脉冲响应函数h(x)和其傅立叶变换而被引入，其中h(x)与点扩散函数s(x)的实部相关：

s_k(x)≡|h_k(x)|²。（12）

复数函数h(x)的傅立叶变换被认为是广义光瞳函数，且与h(x)成一般形式的关系，即，

$\mathrm{\Γ}\left(h\left(x\right)\right)=H\left(\mathrm{\ω}\right)=\frac{1}{\sqrt{2\mathrm{\π}}}\underset{-\∞}{\overset{\∞}{\∫}}h\left(x\right)e^{-\mathrm{i\ωx}}\mathrm{dx},---\left(13\right)$

${\mathrm{\Γ}}^{-1}\left(H\left(\mathrm{\ω}\right)\right)=h\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}}\underset{-\∞}{\overset{\∞}{\∫}}H\left(\mathrm{\ω}\right)e^{\mathrm{i\ωx}}\mathrm{dx}.---\left(14\right)$

在离散系统的情况中，方程（14）可以被重新写成：

$h_k\left(x\right)=\frac{1}{N^2}\underset{u=\mathrm{\&chi;}}{\mathrm{\&Sigma;}}{H}_k\left(u\right)\exp (i2\mathrm{\&pi;}<u,x>/n).---\left(15\right)$

其中<u,x>表示内积。复数广义光瞳函数H可以用依赖波长和不依赖波长的相位分量表示：

$H_k\left(x\right)=\left|H_k\left(x\right)\right|\exp [-i2\mathrm{\&pi;}{\mathrm{\&Sigma;}}_j(\frac{{\mathrm{\&omega;}}_j}{{\mathrm{\&lambda;}}_k}+{\mathrm{\&phi;}}_j)Z_j].---\left(16\right)$

其中ω/λ_k是依赖波长的相位部分，φ是不依赖波长的相位部分，并且Z_j是编号为j的泽尼克基多项式。换而言之，复数图像H_k(x)的角度部分D_k可以被看作是每个波长上的相位失真，且可以由加权的泽尼克基函数Z的总和来表示：

$D_k=\exp [-i2\mathrm{\&pi;}{\mathrm{\&Sigma;}}_j(\frac{{\mathrm{\&omega;}}_j}{{\mathrm{\&lambda;}}_k}+{\mathrm{\&phi;}}_j)Z_j].---\left(17\right)$

用泽尼克基函数来表示D_k的一个原因是，在泽尼克多项式基中，扰动主要与低阶基函数相关。特别是，顶端/倾斜（闪烁）与一阶泽尼克多项式（在圆柱坐标系中）Z=2ρsinθ,2ρcosθ相关，然而散焦（模糊）与二阶泽尼克多项式相关。因此，如果能发现相应的泽尼克系数，那么复数图像的不依赖波长的失真φ_j可以从优化结束时的校正中消除以恢复每个波段λ_k的场景O_k(x)。

例如，如果具有故意产生的、通常是已知散焦量的相位失真的图像被捕获，那么根据两个同时捕获的相位差异的图像可以确定图像散焦（模糊）。这对应于确定上面方程（17）中的二阶泽尼克多项式。在J.Opt.Soc.Am.A的第9期的1072页到1085页（1992年7月）中的Waxman等人所著的“JointEstimationofObjectandAberrationsbyUsingPhaseDiversity”中和授予Miller等人的美国专利号为7,515,767的专利中，阐述了以这种方式校正图像模糊的方法的更多细节。这两个参考文献在此都以引用的方式被整个地并入本公开。

根据本发明，也可以同时、但是以不同的波长或不同的波长范围捕获两个或多于两个的图像。然而，本发明并不涉及故意模糊任何图像以确定整体图像散焦，而是考虑捕获所有的聚焦图像。每个捕获的、聚焦的图像可以被独立地分析，以确定对应上面的方程（17）中定义的复数广义光瞳函数H_k(x)的角度部分D_k。然后，利用已知的或假定的波长与预计的相位失真间的关系，方程（17）可以对相应的一阶泽尼克函数求解，以确定顶端/倾斜失真。这个过程可以被视作是在另外两个波长上同时求解方程（17）的多个版本，以确定在每个不同波长上的一阶泽尼克函数对方程（17）的贡献。

上述方法不同于现有技术的解卷积方法，如之前提到的Waxman等人和Miller等人的方法，因为那些现有技术方法在每个相位差异图像中捕获同样的顶端/倾斜失真，从而不提供从真实场景图像中分离这类失真的基础。通过捕获不同波长的聚焦图像，本发明在不同图像中捕获不同量的顶端/倾斜失真，从而允许从捕获的图像中估计并分离顶端/倾斜失真（以及闪烁失真）。

C.支撑平台

根据本公开的各方面的图像校正系统可以包括由支撑平台支撑的转动架单元（turretunit）。如本文所使用的支撑平台，一般是指任何用于容纳、承载，和/或呈现转动架单元及其有效载荷的装置。支撑平台可以是移动的、可移动但固定的、或相对于地球是固定的，且可以被布置在地面上、天空中或太空中、或水面上和/或水中，等等。在任何情况中，支撑平台可以被选择为补充转动架单元且特别是其有效载荷的功能。

支撑平台可以像带动力或不带动力的交通工具一样是可移动的。示例性的交通工具包括地面交通工具（如，汽车、卡车、摩托车、坦克、等等）、船只（如，船、潜艇、运输船、等等）、航空器或机载设备（如，固定翼有人驾驶航空器、无人驾驶遥控航空器、直升机、靶机、导弹、飞艇、航空气球、火箭、等等）、诸如此类。

支撑平台可以是位置固定的。示例性的固定的支撑平台可以包括建筑、瞭望塔、围栏、和/或观测平台、等等。在某些实施方式中，支撑平台可以是临时固定的活动支架，像盘旋的直升飞机、和/或停放的汽车、卡车、或摩托车、等等。

带有移动的、临时固定的、或固定的支撑平台的万向节（gimbal）系统可以用于任何适合的应用。万向节系统的示例性应用包括导航、定位、搜索和救援、执法、消防、部队保护、和/或监视、等等。

D.示例

下面的示例提供了这个通用的图像校正方法的具体实施方式的其他细节。这些示例仅仅是为了说明，而不是要限制或定义本发明的全部范围。示例1：使用多个传感器的失真的确定

这个示例阐述了使用多个传感器直接确定移动的示例性的系统和方法；见图1和图2。

根据本发明的各个方面，图1描绘了图像校正系统的第一个示例性的实施方式，总体上用10表示。系统10包括两个传感器12、14，这两个传感器能够共同感应两个各自的波长范围或波段的图像数据。系统10还包括处理器15，该处理器15接收由传感器12、14采集的图像数据并且执行根据本发明的图像校正功能。在其他适当的配置中，该过程可以包括或采用用于执行图像校正功能的第一、第二和第三处理器功能块16、18、20。系统10还可以包括显示器和/或其他的输出设备22，所述显示器和/或其他输出设备22被配置成显示和/或以其他方式使用校正的图像、图像序列，和/或视频流。

传感器12、14一般将是某种类型的数码相机，适合用于在两个或多于两个的波长范围中或至少在第一波长和第二波长上感应和采集图像数据。因此，每个传感器12、14可能包括对一个或多个特定波长范围中的辐射敏感的焦平面阵列。例如，传感器12可能对可见光敏感（像红色、绿色、和/或蓝色可见光），而传感器14可能对部分红外光谱内的辐射敏感，像近红外线辐射（NIR）、短波红外线辐射（SWIR）、中波红外线辐射（MWIR）、和/或长波长红外线辐射（LWIR）。另外，传感器12可能对红外线光谱的第一部分的辐射敏感，而传感器14可能对红外线光谱的第二部分的辐射敏感。在这种情况中，各种敏感性的组合可能分别用于传感器12和14，像MWIR和LWIR、SWIR和MWIR、SWIR和LWIR、NIR和SWIR、NIR和MWIR、或NIR和LWIR。任何这种组合均被本发明所考虑到。

系统10可能可选地包括分束器（未示出），该分束器被配置成将在特定视场内接收到的图像数据分离成具有适当的波长范围的两个信号分量，且将信号分量分别指引到传感器12和14。这类分束器一般包括配置成将电磁辐射分离成不同波段的光学设备，例如，分离可见光带与红外线辐射带，以及其他的可能性。适当的分束器（像二向色或多二向色分束器）可以由任何适当的机制来进行，比如，通过透过一个波段而反射其他波段，和/或通过将一个波段偏转或衍射至与其他波段不同的程度。适当的分束器可以包括棱晶形的材料，像熔凝硅石或石英，且可以被涂敷以具有依赖于波长的透射和反射特性的金属或电介质层。可选地或额外地，适当的分束器可以包括衍射的材料或像声光调制器这样的设备。在本示例中，适当的分束器可以被配置成实质上将可见光指引到传感器12，且实质上将红外线光指引到传感器14。以这种方式使用分束器确保每个传感器从严格意义上的相同视场接收图像数据。

在没有分束器的情形中，每个传感器12、14一般将接收包括相似波长范围的图像数据，但图像数据由于传感器的不同位置而来自稍微不同的视场。在这种情形中，传感器接收的图像在后续处理之前可以对准共同的参考，以便物体具有相同的尺寸且在每个图像中出现在相同的像素位置。特别是（但不一定是唯一的）在没有分束器的实施方式中，适当的滤光镜可以被使用以限制，或进一步限制每个传感器接收的波长。

处理器15一般包括任何校正特别是由于闪烁和/或其他扰动导致失真的图像的装置。处理器15在这里用三个处理器功能块16、18和20来表示。这些功能可以由一个单个的处理器来实施，三个独立的处理器的描述只是示例性地，因为在某些情况中由不同处理器实施的处理操作可能被组合或进一步分离，在这些情况中，所述操作可以由多于三个或少于三个的独立的处理器来实施。此外，虽然本示例主要关注于直接确定和消除依赖于波长的视在运动，但是其他依赖于波长的特征，比如相位失真，可以被确定且被用于识别和消除造成失真的图像数据的部分。

在本示例中，第一个处理器功能块16被配置成接收由传感器12和14采集的图像数据，且测量由传感器捕获的连续的图像帧之间的视在的帧到帧的移动。因此，处理器功能块16可能被称为移动估计器处理器。不同的移动估计技术被发现且可以结合移动估计器处理器功能块16用于确定视在运动。用于估计连续图像帧之间的移动的已知的技术包括各种光流公式，这些公式被描述于，例如，（A）1996年的计算机视觉与图像认知(understanding)的第63卷第1期第75页到104页的M.Black和P.Anandan所著的“TheRobustEstimationofMultipleMotions:ParametricandPiecewise-smoothflowfields”，（B）1991年的IEEE声学、语音和信号处理会议论文集的第4卷第2713页到2716页的G.Sullivan和R.Baker所著的“Motioncompensationforvideocompressionusingcontrolgridinterpolation”，以及（C）1981年的图像认知研讨会论文集的第121页到130页的B.Lucas和T.Kanade所著的“Aniterativeimageregistrationtechniquewithanapplicationtostereovision”。出于全部目的这些参考文献以引用的方式被并入本公开。移动估计器处理器功能块16的输出是视在运动映射（map），该视在运动映射指出了帧中的每个像素相对于前一帧的水平的和垂直的移动。前一帧可以是紧挨着当前帧之前获取的帧，或者是多个更早的帧之前获取的一帧。

在移动估计器处理器功能块16的输出内容中，术语“视在运动映射”仅仅是指表示按维度组织的关于帧之间视在运动的信息的数据集。视在运动映射的数据可以是多维的，以便其包含对应于多维图像数据的每个部分的信息。例如，在简单的情况下，视在运动映射可能包括对应于图像帧的每个像素的帧到帧的移动的一组x,y的移动矢量。

另外，视在运动映射可能包括一组矢量，该组矢量包含对应于在像泽尼克多项式基或伪泽尼克多项式基这样的基的某些适当的正交多项式基中的相位失真的表示的权重。在这种情况中，第一个处理器功能块16的输出可能被称为一个或多个“相位失真映射”。更一般的是，第一个处理器功能块的输出可以简单地被称为“图像特征映射”（“图像特征变化映射”），指示处理器被配置成生成包含信息的输出的事实，所述信息既关于实际的场景内容还关于可能用于分离失真与实际场景内容的依赖于波长的信息。因此，在某些情况中，由移动估计器处理器功能块16生成的视在运动映射可能包含方程，或者至少一个或多个方程的系数。此外，视在运动映射不一定与图像具有相同尺寸；视在运动映射网格可以大于、小于、或等同于像素网格。在极端情况下，视在运动映射甚至可以是单个的全局的数值、矢量、或方程，其表征由移动估计器处理器功能块确定的视在运动。

如图1中所指示的，对应于每个传感器12、14的移动估计器处理器功能块16的输出是第二个处理器功能块18的输入，第二个处理器功能块18在某些情况中被称为移动分类器处理器功能块。移动分类器处理器功能块18合并关于在每个波段所预计的相关失真的信息，以识别图像中对应于相对于传感器实际移动的物体的区域。这一般都可以完成，因为失真导致的视在运动一般以可预测的方式依赖于波长，然而实际的物体运动一般不依赖于波长。因此，由传感器12和14感知的在不同的波长范围中有区别的视在运动可以归因于失真导致的视在运动，然而由传感器12和14感知的在不同的波长范围中相同的视在运动可以归因于实际物体运动。

任何形式的具有适当性能的移动分类器算法能够与移动分类器处理器功能块18结合使用，所述移动分类器处理器功能块18包括所有被本领域所熟知的简单的阀值分类器、假设检验、贝叶斯分类器和神经网络。因为移动分类器功能处理器18被编程为包含波段失真信息，所以处理器功能块18被配置为在视在运动映射中区分失真导致的移动与实际物体运动。如前面所述，在某些情形中，这可以通过在捕获图像的可见光部分区分依赖于波长的移动与不依赖于波长的移动来完成。在其他的情形中，通过在对应于每个图像的广义光瞳函数中区分依赖波长的相位失真与不依赖波长的相位失真，进而确定（例如）对应于闪烁的相位作用，可以区分出失真导致的移动与实际移动。这允许从捕获的图像数据识别和分离出闪烁导致的移动。

在任何情形中，移动分类器处理器功能块18的输出可以被称为一个或多个移动的物体映射。每个移动的物体映射表示，对应于与传感器有关的、对应在特定波长上或特定波长范围内采集的图像数据的场景中移动物体的位置和实际移动。因此，移动物体映射可以采用任何合适的形式，比如指明对应每个图像像素的物体的运动、刚体的边界和一般运动（包括位移和旋转），和/或诸如此类特征的矢量集。

输入帧、视在运动映射和移动物体映射被输入到第三个处理器功能块20，该第三个处理器功能块20生成校正的图像输出，且其因而被称为图像校正处理器功能块。图像校正处理器功能块20被配置成从输入的图像数据消除失真导致的视在运动，且产生一个或多个校正的输出图像。例如，处理器功能块20可以被配置成通过从在第一波长范围中采集的图像数据中消除由依赖波长的失真引起的视在运动生成第一组校正的图像数据，和/或通过从在第二波长范围中采集的图像数据中消除由依赖于波长失真引起的视在运动产生第二组校正的图像数据。此外，在某些情形中，通过分析采集的图像数据的任何部分确定的失真效应可以外插至其他的波长范围且用于从那些其他的范围中估计和消除失真效应。

使用任何适当的技术，像翘曲、基于质量的融合、或超分辨率方法，生成校正的图像。在任何情形中，图像校正处理器功能块被配置成生成不包括归因于失真的感知的视在运动的部分的图像。因此，图像校正处理器功能块20可以产生像清晰的视频流或一系列的超分辨率静止图像一样的校正的图像数据。

由图像校正处理器功能块20输出的校正的图像数据可以被记录和/或发送到显示设备22。显示设备22被配置成向用户显示校正的图像、图像序列、和/或视频流，且可能采用任何适当的形式进行显示。例如，显示设备22可以是专用的监视器，比如LCD或LED监视器、飞行员或其他交通工具可视的平视显示器、头盔式显示器、诸如此类。因为移动估计器处理器功能块16、移动分类器处理器功能块18、和图像校正处理器功能块20执行的处理仅仅需要分析两个图像帧，因此校正的图像数据可以被实时地或几乎实时地提供。此外，正如前面提到的，虽然已经阐述了三个独立的处理器功能块和处理步骤，但是在某些情形中那些处理器功能块的功能可以被组合成一个或两个处理器功能块，和/或处理步骤可以被组合成单个的、更全面的图像校正算法。

图2是描绘图像校正方法的流程图，总体上用50表示，其适合于与图像校正系统10一同使用。

在步骤52、52′，图像数据被两个独立的传感器接收和捕获到。如前面所述，每个传感器可以接收所有输入图像数据的波长，或输入图像数据可能被分束器分割，以便每个传感器仅接收适当范围的输入图像数据的波长。每个图像传感器一般将被配置成数字化地捕获图像，且因而将包括一个或多个电荷耦合设备（CCD）、焦平面阵列（FPA），或相似设备。图像数据可以在对应不同的图像帧的多个时刻采集，以便分析帧到帧的视在运动，例如，通过计算对应在多个时间并在每个波长上（或在每个波长范围内）采集的图像数据的光流。

在步骤54、54′，例如，传感器捕获的图像对准共同的参考帧，以使每个图像中的物体具有相同的尺寸且出现在相同的像素位置。如果分束器被用来将来自单个的视场的输入图像数据指引到传感器，那么步骤54、54′可以被省略。类似地，例如，在足够远的物体的情况下，如果输入图像数据已经充分对准，步骤54、54′可以被省略。

在步骤56、56′，所捕获的图像与先前捕获的图像进行比较，并且确定由一个图像帧到下一个图像帧的变化表示的视在运动和/或相位失真。

在步骤58、58′，帧到帧的视在运动和/或相位失真被处理成每个捕获图像的视在运动映射。

在步骤60、60′，基于不同波长范围中预计的失真差异，分析视在运动映射，以确定视在运动映射的哪些分量可归因于失真以及哪些分量可归因于实际的物体运动。如之前所述的，这可以通过直接识别捕获的图像中的依赖波长的移动来实现，或者通过确定对应每个图像的广义瞳函数的相位的依赖波长的部分，并且使用该信息来识别可归因于闪烁失真的图像影响来实现。

在步骤62，生成移动物体映射。移动物体映射包含关于实际的帧到帧的物体运动的信息，所述信息中将视在运动和相应的相位失真消除到可能的范围。

在步骤64、64′，结合视在运动映射和对应每个波长范围的输入图像帧，使用移动物体映射，以在一个或多个感应波长范围中生成校正的输出图像。

在步骤66、66′，一个或多个校正的输出图像在显示设备上显示为静止图像或者校正的视频流。因为仅使用先前采集的图像数据的一个或多个帧生成对应所提供的输入图像帧的校正图像，所以校正的图像可以实质上被实时生成。

示例2：使用单个的传感器的失真的确定

这个示例描述用于使用单个传感器直接确定移动的示例性的系统和方法；见图3和图4。

图3描述的是根据本发明的各个方面的图像校正系统的第二个示例性的实施方式，总体上以110表示。系统110包括单个的传感器112，该传感器112能够在足够的波长范围内感知图像数据，以便失真导致的视在运动的波长依赖性可以被适当程度地观察和分析。系统110还包括处理器115，该处理器115包括第一处理器功能块116、第二处理器功能块118和第三处理器功能块120。系统110还可以包括被配置成显示和/或以其他方式使用所处理的图像数据的显示器和/或其他的输出设备122。

例如，传感器112可以是，多光谱相机，比如两个波段被堆叠在单个焦平面上的双波段MWIR/LWIR相机；对任意两个波长或波长范围敏感的单个焦平面双波段相机；具有像直接位于焦平面上的拜耳（Bayer）或类似拜耳的滤光镜的多光谱滤光镜的相机；或具有像相机前部的滤光镜轮的多光谱滤光镜的相机。适当的多光谱成像设备的具体示例包括对多个独立的波长范围敏感的单个焦平面阵列，像MWIR和LWIR碲镉汞（HgCdTe）焦平面阵列和量子阱红外线探测器（QWIP）焦平面阵列。这些传感器中的每一个都具有能力同时感应MWIR范围和LWIR范围的对准光。另外，双波段和三波段阵列已经由超晶格结构和纳米结构制造成。像双波段HgCdTe传感器一样，这些阵列能够在对准的时候被用于同时感应不同颜色的光。因为在这些焦平面阵列敏感的频段之间的大气影响是不一样的，并且因为这些阵列同时感光（或者至少在比大气中的明显变化更短的时间刻度），所以可以确定关于大气影响的信息。

在某些情形中，传感器112可以仅仅是三种颜色的可见光相机，其能够感应至少是可见光谱的红色、绿色和蓝色的部分。在这个示例中，通过在可见光谱内的各种波长上分析视在运动和/或相位失真的波长依赖性,可以消除一定程度的大气图像失真。对于某些应用，这可以提供足够的图像校正和/或与使用多于一个传感器的系统可以相比较的程度上的图像校正。更一般的是，传感器112可以具有跨越任何适当的离散的或连续的波长范围的灵敏性。因为大气图像失真是依赖于波长的，所以根据本发明，实质上任何有限的波长范围内所感应的图像数据可以被用于将图像校正到一定程度。

处理器115、第一处理器功能块116、第二处理器功能块118和第三处理器功能块120实质上类似于多传感器系统10中它们的对应部分，因此在本示例中不再描述。如在系统10中的情形，处理器15可以包括能够实施每个功能的单个的处理器或专用于实施子功能的两个或多个分离的处理器。可以使用任何需要数量的处理器。

然而，系统10和系统110之间的两个区别是由于使用一个传感器而不是两个或多个传感器。第一，在系统110中不需要图像对齐来配准图像，因为多光谱传感器112一定是沿着单一的视线接收图像数据，从而自动地产生对齐的图像。第二，传感器112在不同的波长范围中接收到的图像数据一般在处理之前将被分开，以便可以识别依赖于波长的伪迹（artifact）。在某些情况中，像当使用拜耳式滤光镜时，原始的输入图像数据可以被自动地分成不同的波长范围，比如红色、绿色和蓝色可见光范围，从而，能在实质上以其接收到的格式被发送给移动估计器处理器功能块。在其他的情形中，可能希望过滤或以其他方式预处理原始图像数据以在发送给移动估计器处理器功能块之前将其分离成适当的波长范围，或配置移动估计器处理器功能块本身以在确定视在的帧到帧移动之前实施适当的预处理。

除了上面注意到的区别，系统110被配置成以类似于系统10的方式发挥作用。更具体的是，多光谱的图像数据被发送到第一处理器功能块116，所述第一处理器功能块116确定至少两个不同的波长范围的图像数据中生成的图像的视在的帧到帧的移动。在这种情形中，处理器功能块116可以被称作“移动估计处理器功能块”。可选择地或除了确定视在的帧到帧的移动，处理器功能块116还可以确定由传感器112采集的在每个波长或波长子集上捕获的相位失真，在这种情形中，处理器功能块116可以被称作“相位失真处理器功能块”。在任何情形中，对应每个波长范围的处理器功能块116的输出是每个波长范围的图像特征映射，其被输入到第二处理器功能块118。处理器功能块118使用这些图像特征映射识别对应实际上相对于传感器112移动的物体的一个或多个图像中的区域。因此，处理器功能块118可以被称作“移动分类器处理器功能块”。输入图像数据、由处理器功能块116生成的视在运动映射和由处理器功能块118生成的移动物体映射都被输入到第三处理器功能块120，第三处理器功能块120生成校正的图像。因此，处理器功能块120可以被称作“图像校正处理器功能块”。校正的图像可以被记录到和/或发送到显示（或其他输出）设备122。

图4是描述图像校正的示例性方法的流程图，总体上以150表示，其适合结合图像校正系统110使用。

在步骤152，图像数据被单个的多光谱图像传感器接收到和捕获到。如之前所述，图像传感器一般将被配置为数字化捕获图像，因此将包括一个或多个电荷耦合设备（CCD）、焦平面阵列（FPA）、等等。图像传感器将是能够在一定波长范围内捕获图像数据，比如两个或多于两个分开的波长范围，或单个连续的波长范围的类型。以上描述了参照图3中描绘的关于传感器112的适当的传感器的属性。

在步骤154，所捕获的图像数据被分成对应于不同波长范围的两个或多个独立的信号。如之前关于图3中的系统110所描述的，被单个多光谱传感器捕获的原始图像数据可以已被分成多个波长范围或多个波长子集，在该情形中，可能需要少量或不需要额外的处理来将数据分离到分量图像中。然而，在某些情形中，原始图像数据可以包括在连续的波长范围上捕获的合并的数据，在这种情形中，步骤154可以包括额外的处理以将原始数据分离到对应于不同的所需的波长范围的两个或多于两个的信号。

方法150的剩余步骤实质上类似于方法50的对应步骤。具体地，在步骤156、156′，捕获的对应于所需的波长范围的图像数据与之前在相同波长范围中捕获的图像数据进行比较，且由从一个图像帧到下一个图像帧的变化表示的视在运动和/或相位失真被确定。在步骤158、158′，帧到帧的视在运动和/或相位失真，被处理成每个捕获的图像的视在运动映射和/或相位失真映射（其可能更一般地被称为图像特征映射）。在步骤160、160′，基于不同波长范围的图像特征中预计的差异，分析图像特征映射，以确定图像特征映射的哪些部分归因于失真和哪些部分归因于实际的场景内容。在步骤162，一个或多个移动物体映射被产生。每个移动物体映射包含关于特定波长范围或子集中的实际帧到帧的物体运动的信息，其中的视在运动和/或相位失真被消除到至少某种程度。在步骤164、164′，结合关联的图像特征映射和对应一个或多个波长范围的输入图像帧，使用移动物体映射，以在每个期望的波长范围中生成校正的输出图像。在步骤166、166′，校正的输出图像作为静止图像或作为校正的视频流被显示于显示设备上。因为之前所述的原因，校正的图像实质上可以被实时生成。

示例3：移动的支撑平台

这个示例描述示例性的支撑平台；见图5。

图5描述的是作为移动平台的示例性的实施方式的直升机200，所述移动平台可能被用于支撑根据本发明的成像系统，和/或实施根据本发明的图像校正的方法。具体地，直升机200包括可转动的万向节202，其内部可以被放置一个或多个像之前所述的那些传感器，包括被配置以采集各种所需波长范围内的光的可见光传感器和/或红外线传感器。同样，适当的处理器可以被放置在万向节202内，或以其他方式安装到直升机200上，且被配置成执行上述各种图形处理步骤。另外，一个或多个处理器可以被布置在远处，且被配置成执行由本发明考虑到的部分或全部图像处理步骤。像监视器或头顶显示器的显示设备可以同直升机200一起布置，且被配置成显示根据本发明校正的图像。可选地或另外地，被配置成显示校正图像的显示设备可以被放置在远处，比如放置在基于地面的指挥中心。可能适合结合本发明使用的万向节系统和支撑平台的其他细节可以在例如，2011年1月19日提交的序列号为13/009,753的美国专利申请中找到，出于全部目的，该专利通过引用被并入本公开。

示例4：所选择的实施方式

这个示例用一系列编号段落的方式，描述所选择的实施方式和本公开的各方面。

A.一种图像校正方法，包括：（1）在一个波长范围采集图像数据，所述一个波长范围包括至少第一波长和第二波长；（2）处理所述图像数据以根据在所述第一波长采集的图像数据确定第一图像特征映射和根据在所述第二波长采集的图像数据确定第二图像特征映射；（3）处理所述第一图像特征映射和所述第二图像特征映射以区分由依赖波长的失真引起的变化和由物体运动引起的变化；（4）通过从所述采集的图像数据消除由依赖波长的失真引起的变化，生成第一组校正的图像数据；以及（5）根据所述第一组校正的图像数据，生成第一校正的图像。

A1.如段落A所述的方法，其中所述图像特征映射是视在运动映射。

A2.如段落A所述的方法，其中由依赖波长的失真引起的所述变化包括视在图像运动，并且，其中生成第一组校正的图像数据的步骤包括从所采集的图像数据消除所述视在图像运动，而保留真实的物体运动。

A3.如段落A所述的方法，其中所述依赖于波长的失真包括顶端/倾斜失真，并且，其中所述图像特征映射是相位失真映射。

A4.如段落A所述的方法，还包括：（1）通过从所采集的图像数据中消除由依赖波长的失真引起的变化，生成第二组校正的图像数据；以及（2）根据所述第二组校正的图像数据，生成第二校正图像。

A5.如段落A所述的方法，所述波长范围包括至少第三波长，还包括：（1′）处理所述图像数据，以根据在所述第三波长采集的图像数据确定第三图像特征映射；（2′）结合处理所述第一和第二视在运动映射，处理所述第三图像特征映射，以进一步区分由依赖波长的失真引起的变化与由物体运动引起的变化。

A6.如段落A所述的方法，其中采集图像数据的步骤包括在对应不同图像帧的多个时间采集图像数据。

A7.如段落A6所述的方法，其中通过计算对应在多个时间在第一波长上采集的图像数据的光流，确定所述第一图像特征映射，并且，其中通过计算对应在多个时间在第二波长上采集的图像数据的光流，确定所述第二图像特征映射。

A8.如段落A所述的方法，其中所述第一波长和第二波长是从下列组合选择的：两个红外线波长（例如，MWIR和LWIR）、可见光和红外线波长（如，可见光和SWIR、可见光和LWIR、以及可见光和MWIR）、以及两个或多于两个的可见光波长。

A9.如段落A所述的方法，其中所述第一波长属于所述可见光光谱，而所述第二波长属于所述红外线辐射光谱，并且，其中在一个波长范围内采集图像数据包括使用可见光传感器在所述第一波长采集图像数据和使用红外线辐射传感器在所述第二波长采集图像数据。

A10.如段落A所述的方法，其中处理所述第一图像特征映射和所述第二图像特征映射包括将在所述第一图像特征映射和所述第二图像特征映射中的差异和在所述第一波长和第二波长采集的图像数据之间所预计的失真差异进行比较。

A11.如段落A所述的方法，还包括生成对应在所述第一波长采集的且归因于物体运动的图像数据的第一移动物体映射，其中，生成所述第一组校正的图像数据的步骤包括比较所述第一移动物体映射与所述第一图像特征映射。

A12.如段落A11所述的方法，还包括：（1）生成对应在所述第二波长采集的且归因于物体运动的图像数据的第二移动物体映射;（2）通过比较所述第二移动物体映射与所述第二图像特征映射，生成第二组校正图像数据；以及（3）根据所述第二组校正的图像数据，生成第二校正图像。

A13.如段落A所述的方法，还包括提供至少一个图像采集设备和处理器，其中，采集图像数据的步骤是使用所述至少一个图像采集设备实施的，并且，其中处理步骤是使用所述处理器实施的。

A14.如段落A所述的方法，所述图像特征映射是相位失真映射，并且其中处理所述第一图像特征映射和所述第二图像特征映射的步骤包括处理所述第一和第二相位失真映射，以通过估计对应在每个波长子集中采集的所述图像数据的广义光瞳函数中的一阶泽尼克多项式，来区分由顶端/倾斜失真引起的视在图像运动与由物体运动引起的视在图像运动。

B.一种图像校正方法，包括：（1）在一个波长范围内采集图像数据，所述一个波长范围包括至少第一波长和第二波长；（2）处理所述图像数据以根据在所述第一波长采集的图像数据确定第一视在运动映射，和根据在所述第二波长采集的图像数据确定第二视在运动映射；（3）处理所述第一和第二视在运动映射以区分由依赖波长的失真引起的视在运动与由物体运动引起的视在运动；（4）通过从所述采集的图像数据中消除由依赖波长的失真引起的视在运动，生成第一组校正的图像数据；以及（5）根据所述第一组校正的图像数据，生成第一校正的图像。

B1.如段落B所述的方法，其中在一个波长范围采集图像数据包括至少采集红色、绿色和蓝色可见光。

B2.如段落B1所述的方法，其中所述第一波长是红色可见光谱部分而第二波长是绿色可见光谱部分，以及还包括：（1′′）处理所述图像数据以根据在是蓝色可见光谱部分的第三波长采集的图像数据，确定第三视在运动映射；以及（2′′）结合处理所述第一和第二视在运动映射，处理所述第三视在运动映射，以进一步区分由依赖波长的失真引起的视在运动与由物体运动引起的视在运动。

B3.如段落B所述的方法，其中采集的所述图像数据包括在对应于不同图像帧的多个时间采集图像数据。

B4.如段落B3所述的方法，其中通过计算对应在所述多个时间在所述第一波长采集的图像数据的光流，确定所述第一视在运动映射，并且，其中通过计算对应在所述多个时间在所述第二波长采集的图像数据的光流，确定所述第二视在运动映射。

B5.如段落B所述的方法，其中所述第一波长属于所述可见光光谱，而所述第二波长属于所述红外线辐射光谱，并且，其中在一个波长范围内采集图像数据包括使用可见光传感器在所述第一波长采集图像数据和使用红外线辐射传感器在所述第二波长采集图像数据。

B6.如段落B所述的方法，其中处理所述第一和第二视在运动映射包括将在所述第一和第二视在运动映射中的差异与在所述第一波长和第二波长采集的图像数据之间所预计的失真差异进行比较。

B7.如段落B所述的方法，还包括生成对应在所述第一波长采集的且归因于物体运动的图像数据的第一移动物体映射，其中生成所述第一组校正的图像数据包括比较所述第一移动物体映射与所述第一视在运动映射。

B8.如段落B7所述的方法，还包括：（1′）生成对应在第二波长采集的且归因于物体运动的第二移动物体映射；（2′）通过比较所述第二移动物体映射与所述第二视在运动映射，生成第二组校正的图像数据；（3′）根据所述第二组校正的图像数据，生成第二校正图像。

B9.如段落B到段落B8所述的方法，还包括提供至少一个图像采集设备和处理器，其中采集图像数据的步骤是使用所述至少一个图像采集设备实施的，并且，其中处理步骤是使用所述处理器实施的。

C.一种图像校正方法，包括：（1）在一个波长范围内采集图像数据，所述一个波长范围包括至少第一波长子集和第二波长子集；（2）处理所述图像数据以根据在所述第一波长子集采集的图像数据确定第一相位失真映射，和根据在所述第二波长子集采集的图像数据确定第二相位失真映射；（3）处理所述第一和第二相位失真映射以区分由顶端/倾斜失真引起的视在图像运动与由物体运动引起的视在图像运动；（4）通过从所述采集的图像数据中消除由顶端/倾斜失真引起的视在图像运动，生成第一组校正的图像数据；以及（5）根据所述第一组校正的图像数据，生成第一校正的图像。

C1.如段落C所述的方法，其中在一个波长范围采集图像数据包括使用可见光传感器采集至少红色、绿色和蓝色可见光。

C2.如段落C1所述的方法，其中所述第一波长子集包括红色可见光而第二波长子集包括绿色可见光，且还包括：（1′′）处理所述图像数据以根据在包括蓝色可见光的第三波长子集采集的图像数据，确定第三相位失真映射；以及（2′′）结合处理所述第一和第二相位失真映射，处理所述第三相位失真映射，以进一步区分由顶端/倾斜失真引起的视在图像运动与由物体运动引起的视在图像运动。

C3.如段落C所述的方法，其中采集所述图像数据包括在多个时间在每个波长子集中采集图像数据。

C4.如段落C所述的方法，其中所述第一波长子集包括至少是可见光谱部分，而所述第二波长子集包括至少是红外线辐射光谱部分，并且，其中在一个范围波长内采集图像数据包括使用可见光传感器在第一波长子集采集图像数据和使用红外线辐射传感器在第二波长子集采集图像数据。

C5.如段落C所述的方法，其中处理所述第一和第二相位失真映射，以区分由顶端/倾斜失真引起的视在图像运动与由物体运动引起的视在图像运动包括，估计对应在每个波长子集中采集的图像数据的广义光瞳函数中的一阶泽尼克多项式。

C6.如段落C到段落C5所述的方法，还包括至少一个图像采集设备和处理器，而其中采集图像的步骤是使用所述至少一个图像设备实施的，并且其中处理步骤是使用处理器实施的。

D.一种图像校正系统，包括：（1）图像采集装置，其被配置为在第一波长范围中采集第一组图像数据和在第二波长范围中采集第二组图像数据；以及（2）处理器，其被配置为实施第一、第二和第三处理器功能块；其中，所述第一处理器功能块包含根据所述第一组图像数据确定第一图像特征映射，和根据所述第二组图像数据确定第二图像特征映射；其中所述第二处理器功能块包含分析所述第一图像特征映射和所述第二图像特征映射以识别采集的由共同路径失真引起的图像数据；以及，其中所述第三处理器功能块包含通过从所述第一组图像数据消除共同路径失真，生成第一组校正的图像数据，且根据所述第一组校正的图像数据生成第一校正的图像信号。

D1.如段落D所述的系统，其中由所述第一处理器功能块确定的所述图像特征映射是包含关于所述采集的图像数据内的视在的帧到帧的运动的信息的视在图像运动映射。

D2.如段落D1所述的系统，其中所述第一处理器功能块被配置成，通过计算对应所述第一组图像数据的光流，确定所述第一视在图像运动映射，且通过计算对应所述第二组图像数据的光流，确定所述第二视在图像运动映射。

D3.如段落D所述的系统，其中由所述第一处理器功能块确定的所述图像特征映射是包含关于包括在所述采集的图像数据中的顶端/倾斜失真的相位失真的信息的相位失真映射。

D4.如段落D3所述的系统，其中所述第二处理器功能块被配置成通过估计对应在每个波长范围中采集的所述图像数据的广义光瞳函数的一阶泽尼克多项式，分析所述相位失真映射。

D5.如段落D所述的系统，其中所述图像采集装置包括被配置成采集至少两种不同颜色的光的可见光传感器，其中所述第一波长范围对应所述第一种颜色，而其中所述第二波长范围对应所述第二种颜色。

D6.如段落D所述的系统，其中所述图像采集装置包括被配置成采集第一组图像数据的可见光传感器，和被配置成采集第二组图像数据的红外线传感器。

D7.如段落D所述的系统，其中所述图像采集装置包括被配置成采集第一波长范围的第一组图像数据的第一红外线传感器，和被配置成采集第二波长范围的第二组图像数据的第二红外线传感器。

D8.如段落D7所述的系统，其中所述第一红外线传感器被配置成采集MWIR辐射，而所述第二红外线传感器被配置成采集LWIR辐射。

D9.如段落D所述的系统，其中所述图像采集装置包括被配置成采集第一波长范围的第一组图像数据和第二波长范围的第二组图像数据的双波段传感器。

D10.如段落D所述的系统，其中所述第三处理器功能块还被配置成通过从所述第二组图像数据消除共同路径失真而生成第二组校正的图像数据，以及根据所述第二组校正的图像数据生成第二校正的图像信号。

D11.如段落D所述的系统，其中所述第二处理器功能块被配置成识别至少一个图像特征，所述图像特征是波长的确定性函数。

D12.如段落D所述的系统，还包括被配置成展示由处理器输出的图像数据的显示器。

前述实施示例是为了描述根据本发明的实施方式的具体分类，但是本发明考虑到更广泛的可能性。例如，虽然以上述示例描述了两个独立的传感器或者单个的多光谱传感器的使用，但是任何所需要的数量的传感器可以结合本发明使用。这包括能接受重叠的或不重叠的波长范围的三个或多于三个的独立的传感器，或能接受三个或多于三个的连续的或不连续的波长范围的单个传感器。作为具体的例子，本发明考虑了同时感应可见光、SWIR、MWIR和LWIR，且用与上述方法类似的方式处理所有这些图像。这可能包括将所捕获的可见光图像分离成蓝色、绿色和红色图像，或分离成任何其他所需的波长范围。

此外，虽然以上示例主要描述综合方法，其中相位失真和/或视在运动是根据输入图像数据确定的，且被用于生成视在运动映射，但是本发明还考虑了只使用依赖于波长的相位失真来确定视在运动映射。在这种情形中，视在运动映射可能更准确地被称为“相位失真映射”或“图像特征映射”，其能够结合相位失真与其他类型的失真之间已知的相关性来使用，以确定在原始图像数据中捕获的总的依赖于波长的失真。总的来说，任何依赖于波长的可见或不可见的失真效应可以根据本发明被用于识别和校正在帧到帧基础上的可见的图像失真。

上述公开可能包括多个独立的应用的不同的发明。虽然这些发明中的每一个已经以其优选的形式被公开了，但是本文中所公开和说明的其具体的实施方式并不视为具有限制意义，因为可能有许多变体。本发明的主题包括本文所公开的各种元素、特征、功能、和/或属性的所有新颖和非显而易见的组合和子组合。以下权利要求特别指出关于新颖和非显而易见的某些组合和子组合。体现在特征、功能、元素、和/或属性的其他组合和子组合中的发明可能声明于要求本申请或相关申请的优先权的申请中。这些声明，不管是针对于不同发明还是针对于相同发明，且不管是更宽于、更窄于、相同于还是不同于原始的权利要求的范围，也还是被认为是包括在本公开的本发明的主题内。

Claims (16)

1.一种图像校正方法，包括：

在一波长范围采集图像数据，所述波长范围包括至少第一波长和第二波长；

处理所述图像数据以根据在所述第一波长采集的图像数据确定第一视在运动映射和根据在所述第二波长采集的图像数据确定第二视在运动映射；

处理所述第一视在运动映射和所述第二视在运动映射以区分由依赖波长的失真引起的变化和由对象运动引起的变化；

通过从所采集的图像数据消除由依赖波长的失真引起的变化，生成第一组校正的图像数据；以及

根据所述第一组校正的图像数据，生成第一校正的图像；

其中处理所述第一视在运动映射和所述第二视在运动映射包括对在所述第一视在运动映射和所述第二视在运动映射中的差异和在所述第一波长和所述第二波长采集的图像数据之间所预计的失真差异进行比较。

2.如权利要求1所述的方法，其中所述由依赖波长的失真引起的变化包括视在图像运动，并且其中生成第一组校正的图像数据的步骤包括从所采集的图像数据消除所述视在图像运动，而保留真实的对象运动。

3.如权利要求1所述的方法，所述波长范围至少包括第三波长，所述方法还包括：

处理所述图像数据，以根据在所述第三波长采集的图像数据确定第三视在运动映射；以及

结合处理所述第一视在运动映射和所述第二视在运动映射，处理所述第三视在运动映射，以进一步区分由依赖波长的失真引起的变化与由对象运动引起的变化。

4.如权利要求1所述的方法，其中采集图像数据的步骤包括在对应不同图像帧的多个时间采集图像数据。

5.如权利要求4所述的方法，其中通过计算对应于在所述多个时间在所述第一波长上采集的图像数据的光流，确定所述第一视在运动映射，并且，其中通过计算对应在所述多个时间在所述第二波长上采集的图像数据的光流，确定所述第二视在运动映射。

6.如权利要求1所述的方法，其中所述第一波长属于中波红外线辐射MWIR光谱，而所述第二波长属于长波红外线辐射LWIR光谱。

7.如权利要求1所述的方法，还包括生成对应在所述第一波长采集的图像数据且归因于对象运动的第一移动对象映射，其中生成所述第一组校正的图像数据的步骤包括比较所述第一移动对象映射与所述第一视在运动映射。

8.如权利要求7所述的方法，还包括：

生成对应在所述第二波长采集的图像数据且归因于对象运动的第二移动对象映射；

通过比较所述第二移动对象映射与所述第二视在运动映射，生成第二组校正的图像数据；以及

根据所述第二组校正的图像数据，生成第二校正图像。

9.如权利要求1所述的方法，还包括提供至少一个图像采集设备和处理器，其中采集图像数据的步骤是使用所述至少一个图像采集设备实施的，并且，其中处理步骤是使用所述处理器实施的。

10.一种图像校正系统，包括：

图像采集装置，其被配置成采集第一波长范围中的第一组图像数据和第二波长范围中的第二组图像数据；以及

处理器，其被配置为实施第一处理器功能、第二处理器功能和第三处理器功能；

其中所述第一处理器功能包含根据所述第一组图像数据确定第一视在运动映射，以及根据所述第二组图像数据确定第二视在运动映射；

其中所述第二处理器功能包含分析所述第一视在运动映射和所述第二视在运动映射以识别所采集的由共同路径失真引起的图像数据；以及

其中所述第三处理器功能包含通过从所述第一组图像数据消除共同路径失真，生成第一组校正的图像数据，以及根据所述第一组校正的图像数据生成第一校正的图像信号；

其中处理所述第一视在运动映射和所述第二视在运动映射包括对在所述第一视在运动映射和所述第二视在运动映射中的差异和在所述第一波长和所述第二波长采集的图像数据之间所预计的失真差异进行比较。

11.如权利要求10所述的系统，其中所述第三处理器功能还被配置成通过从所述第二组图像数据消除共同路径失真，生成第二组校正的图像数据，以及根据所述第二组校正的图像数据生成第二校正的图像信号。

12.如权利要求10所述的系统，其中所述第二处理器功能被配置成识别是波长的确定性函数的至少一个图像特征。

13.如权利要求10所述的系统，还包括被配置成展示由所述处理器输出的图像数据的显示器。

14.一种图像校正方法，包括：

在一波长范围采集图像数据，所述波长范围包括至少第一波长和第二波长；

处理所述图像数据以根据在所述第一波长采集的图像数据确定第一视在运动映射和根据在所述第二波长采集的图像数据确定第二视在运动映射；

处理所述第一视在运动映射和所述第二视在运动映射以区分由依赖波长的失真引起的变化和由对象运动引起的变化；

通过从包括所述第一波长的所采集的图像数据的第一部分消除由依赖波长的失真引起的变化，生成第一组校正的图像数据；

根据所述第一组校正的图像数据，生成第一校正的图像；以及

生成对应在所述第一波长采集的图像数据且归因于对象运动的第一移动对象映射，其中生成所述第一组校正的图像数据的步骤包括比较所述第一移动对象映射与所述第一视在运动映射。

15.如权利要求14所述的方法，还包括：

通过从包括所述第二波长的所采集的图像数据的第二部分消除由依赖波长的失真引起的变化，生成第二组校正的图像数据；以及

根据所述第二组校正的图像数据，生成第二校正图像。

16.一种图像校正系统，包括：

图像采集装置，其被配置成采集第一波长范围中的第一组图像数据和第二波长范围中的第二组图像数据；以及

处理器，其被配置为实施第一处理器功能、第二处理器功能和第三处理器功能；

其中所述第一处理器功能包含根据所述第一组图像数据确定第一视在运动映射，以及根据所述第二组图像数据确定第二视在运动映射；

其中所述第二处理器功能包含分析所述第一视在运动映射和所述第二视在运动映射以识别所采集的由共同路径失真引起的图像数据；

其中所述第三处理器功能包含通过从所述第一组图像数据消除共同路径失真，生成第一组校正的图像数据，以及根据所述第一组校正的图像数据生成第一校正的图像信号；以及

其中所述第三处理器功能还包括生成对应在所述第一波长范围中采集的第一组图像数据且归因于对象运动的第一移动对象映射，其中生成所述第一组校正的图像数据包括比较所述第一移动对象映射与所述第一视在运动映射。