CN1695155A

CN1695155A - 图像融合系统和方法

Info

Publication number: CN1695155A
Application number: CNA038246503A
Authority: CN
Inventors: 卡洛·蒂那
Original assignee: BAE Systems Aircraft Controls Inc
Current assignee: BAE Systems Aircraft Controls Inc
Priority date: 2002-08-28
Filing date: 2003-08-27
Publication date: 2005-11-09
Anticipated expiration: 2023-08-27
Also published as: WO2004021264A1; CA2497212A1; US20040047518A1; EP1540575B1; JP2005537545A; AU2003270034A1; CN100421122C; EP1540575A4; EP1540575A1; CA2497212C; HK1085292A1; US6898331B2; JP4261480B2; USRE41447E1; KR100796707B1; KR20050067389A

Abstract

一种基于对比的图像融合系统和方法，对多个图像进行处理，以便形成包括从一个或更多图像中选择的区的处理或融合图像。将图像分成图像区。如果必要，则对图像中的一部分进行滤波。通过卷积核为每个图像生成对比映象，并使得对比映象中的每个图像区都具有对比值。比较对比值，并且根据诸如选出较大或最大对比值的选择标准或过程，选择图像区。用所选出的图像区形成融合图像。如果必要，调整融合图像中一个或更多部分的亮度。选取一个传感器作为参考传感器，并确定参考传感器图像中每个区的平均亮度。通过将确定的平均亮度值和最终图像的强度值进行组合，调整最终图像中一个或更多区的亮度。

Description

图像融合系统和方法

技术领域

本发明涉及成像系统和方法，尤其涉及一种有选择地融合或组合来自两个或更多传感器的图像区，以形成一个单一处理图像的成像系统和方法。

背景技术

图像融合一般是指将两个或更多的图像部分组合或合并成一个单一的处理图像。一般在用两个以上的检测器产生一幅图像时使用图像融合，以便将每个传感器提供的信息组合成向用户显示的或提供给自动处理系统的图像。

在一种用已知的系统将来自于不同传感器的图像进行组合的方法中，仅仅将两个图像的像素逐一叠加在一起。因此，例如，为了获得像素排列在一个n×m矩阵中的二维(2-D)处理图像，其中该处理图像中每个像素的位置是由位置(x，y)进行标识，则将第一个图像的像素(1，1)的值或数据与第二个图像的像素(1，1)的值或数据相加，将第一图像的像素(1，2)的值或数据与第二个图像的像素(1，2)的值或数据相加，依此类推，直到将两个图像中的像素(n，m)的值或数据相加。另一种已知的系统对这种技术进行了改变，通过计算每个像素值的平均值，来取代将两个值相加。因此，最终的图像包含平均像素值。

但是，这些系统具有许多缺陷。首先，已知的图像融合技术通常会导致不希望的和不必要的失真。例如，如果一个图像的一个部分对于使用者是清晰并可理解的，而第二幅图像的对应部分则是模糊的，那么相加或平均像素值可能会使清楚的图像失真而成为不太清楚的图像。这种不希望的效果是通过相加或平均而把模糊像素的元素组合到清楚像素中的结果。另一个例子是，将不需要的背景区加到一个明亮图像区上可能会降低明亮图像区的对比度和质量。例如，如果两个图像区具有高的优势度或均是明亮的，那么将两个亮区加在一起可能导致最后的图像“过度曝光”或太亮。这会带来一个饱和图像。最后，将两个暗淡图像区进行平均可能会导致更暗淡的图像，并且会使原来就暗淡的图像区的亮度进一步降低。

其它已知系统一直在试图利用识别图像中的图案并且在图案的基础上形成一个融合图像的技术来克服这些缺陷。利用具有不同带宽的滤波器将每个源或原始图像分解成多个低分辨率图像(例如，基于高斯转出(roll-off)法或拉普拉斯“金字塔(pyramid)”方法)。金字塔方法是对不同的图像区使用不同分辨率——用低分辨率分析粗糙特征，以及用高分辨率分析精细特征。但是，这些系统的缺点在于，在构造一个金字塔处理过程开始之前接收来自每个传感器的完整图像。这种要求一般会导致来自最慢传感器的图像发生时间滞后。对于放置在诸如飞行器或其它运输工具之类的快速运动的，或希望实时操作的平台来说，传感器中这种时间滞后是不可接受的。

其它已知系统使用一种改进了的拉普拉斯方法，将源图像分解成具有突出值或权数的图像。如果图形带有用于理解图像的信息，则它是“突出的”。最终图像是根据“加权”图形形成的。但是，这些技术的缺点在于，它们一般都涉及对每个像素或整个图像区的分析和赋予突出权数。然后，再处理整个图像。接下来，选择突出图形。结果，浪费了过多的时间来分析整个图像区和它们对应的突出值。

当把已知图像系统与飞机着陆、驾驶坦克之类的对时间敏感的行为结合使用时，这些缺点就更成问题。在这些情况下，希望快速地产生清楚的图像。但是，已知技术一般不能在这些限制的时间内产生清楚的图像，或只有在全部图像可用于处理之后才能产生清楚的图像。

因此，需要有一种方法和系统，能够有效和快速地从源图像中选择有用的、适当的、或有关的信息，以便以省时的方式形成具有更多信息的或有用的处理图像，该处理图像中包括来自于每个源图像的有关的、适当的、以及有用的信息。此外，希望能够把选择的图像融合技术应用到各种不同的检测器或图像生成器中，以便在不同应用中具有使用的灵活性。

发明内容

本发明提供了一种方法和系统，有选择地组合不同传感器(这里指传感器或源图像)产生的图像区，以便利用来自传感器图像的有关信息形成处理或融合图像。该方法和系统的实现是通过将每个传感器图像划分成图像区，并且借助于诸如卷积的方式，为每个图像区产生对比值对应的映象。然后，将一个传感器图像的对比值的映象与其它传感器的对比值对应的映象比较。根据选择标准，在比较的对比值之间或对比值中选择一个对比值，例如，在比较的两个或更多的对比值中选择较大的一个。然后，利用与选定的对比值相对应的图像区形成处理图像。根据本发明，可以根据逐个像素、像素组、或任意形状的区，划分图像区。

也是根据本发明，每个传感器检测不同的波长。

也是根据本发明，可以处理来自不同类型、数量、和组合的传感器的图像。可以使用的传感器包括红外线(IR)、射频传感器(例如，雷达之类的有源传感器，或辐射计之类的无源传感器)。

也是根据本发明，组合来自多个传感器的图像区，以形成处理图像。

进一步根据本发明，组合来自第一和第二传感器的图像的对比映象，以形成中间对比映象，然后将中间对比映象与第三图像的对比映象相比，以形成处理图像。

进一步根据本发明，将图像融合方法和系统与诸如飞行器、船只、汽车、或火车之类的移动交通工具的指挥结合使用。

进一步根据本发明，调节整个处理图像上的一个或更多图像部分的强度。选择一个传感器作为参考传感器，并确定参考传感器图像的各区的平均强度。通过将确定的参考图像的平均亮度值和处理图像的强度值相组合，调节处理图像中相同区或对应区或相邻区的强度。

也是根据本发明，在执行对比比较之前，将本方法和系统在传感器图像的滤波部分中使用。

附图说明

图1是一个本发明系统实施例的示意图，包括位于诸如飞行器的运动交通工具内的一个处理器或计算机、两个传感器、以及一个显示器；

图2是说明对传感器产生的图像进行处理以形成处理或融合图像的流程图；

图3是说明将对比值进行比较的方法的流程图；

图4是说明调节处理图像强度的方法的流程图；

图5A-C是一组黑白照片，分别显示雷达传感器和红外线(IR)传感器的对应图像，以及包含根据选择处理过程或标准从雷达和IR图像中选择出来的区的处理图像；

图6A-F示出了将一个图像划分成不同的图像区，包括基于逐个像素的、像素组的、或任意定义的区；

图7A-B是说明为每个图像产生的对比映象的黑白照片；

图8A-B是说明根据选择标准从图7A-B的对比映象中选择的对比值的黑白照片；

图9是说明通过比较所有图像的对比值而处理多个图像以形成处理或融合图像的流程图；

图10是说明通过执行对比值的多重比较来处理多个图像以形成处理或融合图像的流程图；

图11A-B是说明亮度纠正之前和之后的处理或融合图像的黑白照片；

图12A-B是显示空间滤波器的黑白照片；

图13A-B分别示出了雷达和IR传感器的滤波曲线图；

图14A-F是说明雷达和IR图像、滤波函数或效果、及应用到雷达与IR图像的滤波函数的黑白照片；以及

图15A-E是说明带有或不带有滚动效果的加权函数的比较的黑白照片。

具体实施方式

在以下本发明实施例的说明中，以构成本发明一部分的附图作为参考，并且这些附图示出了能够实现本发明的特殊实施例。应当知道，也可以使用其它实施例，因为结构的改变不脱离本发明的范围。

参考图1，这是飞行器中驾驶员座舱的视图，示出了本发明的系统S，该系统S具有传感器100，102，以及一个处理器110及一个显示器120。传感器100，102将对应的图像数据或图像流104，106(即，传感器或源图像)提供到处理器110，例如，计算机、微控制器、或其它控制元件或系统。传感器可以检测相同、重叠、或不同的波长。此外，传感器也能检测相同的视野，或重叠的视野。

给处理器110编程，以便能够有选择地将来自每个图像的区组合成一个处理或融合图像115。更具体地讲，处理器110比较图像104、106的区，并根据一种选择标准选择图像区，例如，根据对比值进行比较，该对比值代表了传感器图像明与暗之间的亮度的明显差别。可以对处理器编程，以考虑不同的选择标准，这些选择标准包括、但不限于每种比较的较大或最大对比值。因此，处理系统实质上能够从一个、多个或全部图像中提取所希望的区，或根据选择标准选择的区。将选择的区拼接在一起，形成融合图像115(很像用多个拼图块形成的拼图，除了可以从多个源中选择每个拼图块之外)。“拼图块”或图像区可以来自一个单一的图像、一些图像、或所有图像。然后，通过视觉显示器120将融合图像115提供给驾驶员或使用者。也可以将融合图像提供到图像处理器或计算机，以进行进一步处理。

尽管图1示出了系统S在飞行器中的应用，但是，熟悉本领域的人员应当知道，该系统可以应用到许多其它交通工具中，并在将要说明的各种应用中使用。

在图2-4的流程图中示出了将图104、106的各个部分融合或有选择地组合成一个处理图像115的技术。如图2中所示，在步骤200，每个传感器产生一个图像，并且把图像数据提供到处理器。在步骤202，如果希望，则可以对图像区进行滤波，以便将被滤出的图像从处理中排除、从处理图像排除、或减少它们对处理图像的作用。在步骤204，比较每个传感器图像的对应区的对比值。在步骤206，使用一种选择标准以选择或识别特定的对比值。在系统S的一个实施例中，选择标准可以是，选择或识别较大或最大的对比值；但是，根据如何应用系统，选择标准、规范或处理过程在系统S的另一个实施例中可以全都不同。在步骤208，识别或选择与选择的或识别的对比值相对应的图像区。在步骤210，组合选择的图像区，即通过有效地“拼接在一起”来形成融合或处理图像。然后，在步骤212，如果需要，则调节或纠正处理或融合图像的亮度，以产生更清楚的图像。

图3进一步示出了步骤204或比较对比值的过程。在步骤300，将每个传感器图像划分成多个图像区。然后，在步骤302，产生每个传感器图像的对比映象。每个对比映象包括每个定义的图像区的对比值。在步骤304，将一个传感器图像的图像区的对比值与其它传感器图像的对应图像区的对比值比较。在这里使用的对应图像区是指，至少重叠的传感器图像。例如，如果一个传感器图像的视野包括飞机场跑道，如果另一个传感器图像也包括相同的飞机场跑道，那么这个传感器图像与后者的视野重叠。如果两个传感器图像的视野彼此相同(或近似相同)，那么认为两个图像具有100％的重叠(以下都是如此)。

现在转到图4，进一步详细说明步骤212或调节融合图像的亮度。在步骤400，选择一个传感器作为参考传感器，即要与之匹配亮度值的传感器。然后，在步骤402，确定整个图像上参考传感器图像(例如，横截线)的图像区的平均亮度。接下来，在步骤404，通过组合确定的平均亮度值和融合图像的亮度值而调节融合或处理图像的一个或更多区的亮度，以形成纠正了亮度的融合图像。可以把亮度调节应用于同一区、或相邻区、或随后的区。例如，可以把调节应用于确定了强度的相同的线、或相邻或随后的线406，或融合图像中相邻或随后的区或线408。

熟悉本领域的人员应当知道，图像融合方法和系统可以在许多不同的处理多个图像的环境和应用中使用。例如，除了飞行器(例如，飞机、喷气机、直升机，等等)之外，该方法和系统也可以在诸如船只、汽车、或火车之类的其它运动交通工具中实现。此外，可将图像融合方法和系统用于显示来自医学仪器(使用诸如超声波、红外线、激光成像或断层摄影传感器)和监视系统的图像。的确，许多应用可以从为形成处理或融合图像而进行的图像区的选择融合中受益，上述处理或融合图像中包括有关信息或来自于每个传感图像的选择信息。

但是，为了说明的目的，本说明书主要针对有关飞行器的图像。这种图像可以涉及飞行器的着陆、滑行、起飞、或巡航，并且与预防地形控制飞行(Controlled Flight Into Terrain(CFIT))的应用有关。作为系统如何能够在飞行器应用中使用的一个专门示例，本说明书针对处理雷达传感器和IR传感器产生的图像。但是，如下面要说明的，可以处理许多不同类型、数量、和组合的传感器和传感器图像。因此，本说明书中说明的示例系统和方法可以用于许多不同应用领域。

图像和传感器

现在转到图5A-C，传感器100、102产生对应的图像104、106，例如，图5A-B中所示的图像500、510。使用一个或两个图像的选定区，也就是说，有效地结合或拼接在一起，以形成融合或处理图像115，例如，图5C中所示的融合图像520。根据源图像的内容，可以希望进一步处理融合图像，例如，像后面要结合图11A-B进行说明的那样。

更具体地讲，图5A示出了红外线(IR)传感器产生的跑道的图像500。IR传感器可以在各种不同的IR波长范围中操作，例如，0.8至2μm，3-5μm，8-12μm，或它们的组合和扩展。一个可以使用IR传感器的示例是，马萨诸塞(Massachusetts)州列克星敦(Lexington)市的BAE SYSTEMS公司制造的红外成像系统(Infrared Imaging Systems)。图5B示出了在相同或近似跑道场景中的同一条跑道，即雷达传感器产生的图像510。雷达传感器可以是X，K，Ka或其它的区域雷达传感器。适合于本发明使用的雷达传感器是，诸如加利福尼亚(California)州圣莫尼卡(Santa Monica)的BAESYSTEMS公司制造的飞行器控制(Aircraft Controls)系列。

在这种情况下，IR传感器和雷达传感器一般都能提供相同或重叠的视野，从而能够用一个传感器更好地检测两个视野中均可以看到的对象或条件。熟悉本领域的普通人员应当知道，如以后要说明的那样，该系统和方法可以应用到具有不同程度的重叠或视野的图像。此外，尽管说明的实施例提供了一个包括雷达、IR传感器以及图像的系统的特定示例，但是，也可以使用不同类型、数量、和组合的传感器和图像。例如，系统也可以使用紫外线(UV)传感器，一个示例UV传感器是加利福尼亚州Sunnyvale的PulnixAmerica公司制造的。此外，传感器之一可以基于诸如成像雷达或辐射计之类的有源或无源射频(RF)系统，它们能够在各种不同的RF频带中进行操作，包括但是不限于10，35，76，94和220GHz。这种传感器的一个示例是，加利福尼亚州Redondo Beach的TRW公司制造的传感器。作为又一个例子，传感器可以是一个超声波传感器，例如，威斯康星(Wisconsin)州Waukesha的通用电子医学系统公司(General Electric Medical Systems Division)制造的医学成像应用中使用的超声波传感器。传感器也可以是一个可见频带传感器，例如，新泽西(New Jersey)州Secaucus的松下(Panasonic)公司制造的低照度可见频带传感器、电荷耦合器件(CCD)，或可以使用自然或人工照明的彩色或灰度照相机。

此外，可以配置图像融合系统，以处理来自多个传感器的图像，例如，来自三个、四个、或其它数量的传感器的图像。传感器的一种可能的组合包括两个IR传感器和一个雷达传感器。来自所有传感器的图像可以结合处理，并且有选择地组合成一个处理图像。例如，可以将图像A，B和C有选择地组合成处理或融合图像D。作为替换方案，可以处理两个传感器图像，再将其结果与第三个传感器图像一起处理，以形成一个处理或融合图像，或该图像代表的对比映象。例如，可以把图像A和B组合成图像C或中间对比映象C，接着将C有选择地与图像D或对比映象D组合，以形成融合图像E或进一步的中间对比映象等等，直到处理了所有图像，形成一个融合图像。的确，在希望或需要时，可以通过不同的重复比较，处理不同数量的传感器图像的不同组合。

传感器类型的选择依赖于使用传感器的条件和环境。如前面讨论过的，一种类型的传感器可能更好地适合于一种环境，而另一种传感器可以更好地适合于一个不同的环境。更具体地讲，根据环境是白天、黑夜、有雾气、还是下雨等等，以及根据图像是远距离或是近距离的，某些类型的传感器可以提供更清楚的图像。例如，雷达传感器一般在有雾的条件下可以比IR传感器提供更好的图像，但是，可能缺少IR传感器的类似照片一样的质量。

比较图像区的对比值

通过将图像划分成区、根据定义的区产生对比映象、以及利用一种选择标准或多种标准比较对应的对比映象值，来比较图像区的对比值(步骤204)。比较是基于对准或预对准的图像，或排列以允许有关图像区的比较的图像。因此，如果处理不重叠的图像，那么预对准或对准它们，以便能够像下面要进一步详细说明的那样比较有关的区。然后，选择对比值(步骤206)，例如，基于选择较大或最大比较值的选择标准。也可以使用其它选择标准，例如，持续时间、亮度、颜色等等。

将图像划分成区

最初，将传感器图像划分成如图6A-F中所示的图像区。可以在逐个像素600a-b、601a-b的基础上划分图像(图6A-B)，或根据像素组602a-b、604a-b划分图像(图6C-D)。一个像素或像素组可以是“黑色或白色”，以代表单色图像，不同的灰色深浅度(灰度)代表一个具有不同强度等级的图像。一个像素或像素组也可以具有起到形成彩色图像部分作用的红、绿、和蓝色点。此外，可以把图像区定义为任意形状的区或边界606a-b、608a-b、610a-b、612a-b(图6E-F)。结果，对于每个传感器图像中的每个区，可以把一个图像区与另一个对应的图像区进行比较。例如，参考图6A-B，可以将区600a(x₁＝1，y₁＝12)与区600b(x₂＝1，y₂＝12)比较；并且把区601a(x₁＝17，y₁＝10)与区601b(x₂＝17，y₂＝10)比较。

为了便于说明，图5A-B以及图6A-F中所示的相关示例图像区包括带有总体上对准或预对准图像区的相同或基本相同的图像，例如，对准或预对准的像素、像素组、或任意形状的区。也就是说，图5A-B示出了重叠的图像(100％重叠)，或具有高重叠度的图像(几乎相同的传感器图像)。结果，图6A-F中的图像区在一系列的对应图像中相互对准。因此，不管如何将传感器图像划分成图像区，对象(例如，树607)总是在传感器图像内几乎相同的相对位置上，存在于两个传感器图像的相同图像区中。

但是，熟悉本领域的人员应当知道，本系统和方法可以用于不同数量、类型、和组合的传感器图像中，根据传感器的场所、位置、视野以及检测能力，这些传感器图像具有不同的重叠度。在包括不同重叠度的情况下，可以对准或预对准图像区，以便能够执行比较。

例如，传感器可以位于紧靠在一起的位置(例如，飞行器前部或底部附近)，以检测基本相同的图像，例如，图5A-B中所示的跑道场景。结果，如图6A-F中所示，相同或类似图像中的图像区以相对应的方式相互对准。在这些情况下，图像由于带有相同的边界和视野而通常被认为是相同的，则可以把应用了选择处理或标准的图像区(或为了在形成处理图像中选择和使用而“竞争”的图像区)考虑为图6A-F中的所有对准的图像区。

作为一个进一步的示例，一个传感器可以检测第一图像，而另一个不同的传感器可以除了检测额外的场景因素之外，也检测几乎与第一图像相同的图像。例如，这可能发生在传感器处于相互远离的位置时，或位于具有不同视野的位置上时。在这种情况下，可以把选择处理应用于一些或所有重叠区。通过使用对比比较之类的选择处理或标准来处理图像区。比较竞争区，并选择图像区以形成处理或融合图像。不重叠或不竞争的图像区可以用不同的方式处理，例如，根据源和融合或处理图像的质量、传感器类型、以及使用者与系统需要。例如，可以把不重叠图像加到处理图像上，作为填充景色或背景。作为替代方案，可以从处理或融合图像中放弃或排除不重叠图像。在一些情况下，根据特定的系统和应用，可以不处理重叠区。

因此，本方法和系统可以用于具有不同重叠度的图像，以及具有不同对准度的图像区。重叠和对准变化可能来自具有不同检测能力和位置的传感器。但是，为了便于说明，本说明书和附图涉及和显示了具有对准的对应图像区的高重叠度的图像。结果，大部分或所有图像区都是竞争图像区，并且用选择标准处理。但是，可以配置本方法和系统，以处理其它具有不同重叠、对准、和对应程度的图像区配置。

产生对比映象

如图7A-B中所示，为对应雷达和IR图像而产生了对比映象700，710。每个对比映象包括用于标识该对比映象内每个定义图像区的对比值。继续使用雷达和IR传感器的例子，图7A示出了雷达图像的对比映象700，包括对比值，雷达图像划分成的每个图像区均有一个对比值。同样，图7B示出了IR图像的对比映象710，包括对比值，IR图像划分成的每个图像区均有一个对比值。根据本发明，每个对比映象700和710可以有任何数量的图像区，其中这个数量最好是相等的，并且图像区对应着雷达和IR传感器提供了100％重叠图像的位置。

对于这个雷达映象示例，图像/映象顶部和底部702、706中的对比值是相对低的值，并且中部704中的对比值是相对高的值。对于IR映象示例，中部714的对比值是相对低的值，而顶部和底部712、716中的对比值是相对高的值。

根据本发明，包括每个图像区的对比值在内的对比映象，是经过诸如带有适当的核的卷积产生的。一个可以使用的卷积和核的示例是，一个2维(3×3)标准化卷积核：

K_c*S1(x，y)，K_c*S2(x，y)

其中

^*代表一个卷积；

K_{c} = [\begin{matrix} - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \\ - \frac{1}{2} & 2 \frac{1 + \sqrt{2}}{\sqrt{2}} & - \frac{1}{2} \\ - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \end{matrix}] &cong; |\begin{matrix} - 0.354 & - 0.500 & - 0.354 \\ - 0.500 & 3.414 & - 5.00 \\ - 0.354 & - 0.500 & - 0.354 \end{matrix}|

x，y是图像的空间坐标，范围分别是从0至图像宽度(w)和高度(h)；

S1是第一传感器图像，例如，mmW雷达图像流；以及

S2是第二传感器图像，例如，IR图像流，假设与第一或雷达图像空间预对准或对准。

示例核K_c包括反映离开其中心的距离量的值。作为卷积的结果，产生包括每个图像的图像区对比值的对比映象。

处理器可以利用C语言或另一种编程语言的程序，或在专用集成电路硬件中执行卷积运算。通过使用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、或其他基于硬件的装置，可以取得卷积运算的实时实现。

对比值的选择

图8A-B示出了在形成处理图像中使用的像素值，上述象素值是根据对图7A-B中对比映象的对比值进行比较而使用的选择标准进行选择的。在本例中，运用选择标准以选择雷达图像的图像区与IR图像对应图像区之间的对比值中较大的一个，图8A示出了图7A选择的(雷达)对比值的像素值，如上所述，它们一般存在于雷达图像的中间部分800。同样，通过在相同的选择标准下运行系统S，图8B示出了图7B中选择的(IR)对比值的像素值，如上所述，它们一般存在于IR图像的顶部810和底部820。

从每个图像中选择与选定的对比值相关联的图像区，然后与其它如此选定的图像区组合(或“拼接”)，以形成处理或融合图像，例如，图5C中所示的融合图像。因此，在本例中，根据最大对比值选择图像区的标准可以按如下方式表示：

F_max-con(x，y)＝max{K_c*S1(x，y)，K_c*S2(x，y)}

其中基于每个区执行“最大标准(maximum criteria)”运算，例如，在基于一个或更多像素或一个任意形状的区。因此，根据最大对比的图像区的选择，实质上用作产生包括来自不同图像的图像区的组合或超集的融合图像的像素值。作为选择处理的结果，根据图像的内容和对比值，图像区可以全都从一个单一图像中选择，或从多个图像中选择。一些传感器图像可能并不向融合或处理图像提供任何图像区。例如，如果第一图像的所有对比值都是从其本身确定或选择的，那么处理或融合图像与第一图像相同。作为另一个例子，如果对比值是从第二和第三图像选择，而不是从第一图像选择的，那么融合图像包括来自第二和第三图像的区，而没有第一图像的区。因此，在具有图像区A、B和C的处理图像中，图像区A来自传感器图像1，图像区B来自传感器图像2，并且图像区C来自传感器图像3。

上述涉及卷积运算应用的例子导致了两个对比映象的产生。的确，可以执行其它数量和组合的卷积，以产生在多个比较或多个传感器图像中使用的多个对比映象。例如，参考图9，图像900-912由对应的传感器产生。将一个带有适当核910-912的卷积应用到与图像900-902相对应的数据，以产生如下的对应对比映象920-922：

K_c*S1(x，y)，K_c*S2(x，y)，K_c*S3(x，y)

其中第三传感器S3也是一个IR传感器。熟悉本领域的人员应当知道，可以将不同的核用于相同或不同的传感器。因此，例如，涉及三个卷积的处理可以使用三个不同的卷积核。

然后，将三个图像的对应对比值进行比较930，并根据选择标准选择对比值940。选择的图像区945对应于选择的对比值。根据最大对比值选择标准的图像区的选择可以表示如下：

F_max-con(x，y)＝max{K_c*S1(x，y)，K_c*S2(x，y)，K_c*S3(x，y)}

然后，将从一个或更多传感器图像中选择的区拼接成一个处理或融合图像950。因此，在本例中，将所有的对应对比值放在一起比较(同时比较三个对比值)，以选择具有最大对比值的图像区。

在一个可选实施例中，可以重复执行多次卷积，以产生对应的对比映象，将对比映象的值反复比较，以最终形成处理图像。例如，参考图10，如上所述，经过卷积和适当的核，为每个图像900-902形成对比映象920-922。但是，不是将每个对比映象的所有对应值一起比较，而是可以利用不同的对比-选择核，执行对比映象的反复比较。

因此，例如，执行对比映象920和921中对比值的比较1000，导致根据诸如较大或最大对比值而选择一个对比值集1010。有选择地组合选定的对比值，以形成中间图像或对比映象1030。

然后，可以将对比映象1030中的对比值与来自第三图像902中对比映象922的对比值进行比较1040。选择或确定对比值1050，并选择对应于选定的对比值的图像区1055。选定的区形成处理或融合图像1060。熟悉本领域的人员应当知道，可以利用相同或不同的卷积核，对不同数量的对比映象执行不同数量的反复或比较。因此，本图像处理系统和方法提供了适合于利用卷积的不同应用的灵活图像融合。

纠正融合图像的亮度

如果希望，可以根据使用的传感器类型及产生的传感器图像和融合图像的质量，纠正或调节融合图像的亮度。当融合图像对于飞行员来说不够清楚时，亮度纠正是特别有用的。

在涉及雷达和IR图像的示例中，如图5C所示，融合图像中存在着很大的人为因素。人为因素来自融合图像的亮度不一致，导致融合图像上不连续的亮度。在这个例子中，从雷达图像选择的高对比度区(本例中的中央水平带)一般比来自IR图像的高对比度区暗。产生的处理或融合图像的亮度分布在两个输入传感器的亮度之间变化。例如，一般从雷达图像选择跨越图像中央的暗带，在该区中，暗带具有比IR图像更高的对比度，但是具有较低的亮度。这降低了融合图像的总体清晰度。

可以调节融合图像内的亮度分布，以产生更清楚的融合图像。亮度调节是通过确定参考传感器产生的图像区中的平均亮度值，并根据对应的确定值调节融合图像的区的强度而进行的。在图5A和5B的示例图像中，亮度调节技术是基于在传感器图像的垂直截面(例如，从地平线到近景线的天空)中变化的亮度，但是在任何水平截面中是不可预测的(例如，以任何特定仰角跨越图像)。

参考传感器

亮度纠正可以通过选择一个传感器作为参考传感器并调节融合图像的亮度以匹配或接近参考传感器的亮度分布而进行。参考传感器可以是任意选择的，或根据在特定情况下的传感器的预期应用选择的。例如，雷达传感器在低能见度条件下通常能够提供比IR传感器更多的图像细节。但是，IR传感器至少在较近的范围内能够提供更自然或照片一样的图像。

为了便于说明，本说明书将IR传感器I(x，y)作为亮度分布的参考传感器，以便从该传感器捕获图像的自然特性。

确定平均亮度

调节亮度涉及确定特定图像区中参考传感器的平均亮度，例如，特定图像区是沿每个图像平行于场景地平线的截面的条带。场景地平线是指“实际的”真实世界地平线。在飞行器翻滚、倾斜转弯、或其它运动过程中，场景地平线可以处于一个相对于图像水平的角度。

确定每个参考传感器图像的每个这种条带的平均亮度。然后，把获得的亮度值加到融合图像的每个对应条带上，以调节融合图像的亮度。此外，如果必要，可以给亮度加权，以获得特定的亮度调节效果。可以使用权数λ来减小亮度补偿的效果，尽管已经确定了λ＝1在大多数情况下能够提供足够清楚的调节融合图像。

因此，融合图像中调节亮度的方法可以表示如下：

F_{LC} (x, y) = F (x, y) = \frac{λ}{w} Σ_{x = 0}^{x = w} I (x, y)

其中，F(x，y)是融合图像的亮度值；

λ是不同程度的亮度调节的加权因数；

w是从x＝0至x＝w的图像的宽度；以及

F_LC(x，y)是亮度补偿的融合图像。

熟悉本领域的人员应当知道，可以沿除了水平截面之外的不同截面，以及用除了跨越图像条带之外的不同片段，对参考传感器图像进行采样。截面和采样片段可以根据各种不同因素进行选择，包括传感器类型、传感器图像、图像的方位、以及使用的系统或方法。但是，为了便于说明，本说明书对参考传感器图像中条带截面的采样以及处理图像中对应条带的纠正进行说明。

图11中示出了应用亮度调节的一个示例。亮度纠正之前融合图像1100中描绘的跑道场景包括使处理或融合图像失真的许多人为因素。结果，跑道场景有些不太清楚，特别是在图像的中间部分。图像1110代表了亮度纠正并且选择IR传感器作为参考传感器之后的相同图像1100。

通过比较图1100(亮度纠正之前)和1110(亮度纠正之后)可以看到，亮度补偿的图像显示出海拔高度上较小的突然亮度变化，否则这种情况将产生噪声图像。结果是产生更清楚的处理或融合图像。

可以通过纠正融合图像的不同条带或区来执行融合图像的亮度纠正。例如，为参考传感器图像中的一个图像线或条带确定参考传感器的平均亮度。利用诸如前面所述的亮度调节方法，处理从参考传感器图像确定的平均亮度值，将它加到对应融合图像线或条带中的每个像素中。

在一个可选实施例中，通过使用来自参考传感器图像中一条线的平均或确定的亮度值，并把它作为对处理或融合图像中的线的纠正进行应用，就可以提高处理效率，该线邻近融合图像中与参考传感器图像中确定的线相对应的线(例如，紧靠对应确定的线之上或之下的那条线)。由于连续的图像线之间的平均值一般不会发生实质变化，所以将亮度值应用到随后的线一般是可以接受的。也可以使用这种技术调节紧靠主题线之上或之下的线，或调节根据亮度变化与参考线相分离的数条线。

亮度纠正也适用于场景地平线不平行于图像水平线的情况，例如，当飞行器翻滚或向一侧转弯时。在这种情况下，一般可以从飞行器的方位传感器知道场景地平线角度和海拔高度。可以从参考传感器计算亮度纠正，并存储为一个二维查询表。在逐个像素的基础上，将从查询表得到的纠正值应用到融合图像。为了尽量减少等待时间和处理时间，如果对于全图查询表而言存在足够的存储器存储资源，那么可以根据在前一帧计算的值，将表值应用到当前帧。根据每个传感器产生的图像的细节，这些需求可以近似等于图像帧的大小或其它大小，例如，对于一个每像素8位的传感器，图像帧的大小是320×240字节。

传感器图像的空间预滤波

也可以对传感器图像的区或部分进行滤波，以简化比较对比值的处理和选择标准的应用。可以将滤波的区表示为一个小于1的数，以减少它们对融合图像的作用，或是表示为零，以完全排除它们对融合图像的作用，从而简化和减少处理时间。

可以滤波的图像区包括处于融合图像之外的图像部分，例如，在使用雷达传感器的情况下，雷达地平线以上的区。如果使用雷达传感器，那么雷达地平线以上一般没有有用的信息(即超出了雷达传感器的检测限度)，并且在近场(至少在较高的海拔高度)几乎没有信息。IR传感器一般在较短的范围(近场)最有效，特别是在由于传感器不能穿透雨或雾之类的障碍而不能检测远场的气候条件下。因此，利用雷达或IR传感器，可以通过预先滤波去掉雷达地平线以上和近场中的雷达图像区，还可以通过预先滤波去掉远场中的IR图像区。根据传感器、产生的结果图像、以及使用者或系统的需要，可以通过滤波去掉其它场和区。

图12A-B示出了一般的空间滤波器。图12A示出了用于雷达传感器产生的图像的滤波器。更具体地讲，滤波器除去雷达传感器最无效的信息，即，雷达地平线1200以上或近场1204位置的信息，而允许剩余雷达传感器信息1202通过，并且包括在对比映象中。滤掉的数据表示为暗区1200、1204。同样地，在图12B中，滤波器除去IR传感器最无效的信息，即，远场1212的信息，而允许剩余信息1210和1214通过，并包括在对比映象中。尽管图12A-B专门示出了互补的滤波器，但是熟悉本领域的人员应当知道，并不总是存在不同传感器/图像组合的情况。不同传感器可能需要不同的滤波函数。

一种滤波图像区的技术是通过选择依赖于空间的α和β加权函数而实现的。继续参见雷达和IR图像的示例，可以选择加权函数以加重强调雷达图像在雷达信号最强的区域中的作用，以及加重强调其它地点的IR信号。

加权函数可以通过空间滤波或其它不会引入不必要的人为因素的光滑函数来实现，例如，如下的一维高斯加权函数：

α (x, y) = α_{M} e^{- b_{m} {(y - y_{0})}^{2}} + p_{M}

β (x, y) = α_{1} (1 - e^{1 b_{1} {(y - y_{0})}^{2}}) + p_{1}

其中：

α_m和α₁确定高斯函数的最大幅度(通常是1，但是也可以用其它值来加重强调一个传感器，或补偿消隐电平值，P_M和P₁)；

b_M和b₁确定高斯函数宽度，即，传感器效益区或传感器信息群集区；以及

y₀在需要时将高斯函数的中心在图像中垂直向上和向下转移。

图13A-B示出了这种加权函数的更详细的示例。图13A-B示出了与雷达和IR传感器相对应的示例滤波器透明度分布的曲线图1300、1310。在曲线图1300、1310中，水平或“x”轴代表沿对应图像的线或截面。垂直或“y”轴代表滤波器透明度或透射能力。

参考图13A，滤波曲线1300将滤波加权显示为对应于图13C中垂直位置的函数。曲线示出了透射值，百分比，或比率：0.0(没有数据发送)，0.2，0.4...1.0(所有数据发送)。因此，设计这个示例滤波器以减小雷达图像的最无效部分的重要性，即，雷达地平线1320以上和近场1324部分。结果，具有高透射率(即，1.0)的滤波器被应用到雷达图像的最有效部分，即，远场或图像的中间部分1322。

更具体地讲，配置具有全对比周期的雷达滤波器的例子：在图像的中央，具有100％的最大透明度，而在图像的上和下边缘的透明度是0％。构造具有50像素标准偏差的示例滤波器1300。根据使用的传感器和希望得到的滤波效果，可以使用不同的滤波器配置和函数。

图13B示出了作为与图13D中垂直位置的函数相对应的滤波加权。设计这个滤波器1310，以减小IR滤波器的最无效部分，即，减小中央图像或远场带1332的重要性，并且强调较强区1330、1334的重要性。示例IR滤波器具有75％的最大对比度：它从图像中央大约25％的透明度变化到上下边缘的100％的透明度，并且具有与滤波函数1300相同的50像素标准偏差。

以这种方式加权传感器图像，实质上是预选择包含有用和相关信息的图像区，因此，是包括在融合图像中的侯选区。此外，通过对较少可用信息的区进行滤波，可以减少处理时间。

继续参照雷达和IR图像的示例，图14A-F中进一步示出了图像区的预选或滤波。

图14A示出了雷达传感器产生的原始雷达图像1400。如在图像1400中可以看到的，中间区1404或远场包含有与区1402(雷达地平线上方)和1406(近场)相比最多的信息。图14B示出了滤波器1410。滤波器包括一个对应于雷达图像区1404的高透射部分1414，以及对应于雷达图像区1402和1406的低透射部分1412和1416。因此，滤波器减小了雷达有效性最低的区1402、1406的重要性。图14C示出了滤波后的雷达图像1420，该图像中强调了远场或中间区1404，以提供最有关的信息。

同样地，图14D示出了IR传感器产生的原始IR图像1430。从图像1430可以看到，与区1434(远场)相比，顶部和底部区1432(雷达地平线以上)及1436(近场)包含着最多的信息。图14E示出了滤波器1440。滤波器包括对应于IR图像的区1432和1436的高透射部分1442和1446，以及与IR图像的区1434相对应的低透射部分1444。因此，滤波器减小了IR最无效的区1434重要性。图14F示出了滤波后的IR图像1450，该图像中强调了上述雷达地平线区1432和近场区1436，以提供最多的相关信息。

为了最佳滤波，根据专用系统的需要和设计，加权函数应当说明状态或操作参数。例如，如图15A-E中所示，在飞行器中，滤波可以是导致场景地平线旋转的飞行器翻滚或其它移动或方位的函数。因此，加权函数的方位可以匹配滤波。此外，滤波可以是飞行器俯仰和海拔高度的函数，这二者都影响雷达的有效视野，并且通常会影响加权函数的标准偏差和垂直位置。

因此，例如，图15A示出了一个原始雷达图像1500。图15B示出了正常条件，即没有飞行器翻滚的加权或滤波函数1510。图15C示出了滤波后的雷达图像1520。结果，滤波器1510和滤波的雷达图像1520都平行于场景地平线，并且没有显示出任何角度调节。

图15D示出了反映飞行器大约翻滚5度的加权或滤波函数1530。更具体地讲，滤波器的透射部分旋转了大约5度。图16E示出了反映滤波函数被旋转大约5度，以引起飞行器翻滚大约5度的滤波后雷达图像1540。

预滤波、基于对比的图像融合、和亮度纠正的组合

根据传感器及传感器和融合图像的合成质量，可以将空间预滤波和/或亮度纠正应用到图像中，作为图像融合处理的一部分。

如果仅执行基于对比的图像融合和亮度纠正，那么它们通常是以所述的顺序完成。如果执行三种处理，那么一般首先执行空间预滤波，然后是基于对比的传感器融合，最后是亮度纠正。这种顺序一般会带来更有效的融合图像，同时减少了处理时间。亮度纠正在正常情况下应当在预滤波和基于对比的融合二者之后，以取得最接近所希望的亮度分布，并防止由于后续处理的结果而造成的图像亮度分布变化。通过以这种方式使用这些技术，通过使流水线延迟和数据等待时间减到最少，提高了系统性能。这些提高在图像处理时间紧张的情况下是特别有用的，例如，空运、循环中引导应用、或其它使用实时图像处理的应用。

尽管在上述说明中参考了优选实施例，但是熟悉设计图像处理系统的技术人员应当知道，可以对上述优选实施例进行非实质性的修改、变更、和替换，而不脱离从属权利要求中说明的发明。

因此，尽管在优选实施例的说明中是处理来自与飞行器结合的雷达和IR传感器的两个图像，但是，熟悉本领域的人员应当知道，可以使用来自其它类型、组合、数量的传感器的图像。例如，系统可以由三个、四个、五个、或其它数量的传感器实现，而不是由两个传感器实现。此外，取代雷达和IR传感器，系统可以处理多种图像，它们来自于不同波长的相同类型的传感器，紫外线(UV)传感器，基于有源或无源射频(RF)系统的传感器；超声波传感器，例如低照度可见频带传感器之类的可见频带传感器，电荷耦合器件(CCD)，或彩色或灰度照相机。此外，熟悉本领域的人员应当知道，除了处理飞行器图像之外，本图像融合系统和方法也可以在其它应用中使用。例如，该系统和方法可以通过结合其它运动的交通工具、医学过程、监视、和涉及多个图像或传感器的其它监视和图像处理应用而进行使用。此外，熟悉本领域的人员应当知道，融合或处理图像可以根据各种不同选择标准或处理过程形成，较大或最大对比值只是示例标准。

Claims

1.一种使用多个图像形成处理图像的方法，每个图像均由对应的传感器产生，该方法包括：

将每个图像划分成多个图像区；

产生每个图像的对比映象，每个对比映象均包括每个图像区的对比值；

将选择处理过程应用到所述对比值，以选择在所述处理图像中使用的图像区；以及

利用选定的图像区形成所述处理图像。

2.根据权利要求1所述的方法，其中将图像划分成多个图像区的方法进一步包括：在逐个像素的基础上，将每个图像划分成像素块，或划分成任意形状的区。

3.根据权利要求1所述的方法，其中产生对比映象的方法进一步包括：执行卷积运算以确定对比映象的对比值。

4.根据权利要求3所述的方法，其中执行卷积运算进一步包括：利用核K_c执行卷积运算，其中

[{K_c*S1(x，y)，K_c*S2(x，y)}]代表卷积；

K_{c} = |\begin{matrix} - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \\ - \frac{1}{2} & 2 \frac{1 + \sqrt{2}}{\sqrt{2}} & - \frac{1}{2} \\ - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \end{matrix}| &cong; |\begin{matrix} - 0.354 & - 0.500 & - 0.354 \\ - 0.500 & 3.414 & - 5.00 \\ - 0.354 & - 0.500 & - 0.354 \end{matrix}|

S1代表第一图像的图像区；

S2代表第二图像的图像区；以及

(x，y)代表图像的空间坐标。

5.根据权利要求1所述的方法，其中每个传感器检测一种不同的波长。

6.根据权利要求1所述的方法，其中多个传感器包括红外线(IR)传感器和雷达传感器。

7.根据权利要求1所述的方法，其中多个传感器包括红外线(IR)传感器和一个紫外线(UV)传感器。

8.根据权利要求1所述的方法，其中多个传感器包括雷达传感器和紫外线(UV)传感器。

9.根据权利要求1所述的方法，其中通过两个或更多红外线(IR)传感器产生多个图像，每个IR传感器检测一种不同的波长。

10.根据权利要求1所述的方法，其中应用选择处理过程包括：比较分别来自于两个图像的两个对应图像区的竞争对比值。

11.根据权利要求10所述的方法，其中执行所述选择处理过程，以选择较大的竞争对比值。

12.根据权利要求10所述的方法，其中比较竞争对比值进一步包括比较重叠图像区的对应对比值。

13.根据权利要求1所述的方法，其中将第一、第二和第三传感器的对比映象的对比值一同比较，以形成所述处理图像。

14.根据权利要求13所述的方法，进一步包括：

从第一和第二传感器图像中识别对比值，以形成一中间对比映象；

将选择处理过程应用于中间对比映象的对比值和第三传感器图像的对比映象的对比值；以及

利用选择的图像区形成所述处理图像。

15.根据权利要求14所述的方法，其中第一和第二传感器是红外线(IR)传感器，并且第三传感器是雷达传感器。

16.根据权利要求1所述的方法，其中传感器图像显示来自于运动交通工具的视图。

17.根据权利要求16所述的方法，其中运动交通工具是飞行器、船只、汽车、或火车。

18.根据权利要求1所述的方法，进一步包括调节所述处理图像的一个或更多区的强度。

19.根据权利要求18所述的方法，进一步包括给强度调节的程度加权。

20.根据权利要求18所述的方法，其中调节强度进一步包括调节跨越所述处理图像的亮度。

21.根据权利要求18所述的方法，其中调节跨越所述被处理图像的强度进一步包括：

选择一个传感器作为参考传感器；

确定参考传感器图像的每个区的平均强度；以及

通过组合所确定的平均亮度值和所述被处理图像的强度值，调节所述被处理图像中一个或更多区的强度。

22.根据权利要求21所述的方法，其中传感器包括雷达传感器和红外线(IR)传感器，并且其中参考传感器由雷达传感器组成。

23.根据权利要求21所述的方法，其中传感器包括雷达传感器和红外线(IR)传感器，并且其中参考传感器由红外线(IR)传感器组成。

24.根据权利要求21所述的方法，其中调节所述处理图像中一个或更多区的强度进一步包括，调节所述处理图像中一条线的强度，该线与确定了平均强度的参考传感器图像中的一条线相对应。

25.根据权利要求24所述的方法，其中调节所述处理图像中一个或更多区的强度进一步包括，调节所述处理图像中的一条线的强度，这条线与所述处理图像中的一条线相邻接，该处理图像中的线对应于确定了平均强度的参考传感器图像中的同一条线。

26.根据权利要求21所述的方法，其中场景地平线相对于图像地平线被重新定位成一定角度，进一步包括：

在逐个像素的基础上，确定参考传感器图像的平均强度；以及

在逐个像素的基础上，调节所述被处理图像的强度。

27.根据权利要求26所述的方法，其中由于翻滚、倾斜转弯、偏航、或俯仰，而重新定位场景地平线。

28.根据权利要求1所述的方法，在产生每个图像的对比映象之前，进一步包括对一个或更多图像的区进行滤波。

29.根据权利要求28所述的方法，其中滤波进一步包括通过给选定的图像区加权，对每个图像的区进行空间滤波。

30.根据权利要求29所述的方法，其中传感器包括雷达传感器，并且其中空间滤波是通过对雷达地平线以上的图像区进行滤波而进行的。

31.一种组合多个图像以形成一个最终图像的系统，包括：

多个分别产生图像的传感器；

一个处理器被配置，将每个图像划分成多个图像区；产生每个图像的对比映象，并且每个对比映象包括每个图像区的对比值；将选择标准应用于所述对比值以选择一个在所述被处理图像中使用的图像区，以及利用选择的图像区形成所述被处理图像。

32.根据权利要求31所述的系统，其中处理器被配置，以将每个图像划分成独立的像素，像素块，或任意形状的区。

33.根据权利要求31所述的系统，其中处理器被配置，以通过执行卷积运算确定对比映象的对比值而产生对比映象。

34.根据权利要求33所述的系统，其中处理器被配置，以利用核K_c执行卷积运算，其中

[{K_c*S1(x，y)，K_c*S2(x，y)}]代表卷积；

K_{c} = |\begin{matrix} - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \\ - \frac{1}{2} & 2 \frac{1 + \sqrt{2}}{\sqrt{2}} & - \frac{1}{2} \\ - \frac{1}{2 \sqrt{2}} & - \frac{1}{2} & - \frac{1}{2 \sqrt{2}} \end{matrix}| &cong; |\begin{matrix} - 0.354 & - 0.500 & - 0.354 \\ - 0.500 & 3.414 & - 5.00 \\ - 0.354 & - 0.500 & - 0.354 \end{matrix}|

S1代表第一图像的图像区；

S2代表第二图像的图像区；以及

(x，y)代表图像的空间坐标。

35.根据权利要求31所述的系统，其中每个传感器检测一种不同的波长。

36.根据权利要求31所述的系统，其中多个传感器包括红外线(IR)传感器和雷达传感器。

37.根据权利要求31所述的系统，其中多个传感器包括红外线(IR)传感器和紫外线(UV)传感器。

38.根据权利要求31所述的系统，其中多个传感器包括雷达传感器和紫外线(UV)传感器。

39.根据权利要求31所述的系统，其中多个传感器包括两个或更多的红外线(IR)传感器，每个IR传感器检测一种不同的波长。

40.根据权利要求31所述的系统，其中该处理器被进一步配置，以比较分别来自两个图像的两个对应图像区的竞争对比值。

41.根据权利要求40所述的系统，其中该处理器被进一步配置，以选择较大的一个竞争对比值。

42.根据权利要求40所述的系统，其中该处理器被配置，以比较重叠图像区的对应对比值。

43.根据权利要求31所述的系统，其中将第一、第二和第三传感器的对比映象的对比值一同比较以形成最终图像。

44.根据权利要求43所述的系统，其中该处理器被进一步配置，以

从第一和第二传感器图像识别对比值，以形成一中间对比映象，

将选择处理过程应用于中间对比映象的对比值和第三传感器图像的对比映象的对比值，以及

利用选择的图像区形成所述处理图像。

45.根据权利要求44所述的系统，其中第一和第二传感器是红外线(IR)传感器，并且第三传感器是雷达传感器。

46.根据权利要求31所述的系统，其中一个传感器图像显示来自一个运动交通工具的视图。

47.根据权利要求46所述的系统，其中运动交通工具包括飞行器、船只、汽车、或火车。

48.根据权利要求31所述的系统，其中该处理器被进一步配置，以调节所述处理图像的一个或更多区的强度。

49.根据权利要求48所述的系统，其中该处理器被进一步配置，以调节跨越所述处理图像的强度。

50.根据权利要求49所述的系统，其中该处理器被配置，以给强度调节的程度加权。

51.根据权利要求49所述的系统，其中该处理器被进一步配置，以

选择一个传感器作为参考传感器，

确定参考传感器图像的每个区的平均强度，以及

通过组合所确定的平均亮度值和所述处理图像的强度值，调节所述处理图像中一个或更多区的强度。

52.根据权利要求51所述的系统，其中传感器包括雷达传感器和红外线(IR)传感器，并且其中参考传感器由雷达传感器组成。

53.根据权利要求51所述的系统，其中传感器包括雷达传感器和红外线(IR)传感器，并且其中参考传感器由红外线(IR)传感器组成。

54.根据权利要求51所述的系统，其中该处理器被配置，调节所述处理图像中一条线的强度，该线与确定了平均强度的参考传感器图像中的一条线相对应。

55.根据权利要求51所述的系统，其中该处理器被配置，调节所述处理图像中的一条线的强度，这条线与所述处理图像中的一条线相邻接，该处理图像中的线对应于确定了平均强度的参考传感器图像中的同一条线。

56.根据权利要求51所述的系统，其中场景地平线相对于图像地平线被重新定位在一定角度，该处理器被进一步配置，以

在逐个像素的基础上确定参考传感器图像的平均强度，以及

在逐个像素的基础上调节所述处理图像的强度。

57.根据权利要求56所述的系统，其中由于翻滚、倾斜转弯、俯仰、或偏航运动，相对于图像地平线重新定位场景地平线。

58.根据权利要求31所述的系统，其中该处理器被配置，对一个或更多图像区进行滤波。

59.根据权利要求58所述的系统，其中该处理器被配置，通过给选定的图像区加权而对一个或更多图像区进行滤波。

60.根据权利要求58所述的系统，其中传感器包括雷达传感器，并且其中该处理器被进一步配置，以对雷达地平线以上的图像区进行空间滤波。