CN108885788B - 图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理方法(10)，使用覆盖可见范围的第一图像传感器和覆盖红外范围的第二传感器。根据本发明，该方法涉及：a)使用第一图像传感器获取(12)所述给定空间区域的第一图像I₁；b)使用第二图像传感器获取(14)所述给定空间区域的第二图像I₂；c)分解第一图像I₁，以便获得至少一个亮度图像I_1L；d)获得由亮度图像I_1L与第二图像I₂的数字融合(22)产生的图像I_f；以及e)将颜色信息添加到经融合的图像I_f，或在融合阶段d)期间添加颜色信息。

Description

图像处理方法

技术领域

本发明涉及一种图像处理方法，其旨在用于给定观察空间区域的判别分析。判别分析可以例如包括威胁检测。

背景技术

在操作领域，可能需要在白天期间和较低亮度的时期(特别是在夜间)两者期间，使光学威胁检测工具/装置可用。

已知的装置包括壳，其容放两个图像传感器，其中的第一个能够覆盖第一光谱范围，并且其中的第二个能够覆盖不同于第一光谱范围的第二光谱范围，其中第一和第二图像传感器能够形成同一给定空间区域的图像，并且处理装置能够基于从第一传感器和/或第二传感器获得的图像来检测位于所述区域中的威胁。

使用能够覆盖不同光谱范围的多个图像传感器允许检测大量威胁，特别是具有非常不同波长的威胁。还可以区分多种类型的威胁，取决于它们是否由第一传感器和/或由第二传感器检测到。

然而，在这种类型的装置中实施的处理装置不允许在低亮度的条件下使用，诸如在夜间遭遇的那些条件，因此由传感器显示的数据通常无法证明与观察者充分相关。

发明内容

本发明特别旨在以简单、有效和经济的方式避免这些缺点。

为此目的，其提供了一种使用一装置处理图像的方法，该装置包括至少一个壳，该壳包括能够覆盖第一光谱范围的至少一个图像传感器和能够覆盖不同于第一光谱范围的第二光谱范围的至少一个第二图像传感器，其中第一和第二传感器能够形成同一空间区域的图像，其中第一传感器能够覆盖属于可见光谱的波长的范围的光谱范围，其中该方法涉及：

a)依靠第一图像传感器获取所述给定空间区域的第一图像I₁，

b)依靠第二图像传感器获取所述给定空间区域的第二图像I₂，

c)执行第一图像I₁的分解，以便获得至少一个亮度图像I_1L，

d)获得由亮度图像I_1L与第二图像I₂的数字融合而产生的图像I_f，

e)将颜色信息添加到经融合的图像I_f或在融合阶段d)期间添加颜色信息。

两个图像(在这种情况下为I_1L和I₂)的数字融合意味着像素级融合；即，融合是基于图像的像素值直接执行的，在每个图像的整体上。

与现有技术的图像处理方法不同，本发明提供用于分析分别在可见范围中获得的第一图像I₁和例如在红外范围中获得的第二图像I₂的每个的数据量，并将它们数字地融合成新的经融合的图像I_f并添加颜色信息。以这种方式，所获得的最终图像使得其可以向用户恢复包含可更容易被人眼判断或解读的颜色信息的图像，得益于其对可见波长的高灵敏度。

根据另一特性，该方法涉及，在阶段c)之前，使具有最低分辨率的第二图像I₂和第一图像I₁的尺寸适应第一图像和第二图像中的另一图像的尺寸。

该变形阶段还用于在具有最低分辨率的图像上执行几何像差的校准、放大、旋转和移位的操作。

在阶段c)之前，该方法还涉及将第一图像的动态匹配到第二图像的动态。

这种动态的适应本质上旨在使第一和第二图像可比较并允许在后续阶段期间从图像提取最大的数据量。

根据本发明的一个特定实施方式，数字融合包括进行亮度图像I_1L与第二图像I₂的连续的空间频率分解n的阶段。

这些频率分解使得可以局部地判断或解读亮度图像I_1L和第二图像I₂的图像中的每个的内容，即在分析的每个像素的水平上。

根据该方法的另一特性，数字融合阶段涉及：

i.进行将亮度图像I_1L和第二图像I₂分解成连续的空间频率n，分别记录为

和

ii.在每个与频率分量n相关联的图像

的至少一些区域中执行能量计算，

iii.基于在先前阶段处执行的局部分析，针对与频率分量n相关联的图像

中的每个，计算加权图像

iv.对与频率分量相关联的每个图像

执行以下计算：

v.执行所有图像F′_n的重组，其中每个与频率分量n相关联，以便获得所有空间频率的经融合的图像I_f。

根据本发明，亮度图像I_1L与第二图像I₂的数字融合基于频率分析和由人眼执行的图像的对比。

在该方法的一个特定实施方式中，分解成空间频率涉及对每个亮度图像I_1L和第二图像I₂依次应用平均或低通滤波器，根据以下等式：

其中G₁＝I_e*S

S指代低通滤波器

I_e指代输入图像I_1L或I₂

实际上，包含最高频率的图像

由

表示，并且包含最低频率的图像由

表示，其中h表示应用到输入图像I_e的卷积运算的数量。

与本发明的实际实施方式中类似的是，阶段ii)涉及根据以下公式计算能量：

其中k_x和k_y表示分析窗口的尺寸。

该能量计算为尺寸为k_x×k_y的窗口中的局部方差。

加权图像

可按如下方式获得：

其中：

和

这样定义的加权算子使其可以有利于从可见光谱中的第一图像或第二红外图像导出的数据，这取决于它们的相关性。如果能量在两个图像

和

中都是相等的，则加权算子将相等的表示图像中的一个和另一个，如果能量证明是不同的则将不会出现这种情况。

最后，重组阶段涉及执行以下计算：

其中h表示频率分量的数量。

当颜色具有观察者判别/识别的关键方面时，可能优选的是不修改观察目镜中显示的最终图像的比色或色度。

为此，阶段c)因此优选地涉及执行将第一图像I₁分解为亮度图像I_1L和两个色度图像

和

然后，阶段e)涉及将经融合的图像I_f与色度图像

和

重组或重新同步。

在实际的实施方式中，第一传感器能够覆盖属于包括在0.4与1.1μm之间的区间的光谱范围。

在本发明的另一特性中，第二传感器能够覆盖属于红外波长的范围的第二光谱范围。

第二传感器可以能够覆盖属于包括在7.5与14μm之间的区间的光谱范围。

附图说明

本发明的其他细节、特性和优点将在阅读由非限制性实例给出的以下描述同时参考随附附图时显而易见，在随附附图中：

-图1是使用根据本发明的方法执行的主要处理阶段的流程图；

-图2是在数字融合阶段期间执行的主要处理阶段的流程图。

具体实施方式

首先参考图1，其示出了根据本发明的图像采集和处理的原理。根据本发明的图像处理方法旨在在装置中实施，该装置包括容放能够覆盖不同光谱范围的至少两个图像传感器的壳。

通过实例，壳因此包括第一图像传感器，该第一图像传感器覆盖包括在0.4与1.1μm之间位于可见范围中的光谱范围；以及第二图像传感器，该第二图像传感器能够覆盖包括在7.5与14μm之间位于红外范围中的光谱范围。两个传感器都布置在壳中，以便能够形成同一空间区域的图像。

根据本发明的方法10涉及在12中使用第一传感器获取给定空间区域的第一图像I₁，以及在14中使用第二传感器获取同一空间区域的第二图像I₂。

首先，在16中，第二图像I₂经历关于第一图像I₁的重新校准。该选择本质上取决于所使用的传感器的尺寸。通常，红外传感器(诸如第二传感器)具有比处于可见范围的传感器(诸如第一传感器)更低的分辨率。例如，第一传感器可以具有1280×1024像素的图像分辨率，针对10位；而第二传感器可以具有640×480像素的图像分辨率，针对14位。因此，重新校准本质上涉及适应使用第二传感器获得的第二图像的分辨率，使得其对应于使用第一传感器获得的第一图像的分辨率，以便保持第一最佳定义的传感器的分辨率完整。

该重新校准阶段也涉及执行完全的图像畸变或失真，以便考虑到待进行的放大、旋转、偏移和几何像差。为了执行重新校准，信息的元素可以先验地使用，诸如第一和第二传感器的光学系统的光学轴线的虚拟或实际的平行位置。还可以假设对第二图像I₂进行的校准最小。

在另一阶段18期间，其可以在采集第一图像I₁之后立即执行，将第一图像I₁分解成亮度图像I_1L以及两个色度图像

和

被执行。由于图像I₁是模型图像(RGB)，因此需要将此模型图像(RGB)转换为定义了具有三个分量(即亮度分量和两个色度分量)的色度空间的模型的图像。对于每个R、G和B通道，每个像素的值在0与255之间变化。

可以使用的模型的实例是Y'CbCr模型。可以使用其他模型，诸如Y'PbPr模型、Y'UV模型、TSL模型或Lab模型。一般而言，可以使用可以获得一个亮度分量和两个色度分量的任何模型。

这里通过非限制性实例提供将模型图像(RGB)转换成一个亮度分量I₁以及两个色度分量

和

并且可以根据Y'CbCr模型执行的计算。

因此，图像I₁被分解为：

-记录为I_1L的亮度图像，根据以下等式计算：

I_1L＝0,299R+0,587G+0,114B，

-色度图像

根据以下等式计算：

-以及色度图像

根据以下等式计算：

对于模型(RGB)和Y'CbCr两者，每个通道的像素值在这种情况下在0与255之间变化。

在随后的阶段20期间，该方法涉及使图像I_1L与第二图像I₂的动态相适应。如前所述，第一和第二图像不是以相同动态采集的，例如对于第一图像10位并且对于第二图像14位。因此，重要的是使第一和第二图像具有相同的比例，使得可以获得可以比较的关于第一和第二图像中的每个的信息。在实践中，动态的适应允许调整亮度图像I_1L以及两个色度图像

与

的动态，关于第二图像I₂。

在随后的阶段22期间，执行亮度图像

与第二图像I₂的融合，从而获得图像I_f。

最后，在一个或两个最后的阶段24中，将颜色信息添加到经融合的图像I_f，以便在30中获得包括颜色信息的经融合的最终图像。

现在将参考图2详细地描述实际的融合阶段22。

为了能够局部地判断亮度图像I_1L和第二图像I₂中的每个的内容，即在所分析的每个像素的水平上，执行分解成空间频率。因此，对亮度图像I_1L和第二图像I₂执行分解成空间频率。这里参考图像I_1L和I₂，其是在重新校准和动态适应之后获得的图像。

一般而言，为了获得第一空间频率F1(最高频率)，图像首先通过使用平均或“低通”滤波器K进行卷积而被滤波，其可以采用m×m像素的窗口中的简单局部平均的形式，即高斯形状的形式，其随后通过跟随高斯形状的系数对该同一计算窗口的像素进行加权。以这种方式获得“经滤波”的意味着“经低通滤波”的图像G₁：

G₁＝I_e*S

从原始图像减去该经滤波的图像。在这种情况下，获得仅包含高频的图像F1：

F₁＝I_e-G₁＝I_e-(I_e*S)

第二空间频率F₂通过再现先前的模式但是使用先前的经滤波的图像F₁作为输入图像而获得。因此，使用同一低通滤波器如之前一样再次对该经滤波的图像进行滤波，并通过以下差获得图像F₂：

F₂＝G₁-G₂＝G₁-(G₁*S)

通过重复，获得以下内容

G_n+1＝(G_n*S)和F_n+1＝G_n-(G_n*S)

最后的频率h将由最后的卷积表示，并且也将表示图像的局部平均水平：

F_h＝G_h＝G_h-1*S

因此，人们将注意到

其中G₁＝I_1L*S；以及

其中G₁＝I₂*S。

在第二处理期间，在频率分量

和

中的每个的图像的区域的至少一些中执行能量计算。在此选择进行与实时处理兼容的分析，其允许立即向观察者恢复数据。为此，执行通过比较图像

和

中的每个的能量而进行分析。该分析涉及计算以所分析的像素为中心的尺寸为kx×ky的窗口中的局部方差，其产生：

以及，

在后续阶段期间，该方法涉及基于在先前阶段处执行的局部分析，针对与频率分量n相关联的图像

中的每个，计算加权图像

为此，计算这些能量的差：

随后计算最大值：

接下来，针对每个频率分量，计算加权图像，其中这些加权为：

其中P_n(x,y)∈[0,1]

每个空间频率的加权图像

和

随后应用于对应的图像

和

并最终根据以下等式求和：

由于应用了加权，空间频率n的合成图像F′_n(x,y)因此更接近于包含最多信息的图像

或

空间频率的重构是阶段1的逆过程。因此，人们以最低频率h开始，即从上述分解获得的最后一个开始，导致：

G′_h＝F′_h

随后使用先前的空间频率执行重构：

G′_h-1＝F′_h-1+G′_h

如果I_f是重组的结果，则：

其中h表示频率分量的数量。

获取经融合的图像I_f后，该方法涉及将颜色信息添加到经融合的图像I_f。

因此，该方法涉及使用第一传感器的颜色。为此，通过将经融合的图像I_f与色度图像

和

相加或重新同步来执行颜色信息的添加，其动态已经如上所述进行了适应。

在实践中，将理解的是，随着所观察区域的亮度的水平降低，这种类型的颜色信息的添加将证实为越来越不相关。实际上，从色度图像导出的颜色信息将逐渐减少。

应记得，黑暗的水平已经根据下表进行了很长时间的标准化，其为了信息目的而重复并且从最先进的技术已知。

上表中指示的单位为lux(勒克斯)，其是从国际系统导出的单位，使得1lux＝1cd·sr·m^-2。该表示出，暗度水平值取决于照明，与每个黑暗水平相关联的天空类型。

Claims (12)

1.一种图像处理方法(10)，使用如下装置，所述装置包括至少一个壳，包括能够覆盖第一光谱范围的至少一个第一图像传感器和能够覆盖第二光谱范围的至少一个第二图像传感器，所述第二光谱范围不同于所述第一光谱范围，其中所述第一图像传感器和第二图像传感器能够形成同一空间区域的图像，其中所述第一图像传感器能够覆盖属于可见光谱的波长的范围的光谱范围，其中所述方法涉及：

a)依靠所述第一图像传感器获取(12)给定的所述空间区域的第一图像I₁，

b)依靠所述第二图像传感器获取(14)给定的所述空间区域的第二图像I₂，

c)执行所述第一图像I₁的分解，以便获得至少一个亮度图像I_1L，

d)获得由所述亮度图像I_1L与所述第二图像I₂的数字融合(22)产生的图像I_f，

e)将颜色信息添加到经融合的图像I_f，

其中，所述数字融合涉及下述步骤：

i.进行将所述亮度图像I_1L和所述第二图像I₂分解成连续的空间频率n，分别标记为

和

ii.在每个与空间频率n相关联的图像

的至少一些区域中执行能量计算，

iii.基于在先前阶段处执行的局部分析，针对与空间频率n相关联的图像

中的每个，计算加权图像

iv.对于与空间频率相关联的每个图像

执行以下计算：

v.执行所有图像F′_n的重组，其中所有图像F′_n中的每个图像F′_n与空间频率n相关联，以便获得所有空间频率的经融合的图像I_f，

所述步骤ii)涉及根据以下公式计算能量：

其中，k_x和k_y表示分析窗口的尺寸。

2.根据权利要求1所述的方法，其特征在于，所述方法涉及，在步骤c)之前，使所述第二图像I₂和所述第一图像I₁中的具有最低分辨率的一者的尺寸(16)适应所述第一图像和所述第二图像中的另一者的尺寸。

3.根据权利要求1或2所述的方法，其特征在于，所述方法涉及，在阶段c)之前，将所述第一图像I₁的动态(20)与所述第二图像I₂的动态相匹配。

4.根据权利要求1或2所述的方法，其特征在于，所述数字融合包括将所述亮度图像I_1L和所述第二图像I₂分解为连续的空间频率n的步骤。

5.根据权利要求1所述的方法，其特征在于，分解成空间频率涉及：对每个亮度图像I_1L和第二图像I₂依次应用低通滤波器，根据以下等式：

其中G₁＝I_e*S

S指代低通滤波器

I_e指代输入图像I_1L或I₂。

6.根据权利要求1所述的方法，其特征在于，所述加权图像

以如下方式获得：

其中：

并且

7.根据权利要求1所述的方法，其特征在于，重组阶段涉及执行以下计算：

其中h表示空间频率的数量。

8.根据权利要求1或2所述的方法，其特征在于，阶段c)涉及进行将所述第一图像I₁分解为亮度图像I_1L以及两个色度图像

和

9.根据权利要求8所述的方法，其特征在于，阶段e)涉及对所述经融合的图像I_f与所述色度图像

和

求和。

10.根据权利要求1或2所述的方法，其特征在于，所述第一图像传感器能够覆盖属于包括在0.4与1.1μm之间的区间的光谱范围。

11.根据权利要求1或2所述的方法，其特征在于，所述第二图像传感器能够覆盖属于红外波长范围的第二光谱范围。

12.根据权利要求11所述的方法，其特征在于，所述第二图像传感器能够覆盖属于包括在7.5与14μm之间的区间的光谱范围。

Images