CN109544489A - 一种多波段增强视景系统图像融合方法 - Google Patents

Abstract

本发明涉及机载多波段增强视景系统中多传感器图像的处理和融合方法，该增强视景系统至少包含两个响应不同光谱波段的传感器。本发明根据增强视景系统在各个使用阶段对不同波段传感器生成的同一场景的图像进行融合，通过对不同传感器图像进行畸变及空间配准、图像特征和背景提取、特征分析及融合、背景融合、视频融合处理后，使最终输出的图像包含所有传感器图像内容，且可根据需要使得某个传感器图像的内容突出显示。

Description

一种多波段增强视景系统图像融合方法

技术领域

本发明属于光电技术领域，具体涉及多波段增强视景系统中图像融合的方法。

背景技术

目前增强视景系统(下文中，“EVS”)在飞机上的使用已较为普遍，且大部分使用的是单一波段的传感器，主要被用于飞机进近、着陆和滑跑阶段，目前为了适应不同的气象、运行等环境，国内外正在发展和使用多波段的EVS，需要EVS配置多个响应不同波段的传感器对机外环境进行成像，如长波红外用于探测云层、中波红外用于穿透雾霾情况探测机场跑道、近红外和可见光用于探测跑道上的LED灯等，而多个传感器成像融合的效果直接决定了EVS的性能。

因此，提供多波段增强视景系统图像融合方法已成为现实需求。通过对每个传感器图像内容进行处理和分类，结合当前需要，使重要的特征信息在图像中进行突显，以提高EVS的性能，并扩展EVS用途，提高飞行的安全性。

目前多波段增强视景图像有两种较常用的方法，一种为根据飞机不同飞行阶段显示最有效的传感器图像，如：飞机巡航阶段显示长波波段传感器图像以探测前方雷雨区域，飞机进近阶段显示中波传感器图像，以探测飞行跑道等。另一种方法为根据飞机不同飞行阶段不同百分比显示各个传感器图像。这两处理方法都未充分利用多个波段传感器图像中的特征信息，导致一些传感器图像中的特征信息丢失，影响飞行员对当前环境的判断。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种多波段增强视景系统图像融合方法。

技术方案

一种多波段增强视景系统图像融合方法，其特征在于步骤如下：

步骤1：传感器1聚焦在视场上，产生预定区域的图像信号1；

步骤2：传感器2聚焦在视场上，产成预定区域的图像信号2；所述的传感器2与传感器1具有不同特性，相应不同的光谱带；

步骤3：将图像信号1进行畸变校准和空间配准后输出图像1，将图像信号2进行畸变校准和空间配准后输出图像2；

所述的畸变校准采用的公式：

x*＝c1x+c2y+c3xy+c4

y*＝c5x+c6y+c7xy+c8

其中，(x,y)为传感器生成的图像的坐标位置，(x*,y*)为畸变校正后的位置；

或者使用如下公式：

x*＝c1x+c2y+c3xy+c4+c5x2+c6y2

y*＝c7x+c8y+c9xy+c10+c11x2+c12y2

其中c1,c2,……c12为参数，通过在原始图像中插入8个，如果采用第2个公式需要插入12个固定点，寻找其各自在传感器生成图像中对应的位置，带入公式求出c1,c2,……c12的参数值；

对于畸变校正后的图像中A*(x*,y*)的位置的信息，通过上述公式计算后得到对应的传感器图像中A’(x,y)点的位置，如果计算得到的A’位置信息是非整数，则使用下式进行计算A*信息：

g(x^*,y^*)＝ax+by+dxy+e

其中a,b,d,e为参数，将4个角的像素信息带入以上公式求出a,b,d,e，计算出A*(x^*,y^*)的信息；

所述的空间配准：确定一个参考点，每个传感器图像需依据参考图像进行位移，使得每个图像上的参考点的位置与参考图像中的参考点重合；

步骤4：将输出图像1分离为图像特征1和背景1，将输出图像2分离为特征2和背景2，并将背景1和背景2合并为背景图像；

所述的分离方法：

首先将图像分成两路处理过程，1路经过1维低通滤波处理后，再经过2维低通滤波处理，然后再经过1维滤波处理后完成背景的提取，另一路图像数据减去背景图像完成图像特征提取，1维低通滤波计算如下：

Y(n)＝αX(n)(1-α)Y(n-1)

其中Y(n)为本次输出值，X(n)为本次采样值，Y(n-1)为上次输出值，α为加权值；

2维低通滤波的算法如下：

其中x(n-l,m-k)是相邻的像素点，h(x*,y*)为输出像素点，h_i,k为低通滤波参数；

步骤5：将分离的特征1和特征2融合到特征图像中；

步骤6：将分离的背景1和背景2融合到背景图像中；

步骤7：将特征图像和背景图像进行融合输出融合图像。

所述的图像信号1和图像信号2都为数字信号。

所述的步骤4中的图像特征1和图像特征2为图像中比图像RGB平均值高于或低于σ信息。

所述的步骤4中的背景1和背景2为图像RGB平均值σ范围内的信息。

所述的步骤5中的融合方法采用叠加或按比率的方式。

所述的步骤6中的融合方法采用求平均值或按比率的方式。

所述的步骤7中的融合方法采用优先显示特征图像或者是按比率或者叠加的方法。

有益效果

本发明通过对每个传感器所生成图像中包含的特征信息进行充分的识别，将每个传感器图像中的特征信息进行融合显示，充分突出各个传感器图像中包含的特征详细，最终显示的图像能够体现足够的特征详细，使飞行员充分感知当前飞行环境，以便于做出最佳操作。

本发明能够使得背景无关信息能够尽可能的淡化，并使得每个传感器图像中的特征信息能够在最终显示的图像中突出显示。

附图说明

图1是多波段增强视景系统图像融合方法流程图；

图2是图像畸变校正过程示意图；

图3是畸变校正过程中非整数点示意图；

图4是图像空间配准示意图；

图5是图像特征和背景提取过程；

图6是背景融合示意图。

具体实施方式

本发明提供了一种多波段增强视景系统图像融合方法。将增强视景系统中包含的可响应不同光谱的多个传感器生成的图像进行融合，并可选择性的决定突显的特征信息。

本发明将增强视景系统中包含的可响应不同光谱的多个传感器生成的图像经过畸变校正抵消传感器图像与真实图像之间的畸变；经过空间配准，使得各个传感器图像内容位置一致；经过特征和背景提取，分离图像中重要内容和背景信息；经过特征分析和融合，选择性的突显图像中特征信息；经过背景融合，将不同画面中背景内容进行融合；最后经过视频融合将处理后的图像输出。

下面结合附图给出本发明的实施例，以详细说明本发明的技术方案。

如图1所示，为多波段增强视景系统图像融合方法框图，具体步骤如下：

a)图1中传感器1聚焦在视场上，用于产生预定区域的图像信号1；所述的图像信号1为数字信号；

b)图1中传感器2，与传感器1具有不同特性，响应不同的光谱带；聚焦在视场上，用于生成预定区域的图像信号2；所述的图像信号2为数字信号；

c)将图像信号1进行畸变校准和空间配准后输出图像1，将图像信号2进行畸变校准和空间配准后输出图像2；图像信号1进行畸变校正后抵消由传感器1产生的图像畸变或扭曲；图像信号2进行畸变校正后抵消由传感器2产生的图像畸变或扭曲；经过畸变处理的图像信号1和图像信号2进行空间配准，使得图像信号1和图像信号2所显示内容在空间上一致；

d)将输出图像1分离为图像特征1和背景1，将输出图像2分离为特征2和背景2，并将背景1和背景2合并为背景图像；所述的图像特征1为图像1中比图像RGB平均值高于或低于σ信息；所述的图像特征2为图像2中比图像RGB平均值高于或低于σ信息；所述的背景1为图像1中在图像RGB平均值σ范围内的信息；所述的背景2为图像2中在图像RGB平均值σ范围内的信息；所述的背景图像为背景1和背景2按一定比率进行RGB融合的图像；

e)根据当前显示需求对于特征1和特征2的作用进行分析和评估，完整特征1和特征2的显示设置，融合特征1和特征2并输出特征图像；所述的特征图像为根据需要对特定的特征进行突显，对不需要的特征进行弱化的图像；

f)融合特征图像和背景图像，并输出融合图像；所述的融合图像为特征图像和背景图像的叠加图像。

上述方法包含多个图像处理过程，在其它实施例中，各个过程可以是分解实施，或多个过程结合实施，或根据需要附加其它实施过程；各个过程可以由软件实施，也可以由硬件逻辑或电路等实施，或软硬件结合实施。

在图1中所图示的实施例中，传感器1和传感器2只是示例性说明，在其它实施例中可包含多于两个传感器，每个实施过程也可能会重复出现，如：当有3个传感器时，可统一进行空间配准，也可以两两进行空间配准(执行两次空间配准)。

在图1中所图示的实施例中，传感器1和传感器2生成的图像信号1和图像信号2存在畸变时需要进行畸变校正，当传感器本身具有畸变校正功能时，则不需要执行畸变校正过程；

如果存在传感器生成的图像存在畸变，则需进行畸变校正，如图2所示的实施例中畸变校正过程，如图2所示的实施例中只列举了一种畸变校正情况，其它实施例中可包含其它畸变校正情况，但处理过程一样。

在图2中所图示的实施例中，结合图1所示过程，传感器1和传感器2成像使得生成的图像信号1和图像信号2存在畸变情况，这时需经过畸变校正使得图像还原，畸变校正处理过程如下：

a)在图2中所图示的实施例中，假设传感器生成的图像的坐标位置是(x,y)，畸变校正后的位置是(x*,y*)，采用以下公式实施变换：

x^*＝c₁x+c₂y+c₃xy+c₄

y^*＝c₅x+c₆y+c₇xy+c₈

或者使用如下公式：

x^*＝c₁x+c₂y+c₃xy+c₄+c₅x²+c₆y²

y^*＝c₇x+c₈y+c₉xy+c₁₀+c₁₁x²+c₁₂y²

b)其中c1,c2,……c12为参数，通过在原始图像中插入8个(如果采用下方公式需要插入12个)固定点，寻找其各自在传感器生成图像中对应的位置，带入公式求出c1,c2,……c12的参数值。

c)每个传感器图像对应生成1个固定的变换公式对于输入的传感器信号，带入对应的公式进行畸变；

d)如图2所示，对于畸变校正后的图像中A*(x*,y*)的位置的信息，通过上述公式计算后得到对应的传感器图像中A’(x,y)点的位置，如果计算得到的A’位置信息是非整数，则使用图下公式进行计算A*信息：

g(x^*,y^*)＝ax+by+dxy+e；

其中a,b,d,e为参数，如图3所示，将4个角的像素信息带入以上公式求出a,b,d,e，计算出A*(x^*,y^*)的信息。

在图1中所图示的实施例中，图像信号1和图像信号2畸变校正完成后，因各个传感器位置不同，视场不同所以形成的图像位置不同需要进行空间配准，在其它实施例中，如果由于传感器位置和视角带来的图像偏差可以忽略则不需要执行空间配准；

在图1中所图示的实施例中，如果各个图像信号需要进行空间配准，则需提供一个参考图像，参考图像可以是某一传感器图像，也可以是其它与增强视景系统同视场的图像。如图4所示，确定一个参考点，每个传感器图像需依据参考图像进行位移，使得每个图像上的参考点的位置与参考图像中的参考点重合。

在图1中所图示的实施例中，对经过空间配准后的图像1和图像2进行图像特征和背景提取。图像特征和背景提取过程如图5所示。其它实施例中可能会为了提高运算效率在该过程中增加抽样过程，或者为了其它目的变更滤波方法，或者先对图像进行特殊处理后再进行滤波处理。

在图1中所图示的实施例中，每个传感器生成的图像都需要经过特征和背景提取过程，如图5所示，首先将图像分成两路处理过程，1路经过1维低通滤波处理后，再经过2维低通滤波处理，然后再经过1维滤波处理后完成背景的提取，另一路图像数据减去背景图像完成图像特征提取，一维低通滤波计算如下：

Y(n)＝αX(n)(1-α)Y(n-1)

其中Y(n)为本次输出值，X(n)为本次采样值，Y(n-1)为上次输出值，a为加权值，加权值在具体情况中根据实际效果设定。

2维低通滤波的算法如下：

其中x(n-l,m-k)是相邻的像素点，h(x*,y*)为输出像素点，h_i,k为低通滤波参数，该参数根据选用的低通滤波项设定，如采用3×3或者7×7等滤波设置。

在图1中所示的实施例中，可根据每个传感器图像的特征和当前需要，选择性的调整每个图像特征的显示比率，并依据比率将所有特征融合到特征图像中。

在图1中所示的实施例中，如图6所示，将分离的所有的背景信息通过选择或求平均值的方法融合到背景图像中。

在图1中所示的实施例中，将特征图像和背景图像进行融合，融合过程可以是优先显示特征图像或者是按比率或其它运算最终输出融合图像。

Claims (7)

1.一种多波段增强视景系统图像融合方法，其特征在于步骤如下：

步骤1：传感器1聚焦在视场上，产生预定区域的图像信号1；

步骤2：传感器2聚焦在视场上，产成预定区域的图像信号2；所述的传感器2与传感器1具有不同特性，相应不同的光谱带；

步骤3：将图像信号1进行畸变校准和空间配准后输出图像1，将图像信号2进行畸变校准和空间配准后输出图像2；

所述的畸变校准采用的公式：

x*＝c1x+c2y+c3xy+c4

y*＝c5x+c6y+c7xy+c8

其中，(x,y)为传感器生成的图像的坐标位置，(x*,y*)为畸变校正后的位置；

或者使用如下公式：

x*＝c1x+c2y+c3xy+c4+c5x2+c6y2

y*＝c7x+c8y+c9xy+c10+c11x2+c12y2

其中c1,c2,……c12为参数，通过在原始图像中插入8个，如果采用第2个公式需要插入12个固定点，寻找其各自在传感器生成图像中对应的位置，带入公式求出c1,c2,……c12的参数值；

对于畸变校正后的图像中A*(x*,y*)的位置的信息，通过上述公式计算后得到对应的传感器图像中A’(x,y)点的位置，如果计算得到的A’位置信息是非整数，则使用下式进行计算A*信息：

g(x^*,y^*)＝ax+by+dxy+e

其中a,b,d,e为参数，将4个角的像素信息带入以上公式求出a,b,d,e，计算出A*(x^*,y^*)的信息；

所述的空间配准：确定一个参考点，每个传感器图像需依据参考图像进行位移，使得每个图像上的参考点的位置与参考图像中的参考点重合；

步骤4：将输出图像1分离为图像特征1和背景1，将输出图像2分离为特征2和背景2，并将背景1和背景2合并为背景图像；

所述的分离方法：

首先将图像分成两路处理过程，1路经过1维低通滤波处理后，再经过2维低通滤波处理，然后再经过1维滤波处理后完成背景的提取，另一路图像数据减去背景图像完成图像特征提取，1维低通滤波计算如下：

Y(n)＝αX(n)(1-α)Y(n-1)

其中Y(n)为本次输出值，X(n)为本次采样值，Y(n-1)为上次输出值，α为加权值；

2维低通滤波的算法如下：

其中x(n-l,m-k)是相邻的像素点，h(x*,y*)为输出像素点，h_i,k为低通滤波参数；

步骤5：将分离的特征1和特征2融合到特征图像中；

步骤6：将分离的背景1和背景2融合到背景图像中；

步骤7：将特征图像和背景图像进行融合输出融合图像。

2.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的图像信号1和图像信号2都为数字信号。

3.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的步骤4中的图像特征1和图像特征2为图像中比图像RGB平均值高于或低于σ信息。

4.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的步骤4中的背景1和背景2为图像RGB平均值σ范围内的信息。

5.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的步骤5中的融合方法采用叠加或按比率的方式。

6.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的步骤6中的融合方法采用求平均值或按比率的方式。

7.根据权利要求1所述的一种多波段增强视景系统图像融合方法，其特征在于所述的步骤7中的融合方法采用优先显示特征图像或者是按比率或者叠加的方法。