CN104601953B - 一种视频图像融合处理系统 - Google Patents

Abstract

本发明公开了一种视频图像融合处理系统，包含图像采集模块，图像融合处理模块，图像评价模块，所述图像采集模块用于根据二个同轴传感器实时采集的红外图像及可见光图像进行格式转换；所述图像融合处理模块用于对格式转换后的红外图像及可见光图像进行逐帧处理，若红外图像及可见光图像未配准，先进行图像配准，然后进行融合处理，得到融合图像；所述图像评价模块用于计算融合前后的各项图像指标，分析融合后的结果。通过本发明得到的融合图像，在雾天或黑夜的情况下，取得了一定的增强效果。

Description

一种视频图像融合处理系统

技术领域

本发明涉及航空航天的数字图像处理领域，是一种在地面条件模拟航拍图像并进行实时处理的的实现方法。

技术背景

在军用领域，目标探测技术是侦察防御体系中的一项关键技术。如防御系统对运动目标的跟踪和识别、导弹制导、各种武器系统的目标探测瞄准等，以此能极大提高武器系统的作战性能。各种飞行器如无人机、直升机、作战飞机等也都借助许多先进的光电设备，如高清晰度前视红外传感器、高分辨率和高倍率的CCD传感器等执行各项任务。光电探测设备具有快速实时性、功耗低、重量轻等优点，是实现自动目标识别的最佳途径之一。

各种图像传感器应用不同的成像机理，工作于不同的波长范围，有不同的工作环境与要求，完成不同的功能。在不同的环境、背景下，机载光电吊舱要用单一的图像传感器完成各类任务(如对空、对地、对海等目标的检测、跟踪、识别等)显然是不现实的，且很难满足军事环境下较高的要求。这就促进了光电系统向多传感器的复杂化、综合化方向发展。

发明内容

针对现有技术的不足，本发明的发明目的在于提供一种视频图像融合处理系统，将可见光图像与红外图像融合，弥补例如在雾天情况下传统图像处理无法显示清楚的缺陷。

本发明的发明目的通过以下技术方案实现：

一种视频图像融合处理系统，包含图像采集模块，图像融合处理模块，图像评价模块；

所述图像采集模块用于根据二个同轴传感器实时采集的红外图像及可见光图像进行格式转换；

所述图像融合处理模块用于对格式转换后的红外图像及可见光图像进行逐帧处理，若红外图像及可见光图像未配准，先进行图像配准，然后进行融合处理，得到融合图像；

所述图像评价模块用于计算融合前后的各项图像指标，分析融合后的结果。

依据上述特征，所述图像融合处理模块对红外图像及可见光图像根据缩放因子进行图像配准：

水平方向的缩放因子：

垂直方向的缩放因子：

其中α和β分别为二个传感器的视场角度。

依据上述特征，所述图像融合处理模块先将配准后的可见光图像及红外图像均转化为单通道的灰度图像，分别定义为Vis_Grey和IR_Grey；然后将可见光图像与红外图像的灰度图像分别进行3种不同的线性组合：

Y＝ω₁Vis_Grey-ω₂IR_Grey

U＝ω₃IR_Grey-ω₄Vis_Grey

V＝ω₅Vis_Grey+ω₆IR_Grey

其中：ω₁...ω₆均为线性组合的权系数，范围在0-1之间

得到3幅单通道图像作为Y、U、V三个通道形成一幅YUV色彩空间图像，再后将原始的可见光图像对该YUV色彩空间图像进行亮度传递修正色彩偏差，最后进行YUV逆变换，得到一幅RGB图像，

与现有技术相比，本发明的有益效果为：

1、本发明对两传感器同轴，但是视场角不同的情况进行了图像配准，计算得到该情况下两幅图像的重合区域。

2、通过本发明得到的融合图像，在雾天或黑夜的情况下，取得了一定的增强效果。如下图所示，在雾天情况下，可见光图像具有地面背景的细节信息，但是无法观察到目标，红外图像可以观察到目标，但是地面背景信息较为缺失，融合后的图像既能观察到雾里目标，并且对可见光图像中地面道路的细节纹理、背景的色彩等信息也作了一定程度的保留。

3、整个软件系统的采集、配准和融合功能均满足视频图像的实时性要求，不会对人眼的观察造成妨害。

附图说明

图1为本发明的系统结构图；

图2为本发明的流程示意图；

图3a为本发明中图像配准的示意图，左边为可见光图像，右边为红外图像，；

图3b为本发明中图像配准的示意图；

图4a为本发明实施例中可见光图像；

图4b为本发明实施例中红外图像；

图4c为本发明实施例的实施结果。

具体实施方式

下面根据附图和实施例对本发明作进一步详细说明。

如图1、图2所示，本发明主要包含图像生成模块、图像采集模块、图像融合处理模块、图像评价模块，实施方案流程如下：

1、图像生成模块：用两台计算机用软件方式分别模拟生成的可见光及红外图像。在实验室条件下即可获得同一场景下，晴、雾、雨、雪、黑夜、白天及城镇、草地、沙漠等不同时间、不同气候、不同背景的红外图像及可见光图像。此模块仅在实验情况下使用。如在实际场景中，由二个传感器分别采集红外图像及可见光图像

2、图像采集模块：用2块DVI图像采集卡，对红外图像及可见光图像进行实时采集，并转换为易于处理的格式。本发明采用Visual Studio 2008作为框架进行人机交互界面的编写，调用图像采集卡自身的接口函数，获取采集到的图像数据。后续图像处理功能基于OpenCV 2.4编写，因此在该功能模块将获取到的图像数据转化为OpenCV中图像处理标准格式IplImage。采集周期为25帧/秒，满足人眼视觉习惯。

3、图像融合处理模块：此功能模块采用OpenCV 2.4进行编写，主要分为图像配准功能及图像融合功能。

红外及可见光图像激励源根据设置参数的不同，可以提供红外及可见光传感器在不同视场下的图像，且传感器为同轴。如附图3a所示，可见光提供较大范围的视场，红外视场较小，视场范围为可见光图像的一部分，且两图像中心重合。

如附图3b所示，假定两传感器距离地面距离为h，传感器A的视场角度为α，传感器B的视场角度为β，A的视场半径为m，B的视场半径为n。所以将A与B作图像匹配的关键是求出m与n的比例关系。

根据传感器地面位置的位置存在以下几何关系：

可以推出缩放因子：

水平方向的缩放因子

垂直方向的缩放因子

如附图3a、图3b所示，为本发明主要融合算法。输入为可见光图像(图3a)及红外的RGB图像(图3b)，首先将配准后的可见光图像及红外图像均转化为单通道的灰度图像，分别定义为Vis_Grey和IR_Grey；然后将可见光图像与红外图像的灰度图像分别进行3种不同的线性组合：

Y＝ω₁Vis_Grey-ω₂IR_Grey

U＝ω₃IR_Grey-ω₄Vis_Grey

V＝ω₅Vis_Grey+ω₆IR_Grey

其中：ω₁...ω₆均为线性组合的权系数，范围在0-1之间

得到3幅单通道图像作为Y、U、V三个通道形成一幅YUV色彩空间图像。将原始的可见光图像对该YUV图像进行亮度传递修正色彩偏差，然后进行YUV逆变换，得到一幅RGB图像，即为融合后的彩色图像。

该算法能有突出目标信息，易于人眼对目标场景的理解和判断。并满足视频系统的实时性要求。

4、图像评价模块：通过计算图像色彩偏差、信息量、清晰度等方面的指标，对融合图像与原始图像的变化作出评价。同时也通过人眼对融合结果作出最直观的评判。

Claims (2)

1.一种视频图像融合处理系统，包含图像采集模块，图像融合处理模块，

图像评价模块，其特征在于：

所述图像采集模块用于根据二个同轴传感器实时采集的红外图像及可见光图像进行格式转换；

所述图像融合处理模块用于对格式转换后的红外图像及可见光图像进行逐帧处理，若红外图像及可见光图像未配准，先进行图像配准，然后进行融合处理，得到融合图像；

所述图像评价模块用于计算融合前后的各项图像指标，分析融合后的结果；

其中，所述图像融合处理模块对红外图像及可见光图像根据缩放因子进行图像配准：

水平方向的缩放因子：

垂直方向的缩放因子：

其中α和β分别为二个传感器的视场角度。

2.根据权利要求1所述的视频图像融合处理系统，其特征在于所述图像融合处理模块先将配准后的可见光图像及红外图像均转化为单通道的灰度图像，分别定义为Vis_Grey和IR_Grey；然后将可见光图像与红外图像的灰度图像分别进行3种不同的线性组合：

Y＝ω₁Vis_Grey-ω₂IR_Grey

U＝ω₃IR_Grey-ω₄Vis_Grey

V＝ω₅Vis_Grey+ω₆IR_Grey

其中：ω₁...ω₆均为线性组合的权系数，范围在0-1之间

得到3幅单通道图像作为Y、U、V三个通道形成一幅YUV色彩空间图像，再后将原始的可见光图像对该YUV色彩空间图像进行亮度传递修正色彩偏差，最后进行YUV逆变换，得到一幅RGB图像。