CN108154493B - 一种基于fpga的双波段红外图像伪彩融合算法 - Google Patents

Abstract

本发明公开了一种基于FPGA的双波段红外图像伪彩融合算法，首先是通过Cameralink视频接收系统接收同光轴设置的的红外长波相机和红外中波相机发送过来的图像信息，然后将接收到的两路数据送入FPGA中分别构建三层拉普拉斯金字塔，并对每一层图像进行均值计算并确定权值。在进行拉普拉斯金字塔构建的同时，由伪彩模块根据两幅输入的源图像计算出每个像元的Cr值和Cb值。将拉普拉斯金字塔根据计算出的均值进行加权计算并逆变换成灰度融合图像，最后将灰度图像、Cr值和Cb值一一对应并转换成RGB图像，通过Cameralink输出融合图像。本发明结合拉普拉斯金字塔变换和伪彩色算法，生成的融合图像色彩清晰、对比度高，在硬件平台的实现具有运算速度快、鲁棒性高等特点。

Description

一种基于FPGA的双波段红外图像伪彩融合算法

技术领域

本发明属于光电图像处理技术领域，具体涉及一种基于FPGA的双波段红外图像伪彩融合算法。

背景技术

红外图像融合是将多源信道采集到的关于同一目标的图像数据经过处理，最大限度的提取各自信道中的有利信息，最后总合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

红外图像是利用红外热像仪接收来自目标及背景的红外辐射，经过光电转换后将不可见的辐射转换为可见的图像。其优点是探测距离远、抗干扰性好、穿透烟雾霾的能力强，可全天候工作；可探测被遮挡的目标，能在黑暗条件下成像，探测时不易被发觉，具有隐蔽性。

单个红外探测器得到的图像具有很大的局限性，不能够反映出完整的图像信息。从红外图像来讲，长波段辐射的变化范围小于中波段的辐射对比度变化范围，一般目标的温度要高于背景的温度,因此长波段的红外图像能够保留景物的细节，中波段的红外图像能够突出目标、增大对比度。为使关于目标及场景的图像更加清晰完整，采用双波段的红外探测器对其进行采集，将采集的图像融合成一幅图像，该图像能够将各传感器图像的优点结合起来，使得融合后的图像信息更丰富、目标及场景更清晰。人眼对彩色图像的分辨能力要远远超过对灰度图像的分辨能力，所以对融合的灰度图像进行伪彩处理能够增强图像细节，提高融合图像的场景信息表达能力。

目前常见的图像融合方法有简单加权融合、小波变换融合、多分辨率金字塔融合、全信息融合等，其中简单加权融合和全信息融合对细节损失较大，细节突出不明显；小波变换计算量大，不利于硬件实现，难以保证实时性；而多分辨率金字塔融合效果好，虽然计算量大但多为整数计算，如何提高多分辨率金字塔融合的效果、简化计算利于硬件平台的实现是目前的研究重点。

发明内容

本发明提供了一种基于FPGA的双波段红外图像伪彩融合算法，通过将FPGA硬件平台上采集到的图像利用改进的拉普拉斯金字塔融合方法并与伪彩算法相结合，实现了双波段红外图像的伪彩融合。在保证图像亮度信息不变的情况下，改变了目标和细节的色度，提高场景的辨识度。

实现本发明目的的技术解决方案为：一种基于FPGA的双波段红外图像伪彩融合算法，其特征在于，包括以下步骤：

步骤1)同光轴设置两个Cameralink相机，在Full模式下，一个采集红外中波视频图像，另一个采集红外长波视频图像，并将采集到的红外中波视频图像和红外长波视频图像同时传输到Cameralink视频接收系统；

步骤2)将Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像分为两路输入到FPGA，分别进行高斯滤波和上下采样，两路分别与其滤波前的图像作差，分别构建三层拉普拉斯差值金字塔，同时分别对每层滤波前的图像进行均值统计，并确定权值；

步骤3)根据Cameralink视频接收系统接收到的两路视频图像各个像元的差确定彩色融合图像的Cr值，根据上述两路视频图像各个像元的均值确定彩色融合图像的Cb值；

步骤4)根据步骤2)中的两路权值对两路三层拉普拉斯金字塔图像进行加权平均与逆变换，生成灰度融合图像；

步骤5)将灰度融合图像、Cr值和Cb值一一对应后，计算出RGB图像并通过Cameralink接口输出。

本发明与现有技术相比，其显著特点是：

(1)加入了权重计算，在保证融合效果的情况下减少了运算量，可以较快的完成运算；(2)将灰度融合与伪彩算法结合，并且伪彩颜色根据源图像计算得到，融合的图像色彩清晰、对比度高；(3)提出了一种改进的YCrCb转换RGB的硬件算法，减少了运算量，提高了运算速度，适用于硬件系统。

附图说明

图1是本发明基于FPGA的双波段红外图像伪彩融合算法的流程图。

图2是实施例中Cameralink视频接收系统接收到的红外长波视频图像。

图3是实施例中Cameralink视频接收系统接收到的红外中波视频图像。

图4是实施例中红外长波和红外中波图像的灰度融合图像。

图5是实施例中红外长波和红外中波图像的灰度融合图像。

具体实施方式

下面结合附图进一步详细说明本发明的原理和具体步骤。

结合图1，一种基于FPGA的双波段红外图像伪彩融合算法，包括以下步骤：

步骤1)同光轴设置两个Cameralink相机，在Full模式下，一个采集红外中波视频图像，另一个采集红外长波视频图像，并将采集到的红外中波视频图像和红外长波视频图像同时传输到Cameralink视频接收系统。

Cameralink视频接收系统由两个Cameralink接口、两片Cameralink解码芯片、两片串行通信芯片、FPGA和内存组成。两个Cameralink接口分别与采集红外中波视频图像和红外长波视频图像的相机连接，每个Cameralink接口传输的信号包括4路差分数据、一对差分时钟和两对串行通信差分信号。其中，4路差分数据信号和一对差分时钟输入到Cameralink解码芯片中，输出一个时钟信号和一个28位的并行数据信号；两对串行通信差分信号输入到串行通信解码芯片，这两对信号中，一对是相机输出给FPGA的串行信号，一对是FPGA输入给相机的串行信号，用于调整相机参数。FPGA接收Cameralink解码芯片输出的时钟和数据信号，为数据添加帧使能数据信息和行使能数据，并缓存到内存中。

步骤2)将Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像分为两路输入到FPGA，分别进行高斯滤波和上下采样，两路分别与其滤波前的图像作差，分别构建三层拉普拉斯差值金字塔，同时分别对每层滤波前的图像进行均值统计，并确定权值，方法如下：

a)从内存中分别读入图像数据，对图像进行行卷积和列卷积，行卷积和列卷积均使用一维高斯算子

假设连续输入的5个数据为d₀、d₁、d₂、d₃、d₄，卷积后的数据

为使一个时钟周期内完成计算，使用移位计算，其中d₁和d₃左移两位便是乘4的计算，6*d₂的计算则简化为4*d₂+2*d₂，即将d₂左移两位和左移一位相加，最后舍去低4位完成除16的计算，这样能在一个时钟周期内完成计算。一个周期的计算完成后，将d'保存到内存中，将d₁的值赋给d₀，d₂的值赋给d₁，如此类推，d₄的值则由新读入的像元数据代替。

降采样计算将奇数行数据按奇数列读取，如将图像看做矩阵

则选取d₁₁、d₁₃、d₃₁、d₃₃等，降采样后的图像G₁分辨率为原图像G₀的

降采样后的图像输入给下一层的高斯滤波模块河降采样模块，得到新的高斯图像G₂，一共进行两次高斯滤波。

拉普拉斯金字塔图像是将降采样后的高斯图像进行上采样，与滤波前的图像相减。上采样把降低分辨率的图像扩大，如将降采样后的图像看做矩阵

则扩充后的图像矩阵为

即将每个像元数据扩充到后面一个以及下一列的两个像元。将高斯滤波前的图像减去这个上采样的图像，得到拉普拉斯差值图像，即L₀＝G₀-G₁↑,一共得到两幅拉普拉斯图像，保存进内存中。

对Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像、进行高斯滤波和上下采样后的两层视频图像(总共三层六幅图像)分别进行均值统计。

b)根据每层视频图像的均值确定权重：

将权值简化为4位深度的数值，即将权值简化为0和1、

和

和

和

和

和

和

和

和

和

假设同层次两幅视频图像的均值分别为x₁和x₂，取

其中p表示中波图像的权值，1-p表示长波图像的权值。

步骤3)根据Cameralink视频接收系统接收到的两路视频图像各个像元的差确定彩色融合图像的Cr值，根据上述两路视频图像各个像元的均值确定彩色融合图像的Cb值。计算公式如下：

其中，(i,j)表示像素坐标，X₁表示Cameralink视频接收系统接收到的中波视频图像，X₂表示Cameralink视频接收系统接收到的长波视频图像。Cb值表示RGB输入信号蓝色部分与RGB信号亮度值之间的差异，Cr值表示RGB输入信号红色部分与RGB信号亮度值之间的差异。Cr值用两个图像各个像元差的绝对值的四倍来表示，Cb值用两幅图像均值的线性拉伸来表示。Cr值可以在红色分量上突出长波和中波的差异部分，尤其是边缘部分能够被勾勒成红色，Cb值可以将两幅图像前景部分着蓝色，用以突出目标(即伪彩算法)。

步骤4)根据步骤2)中的两路权值对两路三层拉普拉斯金字塔图像进行加权平均与逆变换，生成灰度融合图像。首先将第三层的低频图像每个像元按确定的权值加权平均生成新的低频图像，将这个低频图像进行上采样和高斯逆变换，得到高分辨率图像。高斯逆变换采用两倍的高斯算子

计算方法与上面类似，最后右移四位的时候变成右移三位即可，得到图像G'₀。然后将第二层的差值图像按权值进行加权平均融合，与G'₀相加，得到新的图像再一次进行上采样和高斯逆变换，得到G'₁。最后用同样的方法与第一层拉普拉斯差值图像进行融合，得到最后的灰度融合图像。

步骤5)将灰度融合图像、Cr值和Cb值一一对应后，计算出RGB图像(即YCrCb转换RGB)并通过Cameralink接口输出，利用YCrCb变换公式

将每个像元还原成RGB图像。其中，1.402简化为

0.344简化为

0.714简化为

1.772简化为

由于亮度Y一定，R和B的值都比Y大，只有G的值会减少，导致整个画面色调偏紫，因此给G的系数一定的补偿，取系数1.375即

得到

使用移位相加的方法将融合图像还原成RGB图像，通过编码芯片将数据转换成Cameralink格式，通过Cameralink接口输出。

实施例1

采用Altera公司型号为5CEFA5U19I7N的FPGA芯片，Cameralink接口使用MDR26，Cameralink解码芯片选用DS90LV031，串行通信芯片选用DS90LV019，视频编码芯片使用DS90CR288，内存芯片选用MT42L128M32D1GU，输入红外中波和长波图像分辨率均为384*288，帧频每秒50帧。

一种基于FPGA的双波段红外图像伪彩融合算法，包括以下步骤：

步骤1)同光轴设置两个Cameralink相机，在Full模式下，一个采集红外中波视频图像，另一个采集红外长波视频图像，并将采集到的红外中波视频图像(如图3所示)和红外长波视频图像(如图2所示)同时传输到Cameralink视频接收系统。

步骤2)将Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像分为两路输入到FPGA，分别进行高斯滤波和上下采样，两路分别与其滤波前的图像作差，分别构建三层拉普拉斯差值金字塔，同时分别对每层滤波前的图像进行均值统计，并确定权值。

步骤3)根据Cameralink视频接收系统接收到的两路视频图像各个像元的差确定彩色融合图像的Cr值，根据上述两路视频图像各个像元的均值确定彩色融合图像的Cb值。

步骤4)根据步骤2)中的两路权值对两路三层拉普拉斯金字塔图像进行加权平均与逆变换，生成灰度融合图像，如图4所示。

步骤5)将灰度融合图像、Cr值和Cb值一一对应后，计算出RGB图像(如图5所示)并通过Cameralink接口输出。

Claims (3)

1.一种基于FPGA的双波段红外图像伪彩融合算法，其特征在于，包括以下步骤：

步骤1)同光轴设置两个Cameralink相机，在Full模式下，一个采集红外中波视频图像，另一个采集红外长波视频图像，并将采集到的红外中波视频图像和红外长波视频图像同时传输到Cameralink视频接收系统；

步骤2)将Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像分为两路输入到FPGA，分别进行高斯滤波和上下采样，两路分别与其滤波前的图像作差，分别构建三层拉普拉斯差值金字塔，同时分别对每层滤波前的图像进行均值统计，并确定权值；

其中，对每层滤波前的图像进行均值统计，并确定权值，方法如下：

a)对Cameralink视频接收系统接收到的红外长波视频图像和红外中波视频图像、进行高斯滤波和上下采样后的两层视频图像分别进行均值统计；

b)根据每层视频图像的均值确定权重：

将权值简化为4位深度的数值，即将权值简化为0和1、

和

和

和

和

和

和

和

和

和

假设同层次两幅视频图像的均值分别为x₁和x₂，取

其中p表示中波图像的权值，1-p表示长波图像的权值；

步骤3)根据Cameralink视频接收系统接收到的两路视频图像各个像元的差确定彩色融合图像的Cr值，根据上述两路视频图像各个像元的均值确定彩色融合图像的Cb值；

步骤4)根据步骤2)中的两路权值对两路三层拉普拉斯金字塔图像进行加权平均与逆变换，生成灰度融合图像；

步骤5)将灰度融合图像、Cr值和Cb值一一对应后，计算出RGB图像并通过Cameralink接口输出。

2.根据权利要求1所述的基于FPGA的双波段红外图像伪彩融合算法，其特征在于，上述步骤3)中，根据Cameralink视频接收系统接收到的两路视频图像各个像元的差确定彩色融合图像的Cr值和Cb值，计算公式如下：

其中，(i,j)表示像素坐标，X₁表示Cameralink视频接收系统接收到的中波视频图像，X₂表示Cameralink视频接收系统接收到的长波视频图像。

3.根据权利要求1所述的基于FPGA的双波段红外图像伪彩融合算法，其特征在于，上述步骤5)中，将灰度融合图像、Cr值和Cb值一一对应后，计算出RGB图像并通过Cameralink接口输出，计算公式如下：

Images