CN105678727A - 基于异构多核构架的红外光与可见光图像实时融合系统 - Google Patents

Abstract

本发明公开了一种基于异构多核构架的红外光与可见光图像实时融合系统。系统以ARM核和DSP核为核心的异构多核处理器，负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出。ARM核负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；DSP核负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行实时编码压缩。实时融合采用建立三层拉普拉斯金字塔结构进行。本发明具有运算效率高、兼容性好、可扩展性强,软件开发方便高效的、适应性强等特点。

Description

基于异构多核构架的红外光与可见光图像实时融合系统

一、技术领域

本发明属于计算机应用技术范畴，涉及计算机视觉和信息融合领域，特别是多传感器图像融合领域，具体是一种基于异构多核构架的红外光与可见光图像实时融合方法。

二、背景技术

多传感器图像融合技术是在信息融合技术的理论基础上发展起来的一种图像处理新技术。由于可以有效综合多源图像信息的互补性和冗余性，因此融合图像包含比任一输入通道图像更丰富的信息，具有更高的可靠性，有利于提高对图像信息的分析和识别能力，所以近年来成为国际学术界图像处理研究领域的一个热点。融合技术将多源图像信息资源的利用率得以最大限度地发挥，图像配准是图像融合必须进行的预处理，多源图像配准和融合技术的理论研究已经取得了很多成果，但是可实用的图像融合系统目前处理能力依然有限，且有些还处于实验研究阶段。图像融合技术应用的突出障碍是实时性要求与系统处理速度。对于像素级融合，多源图像相关像素的配准结果直接影响融合图像精度，而现阶段所提出的图像多尺度塔形分解与重构的多分辨图像融合算法的巨量数据处理又使得图像融合处理系统的研制开发具有不小的阻碍。国内外也有部分文献提到使用不同的体系构架进行红外光与可见光融合，但是性能及效率还不能完全适应现有图像处理的需要，性能及效率还有待提高。

三、发明内容

本发明的目的是针对目前红外光与可见光融合算法效率与质量相互制约的缺点，设计一种基于异构多核构架的红外光与可见光实图像时融合系统。该系统充分利用ARM处理器和DSP处理器各自的优点，构建两者协同工作的运行模型。对不同的处理器核心分配各自擅长的任务，有效提升系统的运行处理能力。ARM端负责数据的采集、显示和图像的实时传输，DSP端完成红外光图像增强、图像配准、两路图像的金字塔融合及融合图像的实时压缩。不仅实现红外光与可见光的实时配准融合功能，还在此基础上对融合后图像进行H.264的图像数据实时压缩传输及存储。从系统结构上保障实时图像融合处理的稳定性、可靠性及传输高效性，满足实时﹑高速﹑通用﹑标准化等目的。

本发明的目的是这样达到的：

一种基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统构建一个以ARM核和DSP核为核心的异构多核处理器，在ARM核与DSP核之间采用CMEM和DSPlink接口模块；ARM核与DSP核之间数据调用接口采用CodecEngine调用接口模板；异构多核处理器负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出。

在异构多核处理器内部，ARM核运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhatlinux；负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；在DSP核使用CCS集成开发环境，运行DSP/BIOSS实时操作系统，负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行H.264实时编码压缩。

在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器；可见光数据和红外光数据分别经过各自的视频输入口通道进入系统后，经各自的多路视频放大器放大、增强数据驱动能力，放大后的可见光数据和红外光数据均分为2路，一路数据完全保留并经视频旁路视频输出口分别显示输出，另外一路送入A/D视频转换芯片，经数字化后送入异构多核处理器进行数据采集融合处理，融合后的数据经视频D/A转换芯片处理后，实时融合视频从视频输出口输出，同时，融合后的视频数据经过H264实时编码压缩，压缩后的视频数据经网络物理层控制器从网络接口输出。

系统的运行流程：首先，ARM端采集红外光视频数据和可见光视频数据，DSP端获取视频缓存后,对红外光输入图像，进行图像增强预处理和图像配准预处理，在DSP端进行图像融合，融合后的图像数据发送到ARM端显示融合结果，输出融合后的视频，同时，DSP端对融合的图像进行H264视频编码压缩，压缩后再经ARM端网络数据传输网络视频数据。

对红外光输入图像配准预处理，是将红外光图像通过上采样插值到可见光系统分辨率，即将红外光图像拉伸至可见光图像的对应点。

对红外光输入图像进行图像增强预处理，采用基于“灰度世界”greyworld图像增强算法,在YUV色彩空间进行,且仅用于红外光的亮度信息Y分量的增益调整，即把红外光的灰度信息只看作是其中一个通道的亮度信息，并选定目标灰度作为整个所能表示灰度范围的一半，将红外光的灰度信息范围有效扩充到整个灰度位宽范围内，对每个像素乘上整体的放大系数。

在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉斯金字塔结构进行融合：红外光图像在进行图像增强预处理和配准预处理后，与可见光图像同时进行高斯塔形分解，分解后的红外光图像和可见光图像被分别被分解为一层金字塔图像、二层金字塔图像和三层图像，再对红外光图像和可见光图像进行一层融合、二层融合和三层融合，在图像融合中生成三层图像、二层金字塔图像和一层金字塔图像，对金字塔融合后得到红外光与可见光图像融合后的图像。

在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉斯金字塔结构进行融合：首先对图像进行高斯金字塔分解，高斯金字塔用于下采样图像，而拉普拉斯金字塔则用于从金字塔低层图像中向上采样重建图像，从金字塔第i层生成第i+1层图像G_i+1，用高斯核对图像G_i进行卷积运算，然后剔除所有偶数行和偶数列，得到原有图像的1/4，由上述过程对输入图像G₀循环执行操作产生整个高斯金字塔。

使用imgPyrDow()，imgPyrUp()下采样分解与上采样金字塔重构的函数调用。在金字塔构建完成后，在金字塔最底层使用加权平均的融合算法。

恢复原来图像的大小过程如下：将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，将得到的原有图像的1/4的内核恢复到原有图像同样的内核，即将高斯金字塔图像乘以4，与放大后的图像卷积，获得新增像素的近似值；这两个向下和向上采样步骤分别通过函数imgPyrDow()和imgPyrUp()实现。

对红外光输入图像配准预处理，将红外光图像拉伸至可见光图像的对应点过程是：首先使用自主开发的识别配准工具，分别在红外光和可见光图像中找到相同物体的对应的坐标位置，对应点通过人工干预方式获得，并计算生成红外光到可见光图像的仿射变换系数矩阵。寻找不在同一直线上的三对对应，进行运算，通过调用openCV函数库的对应接口函数，得到仿射变换系数矩阵，并将该系数矩阵通过网络直接写入到实时融合系统的flash中。

所述仿射变换系数矩阵根据以下公式计算：

${\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]}^{-1}=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\left(\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right)---\left(1\right)$

其中，(x,y)、(x',y')分别对应仿射变换前各像素点的坐标值，a₁₁、a₁₂、a₂₁、a₂₂为2*2非奇异矩阵的系数，t_x、t_y分别为在x、y方向上的平移参数。

当系统加电启动时，程序自动读入该仿射变换系数矩阵，计算生成红外光图像到可见光图像的像素映射表，即得到红外图像上每个像素映射到可见光图像上所得的对应坐标值，像素映射表生成计算公式如下：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(2\right)$

然后，再用高斯核对i层图像G_i进行卷积运算的表达式为：

$L_i=G_i-UP\left(G_{i+1}\right)\⊗g_{5\×5}---\left(3\right)$

其中符号代表卷积操作，g_5×5是5×5的高斯核，

5×5的高斯核卷积核为：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

在金字塔构建完成后，在金字塔最底层使用加权平均的融合算法，对于可见光图像和红外图像的像素灰度值加权平均融合的过程可以表示为：F(m,n)＝ω₁A(m,n)+ω₂B(m,n)

式中，A代表可见光图像，B代表红外光图像，m代表像素的行数，m＝1,2,…M；n代表像素的列数，n＝1,2,...,N；ω₁为可见光图像的加权系数；ω₂为红外光图像的加权系数；通常ω₁+ω₂＝1；当ω₁＝ω₂＝0.5时为加权平均的特例。

ARM核与DSP核之间数据调用接口采用CodecEngine调用接口模板，分别在ARM端与DSP端实现异构多核间的注册接口函数：crate()、delete()、control()、process()，各接口之间分别一一对应；首先crate()接口为算法分配需要的存储空间，使用algAlloc函数进行设置，接着用alglnit函数初始化算法实例；与ARM端相对应的process函数负责接收ARM端的参数，处理输入的数据，处理后的数据存储到共享缓存提供给ARM端使用；control函数接口用于对算法的参数和执行等进行控制；delete()接口用于释放程序的内存与对象句柄。

ARM端应用程序在调用fusion_process()函数时，ARM端将函数的入口参数和想要调用DSP端的process函数的请求全部打包；打包的信息通过DSPLink的msgq传递给DSP端；DSP端设置接收服务程序负责将打包的信息解开：首先是将ARM传递过来的接口参数解读成相对应的DSP端参数，包括ARM端使用虚拟地址，然后DSP端的服务程序根据process这个请求在DSP端调用一个对应的process()任务来实现ARM端调用的fusion_process()功能；当需要调用DSP端的算法时，只须在应用程序中调用相应的VISAAPI函数；DSP端的算法处理完之后,数据从DSP端返回ARM端的过程与上述过程是相逆的。

系统中所有图像处理融合过程均在YUV色彩空间进行,由于在红外光数据融合过程仅使用红外光和可见光图像数据中的Y分量，在融合完成后为了保证图像色彩的完整性，使用可见光图像的UV分量信息作为最终融合图像的UV信息。

在系统整个融合处理过程中，ARM端应用主进程创建五个线程，分别是：

采集线程，负责通过V4L2接口将两路视频数据放入采集缓冲区；

图像融合线程，负责将釆集线程得到的数据进行红外光图像进行图像增强预处理、配准仿射变换及异源图像实时融合；

H.264图像编码线程，负责调用DSP端H.264编码接口，实现图像数据的压缩，编码过程使用DSP端的HDVICP协处理器实现图像数据的H.264硬件编码，另外，图像编码线程在完成对采集到的视频数据的处理后，将上述接收到的采集Buffer重新放回釆集线程的空闲列表中，实现循环釆集；

网络数据发送线程，负责H.264图像压缩编码数据的网络传输功能；

显示线程，负责将融合数据刷新到显示端口。

以上各个线程之间采用异步阻塞通讯方式，以降低CPU占用率。

在DSP端创建两个实时任务：实时图像融合任务与H.264编码任务，分别为满足ARM端的对应的服务调用要求，实时图像融合任务包括对红外图像进行基于灰度射世界的图像增强处理,对红外图像的放射变换，即图像配准以及对可见光图像与红外图像分别进行三层塔形分解与拉普拉斯金字塔的融合。

本发明的积极效果是：

1、本发明采用了新型异构多核处理器、实时操作系统、基于灰度世界的图像增强算法以及拉普拉斯金字塔分解的实时图像融合的系统设计方案,具有运算效率高、兼容性好、可扩展性强,软件开发方便高效的特点。在当今国际国内的安保、现场监控测试需求不断增加的领域，具有广阔的应用前景，能满足大型公共场所，如机场、群众聚会、体育赛事等诸多场景需要。

2、系统采用图像增强算法有效提高红外光图像中目标的可识别性，图像对比度更强；基于拉普拉斯金字塔融合算法能够有效准确地将红外光与可见光两种异源图像无缝融合在一起。具有融合可视效果好，执行效率高等特点。

3、在对红外光图像配准预处理时，可以经过一次配准后永久使用，参数生成过程较为简便，且配准效率极高。在此方法中异构多核处理器在采集到红外光图像后，直接通过使用此方法可大大加快两图像前期的仿射变换与配准过程。

4、由于本系统将可见光数据和红外光数据分为2路输出、融合后的数据可压缩，因此，既保留了原始视频数据图像，又满足了实时融合数据的显示输出与远程数据传输的需要。将原始数据与融合数据同时提交到后端，可方便其他系统对其后续处理，拓展使用范围。

四、附图说明

图1是本发明的系统硬件结构框图。

图2是图像金字塔示意图。

图3是拉普拉斯金字塔图像融合流程图。

图4是系统封装结构框图。

图5是系统处理流程图。

图6是红外图像到可见光图像的映射关系示意图，其中，A为可见光图像，B为红外光图像。

图7是红外光图像。

图8可见光图像。

图9实时融合后图像。

图10红外光图像。

图11可见光图像。

图12实时融合后图像。

五、具体实施方式

本发明采用了基于ARM与DSP组合的异构双核单CPU的体系构建，对不同的处理器核心分配各自擅长的任务，可有效提升系统的运行处理能力。ARM端运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhatlinux，负责红外与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输，视频压缩算法采用H.264视频编码标准；在DSP端运行DSP/BIOSS实时操作系统，使用CCS集成开发环境，负责对红外图像进行图像增强预处理、两路视频图像数据的实时融合及对融合过后的图像实时编码压缩。

本发明的系统在构建以ARM核和DSP核为核心的异构多核处理器时选用ARM与DSP组合的高性能异构多核处理器，以TI(德州仪器)公司为代表的达芬奇系列处理器属于该体系构架，如TMS320DM8168，TMS320DM6467T等。达芬奇系列处理器专为实时多格式高清晰度HD视频编码转换而设计，其内部集成了一个高性能DSPC6000核和一个ARM核，因而兼具DSP和精简指令集技术(RISC)两者的优点。在该类处理器中，ARM端整体的控制及数据传输等功能，DSP端则负责图像数据采集、分析、处理及视频压缩等功能，所有的图像处理算法均在DSP端完成。本实施例采用了TMS320DM6467T高性能异构多核处理器。

在ARM和DSP的通讯上，采用TMS320DM6467T硬件结构可以采用的方式，即，ARM核可以访问DSP核的L2RAM、L1P/DRAM存储器，DSP核可以回访ARM核的RAM存储器。ARM核和DSP核都可以访问共享的DDR2、EMIF外部存储器。这样ARM核和DSP核可以快速的进行数据交互，ARM核只需传递待处理数据的地址指针给DSP核，而不需要大量的搬移数据。Power，EDMA,Timer，EMIF和McASP等外设资源被ARM核和DSP核共享。ARM核和DSP核可以通过特定的中断将对方中断。ARM核负责总体的控制功能，它可以控制DSP核的电源、时钟，可以将DSP核复位。此特性为ARM与DSP之间进行高速数据交换提高保障。

参见图1。从图1可以看出异构多核处理器作为系统的核心处理单元，负责整个系统的控制流程及数据收发及处理逻辑。在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器。可见光数据和红外光数据分别经过各自的视频输入口通道视频输入口1和视频输入口2进入系统后，经各自的多路视频放大器THS7341D放大、增强数据驱动，放大后的可见光数据和红外光数据均分为2路，一路数据完全保留并用于旁路视频输出口1、视频输出口2显示输出；另外一路送入视频A/D转换芯片TVP5158经数字化后送入异构多核处理器进行数据采集融合处理，经视频输出口3输出。从图1可知，异构多核处理器为整个系统核心控制与处理中心，完成视频数据采集，两路视频数据的实时增强与融合，以及融合的视频数据的显示输出。为保证融合数据的远距离实时传输，在异构多核处理器上同时实现了H.264的实时数据压缩与千兆网的数据传输功能。异构多核处理器自身提供了可见光和红外光两路视频数据输入、两路视频数据输出。在本系统中，一路视频数据输入用于接收TVP5158的视频数字信息，另一路视频输出口与视频D/A转换芯片SAA7121的数字接口连接，用于融合视频的显示输出。融合前与融合后的视频数据同时输出，既保留了原始视频数据图像，又满足了实时融合数据的显示输出与远程数据传输的需要。将原始数据与融合数据同时提交到后端，以方便其他系统对其后续处理。为保证系统的高效运行，系统配备了两颗大容量的DDR3内存颗粒，以满足系统大容量数据存储与高速数据交换的需要。系统还设置了NorFlash存储器。

参见图5。系统的运行流程：首先，ARM端采集红外光视频数据和可见光视频数据，DSP端获取视频缓存后,对视频数据进行图像增强预处理和图像配准预处理，在DSP端进行图像融合，融合后的图像数据发送到ARM端显示融合结果，输出融合后的视频，同时，DSP端对融合的图像进行H264视频编码压缩，压缩后再经ARM端网络数据传输网络视频数据。

参见图5、6。对视频数据进行图像增强预处理和图像配准预处理，是为了配合系统实现高效快速准确的图像配准过程。由于红外光与可见光图像分辨率不同，红外光图像分辨率低，可见光图像分辨率高，需要对红外光图像配准预处理。即要将图像通过上采样插值到可见光相同分辨率，即将红外光图像拉申至可见光图像的对应点位置。因此，为加快两图像的匹配速度，首先使用自主开发的识别配准工具，分别在红外光和可见光图像中找到相同物体的对应的坐标位置，对应点通过人工干预方式获得。并计算生成红外光到可见光图像的仿射变换系数矩阵。寻找不在同一直线上的三对对应点，进行运算，通过调用openCV函数库的对应接口函数，得到仿射变换系数矩阵，并将该系数矩阵通过网络直接写入到实时融合系统的flash中。所述仿射变换系数矩阵根据以下公式计算：

${\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]}^{-1}=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\left(\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right)---\left(1\right)$

其中，(x,y)、(x',y')分别对应仿射变换前各像素点的坐标值，a₁₁、a₁₂、a₂₁、a₂₂为2×2非奇异矩阵的系数，t_x、t_y分别为在x、y方向上的平移参数。

仿射变换具有六自由度，共有6个参数需求解，该计算可通过三对对应点来计算。上位机完成以上6个参数值的计算过程，变换前后的对应点坐标通过鼠标点击事件获取。

当系统加电启动时，程序自动读入该仿射变换系数矩阵，计算生成红外光图像到可见光图像的像素映射表，而图像的仿射变换需要进行查表运算，并使用双线性插值计算乘加结果得到变换后的图像。

红外光图像到可见光图像的像素映射表由以下公式计算生成：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(2\right)$

现只要两台成像设备保持相对位置不变，则经过一次配准后即可永久使用，参数生成过程较为简便，且配准效率极高。在此方法中异构多核处理器在采集到红外光图像后，直接通过使用此方法可大大加快两图像前期的仿射变换与配准过程。

本系统为实现红外光与可见光图像的实时融合，后期采用复杂计算的实时融合方法。在图像融合之前，为使输入图像达到人眼所能辨识的最佳效果，需要对输入图像进行图像增强预处理，以提高图像的对比度及边缘信息。

本系统提出了一种基于greyworld图像增强算法。灰度世界算法基于灰度世界假设，即认为在客观世界中，一般来说物体及其周围环境的色彩变化是随机的、独立无关的。灰度世界算法的目标是估算出目标平均灰度，进而根据对角理论进行颜色及白平衡校正。这种假设表明色彩调整是一种独立的增益调整，这种增益调整对于三种锥体信号用的是三个不同的增益系数，而且每一个传感器通道都是独立传输的。

L_a＝K_LL

M_a＝K_MM(1)

S_a＝K_SS

其中L、M、S代表三色的原始初值，K_L、K_M、K_S表示将原始信号增大到三色调整值L_a、M_a、S_a的增益系数。其计算方法如下：

$K_L=\frac{L_{Gray}}{L_{avg}}$

$K_M=\frac{M_{Gray}}{M_{avg}}---\left(2\right)$

$K_S=\frac{S_{Gray}}{S_{avg}}$

其中L_avg、M_avg、S_avg表示三原色三通道的平均值，L_Gray、M_Gray、S_Gray表示选择目标的灰度值。

由于灰度世界算法初期是用于图像的白平衡校正，通过修改RGB三原色的增效益系数以调整三原色的混色比例达到白平衡的目的。在本系统中借鉴了“灰度世界”算法中的各色彩增益系数的计算方法。

图像融合在YUV色彩空间进行，本发明采用仅用于红外光的亮度信息Y分量的增益调整，即把红外光的灰度信息只看作是其中一个通道的亮度信息，并选定目标灰度作为整个所能表示灰度范围的一半，将红外光的灰度信息范围有效扩充到整个灰度位宽范围内，对每个像素乘上整体的放大系数。通过此方法，可有效提升目标亮度信息，增强红外光图像对比度。同时，在融合完成后为了保证图像色彩的完整性，使用可见光图像的UV分量信息作为最终融合图像的UV信息。

目前在红外光与可见光融合算法研究中，一般以基于像素的图像融合方法居多，根据发展有简单的图像融合方法，即直接在图像域处理如：RGB假彩合成、IHS彩色空间变换、PCA主分量变换、HPF(高通滤波)等。随后出现基于多分辨率分解的融合方法，主要有多分辨率的塔式分解，如高斯塔、拉普拉斯塔形分解、梯度塔等，以及多分辨率的小波分解方法。为在嵌入式系统上实现高效快速的融合算法，在硬件系统所能承载的最大处理性能范围内使用可视效果较好的图像融合算法，拉普拉斯金字塔融合算法此系统上的首选。

参见附图2。

本发明采用拉普拉斯金字塔融合算法进行图像融合。由于图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的,因此首先得对图像进行高斯金字塔分解。高斯金字塔用于下采样图像，而拉普拉斯金字塔则用于从金字塔低层图像中向上采样重建图像，要从金字塔第i层生成第i+1层图像(G_i+1)，首先需要用高斯核对G_i进行卷积运算，然后剔除所有偶数行和偶数列，得到原有图像的1/4。由上述过程对输入图像G₀循环执行操作即可产生整个高斯金字塔。如图2所示。

而拉普拉斯金字塔则是逆向向上重构图像的过程，下面是第i层的数学定义其表示公式如下：

$L_i=G_i-UP\left(G_{i+1}\right)\⊗g_{5\×5}---\left(3\right)$

其中符号代表卷积操作，g_5×5是5×5的高斯核，如式(A)所示。

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]---\left(A\right)$

为实现拉普拉斯金字塔，系统参照openCV的调用接口模式，设计并实现了imgPyrDow()，imgPyrUp()，下采样分解与上采样金字塔重构的函数调用。在金字塔构建完成后，需要在金字塔最底层使用加权平均的融合算法，对于可见光图像A和红外光图像B图像的像素灰度值加权平均融合的过程可以表示为：

F(m,n)＝ω₁A(m,n)+ω₂B(m,n)(4)

式中，m代表像素的行数，m＝1,2,…M；n代表像素的列数，n＝1,2,...,N；ω₁为图像A的加权系数；ω₂为图像B的加权系数；通常ω₁+ω₂＝1。当ω₁＝ω₂＝0.5时为加权平均的特例。

要恢复原来图像的大小则过程如下：首先，将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，使用先前同样的内核与放大后的图像卷积，获得“新增像素”的近似值。先前同样的内核是用构建金字塔后的内核数据乘以4获得。这两个向下和向上采样步骤分别通过函数imgPyrDow()和imgPyrUp()实现。

参见图3。为使图像的融合达到比较满意的效果，至少要将源图像分解成三层的金字塔才能体现出金字塔算法的优势与效果。综合考虑图像的融合效果和拉普拉斯金字塔算法的复杂性,为了能在图像处理和控制解算硬件系统上实现拉普拉斯金字塔图像融合算法,本发明选择对红外光与可见光源图像建立三层的拉普拉斯金字塔结构，如图2所示。红外光图像在进行图像增强预处理和配准预处理后，与可见光图像同时进行高斯塔形分解，分解后的红外光图像和可见光图像被分别被分解为一层金字塔图像、二层金字塔图像和三层图像，再对红外光图像和可见光图像进行一层融合、二层融合和三层融合，在图像融合中生成三层图像、二层金字塔图像和一层金字塔图像，对金字塔融合后得到红外光与可见光图像融合后的图像。

异构多核间用于数据交换的接口模块：在基于异构多核的红外光与可见光融合装置中，主处理器是具有异构双核处理器的超强性能CPU，ARM与DSP核根据各自性能构架的不同分别运行不同的功能模块，同时ARM端可以调用DSP端所提供的数据处理服务。ARM端运行linux操作系统，负责红外光与可见光两路视频数据的实时数据采集及对图像融合过后编码数据的实时传输；DSP端负责对红外光图像进行图像增强预处理、图像配准、两路视频图像数据的实时融合及对融合过后的图像数据进行H.264实时编码压缩。由于ARM与DSP之间进行频繁数据交换，在此采用了TI提供的CMEM和DSPlink接口模块。CMEM模块在两者可共同访问的内存区域开辟特殊空间进行高速、高带宽的数据交换，避免系统的运行瓶颈出现在交换数据通道上。由于ARM上的操作系统要求开启MMU，使用虚拟地址，而DSP是直接访问物理地址且不具备单独的MMU，因此当ARM与DSP进行交互时，需要将虚拟地址转换为物理地址，CMEM模块正是为了以上目的而设计的。DSPlink模块则用于ARM与DSP之间进行命令及参数的发送与接受，通讯机制采用了硬件消息队列，使命令相应更快速准确。具体开发环境搭建，系统组件结构关系和调试方法可根据TI公司官方提供的开发手册和文档完成。

核间调用接口实现：在进行由ARM与DSP组合组成的异构多核系统程序实现时，通常采用由TI公司提供的CodecEngine调用接口模板。DSP端算法编写同样采用符合XDM标准的C语言算法代码编写方式。因此，DSP端算法的C代码开发过程实际上是使用XDM标准提供的API函数对数据资源进行处理和管理的过程。仿照已有设计模式，分别在ARM端与DSP端实现异构多核间的注册接口函数：crate()、delete()、control()、process()，各接口之间分别一一对应。首先crate()接口为算法分配需要的存储空间，使用algAlloc函数进行设置，接着用alglnit函数初始化算法实例。与ARM端相对应的process函数负责接收ARM端的参数，并按照一定的算法处理输入的数据，处理后的数据存储到共享缓存提供给ARM端使用。control函数接口用于对算法的参数和执行等进行控制。delete()接口用于释放程序的内存与对象句柄。

系统封装如图4所示，在实现ARM端与DSP端进行接口调用过程中，最为重要的是process()接口。ARM端应用程序在调用fusion_process()函数时，ARM端将函数的入口参数和想要调用DSP端的process函数的请求全部打包。打包的信息通过DSPLink的msgq传递给DSP端。DSP端设置接收服务程序负责将打包的信息解开：首先是将ARM传递过来的接口参数解读成相对应的DSP端参数(ARM端使用虚拟地址，而DSP端只能识别物理地址，所以需要将虚拟地址转换为物理地址)，然后DSP端的服务程序会根据process这个请求在DSP端调用一个对应的process()任务来实现ARM端调用的fusion_process()功能。上述过程阐述了对DSP端XDM标准的算法的调用方式。当需要调用DSP端的算法时，只须在应用程序中调用相应的VISAAPI函数。DSP端的算法处理完之后,数据从DSP端返回ARM端的过程与上述过程是相逆的。

红外光与可见光融合方法实现：ARM端运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhatlinux；DSP端运行DSP/BIOS实时操作系统，使用CCS集成开发环境。

本实施例中，输入可见光图像为720×756分辨率，红外光图像为352×288，融合输出为分辨率为720×756。在图像融合过程中采用了基于拉普拉斯金字塔分解算法，但为了适应系统处理能力、实时图像采集和图像数据格式的要求，系统中所有图像处理融合过程均在YUV色彩空间进行。由于红外光本身性质的特殊性，数据融合过程仅使用两图像数据中的Y分量，而保留UV不变，在融合完成后为了保证图像色彩的完整性，使用可见光图像的UV分量信息作为最终融合图像的UV信息。以此简化融合过程以便提高系统处理速度。

系统处理流程如图5所示，在图像预处理部分，首先对红外光图像进行图像增强，然后对红外光图像进行仿射变换并插值到可见光图像相同分辨率以达到红外光与可见光配准的目的。最后进行图像实时融合及对图像的实时H.264编码压缩传输。系统在使用单独加权平均方式并开起H.264编码功能时，可轻松实现25帧/秒的实时图像融合及网络传输过程。系统换用拉普拉斯金字塔融合模式并关闭H.264编码功能时，在对融合代码较耗时部分进行简化处理并对底层关键代码使用线性汇编进行优化重写的情况下，也可达到22帧/秒的图像融合速率。

为实现系统的流畅运行，在ARM端应用主进程创建五个线程，分别是：采集线程，负责通过V4L2接口将两路视频数据放入采集缓冲区；图像融合线程，负责将釆集线程得到的数据进行红外光图像进行图像增强预处理、配准仿射变换及异源图像实时融合；H.264图像编码线程，负责调用DSP端H.264编码接口，实现图像数据的压缩，编码过程使用DSP端的HDVICP协处理器实现图像数据的H.264硬件编码。另外，编码线程在完成对采集到的视频数据的处理后，将上述接收到的采集Buffer重新放回釆集线程的空闲列表中，实现循环釆集；网络数据发送线程，负责H.264图像压缩编码数据的网络传输功能；显示线程，负责将融合数据刷新到显示端口。以上各个线程之间采用异步阻塞通讯方式，以降低CPU占用率。在DSP端设计创建两个实时任务：实时图像融合任务与H.264编码任务，分别为满足ARM端的对应的服务调用要求。

在本发明中，系统构建的ARM核和DSP核为核心的异构多核处理器采用了达芬奇ARM与DSP组合系列处理器，型号为TMS320DM8168。

多路视频放大器采用的是：THS7341D。

多路视频A/D转换芯片采用TVP5158；多路视频D/A转换芯片采用SAA7121；网络物理层控制器采用VSC8641。

系统内设置有的DDR3内存和NorFlash存储器；

输入可见光图像为720×756分辨率，红外光图像为352×288，融合输出为分辨率为720×756。

参见图7～图12。

图7至图12分别对应两组红外光图像、可见光图像和融合后的图像。从两组实时采集及融合图像可以看出，系统采用图像增强算法能够有效提高红外光图像中目标的可识别性，图像对比度更强；基于拉普拉斯金字塔融合算法能够有效准确地将红外光与可见光两种异源图像无缝融合在一起。具有融合可视效果好，执行效率高等特点。

Claims (10)

1.一种基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统构建一个以ARM核和DSP核为核心的异构多核处理器，在ARM核与DSP核之间采用CMEM和DSPlink接口模块；ARM核与DSP核之间数据调用接口采用CodecEngine调用接口模板；异构多核处理器负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出；

在异构多核处理器内部，ARM核运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhatlinux；负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；在DSP核使用CCS集成开发环境，运行DSP/BIOSS实时操作系统，负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行H.264实时编码压缩；

在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器；可见光数据和红外光数据分别经过各自的视频输入口通道进入系统后，经各自的多路视频放大器放大、增强数据驱动能力，放大后的可见光数据和红外光数据均分为2路，一路数据完全保留并经视频旁路视频输出口分别显示输出，另外一路送入A/D视频转换芯片，经数字化后送入异构多核处理器进行数据采集融合处理，融合后的数据经视频D/A转换芯片处理后，实时融合视频从视频输出口输出，同时，融合后的视频数据经过H264实时编码压缩，压缩后的视频数据经网络物理层控制器从网络接口输出；

系统的运行流程：首先，ARM端采集红外光视频数据和可见光视频数据，DSP端获取视频缓存后,对红外光输入图像进行图像增强预处理和图像配准预处理，在DSP端进行图像融合，融合后的图像数据发送到ARM端显示融合结果，输出融合后的视频，同时，DSP端对融合的图像进行H264视频编码压缩，压缩后再经ARM端网络数据传输网络视频数据。

2.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：对红外光输入图像配准预处理，是将红外光图像通过上采样插值到可见光系统分辨率，即将红外光图像拉伸至可见光图像的对应点；

对红外光输入图像进行图像增强预处理，采用基于“灰度世界”greyworld图像增强算法,在YUV色彩空间进行,且仅用于红外光的亮度信息Y分量的增益调整，即把红外光的灰度信息只看作是其中一个通道的亮度信息，并选定目标灰度作为整个所能表示灰度范围的一半，将红外光的灰度信息范围有效扩充到整个灰度位宽范围内，对每个像素乘上整体的放大系数；

在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉斯金字塔结构进行融合：红外光图像在进行图像增强预处理和配准预处理后，与可见光图像同时进行高斯塔形分解，分解后的红外光图像和可见光图像被分别被分解为一层金字塔图像、二层金字塔图像和三层图像，再对红外光图像和可见光图像进行一层融合、二层融合和三层融合，在图像融合中生成三层图像、二层金字塔图像和一层金字塔图像，对金字塔融合后得到红外光与可见光图像融合后的图像。

3.如权利要求2所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：所述在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉斯金字塔结构进行融合：首先对图像进行高斯金字塔分解，高斯金字塔用于下采样图像，而拉普拉斯金字塔则用于从金字塔低层图像中向上采样重建图像，从金字塔第i层生成第i+1层图像G_i+1，用高斯核对图像G_i进行卷积运算，然后剔除所有偶数行和偶数列，得到原有图像的1/4，由上述过程对输入图像G₀循环执行操作产生整个高斯金字塔；

使用imgPyrDow()，imgPyrUp()下采样分解与上采样金字塔重构的函数调用；在金字塔构建完成后，在金字塔最底层使用加权平均的融合算法；

恢复原来图像的大小过程如下：将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，将得到的原有图像的1/4的内核恢复到原有图像同样的内核，即将高斯金字塔图像乘以4，与放大后的图像卷积，获得新增像素的近似值；这两个向下和向上采样步骤分别通过函数imgPyrDow()和imgPyrUp()实现。

4.如权利要求2所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：对红外光输入图像配准预处理，将红外光图像拉伸至可见光图像的对应点过程是：使用自主开发的识别配准工具，分别在红外光和可见光图像中找到相同物体的对应的坐标位置，其对应点通过人工干预方式获得，并计算生成红外光到可见光图像的仿射变换系数矩阵，寻找不在同一直线上的三对对应点，进行运算，通过调用openCV函数库的对应接口函数，得到仿射变换系数矩阵，并将该系数矩阵通过网络直接写入到实时融合系统的flash中；

所述仿射变换系数矩阵根据以下公式计算：

${\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]}^{-1}=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\left(\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right)---\left(1\right)$

其中，(x,y)、(x',y')分别对应仿射变换前各像素点的坐标值，a₁₁、a₁₂、a₂₁、a₂₂为2×2非奇异矩阵的系数，t_x、t_y分别为在x、y方向上的平移参数；

当系统加电启动时，程序自动读入该仿射变换系数矩阵，计算生成红外光图像到可见光图像的像素映射表，即得到红外图像上每个像素映射到可见光图像上所得的对应坐标值，像素映射表生成计算公式如下：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(2\right).$

5.如权利要求3所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：在用高斯核对i层图像G_i进行卷积运算的表达式为：

$L_i=G_i-UP\left(G_{i+1}\right)\⊗g_{5\×5}---\left(3\right)$

其中符号代表卷积操作，g_5×5是5×5的高斯核，

5×5的高斯核卷积核为：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

在金字塔构建完成后，在金字塔最底层使用加权平均的融合算法，对于可见光图像和红外图像的像素灰度值加权平均融合的过程可以表示为：

F(m,n)＝ω₁A(m,n)+ω₂B(m,n)

式中，A代表可见光图像，B代表红外光图像，m代表像素的行数，m＝1,2,…M；n代表像素的列数，n＝1,2,...,N；ω₁为可见光图像的加权系数；ω₂为红外光图像的加权系数；通常ω₁+ω₂＝1；当ω₁＝ω₂＝0.5时为加权平均的特例。

6.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：ARM核与DSP核之间数据调用接口采用CodecEngine调用接口模板，分别在ARM端与DSP端实现异构多核间的注册接口函数：crate()、delete()、control()、process()，各接口之间分别一一对应；首先crate()接口为算法分配需要的存储空间，使用algAlloc函数进行设置，接着用alglnit函数初始化算法实例；与ARM端相对应的process函数负责接收ARM端的参数，处理输入的数据，处理后的数据存储到共享缓存提供给ARM端使用；control函数接口用于对算法的参数和执行等进行控制；delete()接口用于释放程序的内存与对象句柄。

7.如权利要求6所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：ARM端应用程序在调用fusion_process()函数时，ARM端将函数的入口参数和想要调用DSP端的process函数的请求全部打包；打包的信息通过DSPLink的msgq传递给DSP端；DSP端设置接收服务程序负责将打包的信息解开：首先是将ARM传递过来的接口参数解读成相对应的DSP端参数，包括ARM端使用虚拟地址，然后DSP端的服务程序根据process这个请求在DSP端调用一个对应的process()任务来实现ARM端调用的fusion_process()功能；当需要调用DSP端的算法时，只须在应用程序中调用相应的VISAAPI函数；DSP端的算法处理完之后,数据从DSP端返回ARM端的过程与上述过程是相逆的。

8.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统中所有图像处理融合过程均在YUV色彩空间进行,由于在红外光数据融合过程仅使用红外光和可见光图像数据中的Y分量，在融合完成后为了保证图像色彩的完整性，使用可见光图像的UV分量信息作为最终融合图像的UV信息。

9.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：在系统整个融合处理过程中，ARM端应用主进程创建五个线程，分别是：

采集线程，负责通过V4L2接口将两路视频数据放入采集缓冲区；

图像融合线程，负责将釆集线程得到的数据进行红外光图像进行图像增强预处理、配准仿射变换及异源图像实时融合；

H.264图像编码线程，负责调用DSP端H.264编码接口，实现图像数据的压缩，编码过程使用DSP端的HDVICP协处理器实现图像数据的H.264硬件编码，另外，图像编码线程在完成对采集到的视频数据的处理后，将上述接收到的采集Buffer重新放回釆集线程的空闲列表中，实现循环釆集；

网络数据发送线程，负责H.264图像压缩编码数据的网络传输功能；

显示线程，负责将融合数据刷新到显示端口；

以上各个线程之间采用异步阻塞通讯方式，以降低CPU占用率；

在DSP端创建两个实时任务：实时图像融合任务与H.264编码任务，分别为满足ARM端的对应的服务调用要求，实时图像融合任务包括对红外图像进行基于灰度射世界的图像增强处理,对红外图像的放射变换，即图像配准以及对可见光图像与红外图像分别进行三层塔形分解与拉普拉斯金字塔的融合。

10.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统构建的ARM核和DSP核为核心的异构多核处理器采用了达芬奇ARM与DSP组合系列处理器，型号为TMS320DM8168；

多路视频放大器采用的是：THS7341D；

多路视频A/D转换芯片采用TVP5158；多路视频D/A转换芯片采用SAA7121；网络物理层控制器采用VSC8641；

系统内设置有的DDR3内存和NorFlash存储器；

输入可见光图像为720×756分辨率，红外光图像为352×288，融合输出为分辨率为720×756。