CN101420533B - 基于视频背景检测的嵌入式图像融合系统及方法 - Google Patents

Abstract

本发明涉及一种基于视频背景检测的嵌入式图像融合系统及方法，该系统在FPGA上实现数据的采集和多分辨率方法减少或消除成像传感器带来的噪声，并将视频图像信号按照特定的时钟传送给DSP子系统，在DSP1平台上采用基于视频背景检测的图像融合技术对视频图像进行融合，在传感器种类选择开关处设定DSP所采用的图像融合方法，以提高系统的适用范围。它是信息融合、嵌入式系统开发领域中的一项关键性环节，该系统可以非常灵活的运用于光学成像、目标监视、安全检查等系统中。具有适用范围广、融合精度高等优点。

Description

基于视频背景检测的嵌入式图像融合系统及方法

技术领域

本发明涉及一种图像融合方法，特别涉及一种基于视频背景检测的嵌入式图像融合方法。

背景技术

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术，近年来已成为一种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

目前具有代表性的方法有基于多分辨率的图像融合方法、基于特定区域的图像融合方法以及基于分割技术的图像融合方法。这些方法大都是建立在多分辨率理论的基础上进行的。大体步骤是首先将图像在多分辨率的基础上进行分解，根据分解后多分辨率不同频段上的系数对图像进行融合处理，融合方法采用像素点取大以及窗口能量最大等方法，最近几年又有学者提出基于统计的融合方法，不管采用何种方法，将图像汇总为统一的多分辨率表示，而后通过多分辨率逆向变换，经过调整验证等过程，最终得到融合结果图像。在实际运用的时候，该方法大多是在基于PC机的平台上进行的。

以上的融合方法是建立在图像中有效区域或感兴趣区域都具有高频特性，或局部频率能量较高的基础上进行的，他们在静态图像的基础上经过分解、融合、重建而完成的，这使得从方法的层面上不能得到实际的有效融合图像，造成融合后信息对于实际应用的意义不大。其次，由于这些方法基本上都是在PC机上实现，运算，而图像融合技术大都运用在卫星、机载等对于信息设备的尺寸要求比较严格的设备上，安装传统的PC机是不可能的也是不现实的。

发明内容

本发明是针对现有图像融合方法造成的融合图像偏离实际的问题，提出一种基于视频背景检测的嵌入式图像融合系统及方法，该系统及方法可以同时运用于同类的传感器多聚焦图像融合，也可以运用于不同种类的传感器。在基于稳定的基于视频背景检测进行图像融合的基础上，构造其嵌入式系统，能够有效的带动图像融合方法在实际中的运用，并有效改善图像融合的性能。

本发明的技术方案为：一种基于视频背景检测的嵌入式图像融合系统，包括成像传感器、A/D多路采集、FPGA装置、DSP图像融合模块、液晶显示接口、传感器种类选择开关，成像传感器的信号进入A/D多路采集将模拟视频信号转换成为数字像素值，输入FPGA装置中进行处理后，视频信号的传入DSP图像融合模块，DSP图像融合模块根据传感器种类选择开关送入的传感器种类信号进行图像融合，最后将融合后的图像通过液晶显示接口送出显示。

所述传感器种类选择开关是一块单独的DSP模块，为一基于最小均方根误差方法的比较器。

一种基于视频背景检测的嵌入式图像融合方法，包括基于视频背景检测的嵌入式图像融合系统，具体方法包括如下步骤：

1)图像的采集和输入：采用面扫描的CCD成像传感器获得的模拟视频信号，每个像素并行的通过A/D转换器转换成为LDVS低压差分信号的数字像素值，将所有的CCD获得模拟信号所表示的像素经过A/D转换后，终将得到一帧一帧的数字视频图像信号；然后在发送到FPGA装置进行基于多分辨率方法的去噪处理；

2)去噪处理：数字视频图像信号的每一帧送入FPGA装置上进行基于多分辨率的数字图像信号的去噪处理，该处理过程分为基于多分辨率的分解，基于多分辨率域的数字图像去噪和基于多分辨率重建，最后得到降噪后的单帧图像；

3)图像传送：处理后的单帧图像按照一个像素由24位表示的方式并行传输到DSP图像融合模块，一帧像素传输后，通过确认验证过程再传输下一帧图像信号，最终实现视频信号的传送；

4)图像融合方法的选择：根据传感器种类选择开关判断是同类传感器还是不同传感组，以决定采用基于多分辨率图像融合方法还是采用基于视频背景检测的图像融合方法，当DSP得知采用的是同类传感器，则在DSP上的运行程序以基于多分辨率图像融合方法程序为头地址，进行图像融合处理；当DSP得知采用的是不同种类的传感器，则在DSP上运行的程序以基于视频背景检测的图像融合方法程序为头地址，进行融合处理；

5)多分辨率图像融合方法：判断为基于多分辨率图像后经过三个步骤，分别是图像的基于多分辨率的分解、基于窗口区域能量取大的融合策略和基于多分辨率分析的重建；

6)视频背景检测的图像融合方法：判断为基于视频背景检测的图像，首先利用色彩和运动信息进行基于混合高斯分布的视频背景估计，从而将运动目标区域和背景区域分离开来；然后在新构成的空图像中叠加这些运动目标区域，对于目标的背景进行基于多分辨率方法的融合，进入到步骤5)所述的程序子段，而后在多分辨率空间下叠加了运动目标的空图像上再叠加融合后的背景图像，从而生成最终的融合图像。

所述图像融合方法的选择中传感器种类选择开关仅在设备启动阶段对系统进行自诊断工作，对图像融合的DSP模块进行初始化，一旦系统正常运行后，传感器种类选择模块停止工作。

本发明的有益效果在于：本发明基于视频背景检测的嵌入式图像融合系统及方法具有适用范围广、融合精度高等优点，对于视频信号后续的基于特征级及决策级等人工智能的处理或者人机交互判断决策等工作具有重要意义和实用价值。

附图说明

图1本发明基于视频背景检测的嵌入式图像融合系统硬件结构示意图；

图2本发明基于视频背景检测的嵌入式图像融合方法软件流程示意图；

图3是本发明基于视频背景检测的嵌入式图像融合系统中所用到的CCD图像中实际视频中的某一帧；

图4是本发明基于视频背景检测的嵌入式图像融合系统中所用到的红外图像中实际视频中的某一帧；

图5是本发明基于视频背景检测的嵌入式图像融合系统中基于混合高斯分布所提取的CCD图像背景；

图6是本发明基于视频背景检测的嵌入式图像融合系统中基于混合高斯分布所提取的红外图像背景；

图7是本发明基于视频背景检测的嵌入式图像融合系统中最终获得的融合后视频图像的某一帧。

具体实施方式

视频背景检测的嵌入式图像融合系统硬件结构示意图如图1所示，成像传感器1的信号进入A/D多路采集3将模拟视频信号转换成为数字像素值，输入FPGA装置4中进行处理后，视频信号的传入DSP图像融合模块5，DSP图像融合模块5根据传感器种类选择开关2送入的传感器种类信号进行图像融合，最后将融合后的图像通过液晶显示接口6送出显示。

其具体配置如下所述：

采用了两个成像传感器，一个是AVT工业CCD摄像头F-032B/C，另外一个是Infrared Solutions公司可提供一款基于非冷却辐射热计技术的热成像仪：IR-160型成像仪，其可输出160×120像素NTSC或PAL视频输出信号；传感器种类选择开关和DSP图像融合芯片均采用了TI公司的TMS320C6000；A/D多路采集芯片采用24位A/D转换器CS5381；FPGA装置中数据预处理芯片采用了xilinx FPGA芯片XCF01。

基于视频背景检测的嵌入式图像融合系统在FPGA数据处理芯片(XCF01)进行了视频图像的采集和输入、视频图像的去噪以及视频图像的输出。其具体描述如下：

图像的采集和输入：视频图像的获取是通过A/D转换器，首先将从CCD摄像仪(F-032 B/C)和红外热像仪(IR-160)得到的模拟视频信号转换成为LDVS格式的24位数字像素值。将所有的CCD获得模拟信号所表示的像素经过A/D转换后，终将得到一帧一帧的数字视频图像信号，由于F-032 B/C的分辨率是640×480，而IR-160的分辨率是160×120，因此需要在FPGA侧对CCD信号进行重采样处理，使之与红外传感器得到的160×120能够完全匹配，这里需要说明的是，经过手动调整，是能够使得两个摄像头得到的视频图像达到完全配准的，然后根据这个角度对其进行机械固定。得到数字视频图像后，将其发送到FPGA装置进行基于多分辨率方法的去噪处理。

数字图像信号的每一帧在FPGA装置上进行基于多分辨率的数字图像信号的去噪处理，该处理过程分为基于多分辨率的分解，这里采用基于小波变换的方法，为了简化系统的设计上的复杂性，本发明采用了OpenCV提供的算法函数进行小波去噪处理，最终得到去除噪声后的视频图像。

处理后的单帧图像按照一个像素由24位表示的方式并行传输到DSP(TMS320C6000)模块，一帧像素传输后，通过确认验证过程再传输下一帧图像信号，最终实现视频信号的传送。

基于视频背景检测的嵌入式图像融合系统在DSP图像融合模块5上根据传感器种类分别设计了基于多分辨率的图像融合子程序和基于视频背景检测的图像融合子程序。其具体描述如下：

在DSP图像融合模块5首先根据传感器种类选择开关判断是同类传感器还是不同传感组，以决定采用基于多分辨率图像融合方法还是采用基于视频背景检测的图像融合方法；当DSP得知采用的是同类传感器，则在DSP上的运行程序以基于多分辨率图像融合方法程序为头地址，进行图像融合处理；当DSP得知采用的是不同种类的传感器，则在DSP上运行的程序以基于视频背景检测的图像融合方法程序为头地址，进行融合处理。该处理过程可参见图4的基于图像融合的嵌入式系统软件结构示意图。

基于视频背景检测的图像融合方法，首先利用色彩和运动信息进行基于混合高斯分布的视频背景估计。图像背景的彩色分布是在HIS空间下表示的，其中H表示了色调信息L表示了亮度信息，S表示了饱和度信息。像素φ属于背景区域ψ可以被模拟成为一个凸的M维混合高斯分布。

$P\left(\mathrm{\φ}\right|\mathrm{\ψ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{g}_i\left(\mathrm{\φ}\right)---\left(1\right)$

其中w_i是混合权重，且 $\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i=1,$ g_i(·)是混合元素，其中i＝1，...，M。每一个元素的分布都为一高斯分布，其均值为μ_i，方差为∑_i：

$g_i\left(\mathrm{\φ}\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\exp \{-\frac{1}{2}{(\mathrm{\φ}-{\mathrm{\μ}}_i)}^T{\mathrm{\Σ}}_i^{-1}(\mathrm{\φ}-{\mathrm{\μ}}_i)\}---\left(2\right)$

其中d是采样数据的维数，图5展示了视频图像的原图，图6展示了视频图像经过GMM(混合高斯模型)算法得出来的背景图像。

该算法需要一定的过程，其运算过程大致需要2s的时间，即可估计出视频图像的背景，从而将运动目标区域和背景区域分离开来；然后在新构成的空图像中叠加这些运动目标区域，对于目标的背景进行基于多分辨率方法的融合，进入到基于多分辨率图像融合方法程序子段，而后在多分辨率空间下叠加了运动目标的空图像上再叠加融合后的背景图像，从而生成最终的融合图像。

基于视频背景检测的嵌入式图像融合系统在传感器选择器模块上采用基于最小均方根误差进行两幅图像的比较。其具体描述如下：

传感器种类选择器中采用基于最小均方根误差进行两幅图像的比较，由于目前适用的是红外与CCD图，从视频图像中任意截取一幅图像进行比较，如公式(3)所示。

均方根误差公式定义如下：

$\mathrm{RMSE}=\sqrt{\frac{1}{M\·N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(R(i,j)-F(i,j))}^2},$

其中R是参考图像，这里定义为CCD图像，F为红外图像，M，N分别是图像大小的行和列数。

当RMSE大于某个阈值th的时候，系统断定该模式属于异类传感器的融合，反之如果小于某个阈值th的时候，则断定为同类传感器或者是近似传感器的融合。th的取值范围是从0～255，这里取th＝100即可得到很好的效果。

如下表为可见光/红外图像的融合结果指标评价指标。从表中可以看出，当采用本发明提出的方法时，融合性能已经超过了传统小波方法，拉普拉斯金字塔方法，甚至超过了传统的小波框架的方法。

 

图像融合方法	EMI	PMI
			基于LP方法	0.4344	0.6456
基于DWT方法	0.4189	0.6411
			基于DWF方法	0.4179	0.6427
基于视频背景检测的图像融合方法	0.4629	0.6774

本发明方法的整个图像融合过程中需要用到两幅视频图像的输入，如图3和图4为CCD图像和红外图像，根据这些视频图像所获得的其背景信息可参见图5和图6，分别为CCD图像的背景信息和红外图像的背景信息。最后，图7表示了融合后图像。

Claims (2)

1.一种基于视频背景检测的嵌入式图像融合方法，通过基于视频背景检测的嵌入式图像融合系统来实现，其特征在于，具体方法包括如下步骤：

1)图像的采集和输入：采用面扫描的CCD成像传感器和红外热像仪获得的模拟视频信号，每个像素并行的通过A/D转换器转换成为LDVS低压差分信号的数字像素值，将所有的像素经过A/D转换后，终将得到一帧一帧的数字视频图像信号；然后再发送到FPGA装置进行基于多分辨率方法的去噪处理；

2)去噪处理：数字视频图像信号的每一帧送入FPGA装置上进行基于多分辨率的数字图像信号的去噪处理，该处理过程分为基于多分辨率的分解，基于多分辨率域的数字图像去噪和基于多分辨率重建，最后得到降噪后的单帧图像；

3)图像传送：处理后的单帧图像按照一个像素由24位表示的方式并行传输到DSP图像融合模块，一帧图像传输后，通过确认验证过程再传输下一帧图像信号，最终实现视频信号的传送；

4)图像融合方法的选择：根据传感器种类选择开关判断是同类传感器还是不同种类传感器，以决定采用基于多分辨率图像融合方法还是采用基于视频背景检测的图像融合方法，当DSP图像融合模块得知采用的是同类传感器，则在DSP图像融合模块上的运行程序以基于多分辨率图像融合方法程序为头地址，进行图像融合处理；当DSP图像融合模块得知采用的是不同种类的传感器，则在DSP图像融合模块上运行的程序以基于视频背景检测的图像融合方法程序为头地址，进行融合处理；

5)多分辨率图像融合方法：判断为采用基于多分辨率图像融合方法后经过三个步骤，分别是图像的基于多分辨率的分解、基于窗口区域能量取大的融合策略和基于多分辨率分析的重建；

6)视频背景检测的图像融合方法：判断为采用基于视频背景检测的图像融合方法，首先利用色彩和运动信息进行基于混合高斯分布的视频背景估计，从而将运动目标区域和背景区域分离开来；然后在新构成的空图像中叠加这些运动目标区域，对于背景区域进行基于多分辨率方法的融合，进入到基于多分辨率图像融合方法程序子段，而后在多分辨率空间下叠加了运动目标的空图像上再叠加融合后的背景图像，从而生成最终的融合图像。

2.根据权利要求1所述基于视频背景检测的嵌入式图像融合方法，其特征在于，所述图像融合方法的选择中传感器种类选择开关仅在设备启动阶段对系统进行自诊断工作，对DSP图像融合模块进行初始化，一旦系统正常运行后，传感器种类选择开关停止工作。

Images