CN101846751B - 一种用于隐匿武器检测的实时图像融合系统及方法 - Google Patents

Abstract

本发明公开了一种用于隐匿武器检测的实时图像融合系统，其任务是完成在安全检查场合对人身上藏匿的武器进行实时检测。利用同一场景下人的可见光图像和毫米波图像进行像素级图像融合技术，采用一种基于小波变换的融合方法，该方法兼顾了融合性能和硬件执行速度，利用高性能的DSPTMS320DM642+FPGA的硬件平台，可实现快速有效的藏匿武器的检测任务。

Description

一种用于隐匿武器检测的实时图像融合系统及方法

技术领域

本发明涉及光电仪器技术，具体是一种用于隐匿武器检测的实时图像融合系统及方法。

背景技术

图像融合是指综合两个或两个以上的源图像信息，以获取对同一场景的更为精确、全面和可靠的图像描述，充分利用被融合图像中包含的冗余信息和互补信息，使得融合图像更符合人或机器的视觉特性，以利于对图像的进一步分析、目标的检测、识别或跟踪。图像融合在隐匿武器检测、遥感图像、医学诊断以及目标等信息提取等方面已经有了很大的应用。

专利主要针对面向安防应用，其基本原理是采用可见和毫米波图像探测器，对公众场合如候机厅，会议场所等人数众多的地方进行扫描监视，其中毫米波探测器用来探测武器的携带情况，而可见光图像则是对携带武器人的定位。因此本融合系统的任务就是完成同一场景下图像的像素级融合。融合算法是基于项目小组的研究成果，比较了传统融合方式，提出一种基于小波变换的融合算法，该算法兼顾了融合性能和硬件执行速度。

图像数据量大、小波变换融合算法的复杂性以及高速的数据处理要求，使得实时图像融合处理系统的研制开发受到较大的限制。系统采用业界高性能TMS320DM642+FPGA的解决方案，自主设计开发了基于小波变换的图像融合处理系统，并完成系统软件系统的设计和优化。

发明内容

基于公共场合如候机厅，会议场等人数众多的地方需要进行扫描监视等安防问题，本发明提出了相应解决方案，设计了一种利用基于小波变换图像融合技术实现实时隐匿武器检测的系统。

本发明的目的是这样实现的：

该发明采用的DM642+FPGA解决方案，该系统包括探测器图像采集和完成图像融合以及数据输出的DSP+FPGA功能块。

FPGA部分：提供探测器的时序，控制信号以及接收来自探测器的数据输出；对原始图像数据的编排，将原始信号数据格式转成图像数据元阵列，以达到空间位置上的一一对应，并且符合和DSP通讯的数据传输协议；通过USB传输监视原始图像的输出；图像的预处理，含校正，滤波，归一化等，使得图像具有较好的一致性；与DSP数据通讯。

DM642部分：图像融合系统的核心任务是图像融合算法的实时实现，涉及图像融合算法研究、硬件平台系统设计、融合算法的DSP软件开发实现等多方面的内容。为了能够充分合理地利用现有系统资源，充分利用DM642硬件结构的特点，本发明采用汇编与C语言相结合的方法，将算法修改成适合流水并行处理的算法，提高算法的执行效率。

在图像融合过程中，融合规则及融合算子的选择对于融合的质量至关重要。为了获得细节丰富、边界突出的融合效果，这里采用的融合规则及融合算子如下。对于表征图像轮廓部分的低频系数，分别计算两幅带融合图像的低频分解系数的能量值，然后计算能量值的加权系数，接着通过比较加权系数的大小得到一个系数选择矩阵，通过这个矩阵，就可以融合低频部分系数。由于图像的局部区域特征往往不是由一个像素所能表征的，而是由某一局部区域的多个像素来表征和体现的；同时，通常图像中某一局部区域内的各像素间往往有较强的相关性。所以对于表征图像的细节部分的高频系数，仍然使用低频选择矩阵进行融合。即

1.对两幅已经配准的源图像进行CDF97小波分解，设两个图像的小波分解系数分别为D₁(p)和D₂(p)，其中p＝(i，j，k，l)，(i，j)为分解系数的空间位置，k为分解层数，l为子带频段(l＝1、2、3、4)。

2.计算两幅图像小波分解系数的能量值，设两组分解系数的能量值分别为A₁(p)和A₂(p)，采用的窗口大小为3×3，窗口模板系数为：

$\mathrm{\ω}(s,t)=\left(\begin{array}{ccc}\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{2}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right)$

能量值为：

$A_M\left(p\right)=\underset{s\∈S,t=T}{\mathrm{\Σ}}\mathrm{\ω}(s,t)D_M^2(i+s,j+t,k,l),M=\mathrm{1,2}$

3.计算加权系数：

$w_1\left(p\right)=\frac{A_1^2\left(p\right)}{A_1^2\left(p\right)+A_2^2\left(p\right)};$ $w_2\left(p\right)=\frac{A_2^2\left(p\right)}{A_1^2\left(p\right)+A_2^2\left(p\right)};$

采用2次方的加权系数可以增加具有较大能量的系数的权重，实际中可以根据融合效果作适当调整。

4.通过比较加权系数，可以得到一个(0，1)选择矩阵C。这个矩阵的0，1系数分别表示选择哪一幅图像的分解系数作为对应位置的融合图像系数。

在系统实现中，采用CDF97小波来实现图像的小波变换和小波逆变换。提升算法相应的整数变换为：

d(n)＝x(2n+1)+α[x(2n)+x(2n+2)]，

s(n)＝x(2n)+β[d(n+1)+d(n)]，

d(n)＝d(n)+γ[s(n+1)+s(n)]，

s(n)＝s(n)+δ[d(n+1)+d(n)]

CDF97小波的提升系数：

(α，β，γ，δ)＝(-1.5861343421，-0.0529801186，0.8828110755，-0.4435068520)定点DSP上的实现，对α，β，γ，δ做有理数近似为：

$\mathrm{\α}\≈-\frac{203}{128},$ $\mathrm{\β}\≈-\frac{217}{4096},$ $\mathrm{\γ}\≈\frac{113}{128},$ $\mathrm{\δ}\≈\frac{1817}{4096}$

CDF97小波在图像的压缩性能和计算性能上具备较好的性能，变换一次只需要6次乘法和8次加法，而且能保留较多的图像细节，并且作为JPEG2000的标准。虽然近似实现可能带来误差，但当字长较长时(长于16位)，对数据的有效位数基本没有影响，可以忽略。

本发明的隐匿武器检测的实时图像融合系统完成了基于小波变换的实时图像融合系统的设计，测试数据表明，系统完全能够满足图像融合中高速图像处理能力及图像传输的要求，完成隐匿武器的检测。本发明的系统设计与技术实现具有以下几个突出的性能特点：

1.实时性强。在测试时，图像大小为256×256，系统采集与融合处理速度到达了12帧/秒，达到了实际使用的技术指标要求。

数据测试表明，实现一次256×256图像的两层CDF97小波变换，优化后的代码显示，只需要6300057个指令周期，在600MHz的工作频率下，约10ms内完成。逆变换没有增加计算量，因此，完成256×256的CDF97小波变换与逆变换只占用30ms，对应的融合算法难易程度不一样，因此对应的耗时量也会不一致。本系统算法下，由于运算量小，小波系数融合部分也在20ms内。因此系统在预定的性能指标上留有较大的余量。对于大视场，图像大小为1024×1024，按照前面的系统给出的结果，可以计算得到，完成融合图像的输出约为50ms×16＝800ms，符合系统要求的指标。

2.通过QDMA和融合算法汇编指令软件的优化使融合的操作在较少的周期内完成。同比没有优化的代码，效率大幅度提升。

3.对输入数据的关键信号测试表明，信号沿口保持很好，数据吞吐无误。满足高速融合系统的信号完整性要求。

附图说明

图1为图像融合处理板的DSP+FPGA解决方案示意图。

图2为基于DM642的CDF97小波算法流程图。

图3为图像融合在DM642上的软件实现框架图。

图4为小波算法预测部分线性汇编关联图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述，根据系统在安防应用环境的不同，实施例的具体技术指标如下：

1.对于安检系统来说，视场比较小，但是进出的流量比较大，鉴于以上的考虑，可见和毫米波探测器选用256×256，帧速为12帧/秒。

2.对于广场以及候机厅等环境，相应的视场较大，速率要求比较低，对应的每帧图像，图像大小为1024×1024，帧速为1帧/秒。

系统采用的融合解决方案如图1所示，该系统包括探测器图像采集和完成图像融合以及数据输出的DSP+FPGA功能块。硬件设计主要围绕DM642和FPGA两个方向进行设计。其中FPGA管脚配置灵活，设计相对简单，因此着重说明DM642的设计。

DM642的配置：系统采用600MHz工作主频模式，选用的SDRAM芯片速度为7ns，即支持＜140MHz的clk，系统中选用100Mhz读取时钟(地址线20，1K电阻上拉，即1/6*600MHz＝100MHz)，可以选择Flash自启动。

DM642的外围设计：融合最密切相关的是与FPGA的通讯，图像数据经Video Port到达SDRAM。然后在经DM642处理后，经EMAC发送到上位机。

SDRAM采用两片Hynix的hy57v283220T-7，对应的为2*16M的存储空间，数据宽度为64位。FLASH采用AMD公司16位宽的AM29lv800B-90。

以太网传输部分，DM642的EMAC主要负责以太网数据帧的收发，提供标准的MII接口，与外置物理层芯片LXT971ALC直接相连。MDIO模块负责对LXT971A进行配置及其读取其工作状态。DM642这端，需要HD5(PinY 1)接4.7K电阻至低。其余部分的连线则要保证一一对应即可。LXT971ALC，支持两种速度10Mbps和100Mbps，后者需提供相应的25MHz时钟支持。

上电次序以及复位：DM642上电时要保证内核电压先上电，然后是IO等电压，设计中采用两片TPS54310给出。复位电路采用TPS3305电压双路监视芯片。

PCB布板的信号完整性：对于工作内核频率600MHz、外设频率100MHz以上的DM642电路系统，容易产生反射、振铃、地弹、串扰、噪声和电磁干扰等问题，导致系统工作异常。系统进行了信号完整性设计、滤波去耦设计、电磁兼容性设计，通过高速印刷电路板的合理走线、板上器件的合理布局、高速数字逻辑器件间正确的时序耦合，并且利用高频传输线模型处理PCB板上的走线，来避免和减小高频数字电路的问题。PCB布板采用八层设计。分层从上至下，信号层S1(Top Layer)，GND层，信号层S2，电源层(3.3V)，机械层，电源层(1.4V(DSP内核)，1.2V(FPGA内核)，2.5V)，信号层S3，GND层，S4层(Bottom Layer)。两层地的设计，基本消除了层间信号线的相互干扰。

图3展示了融合中心的软件框架结构。

数据传输软件设计：Video Port通讯端口支持多种图像格式，系统中采用BT656-raw模式进行图像数据的输入。EDMA传输的触发和通道的切换是系统最为核心又最为重要的工作，EDMA采集由Video Port1事件中断触发图像的采集，而输出则是通过Chaining实现。即首先Video Port1触发了EDMA的采集，将数据存入采集数据存储区DST1中，完成此操作后，将DST1中数据进行算法处理送入输出数据目标区SRC1，同时进行Chaining链接启动EDMA发送已经处理完毕的数据SRC2，其中地址DST1和DST2，SRC1和SRC2的切换通过Linking实现。数据输出方面，本系统支持两种方案，一种是通过视频口的USB传输方案，另外一种采用以太网的方式，由于C6000系列DSP提供了TCP/IP协议栈，DM642中还集成了MAC层，因此不需要自行编写网络MAC层的驱动，简化了EMAC的开发。

图像融合的代码设计与代码优化：融合中心的核心任务是图像融合算法的实时实现，必须充分利用TMS320DM642硬件结构的特点，采用汇编与C语言相结合的方法，将算法修改成适合流水并行处理的算法，提高算法的执行效率。因此基于DSP的软件优化显得非常重要。

QDMA实现内部数据的高速传输：快速提升小波变换算法的基本思想是，将Mallat算法中的每一级滤波运算分解为分裂(split)、预测(predict)和更新(update)三个过程。图2中是CDF97小波在DM642中的实现流程，由于DM642的内存区域较小，不能缓存整幅图像，因此图像需要保存在片外速度相对较低的SDRAM中，然后分别读入内存区域中进行单行或单列进行变换，对于这样的一次性传输，DSP具备一次性快速传输方式QDMA，通过QDMA行或列传输到内存区域中，然后对单行进行提升方式的小波变换。

表格2memcpy和QDMA搬移速率对比(单位：指令周期)

QDMA是DSP中搬移数据最有效率的手段之一。与EDMA相似，QDMA支持几乎所有的EDMA传输方式，但是提交传输申请的速度要快很多。在应用系统中，EDMA适合于固定周期的数据传输，但如果需要CPU干扰控制搬移数据，QDMA则比较适合。

汇编优化：图4展示了提升小波软件预测部分的流水关联图，每次循环，需要执行两次读取指令，加指令，乘指令，移位和减指令各一次，通过并行运算和流水线操作可以极大提高运算效率。

提升小波的实现主要包含边界处理，分裂，预测，更新等部分，需要进行多次循环运算，以循环体为主的函数可以使用线性汇编语言重写整个函数。使用汇编优化器进行优化效率是非常高的。程序编制时采用流水线(Soft Pipeline)技术，有效分配循环指令，使多次迭代并行执行，最大可能的提高程序性能。表3中可以看到，对长256的数据进行1D的小波算法，使用并行语句的线性汇编语言进行流水线优化后，相比于C语言，速度提升了约三倍。

表格3小波算法预测部分指令周期对比(单位：指令周期)

Claims (2)

1.一种用于隐匿武器检测的实时图像融合系统，该系统包括探测器图像采集和完成图像融合以及数据输出的DSP+FPGA功能块，其特征在于：系统构建了适用于双波段图像融合的DSP+FPGA的高速处理系统的硬件平台，该平台中，FPGA对前端红外探测器和毫米波探测器提供同步采集时序，将两探测器输出的视频图像进行格式编排；然后通过型号为DM642的DSP的通讯端口Video Port将图像数据传输到SDRAM缓存；当两幅图像都缓存完毕，即对两幅图像进行CDF97小波变换，将变换后的图像数据缓存在SDRAM空间中；接着根据融合策略对变换后的两幅图像数据进行图像融合处理，将融合的图像进行CDF97小波反变换；最后将最终的融合图像通过USB或者以太网上传到电脑主机进行图像显示。

2.一种基于权利要求1所述系统的实时图像融合方法，其特征在于包括以下步骤：

1)对红外探测器和毫米波探测器输出的两幅图像进行CDF97小波分解，设两个图像的小波分解系数分别为D₁(p)和D₂(p)，其中p＝(i，j，k，l)，i，j为分解系数的空间位置，k为分解层数，l为子带频段，l取值1、2、3或4；

2)计算两幅图像小波分解系数的能量值，设两组分解系数的能量值分别为A₁(p)和A₂(p)，采用的窗口大小为3×3，窗口模板系数为：

$\mathrm{\ω}(s,t)=\left(\begin{array}{ccc}\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{2}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right)$

能量值为：

$A_M\left(p\right)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\ω}(s,t)D_M^2(i+s,j+t,k,l),M=\mathrm{1,2}$

3)计算加权系数：

$w_1\left(p\right)=\frac{A_1^2\left(p\right)}{A_1^2\left(p\right)+A_2^2\left(p\right)};$ $w_2\left(p\right)=\frac{A_2^2\left(p\right)}{A_1^2\left(p\right)+A_2^2\left(p\right)};$

采用2次方的加权系数可以增加具有较大能量的系数的权重，实际中可以根据融合效果作适当调整；

4)通过比较加权系数，可以得到一个(0，1)选择矩阵C，这个矩阵的0，1系数分别表示选择哪一幅图像的分解系数作为对应位置的融合图像系数。

Images