CN109255301A - 一种基于fpga的红外遥感图像舰船检测虚警剔除方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，设计了降低舰船检测中虚警率的虚警剔除软件算法，主要包括采用双线性插值进行图像尺寸归一化，采用二维FFT进行疑似目标区域特征提取，和采用线性SVM分类器进行疑似目标分类的三个阶段。利用乒乓结构设计了一维FFT计算单元，并利用一维FFT计算单元和二维Block RAM缓存单元组成了二维FFT计算单元。利用流水线结构组成的线性SVM分类器计算单元，和采用乘加单元的时分复用机制。利用FPGA上的并行结构特点，对过程上相互独立的计算并行执行。本方法的软件算法设计有着虚警率低、算法复杂度适中和非常适合在FPGA上进行实现的特点，同时节省了FPGA上的硬件资源，提高了系统吞吐量，降低了时延。

Description

一种基于FPGA的红外遥感图像舰船检测虚警剔除方法

技术领域

本发明属于舰船检测领域，特别涉及一种红外遥感图像舰船检测虚警剔除方法在硬件平台上的实现。

背景技术

舰船检测算法作为目标检测的一种，被广泛应用于国防军事、渔业管理、海上救援等多个领域。红外遥感图像舰船检测，一般利用星载成像系统，来得到感兴趣区域的红外遥感图像，进而利用此图像进行舰船检测。然而，红外遥感图像的空间分辨率较低，大量的云雾增加了海面场景的复杂度，海水和舰船的热辐射特性存在不稳定性。红外遥感图像的这些特性，也在一定程度上有损于舰船检测的准确度。一般来讲，广义上来讲，虚警剔除算法主要可以分为两类：(1)传统方法，如利用小波变换对不平稳信号的鲁棒性提取舰船的频域特征，利用疑似目标的面积、形态、像素强度、频谱特征等舰船特性进行虚警剔除；(2)机器学习和深度学习方法，如利用聚类算法、SVM等将疑似舰船目标分类，利用SSD、YOLO等将舰船目标的检测和分类统一在一个过程中等。

基于传统方法的虚警剔除，理论基础强，实现比较容易，技术也比较成熟，但是对复杂场景的鲁棒性低。特别是对红外遥感图像这种场景十分复杂，存在着诸如碎云、舰船尾迹等可能的虚警，往往会出现虚警率高等的问题。基于机器学习和深度学习的方法，检测率较高，虚警率较低，鲁棒性较高，但当和舰船检测算法的其他部分共同移植到嵌入式硬件平台上时，将会消耗大量的存储和计算资源，对硬件实现来说存在着一定的难度。

一般来讲，由于舰船检测算法过程比较复杂，当在嵌入式硬件平台上实现时，需要消耗大量的存储、计算单元，这就对硬件平台提出了较高的要求。目前，在嵌入式硬件平台的实现，按核心处理器件分，主要有三类：(1)基于核心处理器件为数字信号处理器；(2)核心处理器件为FPGA；(3)核心处理器件为嵌入式GPU。另外，值得注意的是，最近也涌现出一些在异构平台上实现的舰船检测算法，如FPGA+DSP、CPU+FPGA、FPGA+GPU等。

由于DSP本身功耗较大，吞吐量较小，使用DSP的目标检测算法的实现较少。基于嵌入式GPU的实现方法，吞吐量很大，实现比较容易。但是嵌入式GPU功耗较大，这对部署在硬件平台上是一个劣势。相较于其他两种实现方式，FPGA一般只能利用特定的Verilog/VHDL硬件编程语言，和硬件底层联系十分紧密。故而，其开发周期较长、编程实现难度较大。然而，FPGA具有并行程度高、工作功耗小等的特点。通过充分利用FPGA的优势，使用先进的设计理念及设计方法。所以，使用FPGA实现的红外图像舰船检测虚警剔除算法得到了广泛的应用。

发明内容

针对需要解决的问题，本发明的目的是设计一个舰船目标检测的虚警剔除软件算法，并加以在FPGA上进行实现和优化加速。该虚警剔除软件算法，利用双线性插值算法进行图像尺寸归一化，利用二维FFT对疑似目标区域进行特征提取；利用线性SVM分类器对疑似目标进行分类，既较大幅度地降低了虚警率，又非常适合在FPGA上进行实现。该算法的硬件实现利用乒乓结构加速二维FFT计算单元，利用流水线结构加速线性SVM计算单元，利用并行结构加速总体硬件系统，又进一步地提高了系统吞吐量，降低了时延。

为实现上述的发明目的，本发明采用下述的技术方案：一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，具体步骤如下：

步骤一，采用双线性插值进行遥感图像尺寸归一化，通过预筛选得到疑似目标区域，将所述疑似目标区域的尺寸统一放缩到32×32像素；

步骤二，采用二维FFT进行疑似目标区域特征提取，得到疑似目标；

步骤三，采用线性SVM分类器进行疑似目标分类，得到真正的舰船目标；

利用FPGA上的并行结构，对步骤二和步骤三中过程上相互独立的计算并行执行。

优选的，所述步骤二中，利用一维FFT计算单元组成的乒乓结构，和BlockRAM缓存单元组成二维FFT计算单元，利用二维FFT计算单元，进行疑似目标区域特征提取，提取三种频域特征：整个图像的全局特征，即尺寸为32×32像素；背景特征，包括图像上部，即尺寸为8×32像素；图像下部，即尺寸为8×32像素；图像左部，即尺寸为32×8像素；图像右部，即尺寸为32×8像素；图像中部的目标特征，即尺寸为16×16像素。

优选的，所述步骤二中根据多维FFT的行列算法，利用两次一维FFT实现二维FFT，具体步骤如下：

(1)将输入的遥感图像进入第一个一维FFT计算单元，并得到结果矩阵；

(2)将得到的所述结果矩阵缓存入Block RAM缓存单元；

(3)将转置后的所述结果矩阵输入到第二个一维FFT乒乓结构，并得到最终结果矩阵；

(4)将得到的所述最终结果矩阵缓存入Block RAM缓存单元；

(5)所述最终结果矩阵转置后输出。

优选的，所述步骤三中，设计时分复用的乘加计算单元，将所述乘加计算单元组成流水线结构，并进行时分复用，构成线性SVM计算单元。

优选的，所述线性SVM计算单元的计算公式为：

式中为经过二维FFT处理并经过复数取模运算后的图像数据，为线性SVM模板参数，y_i∈{+1,-1}为线性SVM分类器的分类结果，其中+1为正例，即舰船目标，-1为反例，即虚警。

优选的，所述步骤三中，根据舰船头部朝向与水平夹角的不同，共设计6种线性SVM模板。

优选的，利用FPGA上的并行结构，将过程上相互独立的计算并行实现，包括：

步骤二对所述疑似目标区域特征提取阶段中，对3种不同频域特征、6个图像部分的二维FFT计算过程并行实现。

优选的，利用FPGA上的并行结构，将过程上相互独立的计算并行实现，包括：

步骤三对疑似目标分类阶段中，对同一疑似目标的利用6种不同线性SVM模板的计算过程并行实现。

经由上述的技术方案可知，本发明提供一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，与现有技术相比的优点在于：

1、设计的舰船目标检测的虚警剔除软件算法，图像尺寸归一化阶段利用双线性插值算法，将疑似目标区域尺寸统一，方便了以后的处理步骤；疑似目标区域特征提取采用了二维FFT算法，提取疑似目标区域的频域特征，为最终疑似目标分类提供了基础；疑似目标分类的核心采用了先进的机器学习算法：线性SVM，其分类精度高、能够较大幅度地降低了虚警率，其计算复杂度适中、非常适合在FPGA上进行实现。经大量实验证明，本虚警剔除算法的虚警率仅为19.02％，同时检测精度可达99.02％。

2、利用多维FFT计算的行列算法，降低了在FPGA上计算二维FFT的复杂度；利用乒乓结构加速二维FFT计算单元，又进一步降低了系统时延。比起不使用本方法或此类方法，可加速5～6倍左右。

3、利用流水线结构加速线性SVM计算单元，提高了硬件系统的处理速度；进一步地，对乘加单元进行时分复用，又极大地节省了FPGA上的硬件资源。比起不使用本方法，可节省资源n(线性SVM的计算规模)倍左右。

4、对过程上相互独立的计算利用并行结构进行加速，又进一步地提高了系统吞吐量，降低了时延。对于分辨率为8192×1024的红外遥感图像，在时钟频率100MHz为下，在FPGA上实现的整个舰船检测算法可以在1s内得出结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的软件系统流程图；

图2附图为本发明提供的二维FFT计算单元示意图；

图3附图为本发明提供的线性SVM计算单元示意图；

图4附图为本发明提供的6种线性SVM模板图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本虚警剔除算法的设计和实现主要可以分为4个部分：图像尺寸归一化的软件设计，疑似目标区域特征提取的软件设计和硬件优化加速，疑似目标分类的软件设计和硬件优化加速，总体硬件系统优化加速。现结合型号为Xilinx XC7K410T的FPGA加以详细说明。

1、图像尺寸归一化的软件设计。

一般地，舰船检测算法可以分为4个阶段：预处理、海陆分割、预筛选和虚警剔除。虚警剔除算法作为最后一部分，接受来自预筛选阶段得到的疑似目标区域。由于舰船本身尺寸的不同，得到的疑似目标区域的尺寸就会不同。一般地，在分辨率1米的图像上，舰船目标区域的尺寸有20≤length≤40(length为舰船目标长度，单位：像素)。所以，选取的归一化后的图像尺寸以20×20≤size≤40×40为宜。考虑到FPGA硬件实现的方便性，选取32×32的尺寸(32＝2⁵)。利用双线性插值算法在FPGA上实现的图像尺寸归一化，理论比较简单，技术也比较成熟，在此不再赘述。

2、疑似目标区域特征提取的软件设计和硬件优化加速。

红外遥感图像是灰度图像，舰船同其他物体(如碎云、舰船尾迹)在色彩空间、物理形态等方面的区别并不十分明显，故本方法采用提取目标区域频域特征的方法。根据图像上下文的性质，利用二维FFT，进行疑似目标区域特征提取，主要提取三种频域特征：整个图像的全局特征(尺寸为32×32像素)，图像上部(尺寸为8×32像素)、下部(尺寸为8×32像素)、左部(尺寸为32×8像素)、右部(尺寸为32×8像素)的背景特征，图像中部(尺寸为16×16像素)的目标特征。

考虑到在FPGA上，并没有现成的二维FFT实现的设计或模板，但一维FFT的实现却比较常见，现以Xilinx FFT IP core为例。此一维FFT IP core利用Cooley-Tukey算法，可以将一般计算的时间效率由O(n²)降低至O(nlogn)。考虑多维FFT计算的行列算法，可以通过计算两次一维FFT的方式来得到二维FFT的结果。具体文字表述为：先对矩阵每一行进行一维FFT，再对得到的结果矩阵的每一列进行一维FFT，得到的最终结果即为对原矩阵进行二维FFT的结果。

利用此算法，就得到了在FPGA上实现二维FFT计算单元的实施方案。其由一个二维BlockRAM缓存单元和两组一维FFT计算单元组成。因为FFT所得到的结果一般为复数，其实部和虚部需要分别存储。所以，本方法采用二维Block RAM，其由两个BlockRAM组成，分别存储一个复数的实数部分和虚数部分。

由于FFT算法本身的计算复杂度，一维FFT计算单元从输入数据到输出结果之间有着一定的时延，此时延造成了较大的时间消耗，会导致系统总体吞吐量的下降。为了解决这个问题，上面所提到的一维FFT计算单元，实际上是由多个一维FFT IP core组成乒乓结构。通过引入此乒乓结构，可以加速一维FFT计算单元，进而提高整个二维FFT模块的时间效率。

以利用二维FFT提取大小为8×32的背景特征为例。当图像数据输入到二维FFT模块时，实际上是以数据流(可以数学表示为列向量)的形式进入的。首先将其读入到一维FFT计算单元，得到图像矩阵每一行经过一维FFT的结果矩阵。然后将其写在二维BlockRAM上，一维Block RAM大小为256(＝8×32)。经转置后(图像的矩阵形式变为32×8)的数据流，继续读入另一组一维FFT计算单元，得到此图像矩阵每一列经过一维FFT的结果。然后重新将数据写回Block RAM。经转置后(图像的矩阵形式变为8×32)的数据流，输出到下一模块。并且，上述的转置操作并不需要在原地进行，而是根据矩阵与转置矩阵之间的数据地址关系，在读写数据时做了相应的转化。

3、疑似目标分类的软件设计和硬件优化加速。

为方便利用SVM分类器，进入SVM模块的图像数据需要进一步地加工。图像数据经过二维FFT之后，得到的结果矩阵为一个尺寸与原图像相同的复数值矩阵。在FPGA内部，不存在直接表示复数的数据类型。因此，也就不方便进一步进行运算。于是，在图像数据经过疑似目标区域特征提取阶段后，在进入线性SVM分类器之前，要经过对复数取模的操作。

根据舰船头部朝向与水平夹角的不同，总共使用了6种模板图像，将其进行如疑似目标区域特征提取阶段所示的步骤后，形成了6种线性SVM模板，对应有6个线性SVM分类器。最终，将经过图像尺寸归一化和疑似目标区域特征提取的一幅图像，经过上面谈到的6种线性SVM分类器，分别得到6个分类结果：y₁,y₂,y₃,y₄,y₅,y₆，相加后和阈值η(一般为0)相比较。大于此阈值的则视为真正的舰船目标并输出；否则，视为虚警不再输出。如公式1所示：

上述线性SVM分类器可如公式2定义：

其中，是图像数据经过疑似目标区域特征提取和复数取模后的数据，并将其按图像全部、上部、左部、右部、下部、中部拼接而成的，在式中表示为一维列向量；是训练得到的权重参数(模板)，在式中表示为一维行向量。y_i∈{+1,-1}是线性SVM分类器的输出结果，+1表示输入到线性SVM分类器的为真正的舰船，-1输入到线性SVM分类器的并非舰船目标(虚警)。根据矩阵的基本理论，可得到公式3：

可以看到，此线性SVM分类器只包含向量乘法运算，也就是基本的数值乘加运算。此处我们使用Xilinx Multiply Adder IP core作为乘加计算单元，其可以在一个周期内得到一次乘加运算(形如a×b+c)的结果。将公式3的计算结合流水线结构和此乘加计算单元，就可得到公式4：

式中为经过二维FFT处理后的图像数据，为线性SVM模板参数。。

本方法的线性SVM计算单元的实现采取流水线的结构，此种方法所需的存储资源只需大小n为的Block RAM，且主要用于存储权重参数，不需要存储数量庞大的计算的中间结果。将乘加计算单元组成流水线结构，便可以对乘加计算单元进行时分复用，将需要的数量降到最小，即1个线性SVM分类器只需1个乘加计算单元，在节省FPGA上时间效率的同时，达到了很好的时间效率。

4、总体硬件系统优化加速。

充分利用FPGA的并行特征，将过程没有前后依赖关系的计算，进行并行实现。主要包括：

(1)根据图像上下文的性质，利用二维FFT，进行疑似目标区域特征提取，主要提取3种频域特征。这3种频域特征的提取，作用于同一幅图像，不同的地方只有它们提取图像的6个不同部分的特征。

(2)根据舰船头部朝向与水平夹角的不同，本方法设计的6种线性SVM模板，对应有6个线性SVM分类器。这6个线性SVM分类器的输入为同样的数据，只是所用到的模板参数不同。

充分利用FPGA的高度并行性，将这些操作并行执行，可以增加系统的吞吐量，提高系统整体时间效率。

本发明未详细公开的部分属于本领域的公知技术。

以上对本发明所提供的FPGA上虚警剔除算法的设计实现和优化加速进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，具体步骤如下：

步骤一，采用双线性插值进行遥感图像尺寸归一化，通过预筛选得到疑似目标区域，将所述疑似目标区域的尺寸统一放缩到32×32像素；

步骤二，采用二维FFT进行疑似目标区域特征提取，得到疑似目标；

步骤三，采用线性SVM分类器进行疑似目标分类，得到真正的舰船目标；

利用FPGA上的并行结构，对步骤二和步骤三中过程上相互独立的计算并行执行。

2.如权利要求1所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，所述步骤二中，利用一维FFT计算单元组成的乒乓结构，和Block RAM缓存单元组成二维FFT计算单元，利用二维FFT计算单元，进行疑似目标区域特征提取，提取三种频域特征：整个图像的全局特征，即尺寸为32×32像素；背景特征，包括图像上部，即尺寸为8×32像素；图像下部，即尺寸为8×32像素；图像左部，即尺寸为32×8像素；图像右部，即尺寸为32×8像素；图像中部的目标特征，即尺寸为16×16像素。

3.如权利要求2所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，所述步骤二中根据多维FFT的行列算法，利用两次一维FFT实现二维FFT，具体步骤如下：

(1)将输入的遥感图像进入第一个一维FFT计算单元，并得到结果矩阵；

(2)将得到的所述结果矩阵缓存入Block RAM缓存单元；

(3)将转置后的所述结果矩阵输入到第二个一维FFT乒乓结构，并得到最终结果矩阵；

(4)将得到的所述最终结果矩阵缓存入Block RAM缓存单元；

(5)所述最终结果矩阵转置后输出。

4.如权利要求1所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，所述步骤三中，设计时分复用的乘加计算单元，将所述乘加计算单元组成流水线结构，并进行时分复用，构成线性SVM计算单元。

5.如权利要求4所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，所述步骤三中线性SVM计算单元的计算公式为：

式中为经过二维FFT处理并经过复数取模运算后的图像数据，为线性SVM模板参数，y_i∈{+1,-1}为线性SVM分类器的分类结果，其中+1为正例，即舰船目标；-1为反例，即虚警。

6.如权利要求1所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，所述步骤三中，根据舰船头部朝向与水平夹角的不同，共设计6种线性SVM模板。

7.如权利要求2所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，利用FPGA上的并行结构，将过程上相互独立的计算并行实现，包括：

步骤二对所述疑似目标区域特征提取阶段中，对3种不同频域特征、6个图像部分的二维FFT计算过程并行实现。

8.如权利要求5所述的一种基于FPGA的红外遥感图像舰船检测虚警剔除方法，其特征在于，利用FPGA上的并行结构，将过程上相互独立的计算并行实现，包括：

步骤三对疑似目标分类阶段中，对同一疑似目标的利用6种不同线性SVM模板的计算过程并行实现。