CN107341488B - 一种sar图像目标检测识别一体化方法 - Google Patents

Abstract

本发明涉及雷达遥感应用技术，用图像分析雷达观测信息，特别涉及一种SAR图像目标检测识别一体化方法，基于卷积神经网络(CNN)。本发明利用卷积神经网络自动发掘选择目标特征，将其浅层特征和深层特征融合在一起，能够同时完成SAR目标的检测和识别任务，实现了SAR图像目标检测识别一体化。相比其他SAR目标检测识别算法，本发明具有更高的检测识别效率和更强的适用性。

Description

一种SAR图像目标检测识别一体化方法

技术领域

本发明涉及雷达遥感应用技术，用图像分析雷达观测信息，特别涉及一种SAR图像目标检测识别一体化方法，基于卷积神经网络(CNN)。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)图像的检测识别问题是雷达遥感应用领域的重要研究内容之一，在解释雷达观测、场景地物划分、SAR ATR(自动目标识别)等方面具有重要作用。开展SAR图像目标检测识别问题的研究对于促进雷达遥感应用技术科学发展具有重要意义。

相对于光学图像而言，SAR图像的最大特点在于相干斑噪声的影响，它的存在使得SAR图像表现为低信噪比，因此许多标准的光学图像目标检测识别算法应用于SAR图像很难得到满意的效果。到目前为止，人们提出了许多SAR图像目标检测识别算法。这些方法都可以分为相对独立的目标检测过程和目标识别过程。

用以进行目标检测的方法可以归纳为以下三种思路：1)由于SAR图像中金属目标雷达回波较强，因此利用图像中目标与背景像素对比度作为特征进而区分目标和背景的目标检测方法；2)利用目标和杂波虚警在图像中表现出的不同尺寸、形状、纹理等其它特征完成目标检测的方法；3)综合利用雷达回波中的幅度和相位信息，对二维SAR回波特性进行分析的基于复图像特征的目标检测方法。上述的第一种基于对比度的思路利用了SAR图像中最明显的特征，然而依旧存在很多不利因素，如杂波统计模型建立难度大，检测器检测阈值难以自适应选择，算法运行速度慢，应用先验知识进行训练极为复杂等。第二种基于图像其它特征的思路难以得到进一步应用的原因是人工手动提取特征的难度太大，过程过于繁琐。第三种基于复图像特征的思路存在的问题是现有的绝大多数该类算法都具有低频SAR检测特性，不能很好地应用于高频SAR图像的检测任务中。

用以进行目标识别的方法可以归纳为以下三种思路：1)基于统计模式识别的方法，通过将测试样本与由训练样本形成的标准模板库按照某种匹配准则完成分类识别；2)基于模型的识别方法将未知目标特征与目标模型数据库中预测的特征进行比较，得到比较结果；3)基于支持向量机(SVM)的识别方法，通过构造核函数将原空间内线性不可分的问题映射到可以进行线性分类的新空间(一般维度会更高)从而完成分类任务。第一种思路的缺点是目标的模板库随着目标种类的增加而增加，这需要大量的存储空间，同时会影响识别速度与识别正确率。第二种思路一般对图像质量要求很高，同时要求高保真CAD建模技术，当观测条件发生变化造成图像与模型不符时将极大影响识别效果。第三种思路则是如今SAR图像目标识别领域的研究热潮。

由于核函数的方法可以扩大处理问题的空间，解决更为复杂的问题的同时不必付出庞大的计算代价，避免了神经网络中的“维数灾难”问题以及Bayes网络中的“网络规模爆炸”问题，因此核函数的方法得到了快速发展，近几年已逐渐扩展到机器学习、图像处理等领域，而其在统计学习理论中的典型应用就是支持向量机。SVM的特点在于利用结构风险最小化原理设计具有最大余量的最优分类面，同时通过某种非线性映射将低维输入空间的样本映射到高维空间，在新样本空间内利用核函数的方法实现原空间中的非线性可分问题。

但是这些方法大多在进行检测识别前会进行降噪处理，同时将目标检测和目标识别任务分立起来，在检测和识别过程中存在一定的图像处理过程，因此还没有一种可以实现检测识别一体化的方法。这样的过程都会引入一定误差，从而极大地影响识别效率。同时上述的目标检测识别方法仍依赖于人工手动进行繁琐的目标特征的发掘、选择和提取，也没有充分利用目标浅层特征和深层特征进行特征联合从而提高检测识别效率，要实现检测识别效果的微小提升会造成算法复杂度急剧提升，牺牲大量的时间成本。

发明内容

针对上述存在问题或不足，本发明提供了一种SAR图像目标检测识别一体化方法，实现了检测识别一体化，还具有高效率和适用性强的特点。

本发明的SAR图像目标检测识别一体化方法由以下步骤来实现，其训练及检测识别一体算法模型见图3。

步骤1、根据接收机得到的SAR回波信号，通过RD成像算法得到含有目标图像和斑点噪声的SAR图像。

在合成孔径雷达系统中，雷达连续地发射线性调频脉冲信号，然后从回波信号中提取目标信息，这个过程称为成像处理(见图2)。SAR图像中的相干斑噪声是在雷达回波信号中产生的，是包括SAR系统在内的所有基于相干原理的成像系统所固有的缺点。由于SAR图像特殊的成像机理，乘性斑点噪声的存在严重影响了目标的检测识别精确度。然而当同类型斑点噪声分布于所有成像图像中时，斑点噪声可以视为这些图像的同一个深层特征。

SAR图像的强度分布用两个区域的混合概率模型表示：

其中，I为待解译的SAR图像，Ω和

分别代表目标区域和背景区域，P_Ω代表目标区域的概率分布；

代表背景区域的概率分布，权值ω_Ω和

分别为目标和背景区域的先验概率。

步骤2，将所有通过RD算法采集得到的SAR图像进行手动目标分割，将这些含有各个完整目标的切片作为训练样本，并手动画框标注切片中目标的确切位置及目标类型，得到该批训练样本的数据集。

步骤3，根据SAR图像尺寸及所含信息量，采用一个有2-6个卷积层的卷积神经网络进行特征提取得到特征图。

一般来说，卷积神经网络包含两个基本操作，分别为卷积操作和池化操作。卷积操作将每个神经元的输入与前一层的局部接受域相连，并通过卷积运算提取该局部的特征。一旦该局部特征被提取后，它与其它局部特征间的位置关系也随之确定下来。池化操作即提取最有代表性的特征并依据得到的特征相对位置按位置排列，得到一个新的特征层，用以进行后续深层特征提取。

典型的卷积神经网络开始几层都是卷积层和池化层的交替出现，从而提取各层次特征，同时减小实现特征数据的冗余，最终得到最后的特征图。之后连接全连接层，进行特征排列并完成检测分类。其简单的连接结构如图4所示。

进一步的，卷积层采用影响函数核小的ReLU(Rectified Linear Units)函数作为卷积网络的激活函数，表达式如下：

g(x)＝max(0,x)

全连接层使用sigmoid函数作为激活函数，表达式如下：

本发明将输入信息进行卷积运算后的输出作为目标特征的表示：

上式中，w代表卷积核的大小，l代表卷积核数量。以输入图像s的第i行第j列元素为坐标原点位置，对应第n行第m列元素与卷积核k的第n行第m列元素相乘作为输出图像s′的第i行第j列元素。

步骤4，使用步骤3得到的特征图对一个含有1-3个全连接层的小型卷积神经网络进行回归训练，然后用小型卷积神经网络分辨前景和背景，同时使其依据特征图产生的感兴趣区域包围框ROIs逼近样本中包围目标的手动标注框，此时之前的卷积层与池化层被两个卷积神经网络所共享，即共享卷积层；目标的检测和识别过程都在由该共享卷积层得到的特征图上进行，逐个对所有ROI都进行检测和识别，且检测识别之间无其他操作；这样就达到了检测识别一体化的目的。

该小型卷积神经网络的分类层对前景背景进行分类时所使用的L_cls损失函数如下式所示：

其中p_i表示第i个候选框被判定为前景的概率，当该候选框与样本中的手动标注框重叠率最大或者重叠率超过0.7时p_i ^*为1，其余情况则为0。

回归层对包围框进行回归调整时所用到的L_reg为smooth_L1损失函数，如下所示：

其中t_i为候选框的坐标参数，t_i ^*为手动标注框的坐标参数。

步骤5，对输入的大场景SAR图像进行有重复区域的分割以保证目标不被误分割，然后将切片图像送入共享卷积层中进行特征提取，得到特征图；再使用步骤4小型卷积神经网络在特征图上定位目标并返回包围框位置参数与前景概率，通过卷积神经网络判定目标类别；由于大量包围框存在相互重叠的情况，我们采用包围框所对应区域的交集并集比IoU作为阈值，保留IoU大于0.7的两个包围框中前景概率大的包围框；

其中两个包围框i和j的IoU计算方法如下：

S_i表示第i个包围框的面积，S_commen表示i与j重叠部分的面积。

最后根据包围框的数量及其置信率手动设置置信率阈值，显示出高于该阈值的包围框。

本发明利用卷积神经网络自动发掘选择目标特征，将其浅层特征和深层特征融合在一起，能够同时完成SAR目标的检测和识别任务，实现了SAR图像目标检测识别一体化。相比其他SAR目标检测识别算法，本发明具有更高的检测识别效率和更强的适用性。

附图说明

图1为现有SAR成像和信息处理系统框图；

图2为距离多普勒(RD)成像算法流程图；

图3为本发明的流程图；

图4为CNN中典型的卷积层和池化层连接示意图；

图5是针对MSTAR坦克数据的包围框间非极大值抑制效果及检测识别效果；

图6是复杂大场景下SAR图像多类目标的检测识别结果。

具体实施方式

本实施例采用MSTAR坦克图像数据，现在对MSTAR进行简单的介绍。

MSTAR(Moving and Stationary Target Acquisition Recognition)项目启动于1994年，它是由美国多个研究机构联合研究的一个SAR ATR课题。其中，美国Sandia实验室负责提供X波段0.3～1m分辨率的原始SAR数据。美国Wright实验室负责建立用于模型研究的各种地形后向散射方向图和用于分类研究的18种地面车辆获取的数据库，对每辆车都能提供72个不同视角和不同方向的样本。而MIT Lincoln实验室等负责提供特种分析、提取和分类算法。现在MSTAR数据已经成为考核SAR目标识别和分类算法的标准数据库。大部分在权威杂志和会议上发表的SAR目标识别和分类算法都是采用MSTAR数据进行测试和评估。

图5中MSTAR坦克切片图像大小为128×128，图像中包含3个区域：坦克、阴影和背景，并且图像中有比较严重的相干斑噪声。

使用手动框选了目标位置(包含目标与目标阴影)和类型的MSTAR图像数据作为训练样本与数据，经过5个卷积层与池化层进行特征提取与特征选择。其中卷积层将每个神经元的输入与前一层的局部接受域相连，并通过与可学习的卷积核进行卷积运算提取该局部的特征。一旦该局部特征被提取后，它与其它局部特征间的位置关系也随之确定下来。第l层卷积操作输出如下式所示：

式中

表示第l层输出的第j个特征，M_j表示选择的输入特征的集合，

表示加权值，

表示所加偏置。

池化层在卷积特征提取的基础上对卷积特征层中相邻四个像素点进行取极大值的池化操作，缩小隐藏节点对应的卷积特征维数同时保持有代表性的特征，得到一个新的特征层，用以进行后续深层特征提取。第l层池化操作输出如下式所示：

式中down(.)表示一个下采样函数，其操作为对输入图像的一个n×n区域所有像素取极大值，表示第l层输出的第j个特征，

为卷积层提取的特征，

表示加权值，

表示所加偏置。

经过五层卷积后得到最终的特征图。之后使用该特征图及对应的手动标注的目标位置数据作为输入，采用回归的方式训练小型卷积神经网络使其依据特征图产生的目标包围框尽量逼近手动标注的包围框。同时以不同类别目标所得到的有明显区别的特征图作为输入训练分类，完成目标类别鉴定。

图5给出了针对MSTAR坦克切片数据的包围框间非极大值抑制效果，其中图5(a)给出了置信率最高的四个包围框，图5(b)则给出了最终的检测识别效果。使用本发明训练得到的卷积神经网络进行特征提取与检测识别，显示出置信率最高的四个包围框，发现所显示的包围框都在目标区域上，说明该网络可以有效识别出前景和背景，所预测的包围框位置比较准确。最终结果正确标定了目标类型，且整个切片检测识别时间约为0.2秒。可见本发明具有极高的检测识别效率和准确率。

目标类别	对应编号
		BMP2	1,2,8,12,13
BTR70	3,5,9,10
		T72	4,6,7,11,14,15

表1

同理，本发明的SAR图像检测识别方法适用于复杂大场景SAR图像的检测识别。在图6中，给出了对复杂大场景SAR图像检测识别的实施例。图6(a)中复杂大场景图像尺寸为1600×1600，图中有三类装甲车目标，分别为BMP2、BTR70和T72，其排布方式按照编号由表1给出。由检测识别结果图6(b)可看出，本发明的SAR图像检测识别一体化算法在加入未参与训练的背景后依旧正确识别出了所有3类共计15辆装甲车，且准确标定出了其所在位置。实验结果说明了按照该发明训练得到的检识模型学习到了三类装甲车的有效特征，构建出了有优良性能，可以实现装甲车分类的分类器。整张大场景图像检测识别时间约为15秒。这为大场景SAR图像不同地物类型的检测识别提供了一种简单高效的方法。

根据本发明的SAR图像检测识别一体化方法，对SAR图像实行精确的检测和识别是可行的，即使含有大量噪声的SAR图像也可以进行正确的检测和识别。而且，在不知道图像背景构成时也可以完成自动检测识别，且检测速率较现有方法有明显提升，因此本发明提出的检测识别一体化方法具有高效率和适用性强的特点。该方法可以应用于所有背景SAR图像的检测识别中。

Claims (3)

1.一种SAR图像目标检测识别一体化方法，包括以下步骤：

步骤1，根据接收机得到的SAR回波信号，通过RD成像算法得到含有目标图像和斑点噪声的SAR图像；

SAR图像的强度分布用两个区域的混合概率模型表示：

其中，I为待解译的SAR图像，Ω和

分别代表目标区域和背景区域，P_Ω代表目标区域的概率分布；

代表背景区域的概率分布，权值ω_Ω和分别为目标和背景区域的先验概率；

步骤2，将所有通过RD算法采集得到的SAR图像进行手动目标分割，将这些含有各个完整目标的切片作为训练样本，并手动画框标注切片中目标的确切位置及目标类型，得到该批训练样本的数据集；

步骤3，根据SAR图像尺寸及所含信息量，采用一个有2-6个卷积层的卷积神经网络进行特征提取得到特征图；

步骤4，使用步骤3得到的特征图对一个含有1-3个全连接层的小型卷积神经网络进行回归训练，然后用小型卷积神经网络分辨前景和背景，同时使其依据特征图产生的感兴趣区域包围框ROIs逼近样本中包围目标的手动标注框，此时之前的卷积层与池化层被两个卷积神经网络所共享，即共享卷积层；目标的检测和识别过程都在由该共享卷积层得到的特征图上进行，逐个对所有ROI都进行检测和识别，且检测识别之间无其他操作；

该小型卷积神经网络的分类层对前景背景进行分类时所使用的L_cls损失函数如下式所示：

其中p_i表示第i个候选框被判定为前景的概率，当该候选框与样本中的手动标注框重叠率最大或者重叠率超过0.7时p_i ^*为1，其余情况则为0；

回归层对包围框进行回归调整时所用到的L_reg为smooth_L1损失函数，如下所示：

其中t_i为候选框的坐标参数，t_i ^*为手动标注框的坐标参数；

步骤5，对输入的大场景SAR图像进行有重复区域的分割以保证目标不被误分割，然后将切片图像送入共享卷积层中进行特征提取，得到特征图；再使用步骤4小型卷积神经网络在特征图上定位目标并返回包围框位置参数与前景概率，通过卷积神经网络判定目标类别；并采用包围框所对应区域的交集并集比IoU作为阈值，保留IoU大于0.7的两个包围框中前景概率大的包围框；

其中两个包围框i和j的IoU计算方法如下：

S_i表示第i个包围框的面积，S_j表示第j个包围框的面积，S_commen表示i与j重叠部分的面积；

最后根据包围框的数量及其置信率手动设置置信率阈值，显示出高于该阈值的包围框。

2.如权利要求1所述SAR图像目标检测识别一体化方法，其特征在于：所述步骤3中卷积层采用影响函数核小的ReLU函数作为卷积网络的激活函数，表达式如下：

g(x)＝max(0,x)

全连接层使用sigmoid函数作为激活函数，表达式如下：

输入信息进行卷积运算后的输出作为目标特征的表示为：

上式中，w代表卷积核的大小，l代表卷积核数量；以输入图像s的第i行第j列元素为坐标原点位置，对应第n行第m列元素与卷积核k的第n行第m列元素相乘作为输出图像s′的第i′行第j′列元素。

3.如权利要求1所述SAR图像目标检测识别一体化方法，其特征在于：所述步骤4中小型卷积神经网络的分类层对前景背景进行分类时所使用的L_cls损失函数如下式所示：

其中p_i表示第i个候选框被判定为前景的概率，当该候选框与样本中的手动标注框重叠率最大或者重叠率超过0.7时p_i ^*为1，其余情况则为0；

回归层对包围框进行回归调整时所用到的L_reg为smooth_L1损失函数，如下所示：

其中t_i为候选框的坐标参数，t_i ^*为手动标注框的坐标参数。

Images