CN108230313B - 基于部件自适应选择与判别模型的sar图像目标检测方法 - Google Patents

Abstract

本发明涉及一种基于部件自适应选择与判别模型的SAR图像目标检测方法。本发明采用多尺度部件模型对SAR图像进行建模，充分考虑了其结构信息，且部件的自适应选择使得检测到的子部件与其实际尺寸更加符合，更具有实际意义。此外，惩罚因子的引入对模型做了进一步优化，而最终采用的SANMS方法对重复包围框的滤除，也极大地降低了虚警率。本发明在检测方法中考虑了目标结构，可以更加精确地检测到子部件。

Description

基于部件自适应选择与判别模型的SAR图像目标检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于部件自适应选择与判别模型的SAR图像目标检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)采集的图像具有全天时、全天候的特性，能够克服各种气候，不受光照云雾的影响。与光学图像相比，它具有丰富的散射信息和极化信息。针对SAR图像特点的目标检测算法也有一定的发展，主要的方法有三大类：1)基于散射中心模型的目标检测算法；2)基于统计特征的目标检测算法；3)引入经典光学图像目标检测算法的方法。基于散射中心建模的目标检测算法，首先通过建模得到模型参数，从而得到目标区域里散射中心的强度、位置、结构等信息，然后利用这些信息设置阈值，就能检测到想要的目标。基于统计特征的目标检测算法，最有代表性的就是恒虚警率(CFAR)检测算法。基于CFAR的方法大体分为四步：1)背景杂波强度的估计；2)统计分布模型的选取；3)统计分布模型参数的估计；4)计算检测阈值，获取检测结果。引入光学图像目标检测算法的方法，其主体框架与经典目标检测算法相同，先进行候选切片的提取，然后对切片进行特征提取，最后利用所提取的特征对切片进行分类识别，得到检测结果。

鉴于基于散射中心模型的目标检测算法对建模精度要求比较高，而基于统计分布的CFAR方法一般是根据SAR图像目标和背景分布的差异来选取检测阈值，将目标作为背景区域中的异常点来检测，并没有考虑到目标的统计分布特征。在引入经典光学图像目标检测算法的方法中，提取候选切片的方法有最佳熵自动门限法(KSW算法)，基于马尔科夫条件随机场(MRF)的方法等；候选切片提取的特征有：统计特征，针对性的手工特征，多特征等；而常用的分类器就是支持向量机(SVM)，有些简单的识别任务也会采用特征匹配器。

由于SAR图像的散射机理，会导致目标在图像中呈现为或明或暗的散射点，因此许多传统SAR图像目标检测算法，会把目标分割成许多小块。但高分辨率SAR图像提供了丰富的散射和极化信息，从中可以判断出目标是否存在以及目标的形状和组成部分的信息。简而言之，如何在高分辨率SAR图像中最大程度克服其散射性就成为了一个非常严峻的问题。

发明内容

本发明的目的在于针对高分辨率SAR图像目标检测问题，引入了部件结构信息来克服散射性，并为了让部件具有实际意义，更好地约束目标，提出了基于部件自适应选择和判别模型的SAR图像目标检测方法。

本发明的技术方案为一种基于部件自适应选择和判别模型的SAR图像目标检测方法，包括以下步骤：

步骤1，准备SAR图像训练数据集，并对训练数据集进行预处理，包括以下子步骤，

步骤1.1，对训练数据集中的SAR图像进行裁剪，并采用矩形包围框分别对整体目标及各个子部件进行标注，标注信息包括包围框对应的类别及不同包围框的左上和右下两个角点在图像中的x，y坐标；

步骤1.2，将训练数据集中的图像进行正负样本分类，包含目标的为正样本，其他的为负样本；

步骤2，获得整体模型用于检测得分，所述整体模型包括用于检测整体目标信息的根模型和用于检测子部件的细节信息的部件模型，同时利用步骤1中不同包围框标注信息和正负样本对整体模型进行训练，获得模型参数，包括以下子步骤，

步骤2.1，构建初始根模型和部件模型；

步骤2.2，采用统计学方法获得部件模型中各子部件的锚点位置和标准尺寸，所述锚点位置是指标注的子部件相对于目标的位置；

步骤2.3，根据步骤2.1和步骤2.2构建可变形部件模型的整体得分；

步骤2.4，对根模型和部件模型分别进行训练及更新，设定迭代次数，当收敛到全局最优解时训练完成，获得模型参数；

步骤3，利用上述整体模型检测到的整体目标包围框和n个子部件包围框的坐标，为使整体包围框不至于过大或者过小，利用线性二乘回归方法获取优化的预测器，预测出目标检测框的大小和位置；

步骤4，获取待检测图像的特征金字塔，按照步骤2的方式，在每个尺度上进行滑窗搜索，将其中得分较高的且大于设定阈值的保留为候选结果，得到初步检测框后，采用步骤3的包围框预测器进一步优化，最后对重复检测框进行滤除。

进一步的，步骤2.1的实现方式如下，

获取正样本图像的特征金字塔，令H代表HOG特征金字塔，并用p表示位于金字塔的滑窗区域，大小为w×h，则根模型的得分为滑窗区域的特征φ(H,p,w,h)与其对应权重向量F₀的内积，简化为F₀·φ(H,p₀)，p₀是滑窗区域对应的矩形的左上角点坐标；在滑窗区域特征和权重向量内积的基础上，每个子部件模型的得分还要考虑到其变形损失，a_i和b_i表示变形代价，

表示第i个子部件的实际位置相对于锚点位置的偏移，衡量子部件i的变形程度；因此，部件模型的得分用公式表示为：

其中，p_i是第i个子部件对应的滑窗矩形的左上角点坐标，F_i为第i个子部件对应的权重向量，i取1～n。

进一步的，步骤2.2中采用统计学方法获得部件模型中各子部件的锚点位置和标准尺寸的实现方式如下，

根据标注信息，求出所有正样本中子部件的中心绝对坐标，再计算出子部件中心相对对应子部件包围框高度的坐标然后进行归一化，均值滤波后，同一子部件的平均位置即作为该子部件的锚点位置；

将所有正样本中同一子部件的高宽比用直方图统计出来，包含样本数量最多的直方所对应的高宽比选作为子部件的高宽比aspect；然后计算每个样本这一子部件的包围框面积，按从小到大的顺序排列，取处于第90％位置处的值作为子部件包围框的面积area，最后用得到的aspect和area计算子部件的高H和宽W，

进一步的，步骤2.3的实现方式如下，

由于训练样本经过尺寸的归一化处理后，正样本目标会发生过度的变形，损失一定的图像信息，因此在总体得分方程中引入比例惩罚因子，使得分方程更合理，其中总体得分的计算公式如下，

其中，H代表HOG特征金字塔，F_i是指空间金字塔内滑窗区域的特征对应的权重向量，d_i＝(a₁,b₁,...,a_i,b_i,...,a_n,b_n)是形变权值，

是变形特征，表示相对锚点位置的偏移量及其平方；p₀是滑窗区域对应的矩形的左上角点坐标，p_i是第i个子部件对应的滑窗矩形的左上角点坐标，i取1～n，b为不同模型子部件之间的偏移系数，加上这个偏移量使其与根模型进行对齐；γ是比例惩罚因子，dhw是目标的高宽比与根模型宽高比的差值。

进一步的，步骤2.4的实现方式如下，

设训练样本集表示为D＝(＜X₁,Y₁＞,...,＜X_M,Y_M＞)，Y_j是样本类别，Y_j∈{1,-1}分别对应负、正样本，M为样本个数，每个样本中整体目标及其各个子部件的位置被认为是隐藏变量，根据训练样本集D训练得到整体模型参数β＝(F₀,F₁...,F_n,a₁,b₁,...,a_n,b_n)的目标函数如下，设定迭代次数，当收敛到全局最优解时训练完成，获得整体模型参数：

其中

称为标准铰链损失函数，C表示归一化权重；z表示在每个样本中，目标整体及其各个部件的位置，Φ(X_j,z)表示所有检测框的特征和位置信息。

进一步的，步骤4中采用SANMS方法对重复检测框进行滤除，具体实现方式如下，

将重叠率大于50％的检测框进行滤除，重叠率的计算公式为，

其中，box₁和box₂是任意两个检测框的面积，box₁∩box₂是两个检测框相交部分的面积。

与现有技术相比，本发明的优点及有益效果是：

本发明在多尺度可变形部件模型的基础上，采用统计方法来确定子部件的尺寸及锚点位置，提出了一种新的基于部件自适应选择和判别模型的SAR图像目标检测方法。采用多尺度部件模型对SAR图像进行建模，充分考虑了其结构信息，且部件的自适应选择使得检测到的子部件与其实际尺寸更加符合，更具有实际意义。此外，惩罚因子的引入对模型做了进一步优化，而最终采用的SANMS方法对重复包围框的滤除，也极大地降低了虚警率。本发明在检测方法中考虑了目标结构，可以更加精确地检测到子部件。

附图说明

图1本发明实施例的整体流程框架图。

图2本发明实施例飞机样本标注示意图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明技术中主要以飞机为检测对象进行说明。如图1所示，本发明的整体框架中主要包含两个检测模型，一个是用于检测整体目标信息的根模型，一个是两倍于根模型分辨率的部件模型，用于检测子部件的细节信息。考虑到SAR图像中飞机目标比较小且数目众多，如果飞机的部件个数设置较多的话，属于每个部件的像素信息将大幅减少，不利于提取子部件的特征。因此，结合实际经验，本发明中将飞机主要分为两个部件，一个是机头子部件，其余的机翼，机身及机尾则为另一个子部件。在进行训练之前，正样本的整体目标包围框及两个子部件包围框被分别标注，如图2所示，采用矩形包围框来框出一个飞机的整体和两个子部件，并将其对应的类别及不同包围框的左上和右下两个角点在图像中的x，y坐标写入xml文件；SAR图像中不含飞机的建筑区域被提取为负样本，且非目标的强散射点被标注为‘其他’类别，以提高检测算法的鲁棒性。

考虑到飞机目标有类似的组成结构，其部件之间的比值也就符合一定的比例关系。本发明采用统计方法对正样本的标注信息进行统计，以选择最优的锚点位置和标准尺寸，使得检测到的子部件与其实际大小相符合。令H代表HOG特征金字塔，并用p表示位于金字塔的滑窗区域，大小为w×h。那么根模型的得分就是滑窗区域的特征φ(H,p,w,h)与其对应权重向量F₀的内积，简化为F₀·φ(H,p₀)，p₀是滑窗区域对应的矩形的左上点坐标；而每个子部件模型的得分还要考虑到其变形损失，a_i和b_i表示变形代价，

表示第i个子部件的实际位置相对于锚点位置的偏移，衡量了子部件i的变形程度。因此，部件模型的得分用公式表示为：

p_i是第i个子部件对应的滑窗矩形的左上角点坐标。由于训练样本经过尺寸的归一化处理后，正样本目标会发生过度的变形，损失了一定的图像信息，因此在得分方程中引入一个比例惩罚因子，使得分方程更合理。

综上，单个目标的总体得分公式如下：

其中，F_i是指特征金字塔内滑动区域的特征对应的权重向量，d_i＝(a₁,b₁,...,a_i,b_i,...,a_n,b_n)是形变权值，

是变形特征，表示相对锚点位置的偏移量及其平方；p₀是滑窗区域对应的矩形的左上点坐标，p_i是第i个子部件对应的滑窗矩形的左上点坐标，i取1～n，b为部件模型中不同子部件之间的偏移系数，加上这个偏移量使其与根模型进行对齐；γ是比例惩罚因子，dhw是目标的高宽比与根模型宽高比的差值，根模型宽高比取正训练样本里所有目标标注边界窗口的平均尺寸，γ·dhw通常是一个负数，目标的高宽比与根模型宽高比的差值越大，对score的抑制越大。

用标准SVM以零值初始化检测模型后，各个部件的位置并不是模型中的真实位置，因此SVM将继续进行更新训练来得到准确的模型参数。

目标检测时，先用部件模型检测出子部件，在所有子部件滤波器处于理想坐标处时再计算根滤波器得分，

当部件模型用于目标检测时，首先构建图像特征金字塔，在每个尺度上通过滑窗检测方式进行搜索，并与训练好的部件模型进行内积，得到部件模型得分，然后得到根模型得分，最后根据公式(1)获得总体得分，通过设置阈值，得到总体得分中得分较高的结果；当总体得分超过阈值时，说明在该位置检测到目标。

针对同个目标被重复检测的情况，采用SANMS方法进行重复框的滤除。

本发明实施例可采用计算机软件技术实现自动流程运行，包括两个阶段：模型训练阶段以及SAR图像目标检测阶段。

参见图1，本发明实施例的模型训练阶段主要包含以下两个步骤：

步骤1.1：准备训练数据集并进行标注，实现方法如下：

a.得到SAR图像，裁剪出多幅训练图像(对应附图1中的预处理)，并对整体目标及其各个部件进行标注得到标注文件，标注方法如图2所示。

b.将训练集图像进行正负样本分类，包含目标的为正样本，图像中存在的高散射点及建筑区域被划分为负样本。

步骤1.2：将标注文件和训练样本放在相应路径下，对模型分别进行训练。方法如下：

a.采用统计学方法得到子部件锚点位置和标准尺寸，所述锚点位置是指标注的子部件相对于目标的位置。

首先根据标注，求出所有正样本子部件的中心绝对坐标，再计算出子部件中心相对对应子部件包围框高度的坐标然后进行归一化，均值滤波后，同一子部件的平均位置即作为该子部件的锚点位置。

对应部件尺寸，首先把所有正样本中同一子部件的高宽比用直方图统计出来，包含样本数量最多的直方所对应的高宽比就选作为子部件的高宽比aspect；然后计算每个样本这一子部件的包围框面积，按从小到大的顺序排列，取处于第90％位置处的值作为子部件包围框的面积area，最后用得到的aspect和area计算出高H和宽W。

b.用带锚点信息的部件模型和根模型来构建可变形部件模型，即整体模型。单个目标的总体得分为根滤波器与部件滤波器的得分和减去变形损失及比例惩罚因子带来的抑制，用β表示所有的滤波器向量和变形参数向量，用Φ(H,z)表示所有检测框的特征和位置信息：

β＝(F₀,F₁...,F_n,a₁,b₁,...,a_n,b_n)

其中，p₀是滑窗区域对应的矩形的左上角点坐标，p₁是第一个子部件对应的滑窗矩形的左上点坐标，p_n就是第n个子部件对应的滑窗矩形的左上角坐标。因此，空间位置z的得分公式被修改为β·Φ(H,z)。

c.根模型和部件模型的训练及更新。首先是根滤波器尺寸和权值的初始化，一般情况下，取正样本里所有目标标注边界窗口的平均尺寸作为根滤波器的尺寸，对于每个样本，建立空间金字塔，从以每个像素点为中心的子块中提取HOG特征，用标准SVM初始化根滤波器的权值；同时以a中统计学方法得到的子部件滤波器的锚点位置和标准尺寸为初始值，经过初始化后，各个部件的位置还是具有一定偏差，因此还需要采用SVM方法进行更新训练，使得分最大化以得到模型β的权值。同时也要对正样本集进行更新，不断加入难例样本，从而提高多部件模型的鲁棒性。将训练样本集表示为D＝(＜X₁,Y₁＞,...,＜X_M,Y_M＞)，Y_j是样本类别，Y_j∈{1,-1}分别对应负、正样本。在每个样本中目标整体及其各个部件的位置z被认为是隐藏变量，根据样本集D训练得到模型参数β的目标函数为：

其中max(0,1-Y_j f_β(X_j))称为标准铰链损失函数，C表示归一化权重，z表示在每个样本中，目标整体及其各个部件的位置，Φ(X_j,z)表示所有检测框的特征和位置信息。由于负样本不存在所需训练的目标，因此根滤波器和部件滤波器检测框的坐标不需要确定，因此目标函数存在唯一最佳解。即当Y_j＝-1时，max(0,1-Y_j f_β(X_j))为凸函数。而在正样本的训练过程中，将根滤波器和部件滤波器检测框的当前坐标作为固定值，从而目标函数就被变换为凸函数，并为下一步迭代操作训练出新的模型参数，迭代一般设置为迭代10000次，采用梯度下降法收敛到全局最优解。

参见图1，实施例的SAR图像目标检测阶段包括以下两个步骤：

步骤2.1：包围框回归训练。在训练完上述模型之后，模型检测框通常不能很好的包围目标，要么过大、要么过小、要么有不同程度的偏移。为了获取更为精准的检测框，本发明考虑使用子部件的信息来对目标检测框进行优化。使用线性二乘回归为优化方法，以检测到的根包围框和n个部件包围框的坐标，共计2n+3维(假设一个目标含有n个子部件，加上根包围框也就是n+1个矩形框，取矩形包围框左上角点的x,y坐标，再加上根包围框的尺寸也就是(2n+3)维向量)的向量作为特征，学习得到预测器来预测目标检测框，其中根模型检测的整体包围框提供用于提供目标检测框的尺度信息，部件包围框提供目标检测框的坐标信息。

步骤2.2：算法的检测及重复滤除。检测过程中，首先获取待检测图像的特征金字塔，然后在每个尺度上，采用滑窗搜索方式，与训练好的模型进行内积，获得总体得分，并通过步骤2.1的预测器得到较好的检测框；然后将得分较高的且大于所设阈值的保留为候选结果，为了避免非最大值抑制方法容易遗漏高分大包围框与低分小包围框重叠的情况，本发明实施例最后采用SANMS(基于小面积的非最大值抑制)方法对重复框进行滤除(将重叠率大于50％的检测框进行滤除)，排除一个目标被多次检测的情况，在SANMS中，重叠率的计算公式如下：

其中，box₁和box₂是任意两个检测框的面积，box₁∩box₂是两个检测框相交部分的面积。如此一来，不仅能滤除大小相近的重复检测框，也能滤除大小差异较大的重复检测框，也就完成了一次完整的目标检测。

为验证本发明技术效果，根据本发明提出的基于部件自适应选择与判别模型的高分辨率SAR图像目标检测方法对飞机目标进行检测验证。如下表1所示，相同目标数的情况下，本发明的检测数略低于CFAR，但虚警数最少，在检测和虚警两方面的整体效果最好，综合各指标说明本发明的性能优于其他方法。

表1本发明方法与传统方法检测性能对比

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.基于部件自适应选择与判别模型的SAR图像目标检测方法，其特征在于，包括如下步骤：

步骤1，准备SAR图像训练数据集，并对训练数据集进行预处理，包括以下子步骤，

步骤1.1，对训练数据集中的SAR图像进行裁剪，并采用矩形包围框分别对整体目标及各个子部件进行标注，标注信息包括包围框对应的类别及不同包围框的左上和右下两个角点在图像中的x，y坐标；

步骤1.2，将训练数据集中的图像进行正负样本分类，包含目标的为正样本，其他的为负样本；

步骤2，获得整体模型用于检测得分，所述整体模型包括用于检测整体目标信息的根模型和用于检测子部件的细节信息的部件模型，同时利用步骤1中不同包围框标注信息和正负样本对整体模型进行训练，获得模型参数，包括以下子步骤，

步骤2.1，构建初始根模型和部件模型；

步骤2.2，采用统计学方法获得部件模型中各子部件的锚点位置和标准尺寸，所述锚点位置是指标注的子部件相对于目标的位置；

步骤2.2中采用统计学方法获得部件模型中各子部件的锚点位置和标准尺寸的实现方式如下，

根据标注信息，求出所有正样本中子部件的中心绝对坐标，再计算出子部件中心相对对应子部件包围框高度的坐标然后进行归一化，均值滤波后，同一子部件的平均位置即作为该子部件的锚点位置；

将所有正样本中同一子部件的高宽比用直方图统计出来，包含样本数量最多的直方所对应的高宽比选作为子部件的高宽比aspect；然后计算每个样本这一子部件的包围框面积，按从小到大的顺序排列，取处于第90％位置处的值作为子部件包围框的面积area，最后用得到的aspect和area计算子部件的高Hz和宽Wz，

步骤2.3，根据步骤2.1和步骤2.2构建可变形部件模型的整体得分；

步骤2.4，对根模型和部件模型分别进行训练及更新，设定迭代次数，当收敛到全局最优解时训练完成，获得模型参数；

步骤3，利用上述整体模型检测到的整体目标包围框和n个子部件包围框的坐标，为使整体包围框不至于过大或者过小，利用线性二乘回归方法获取优化的预测器，预测出目标检测框的大小和位置；

步骤4，获取待检测图像的特征金字塔，按照步骤2的方式，在每个尺度上进行滑窗搜索，将其中得分较高的且大于设定阈值的保留为候选结果，得到初步检测框后，采用步骤3的包围框预测器进一步优化，最后对重复检测框进行滤除；

步骤4中采用SANMS方法对重复检测框进行滤除，具体实现方式如下，

将重叠率大于50％的检测框进行滤除，重叠率的计算公式为，

其中，box₁和box₂是任意两个检测框的面积，box₁∩box₂是两个检测框相交部分的面积。

2.如权利要求1所述的基于部件自适应选择与判别模型的SAR图像目标检测方法，其特征在于：步骤2.1的实现方式如下，

获取正样本图像的特征金字塔，令H代表HOG特征金字塔，并用p表示位于金字塔的滑窗区域，大小为w×h，则根模型的得分为滑窗区域的特征φ(H,p,w,h)与其对应权重向量F₀的内积，简化为F₀·φ(H,p₀)，p₀是滑窗区域对应的矩形的左上角点坐标；在滑窗区域特征和权重向量内积的基础上，每个子部件模型的得分还要考虑到其变形损失，a_i和b_i表示变形代价，

表示第i个子部件的实际位置相对于锚点位置的偏移，衡量子部件i的变形程度；因此，部件模型的得分用公式表示为：

其中，p_i是第i个子部件对应的滑窗矩形的左上角点坐标，F_i为第i个子部件对应的权重向量，i取1～n。

3.如权利要求2所述的基于部件自适应选择与判别模型的SAR图像目标检测方法，其特征在于：步骤2.3的实现方式如下，

由于训练样本经过尺寸的归一化处理后，正样本目标会发生过度的变形，损失一定的图像信息，因此在总体得分方程中引入比例惩罚因子，使得分方程更合理，其中总体得分的计算公式如下，

其中，H代表HOG特征金字塔，F_i'是指空间金字塔内滑窗区域的特征对应的权重向量，d_i＝(a₁,b₁,...,a_i,b_i,...,a_n,b_n)是形变权值，

是变形特征，表示相对锚点位置的偏移量及其平方；p₀是滑窗区域对应的矩形的左上角点坐标，p_i是第i个子部件对应的滑窗矩形的左上角点坐标，i取1～n，b为不同模型子部件之间的偏移系数，加上这个偏移量使其与根模型进行对齐；γ是比例惩罚因子，dhw是目标的高宽比与根模型宽高比的差值。

4.如权利要求3所述的基于部件自适应选择与判别模型的SAR图像目标检测方法，其特征在于：步骤2.4的实现方式如下，

设训练样本集表示为D＝(＜X₁,Y₁＞,...,＜X_M,Y_M＞)，Y_j是样本类别，Y_j∈{1,-1}分别对应负、正样本，M为样本个数，每个样本中整体目标及其各个子部件的位置被认为是隐藏变量，根据训练样本集D训练得到整体模型参数β＝(F₀,F₁...,F_n,a₁,b₁,...,a_n,b_n)的目标函数如下，设定迭代次数，当收敛到全局最优解时训练完成，获得整体模型参数：

其中max(0,1-Y_jf_β(X_j))称为标准铰链损失函数，C表示归一化权重；z表示在每个样本中，目标整体及其各个部件的位置，Φ(X_j,z)表示所有检测框的特征和位置信息。

Images