CN111626290A - 一种复杂海面环境下的红外舰船目标检测识别方法 - Google Patents

Abstract

一种复杂海面环境下的红外舰船目标检测识别方法，包括以下步骤：步骤1：通过目标识别检测方法对采集红外图像进行小目标图像筛选，并将高速目标和船只的区域分离和预分类；步骤2：提取并建立红外图像特征集合，筛选出的有效特征集，搭建基于支持向量机的经典机器学习模型，实现目标船只识别；步骤3：建立基于卷积神经网络的深度学习模型用于红外图像中的船只识别；步骤4：将深度学习的识别结果和机器学习的分类结果进行决策级融合，实现更为精准的目标识别。

Description

一种复杂海面环境下的红外舰船目标检测识别方法

技术领域

本发明涉及一种图像识别技术，特别是一种复杂海面环境下的红外舰船目标检测识别方法。

背景技术

红外视频的小目标包括舰船和飞机目标，因为其像素点少，特征较模糊的特点，大部分的工作还集中在检测定位上，从国外的方面来看从60年代开始，法国、荷兰美国等国家就陆续开始了红外检测系统的研制工作，之后随着探测器工艺水平、热成像技术和信息处理技术的迅速发展，红外检测系统的功能不断增多，性能也不断提高。近年来，由于各类精确制导武器的投入使用和电子战水平的提升，对防空反导作战提出了新的要求，地面型红外检测系统作为传统雷达防空体系的补充得到迅速发展，法国SAGEM公司研制的SIRENE系统，是一种模块式监视和跟踪系统，为支持中距离、短距离及超短距离防空武器系统而设计的；类似的地面搜索系统还有俄罗斯的“凤凰”新型远程红外搜索防空系统。现代战争要求红外搜索探测系统具备如穿透云层、在杂波环境下正常工作和探测弱小目标等能力，以实现全天候、远距离探测和目标识别，因此对红外探测器提出了更高的要求。美国将长波和多光谱大面积凝视焦平面红外探测器阵列和相关的制冷技术列入了弹道导弹防御技术计划。相对于国外，我国在红外检测系统的研制起步较晚，但已经受到各方面足够的重视，已经有多家单位在进行红外检测系统的研究，并且已经取得了一定成就。

相应地，在红外弱小目标识别的研究，国内外研究都很少见。从前面的研究现状分析中，我们可以看出在普通光学图像和正常尺度红外目标识别中，不论是经典的特征+分类器模式还是深度学习框架，国内外的科研工作者们都进行了很多很好的工作。但是红外弱小目标的识别暂时处于空缺状态。

发明内容

本发明的目的在于提供一种基于红外图像检测识别船只方法。

实现本发明目的的技术方案为：一种复杂海面环境下的红外舰船目标检测识别方法，包括以下步骤：

步骤1：通过目标识别检测方法对采集红外图像进行小目标图像筛选，并将高速目标和船只的区域分离和预分类；

步骤2：提取并建立红外图像特征集合，筛选出的有效特征集，搭建基于支持向量机的经典机器学习模型，实现目标船只识别；

步骤3：建立基于卷积神经网络的深度学习模型用于红外图像中的船只识别；

步骤4：将深度学习的识别结果和机器学习的分类结果进行决策级融合，实现更为精准的目标识别。

进一步地，步骤1具体包括：

步骤1.1，利用高斯分布、瑞利分布、指数分布和Weibull分布模型对采集的红外图像进行了背景杂波拟合构建背景杂波分布模型，去除背景图片中的背景杂波；

步骤1.2，将低速目标作为静止目标，通过抑制背景噪声、提升局部对比度的算法、阈值的自适应选取和形态学图像处理获取静止目标；

步骤1.3，更新背景杂波分布模型，通过帧差类方法检测高速目标在一定时间内的位移以识别高速目标。

进一步地，步骤1.3中更新背景杂波分布模型具体包括：

步骤1.3.1，建立一像素级背景模型M(X_K)＝{S₁(X_K),S₂(X_K),L,S_N(X_K)}

其中，X_K为红外图像某一像素点，S_i(X_K)为在|V(X_K)±10|范围内随机抽取的第i个样值，V(X_K)为X_K的像素值；

步骤1.3.2，从第二帧图像开始，判断X_K为前景点或背景点；若为前景点转步骤1.3.3；若为背景点，转步骤1.3.4；

步骤1.3.3，从该点背景模型M(X_K)中随机抽取一个样值S_i(X_K)，用当前像素值V(X_K)来替代S_i(X_K)，被替代的概率设置为P_b；

步骤1.3.4，从该点背景模型中随机抽取一个样值S_i(X_K)，该样值被前景点像素值V(X_K)替换的概率设为P_f。

进一步地，红外图像特征包括SIFT特征、HOG特征、Haar特征、小波变换、多尺度几何分析、尾迹、航速、航向。

进一步地，尾迹通过以下方法提取：

步骤2.1，采用Hough变换检测出红外图像中Hough变换域中的全局峰值点；

步骤2.2，将检测出的峰值点与预先设定的阈值K相比较，大于该阈值则是尾迹，否则视为噪声点，结束检测；

步骤2.3，将检测出的尾迹在原图像中进行屏蔽，让其不能影响其余尾迹的检测；

步骤2.4，在屏蔽了该尾迹的图像中继续重复步骤2.1、2.2检测剩余尾迹特征。

进一步地，航速和航向的提取方法为：

航速

其中k为比例系数，L为尾迹；

航向θ＝arctan(L_水平/L_垂直)，其中，L_水平为尾迹在水平方向的投影长度，L_垂直为尾迹在垂直方向上的投影。

进一步地，步骤4的具体过程为：

对支持向量机的特征进行分类，建立多个SVM模型对数据集进行分类，然后对这几个模型用Voting的方法投票选出最合适的结果；

在深度学习的模型中使用Bagging的方法。

附图说明

图1为本发明的方法流程示意图。

图2为高斯分布、Rayleigh分布、指数分布和Weibull分布密度函数示意图。

图3为红外弱小目标检测方法示意图。

图4为LCM算法检测结果示意图。

图5为LCM算法流程图示意图。

图6为目标块与检测块的关系示意图。

图7为MPCM算法检测结果示意图。

图8为MPCM算法流程图。

图9为形态学处理结果示意图。

图10为图像阈值分割流程示意图。

图11为阈值分割的方法效果示意图。

图12为尺度为2的小波变换得到的分解图。

图13为小波基与Curvelet基对比图。

图14为Contourlet变换频域示意图。

图15为提取运动特征的总体技术途径示意图。

图16为灰度累积法基本流程示意图。

图17为Radon变换原理示意图。

图18为Radon变换坐标关系图。

图19为Radon变换法真实尾迹示意图。

图20为Radon变换法裁剪之后的尾迹示意图。

图21为Hough变换之后的图。

图22为改进型Hough变换的流程示意图。

图23为舰船航向夹角示意图。

图24为GMM-CGAN结构示意图。

图25为联合网络训练过程示意图。

图26为RPN和FAST R-CNN网络训练结构示意图。

图27为FASTER R-CNN识别过程示意图。

图28为决策级融合示意图。

具体实施方式

一种复杂海面环境下的红外舰船目标检测识别为例进行论述，其主要架构可以分为复杂背景下的红外弱小目标检测，基于多特征融合和机器学习框架的舰船飞机识别分类和基于卷积神经网络的舰船飞机识别分类，以及及决策级融合三大部分，如图1所示。

红外小目标检测：完成海浪和云层等复杂自然背景下红外弱小目标的检测和定位。将包含舰船和飞机等疑似目标的区域从背景图片中分离出来，并进行高速目标(飞机)和低速目标(舰船)的预分类。通过传统目标识别检测类方法对于红外小目标图像进行初步的筛选，同时扩充数据的类别，为后面机器学习、深度学习类算法提供对照标准，也验证对于某些不易用传统方法处理直接获取目标的结果。

机器学习类检测：提取并建立包括灰度特征、几何特征、运动特征在内的多维度特征集合，筛选出的有效特征集，搭建基于支持向量机的经典机器学习模型，实现军民船只识别。通过从多特征图角度描述刻画原始图，发掘多角度可能与目标特征有关的信息，导入基本机器学习类算法，验证相应结果，区分目标与背景以及目标属于舰船，岛屿，飞机哪种类别。该模块是基于不同特征下的分类模型，对于不同的特征对类别的影响因素，综合决策考虑。

深度学习算法：建立基于卷积神经网络(CNN)的深度学习框架用于红外图像中的军民船只识别。通过GAN网络生成模拟图片，改变图片尺度，对于小目标检测测试集合输入进行整合，通过前端检测器获取特征块，将不同尺度下的目标进行上采样提纯，对大目标做识别，再反馈到相应小目标的位置，和其他大模块结果形成参考和比较。

决策融合：将深度学习的识别结果和机器学习的分类结果进行决策级融合，实现更为精准的飞机和舰船识别。实现对于多结果的统一，从中选出最优结果，多种决策机制选择不同的方式方法，完成整个系统的整体性，通过整合实现高精确度、低虚警率的预期目标。

具体的处理步骤如下所述。

步骤1，红外小目标检测

步骤1.1，背景杂波去除

背景杂波分布模型的建立对基于灰度的红外小目标检测算法尤其是恒虚警类的算法中的背景抑制有很重要的指导意义。背景杂波模型需要满足以下三个要求：(1)能够描述杂波的幅度分布及时域相关特性；(2)能够反映杂波的物理机理；(3)具有相对简洁的数学表达式。可利用高斯分布、瑞利分布、指数分布和Weibull分布模型实现对背景杂波分布模型的构建。

(1)高斯分布

该分布可以描述单一的背景杂波模型，其概率密度函数可以表示为：

其中u为高斯分布的均值，σ是高斯分布的方差。参数u和σ的估计方法如下：

其中

和

是参数u和σ的估计，x_i表示高斯参数估计中的第i个样本，N表示样本总数。

(2)瑞利分布(Rayleigh)

该分布因为具有较长的拖尾，可以描述含有部分高频杂波的背景，其概率密度函数可以表示为：

其中x≥0，参数b＞0。其参数的矩估计为：

其中u表示样本均值。

(3)指数分布

该分布的概率密度函数为：

f(x)＝λe^-λx

其中λ＞0为率参数。通过最大似然法可以得到参数λ的估计：

其中u为样本的均值。

(4)Weibull分布

该分布被广泛应用于可靠性工程中，并且可以通过分布参数的选取描述其他分布，具有广泛性。其概率密度函数表示为：

其中b＞0是比例参数，c＞0是形状参数。

图2(a)至图2(d)分别为高斯分布、Rayleigh分布、指数分布和Weibull分布密度函数图。从图2(d)可以看出，当Weibull分布的形状参数c＝1时，为Rayleigh分布；当c＝2时，为指数分布。

使用四种分布模型，对现有的红外图像进行了背景杂波拟合。从图2可知指数分布能够较好的拟合高空背景杂波，Rayleigh分布较为适合地面背景杂波的描述；而Weibull分布由于参数的多变性，在对高空和地面背景杂波拟合的过程中均表现出较好的效果。可基于具体的数据及需求选择模型并对模型进行微调。

步骤1.2，静止目标的检测

舰船目标相对星载红外镜头的移动来说，帧间的相对运动极小，在星载镜头所摄的红外视频中出现的短暂仅出现的数秒时间，这段时间内可近似视为静止目标。小目标类的舰船一般小于10x10像素，需要基于基本的形态学腐蚀，高低频图像特性，以及局部对比度的方法，来抑制背景杂波噪声，使得目标信号较为突出。可通过多种滤波器以抑制背景噪声、提升局部对比度的算法、阈值的自适应选取和形态学图像处理的连通域算法来实现，具体的检测流程如图3所示

增强对比度是能够使得小目标区别于背景的较好方法，目标相对于周围背景的相对对比图增强后，可以使得区分像素值的阈值可以取得范围更大，同时对背景有较好的抑制。可利用如下几种方法：

(1)LCM

LCM是一种局部对比度的方法，通过对每个像素点的周边块进行分析，将原来的输入图像转化生成其对应的局部相对强度图，小目标检测过程的目标具有像素点数目少，特征少的特点，因此相对于背景杂波具有一定的对比度，通过LCM可以强化相对对比度，使得目标凸显出来，处理输入图像之后，生成对应的对比度映射结果，图4模拟图例中有三个点目标，经过LCM算法处理之后，图像最低位置为零值，突出的峰位置也是三个与结果较为吻合。最左是原始模拟海面红外图像显示，中间图是像素强度分布图，最右是经过LCM抑制背景处理之后的结果。可以看到，背景的杂波的平均强度被抑制，证明LCM是有效果的。

对LCM算法进行相应的介绍，LCM算法流程图如图5。

LCM算法逻辑基础，首先设置产生目标的窗长N(N为奇数)，N决定了中心目标块的大小，根据N的大小生成相应的均值图像，例如图6左图单元块大小为N*N，右图的整体测试单元是对每个像素点生成对应的块状进行的计算，其中T的中心点是对应像素值的位置，完成只算之后用得到的D替换像素点的值，输出的图像实际上是强度映射图。

(2)MPCM(Multi patch contrast method)

MPCM是基于LCM的方法，改进之后，能够同时进行最亮、最暗对比度的双向判断，处理输入图像之后，生成对应的对比度映射结果，图7模拟图例中有三个点目标，经过MPCM算法处理之后，对比度较强红色点位置也是三个与结果较为吻合。可以发现的是图例中MPCM是双向结构，即最低强度位置存在负值。

对MPCM算法进行相应的介绍，MPCM算法流程图如下：

MPCM算法逻辑基础，首先设置产生目标的窗长N(N为奇数)，N决定了中心目标块的大小，根据N的大小生成相应的均值图像，例如图6左图单元块大小为N*N，右图的整体测试单元是对每个像素点生成对应的块状进行的计算，其中T的中心点是对应像素值的位置，完成只算之后用得到的D替换像素点的值，输出的图像实际上是强度映射图。

(3)形态学腐蚀的预处理方法

Top-hat运算是原始图像信号与其开运算后的信号之差，所以经Top-hat变换处理后的图像，能抑制平缓变化的背景和不相关结构信息，提取出形状类似于结构元素的孤立目标和噪声，即可以检测出图像信号中的灰度峰值，因此Top-hat算子具有高通滤波的特性。Top-hat是建立在膨胀和腐蚀的形态学上的。

膨胀：

将X中的每一个点X扩大成为S±X。

腐蚀：

用S来腐蚀得到的集合是S完全包括在X中时的S的原点位置的集合。其中膨胀和腐蚀的主要用途：第一，消除噪声，分割出独立的图像元素，在图像中连接相邻的元素；第二，寻找图像中明显的极大值或极小值区；求出图像的梯度。腐蚀和膨胀是对像素值大的部分而言的，即高亮白部分而不是黑色部分；膨胀是图像中的高亮部分进行膨胀，领域扩张，效果图拥有比原图更大的高亮区域；腐蚀是图像中的高亮部分被腐蚀掉，领域缩减，效果图拥有比原图更小的高亮区域；

对于处理成灰度图的且不添加伪彩色的红外图片来说，这里我们所选的主要是顶帽Top-hat操作。顶帽操作和底帽操作是灰度图像所特有的，其原理是开操作将使峰顶消去，可以用原图减去开操作结果，这样就能得到其消去的部分，而这个过程成为顶帽操作，顶帽就是开操作消去的峰顶，这一部分对应于图像中较亮的部分，也叫白色顶帽。

开运算放大了裂缝或者局部低亮度的区域，所以，从原图中减去开运算后的图，得到的结果突出了比原图轮廓周围的区域更明亮的区域，这个操作与选择的核的大小有关。Top-hat运算一般用来分离比邻近点亮一些的斑块，可以使用这个运算提取背景。

同理，底帽操作是用闭操作的结果减去原图就得到被闭操作填充的谷底部分，这一部分对应于图像中较暗的部分，也叫黑色底帽。黑帽运算的结果突出了比原图轮廓周围区域更暗的区域，所以黑帽运算用来分离比邻近点暗一些的斑块。

形态学操作是对于输入图片的预期处理，进行背景杂波的初步抑制，降低背景整体的灰度值，为后续使用阈值分割的方法打下基础，下面是形态学处理的图例：

例如图9左边的海浪目标图经过形态学处理过后，背景色调整体下降，对于背景整体的颜色进行相应的抑制，降低了背景的像素均值，突出目标物，使小目标对象的对比度增强。

阈值分割的方法，是通过基于图像灰度特征基础上的，在对图像进行预处理，背景抑制之后，逐渐使目标和背景杂波的强度特征产生较大差异，在通过局部或者全局就选择合适的阈值对图像进行二值化分割，然后标记出检测目标。其流程如图10：

对于具体的输入图例的效果如下，原始图像经过一系列处理之后，平均亮度下降，将目标和背景区分开来，分割目标完成检测过程，效果如图11所示。

步骤1.2，相对运动型目标检测

飞机类目标像素值更小，但移动速度较快，在星载红外镜头出现的短时间内，存在一定位移，计划通过帧差类方法进行检测识别。计划通过优化对背景差分方法的优化，排除恒定静目标和复杂背景干扰进行小的运动目标(飞机)进行检测。计划流程如下：

先使用背景建模的方式建立一个像素级的背景模型。对图像中，即对图像的每一个像素点都建立一个背景模型，设图像某一像素点标记为X_K，V(X_K)表示该点的像素值，则它的背景模型如下式所示：

M(X_K)＝{S₁(X_K),S₂(X_K),L,S_N(X_K)}

M(X_K)为像素点X_K的背景模型，它包含了N个在|V(X_K)±10|范围内随机抽取的样值，通过随机抽取的样值来模拟背景中随机噪声对该点像素值的影响。这种建模方式速度非常快，仅需图像序列的第一帧图像就可以完成建模，而且可以准确描述图像背景的即时信息，从而实现算法对场景中运动目标的即时检测。

步骤1.2.1，前景检测

图像序列的第一帧数据用来初始化背景模型，从第二帧开始，便可以对出现的运动目标进行检测。运动目标检测算法采用以下方法对图像中的像素点进行分类：

(1)首先将当前像素点X_K各个通道的像素值相加，设求和的值为a，再将背景模型M(X_K)中样值S_i(X_K)的所有通道像素值相加，设求和的值为b。

(2)然后计算a、b两值的绝对差，得到c＝|a–b|。

(3)最后根据c值与匹配阈值的大小关系，来判断像素点X_K是否与样值S_i(X_K)匹配，进而判断是否为前景和背景点。

步骤1.2.2，背景模型更新

背景模型更新方法直接影响背景模型对后续图像背景的描述，在实际应用中，图像背景往往会随着时间发生变化，特别是在复杂的场景下，图像背景变化也更加复杂，比喻：恶劣天气影响、水面波动、光照变化等等。

常见的背景模型更新方法分为两种：一种是只对判定为背景点的像素点背景模型进行更新，被称为保守更新；另一种是对背景点和前景点的背景模型同时进行更新。这两种方法各有利弊，如果只对背景点模型进行更新，容易造成死锁现象(即被误检的背景目标会一直表现为运动目标，不能随着模型更新而融入背景中)；如果同时对背景点和前景点进行更新，会使运动缓慢的物体融入背景，造成检测的不连续性。

根据上述两种更新方法的特点，本方案中我们设计一种新的更新方法：在保守更新的基础上，结合前景点梯度概率更新方法。前景点梯度概率更新方法的主要思想：在目标检测过程中加入前景点模型更新，并对不同时段的前景点模型设置不同的更新概率，从而控制整个过程前景点背景模型的更新速度。新的更新方法从两方面对背景模型进行更新：

(1)当像素点X_K被判定为背景点时：从该点背景模型M(X_K)中随机抽取一个样值S_i(X_K)，用当前像素值V(X_K)来替代S_i(X_K)，被替代的概率设置为P_b，背景点模型更新概率P_b取值越大，模型更新速率则越快；

(2)当像素点X_K被判定为前景点时：采用梯度概率更新的方式对前景点模型进行更新，从该点背景模型中随机抽取一个样值S_i(X_K)，该样值被前景点像素值V(X_K)替换的概率设为P_f，概率P_f并不是一个固定值，而是随图像序列的检测帧数呈梯度式减小。设F_g为设定的梯度因子，N为当前图像序列的帧数，则F_g按照下式进行更新。

而P_f的值由F_g决定，如下式所示：

式中V_max用来限定前景点模型的最小更新概率。在整个背景模型更新过程中，背景点模型始终按照固定概率进行平稳更新，而前景点模型更新概率随着检测帧数的增加逐渐减小，当减小到最小值时，则保持不变。

根据上述背景模型更新原理可知，在图像序列检测前期时，前景点背景模型更新速率较快，因此被误检的初始鬼影区域的背景模型可快速被真实背景像素值替代，从而消除鬼影干扰；另一方面还有助于解决算法在背景建模上带来的问题，当图像背景中有变化的水面云层等伪动态目标时，因为算法采用一帧建模的方式来快速建立背景模型，导致初始背景模型中的样值不能准确反映图像中的动态背景，但是经过前期的前景点背景模型更新，可以将动态背景不同时刻的样值加入到背景模型中，从而实现对动态背景的精确建模。在图像序列检测后期时，前景点背景模型更新概率趋于稳定，更新速率比较小，这在一定程度上保护了对图像背景中真实运动目标检测的连续性，并且有利于消除检测过程中随机出现的鬼影现象。

步骤2，基于传统机器学习的目标识别

传统的机器学习方法如SVM，已被广泛应用于图像识别的领域，并取得了显著的效果。而在进行机器学习训练之前，为达到最优的训练效果，样本的高维特征空间往往会经过一定的降维筛选工程。这种筛选过程的目的是去除原始特征集中不相关特征和冗余特征，以优化评估标准，提高算法效率。分类器在特征训练集包含足够的类别信息的前提下能够实现正确分类，但是类别信息是否足够却难以判断。为了提高识别准确率，通常会最大限度的提取特征信息。针对红外图像的目标特征提取方法主要如下：

步骤2.1，可见光图像常用纹理特征

SIFT、HOG、Haar等特征目前已广泛应用于车辆识别、行人检测等可见光图像的目标检测及识别系统中。其中HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。在一副图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。HOG特征通过对各像素点的梯度的或边缘的方向直方图，再把这些直方图组合起来就可以构成特征描述器。Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征。它分为三类：边缘特征、线性特征、中心特征和对角线特征。用黑白两种矩形框组合成特征模板，在特征模板内用黑色矩形像素和减去白色矩形像素和来表示这个模版的特征值。

步骤2.2，小波变换和多尺度几何分析在内的变换域特征

图像处理的基本和非常重要的一个方面就是图像是否稀疏表示。当一副图像中只存在少量的非零像素值时称该图像是稀疏的。一般而言，将非稀疏的自然图像进行某种变换后，就可能会使该图像在变换域中呈现出稀疏特性，也就将该图像稀疏表示了。例如，选取一幅大多数像素点都是非零像素值的自然图像，该图像进行小波变换后就会发现大多数小波系数的绝对值都接近于零，更重要的是，只用这些绝对值较大且数目有限的小波系数就可以有效地表示原图像中的绝大部分特征信息，这些都表明小波分析体现了图像非线性逼近的稀疏特性。

小波变换在低维点状奇异性目标的处理中表现了优良的特性。小波变换作为一个信号处理工具，就人们熟悉的傅里叶变换来说它虽然是一个重大突破，其众多优点也超越于傅立叶分析方法，且多年来在各领域中发挥着非常重要的作用。然而在高维情况下的小波变换只具有有限的垂直、水平及对角3个方向，由小波变换分解得到的小波系数并不能很好地稀疏表示二维或高维数据。

多尺度几何分析理论在图像处理中是一个能方便、准确且最优的表示高维图像的方法。由于它在高维情况下可以充分利用图像本身的几何特征且能对所研究的函数实现最优逼近，克服了小波变换处理高维奇异边缘的局限性，因此，应用多尺度几何分析进行红外弱小目标检测可以获得很好的弱小目标检测结果。

步骤2.2.1，小波分析

小波由一族小波基函数构成，它可以描述信号时间(空间)和频率(尺度)域的局部特性。采用小波分析最大优点是可对信号进行实施局部分析，可在任意的时间或空间域中分析信号。小波分析具有发现其他信号分析方法所不能识别的、隐藏于数据之中的表现结构特性的信息，而这些特性对机械故障和材料的损伤等识别是尤为重要的。图12为尺度为2的小波变换得到的分解图，可以看到，它可以将原图中的低频和高频分量很好的区分出来。

常用的小波函数有Haar、Daubechies(dbN)、Morlet、Meryer、Symlet、Coiflet、Biorthogonal小波等。

步骤2.2.2，多尺度几何分析

(1)脊波(Ridgelet)变换：

Ridgelet变换作为首个多尺度几何分析方法它对含有奇异性直线或超平面的高维函数可以达到良好的逼近性能。线状奇异性经过Radon变换转变为点状奇异性的这一特性是Ridgelet变换的核心部分。也就是说，把原图像经过Radon变换后就用点状奇异性替代了直线奇异性，然后通过小波变换来检测图像的点状奇异性，利用检测到的点状奇异性可以更有效的代表该图像的直线奇异性。

Ridgelet变换拥有小波变换所不具有的优势。它不但能充分考虑图像边缘的奇异性及方向性，具有更强的方向选择及方向辨别能力，而且对图像细节部分具有更好的稀疏表达能力。然而当一个多变量函数具有曲线奇异性时，Ridgelet变换只能接近于小波变换的逼近性能而不拥有最优的非线性逼近误差。

(2)曲波(Curvelet)变换

Curvelet变换的滤波过程非常特殊，它相当于把Ridgelet变换应用在所有可能尺度上，所以Curvelet变换具备多尺度性，也被称为多尺度Ridgelet变换。曲线波还具有一个脊波不具备的特性，即曲线波能够自发地“跟踪”图像中二次可微的奇异曲线。图13给出了Curvelet逼近和小波逼近的对比图，代表了图像奇异曲线利用曲线波来逼近的过程。图13给左图是小波基的逼近示意图；图13给右图是Curvelet基的逼近示意图。从图12可以看出，小波的基的支撑区间是正方形的，曲线波的基的支撑区间是长条形的；且曲线波的基的支撑区间符合width＝length2的尺度关系。从图13右图可以进一步得到：随着尺度的加细，整个奇异曲线都被这种带方向性的“长条形”基的支撑区间所覆盖。

(3)轮廓波(Contourlet)变换

轮廓波(Contourlet)变换这个优良的二维数据多尺度方法是通过使用轮廓线段的结构形式得到的一种局部、多分辨及方向性的图像描述方法。这个变换不但能够达到二维曲线各向异性的尺度关系，而且很好地利用了图像的几何结构。它是一种快速的且如曲线波一样具有结构化的信号处理方法。

一定意义上的Contourlet方法能够被当作Curvelet方法的另一种实现形式。两种变换方法所不同的是Curvelet方法在连续域定义后才对数据采样加以离散的，而Contourlet变换是直接从离散域构造，然后使用多分辨率分析框架将其扩展至连续域，继而研究它在连续域的收敛情况。Contourlet变换是一种具有多尺度多方向及Curvelet变换各向异性关系的离散域的多尺度几何分析方法。Contourlet变换在很大程度上与小波变换很相似，这是因为它们都与滤波器组相关且都将多尺度和方向分析分拆进行。可以得出Contourlet变换的构造过程可以分为以下两个环节：

A)使用LP(Laplacian pyramid)的多尺度变换对图像进行分解，分解后的子带图像能够捕捉图像的奇异点。一次LP分解将原始图像分解为与原图像近似的低频部分及与低频部分互补的高频部分；然后进一步对低频部分利用LP分解，依次这样就获得了分解后的多尺度子图像。通过对过采样滤波器和框架理论进一步研究，M.N.Do等人对LP算法有了更多的认识，主要发现了由一个紧的且框架界为1的正交滤波器组构造的拉普拉斯算法框架是作为Contourlet变换的先决条件来使用的。基于此，M.N.Do等人后来利用对偶框架完成了一种具有最优线性重构的Contourlet变换。

B)把不同尺度的同一个方向的奇异性点经过DFB(Directional filter bank)合并使其成为一个具有固定方向的方向子带系数。若把图像利用方向滤波器组分解成为l层，则每一层可以被分解成2l个锲型的方向子带。在完全重构的方向滤波器组被Smith和Bamberger得出之后，M.N.Do等人将原方向滤波器的l层树状组成转换成2l个并行通道组成，再结合扇型结构的共轭镜像滤波器组进而得到了一种新型的方向滤波器组。

图14表示Contourlet分解的频域划分的示意图。从图14可以看出，Contourlet变换的基支撑区间的长宽比会根据尺度的不同所不同，并且它的支撑区间和脊波变换相似都是长方形。但是，前一个性质是脊波变换所不具有。

步骤2.3，海上舰船目标的运动特征

海上舰船目标的运动特征主要为船只的航向和航速。研究该运动特征的技术途径如图15所示，主要包括：尾迹检测和提取、航速航向计算。

步骤2.3.1，研究舰船目标的尾迹检测和提取算法；

在海上舰船目标的尾迹提取中，可使用灰度累积法，Radon变换法和Hough变换法。

(1)灰度累积法；

根据已知参数：舰船目标的重心点(i，j)、其中参数为累积半径length、为累积step和角增量theta，灰度累积法的基本思路如图16所示。在进行灰度累积时，需统计给定方向和长度的线段上像素灰度累计值、均值及标准偏差，并绘制相应的曲线以供分析。累积半径应与航迹的长度相当，即所得曲线上的尖峰和低谷能充分显示航迹的存在。过长或短均会受到图像中噪声的干扰，引起检测结果的不准确。而航迹的长度、船航行速度及海面条件等与实际参数有关。累积步长的选取直接影响计算量，累积步长大通常选择为1°～3°。为得到累积曲线后，需从累积曲线中分析是否存在尾迹特征。由于累积曲线上尖峰和低谷相对于附近累积值的变化比较剧烈，所以拟合后的曲线在累积曲线尖峰和低谷处与原始值相差较大，当这种差值超过一定范围时，认为其对应的是尾迹特征。这种方法对于近似直线舰船尾迹，可直接对舰船尾迹图像进行预处理，再分别计算获得舰船尾迹在水平方向和垂直方向上的投影长度，最终计算得到舰船尾迹长度。

对于曲线舰船尾迹，一般可用多项式拟合累积曲线，若图像上舰船航向平滑简单或变化有一定规律，可直接利用简单的二次多项式拟合获得近似尾流曲线，且一般情况下，多项式的次数越多，需要的数据就越多，而预测也就越准确。若图像上舰船航向复杂多变且运动趋势不明确，多项式拟合方法可能会产生龙格现象，该种情况下难以精确提取舰船尾迹长度。

(2)Radon变换法

Radon变换的本质是将原来的函数做了一个空间转换，即，将原来的XY平面内的点映射到p,θ平面上，那么原来在XY平面上的一条直线的所有的点在p,θ平面上都位于同一点。记录p,θ平面上的点的积累厚度，便可知XY平面上的线的存在性。但在有大量噪声或强杂波存在的情况下，单纯利用Radon变换来检测无法使虚警率降低到可被检测范围内。因此，根据Radon变换的原理和特性，结合形态学变换方法，采用对目标区域进行局部Radon变换的检测方法来进行舰船尾迹检测。Radon变换原理如图17所示，在二维欧氏空间中Radon变换为:

f(p，θ)＝∫∫g(x，y)δ(p-xcosθ-ysinθ)dydx

其中，D表示坐标为X一Y的整个图像平面；g(x，y)为在坐标(x，y)处像素的亮度；δ为Dirac函数；ρ指由原点至直线的法线距离；θ为直线的法线与算轴的夹角。其坐标关系如图18所示。

若θ和(或)ρ为定值，则可得到一变换的样本。要获得全变换可理解为θ和ρ变化，对任意θ和ρ，f是确定的。Dirac函数的出现使得F(z，Y)的积分在直线

ρ＝xcosθ+ysinθ上进行。

如图19所示真实的尾迹图，传统Radon变换在平面图像域中沿任何可能存在的直线将其像素的亮度进行积分，从而使得线性特征更为明显，直线的积分对应于Radon变换空间中为一个单点。一般而言，若图像中的一条直线上像素的强度不同于背景，在变换域就能得到一亮或暗的峰值。因此，在变换域中的一个亮或暗的点相对于原图像中则为亮或暗的直线。

对边缘检测过后的二值图像进行适度旋转和裁剪，如图20所示，并对处理过后的图像进行Radon变换。为了对尾迹二值图像进行长度提取，通常只需选取一定的角度，这也可提高算法速度。实验选取θ＝90度，经Radon变换后的积分值反映的是线段长度信息，可通过阈值去掉不够长的线性区域即可得到尾流长度信息。

(3)改进的Hough变换法；

Hough变换是1962年Paul Hough在其专利中引入，用来检测直线的。它在图像处理和计算机视觉中有很多应用，如用于直线检测、圆或者椭圆的检测、边界的提取等。

在二维空间中Hough变换定义为：

f(θ，ρ)＝H{F}＝∫∫F(x，y)δ(ρ-xcosθ-ysinθ)dydx

式中，D为整个(x,y)平面，(x,y)为以图像中心为坐标的二维欧式平面；F(x,y)为图像上点(x,y)的灰度值；δ为Dirac函数；ρ指由原点至直线的法线距离θ为直线的法线与算轴的夹角。

基本原理在于利用点与线的对偶性，将原始图像空间给定的曲线通过曲线表达形式变为参数空间的一个点。这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题。图21为利用改进型Hough变换检测出的船迹的图，下面来阐述改进型Hough变换的基本步骤：

第一，用Hough变换检测出遥感图像中较宽、较亮的尾迹，即只选取Hough变换域中的全局峰值点；

第二，将检测出的峰值点与预先设定的阈值K相比较，大于该阈值则是尾迹，否则视为噪声点，结束检测；

第三，将检测出的尾迹在原图像中进行屏蔽，让其不能影响其余尾迹的检测；

第四，在屏蔽了该尾迹的图像中继续重复步骤1、2检测剩余尾迹特征；

流程图如图22：

在得到经Hough变换后的映射时，它的积分值反应就是线段长度信息，这样就可以通过类似于Radon变换时求航迹长度的方法得到改进型Hough变换法的尾迹长度。

步骤2.3，研究基于舰船尾迹的航速、航向特征提取方法

根据一些现有的研究工作，舰船的航速和航向和尾迹之间存在简单的函数关系。但是具体的应用场景差别，例如SAR图像、可见光图像、红外图像的区分，拍摄高度和具体的红外波段的不同，都会在很大程度上影响这些简单模型的效果。

步骤2.3.1，舰船的航速计算

尾流的持续时间可以近似认为是航速的线性函数，该线性函数可以表示为：

T＝kv+b

k为比例系数，在上述实验条件下近似为7/5＝1.4，b是一个小修正量。又因为T＝L/v再根据上式我们可以得出v＝(-b+√(b∧2+4kL))/2k,又因为b是一个较小的修正量，所以最后我们可以得到近似速度:

步骤2.3.2，舰船的航向的计算

在舰船目标的周围分别计算0°和90°两个不同方向上一定范围内的像素点灰度累计值，再取阈值，高于或低于该阈值的就视为有尾迹特征。利用此方法分别获得舰船尾迹在水平方向的投影长度L_水平和尾迹在垂直方向上的投影L_垂直，获得舰船航向与垂直方向夹角如图23所示：

θ＝actan(L_水平/L_垂直)

步骤3，基于卷积神经网络的红外弱小目标识别研究

在获取到一定数量的星载红外图像，并进行了初步的弱小目标检测和基于机器学习的舰船飞机目标识别后，先对识别结果进行部分人工修正和标记。对修正过的训练数据集进行扩充，并训练卷积神经网络以提高识别的准确率。

步骤3.1，基于生成对抗网络(GAN)进行数据集扩充

研究已经证明深度卷积神经网络(CNN)在大规模带有标签的数据集训练下，训练后模型能够取得高精度的识别率或分类效果，而利用较小规模数据集训练CNN模型则通常出现过拟合现象。作为生成模型,GAN最为直接的作用是对训练数据进行增强.根据增强后的数据性质,这一类应用可以分为数据集内增强与数据集外增强两类.前者是对训练集内数据进行填补,清晰化,变换等操作,主要目的是增强数据集质量.后者则主要是结合外部知识或无标签数据对数据集进行调整和猜测,使其具备原数据集不具备的信息。

构建了一种集成高斯混合模型(GMM)及有条件对抗神经网络(CGAN)的数据增强方法GMM-CGAN，该模型首先通过围绕核心区域随机滑动采样的方法增加数据集样本数量；其次，假定噪声随机向量z服从GMM模型描述的分布，将z作为CGAN生成器的初始输入，图像标签作为CGAN条件，训练CGAN以及GMM模型的参数；最后，利用已训练CGAN生成符合样本真实分布的新数据集。将已有数据集训练的CNN模型与仅使用仿射变换增强的数据集及CGAN方法增强的数据集训练的CNN模型相比，实验结果表明，前者的平均分类正确率相较于后两个模型分别提高了18.2％及14.1％。

如前所述，生成器G通过单一分布描述训练数据样本的分布，不难理解单一分布对样本数据特征多样性难以反映，其直接后果是训练的生成器G生成的数据样本特征单一，难以达成样本数据集增强的目的。而高斯混合模型(GMM)模型的实质是利用m(m≥3)个正态分布来刻画样本整体的多样性特征，通过训练学习后，建立由m个组件(即m个正态分布)构成的混合分布模型，一方面多组件构成的混合模型能够更好地刻画样本的多样性特征，另一方面这种数据特征的多样性又受到每个组件的约束，使得混合模型生成的新样本既具有多样性又保持与原样本之间特征的相似性。基于此，为了解决上述存在的问题，将GMM集成到CGAN模型进而提出一种全新的GMM-CGAN数据增强框架，这个框架在理论上是可行的。GMM-CGAN结构示意图见图24.

GMM-CGAN的参数需初始化，由于对应于不同Y条件(样本的标签)的数据分布不相同的，因此，对于每一Y条件需要对μ,σ向量初始化，令μ～U(-1,1)，σ∈(0,1)，其中U(-1,1)表示区间(-1,1)上的均匀分布，标准差(0,1)区间上随机选取。将z输入G进入CGAN的训练程序，从而达到逐个训练、优化高斯组件参数。

在CGAN被训练后，利用G生成新的样本，步骤如下：

(1)选定需生成样本的标签；

(2)在该标签下从μ,σ向量中任选一对分量,并计算z；

(3)将z输入生成器G后，即为生成的新样本G(z)；

重复(1)至(3)即可生成需要更具多样性的被增强的数据样本集。

步骤3.2，FasterR-CNN进行目标识别

Faster-RCNN方法包含2个CNN网络：区域提议网络RPN(Regional ProposalNetwork)和Fast R-CNN检测网络。

(1)预训练CNN模型

RPN网络和检测网络都需要对预训练的ImageNet网络进行初始化，通常采用的网络主要有ZFnet网络(Zeiler and Fergus)和VGG16网络(Simonyan and Zisserman moda)。这里选用ZFnet网络。ZFnet包含5个卷积层，有些卷积层后面添加池化层和3个完全连接的特征层。利用ILSVRC 2012图像分类任务中的训练数据(120万张图像，1000类)对ZFnet模型进行预训练。区域提议网络和检测网络都是在ZFnet输出后添加特定的层得到。这些特定层可以对输入图片提取出可能含有目标的区域，并计算出以该区域为目标的概率。

ZFnet的最后一个卷积层(即第5个卷积层)包含256个通道，被称为特征图(Feature Map)。特征图为输入图像的深层卷积特征，同类物体的深层特征十分接近；而不同类物体的深层特征差异很大，即在特征图上物体具有很好的可分性。

(2)RPN网络训练

RPN网络以任意大小的图像为输入，之后输出一系列可能包含目标的区域框。在ZFnet的CONV5后面添加一个小的卷积层，这个小的卷积层采用滑动方式运作，对于特征图上的每一个位置(对应原始图像上一个位置)，由小卷积层进行卷积运算，即在此位置开一个小窗口进行卷积运算，得到同一个位置对应的256维向量(由于有256个通道)，该向量反映了该位置小窗口(对应原始图像上某一窗口)内的深层特征。由这个256维的特征向量可以预测：①该位置小窗口属于目标/背景的概率值，即得分；②该位置附近包含目标的窗口相对于该位置小窗口的偏差，用4个参数表示，2个平移，2个放缩。

采用3种不同尺寸和3种不同比例(1:1,1:2,2:1)组合成的9种基准小窗口对包含目标的窗口位置进行预测，可以使区域提议更准确。

(3)Fast R-CNN检测网络训练

根据步骤(2)生成的区域提议结果是基于Fast RCNN方法训练独立的检测网络，检测网络也利用ZFnet预训练模型初始化。对输入图像进行5层卷积网络的特征提取，第5层特征图(CONV5)是一个256×256的特征图，取出CONV5上对应的深度特征，将256个通道内的全部特征串联成一个高维(4096维)特征向量，称为FC6特征层，后面添加另一个4096维的特征层，形成FC7，FC6和FC7之间采用完全连接。由FC7特征层可预测：①候选区域框属于每个类别的概率，即得分；②目标对象外围框的更合适的位置，用它相对于候选区域框的2个平移和2个放缩共4个参数表示。通过预先标记的信息利用反向传播算法对该检测网络进行微调。

(4)2个网络的CNN共享和联合调优

将2个网络单独训练并未实现卷积网络的参数进行共享。利用步骤(3)训练的检测网络来初始化RPN网络，并固定共享的深度卷积层(如图2中红色双向箭头所指)，对RPN网络的特殊部分进行调优，为了与检测网络对应，称此部分为RPN网络的FC层，这样2个网络就共享了深度卷积层。最后，固定共享的卷积层，对Fast R-CNN的FC层进行调优。这样2个网络就共享了卷积层并形成了一个联合的网络。

(5)检测识别过程

由上面的训练可知，2个网络最终可共用同一个5层的卷积神经网络，这使整个检测过程只需完成系列卷积运算即可完成检测识别过程，彻底解决了原来区域提议步骤时间开销大的瓶颈问题。检测识别的过程如图27所示，其实现步骤为：

[1]对整个图像进行系列卷积运算，得到特征图CONV5；

[2]由区域提议网络在特征图上生成大量候选区域框；

[3]对候选区域框进行非最大值抑制，保留得分较高的前300个框；

[4]取出特征图上候选区域框内的特征形成高维特征向量，由检测网络计算类别得分，并预测更合适的目标外围框位置。

步骤4，决策级融合

在相同的测试视频分别通过传统特征+分类器的结构和卷积神经网络并行完成测试图片的识别之后，将所得结果进行决策级融合。首先我们可以对SVM的特征进行分类，建立多个SVM模型对数据集进行分类，然后对这几个模型用Voting的方法投票选出最合适的结果。然后在深度学习的模型中使用Bagging的方法，防止模型过拟合，Bagging是属于机器学习中模型融合的一种方法，它可以很好的解决过拟合的问题，该方法如图28。首先从训练集中选取一部分作为子训练集，重复训练过程K次，将所得结果通过Voting或者Averaging的方法进行融合从而得到最终的结果。最后因为卷积神经网络的数据输入包括部分人工标定的正负样本，以及传统分类器的分类结果，所以在加权表决融合的过程中，卷积神经网络的识别结果会设置较大的权重，具体参数可基于具体的数据进行训练后加以调整。最终实现相对于单个目标识别系统更高的准确度。

Claims (7)

1.一种复杂海面环境下的红外舰船目标检测识别方法，其特征在于：包括以下步骤：

步骤1：通过目标识别检测方法对采集红外图像进行小目标图像筛选，并将高速目标和船只的区域分离和预分类；

步骤2：提取并建立红外图像特征集合，筛选出的有效特征集，搭建基于支持向量机的经典机器学习模型，实现目标船只识别；

步骤3：建立基于卷积神经网络的深度学习模型用于红外图像中的船只识别；

步骤4：将深度学习的识别结果和机器学习的分类结果进行决策级融合，实现更为精准的目标识别。

2.根据权利要求1所述的方法，其特征在于，步骤1具体包括：

步骤1.1，利用高斯分布、瑞利分布、指数分布和Weibull分布模型对采集的红外图像进行了背景杂波拟合构建背景杂波分布模型，去除背景图片中的背景杂波；

步骤1.2，将低速目标作为静止目标，通过抑制背景噪声、提升局部对比度的算法、阈值的自适应选取和形态学图像处理获取静止目标；

步骤1.3，更新背景杂波分布模型，通过帧差类方法检测高速目标在一定时间内的位移以识别高速目标。

3.根据权利要求2所述的方法，其特征在于，步骤1.3中更新背景杂波分布模型具体包括：

步骤1.3.1，建立一像素级背景模型M(X_K)＝{S₁(X_K),S₂(X_K),L,S_N(X_K)}

其中，X_K为红外图像某一像素点，S_i(X_K)为在|V(X_K)±10|范围内随机抽取的第i个样值，V(X_K)为X_K的像素值；

步骤1.3.2，从第二帧图像开始，判断X_K为前景点或背景点；若为前景点转步骤1.3.3；若为背景点，转步骤1.3.4；

步骤1.3.3，从该点背景模型M(X_K)中随机抽取一个样值S_i(X_K)，用当前像素值V(X_K)来替代S_i(X_K)，被替代的概率设置为P_b；

步骤1.3.4，从该点背景模型中随机抽取一个样值S_i(X_K)，该样值被前景点像素值V(X_K)替换的概率设为P_f。

4.根据权利要求1所述的方法，其特征在于，红外图像特征包括SIFT特征、HOG特征、Haar特征、小波变换、多尺度几何分析、尾迹、航速、航向。

5.根据权利要求4所述的方法，其特征在于，尾迹通过以下方法提取：

步骤2.1，采用Hough变换检测出红外图像中Hough变换域中的全局峰值点；

步骤2.2，将检测出的峰值点与预先设定的阈值K相比较，大于该阈值则是尾迹，否则视为噪声点，结束检测；

步骤2.3，将检测出的尾迹在原图像中进行屏蔽，让其不能影响其余尾迹的检测；

步骤2.4，在屏蔽了该尾迹的图像中继续重复步骤2.1、2.2检测剩余尾迹特征。

6.根据权利要求4所述的方法，其特征在于，航速和航向的提取方法为：

航速

其中k为比例系数，L为尾迹；

航向θ＝arctan（L_水平/L_垂直），其中，L_水平为尾迹在水平方向的投影长度，L_垂直为尾迹在垂直方向上的投影。

7.根据权利要求1所述的方法，其特征在于，步骤4的具体过程为：

对支持向量机的特征进行分类，建立多个SVM模型对数据集进行分类，然后对这几个模型用Voting的方法投票选出最合适的结果；

在深度学习的模型中使用Bagging的方法。

Images