CN105844627A - 一种基于卷积神经网络的海面目标图像背景抑制方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的海面目标图像背景抑制方法。包括：选取复杂场景下海面目标的成像数据，预处理后按照一定的比例分成训练集L₁和验证集L₂；用训练集L₁训练卷积神经网络，并用验证集L₂对网络模型调优，得到背景预测模型B‑Mod；对待抑制的海面目标图像，预处理后输入背景预测模型B‑Mod，计算出每个像素的背景抑制分量；将每个像素的所有背景抑制分量加和平均得到背景抑制量；利用背景抑制量进行适当的函数映射,可以得到背景抑制后的图像。本发明根据海面目标图像中目标和背景的差异性，利用深度学习的方法获取图像中每个像素的背景抑制量，通过实验验证了该方法对海面目标图像的背景具有显著的抑制效果。

Description

一种基于卷积神经网络的海面目标图像背景抑制方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于卷积神经网络的海面目标图像背景抑制方法。

背景技术

自动目标检测是目前智能武器系统研制中的重要组成部分。而红外技术因灵敏度和帧频高、隐蔽性好、不受使用时间限制，被广泛应用于自寻的武器系统中。一般而言，红外探测器角分辨率有限，当目标距离较远时，探测器接收到的目标辐射能量较低，同时接收到了视场内其他物体的辐射，因此成像后的图像中大部分为空间分布不平稳的复杂背景杂波(如云背景、地面背景、海天背景等)，目标不仅信噪比较低，而且面积较小。为尽量降低背景杂波的影响，提高目标的信噪比，在检测任务之前首先进行背景抑制。已有的背景抑制方法可以分为基于变换域的方法、基于时域的方法和基于空域的方法。总的来说，基于变换域的方法是将原始图像进行傅立叶或小波变换后，通过滤除低频的背景并保留高频的目标来达到抑制背景的目的。基于时域的方法是以背景像素在时域上表现出较强的相关性，而运动目标所在像素在时域上会形成尖峰为依据，使用以前的图像对当前图像背景进行预测，然后用原始图像减去预测图像，完成静止背景的抑制。基于空域的方法根据背景在空间上相关性较强而目标呈现出“奇异点”的特点，在空域内对背景进行预测，然后用原始图像减去预测图像，完成背景抑制。基于变换域和基于时域的方法虽然可以获得良好的背景抑制效果，但在实际武器系统中，成像帧频往往较高(≥60Hz)，从探测器采集、传输到信息处理单元完成对图像所有的处理(目标检测、跟踪、识别等)一般只有几毫秒到十几毫秒，对算法的实时性要求很高；同时，武器系统自身的姿态变化将导致帧间图像存在抖动，像素在时域上的相关性很难保证。相比之下，基于空域的背景抑制方法具有更好的实用价值。

用深度学习做背景抑制的方案就是一种基于空域的实现，当然这从深度学习特别是卷积神经网络自身所适合应用的场景来看是很自然的。2006年，Geoffrey Hinton提出了深度学习，之后深度学习受到广泛关注。神经网络能够重新焕发青春的原因有几个方面。首先是大数据的出现在很大程度上缓解了训练过拟合的问题。其次是计算机硬件的飞速发展提供了强大的计算能力，使得训练大规模神经网络成为可能。此外神经网络的模型设计和训练方法都取得了长足的进步。深度学习在计算机视觉领域最具影响力的突破发生在2012年，Hinton的研究小组采用深度学习赢得了ImageNet图像分类的比赛。ImageNet是当今计算机视觉领域最具影响力的比赛之一。它的训练和测试样本都来自于互联网图片，训练样本超过百万，任务是将测试样本分成1000类。自2009年，包括工业界在内的很多计算机视觉小组都参加了每年一度的比赛，各个小组的方法逐渐趋同。在2012年的比赛中，排名2到4位的小组都采用的是传统的计算机视觉方法，手工设计的特征，相互间准确率的差别不超过1％。而Hinton的研究小组是首次参加比赛，他们拿出的模型(现称AlexNet)是一个8层的卷积神经网络，结果准确率比第二名超出了10％以上，这在计算机视觉领域产生了极大的震动，掀起了深度学习的热潮。深度学习特别是卷积神经网络被陆续应用于目标检测，目标识别，人脸识别，图像分割等计算机视觉的各个领域，并且都取得了非常好的成绩。

虽然深度学习在很多领域取得了成功，但是却没有见到深度学习用于背景抑制。一个原因可能是背景抑制已经有了很多成熟的算法，并且主要偏向应用，十分强调实时性，而深度学习虽然可以解决类似的问题，但是一般需要很大的计算量，在硬件有限的条件下难以保证实时性。

发明内容

本发明提供了一种基于卷积神经网络的海面目标图像背景抑制方法，目的在于解决不同干扰、不同大气环境参数条件下，同一成像高度下的海面目标的图像背景抑制问题。该方法利用大量海面目标的图像数据，构建了卷积神经网络模型，从大量数据中学习背景的先验知识，完成灰度变换，降低背景杂波，提高目标的信噪比，从而实现背景抑制。本方法对模型预测进行了加速处理，为背景抑制实时性要求提供保证，并且具有适应较强海面干扰的特点。

一种基于卷积神经网络的海面目标图像背景抑制方法，包括以下步骤：

(1)选取云遮挡、海杂波等复杂场景下海面目标的成像数据，以固定大小的图像片截取数据中的典型区域作为样本信息，所有图像对应的样本信息构成学习集L；

(2)将学习集L中的数据进行预处理，即对学习集L中的每个图像片减去自身的均值；

(3)将数据预处理后的学习集L按照一定的比例分成训练集L₁、验证集L₂，使用训练集L₁中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器模型；用验证集L₂样本测试CNN分类器性能，统计每个样本通过CNN分类器模型分类之后的类别属性，根据给定的样本标签信息，计算CNN分类器模型的精确率P_precision、召回率P_recall；如果CNN分类器性能不能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足性能指标为止；将满足性能指标的最终CNN分类器模型，作为背景预测模型B-Mod；

(4)对于待抑制的图像，进行数据预处理，处理后的数据通过步骤(3)的背景预测模型B-Mod预测出待抑制图像中第k个图像片Patch_k属于正/负类别的概率 并将作为第k个图像片Patch_k中每个像素的背景抑制分量α^k(x，y)；

(5)把每个像素的背景抑制分量α^k(x，y)加和取平均得到该像素的背景抑制量α(x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值，并将整幅图像归一化处理后，得到背景抑制图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

在现有技术中，关于图像背景抑制的方法尚未形成成熟的解决方案，大部分任务是通过人工设计的模型完成的，通常难以满足实际应用的需求。本发明利用训练得到卷积神经网络模型，通过从大量数据中统计学习得到待抑制图像每个像素的背景抑制量α(x，y)，据此完成背景抑制，使得抑制效果更加精确。克服了人工主观设计背景抑制模型的缺陷，提高了稳定性，改善了海面目标图像背景抑制的质量。

本发明提供了一种基于卷积神经网络的海面目标图像背景抑制方法，该方法对海面目标图像提取典型区域信息，训练卷积神经网络模型，将训练好的分类模型在预测阶段用于图到图的背景抑制变换，具体是将利用分类模型预测出的图像片Patch_k属于正/负类别的概率得到每个像素的背景抑制分量α^k(x，y)，通过加和取平均得到该像素的背景抑制量α(x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值，并将整幅图像归一化处理后，得到背景抑制图像。本发明根据海面目标图像中目标与背景在特征上的显著差异，使用了机器学习和模式识别方法，实现了对海面目标图像中每个像素背景抑制量的预测，形成一套系统的海面目标图像背景抑制量的预测方法，有效地改进了基于人工模型设计的方法，提高了海面目标图像背景抑制的准确性，并且对模型预测进行了加速处理，为背景抑制实时性要求提供保证，并且具有适应较强海面干扰的特点。

附图说明

图1为本发明一种基于卷积神经网络的海面目标图像背景抑制方法的流程图；

图2为具体实施过程中使用的训练集和待抑制图像；

图3为构建的卷积神经网络结构的示意图；

图4为卷积神经网络超参数选择的示意图；

图5为模型在测试集上的背景抑制效果图；

图6为消除卷积中冗余计算的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

一种基于卷积神经网络的海面目标图像背景抑制方法，具体实施过程的流程如图1所示：

1背景学习阶段

1.1数据准备阶段

收集探测器对云遮挡、海杂波等复杂场景的成像数据：为保证数据多样，收集数据需要考虑海面目标的不同形态、云层和烟雾干扰、海况、反光等各种海面可能会遇到且对成像质量造成影响的因素，保证数据不失一般性。

1.1.1学习集L

从收集的海面目标数据中，以m*n大小的图像片截取数据中的典型区域作为样本信息，所有图像截取之后对应的样本数据，对收集的样本数据进行清洗，去除不完整的、错误的、重复的以及不相关的数据，构成学习集L。

1.1.2正负类别属性

根据图像片包含目标与不包含目标，给样本标记类别属性。具体是，取完全包含目标的图像片作为正样本，并标记为+1；取不包含目标的海面背景为负样本，并标记为-1；从而保证正负样本分别能尽可能地表示目标和背景的信息。

1.2数据预处理

对学习集L中的图像片进行预处理，设学习集L中的图像片矩阵z＝{z₁，z₂，…，z_j，…，z_n}，预处理后的矩阵为x，则：

$x=z-\frac{1}{m*n}*\underset{j=1}{\overset{j=n}{\Σ}}\underset{i=1}{\overset{i=m}{\Σ}}{z}_j$

其中，z_j是一个m维的列向量。

原始数据经过上述去中心化预处理之后，可以去除样本的相关性，能够使模型训练更快地收敛，也有利于图像重点特征的学习。对学习集L预处理之后，按照一定比例分成训练集L₁、验证集L₂，典型比例为3:1。

1.3背景预测模型B-Mod

1.3.1模型结构和超参数设置

考虑实际应用中，由于不同的海况、天气下对海面成像数据的影响，导致成像数据的不同，CNN分类器模型结构要根据这些实际情况作适当调整。本专利在自己采集的数据(如图2所示)上,通过验证集L₂对模型结构选优得到最佳的模型结构(如图3所示)。该结构共有5层，其中2个卷积层、1个下采样层和2个全连接层(包括输出层)；卷积层的卷积模板数目为12，卷积模板尺寸为3×3，步长stride选为1，并在图像块边界处进行补零处理；pooling层的方法选择的是2×2无重叠的最大池化方法，全连接层单元数为60；激活函数选双曲正切tanh函数，输出层选用softmax分类器，目标函数选择交叉熵损失函数；将卷积模板权值初始化为 内均匀选取的值，其中n为上一层中节点个数，偏置项初始化为0；最优化算法选择的是批量梯度下降法，每次迭代的样本量选64，冲量momentum为0.9，学习率learning rate为0.01；采用Dropout(如图4(b)所示)、Weight decay和数据扩充的方法防止过拟合，其中Dropout参数设为0.5，Weight decay参数设为1e-6，数据扩充的具体做法是对图像做翻转和平移生成新的图像。

1.3.2模型性能评估方法

用精确率P_precision、召回率P_recall测试CNN分类器性能，具体为：统计CNN分类器在验证集L₂上的预测情况，根据样本的标签信息，将正类预测为正类的数目记为“TP”，将正类预测为负类的数目记为“FN”，将负类预测为正类的数目记为“FP”，将负类预测为负类的数目记为“TN”，则：

$P_{precision}=\frac{TP}{TP+FP}$

$P_{recall}=\frac{TP}{TP+FN}.$

1.3.3获得背景预测模型B-Mod

使用训练集L₁中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器模型；用验证集L₂样本测试CNN分类器性能，统计每个样本通过CNN分类器模型分类之后的类别属性，根据给定的样本标签信息，计算CNN分类器模型的精确率P_precision、召回率P_recall；如果CNN分类器性能不能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足性能指标为止。将满足性能指标的最终CNN分类器模型，作为背景预测模型B-Mod。

2背景抑制阶段

利用背景预测模型B-Mod预测每个像素的背景抑制量，完成背景抑制。

2.1全图预处理

对于待抑制的图像，进行数据预处理时，考虑全图预处理，而不是逐个图像片地预处理，这可以消除卷积中大量的冗余计算(如图6)，加快了模型预测速度，保证了背景抑制算法的实时性。具体为：

遍历待抑制图像，把每个像素点的灰度值减去它周围一定范围内的灰度均值。设f(x，y)为待抑制图像任一像素点，f^′(x，y)为待抑制图像预处理后与f(x，y)对应的像素点，矩阵u＝{u₁，u₂，…，u_j，…，u_c}为以f(x，y)为中心的r*c大小的领域矩阵，则：

$f^{\′}(x,y)=f(x,y)-\frac{1}{r*c}*\underset{j=1}{\overset{j=c}{\Σ}}\underset{i=1}{\overset{i=r}{\Σ}}{u}_j$

其中，u_j是一个r维的列向量。

2.2每个图像片属于正/负类别的概率

对于待抑制的图像，在用背景预测模型B-Mod进行前向预测时，将模型前面的卷积层和下采样层直接作用于图像，而不是对其遍历得到的图像片，得到数据立方体；按照对图像进行逐个图像片遍历的顺序，将背景预测模型B-Mod的全连接层作用于数据立方体中对应于该图像片的小立方体，计算得到每个图像片属于正/负类别的概率

2.3每个像素的背景抑制量α(x，y)

将图像片Patch_k属于正类的概率作为第k个图像片Patch_k中每个像素的背景抑制分量α^k(x，y)，即

$h^k(x,y)=p_k^{+}$

把每个像素的背景抑制分量h^k(x，y)加和取平均得到该像素的背景抑制量α(x，y)，具体方法为：

设遍历待抑制图像共得到K个图像片，则：

$\mathrm{\α}(x,y)=(\frac{1}{K}*\underset{k=1}{\overset{k=K}{\Σ}}{\mathrm{\α}}^k(x,y\left)\right)$

其中，

2.4背景抑制

将每个像素的背景抑制量α(x，y)，乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值h(x，y)；在得到每个像素新的灰度值之后，需要将整幅图像归一化处理，得到背景抑制图像，具体方法为：

h(x，y)＝α(x，y)*f(x，y)

设背景抑制后的图像为g(x，y)，则h(x，y)→g(x，y)的映射关系如下：

$\begin{array}{c}g(x,y)=(g{\left(x,y\right)}_{\max }-g{\left(x,y\right)}_{\min })*\frac{h(x,y)-h{(x,y)}_{\min }}{h{(x,y)}_{\max }-h{(x,y)}_{\min }}+g(x,\\ y{)}_{\min }\end{array}$

其中，[g(x，y)_max，g(x，y)_min]为设定的归一化区间，对于灰度图像，典型值为[0，255]；h(x，y)_max为所有像素中背景抑制量最大值；h(x，y)_min为所有像素中背景抑制量最小值。图5为本发明对四张原始图像背景抑制后的效果图。

本发明在对图像进行背景抑制时，首先将大量图像进行背景学习，然后根据学习出来的背景知识，进行灰度变换，完成背景抑制。传统的图像背景抑制方法都是经过人为的经验，根据背景的低频或者相关性强等性质，进行相应的灰度变换，从而实现背景抑制，这往往遗漏掉数据中很多高价值的背景知识。深度学习作为近年来计算机视觉领域出现的新方法，能够较好的从大量数据中自动地学习背景知识，相比于传统人为设计的方法，基于深度学习的背景学习方法更能准确的区分背景和目标的特征，计算出图像上每个图像片属于目标或者背景的概率，为作进一步背景抑制的灰度变换提供了非常有价值的先验知识。

图5所示为本发明实施例中使用的待抑制图像与它们被本发明图像背景抑制的结果对比图。对比发现，本发明提出的图像背景抑制方法，能够从大量数据中学习目标和背景知识，从而实现背景抑制，降低了背景杂波的影响，大大提高了目标的信噪比，能够适应较强的海面干扰，且能够满足背景抑制算法实时性要求高的特点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的海面目标图像背景抑制方法，其特征在于，所述方法包括：

(1)选取复杂场景下海面目标的成像数据，以固定大小的图像片截取数据中的典型区域作为样本信息，以完全包含目标的样本为正样本，以不包含目标的样本为负样本，从所有图像数据中截取到的样本数据构成学习集L；

(2)将学习集L中的数据进行预处理，即对学习集L中的每个图像片减去自身的均值；

(3)将数据预处理后的学习集L按照一定的比例分成训练集L₁、验证集L₂，使用训练集L₁中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器模型；用验证集L₂样本测试CNN分类器性能，统计每个样本通过CNN分类器模型分类之后的类别属性，根据给定的样本标签信息，计算CNN分类器模型的精确率P_precision、召回率P_recall；如果CNN分类器性能不能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足性能指标为止；将满足性能指标的最终CNN分类器模型，作为背景预测模型B-Mod；

(4)对于待抑制的图像，进行数据预处理，处理后的数据通过步骤(3)的背景预测模型B-Mod预测出待抑制图像中第k个图像片Patch_k属于正/负类别的概率并将作为第k个图像片Patch_k中每个像素的背景抑制分量α^k(x，y)；

(5)把每个像素的背景抑制分量α^k(x，y)加和取平均得到该像素的背景抑制量α(x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值，并将整幅图像归一化处理后，得到背景抑制图像。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)中对学习集L中的图像片进行预处理的具体方法为：

设学习集L中的图像片矩阵z＝{z₁，z₂，…，z_j，…，z_n}，预处理后的矩阵为x，则：

$x=z-\frac{1}{m*n}*\underset{j=1}{\overset{j=n}{\Σ}}\underset{i=1}{\overset{i=m}{\Σ}}{z}_j$

其中，z_j是一个m维的列向量。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中将数据预处理后的学习集L按照一定比例分成训练集L₁、验证集L₂，具体方法为：从收集的海面目标数据中，以m*n大小的图像片截取数据中的典型区域作为样本信息，给予这些样本正/负标签信息，并将其随机分成一定比例的两个集合，作为训练集L₁、验证集L₂。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中用验证集L₂样本测试CNN分类器性能，其中CNN分类器模型的精确率P_precision、召回率P_recall的计算具体为：

统计CNN分类器性能在验证集L₂上的预测情况，根据样本的标签信息，将正类预测为正类的数目记为“TP”，将正类预测为负类的数目记为“FN”，将负类预测为正类的数目记为“FP”，将负类预测为负类的数目记为“TN”，则：

$P_{precision}=\frac{TP}{TP+FP}$

$P_{recall}=\frac{TP}{TP+FN}.$

5.如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，对于待抑制的图像，在用背景预测模型B-Mod进行前向预测时，将模型前面的卷积层和下采样层直接作用于图像，得到数据立方体；按照对图像进行逐个图像片遍历的顺序，将背景预测模型B-Mod的全连接层作用于数据立方体中对应于该图像片的小立方体，计算得到每个图像片属于正/负类别的概率

6.如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，对于待抑制的图像，进行数据预处理时，考虑全图预处理，具体为：

遍历待抑制图像，把每个像素点的灰度值减去它周围一定范围内的灰度均值，设f(x，y)为待抑制图像任一像素点，f′(x，y)为待抑制图像预处理后与f(x，y)对应的像素点，矩阵u＝{u₁，u₂，…，u_j，…，u_c}为以f(x，y)为中心的r*c大小的领域矩阵，则：

$f^{\′}(x,y)=f(x,y)-\frac{1}{r*c}*\underset{j=1}{\overset{j=c}{\Σ}}\underset{i=1}{\overset{i=r}{\Σ}}{u}_j$

其中，u_j是一个r维的列向量。

7.如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，数据预处理之后，用背景预测模型B-Mod预测出待抑制图像中第k个图像片Patch_k属于正/负类别的概率并将作为第k个图像片Patch_k中每个像素的背景抑制分量α^k(x，y)，即

${\mathrm{\α}}^k(x,y)=p_k^{+}.$

8.如权利要求1或2所述的方法，其特征在于，所述步骤(5)中，把每个像素的背景抑制分量h^k(x，y)加和取平均得到该像素的背景抑制量α(x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值h(x，y)，具体方法为：

设遍历待抑制图像共得到K个图像片，则：

$h(x,y)=(\frac{1}{K}*\underset{k=1}{\overset{k=K}{\Σ}}{\mathrm{\α}}^k(x,y\left)\right)*f(x,y)$

其中，

9.如权利要求1或2所述的方法，其特征在于，所述步骤(5)中，在得到每个像素新的灰度值之后，需要将整幅图像归一化处理，得到背景抑制图像，具体方法为：

设背景抑制后的图像为g(x，y)，则h(x，y)→g(x，y)的映射关系如下：

$\begin{array}{c}g(x,y)=(g{(x,y)}_{\max }-g{(x,y)}_{\min })*\frac{h(x,y)-h{(x,y)}_{\min }}{h{(x,y)}_{\max }-h{(x,y)}_{\min }}+g(x,\\ y{)}_{\min }\end{array}$

其中，[g(x，y)_max，g(x，y)_min]为设定的归一化区间，对于灰度图像，典型值为[0，255]；h(x，y)_max为所有像素中背景抑制量最大值；h(x，y)_min为所有像素中背景抑制量最小值。