CN108509986A - 基于模糊不变卷积神经网络的飞机目标识别方法 - Google Patents

Abstract

本发明公开了一种基于模糊不变卷积神经网络的飞机目标识别方法，包括以下步骤：步骤一，建立遥感飞机数据集；步骤二，设置BICNN网络层数；步骤三，对目标函数进行改进；步骤四，设置微调层数以及参数加载；步骤五，前向传播计算误差；步骤六，根据误差更新权值调整量；步骤七，BICNN进行网络测试。本发明提出的方法可以直接识别模糊图像，具备模糊不变性且具有流程简单、识别率高的优点且应用场景广泛。

Description

基于模糊不变卷积神经网络的飞机目标识别方法

技术领域

本发明涉及一种飞机目标识别方法，特别是涉及一种基于模糊不变卷积神经网络的飞机目标识别方法。

背景技术

飞机目标作为空中监管的一个重要目标，实现自动识别飞机目标和机型以及获得更多的信息，是目前研究的热点问题，但是由于采集、运动以及聚焦等均会产生目标模糊问题，导致飞机目标特征的提取存在不确定性以及不精确性，使飞机目标识别的精准度下降；

考虑图像模糊的影响，传统的模糊图像的两类识别方法，一类是对图像先去模糊，通过去模糊参数得到清晰图像后识别，但是由于同一组的去模糊参数对不同类型模糊图像不能进行较好的复原；另一类是对图像提取模糊不变描述子特征，然而这些子特征对轮廓信息不具备较高的表达性，因此在应用方面具有一定的局限性，综上所述，传统的模糊目标识别算法存在识别流程复杂且应用环境较为单一的问题，针对这个问题，本发明提出了基于卷积神经网络的模糊目标识别算法；

近年来，卷积神经网络作为一种多层前馈深度学习模型，由于其可以直接以图像为输入，通过多隐层结构自动学习特征，因此处理图像的相关任务上已经有了很多成功的应用，尽管基于卷积神经网络的方法在飞机识别上的应用和研究逐渐增多，但是针对目标模糊不变性的鲁棒识别研究仍处于初步阶段，还存在较大的研究空间，基于此本发明提出基于模糊不变卷积神经网络BICNN(Blur-Invariant Convolutional Neural Network)，通过BICNN网络可以对模糊目标进行精确识别。

2014年牛津大学VGG(Visual Geometry Group)在ILSVRC提出的了VGG模型，VGG具有比传统CNN具有更深层的结构，因此能提取到更全局的特征，网络拟合能力更强，由此本发明提出的BICNN模型以VGG网络结构为基础，增加模糊不变层，首先，通过对目标函数增加模糊不变正则化；其次通过最小化模糊不变目标函数，使得图像模糊前后共享相似的特征，完成模糊不变层的学习，为了增加网络泛化能力，首先训练新增的模糊不变层，固定其余的模型参数，然后以较小的学习速率对整个BICNN网络专门微调(fine-tuning)以进一步提高性能，最后，使用测试集对BICNN进行全面评估。

发明内容

本发明所要解决的技术问题是提供一种基于模糊不变卷积神经网络的飞机目标识别方法，其可以直接识别模糊图像，具备模糊不变性且具有流程简单、识别率高的优点且应用场景广泛。

本发明是通过下述技术方案来解决上述技术问题的：一种基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，包括以下步骤：

步骤一，建立遥感飞机数据集，数据集包含五类飞机机型，五类飞机图是谷歌地图美国图森的飞机墓场中常见的五类目标，训练集共有14000张，交叉验证集3000张，测试集3000张，均有清晰数据集Xi及模糊数据集Yi；

步骤二，设置BICNN网络层数，BICNN包括十三个卷积层、五个池化层、三个全连接层、一个模糊不变层，卷积核大小均为3×3，选用最大池化，步长为2，激活函数为relu，卷积层第一、第二层的滤波器个数为64，卷积层第三、第四层的滤波器个数为128个，卷积层第五第六第七层滤波器个数为256个，卷积层第八至第十三层的滤波器个数为512个，前两层的全连接层以及模糊不变层神经元为4096个，fcn层由五个神经元组成；

O₂(x_i)作为模糊不变层的输入，经过模糊不变层输出的结果是O_b(x_i)，最后O_b(x_i)经过fcn层的输出得到O_n(x_i)；softmax函数将logits转换为概率向量，表示为输入样本属于每个输出类的概率，(W_bi,B_bi)和(W_n,B_n)是模糊不变层和fcn层的网络参数，W是该层网络的权重，B为网络偏置，公式如下：

O_b(x_i)＝relu(W_biO₂(x_i)+B_bi)

O_n(x_i)＝softmax(W_nO_b(x_i)+B_n)

其中relu(x)＝max(0,x)，softmax(x)＝exp(x)/||exp(x)||₁；

步骤三，对目标函数进行改进，目标函数如下式：

步骤四，设置微调层数以及参数加载；

步骤五，前向传播计算误差；

步骤六，根据误差更新权值调整量；

步骤七，BICNN进行网络测试，为了测试BICNN网络有效性和可行性，对BICNN网络进行测试，测试集3000张，测试图像尺寸为224×224尺寸，测试集与训练集没有重复样本，将测试样本输入网络，将得到的输出与样本标签进行对比，得出网络识别率。

优选地，所述步骤一为了保障网络输入大小相同，将所有图像处理为224×224像素，同时对图像每个通道做通道均值计算，并进行零均值归一化处理。

优选地，所述步骤三发公式中，第一项C(X,Y)是softmax损失函数，使损失最小化，N代表输入样本的个数，yxi为所有的输入样本具体如下式：

优选地，所述步骤三发公式第二项λ₁B(X_i,Y_i)是模糊不变正则化约束项，所述步骤三公式使原数据样本Xi和模糊处理后的样本Yi共享相似特征，通过定义的正则化公式，使得图像模糊前后的BICNN特征的距离最小化，模糊图像与清晰样本特征误差尽量小；如果的结果是一个很小值，则特征表示为模糊近似不变，定义的正则化公式展开得到下式：

优选地，所述步骤三发公式第三项为权值衰减项，它倾向于降低网络权重的大小，防止网络产生过拟合的现象，提高网络的泛化能力。

优选地，所述步骤四包括以下步骤：

步骤四十一，由CIFAR10训练的VGG前13层的网络权重加载到BICNN前13层；

步骤四十二，然后以较小的学习速率对模糊不变层以及全连接层进行微调，全连接层的学习率为0.01，其余层学习率为0.0001，λ₁为0.001，λ₂为0.0005，训练的batchsize为32，迭代次数为16000。

优选地，所述步骤五包括以下步骤：

步骤五十一：训练样本X输入参数迁移后的BICNN网络，输入图像尺寸为224×224，经过第一层和第二层卷积层六十四个滤波器，卷积滑动步长为1，卷积层的输出为六十四个224×224的特征图，是一个4D的张量[n，64，224，224]，n代表是输入到网络的样本数；

步骤五十二：经过两次卷积之后，下一个过程就是池化，池化使数据特征大小减少一半同时保留了有用信息，输出为六十四个112×112的特征图，其张量大小为[n，64，112，112]；最后，经过剩余卷积池化层，输出是512个7×7的特征图，其张量大小为[n，512，7，7]；网络得到了图像的分布式特征；

步骤五十三：全连接层将该特征线性变换到样本标签标记空间，经过模糊不变层，增加模糊不变正则化约束项，最小化模糊图像的特征与清晰图形的特征距离，使模糊图像接近清晰样本的特征向量，从而实现模糊不变层。

优选地，所述步骤六包括如下步骤：

步骤六十一：计算网络输出值O_n与样本标签d的误差E如下式：

步骤六十二：根据误差计算权值和偏置调整量，下式中η为学习率，输入层i到隐藏层j的权值W_ij，隐藏层j到输出层k的权值V_jk，ΔW_ij是输入层到隐含层权重调整量，ΔV_jk是隐含层到输出层权值调整量，如下式：

步骤六十四：根据权值调整量，调整网络权值，下式中Y为隐含层的输出向量，X为输入向量，如下式：

W_ij(t+1)＝W_ij(t)+ΔW_ij＝W_ij(t)+η(d-O_n)O_n(1-O_n)Y

V_jk(t+1)＝V_jk(t)+ΔV_jk＝V_jk(t)+η([(d-O_n)O_n(1-O_n)]W)Y(1-Y)X

步骤六十五：将调整量经过反向传播反馈到BICNN网络权值，完成一次网络训练，直到达到迭代次数网络结束训练。

本发明的积极进步效果在于：本发明提出的网络可以直接识别模糊图像目标，在网络输入端输入模糊图像，网络经过计算可以得到预测的飞机机型类别标签；该网络通过增加模糊不变约束项对目标函数进行创新，引入和学习一个新的模糊不变层改善模糊飞机目标的识别率；经实验验证证明网络具备模糊不变性；相比较传统的模糊目标识别方法具有流程简单，识别率高且应用场景广泛的优点。本发明解决了传统的模糊目标识别算法存在识别流程复杂且应用环境较为单一的问题。

附图说明

图1为本发明的飞机识别系统BICNN网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，该实施例是用于说明本发明，而不是对本发明的限制，在本发明的构思前提下对本发明挤压方法的简单改进，都属于本发明要求的保护范围。

本发明基于模糊不变卷积神经网络的飞机目标识别方法包括以下步骤：

步骤一，建立遥感飞机数据集

数据集包含五类飞机机型(A1、B2、C3、D4、E5)，五类飞机图是谷歌地图美国图森的飞机墓场中常见的五类目标，训练集共有14000张，交叉验证集3000张，测试集3000张，均有清晰数据集(Xi)及模糊数据集(Yi)；为了保障网络输入大小相同，将所有图像处理为224×224像素，同时对图像每个通道做通道均值计算，并进行0均值归一化处理；

步骤二，设置BICNN网络层数

BICNN包括十三个卷积层1、五个池化层2、三个全连接层3、一个模糊不变层4，卷积核大小均为3×3，选用最大池化，步长为2，激活函数为relu，卷积层第一、第二层的滤波器个数为64，卷积层第三、第四层的滤波器个数为128个，卷积层第五第六第七层滤波器个数为256个，卷积层第八至第十三层的滤波器个数为512个，前两层的全连接层以及模糊不变层神经元为4096个，fcn层由五个神经元组成；

O₂(x_i)作为模糊不变层的输入，经过模糊不变层输出的结果是O_b(x_i)，最后O_b(x_i)经过fcn层的输出得到O_n(x_i)；softmax函数将logits转换为概率向量，表示为输入样本属于每个输出类的概率，(W_bi,B_bi)和(W_n,B_n)是模糊不变层和fcn层的网络参数，W是该层网络的权重，B为网络偏置，如下公式(1)和(2)：

O_b(x_i)＝relu(W_biO₂(x_i)+B_bi)……(1)

O_n(x_i)＝softmax(W_nO_b(x_i)+B_n)……(2)

其中relu(x)＝max(0,x)，softmax(x)＝exp(x)/||exp(x)||₁；

步骤三，对目标函数进行改进，如下式(3)：

其中λ₁和λ₂是控制(3)式中三项相对关系重要性的两个权衡参数，第一项C(X,Y)是softmax损失函数，使损失最小化，N代表输入样本的个数，y_xi为所有的输入样本具体如下式(4)：

(3)式第二项λ₁B(X_i,Y_i)是模糊不变正则化约束项，(3)式使原数据样本Xi和模糊处理后的样本Yi共享相似特征，通过定义的正则化公式，使得图像模糊前后的BICNN特征的距离最小化，模糊图像与清晰样本特征误差尽量小；如果(5)式的结果是一个很小值，则特征表示为模糊近似不变，定义的正则化公式展开得到下式(5)：

(3)式第三项为权值衰减项，它倾向于降低网络权重的大小，防止网络产生过拟合的现象，提高网络的泛化能力；

步骤四，设置微调层数以及参数加载，具体流程如下：

步骤四十一，由CIFAR10训练的VGG前13层的网络权重加载到BICNN前13层；

步骤四十二，然后以较小的学习速率对模糊不变层以及全连接层进行微调，全连接层的学习率为0.01，其余层学习率为0.0001，λ₁为0.001，λ₂为0.0005，训练的batchsize为32，迭代次数为16000；

步骤五，前向传播计算误差

步骤五十一：训练样本X输入参数迁移后的BICNN网络，输入图像尺寸为224×224，经过第一层和第二层卷积层64个滤波器，卷积滑动步长为1，卷积层的输出为64个224×224的特征图，是一个4D的张量[n,64,224,224]，n代表是输入到网络的样本数；

步骤五十二：经过两次卷积之后，下一个过程就是池化，池化使数据特征大小减少一半同时保留了有用信息，输出为64个112×112的特征图，其张量大小为[n,64,112,112]；最后，经过剩余卷积池化层，输出是512个7×7的特征图，其张量大小为[n,512,7,7]；网络得到了图像的分布式特征；

步骤五十三：全连接层将该特征线性变换到样本标签标记空间，经过模糊不变层，增加模糊不变正则化约束项，最小化模糊图像的特征与清晰图形的特征距离，使模糊图像接近清晰样本的特征向量，从而实现模糊不变层；

步骤六，根据误差更新权值调整量，具体步骤如下：

步骤六十一：计算网络输出值O_n与样本标签d的误差E，如下式(6)：

步骤六十二：根据误差计算权值和偏置调整量，下式中η为学习率，输入层i到隐藏层j的权值W_ij，隐藏层j到输出层k的权值V_jk，ΔW_ij是输入层到隐含层权重调整量，ΔV_jk是隐含层到输出层权值调整量，如下式(7)(8)：

步骤六十四：根据权值调整量，调整网络权值，下式中Y为隐含层的输出向量，X为输入向量，

W_ij(t+1)＝W_ij(t)+ΔW_ij＝W_ij(t)+η(d-O_n)O_n(1-O_n)Y……(9)

V_jk(t+1)＝V_jk(t)+ΔV_jk＝V_jk(t)+η([(d-O_n)O_n(1-O_n)]W)Y(1-Y)X……(10)

步骤六十五：将调整量经过反向传播反馈到BICNN网络权值，完成一次网络训练，直到达到迭代次数网络结束训练；

步骤七，BICNN进行网络测试

为了测试BICNN网络有效性和可行性，对BICNN网络进行测试，测试集3000张，测试图像尺寸为224×224尺寸，测试集与训练集没有重复样本，将测试样本输入网络，将得到的输出与样本标签进行对比，得出网络识别率。由于采集、运动以及聚焦等均会产生目标模糊问题，飞机图像产生的运动模糊是一种无法预防的图像退化类型，在直观上会造成成像的飞机边缘发生畸变，同时会致使更多的细节损失，这对精确飞机机型的目标识别产生非常不利的影响，从而导致飞机目标识别精度的下降。基于此本发明提出基于模糊不变卷积神经网络BICNN，BICNN通过学习并共享模糊前与模糊后的特征，提升网络识别率，增加网络的鲁棒性。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，包括以下步骤：

步骤一，建立遥感飞机数据集，数据集包含五类飞机机型，五类飞机图是谷歌地图美国图森的飞机墓场中常见的五类目标，训练集共有14000张，交叉验证集3000张，测试集3000张，均有清晰数据集Xi及模糊数据集Yi；

步骤二，设置BICNN网络层数，BICNN包括十三个卷积层、五个池化层、三个全连接层、一个模糊不变层，卷积核大小均为3×3，选用最大池化，步长为2，激活函数为relu，卷积层第一、第二层的滤波器个数为64，卷积层第三、第四层的滤波器个数为128个，卷积层第五第六第七层滤波器个数为256个，卷积层第八至第十三层的滤波器个数为512个，前两层的全连接层以及模糊不变层神经元为4096个，fcn层由五个神经元组成；

O₂(x_i)作为模糊不变层的输入，经过模糊不变层输出的结果是O_b(x_i)，最后O_b(x_i)经过fcn层的输出得到O_n(x_i)；softmax函数将logits转换为概率向量，表示为输入样本属于每个输出类的概率，(W_bi,B_bi)和(W_n,B_n)是模糊不变层和fcn层的网络参数，W是该层网络的权重，B为网络偏置，公式如下：

O_b(x_i)＝relu(W_biO₂(x_i)+B_bi)

O_n(x_i)＝softmax(W_nO_b(x_i)+B_n)

其中relu(x)＝max(0,x)，softmax(x)＝exp(x)/||exp(x)||₁；

步骤三，对目标函数进行改进，目标函数如下式：

步骤四，设置微调层数以及参数加载；

步骤五，前向传播计算误差；

步骤六，根据误差更新权值调整量；

步骤七，BICNN进行网络测试，为了测试BICNN网络有效性和可行性，对BICNN网络进行测试，测试集3000张，测试图像尺寸为224×224尺寸，测试集与训练集没有重复样本，将测试样本输入网络，将得到的输出与样本标签进行对比，得出网络识别率。

2.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤一为了保障网络输入大小相同，将所有图像处理为224×224像素，同时对图像每个通道做通道均值计算，并进行零均值归一化处理。

3.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤三的公式中，第一项C(X,Y)是softmax损失函数，使损失最小化，N代表输入样本的个数，yxi为所有的输入样本具体如下式：

4.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤三的公式第二项λ₁B(X_i,Y_i)是模糊不变正则化约束项，所述步骤三的公式使原数据样本Xi和模糊处理后的样本Yi共享相似特征，通过定义的正则化公式，使得图像模糊前后的BICNN特征的距离最小化，模糊图像与清晰样本特征误差尽量小；如果的结果是一个很小值，则特征表示为模糊近似不变，定义的正则化公式展开得到下式：

5.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤三的公式第三项为权值衰减项，它倾向于降低网络权重的大小，防止网络产生过拟合的现象，提高网络的泛化能力。

6.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤四包括以下步骤：

步骤四十一，由CIFAR10训练的VGG前13层的网络权重加载到BICNN前13层；

步骤四十二，然后以较小的学习速率对模糊不变层以及全连接层进行微调，全连接层的学习率为0.01，其余层学习率为0.0001，λ₁为0.001，λ₂为0.0005，训练的batchsize为32，迭代次数为16000。

7.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤五包括以下步骤：

步骤五十一：训练样本X输入参数迁移后的BICNN网络，输入图像尺寸为224×224，经过第一层和第二层卷积层六十四个滤波器，卷积滑动步长为1，卷积层的输出为六十四个224×224的特征图，是一个4D的张量[n，64，224，224]，n代表是输入到网络的样本数；

步骤五十二：经过两次卷积之后，下一个过程就是池化，池化使数据特征大小减少一半同时保留了有用信息，输出为六十四个112×112的特征图，其张量大小为[n，64，112，112]；最后，经过剩余卷积池化层，输出是512个7×7的特征图，其张量大小为[n，512，7，7]；网络得到了图像的分布式特征；

步骤五十三：全连接层将该特征线性变换到样本标签标记空间，经过模糊不变层，增加模糊不变正则化约束项，最小化模糊图像的特征与清晰图形的特征距离，使模糊图像接近清晰样本的特征向量，从而实现模糊不变层。

8.如权利要求1所述的基于模糊不变卷积神经网络的飞机目标识别方法，其特征在于，所述步骤六包括如下步骤：

步骤六十一：计算网络输出值O_n与样本标签d的误差E如下式：

步骤六十二：根据误差计算权值和偏置调整量，下式中η为学习率，输入层i到隐藏层j的权值W_ij，隐藏层j到输出层k的权值V_jk，ΔW_ij是输入层到隐含层权重调整量，ΔV_jk是隐含层到输出层权值调整量，如下式：

步骤六十四：根据权值调整量，调整网络权值，下式中Y为隐含层的输出向量，X为输入向量，如下式：

W_ij(t+1)＝W_ij(t)+ΔW_ij＝W_ij(t)+η(d-O_n)O_n(1-O_n)Y

V_jk(t+1)＝V_jk(t)+ΔV_jk＝V_jk(t)+η([(d-O_n)O_n(1-O_n)]W)Y(1-Y)X

步骤六十五：将调整量经过反向传播反馈到BICNN网络权值，完成一次网络训练，直到达到迭代次数网络结束训练。