CN111539422B - 基于Faster RCNN的飞行目标协同识别方法 - Google Patents

Abstract

本发明公开了一种基于Faster RCNN的飞行目标协同识别方法，包括以下步骤：构建训练数据集；构建Faster RCNN网络；训练Faster RCNN网络；在多个分布式平台上实施训练后的Faster RCNN网络；进行目标检测并将识别结果进行决策级融合，实现目标协同识别。针对变化环境下的飞行目标红外图像识别场景，本发明的方法采用协同识别的方法能够获取目标多角度、多姿态的图像信息，使对象轮廓、姿态等信息更加丰富立体，能够有效地提高目标的识别准确率，同时优化了Faster RCNN网络的锚框生成方法，提高了目标识别的效率。

Description

基于Faster RCNN的飞行目标协同识别方法

技术领域

本发明属于目标识别领域，特别是一种基于Faster RCNN的飞行目标协同识别方法。

背景技术

目前红外成像技术的迅速发展对红外目标检测技术的要求也相应地不断提高。如何能够快而准地分割、检测、识别、定位出红外目标是将红外成像技术应用于解决实际问题的重中之重。红外图像的目标检测方法可以分为以下几个大方向：利用目标在图像中的先验知识进行区分、对目标进行模板匹配、使用机器学习方法对目标特征进行检测等等。

基于机器学习的红外目标检测方法一般通过人为设定的一些特征结合分类器对候选窗口进行分类判断从而达到检测识别的目的。其中，候选区域的提取、人为特征的设定、分类器的选择是几个比较关键的环节。目前，基于机器学习的红外目标检测方法由于其较强的鲁棒性、实用性，已经成为红外检测的主流方法，被广泛应用。

Faster RCNN是基于机器学习的目标检测方法中的常见的框架之一，它是在RCNN的基础上进行了新的优化的网络框架。RCNN是基于卷积神经网络进行物体检测的经典框架，它遵从传统目标检测的流程框架，先通过感兴趣区域提取选出候选框，然后对提取出的候选框进行特征提取，最后将获取的特征向量使用分类器来进行分类。Faster RCNN可以简单地看做“区域生成网络+Fast RCNN”的系统，用区域生成网络代替Fast RCNN中的Selective Search(选择性搜索)方法，在原有算法的基础上将目标检测的四个基本步骤：候选区域生成、特征提取、分类、位置精修统一到一个深度学习网络框架之内，大大提高了运算速度。然而尽管Faster RCNN模型对一般目标的检测具有良好的适用性，但其未考虑目标属性等先验知识，使得它们在特定场景的应用中仍存在检测精度不理想的问题。此外，传统的飞行目标识别方法获取的目标图像角度、姿态单一，目标的轮廓和纹理信息十分有限。然而，不同种类的飞行目标在红外图像中呈现的性质会随着温度与环境的变化而产生相应的变化，如在晴天或气温较高的环境下与阴天或夜间的环境下相比，飞行目标与背景的灰度值会呈现相反的极性，其呈现特征会有较大差异。同时，飞行目标之间会产生相互遮挡的情况。且红外图像中往往伴随着一些稀疏噪点，这些噪点不具有统计规律，不能靠单一手段将其消除，容易对一般方法下的识别性能造成影响。

发明内容

本发明的目的在于提供一种能减小环境变化对识别结果的干扰，提高目标识别的检测精度和鲁棒性的飞行目标协同识别方法。

实现本发明目的的技术解决方案为：一种基于Faster RCNN的飞行目标协同识别方法，所述方法包括以下步骤：

步骤1，构建训练数据集；

步骤2，构建Faster RCNN网络；

步骤3，训练Faster RCNN网络；

步骤4，在多个分布式平台上实施训练后的Faster RCNN网络；

步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。

进一步地，步骤1所述构建训练数据集，具体过程包括：

步骤1-1，采集飞行目标的若干红外图像作为样本；

步骤1-2，针对每一幅红外图像，从该图像中提取ROI区域，并获取ROI区域的位置信息；

步骤1-3，由红外图像以及其对应的标注信息构建训练数据集，并将训练数据集划分为测试集、训练集和验证集；所述标注信息包括ROI区域的坐标以及ROI区域中目标的类型。

进一步地，步骤2所述构建Faster RCNN网络，具体包括：

步骤2-1，对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目；所述尺度为面积；

步骤2-2，由步骤2-1确定的锚框替换Faster RCNN网络中固定的9个锚框。

进一步地，所述Faster RCNN网络中的特征提取网络采用ZF网络。

进一步地，步骤2-1中所述对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目，具体包括：

步骤2-1-1，将训练数据集中所有图像的宽和高进行归一化；

步骤2-1-2，将归一化图像中ROI区域边界框的左下角归置到原点，实现对所有ROI区域边界框的聚集；令Bbox_i＝(w_i,h_i)，i＝1,2,…,n，w_i、h_i分别为ROI区域边界框的宽、高，n为ROI区域边界框的数目；

步骤2-1-3，对ROI区域边界框的宽高比ratio＝w_i/h_i进行K-means聚类，获得K₁个聚类结果

R_i'表示第i'个宽高比，i'＝1,2,…,K₁；

步骤2-1-4，从n个ROI区域边界框中随机选取K₂个ROI区域边界框构建初始质心边界框集合；

步骤2-1-5，根据第j个质心边界框到第i个ROI区域边界框的距离，对n个ROI区域边界框进行聚类，生成K₂个簇；之后更新质心边界框集合，包括：求取每个簇中所有ROI区域边界框的宽的中值，以该中值作为该簇中所包含的质心边界框的宽；求取每个簇中所有ROI区域边界框的高的中值，以该中值作为该簇中所包含的质心边界框的高；

重复该过程直至每个簇质心边界框的更新误差小于预设误差；

其中，第j个质心边界框到第i个ROI区域边界框的距离公式为：

式中，

表示第j个质心边界框到第i个ROI区域边界框的距离，

表示第j个质心边界框与第i个ROI区域边界框的交并面积比，表示为：

步骤2-1-6，将K₂个质心边界框各自的宽高相乘，获得K₂个尺度

S_j'表示第j'个尺度，j'＝1,2,…,K₂；

步骤2-1-7，将步骤2-1-3中的K₁个聚类结果

步骤2-1-6中的K₂个尺度

分别与预设的基础锚框尺寸相乘，获得K₁×K₂个锚框。

进一步地，步骤3所述训练Faster RCNN网络，具体包括：

步骤3-1，初始化Faster RCNN网络参数及迭代次数阈值N₁；

步骤3-2，确定损失函数；

步骤3-3，对训练集图像进行预处理，获得所需格式及分辨率的图像；

步骤3-4，将训练集中的图像输入至Faster RCNN网络的特征提取网络，输出图像的一系列特征图，作为RPN与Fast RCNN的共享特征；

步骤3-5，将步骤3-4获得的特征图输入至Faster RCNN网络的RPN网络中，对RPN进行单独训练，计算损失函数值，更新RPN网络参数，同时输出若干候选框；

步骤3-6，将步骤3-5获得的候选框输入至Faster RCNN网络的Fast RCNN网络，对Fast RCNN网络进行单独训练，计算损失函数值，更新Fast RCNN网络参数；

步骤3-7，基于上述对Faster RCNN网络更新的结果，再次单独训练RPN网络，同时固定特征提取网络的参数，仅更新RPN网络的参数；

步骤3-8，利用步骤3-7更新后的RPN网络的输出结果再次对Fast RCNN网络进行单独训练，同样固定特征提取网络的参数，仅更新Fast RCNN网络参数；

步骤3-9，利用验证集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N₂，返回执行步骤3-4，直至收敛，其中N₂＜N₁；

步骤3-10，利用测试集对Faster RCNN网络进行最终评估，所得误差值作为泛化误差的近似值。

进一步地，步骤4中所述多个分布式平台上均搭载红外传感器，用于采集目标的红外图像；多个分布式平台中的某一个平台作为主平台节点，其余平台作为从平台节点，其中主平台节点接收从平台节点信息，并与地面站进行通信。

进一步地，步骤5所述进行目标检测并将识别结果进行决策级融合，实现目标协同识别，具体包括：

步骤5-1，将同一时刻多个分布式平台搭载的红外传感器所获得的图像构成一个图像序列，该图像序列中的图像数量为分布式平台数N_p；

步骤5-2，对所述图像序列中的图像进行预处理，获得所需格式及分辨率的图像；

步骤5-3，将预处理后的图像序列输入训练后的Faster RCNN网络中，获得检测结果；具体为：

针对某图像序列：

将图像依次输入Faster RCNN网络后可得N_p个结果：

式中，i表示图像序列中的第i幅图像，r_i表示第i幅图像经过检测得到的结果，M表示检测目标的类别数量，

表示第i幅图像中检测到第l类目标的概率值；

获得所述图像序列P的结果序列R为：

步骤5-4，利用D-S证据理论对步骤5-3获得的结果序列进行融合，包括：

(1)在事件全域X中增加一项θ：

θ＝{C₁,C₂,…,C_l,…,C_M}

式中，C_l为目标属于第l类目标的事件，

为C_l的概率P(C_l)，θ表示无法得知目标属于C₁,C₂,…,C_l,…,C_M中的哪一类；假设事件θ发生的概率为Ω，即P(θ)＝Ω，Ω为一个接近0的值，表示θ发生的概率很低；

由此，事件全域扩展为：

X＝{C₁,C₂,…,C_l,…,C_M,θ}

(2)计算归一化系数1-k，计算公式为：

式中，P_i(S_*)表示第i幅图像检测结果r_i中事件S_*的概率；特别地，当S_*＝θ时，P_*(S_*)＝Ω；

(3)利用1-k计算最终的分类结果H：

H＝{h₁,h₂,…,h_l,…,h_M}

式中，h_l为数据融合后得到的检测目标属于第l类目标的概率，h_l的计算公式为：

(4)获取分类结果H中最大的元素，该元素代表的概率值所对应的目标类型即为此融合判定得到的目标所属类型。

进一步地，所述获取分类结果H中最大的元素，具体采用TopN算法实现。

本发明与现有技术相比，其显著优点为：1)通过采用空间中分布的站点进行目标识别，能够获取目标多角度、多姿态的图像信息，有效地提高识别准确率和鲁棒性；2)利用Faster RCNN的端到端的特性进行红外图像中的飞行目标识别，同时实现边框回归和目标分类，在保证实时性的同时，提高准确率，降低运算复杂度；3)利用聚类算法获取待检测目标的几何先验知识，优化了模型生成建议区域的能力，提高了模型边框回归精度；4)利用D-S证据理论对多站获取图像信息的检测结果进行数据融合，提高了识别的准确率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中基于Faster RCNN的飞行目标协同识别方法流程图。

图2为一个实施例中搭建的Faster RCNN网络结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在一个实施例中，提供了一种基于Faster RCNN的飞行目标协同识别方法，该方法包括以下步骤：

步骤1，构建训练数据集；

步骤2，构建Faster RCNN网络；

步骤3，训练Faster RCNN网络；

步骤4，在多个分布式平台上实施训练后的Faster RCNN网络；

步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。

进一步地，在其中一个实施例中，上述步骤1构建训练数据集，具体过程包括：

步骤1-1，采集飞行目标的若干红外图像作为样本；

这里，可以采集不同时段、不同环境、不同飞行姿态、不同天气等条件下飞行目标的n幅红外图像，之后以这些图像为基础，对图像进行翻转、旋转、亮度变化、裁剪、放大缩小、添加噪声等图像增广处理，扩充图像的数量。

步骤1-2，针对每一幅红外图像，从该图像中提取ROI区域，并获取ROI区域的位置信息；

步骤1-3，由红外图像以及其对应的标注信息构建训练数据集，并将训练数据集划分为测试集、训练集和验证集；所述标注信息包括ROI区域的坐标以及ROI区域中目标的类型。

这里，按p₁:p₂:p₃的比例将训练数据集划分为测试集、训练集和验证集，一般p₁大于p₂、p₃。

示例性地，选取p₁:p₂:p₃＝6:2:2，训练效果更好。

进一步地，在其中一个实施例中，结合图2，上述步骤2构建Faster RCNN网络，具体包括：

步骤2-1，对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目；所述尺度为面积；

步骤2-2，由步骤2-1确定的锚框替换Faster RCNN网络中固定的9个锚框。

进一步地，在其中一个实施例中，上述Faster RCNN网络中的特征提取网络采用ZF网络。

进一步地，在其中一个实施例中，结合图2，上述步骤2-1中对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目，具体包括：

步骤2-1-1，将训练数据集中所有图像的宽和高进行归一化；

步骤2-1-2，将归一化图像中ROI区域边界框的左下角归置到原点，实现对所有ROI区域边界框的聚集；令Bbox_i＝(w_i,h_i)，i＝1,2,…,n，w_i、h_i分别为ROI区域边界框的宽、高，n为ROI区域边界框的数目；

步骤2-1-3，对ROI区域边界框的宽高比ratio＝w_i/h_i进行K-means聚类，获得K₁个聚类结果

R_i'表示第i'个宽高比，i'＝1,2,…,K₁；

步骤2-1-4，从n个ROI区域边界框中随机选取K₂个ROI区域边界框构建初始质心边界框集合；

步骤2-1-5，根据第j个质心边界框到第i个ROI区域边界框的距离，对n个ROI区域边界框进行聚类，生成K₂个簇；之后更新质心边界框集合，包括：求取每个簇中所有ROI区域边界框的宽的中值，以该中值作为该簇中所包含的质心边界框的宽；求取每个簇中所有ROI区域边界框的高的中值，以该中值作为该簇中所包含的质心边界框的高；

重复该过程直至每个簇质心边界框的更新误差小于预设误差；

其中，第j个质心边界框到第i个ROI区域边界框的距离公式为：

式中，

表示第j个质心边界框到第i个ROI区域边界框的距离，

表示第j个质心边界框与第i个ROI区域边界框的交并面积比，表示为：

步骤2-1-6，将K₂个质心边界框各自的宽高相乘，获得K₂个尺度

S_j'表示第j'个尺度，j'＝1,2,…,K₂；

步骤2-1-7，将步骤2-1-3中的K₁个聚类结果

步骤2-1-6中的K₂个尺度

分别与预设的基础锚框尺寸相乘，获得K₁×K₂个锚框。

进一步地，在其中一个实施例中，上述步骤3训练Faster RCNN网络，具体包括：

步骤3-1，初始化Faster RCNN网络参数及迭代次数阈值N1；

步骤3-2，确定损失函数；

步骤3-3，对训练集图像进行预处理，获得所需格式及分辨率的图像；

步骤3-4，将训练集中的图像输入至Faster RCNN网络的特征提取网络，输出图像的一系列特征图，作为RPN与Fast RCNN的共享特征；

步骤3-5，将步骤3-4获得的特征图输入至Faster RCNN网络的RPN网络中，对RPN进行单独训练，计算损失函数值，更新RPN网络参数，同时输出若干候选框；

步骤3-6，将步骤3-5获得的候选框输入至Faster RCNN网络的Fast RCNN网络，对Fast RCNN网络进行单独训练，计算损失函数值，更新Fast RCNN网络参数；

步骤3-7，基于上述对Faster RCNN网络更新的结果，再次单独训练RPN网络，同时固定特征提取网络的参数，仅更新RPN网络的参数；

步骤3-8，利用步骤3-7更新后的RPN网络的输出结果再次对Fast RCNN网络进行单独训练，同样固定特征提取网络的参数，仅更新Fast RCNN网络参数；

步骤3-9，利用验证集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N2，返回执行步骤3-4，直至收敛，其中N2<N1；

步骤3-10，利用测试集对Faster RCNN网络进行最终评估，所得误差值作为泛化误差的近似值。

优选地，在其中一个实施例中，上述步骤3-2中选取的损失函数为：

式中，i为锚框索引值，p_i ^*表示锚框是否为目标的真实值，p_i表示锚框是否为目标的预测值，t_i ^*表示锚框左上角坐标(x₁,y₁)与右下角坐标(x₂,y₂)的真实值，t_i表示锚框左上角坐标(x₁,y₁)与右下角坐标(x₂,y₂)的预测值，N_cls和N_reg是归一化参数，λ是两个损失子函数L_cls和L_reg的平衡权重值。

优选地，在其中一个实施例中，上述步骤3-3中对训练集图像进行预处理具体采用双三次插值算法。

进一步地，在其中一个实施例中，上述步骤4中多个分布式平台上均搭载红外传感器，用于采集目标的红外图像；多个分布式平台中的某一个平台作为主平台节点，其余平台作为从平台节点，其中主平台节点接收从平台节点信息，并与地面站进行通信。

进一步地，在其中一个实施例中，上述步骤5进行目标检测并将识别结果进行决策级融合，实现目标协同识别，具体包括：

步骤5-1，将同一时刻多个分布式平台搭载的红外传感器所获得的图像构成一个图像序列，该图像序列中的图像数量为分布式平台数N_p；

步骤5-2，对所述图像序列中的图像进行预处理，获得所需格式及分辨率的图像；

步骤5-3，将预处理后的图像序列输入训练后的Faster RCNN网络中，获得检测结果；具体为：

针对某图像序列：

将图像依次输入Faster RCNN网络后可得N_p个结果：

式中，i表示图像序列中的第i幅图像，r_i表示第i幅图像经过检测得到的结果，M表示检测目标的类别数量，

表示第i幅图像中检测到第l类目标的概率值；

获得所述图像序列P的结果序列R为：

步骤5-4，利用D-S证据理论对步骤5-3获得的结果序列进行融合，包括：

(1)在事件全域X中增加一项θ：

θ＝{C₁,C₂,…,C_l,…,C_M}

式中，C_l为目标属于第l类目标的事件，

为C_l的概率P(C_l)，θ表示无法得知目标属于C₁,C₂,…,C_l,…,C_M中的哪一类；假设事件θ发生的概率为Ω，即P(θ)＝Ω，则Ω为一个接近0的值，表示θ发生的概率很低

由此，事件全域扩展为：

X＝{C₁,C₂,…,C_l,…,C_M,θ}

示例性的，p(θ)＝Ω＝0.01时，能得到理想的数据融合结果。

(2)计算归一化系数1-k，计算公式为：

式中，P_i(S_*)表示第i幅图像检测结果r_i中事件S_*的概率；特别地，当S_*＝θ时，P_*(S_*)＝Ω；

(3)利用1-k计算最终的分类结果H：

H＝{h₁,h₂,…,h_l,…,h_M}

式中，h_l为数据融合后得到的检测目标属于第l类目标的概率，h_l的计算公式为：

(4)获取分类结果H中最大的元素，该元素代表的概率值所对应的目标类型即为此融合判定得到的目标所属类型。

进一步优选地，在其中一个实施例中，上述获取分类结果H中最大的元素，具体采用TopN算法实现。

针对变化环境下的飞行目标红外图像识别场景，本发明的方法采用协同识别的方法能够获取目标多角度、多姿态的图像信息，使对象轮廓、姿态等信息更加丰富立体，能够有效地提高目标的识别准确率，同时优化了Faster RCNN网络的锚框生成方法，提高了目标识别的效率。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于Faster RCNN的飞行目标协同识别方法，其特征在于，所述方法包括以下步骤：

步骤1，构建训练数据集；

步骤2，构建Faster RCNN网络；具体包括：

步骤2-1，对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目；所述尺度为面积；具体包括：

步骤2-1-1，将训练数据集中所有图像的宽和高进行归一化；

步骤2-1-2，将归一化图像中ROI区域边界框的左下角归置到原点，实现对所有ROI区域边界框的聚集；令Bbox_i＝(w_i,h_i)，i＝1,2,…,n，w_i、h_i分别为ROI区域边界框的宽、高，n为ROI区域边界框的数目；

步骤2-1-3，对ROI区域边界框的宽高比ratio＝w_i/h_i进行K-means聚类，获得K₁个聚类结果

R_i'表示第i'个宽高比，i'＝1,2,…,K₁；

步骤2-1-4，从n个ROI区域边界框中随机选取K₂个ROI区域边界框构建初始质心边界框集合；

步骤2-1-5，根据第j个质心边界框到第i个ROI区域边界框的距离，对n个ROI区域边界框进行聚类，生成K₂个簇；之后更新质心边界框集合，包括：求取每个簇中所有ROI区域边界框的宽的中值，以该中值作为该簇中所包含的质心边界框的宽；求取每个簇中所有ROI区域边界框的高的中值，以该中值作为该簇中所包含的质心边界框的高；

重复该过程直至每个簇质心边界框的更新误差小于预设误差；

其中，第j个质心边界框到第i个ROI区域边界框的距离公式为：

式中，

表示第j个质心边界框到第i个ROI区域边界框的距离，

表示第j个质心边界框与第i个ROI区域边界框的交并面积比，表示为：

步骤2-1-6，将K₂个质心边界框各自的宽高相乘，获得K₂个尺度

S_j'表示第j'个尺度，j'＝1,2,…,K₂；

步骤2-1-7，将步骤2-1-3中的K₁个聚类结果

步骤2-1-6中的K₂个尺度

分别与预设的基础锚框尺寸相乘，获得K₁×K₂个锚框；

步骤2-2，由步骤2-1确定的锚框替换Faster RCNN网络中固定的9个锚框；

步骤3，训练Faster RCNN网络；

步骤4，在多个分布式平台上实施训练后的Faster RCNN网络；

步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。

2.根据权利要求1所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，步骤1所述构建训练数据集，具体过程包括：

步骤1-1，采集飞行目标的若干红外图像作为样本；

步骤1-2，针对每一幅红外图像，从该图像中提取ROI区域，并获取ROI区域的位置信息；

步骤1-3，由红外图像以及其对应的标注信息构建训练数据集，并将训练数据集划分为测试集、训练集和验证集；所述标注信息包括ROI区域的坐标以及ROI区域中目标的类型。

3.根据权利要求1所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，所述Faster RCNN网络中的特征提取网络采用ZF网络。

4.根据权利要求1所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，步骤3所述训练Faster RCNN网络，具体包括：

步骤3-1，初始化Faster RCNN网络参数及迭代次数阈值N₁；

步骤3-2，确定损失函数；

步骤3-3，对训练集图像进行预处理，获得所需格式及分辨率的图像；

步骤3-4，将训练集中的图像输入至Faster RCNN网络的特征提取网络，输出图像的一系列特征图，作为RPN与Fast RCNN的共享特征；

步骤3-5，将步骤3-4获得的特征图输入至Faster RCNN网络的RPN网络中，对RPN进行单独训练，计算损失函数值，更新RPN网络参数，同时输出若干候选框；

步骤3-6，将步骤3-5获得的候选框输入至Faster RCNN网络的Fast RCNN网络，对FastRCNN网络进行单独训练，计算损失函数值，更新Fast RCNN网络参数；

步骤3-7，基于上述对Faster RCNN网络更新的结果，再次单独训练RPN网络，同时固定特征提取网络的参数，仅更新RPN网络的参数；

步骤3-8，利用步骤3-7更新后的RPN网络的输出结果再次对Fast RCNN网络进行单独训练，同样固定特征提取网络的参数，仅更新Fast RCNN网络参数；

步骤3-9，利用验证集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N₂，返回执行步骤3-4，直至收敛，其中N₂＜N₁；

步骤3-10，利用测试集对Faster RCNN网络进行最终评估，所得误差值作为泛化误差的近似值。

5.根据权利要求1所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，步骤4中所述多个分布式平台上均搭载红外传感器，用于采集目标的红外图像；多个分布式平台中的某一个平台作为主平台节点，其余平台作为从平台节点，其中主平台节点接收从平台节点信息，并与地面站进行通信。

6.根据权利要求1所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，步骤5所述进行目标检测并将识别结果进行决策级融合，实现目标协同识别，具体包括：

步骤5-1，将同一时刻多个分布式平台搭载的红外传感器所获得的图像构成一个图像序列，该图像序列中的图像数量为分布式平台数N_p；

步骤5-2，对所述图像序列中的图像进行预处理，获得所需格式及分辨率的图像；

步骤5-3，将预处理后的图像序列输入训练后的Faster RCNN网络中，获得检测结果；具体为：

针对某图像序列：

将图像依次输入Faster RCNN网络后可得N_p个结果：

r_i＝{r_i ¹,r_i ²,…,r_i ^l,…,r_i ^M},0＜i＜N_p,0＜l＜M,

式中，i表示图像序列中的第i幅图像，r_i表示第i幅图像经过检测得到的结果，M表示检测目标的类别数量，r_i ^l表示第i幅图像中检测到第l类目标的概率值；

获得所述图像序列P的结果序列R为：

步骤5-4，利用D-S证据理论对步骤5-3获得的结果序列进行融合，包括：

(1)在事件全域X中增加一项θ：

θ＝{C₁,C₂,…,C_l,…,C_M}

式中，C_l为目标属于第l类目标的事件，r_i ^l为C_l的概率P(C_l)，θ表示无法得知目标属于C₁,C₂,…,C_l,…,C_M中的哪一类；假设事件θ发生的概率为Ω，即P(θ)＝Ω，Ω为一个接近0的值，表示θ发生的概率很低；

由此，事件全域扩展为：

X＝{C₁,C₂,…,C_l,…,C_M,θ}

(2)计算归一化系数1-k，计算公式为：

式中，P_i(S_*)表示第i幅图像检测结果r_i中事件S_*的概率；特别地，当S_*＝θ时，P_*(S_*)＝Ω；

(3)利用1-k计算最终的分类结果H：

H＝{h₁,h₂,…,h_l,…,h_M}

式中，h_l为数据融合后得到的检测目标属于第l类目标的概率，h_l的计算公式为：

(4)获取分类结果H中最大的元素，该元素代表的概率值所对应的目标类型即为此融合判定得到的目标所属类型。

7.根据权利要求6所述的基于Faster RCNN的飞行目标协同识别方法，其特征在于，所述获取分类结果H中最大的元素，具体采用TopN算法实现。

Images