CN117037006B - 一种高续航能力的无人机跟踪方法 - Google Patents

Abstract

本发明公开了一种高续航能力的无人机跟踪方法，属于神经网络模型构建技术领域；包括以下步骤：获取初始神经网络；获取每组神经元的重要程度；获取初始灰度分布模型的准确率；设定阈值，根据第i个目标区域灰度分布模型的准确率与设定阈值对比获取修正后的神经网络；根据修正后的神经网络对采集的俯视图像中的目标物体区域进行识别获取目标物体区域图像。本发明实现神经网络参数量的降低，以提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

Description

一种高续航能力的无人机跟踪方法

技术领域

本发明涉及神经网络模型构建技术领域，具体涉及一种高续航能力的无人机跟踪方法。

背景技术

目前，无人机从高空识别目标物体及实现跟踪过程中，由于自然环境较为复杂，现有的目标物体如车辆等的识别过程大多是通过神经网络进行识别，而无人机从高空采集的图像中，目标物体图像在整个图像中的面积占比较小，此时目标物体的特征并不明显，为了准确提取目标物体，往往需要更多的网络参数来进行神经网络的训练；

然而无人机在对目标的跟踪过程中，往往需要长时间对目标进行跟踪，但是为了对目标的识别定位时，需要在短时间内处理大量数据，从而确定目标物体的相对位置以确定无人机的下一步操作。然而神经网络的参数越多，对这些大量数据处理的时间越长，在此期间，无人机需要等待神经网络运行结束，并根据神经网络的运行结果对下一个操作做出判断，但是由于无人机的电池续航时间是有限的，这也就意味着神经网络处理结果越长，无人机的续航能力越差。为此，提供一种通过降低神经网络参数量的无人机跟踪方法来提高无人机在跟踪过程中的续航能力具有重要的意义。

发明内容

本发明提供一种高续航能力的无人机跟踪方法，该方法使用数据集为俯视采集的目标物体图像中的各个图像数据，训练识别目标的初始神经网络，通过控制初始神经网络中不同神经元对神经网络目标识别的参与情况，并根据不同参与情况下神经网络的输出结果与目标物体表面灰度分布的差异情况得到各个神经元对神经网络准确性的影响程度，修正无用神经元的激活状态，从而实现神经网络参数量的降低，以提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

本申请实施例提供了一种高续航能力的无人机跟踪方法，包括以下步骤：

获取无人机采集到的含目标物体的图像，对图像中的目标物体区域进行标注获取标签区域二值图，根据含目标物体的图像和标签区域二值图作为训练集获取初始神经网络；

将初始神经网络中隐藏层的神经元划分为多组；根据每组神经元激活值设置为0时的初始神经网络获取每组神经元的重要程度；

将初始神经网络中的多组神经元按照每组神经元的重要程度由小到大的顺序依次排序；将采集的连续m帧图像依次输入初始神经网络中的每组神经元中，获取m个目标区域二值图；根据m个目标区域二值图获取m个目标区域图像，将m个目标区域图像进行灰度化处理后并进行混合高斯背景建模获取目标区域的初始灰度分布模型；再根据初始灰度分布模型获取初始灰度分布模型的准确率；根据所述准确率，将第n组神经元对应的初始神经网络作为第n个神经网络；其中第n个神经网络中，第1组至第n组中的各个神经元的激活值均修正为0；

将采集的第m+i帧图像输入至第n个神经网络获取第m+i个目标区域二值图；根据第m+i个目标区域二值图获取第m+i个目标区域图像；根据m+i个目标区域图像获取修正后的第i个灰度分布模型；

将第m+i个目标区域图像中的目标区域经灰度化后进行混合高斯背景建模获取第i个混合高斯模型；根据第i个混合高斯模型获取第n个神经网络的准确度；

再根据修正后的第n个神经网络的准确度和初始灰度分布模型的准确率获取修正后的第i个灰度分布模型的准确率；

设定阈值，根据第i个目标区域灰度分布模型的准确率与设定阈值对比获取修正后的神经网络；其中，m≥20；i=n≥1；

根据修正后的神经网络对采集的俯视图像中的目标物体区域进行识别获取目标物体区域图像。

在一些实施例中，该方法还包括将获取修正后的神经网络所对应的第m+i帧图像进行如下处理：

将第m+i帧图像中各个位置的像素点满足第i个灰度分布模型中的一个子高斯模型的高斯分布，将该像素点标为1，并经开运算获取目标区域二值图；

将修正后的神经网络输出目标区域二值图与经开运算获取的目标区域二值图结合获取第m+i帧图像的综合语义二值图；

将该综合语义二值图作为最终的目标物体区域图像。

在一些实施例中，所述初始灰度分布模型的准确率获取的过程中是将m帧图像所对应的目标区域中各个像素点的灰度值与初始灰度分布模型中各个子高斯模型进行匹配，根据匹配像素点的个数占m帧图像目标区域像素点总数的比例获取初始灰度分布模型的准确率；其中，初始灰度分布模型中包括多个子高斯模型。

在一些实施例中，所述每组神经元的重要程度获取的过程中是依次对每组神经元的激活值设置为0获取每组神经元激活值设置为0对应的初始神经网络；根据每组神经元激活值设置为0对应的初始神经网络的输出目标区域图像与训练集中的标签区域二值图的差异获取每组神经元的重要程度。

在一些实施例中，所述第n个神经网络的准确度是按照以下步骤获取：

将第1组至第n-1组中的各个神经元的激活值均修正为0获取修正后的第n-1个神经网络；

将采集的第m+i-1帧图像输入至第n-1个神经网络获取第m+i-1个目标区域二值图；根据第m+i-1个目标区域二值图获取第m+i-1个目标区域图像；根据m+i-1个目标区域图像获取修正后的第i-1个灰度分布模型；

根据第i-1个灰度分布模型获取第i-1个灰度分布模型中各个子高斯模型的均值、方差及权重，以及每个子高斯模型的重要性权重；

再根据第i个混合高斯模型中各个子高斯模型的均值、方差及权重和第i-1个灰度分布模型中各个子高斯模型的均值、方差及权重，以及第i-1个灰度分布模型中每个子高斯模型的重要性权重获取第n个神经网络的准确度。

在一些实施例中，所述第i-1个灰度分布模型中每个子高斯模型的重要性权重获取的过程中是对第i-1个灰度分布模型中各个子高斯模型根据权重与方差比值的大小进行排序而获取的。

在一些实施例中，所述第i个灰度分布模型的准确率获取的过程中是根据初始灰度分布模型的准确率获取第m+i-1帧图像对应的灰度分布模型的准确率，再根据第m+i-1帧图像对应的灰度分布模型的准确率和修正后的第n个神经网络的准确度获取第i个灰度分布模型的准确率。

在一些实施例中，所述第i个灰度分布模型的准确率的计算公式如下：

；

式中，表示第i个灰度分布模型的准确率；

表示修正后的第n个神经网络的准确度；

表示第m+i-1帧图像对应的灰度分布模型的准确率。

在一些实施例中，所述修正后的第i个灰度分布模型获取的过程中是将m+i个的目标区域图像经灰度化处理后的图像进行混合高斯背景建模获取修正后的第i个灰度分布模型。

在一些实施例中，所述设定阈值为0.8；

根据第m+i个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i个目标区域灰度分布模型的准确率大于设定阈值时，将第1组至第n+1组中的各个神经元的激活值均修正为0获取修正后的第n+1个神经网络；

依次类比获取第m+i+1个目标区域灰度分布模型的准确率；

将第m+i+1个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i+1个目标区域灰度分布模型的准确率≤设定阈值时，则将第n个神经网络确定为修正后的神经网络。

本发明的有益效果是：

本发明在提供的一种高续航能力的无人机跟踪方法，该方法使用数据集为俯视采集的目标物体图像中的各个图像数据，训练识别目标的初始神经网络，通过控制初始神经网络中不同神经元对神经网络目标识别的参与情况，并根据不同参与情况下神经网络的输出结果与目标物体表面灰度分布的差异情况得到各个神经元对神经网络准确性的影响程度，修正无用神经元的激活状态，从而实现神经网络参数量的降低，以提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

本发明根据目标物体的表面灰度的相似性，对神经网络输出的目标物体区域构建灰度分布模型，根据所得灰度分布模型的准确度，即在灰度分布模型准确度较高时，对神经网络中重要程度较低的神经元组进行激活状态修正，从而实现神经网络的参数量的减少，降低神经网络的处理时间，提高无人机的续航能力。

本发明将神经网络神经元逐渐减少（激活状态设置为0）的过程中，神经网络的输出结果结合神经网络的准确度对已知灰度分布模型进行更新，增强灰度分布模型的泛化能力。

本发明将采集的图像输入到最终的神经网络中，并根据目标物体的灰度分布模型对图像中疑似目标物体的像素点进行预测，将神经网络的输出结果与灰度分布模型的预测结果进行结合，在降低神经网络中参数量的基础上，结合目标物体的灰度分布模型对检测结果进行修正，避免了神经网络因参数量降低导致目标识别准确度下降现象的出现，从而可以在提高神经网络处理时间的基础上，进一步保证检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种高续航能力的无人机跟踪方法的实施例总体步骤的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明使用数据集为俯视采集的目标物体图像中的各个图像数据，训练目标识别的初始神经网络，通过控制初始神经网络中不同神经元对神经网络目标识别的参与情况，并根据不同参与情况下神经网络的输出结果与目标物体表面灰度分布的差异情况得到各个神经元对神经网络准确性的影响程度，修正无用神经元的激活状态，从而实现神经网络参数量的降低，以提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

由于目标物体在现实中存在各种状态，且无人机的飞行高度存在差异，为了让系统能适用于各种情况，增强其泛化能力，本发明采用训练DNN神经网络来识别图像中的目标物体。

本发明针对无人机从空中向下采集运动目标图像，使用修正后的神经网络对图像进行处理，根据神经网络输出结果确定无人机的移动方向以及移动程度。

参见图1所示，在本申请的实施例中，本申请的高续航能力的无人机跟踪方法，包括以下步骤：

S1、获取含目标物体的图像，对图像中的目标物体区域进行标注获取标签区域二值图，根据含目标物体的图像和标签区域二值图作为训练集获取初始神经网络；具体的首先构建网络结构为Encoder-Decoder结构，根据俯视图像作为输入和标签区域二值图作为输出的训练集，使用交叉熵损失函数，利用梯度下降法对神经网络进行训练，直至网络收敛，获取识别目标物体的初始神经网络。其中，获取的初始神经网络中包含一层隐藏层；

S2、将初始神经网络中的隐藏层的神经元划分为多组；根据每组神经元激活值设置为0的初始神经网络获取每组神经元的重要程度；

每组神经元的重要程度获取的过程中是依次对每组神经元的激活值设置为0获取每组神经元激活值设置为0对应的初始神经网络；根据每组神经元激活值设置为0对应的初始神经网络的输出目标区域图像与训练集中的标签区域二值图的差异获取每组神经元的重要程度。

在本实施例中，以隐藏层的神经元平均划分为30组，将这些分组分别进行dropout(本发明中不更新神经网络中神经元的参数，只改变神经元的激活值)，即将每组神经元的激活值依次设置为0，即不让神经元参与神经网络的对目标物体的识别过程；通过对神经元不参与目标识别过程后，神经网络输出的目标区域与训练集中的标签区域的差异进行评估，从而得到每组神经元对神经网络识别结果的重要程度，使得后续控制部分神经元不参与目标识别过程后，神经网络的输出结果具有一定的参考价值和准确性。

每次dropout时，将训练集中的图像数据输入到神经网络中，根据神经网络输出的目标区域与图像所对应标注区域之间的差异情况获得每组神经元的重要程度，各个神经元的初始重要程度为1；其中，当第b组激活值为0时，神经网络输出的目标区域(二值图)为A，标注区域（二值图）为B，则第b组神经元的重要程度计算公式如下：

；

式中，为训练集中图像的总个数；

为第/>张图像中像素点的总个数；

为在第/>图像所对应的神经网络输出的目标区域中第/>个像素点的语义值；

为在第/>图像所对应的标注区域中第/>个像素点的语义值；

表示第b组神经元在未参与神经网络识别时的重要程度。

此时未参与的一组神经元的神经网络输出结果与标签的差异越大，表示神经网络输出结果越不准确，也就是说该组神经元越重要；

因此，由于无用神经元并不会实际输出结果与标签区域存在较大差异，因此无用神经元组对应的重要程度较低，而存在重要神经元的一组不参与时，会使得识别结果产生较大差异。

S3、将采集的连续m帧图像依次输入初始神经网络中获取m个目标区域二值图；

将m个目标区域二值图与对应的m帧图像相乘获取m个目标区域图像，将m个目标区域图像进行灰度化处理后并进行混合高斯背景建模获取目标区域的初始灰度分布模型；

根据m帧图像所对应的目标区域中各个像素点的灰度值与初始灰度分布模型中各个子高斯模型的匹配程度获取初始灰度分布模型的准确率；

初始灰度分布模型的准确率获取的过程中是将m帧图像所对应的目标区域中各个像素点的灰度值与初始灰度分布模型中各个子高斯模型进行匹配，根据匹配像素点的个数占m帧图像目标区域像素点总数的比例获取初始灰度分布模型的准确率；其中，初始灰度分布模型中包括多个子高斯模型。

需要说明的是，由于目标物体本身的灰度分布具有一定的相似性，因此只需要从无人机采集的图像中找到目标物体表面的灰度分布，在后续控制部分神经元不参与神经网络的识别的过程中，根据输出的目标区域与目标灰度分布之间的差异程度即可得到检测结果的准确程度；

在本实施例中，将无人机采集的前20帧图像输入训练好的初始神经网络中，提取目标区域图像，将目标区域图像进行灰度化处理后，对目标区域图像进行混合高斯背景建模，即从神经网络的输出结果中找到共同的灰度分布，其中，子高斯模型的个数为K，本实施例中K=5，由此获取目标区域的初始灰度分布模型，记为；

将前20帧图像所对应的目标区域中各个像素点的灰度值与中各个子高斯模型进行匹配，即判断一个像素点的灰度值是否存在于其中一个子高斯模型的分布范围内，当该满足高斯分布时，认为/>相对于该像素点是准确的，使用上述方法得到前20帧图像所包含的目标物体像素点中所有与/>匹配的像素点的个数，根据匹配像素点的个数占前20帧图像目标物体像素点总数的比例得到初始灰度分布模型的准确率，记为/>;

根据初始灰度分布模型获取初始灰度分布模型/>中各个子高斯模型均值、方差及权重；同时，对所得初始灰度分布模型/>中各个子高斯模型根据权重与方差比值的大小进行排序，即权重越大，方差越小的子高斯模型越重要，得到每个子高斯模型的重要性权重。

S4、将初始神经网络中的多组神经元按照每组神经元的重要程度由小到大的顺序依次排序；使得重要程度较低的神经元组可以在后续神经元不激活时优先处理；

将第1组中的各个神经元的激活值均修正为0获取修正后的第1个神经网络；

将第m+1帧图像输入至第1个神经网络获取第m+1个目标区域二值图；

将第m+1个目标区域二值图与第m+1帧图像相乘获取第m+1个目标区域图像；

将第m+1个目标区域图像所对应的目标区域灰度化后进行混合高斯背景建模获取第1个混合高斯模型；根据第1个混合高斯模型和初始灰度分布模型获取第1个神经网络的准确度，记为/>；

其中，第1个神经网络的准确度是按照以下步骤获取：

将第m+1个目标区域图像所对应的目标区域灰度化后进行混合高斯背景建模获取混合高斯模型中各个子高斯模型均值、方差及权重；

再根据混合高斯模型中各个子高斯模型均值、方差及权重和初始灰度分布模型中各个子高斯模型均值、方差及权重，以及初始灰度分布模型/>中每个子高斯模型的重要性权重获取第1个神经网络的准确度/>；

根据m+1个目标区域图像经灰度化处理后的图像进行混合高斯背景建模获取修正后的第1个灰度分布模型；

根据第1个灰度分布模型获取第1个灰度分布模型/>中各个子高斯模型均值、方差及权重；同时，将所得第1个灰度分布模型/>中各个子高斯模型根据权重与方差比值的大小进行排序，即权重越大，方差越小的子高斯模型越重要，得到每个子高斯模型的重要性权重；

再根据修正后的第1个神经网络的准确度和初始灰度分布模型/>的准确率获取第1个灰度分布模型的准确率，记为/>；

根据第1个目标区域灰度分布模型的准确率与设定阈值对比；

若第1个目标区域灰度分布模型的准确率大于设定阈值时，将第1组至第2组中的各个神经元的激活值均修正为0获取修正后的第2个神经网络；

按照上述步骤：

将第m+2帧图像输入至第2个神经网络获取第m+2个目标区域二值图；

将第m+2个目标区域二值图与第m+2帧图像相乘获取第m+2个目标区域图像；

将第m+2个目标区域图像所对应的目标区域灰度化后进行混合高斯背景建模获取第2个混合高斯模型；根据第2个混合高斯模型和第1个灰度分布模型获取第2个神经网络的准确度，记为/>；

其中，第2个神经网络的准确度是按照以下步骤获取：

将第m+2个目标区域图像所对应的目标区域灰度化后进行混合高斯背景建模获取混合高斯模型中各个子高斯模型均值、方差及权重；

再根据第2个混合高斯模型中各个子高斯模型均值、方差及权重和第1个灰度分布模型中各个子高斯模型均值、方差及权重，以及第1个灰度分布模型/>中每个子高斯模型的重要性权重获取第2个神经网络的准确度/>；

根据m+2个目标区域图像经灰度化处理后的图像进行混合高斯背景建模获取修正后的第2个灰度分布模型；根据第2个灰度分布模型/>获取第2个灰度分布模型/>中各个子高斯模型均值、方差及权重；同时，将第2个灰度分布模型/>中各个子高斯模型根据权重与方差比值的大小进行排序，即权重越大，方差越小的子高斯模型越重要，得到每个子高斯模型的重要性权重；

再根据修正后的第2个神经网络的准确度和第1个灰度分布模型的准确率/>获取第2个灰度分布模型的准确率，记为/>；

根据第2个目标区域灰度分布模型的准确率与设定阈值对比；

若第2个目标区域灰度分布模型的准确率大于设定阈值时，将第1组至第3组中的各个神经元的激活值均修正为0获取修正后的第3个神经网络；

依次类比：

将第1组至第n组中的各个神经元的激活值均修正为0获取修正后的第n个神经网络；

将第m+i帧图像输入至第n个神经网络获取第m+i个目标区域二值图；

将第m+i个目标区域二值图与第m+i帧图像相乘获取第m+i个目标区域图像；

将第m+i个目标区域图像所对应的目标区域灰度化后进行混合高斯背景建模获取第i个混合高斯模型；

根据第i个混合高斯模型获取第n个神经网络的准确度，记为；

其中，首先根据上述步骤递推：

将第1组至第n-1组中的各个神经元的激活值均修正为0获取修正后的第n-1个神经网络；

将采集的第m+i-1帧图像输入至第n-1个神经网络获取第m+i-1个目标区域二值图；根据第m+i-1个目标区域二值图获取第m+i-1个目标区域图像；根据m+i-1个目标区域图像获取修正后的第i-1个灰度分布模型；

根据第i-1个灰度分布模型获取第m+i-1帧图像对应的灰度分布模型/>中的各个子高斯模型的均值、方差及权重，以及第i-1个灰度分布模型/>中每个子高斯模型的重要性权重；

根据第i-1个灰度分布模型中的各个子高斯模型的均值、方差及权重和第i个混合高斯模型中各个子高斯模型的均值、方差及权重，以及第i-1个灰度分布模型/>中每个子高斯模型的重要性权重获取第n个神经网络的准确度/>。

在本实施例中，首先根据第i-1个灰度分布模型中的各个子高斯模型的均值、方差及权重和第i个混合高斯模型中各个子高斯模型的均值、方差及权重获取第i-1个灰度分布模型/>模型中各个子高斯模型之间均值，权重以及方差的差异程度，其计算公式如下：

；

式中，、/>、/>分别是第i-1个灰度分布模型/>中的第K个子高斯模型的均值、方差及权重；

、/>、/>分别是第i个混合高斯模型中第K个子高斯模型的均值、方差及权重；

表示第i-1个灰度分布模型/>模型中第K个子高斯模型之间均值，权重以及方差的差异程度；其中，K表示灰度分布模型或者混合高斯模型中子高斯模型的序数；

其次，根据第i-1个灰度分布模型模型中各个子高斯模型之间均值，权重以及方差的差异程度和第i-1个灰度分布模型/>中每个子高斯模型的重要性权重获取第n个神经网络的准确度/>，其计算公式如下：

；

式中，表示修正后的第n个神经网络的准确度；

表示第i-1个灰度分布模型/>中第K个子高斯模型的重要性权重；

表示第i-1个灰度分布模型/>模型中第K个子高斯模型之间均值，权重以及方差的差异程度；其中，K表示灰度分布模型和混合高斯模型中子高斯模型的序数。

需要说明的是，当均值与权重之间的大小差异越小越好，而对于方差而言，当时，即当第i帧图像所对应的混合高斯模型中，子高斯模型落在对应子高斯模型方差范围内时，认为该高斯模型差异也是较小的；结合各个子高斯模型的重要性权重，要求权重越大的子高斯模型差异越小。

根据m+i个目标区域图像获取修正后的第i个灰度分布模型；

再根据修正后的第n个神经网络的准确度和初始灰度分布模型的准确率获取修正后的第i个灰度分布模型的准确率，记为/>；

同样，第i个灰度分布模型的准确率获取的过程中是根据初始灰度分布模型的准确率按照上述步骤递推获取第m+i-1帧图像对应的灰度分布模型的准确率，记为，再根据第m+i-1帧图像对应的灰度分布模型的准确率/>和修正后的第n个神经网络的准确度/>获取第i个灰度分布模型的准确率/>；

第i个灰度分布模型的准确率的计算公式如下：

；

式中，表示第i个灰度分布模型的准确率；

表示修正后的第n个神经网络的准确度；

表示第m+i-1帧图像对应的灰度分布模型的准确率。

由于该模型是根据神经网络的输出结果，并参考得到了目标物体的语义区域，因此在更新后得到的灰度分布模型进行准确率的评估时，需要参考各个语义区域获得过程中的准确度，本发明对各个准确度本身的相对大小作为权重对/>的整体准确度进行评估。

设定阈值，根据第i个目标区域灰度分布模型的准确率与设定阈值对比获取修正后的神经网络；具体的，设定阈值为0.8；

根据第m+i个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i个目标区域灰度分布模型的准确率大于设定阈值时，将第1组至第n+1组中的各个神经元的激活值均修正为0获取修正后的第n+1个神经网络；

依次类比获取第m+i+1个目标区域灰度分布模型的准确率；

将第m+i+1个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i+1个目标区域灰度分布模型的准确率≤设定阈值时，则将第n个神经网络确定为修正后的神经网络。

S5、根据修正后的神经网络对无人机采集的俯视图像中的目标物体区域进行识别获取目标物体区域图像。

该方法还包括将获取修正后的神经网络所对应的第m+i帧图像进行如下处理：

将第m+i帧图像中各个位置的像素点满足第i个灰度分布模型中的一个子高斯模型的高斯分布，将该像素点标为1，并经开运算获取目标区域二值图；

将修正后的神经网络输出目标区域二值图与经开运算获取的目标区域二值图结合获取第m+i帧图像的综合语义二值图；

将该综合语义二值图作为最终的目标物体区域图像。

需要说明的是，此步骤是针对满足阈值的最终修正后的神经网络所对应的第m+i帧图像，并对第m+i帧图像进行处理输出最终的目标物体区域图像。

在本实施例中，判断第帧图像中各个位置的像素点是否满足/>中的一个子高斯模型的高斯分布，当满足高斯分布时，将该像素点标为1，得到由/>判断得到的目标区域，由于目标物体是一个连续的区域，图像中可能存在噪声以及离散点的干扰，因此本发明使用开运算对根据/>得到的目标区域去除离散点，处理后得到的目标区域二值图像，记为/>；

由于获取的修正后的神经网络内部神经元发生了变化，因此认为修正后的神经网络输出结果存在一定误差，而到上一帧图像为止所得目标物体灰度分布模型是基于对目标区域的统计分布，可靠性较高，因此本发明将经开运算获取的目标区域二值图与修正后的神经网络输出的目标区域二值图结合起来，作为第/>帧图像的综合语义二值图；其中，需要说明的是上述通过修正后的神经网络识别的目标物体区域图像是目标区域二值图，记为；

将经开运算获取的目标区域二值图与神经网络输出目标语义区域/>，以修改后的神经网络本身准确度/>与/>的准确率/>分别作为各个图像的参考权重，进行图像融合，由此得到综合语义二值图/>中各个像素点的语义值，融合过程如下：

；

；

式中，为第/>帧图像所对应的综合语义二值图/>中第/>个像素点的语义值；

为第/>帧图像所对应的神经网络输出的目标语义区域/>中第/>个像素点的语义值；

为第/>帧图像所对应的根据目标灰度模型获取的目标区域二值图像/>中第/>个像素点的语义值；

修正后的第n个神经网络的准确度；

表示第i个灰度分布模型的准确率。

其中，m≥20；i=n≥1；需要说明的是，若i=n=1是就对应初始的、/>以及初始的神经网络。

至此，得到当前帧图像中综合语义二值图，并将该综合语义二值图作为最终的目标物体区域图像。

最后，将最终获取的目标物体区域图像与原图相乘获取目标物体图像，根据目标物体在图像中的相对与图像中心点的位置及目标物体的相对大小，根据结合无人机的位姿，确定无人机的移动方向以及移动距离，从而实现对目标物体的跟踪，提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

综上，本发明在提供的一种高续航能力的无人机跟踪方法，该方法使用数据集为俯视采集的目标物体图像中的各个图像数据，训练识别目标的初始神经网络，通过控制初始神经网络中不同神经元对神经网络目标识别的参与情况，并根据不同参与情况下神经网络的输出结果与目标物体表面灰度分布的差异情况得到各个神经元对神经网络准确性的影响程度，修正无用神经元的激活状态，从而实现神经网络参数量的降低，以提高神经网络的处理速度，进而提高无人机在目标跟踪过程中的续航能力。

本发明根据目标物体的表面灰度的相似性，对神经网络输出的目标物体区域构建灰度分布模型，根据所得灰度分布模型的准确度，即在灰度分布模型准确度较高时，对神经网络中重要程度较低的神经元组进行激活状态修正，从而实现神经网络的参数量的减少，降低神经网络的处理时间，提高无人机的续航能力。

本发明将神经网络神经元逐渐减少（激活状态设置为0）的过程中，神经网络的输出结果结合神经网络的准确度对已知灰度分布模型进行更新，增强灰度分布模型的泛化能力。

本发明将采集的图像输入到最终的神经网络中，并根据目标物体的灰度分布模型对图像中疑似目标物体的像素点进行预测，将神经网络的输出结果与灰度分布模型的预测结果进行结合，在降低神经网络中参数量的基础上，结合目标物体的灰度分布模型对检测结果进行修正，避免了神经网络因参数量降低导致目标识别准确度下降现象的出现，从而可以在提高神经网络处理时间的基础上，进一步保证检测结果的准确性。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种高续航能力的无人机跟踪方法，其特征在于，包括以下步骤：

获取无人机采集到的含目标物体的图像，对图像中的目标物体区域进行标注获取标签区域二值图，根据含目标物体的图像和标签区域二值图作为训练集获取初始神经网络；

将初始神经网络中隐藏层的神经元划分为多组；根据每组神经元激活值设置为0时的初始神经网络获取每组神经元的重要程度；

将初始神经网络中的多组神经元按照每组神经元的重要程度由小到大的顺序依次排序；对多组神经元依次进行训练，根据每次训练结果输出初始灰度分布模型及其准确率，根据准确率筛选出第n组神经元对应的初始神经网络作为第n个神经网络；其中第n个神经网络中，第1组至第n组中的各个神经元的激活值均修正为0；

获得第n个神经网络的准确度，根据准确度和对应初始灰度分布模型的准确率获取修正后的第i个灰度分布模型的准确率；

设定阈值，根据第i个目标区域灰度分布模型的准确率与设定阈值对比获取修正后的神经网络；其中，m≥20；i=n≥1；

根据修正后的神经网络对采集的俯视图像中的目标物体区域进行识别获取目标物体区域图像；

所述准确率的获取方法包括：

将采集的连续m帧图像依次输入初始神经网络中的每组神经元中，获取m个目标区域二值图；根据m个目标区域二值图获取m个目标区域图像，将m个目标区域图像进行灰度化处理后并进行混合高斯背景建模获取目标区域的初始灰度分布模型；再根据初始灰度分布模型获取初始灰度分布模型的准确率；

所述准确度的获取方法包括：

将采集的第m+i帧图像输入至第n个神经网络获取第m+i个目标区域二值图；根据第m+i个目标区域二值图获取第m+i个目标区域图像；根据m+i个目标区域图像获取修正后的第i个灰度分布模型；所述修正后的第i个灰度分布模型获取的过程中是将m+i个的目标区域图像经灰度化处理后的图像进行混合高斯背景建模获取修正后的第i个灰度分布模型；

将第m+i个目标区域图像中的目标区域经灰度化后进行混合高斯背景建模获取第i个混合高斯模型；根据第i个混合高斯模型获取第n个神经网络的准确度；

所述每组神经元的重要程度获取的过程中是依次对每组神经元的激活值设置为0获取每组神经元激活值设置为0对应的初始神经网络；根据每组神经元激活值设置为0对应的初始神经网络的输出目标区域图像与训练集中的标签区域二值图的差异获取每组神经元的重要程度。

2.根据权利要求1所述的高续航能力的无人机跟踪方法，其特征在于，该方法还包括将获取修正后的神经网络所对应的第m+i帧图像进行如下处理：

将第m+i帧图像中各个位置的像素点满足第i个灰度分布模型中的一个子高斯模型的高斯分布，将该像素点标为1，并经开运算获取目标区域二值图；

将修正后的神经网络输出目标区域二值图与经开运算获取的目标区域二值图结合获取第m+i帧图像的综合语义二值图；

将该综合语义二值图作为最终的目标物体区域图像。

3.根据权利要求1所述的高续航能力的无人机跟踪方法，其特征在于，所述初始灰度分布模型的准确率获取的过程中是将m帧图像所对应的目标区域中各个像素点的灰度值与初始灰度分布模型中各个子高斯模型进行匹配，根据匹配像素点的个数占m帧图像目标区域像素点总数的比例获取初始灰度分布模型的准确率；其中，初始灰度分布模型中包括多个子高斯模型。

4.根据权利要求1所述的高续航能力的无人机跟踪方法，其特征在于，所述第n个神经网络的准确度是按照以下步骤获取：

将第1组至第n-1组中的各个神经元的激活值均修正为0获取修正后的第n-1个神经网络；

将采集的第m+i-1帧图像输入至第n-1个神经网络获取第m+i-1个目标区域二值图；根据第m+i-1个目标区域二值图获取第m+i-1个目标区域图像；根据m+i-1个目标区域图像获取修正后的第i-1个灰度分布模型；

根据第i-1个灰度分布模型获取第i-1个灰度分布模型中各个子高斯模型的均值、方差及权重，以及每个子高斯模型的重要性权重；

再根据第i个混合高斯模型中各个子高斯模型的均值、方差及权重和第i-1个灰度分布模型中各个子高斯模型的均值、方差及权重，以及第i-1个灰度分布模型中每个子高斯模型的重要性权重获取第n个神经网络的准确度。

5.根据权利要求1所述的高续航能力的无人机跟踪方法，其特征在于，所述第i-1个灰度分布模型中每个子高斯模型的重要性权重获取的过程中是对第i-1个灰度分布模型中各个子高斯模型根据权重与方差比值的大小进行排序而获取的。

6.根据权利要求5所述的高续航能力的无人机跟踪方法，其特征在于，所述第i个灰度分布模型的准确率获取的过程中是根据初始灰度分布模型的准确率获取第m+i-1帧图像对应的灰度分布模型的准确率，再根据第m+i-1帧图像对应的灰度分布模型的准确率和修正后的第n个神经网络的准确度获取第i个灰度分布模型的准确率。

7.根据权利要求6所述的高续航能力的无人机跟踪方法，其特征在于，所述第i个灰度分布模型的准确率的计算公式如下：

式中，表示第i个灰度分布模型的准确率；

表示修正后的第n个神经网络的准确度；

表示第m+i-1帧图像对应的灰度分布模型的准确率。

8.根据权利要求1所述的高续航能力的无人机跟踪方法，其特征在于，所述设定阈值为0.8；

根据第m+i个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i个目标区域灰度分布模型的准确率大于设定阈值时，将第1组至第n+1组中的各个神经元的激活值均修正为0获取修正后的第n+1个神经网络；

依次类比获取第m+i+1个目标区域灰度分布模型的准确率；

将第m+i+1个目标区域灰度分布模型的准确率与设定阈值对比；

若第m+i+1个目标区域灰度分布模型的准确率≤设定阈值时，则将第n个神经网络确定为修正后的神经网络。