CN113379797A - 一种无人机观测目标的实时跟踪方法及系统 - Google Patents

Abstract

本发明提供一种无人机观测目标的实时跟踪方法及系统。方法包括：通过无人机获取目标视频序列，所述目标视频序列的各帧均包括跟踪目标；由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置；基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量；对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。本发明通过孪生神经网络提取图像的深度特征，对跟踪目标的识别与捕捉更加准确且快速，网络属于轻量级网络，能够实时的应用于无人机平台。

Description

一种无人机观测目标的实时跟踪方法及系统

技术领域

本发明涉及无人机观测目标的实时跟踪系统，具体而言，尤其涉及一种无人机观测目标的实时跟踪方法及系统。

背景技术

当前无人机目标跟踪算法普遍采用特征点匹配算法，该方法计算速度快，但准确性不高。还有一些方案采用光流法进行目标跟踪任务，该算法准确度较高，但无法有效应对目标被遮挡问题。在无人机目标跟踪中，由于其提取的手工特征效果较差，算法准确性不高，并且无法应对目标快速移动以及目标遮挡问题。

发明内容

根据上述提出无人机跟总技术无法应对目标快速移动以及目标遮挡问题的技术问题，而提供一种无人机观测目标的实时跟踪方法及系统。本发明主要利用生神经网络提取图像的深度特征，对跟踪目标的识别与捕捉更加准确且快速，网络属于轻量级网络，能够实时的应用于无人机平台。

本发明采用的技术手段如下：

一种无人机观测目标的实时跟踪方法，包括：

通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标；

由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置；

基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量；

对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

进一步地，所述孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络座位特征提取网络。

进一步地，所述孪生神经网络的训练过程包括：

通过无人机采集地面目标视频图像作为训练数据集；

对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。

进一步地，所述孪生神经网络的训练过程还包括：

构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。

本发明还提供了一种无人机观测目标的实时跟踪系统，包括：

视频获取单元，用于通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标；

位置识别单元，用于由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置；

计算单元，用于基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量；

转换单元，用于对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

进一步地，所述孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络座位特征提取网络。

进一步地，所述孪生神经网络的训练过程包括：

通过无人机采集地面目标视频图像作为训练数据集；

对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。

进一步地，所述孪生神经网络的训练过程还包括：

构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。

较现有技术相比，本发明具有以下优点：

1、本发明应用的孪生神经网络能够提取图像的深度特征，对跟踪目标的识别与捕捉更加准确且快速，网络属于轻量级网络，能够实时的应用于无人机平台。

2、本发明算法能够有效应对目标的遮挡问题，当视频帧中没有出现目标时，网络得到的相似度分布矩阵各个区域的值都较低，可以通过设定阈值的方式，当矩阵值低于阈值时，表明当前帧没有目标，即保持上一帧的目标框，直到目标再次出现，不会产生误判。

基于上述理由本发明可在无人机视觉跟踪领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种无人机观测目标的实时跟踪方法流程图。

图2为实施例中实现本发明方法的装置结构图。

图3为实施例中孪生神经网络网络层数示意图。

图4为实施例中孪生神经网络架构图。

图5为实施例中第1帧目标所在区域示意图。

图6为实施例中目标区域示意图。

图7为实施例中第200帧目标所在区域示意图。

图8为实施例中待跟踪区域图像示意图。

图9为实施例中标记出目标区域的第200帧图像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种无人机观测目标的实时跟踪方法，包括：

S1、通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标。

S2、由所述目标视频序列人工手动识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置。

其中孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络座位特征提取网络。孪生神经网络的训练过程包括：通过无人机采集地面目标视频图像作为训练数据集；对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。进一步地，还包括构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。相似度分布矩阵f(x,z)计算公式如下：

其中g表示卷积运算，

和

分别表示为网络提取出的目标区域特征图和待跟踪区域特征图。

S3、基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量。

S4、对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

下面通过具体的应用实例，对本发明的方法和效果做进一步说明。

本实施例中，采用如图2所示的装置来实现上述方法。首先通过无人机采集地面目标视频图像作为训练数据集，需要将视频每一帧中的目标用图像标注软件框出，框选内部的区域作为正样本，框选区域以外的部分作为负样本，并且将模板图片和待搜索区域修改为固定尺寸，分别为127×127和255×255，用于后续孪生神经网络的训练。

其次，建立孪生神经网络，网络架构如图4所示，特征映射网络ResNet50将跟踪区域图像和待跟踪区域图像的特征提取出来，随后进行卷积操作，得到一个分数矩阵，用来表示目标的位置，即分数最大的区域即为目标区域。本发明将原有的特征提取网络更改为ResNet50残差网络，网络层数如图3所示，其网络层数相比原有的Alexnet更深，能够更好的提取出图像的深度特征。并且采用了残差块的网络结构，能够有效防止网络过拟合。

孪生神经网络通过无人机采集的地面目标视频图像作为训练数据集，根据构建的损失函数进行训练，损失函数为log损失，公式如下所示

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示这个样本的标签值，表示当前点在目标区域则为1，不在目标区域则为-1。v表示相似度分布矩阵中该点对应的相似度值。当v较大且y＝1时，认为跟踪正确，得到的损失函数很小。相反，当v较大且y＝-1时，表示跟踪到了错误的位置，损失函数很大。

对于整体的损失函数，采用全部点损失函数的均值，即

然后，根据训练得到的权重参数，更新原始网络参数，用于实时跟踪系统。如图2所示，实时跟踪系统由天空端和地面端组成。天空端包括无人机以及搭载在无人机上的可见光摄像头、嵌入式处理器以及通讯模块。地面端为人机交互平台包括触摸板，显示屏以及通讯模块，用于框选无人机拍摄视频中的跟踪目标并发送到天空端。嵌入式处理器用于通过训练好的孪生神经网络处理无人机拍摄到的目标视频序列，根据地面端框选出来的目标，得到后续视频帧中目标的位置，计算出前后帧目标的偏移量，再根据像素坐标系与大地坐标系进行转换，得到实际无人机对应的移动角度与移动距离，从而实现目标跟踪。通讯模块采用5G模块或WIFI模块。

优选地，本实施例中选用大疆经纬M600pro无人机对地面行人进行跟踪。无人机上挂载可见光摄像头以及大疆妙算处理器，通讯模块采用wifi模块。无人机采集地面行人的视频图像，之后对采集到的图像尺寸进行修改，分辨率改为255×255，并使用labelme标注软件进行标注，将目标框选出来，并把框出的目标图像分辨率改为127×127。将处理好的数据集用于训练孪生神经网络，训练好的网络搭建在妙算处理器中。

目标跟踪过程如下：无人机将可见光摄像头拍摄到的目标图像通过通讯模块传输到地面端的笔记本电脑，操作人员使用鼠标框选好目标后发送到天空端的妙算处理器。如图5为第1帧图像及框选出的目标框。接下来，算法截取第1帧的目标区域，并将分辨率大小改为127×127作为目标图像。目标图像如图6所示。由于第2帧较第1帧目标移动不明显，故将第200帧图像作为待跟踪区域图像用于举例说明。第200帧图像如图7所示，将其分辨率大小改为255×255作为待跟踪区域图像。待跟踪区域图像如图8所示。通过网络计算得出第200帧的目标所在区域，如图9所示。

得到目标区域后，将目标中心点像素坐标转换为大地坐标。计算出目标像素偏移量，并转换为大地坐标系中实际的偏移量。最后计算得出无人机需要移动的方向角度和距离，完成目标跟踪。

由于使用的无人机种类不同，对应的无人机运动模型也不同，因此最后计算无人机的移动方向角和距离应根据实际情况进行计算。

对应于上述无人机观测目标的实时跟踪方法，本发明实施例的另一方面还提供了一种无人机观测目标的实时跟踪系统，包括：

视频获取单元，通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标。

位置识别单元，由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置。

其中孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络座位特征提取网络。孪生神经网络的训练过程包括：通过无人机采集地面目标视频图像作为训练数据集；对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。进一步地，还包括构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。

计算单元，基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量。

转换单元，对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种无人机观测目标的实时跟踪方法，其特征在于，包括：

通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标；

由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置；

基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量；

对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

2.根据权利要求1所述的无人机观测目标的实时跟踪方法，其特征在于，所述孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络座位特征提取网络。

3.根据权利要求1所述的无人机观测目标的实时跟踪方法，其特征在于，所述孪生神经网络的训练过程包括：

通过无人机采集地面目标视频图像作为训练数据集；

对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。

4.根据权利要求3所述的无人机观测目标的实时跟踪方法，其特征在于，所述孪生神经网络的训练过程还包括：

构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yv)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。

5.一种无人机观测目标的实时跟踪系统，其特征在于，包括：

视频获取单元，用于通过无人机获取目标视频序列，所述目标视频序列包含跟踪目标；

位置识别单元，用于由所述目标视频序列识别出跟踪目标，并通过预先训练的孪生神经网络处理所述目标视频序列，得到后续视频帧中跟踪目标的位置；

计算单元，用于基于视频序列中相邻帧中跟踪目标的位置，计算跟踪目标偏移量；

转换单元，用于对像素坐标与大地坐标系进行转换，根据所述跟踪目标偏移量获取实际无人机对应的移动角度与移动距离，从而实现目标跟踪。

6.根据权利要求5所述的无人机观测目标的实时跟踪系统，其特征在于，所述孪生神经网络包括两条相同的特征提取通道，所述特征提取通道上设置有一个ResNet50残差网络作为特征提取网络。

7.根据权利要求5所述的无人机观测目标的实时跟踪系统，其特征在于，所述孪生神经网络的训练过程包括：

通过无人机采集地面目标视频图像作为训练数据集；

对所述目标视频图像的每一帧中包含的跟踪目标进行标注，框选内部区域作为正样本，框选区域以外的部分作为负样本，对所述孪生神经网络进行训练。

8.根据权利要求7所述的无人机观测目标的实时跟踪系统，其特征在于，所述孪生神经网络的训练过程还包括：

构建损失函数，所述损失函数形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示样本的标签值，当前点在目标区域则为1，不在目标区域则为-1；v表示相似度分布矩阵中该点对应的相似度值。

Images