CN111275760A - 一种基于5g与深度图像信息的无人机目标跟踪系统及方法 - Google Patents

Abstract

本发明涉及一种基于5G与深度图像信息的无人机目标跟踪系统及方法，通过GPS和深度图像信息组合导航定位系统，结合卫星导航的广泛性与视觉图形对场景的感知的优势；利用MPII数据集，融合改进Face recognition与改进的open‑pose算法，进行深度学习训练出高效的模型，并移植到工控模块中可以实时对目标识别与姿态估计；获取的目标姿态等数据通过前沿的5G技术与WiFi扩频等技术相结合的方式进行数据传输。与现有技术相比，本发明具有避免单一传输方式定位不准确且成本高的缺点，姿态估计准确、传输速率快等优点。

Description

一种基于5G与深度图像信息的无人机目标跟踪系统及方法

技术领域

本发明涉及无人机目标跟踪技术领域，尤其是涉及一种基于5G与深度图像信息的无人机目标跟踪系统及方法。

背景技术

无人机是一种无人驾驶的飞行器，它具有构造简单、成本低、机动性好、复杂环境适应性强等特点。随着嵌入式技术、自动化技术等高新科技的不断发展，无人机逐渐被用于各个方面，如搜索救援、军事侦察与电路巡检等。

目前在无人机跟踪方面，机载摄像装置是无人机感知探测的主要应用方式，例如军用作战无人机锁定并跟踪作战目标，在搜索救援任务中通过图像处理的方法确定需要救援的目标等。传统的目标跟踪装置往往都是固定不动的，如交通摄像监控、商场监控、银行监控等，这样就大大局限了目标跟踪的范围，在执行目标跟踪任务中很容易导致目标的丢失。考虑到无人机具有体积小、重量轻、飞行姿态灵活的特点，可以垂直起降、横飞、悬停、盘旋，并且可以负载飞行，使传感器具有更大的测量范围，进而具有更好的跟踪效果。然而传感器在不断扩大信息搜索范围的同时，增大了信息的复杂性和处理信息的难度。

目前无人机的导航系统大多基于卫星导航，卫星导航的方式一般是全局性、单向广播，传输数据成本较高，且在一定条件下，例如多普勒噪声较大的时候，无法有效地将飞机的姿态信息发回地面，且在对人的识别应用中，准确率也不是很高，此外还存在传输链路不可靠以及在低空或者复杂的环境中卫星信号丢失而无法定位导航等问题。

为了使无人机在复杂情况下，实现对目标的准确跟踪与定位，更大限度的发挥无人机机动性强的特点，目前还面临以下难点：

(1)复杂的运动背景下实现高效识别目标并对目标进行跟踪；

(2)针对目标即时有效的对姿态进行估计；

(3)能够针对特定的姿态进行做出有效的反馈并实时传输到服务器端。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于5G与深度图像信息的无人机目标跟踪系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于5G与深度图像信息的无人机目标跟踪系统，该系统包括无人机飞行系统、地面信息处理服务器端和地面无线接入设备。其中：

a、无人机飞行系统包括：

深度摄像头，用于实现目标区域的深度图像实时采集；

工控模块，用于对无人机进行路径规划，并根据深度摄像头获取的深度图像进行人脸识别，以及获取目标对象的姿态估计信息；

飞控模块，用于控制无人机的飞行姿态，并按照规划线路控制无人机飞达指定位置；

5G模块，用于负责空地之间数据的收发服务，完成视频流的传输，以及实现空地之间各类数据发送和接收；

WiFi扩频模块，用于传输坐标及飞机姿态在内的信息至地面信息处理服务器端；

GPS模块，用于获取无人机在空中对地面目标进行跟踪定位时坐标信息，并将获取的信息发送至工控模块处理进行导航定位；

b地面信息处理服务器端包括：

WiFi扩频与5G收发模块，用于获取5G模块与WiFi扩频模块传回的相关图像与参数信息；

监控与控制平台，用于对目标的姿态实时监视并进行飞行安全的后台控制；

c、地面无线接入设备(AP基站)则用于传递无人机飞行系统、地面信息处理服务器端的数据信息，以进行后续分析、监控等功能。。

所述的工控模块采用A*算法对无人机的路径进行规划。

所述的工控模块采用改进的open-pose姿态估计算法检测目标姿态信息。在人体姿态识别过程中，采用一个benchmark数据集进行深度学习模型的训练、测试。benchmark数据集优选采用MPII数据集。

所述的工控模块基于Face recognition库的人脸识别检测算法识别需要跟踪的目标对象。

所述的GPS模块基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位时坐标信息的计算。

优选地，所述的深度摄像头采用Intel realsense D415型号摄像头。

一种基于5G与深度图像信息的无人机目标跟踪方法，具体包括如下步骤：

S1、无人机采用A*算法对路径进行规划。

S2、利用深度摄像头拍摄目标深度图像，并根据Face_recognition库的人脸识别检测算法选取目标。

S3、采用改进的open-pose算法对识别的目标进行姿态估计。具体包括下列步骤：

31)采用MPII中的训练集与深度摄像头获取的目标图像作为训练数据，对改进的open-pose网络框架进行训练，生成可用的预训练模型；

32)采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据，进行参数与性能优化；

33)利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法，实现目标的跟踪与姿态识别。

S4、基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位坐标计算，并基于计算的坐标与步骤S3获取的目标姿态进行导航飞行。

S5、将步骤S4中得到的坐标通过数据与深度摄像头捕捉到的视频通过5G模块传输至工控模块。

S6、无人机的工控模块调度飞控模块，并按照步骤S1规划的路径控制无人机的运行轨迹，实现对目标的跟踪。

与现有技术相比，本发明具有以下优点：

1)本发明利用GPS和深度图像信息组合导航定位系统，结合卫星导航的广泛性与视觉图形对场景的感知的优势，避免单一传输方式定位不准确且成本高的缺点；

2)本发明创新地利用MPII数据集，融合改进Face recognition与改进的open-pose算法，进行深度学习训练出高效的模型，并移植到工控模块中可以实时对目标识别与姿态估计；在姿态识别的基础上，利用几何约束定义特定的姿态，可以随着跟踪目标的行为无人机进行姿态调整与必要的信息传输；

3)本发明将前沿的5G技术与WiFi扩频等技术相结合进行数据的传输，最新的5G通信技术具有低延迟高速率的特点，而选择WiFi扩频技术作为重要参数传输方式，WiFi扩频技术在有效距离与传输速率上都优于WiFi。

附图说明

图1为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪系统的结构框图；

图2为本发明实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法的流程示意图；

图3为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中路径规划的原理示意图；

图4为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中人脸识别算法流程示意图；

图5为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中姿态估计网格示意图；

图6为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中视觉导航算法原理图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

图1是本发明实施例提供的一种基于无人机的姿态跟踪系统的示意性框图，为了便于说明，仅仅示出了与本实施例相关的部分。

如图1所示，本实施例提供的一种基于5G与深度图像信息的无人机目标跟踪系统，包括无人机飞行系统、地面信息处理服务器端、地面无线接入设备(AP基站)。

其中，无人机飞行系统主要包括深度摄像头、工控模块、飞控模块、5G模块、WiFi扩频模块、超声波模块。

深度摄像头实现目标区域的深度图像实时采集，其获得的数据通过5G模块传输到工控模块；

GPS模块用于获取无人机飞行状态下的定位坐标信息，并将获取的信息发送至工控模块处理；

工控模块是一台微型电脑，通过GPU进行深度学习算法的运行和分析，用于对无人机进行路径规划，并能够根据深度摄像头获取的深度图像进行人脸识别，并获取目标对象的姿态估计信息，进一步达到目标对象和无人机进行交互；

飞控模块控制着飞机的飞行姿态以及与各个模块相连接；

5G模块负责空地之间数据的收发服务，完成视频流的传输，以及实现空地之间各类数据发送和接收，如传送训练好的样本及视频图像信息等；

WiFi扩频模块则是通过WiFi扩频技术传输比较重要的坐标以及飞机姿态等信息；

超声波模块则是测量无人机距离地面的高度，从而实现地面端的实时监控和应急处理等服务。

地面信息处理服务器端包括监控与控制平台和WiFi与5G收发模块。监控与控制平台用于实现对目标的姿态实时监视并进行飞行安全的后台控制。WiFi与5G收发模块主要获取WiFi与扩频通信链路传回的相关图像与参数。

地面无线接入设备(AP基站)用于传递无人机飞行系统、地面信息处理服务器端的数据信息，以进行后续分析、监控等功能。

工控模块的路径规划使用A*算法是启发式搜索，是一种尽可能基于现有信息的搜索策略，用于规划线路使无人机飞达目的地的安全距离。

工控模块的人脸识别采用的是基于Face recognition库的人脸识别检测算法，用于识别需要跟踪的目标对象。

工控模块的姿态估计使用改进的open-pose姿态估计算法，用于检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息；人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。

本发明的定位导航使用GPS与视觉信息导航相结合的方法。本发明的GPS模块基于GPS的差分定位算法实现对无人机在空中对地面目标进行跟踪定位时位置的计算，深度摄像头使用Intel的双目视觉摄像头采集现实生活中无人机需要跟踪目标人物的信息和周围场景的信息，获取深度信息估计，然后利用所采集的信息根据Face_recognition算法实现对目标人物进行跟踪。

如图2所示，本发明实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法，用于实现本实施例上述提供的跟踪系统的跟踪功能。具体流程包括：

步骤一、无人机路径规划。

在Jetson-Nano模块上采用A*算法对无人机的路径进行规划，如图3所示，图中的点G为需要跟踪目标到达点，点S为无人机的现在位置，根据算法，无人机会先将之前预跑点的信息和11号点信息进行估计对比，然后根据列表中的点的欧式距离求出用时和步数最短路径，最后根据路径规划的线路飞达目的地的安全距离。

步骤二、无人机利用摄像头获取人脸信息，对目标进行人脸识别。

摄像头选用Intel realsense D415型号，拍摄目标人脸。摄像头采用Face_recognition库的人脸识别检测算法。人脸识别实际上是对人脸进行编码后再去计算两两人脸的相似度，Face_recognition库的人脸识别检测算法的流程图如图4所示。假设known_image是已知人脸库的图像，unknown_image是未录入人脸库的图像，分别利用face_encodings函数来映射成一个向量，再利用两个向量的内积来衡量相似度，compare_faces函数就是根据阈值确认是否是同一人脸。上述函数都是支持多个人脸计算的。另外compare_faces有个tolerance参数是控制阈值的，tolerance值越低表示准确度越高，容错率越低，默认为0.6。

步骤三、对识别的目标进行进一步的姿态估计。

在对特定的单人或多人目标识别的基础上，采用改进的open-pose算法，其核心思路是部分亲和字段(part affinity field)。其比自上而下的算法的好处在于：location和orientation(关节部位的几何位置与方向信息)信息都使用了。而且每一种肢体在关联的两个人物之间都有一个亲和字段(affinity field)，其中的每一个像素都有一个二维向量的描述。若某个点有多个重叠的人，则对多个重叠的人向量求和，再除以人数。图5为本步骤所使用的算法网络结构图，图中F是由传统神经网络VGG19通过深度摄像头采集的深度图像生成的一组特征图，将其作为网络的输入，第一阶段产生一组检测置信度图S1与一组亲和度向量L1，阶段t产生相应的置信度图St与一组亲和度向量Lt，最终输出用来分配每个关键点属于哪个人体，网络是对每一个检测到的人体区域的关键点集合，学习从关键点集合到正常分布的关键点的映射。这一步叫做残差校正(residual correction)，使用残差多层感知机(residual multilayer perceptron)来实现。采用感兴趣区域(RoI)合并的关键点检测，然后将它们馈送到残余多层感知机(MLP)中。同时考虑所有关节并学习关节的配置。本发明将用benchmark数据集中的训练集与深度摄像头获取的目标图像作为训练数据，对改进的open-pose网络框架进行训练，生成可用的预训练模型；然后采用benchmark数据集中的测试集和深度摄像头获取的目标图像作为测试数据，进行参数与性能优化；最后利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法，实现目标的跟踪与姿态识别。

步骤四、根据无人机上GPS模块的差分定位算法实现对无人机在空中对地面目标进行跟踪定位时坐标位置的计算，结合深度摄像头来对目标进行深度采集，可以准确得到目标的准确位置信息，如图6所示，使用改进的open-pose算法对深度摄像头获取的视频数据进行分析，对目前进行有效的跟踪与姿态调整。

差分定位是相对定位的一种特殊实现方式，它在定位区域内的一个或若干个己知点上设置GPS接收机作为基准站，连续跟踪观测视野内的所有GPS卫星伪距，经与已知距离对比，求出伪距修正值，再以一定的数据格式通过传输线路播送，定位区域内的所有接收机都能接收到该差分信息，从而对自己测量到的伪距进行修正，再利用修正后的伪距进行定位，差分定位是目前GPS实时定位中精度最高的一种定位方式，但是它需要数据传输线路，用户接收机要有差分数据接口，而且基准站的作用范围有限，一般限制在200km～300km。随着GPS定位技术的发展，差分的概念从普通伪距差分发展为载波相位查分、RTK等方式。本发明在无人机底座上安装有差分GPS定位模块，其模块集成了数据传输所需要的差分数据、接口、地面基准站等所需要的信息功能模块信息。根据深度摄像头中双目深度图像信息，空间点的三维重建模型，如图6所示双目测距的基础原理。

步骤五、将步骤四中得到的坐标通过数据与摄像头捕捉到的视频传输方式通过Wi-fi扩频通信和第五代Wi-Fi(5G WiFi)技术进行数据传输，视频数据传输给监控与控制平台进行监控与保存，将目标姿态数据传给无人机工控模块，并可以有效的抵抗信息传输过程中，由于反射与折射带来的不同程度的时间延迟，并且可以抗多普勒移，避免信息的失真，可以实现远距离的传输同时具有低功耗的特点。在计算机网络中，4G比3G是带宽和信道列数增加，而5G不仅会增加，而且在通信基站的数量也是大量增加，这也是5G的一个关键技术。这就与调制和解调的天线阵列相关，所以，另一个关键技术是全双工技术。第三个就是编码接入技术，多址码分编码技术。

步骤六、无人机的工控模块调度飞控模块，按照步骤一规划的路径控制无人机的运行轨迹。

为了验证本发明识别跟踪的准确性，本实施例使用改进的open-pose算法对人体多个部位的分别检测进行了相应的实验，实验结果如表1所示。

表1姿态估计识别的准确度分析

本发明采用的人体姿态识别所采用的数据集为一个benchmark数据集(the MPIIhuman multi-person dataset)，将上述数据集的训练集与深度摄像头获取的目标图像作为训练数据，对改进的open-pose网络框架进行训练，并采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据，进行参数与性能优化；最后利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法，实现目标的跟踪与姿态识别。评价指标是对所有的身体部位使用平均精度均值(mean Average Precision mAP)，对比Deepcut和Deepercut获得了如表1所示的测试结果，对与头、肩、肘的检测和估计基本都能够达到接近80％的平均准确率，但是腕、臀、膝、踝部的检测和估计平均准确率相比于头、肩、肘的检测和估计会下降10个百分点左右，原因是基于算法对于头、肩、肘的特征提取优于其他部位，腕、臀、膝、踝等部受到目标个体和环境影响因素更大。

从上述内容可以看出，本实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法创新地结合改进的open-pose的姿态估计，利用上述数据集进行深度学习训练出高效的模型，并移植到工控模块中实时对目标进行姿态估计；并将前沿的5G技术与WiFi、扩频等技术相结合进行数据的传输。利用最新的5G通信技术，低延迟高速率的特点，选择WiFi扩频技术传输无人机包括坐标位置、姿态信息在内的重要参数信息，WiFi扩频技术在有效距离与传输速率上都优于WiFi。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，包括：

无人机飞行系统：

深度摄像头，用于实现目标区域的深度图像实时采集；

工控模块，用于对无人机进行路径规划，并根据深度摄像头获取的深度图像进行人脸识别，以及获取目标对象的姿态估计信息；

飞控模块，用于控制无人机的飞行姿态，并按照规划线路控制无人机飞达指定位置；

5G模块，用于负责空地之间数据的收发服务，完成视频流的传输，以及实现空地之间各类数据发送和接收；

WiFi扩频模块，用于传输坐标及飞机姿态在内的信息至地面信息处理服务器端；

GPS模块，用于获取无人机在空中对地面目标进行跟踪定位时坐标信息，并将获取的信息发送至工控模块处理进行导航定位；

地面信息处理服务器端：

WiFi扩频与5G收发模块，用于获取5G模块与WiFi扩频模块传回的相关图像与参数信息；

监控与控制平台，用于对目标的姿态实时监视并进行飞行安全的后台控制；

地面无线接入设备。

2.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的工控模块采用改进的open-pose姿态估计算法检测目标姿态信息。

3.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，在人体姿态识别过程中，采用一个benchmark数据集进行深度学习模型的训练、测试。

4.根据权利要求3所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的benchmark数据集采用MPII数据集。

5.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的工控模块基于Face recognition库的人脸识别检测算法识别需要跟踪的目标对象。

6.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的GPS模块基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位时坐标信息的计算。

7.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的工控模块采用A*算法对无人机的路径进行规划。

8.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪系统，其特征在于，所述的深度摄像头采用Intel realsense D415型号摄像头。

9.一种应用如权利要求1～8任一项所述的基于5G与深度图像信息的无人机目标跟踪系统的跟踪方法，其特征在于，该方法包括下列步骤：

1)无人机采用A*算法对路径进行规划；

2)利用深度摄像头拍摄目标深度图像，并根据Face_recognition库的人脸识别检测算法选取目标；

3)采用改进的open-pose算法对识别的目标进行姿态估计；

4)基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位坐标计算，并基于计算的坐标与步骤3)获取的目标姿态进行导航飞行；

5)将步骤4)中得到的坐标通过数据与深度摄像头捕捉到的视频通过5G模块传输至工控模块；

6)无人机的工控模块调度飞控模块，并按照步骤1)规划的路径控制无人机的运行轨迹，实现对目标的跟踪。

10.一种根据权利要求9所述的基于5G与深度图像信息的无人机目标跟踪方法，其特征在于，步骤3)具体包括下列步骤：

31)采用MPII中的训练集与深度摄像头获取的目标图像作为训练数据，对改进的open-pose网络框架进行训练，生成可用的预训练模型；

32)采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据，进行参数与性能优化；

33)利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法，实现目标的跟踪与姿态识别。

Images