CN110109482A - 基于ssd神经网络的目标跟踪系统 - Google Patents

Abstract

本发明提供了一种基于SSD神经网络的目标跟踪系统，包括：无人机、遥控终端、上位机；无人机通过通信模块将采集到的视频图像传输给上位机；上位机使用SSD神经网络模型对视频图像进行分析处理，以识别出视频图像中的目标物，并根据目标物的位置变化生成控制逻辑；上位机将控制逻辑发送给遥控终端，由遥控终端将控制逻辑解算为无人机的飞行控制指令；无人机根据控制指令执行对目标物的跟踪。本发明能够通过上位机远程控制无人机进行目标跟踪，无需人为操作，简化了控制步骤，提高了跟踪精度。

Description

基于SSD神经网络的目标跟踪系统

技术领域

本发明涉及电力电子技术领域，具体地，涉及基于SSD神经网络的目标跟踪系统。

背景技术

随着无人机技术的发展，无人机的应用范围也越来越广泛，尤其是在目标连续跟踪方面，无人机起到了非常重要的作用。

目前，传统的无人机只能通过遥控来控制无人机，具有一定的机械性。与此同时，传统的目标识别与跟踪装置往往都是固定不动的，如交通摄像监控、商场监控、银行监控等。因此，很多目标跟踪的方法都是针对静态的装置设计的，这样就大大地局限了目标跟踪的范围，在执行目标跟踪任务时容易丢失目标。为了得到实时视频图像中目标的相对位置信息，首先应该对目标特征进行检测，对于外形轮廓比较明显的目标物体，常常采用轮廓检测、矩形检测、椭圆检测等方法来锁定目标，但是对于特征比较复杂的物体来说，基本的轮廓检测容易导致目标检测的失败。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于SSD神经网络的目标跟踪系统。

根据本发明提供的一种基于单图多检测框探测器(Single Shot MultiBoxDetector，SSD)神经网络的目标跟踪系统，包括：无人机、遥控终端、上位机；所述无人机上搭载有视觉传感器和通信模块，所述视觉传感器用于采集视频图像，所述无人机通过所述通信模块将所述视频图像传输给所述上位机；所述上位机用于对所述视频图像进行分析处理，以识别出所述视频图像中的目标物，并根据所述目标物的位置变化生成控制逻辑；所述上位机将所述控制逻辑发送给所述遥控终端，由所述遥控终端将所述控制逻辑解算为所述无人机的飞行控制指令；所述无人机根据所述控制指令执行对所述目标物的跟踪；其中，所述上位机中加载有经过训练的SSD神经网络模型，所述SSD神经网络模型用于对所述视频图像进行分析处理，以识别出所述视频图像中目标物的位置变化。

所述遥控终端通过USB接口与所述上位机通信连接；所述遥控终端中加载有NRF通讯芯片和处理芯片，所述处理芯片用于将所述控制逻辑解算为所述无人机的飞行控制指令；所述NRF通讯芯片用于将所述飞行控制指令发送给所述无人机，以使得所述无人机根据所述飞行控制指令调整飞行参数；所述飞行参数有：飞行高度、飞行方向、飞行姿态。

可选地，所述无人机上搭载的通信模块为4G通信模块，用于将所述视觉传感器采集的视频图像实时地发送给所述上位机。

可选地，所述上位机还用于：

通过OpenCV分离所述视频图像，得到视频帧；

将所述视频帧输入所述SSD神经网络模型，由所述SSD神经网络模型输出所述视频帧中的目标物位置；

获取所述视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量；

根据所述无人机的当前位置，以及所述目标物位置的变化量确定所述无人机的目标跟踪策略。

可选地，所述SSD神经网络模型具体用于：

通过特征抓取器获取所述视频图像的深度特征图；

通过所述深度特征图的特征来预测目标物的类别与目标物边框。

可选地，所述目标跟踪策略包括：目标搜索模式、目标跟踪模式、目标丢失模式；其中：

所述目标搜索模式是指：在飞行到预设高度时，通过所述视觉传感器采集视频图像，并将所述视频图像分离为视频帧；通过所述SSD神经网络模型对所述视频帧进行分析，若识别出目标物，则从所述目标搜索模式切换至所述目标跟踪模式；

所述目标跟踪模式是指：当连续的视频帧中均识别到目标物时，根据所述视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量生成控制逻辑；

所述目标丢失模式是指：当上一个视频帧中识别出目标物，且当前视频帧中未识别出目标物时，则从所述目标跟踪模式切换至所述目标丢失模式；在所述目标丢失模式下，通过增加所述无人机的飞行高度来扩大所述无人机的搜索范围，并通过所述SSD神经网络模型对输入的所述视频帧进行分析，直到识别出所述视频帧中的目标物位置；若识别出所述视频帧中的目标物位置，则从所述目标丢失模式切换至所述目标跟踪模式。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于SSD神经网络的目标跟踪系统中遥控终端将上位机处理得到的控制逻辑转换为无人机的飞行控制指令，从而取代了人工操作，简化了控制步骤。另外，本发明基于SSD神经网络来进行目标物的识别，可以有效地提高识别精度，从而使得无人机能够准确地跟踪目标物。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于SSD神经网络的目标跟踪系统的原理框图；

图2为本发明提供的基于SSD神经网络的目标跟踪系统的软件架构图；

图3为本发明提供的目标跟踪算法的流程图；

图4为本发明提供的跟踪策略的转换流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明提供的基于SSD神经网络的目标跟踪系统的原理框图，如图1所示，本发明中的系统可以包括：无人机、遥控终端、上位机；无人机上搭载有视觉传感器和通信模块，视觉传感器用于采集视频图像，无人机通过通信模块将视频图像传输给上位机；上位机用于对视频图像进行分析处理，以识别出视频图像中的目标物，并根据目标物的位置变化生成控制逻辑；上位机将控制逻辑发送给遥控终端，由遥控终端将控制逻辑解算为无人机的飞行控制指令；无人机根据控制指令执行对目标物的跟踪；其中，上位机中加载有经过训练的SSD神经网络模型，SSD神经网络模型用于对视频图像进行分析处理，以识别出视频图像中目标物的位置变化。

在一种可选的实施方式中，无人机上搭载的通信模块为4G通信模块，用于将视觉传感器采集的视频图像实时地发送给上位机。

本实施例中，利用4G通信模块将采集到的视频图像实时高效地传送给上位机。4G网络通可以采用模块GSLINK，一种先进的无人机通信模块，可通过4G网络，将MAVLINK数据和HDMI视频融为一体进行无限距离传输，采用高清H264编码技术，最高支持1080P25fps视频输入。在理想情况下数据通信延迟保持在100ms内，视频延迟在250ms左右，满足图像实时处理的需求。

具体地，无人机通过4G信号将视觉传感器拍摄的视频数据实时传输到上位机，上位机运行目标识别程序计算目标运动信息后转化为无人机飞行动作的控制逻辑。遥控终端将飞行动作控制逻辑进一步解算为无人机姿态的控制指令后，由NRF通信芯片发送给四旋翼，控制无人机的飞行姿态和路径。

在一种可选的实施方式中，上位机还用于：通过OpenCV分离视频图像，得到视频帧；将视频帧输入SSD神经网络模型，由SSD神经网络模型输出视频帧中的目标物位置；获取视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量；根据无人机的当前位置，以及目标物位置的变化量确定无人机的目标跟踪策略。

本实施例中，上位机将视频数据通过OpenCV分离图像帧处理后，将图帧批量送入训练好的SSD神经网络模型识别目标并对比图帧当中目标的位置变化。训练好的SSD神经网络模型是一种以CNN为基础的SSD目标识别算法，采用预训练和迁移学习机制(FineTuning)训练好模型后编译在Linux环境下使用。SSD是一种端到端的模型，所有的识别和检测过程都由同一个网络完成。算法的主要过程可以分为如下几个部分：1)通过深度神经网络提取整个输入图片的深度特征；2)针对不同尺度的深度特征图设计不同大小的特征抓取器，(训练网络时将目标边框与抓取器匹配训练)；3)通过提取这些特征抓取器对应的深度特征图的特征来预测目标类别与目标边框；4)最后通过交叉熵损失来筛选最佳预测结果。所述的地面运动目标的识别与跟踪算法主要由跟踪、检测、综合、学习四个模块组成，各个模块之间相互协调，在目标识别和跟踪的过程中不断优化参数和算法，以提升对目标跟踪的稳定性。

本实施例中，无人机定位算法可以采用ORB_SLAM单目视觉定位算法来实现无人机在室内外的精确定位。针对单目视觉定位无法获取场景深度信息导致的定位尺度问题，采用了最大似然估计的思想，通过最小化似然函数求得定位尺度因子，从而实现了与实际场景吻合的无人机精确定位。

在一种可选的实施方式中，SSD神经网络模型具体用于：通过特征抓取器获取视频图像的深度特征图；通过深度特征图的特征来预测目标物的类别与目标物边框。

具体地，如图2所示，基于SSD神经网络的目标跟踪系统的软件架构包括三个主要部分，目标识别与跟踪、无人机定位、目标跟踪策略。在目标识别与跟踪部分中，通过离线学习机制的目标识别算法SSD获取目标在视频图像中的位置和运动指向信息，并输出到目标跟踪系统的软件架构中去。在无人机定位部分中，通过改进的ORB_SLAM单目视觉定位算法计算无人机在空间的准确位置，并将数据传输到无人机控制系统中，融合气压计传感器信息优化无人机的高度控制。目标跟踪策略部分包括目标搜索、目标跟踪和目标丢失三种模式，针对每种模式设计对应的无人机控制策略，实现无人机对地面运动目标的实时跟踪，并在目标丢失的情况下实现目标寻回功能。目标识别和跟踪主要是根据目标位置在视频图像的不同区域，对无人机的位置姿态做出对应的调整，达到无人机对地面运动目标实时跟踪的目的。

在一种可选的实施方式中，上位机还用于：当处于目标丢失模式下时，对每一视频帧进行高斯模糊处理，得到降噪后的视频帧；对预设时长内的降噪后的视频帧中进行不同尺度的窗口扫描，以确定包含目标物的图像块；通过图像块方差的大小、特征的对比和相似度的检测，剔除图像块的背景，输出目标物位置信息。

具体地，如图3所示，如果只有识别算法进行目标物位置的判定，则在目标运动速度过快的情况下，容易导致目标丢失，从而使目标跟踪中断。跟踪算法可以弥补单一识别算法的缺陷，在目标丢失的情况下，切换基于神经网路的SSD算法到基于特征分析的图像检测算法，对一定时长内的每一帧图像中进行不同尺度的窗口扫描来确认目标的位置。跟踪算法主要依次通过图像块方差的大小、特征的对比和相似度的检测剔除背景图像，输出目标位置信息。在进行窗口扫描之前，首先对图像进行高斯模糊处理，降低图像噪声，以便于后期的图像特征提取和分析。

进一步地，通过目标跟踪得到的目标位置有可能和目标检测得到的目标位置产生冲突，此时则需要通过综合算法来处理二者之间的冲突，最终确定相对准确的目标位置。综合算法的运行主要分为两种情况：识别模块失效和目标位置不统一。如果目标运动速度过快或目标被遮挡，导致目标跟踪过程失败，此时可以利用跟踪模块得到的目标位置信息使目标跟踪模块重新锁定目标，保证识别模块的正常工作，使目标跟踪和目标检测能够相互作用，弥补了单一模块的缺陷。如果目标跟踪和目标检测算法同时检测到运动目标位置，且目标位置不统一时，则需要计算所有目标位置与目标样本的相关相似度来选择相对精确的目标位置。综合模块将目标检测和跟踪模块很好的结合起来，进行互补，保证了运动目标位置估计的精确性。

在一种可选的实施方式中，目标跟踪策略可以包括：目标搜索模式、目标跟踪模式、目标丢失模式；其中：目标搜索模式是指：在飞行到预设高度时，通过视觉传感器采集视图图像，并将视频图像分离为视频帧；通过SSD神经网络模型对视频帧进行分析，若识别出目标物，则从目标搜索模式切换至目标跟踪模式。目标跟踪模式是指：当连续的视频帧中均识别到目标物时，根据视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量生成控制逻辑。目标丢失模式是指：当上一个视频帧中识别出目标物，且当前视频帧中未识别出目标物时，则从目标跟踪模式切换至目标丢失模式；在目标丢失模式下，通过增加无人机的飞行高度来扩大无人机的搜索范围，并通过SSD神经网络模型对输入的视频帧进行分析，直到识别出视频帧中的目标物位置；若识别出视频帧中的目标物位置，则从目标丢失模式切换至目标跟踪模式。

具体地，如附图4所示，是目标跟踪策略模式转换图，在进行目标跟踪任务之前，无人机首先起飞并飞行到指定的高度进行目标搜索，在视频图像中检测到目标物体之后，进入目标跟踪模式，此时无人机根据目标的实时位置信息进行姿态调整，使地面运动目标始终保持在视频图像的中心位置。如果目标超出视频图像范围导致丢失，则目标跟踪策略进入目标丢失模式，此时无人机通过增加高度来扩大摄像范围，进而对运动目标进行重新搜索，一旦发现目标则锁定目标，并重新进入目标跟踪模式，如此反复，实现无人机对地面运动目标的稳定跟踪。

在一种可选的实施方式中，遥控终端通过USB接口与上位机通信连接；遥控终端中加载有NRF通讯芯片和处理芯片，处理芯片用于将控制逻辑解算为无人机的飞行控制指令；NRF通讯芯片用于将飞行控制指令发送给无人机，以使得无人机根据飞行控制指令调整飞行参数；飞行参数有：飞行高度、飞行方向、飞行姿态。

本实施例中，遥控终端通过USB与上位机通讯，接收上位机计算出的无人机动作控制逻辑(如向右转向10°，向前10cm,飞行高度下调5cm)解算为无人机的姿态动作指令(如偏航10°，俯仰3°，加油门值5％，然后悬停)后通过NRF通讯芯片传给无人机，由无人机的控制器输出各个电机的转速，实现对无人机姿态的控制(模拟人工操作)。

本实施例，遥控器通过USB接口与上位机连接，通过NRF通讯芯片与无人机通讯，遥控器将上位机处理得到的目标运动信息读到内置处理器中，处理器芯片将目标运动信息转化为控制逻辑后，通过NRF芯片向四旋翼无人机发送飞行控制指令，从而取代了人工操作。同时，采用4G通讯技术能够满足对图像实时处理的需求。此外，在目标识别与跟踪算法以及无人机定位算法上进行了优化，并且提出了相对完善的目标跟踪策略，能够实现无人机对地面运动目标的识别与跟踪，并在目标丢失的情况下将目标寻回的功能。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种基于SSD神经网络的目标跟踪系统，其特征在于，包括：无人机、遥控终端、上位机；所述无人机上搭载有视觉传感器和通信模块，所述视觉传感器用于采集视频图像，所述无人机通过所述通信模块将所述视频图像传输给所述上位机；所述上位机用于对所述视频图像进行分析处理，以识别出所述视频图像中的目标物，并根据所述目标物的位置变化生成控制逻辑；所述上位机将所述控制逻辑发送给所述遥控终端，由所述遥控终端将所述控制逻辑解算为所述无人机的飞行控制指令；所述无人机根据所述控制指令执行对所述目标物的跟踪；其中，所述上位机中加载有经过训练的SSD神经网络模型，所述SSD神经网络模型用于对所述视频图像进行分析处理，以识别出所述视频图像中目标物的位置变化。

2.根据权利要求1所述的基于SSD神经网络的目标跟踪系统，其特征在于，所述遥控终端通过USB接口与所述上位机连接通信；所述遥控终端中加载有NRF通讯芯片和处理芯片，所述处理芯片用于将所述控制逻辑解算为所述无人机的飞行控制指令；所述NRF通讯芯片用于将所述飞行控制指令发送给所述无人机，以使得所述无人机根据所述飞行控制指令调整飞行参数；所述飞行参数有：飞行高度、飞行方向、飞行姿态。

3.根据权利要求1所述的基于SSD神经网络的目标跟踪系统，其特征在于，所述上位机还用于：

通过OpenCV分离所述视频图像，得到视频帧，将所述视频帧输入所述SSD神经网络模型，由所述SSD神经网络模型输出所述视频帧中的目标物位置；

获取所述视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量；

根据所述无人机的当前位置，以及所述目标物位置的变化量确定所述无人机的目标跟踪策略。

4.根据权利要求3所述的基于SSD神经网络的目标跟踪系统，其特征在于，所述目标跟踪策略包括：目标搜索模式、目标跟踪模式、目标丢失模式。

5.根据权利要求4所述的基于SSD神经网络的目标跟踪系统，其特征在于，

所述目标搜索模式是指：在飞行到预设高度时，通过所述视觉传感器采集视频图像，并将所述视频图像分离为视频帧；通过所述SSD神经网络模型对所述视频帧进行分析，若识别出目标物，则从所述目标搜索模式切换至所述目标跟踪模式；

所述目标跟踪模式是指：当连续的视频帧中均识别到目标物时，根据所述视频帧的目标物位置相对于上一个视频帧的目标物位置的变化量生成控制逻辑；

所述目标丢失模式是指：当上一个视频帧中识别出目标物，且当前视频帧中未识别出目标物时，则从所述目标跟踪模式切换至所述目标丢失模式；在所述目标丢失模式下，通过增加所述无人机的飞行高度来扩大所述无人机的搜索范围，并通过所述SSD神经网络模型对输入的所述视频帧进行分析，直到识别出所述视频帧中的目标物位置；若识别出所述视频帧中的目标物位置，则从所述目标丢失模式切换至所述目标跟踪模式。