CN113724295A - 基于计算机视觉的无人机追踪系统及方法 - Google Patents

Abstract

本发明提供了一种基于计算机视觉的无人机追踪系统及方法，包括：步骤1，基于YOLO‑v4模型的主干特征提取网络架构CSPDarknet53设计改进的YOLO‑v4模型的主干特征提取网络架构CSPDarknet53，基于改进的YOLO‑v4模型的主干特征提取网络架构CSPDarknet53和长短期记忆LSTM网络模型构建YOLO‑LSTM稳定目标追踪模型。本发明通过将无人机目标追踪的高延迟、高耗能的目标追踪计算任务移至边缘端模块的边缘服务器与终端模块的无人机的嵌入式板载计算机，减少了无人机与地面站的数据传输，提高了无人机对目标追踪的实时性，当目标物体位于边缘端模块的感知范围内，通过边缘端模块的路侧单元的监控摄像头和边缘服务器追踪目标，降低了无人机实时处理图像信息的能耗。

Description

基于计算机视觉的无人机追踪系统及方法

技术领域

本发明涉及无人机追踪技术领域，特别涉及一种基于计算机视觉的无人机追踪系统及方法。

背景技术

随着智慧城市的发展以及5G通信技术的普及，云计算与物联网的应用变得更加智能。无人机作为智慧城市的重要组成部分，肩负着安防、智慧交通、自然灾害监控等重要职责。无人机其本身具有体积小、高机动性的特性，使得在无人机能够提供智慧城市日常服务及快速响应智慧城市中的突发事件。

目前利用计算机视觉技术进行无人机目标追踪的方法主要包括三种。一是利用路测单元进行目标追踪，将目标位置传输给地面站，然后地面站导航无人机至目标位置，这种方法存在视觉盲区，当目标逃离至视觉盲区将丢失目标。第二种是利用无人机的摄像头拍摄到的图像信息，通过图像传输模块传送到远距离的地面站，然后利用地面站强大的计算能力对无人机传送的图像进行处理。这种方法在未来智慧城市中具有一定的局限性，随着无人机规模的不断增大，与远距离的地面站的通信延迟不能忽略，限制了无人机的机动灵活性。第三种方法是，在无人机上搭载嵌入式的嵌入式板载计算机，将目标追踪的计算任务放置在无人机终端进行。这样可以降低无人机与地面站的传输图像信息的延迟。近年来，随着基于深度学习的计算机视觉的发展，涌现出了大量轻量级的神经网络，例如YOLO和SSD等目标检测网络。这些轻量级的神经网络使得在无人机端处理图像计算任务成为可能。但是实时运行这些高耗能的神经网络模型以及嵌入式板载计算机重量增加了无人机的能耗，降低了无人机有限的续航时间。

发明内容

本发明提供了一种基于计算机视觉的无人机追踪系统及方法，其目的是为了解决传统的无人机目标追踪方法增加了无人机的能耗，降低了无人机有限的续航时间。

为了达到上述目的，本发明的实施例提供了一种基于计算机视觉的无人机追踪系统，包括：

云端服务器模块，所述云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块；

边缘端模块，所述边缘端模块与所述云端服务器模块连接，所述边缘端模块包括路侧单元和多个边缘服务器，所述边缘端模块接收云端服务器模块发送的YOLO-LSTM稳定目标追踪模型并存储在边缘服务器中，所述路侧单元包括智慧灯杆和监控摄像头，所述路侧单元通过监控摄像头捕捉画面，所述路侧单元通过串口将捕捉到的画面输送到相对应的所述边缘服务器中，所述边缘服务器通过YOLO-LSTM稳定目标追踪模型将捕捉到的画面进行计算分析，得到目标位置信息；

终端模块，所述终端模块与边缘端模块连接，所述终端模块包括多个无人机，多个所述无人机上均设置有机载摄像头和嵌入式板载计算机，每个所述嵌入式板载计算机上部署有YOLO-LSTM稳定目标追踪模型，通过所述机载摄像头和所述嵌入式板载计算机上部署的YOLO-LSTM稳定目标追踪模型对目标进行追踪，得到目标位置信息。

本发明的实施例还提供了一种基于计算机视觉的无人机追踪方法，包括：

步骤1，基于YOLO-v4模型的主干特征提取网络架构CSPDarknet53设计改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53，基于改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53和长短期记忆LSTM网络模型构建YOLO-LSTM稳定目标追踪模型；

步骤2，通过云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块，边缘端模块将YOLO-LSTM稳定目标追踪模型存储在每个边缘服务器中；

步骤3，在终端模块中的每个无人机的嵌入式板载计算机上部署YOLO-LSTM稳定目标追踪模型；

步骤4，判断待追踪目标的位置位于终端模块的覆盖范围内或边缘端模块的覆盖范围内；

步骤5，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块对待追踪目标进行获取和实时追踪，得到终端模块追踪结果，对终端模块追踪结果进行导航解算；

步骤6，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块对待追踪目标进行获取和实时追踪，得到边缘端模块追踪结果，对边缘端模块追踪结果进行导航解算。

其中，所述步骤5具体包括：

步骤51，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块中无人机的机载摄像头获取第一待追踪目标，将所述第一待追踪目标通过串口传输至无人机的嵌入式板载计算机中；

步骤52，通过部署在嵌入式板载计算机的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对所述第一待追踪目标进行特征提取，得到第一目标视觉特征向量；

步骤53，将所述第一目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第一待追踪目标位置信息；

步骤54，对所述第一待追踪目标位置信息进行导航解算。

其中，所述步骤6具体包括：

步骤61，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块中路侧单元的监控摄像头获取第二待追踪目标，将所述第二待追踪目标通过串口传输至对应的边缘服务器中；

步骤62，通过边缘服务器中预先存储的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对获取的所述第二待追踪目标进行特征提取，得到第二目标视觉特征向量；

步骤63，将所述第二目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第二待追踪目标位置信息；

步骤64，对第二待追踪目标位置信息进行导航解算。

其中，所述长短期记忆LSTM模型包括3个门控单元、候选记忆细胞、记忆细胞和隐藏单元，3个门控单元为输入门、遗忘门和输出门，门控单元受到前一视频帧所传递隐藏单元控制，其中，记忆细胞与隐藏单元用于传递时序特征至下一帧视频进行推断，设待追踪目标的视频帧_i经改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53特征提取后的目标视觉特征向量记为X_i，输入门的计算公式，如下所示：

I_i＝σ(X_iW_I+H_i-1W_HI+b_I) (1)

其中，I_i表示输入门，W_I表示输入门对应输入数据的权重，b_I表示输入门对应输入数据的偏差，σ表示Sigmoid激活函数，H_i-1表示前一帧视频隐藏状态，W_HI表示输入门受到前一视频帧所传递隐藏单元控制的权重参数；

遗忘门的计算公式，如下所示：

F_i＝σ(X_iW_F+H_i-1W_HF+b_F) (2)

其中，F_i表示遗忘门，W_F表示遗忘门对应输入数据的权重，b_F表示遗忘门对应输入数据的偏差，W_HF表示遗忘门受到前一视频帧所传递隐藏单元控制的权重参数；

输出门的计算公式，如下所示：

O_i＝σ(X_iW_O+H_i-1W_HO+b_O) (3)

其中，O_i表示输出门，W_O表示输出门对应输入数据的权重，b_O表示输出门对应输入数据的偏差，W_HO表示输出门受到前一视频帧所传递隐藏单元控制的权重参数；

通过门控单元控制候选记忆细胞、记忆细胞和隐藏单元，候选记忆细胞的计算公式，如下所示：

其中，

表示候选记忆细胞，W_C表示候选记忆细胞对应输入数据的权重，b_C表示候选记忆细胞对应输入数据的偏差，W_HC表示候选记忆细胞受到前一视频帧所传递隐藏单元控制的权重参数；

记忆细胞的计算公式，如下所示：

其中，C_i表示记忆细胞，C_i-1表示前一帧视频所传递的记忆细胞；

隐藏单元的计算公式，如下所示：

H_i＝O_i·tanh(C_i) (6)

其中，H_i表示隐藏单元。

其中，所述步骤54具体包括：

将机载摄像头坐标系下目标图像的坐标点P_C经过机载摄像头坐标系旋转变换矩阵得到旋转后的机载摄像头坐标系下目标图像的坐标P_W′，如下所示：

其中，(e_x，e_y，e_z)表示无人机坐标系下的单位正交基，

表示机载摄像头坐标系下的单位正交基，P_C＝(x_c，y_c，z_c)表示机载摄像头坐标系下目标图像的坐标点，z_c通过双目摄像头测距功能得到，P_W′表示旋转后的机载摄像头坐标系下目标图像的坐标，

表示机载摄像头坐标系旋转变换矩阵。

其中，所述步骤54还包括：

将旋转后的机载摄像头坐标系下目标图像的坐标P_W′经过机载摄像头坐标系平移向量t_c＝(x_tc，y_tc，z_tc)得到无人机坐标系下目标图像的坐标P_W，如下所示：

其中，所述步骤64具体包括：

将路侧单元的监控摄像头坐标系下的目标图像坐标点P_EC经过路侧单元的监控摄像头坐标系旋转变换矩阵得到旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E′，如下所示：

其中，P_EC＝(x_EC，y_EC，z_EC)表示路侧单元的监控摄像头坐标系下的目标图像坐标点，

表示边缘设备坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系旋转变换矩阵。

其中，所述步骤64还包括：

将旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E′经过路侧单元的监控摄像头坐标系平移向量t_EC＝(x_tEC，y_tEC，z_tEC)得到边缘设备坐标系下的目标图像坐标P_E，如下所示：

其中，所述步骤64还包括：

将边缘设备坐标系下的目标图像坐标P_E经过边缘设备坐标系旋转变换矩阵得到旋转后的边缘设备坐标系下的目标图像坐标P_W′，如下所示：

其中，

表示边缘设备坐标系旋转变换矩阵；

将旋转后的边缘设备坐标系下的目标图像坐标P_W′经过边缘设备坐标系平移向量t_E＝(x_tE，y_tE，z_tE)得到无人机坐标系下目标图像坐标P_W，如下所示：

其中，P_W表示无人机坐标系下目标图像坐标，t_E表示边缘设备坐标系平移向量。

本发明的上述方案有如下的有益效果：

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，通过将无人机目标追踪的高延迟、高耗能的目标追踪计算任务移至边缘端模块的边缘服务器与终端模块的无人机的嵌入式板载计算机，减少了无人机与地面站的数据传输，提高了无人机对目标追踪的实时性，当目标物体位于边缘端模块的感知范围内，通过边缘端模块的路侧单元的监控摄像头和边缘服务器追踪目标，降低了无人机实时处理图像信息的能耗。

附图说明

图1为本发明的流程图；

图2为本发明的结构示意图；

图3为本发明的YOLO-v4模型的主干特征提取网络架构CSPDarknet53示意图；

图4为本发明的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53示意图；

图5为本发明的YOLO-LSTM稳定目标追踪模型示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的无人机目标追踪方法增加了无人机的能耗，降低了无人机有限的续航时间的问题，提供了一种基于计算机视觉的无人机追踪系统及方法。

如图1至图5所示，本发明的实施例提供了一种基于计算机视觉的无人机追踪系统，包括：云端服务器模块，所述云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块；边缘端模块，所述边缘端模块与所述云端服务器模块连接，所述边缘端模块包括路侧单元和多个边缘服务器，所述边缘端模块接收云端服务器模块发送的YOLO-LSTM稳定目标追踪模型并存储在边缘服务器中，所述路侧单元包括智慧灯杆和监控摄像头，所述路侧单元通过监控摄像头捕捉画面，所述路侧单元通过串口将捕捉到的画面输送到相对应的所述边缘服务器中，所述边缘服务器通过YOLO-LSTM稳定目标追踪模型将捕捉到的画面进行计算分析，得到目标位置信息；终端模块，所述终端模块与边缘端模块连接，所述终端模块包括多个无人机，多个所述无人机上均设置有机载摄像头和嵌入式板载计算机，每个所述嵌入式板载计算机上部署有YOLO-LSTM稳定目标追踪模型，通过所述机载摄像头和所述嵌入式板载计算机上部署的YOLO-LSTM稳定目标追踪模型对目标进行追踪，得到目标位置信息。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，云端服务器模块提供模型管理、边缘端结点管理等服务，为边缘服务器提供YOLO-LSTM稳定目标追踪模型、维护边缘设备的安全。边缘端模块由路侧单元和边缘服务器共同部署，常见的路侧单元有智慧灯杆、监控摄像头等。这些路侧单元与边缘服务器一起部署，路侧单元通过摄像头捕捉到的画面，经边缘服务器计算分析后将目标位置信息发送给无人机。终端无人机部分搭载摄像头和嵌入式板载计算机，当目标到达路侧单元视觉盲区时，则采用无人机机载摄像头与板载计算机对目标进行追踪。

本发明的实施例还提供了一种基于计算机视觉的无人机追踪方法，包括：步骤1，基于YOLO-v4模型的主干特征提取网络架构CSPDarknet53设计改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53，基于改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53和长短期记忆LSTM网络模型构建YOLO-LSTM稳定目标追踪模型；步骤2，通过云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块，边缘端模块将YOLO-LSTM稳定目标追踪模型存储在每个边缘服务器中；步骤3，在终端模块中的每个无人机的嵌入式板载计算机上部署YOLO-LSTM稳定目标追踪模型；步骤4，判断待追踪目标的位置位于终端模块的覆盖范围内或边缘端模块的覆盖范围内；步骤5，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块对待追踪目标进行获取和实时追踪，得到终端模块追踪结果，对终端模块追踪结果进行导航解算；步骤6，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块对待追踪目标进行获取和实时追踪，得到边缘端模块追踪结果，对边缘端模块追踪结果进行导航解算。

其中，所述步骤5具体包括：步骤51，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块中无人机的机载摄像头获取第一待追踪目标，将所述第一待追踪目标通过串口传输至无人机的嵌入式板载计算机中；步骤52，通过部署在嵌入式板载计算机的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对所述第一待追踪目标进行特征提取，得到第一目标视觉特征向量；步骤53，将所述第一目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第一待追踪目标位置信息；步骤54，对所述第一待追踪目标位置信息进行导航解算。

其中，所述步骤6具体包括：步骤61，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块中路侧单元的监控摄像头获取第二待追踪目标，将所述第二待追踪目标通过串口传输至对应的边缘服务器中；步骤62，通过边缘服务器中预先存储的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对获取的所述第二待追踪目标进行特征提取，得到第二目标视觉特征向量；步骤63，将所述第二目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第二待追踪目标位置信息；步骤64，对第二待追踪目标位置信息进行导航解算。

其中，所述长短期记忆LSTM模型包括3个门控单元、候选记忆细胞、记忆细胞和隐藏单元，3个门控单元为输入门、遗忘门和输出门，门控单元受到前一视频帧所传递隐藏单元控制，其中，记忆细胞与隐藏单元用于传递时序特征至下一帧视频进行推断，设待追踪目标的视频帧_i经改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53特征提取后的目标视觉特征向量记为X_i，输入门的计算公式，如下所示：

I_i＝σ(X_iW_I+H_i-1W_HI+b_I) (1)

其中，I_i表示输入门，W_I表示输入门对应输入数据的权重，b_I表示输入门对应输入数据的偏差，σ表示Sigmoid激活函数，H_i-1表示前一帧视频隐藏状态，W_HI表示输入门受到前一视频帧所传递隐藏单元控制的权重参数；

遗忘门的计算公式，如下所示：

F_i＝σ(X_iW_F+H_i-1W_HF+b_F) (2)

其中，F_i表示遗忘门，W_F表示遗忘门对应输入数据的权重，b_F表示遗忘门对应输入数据的偏差，W_HF表示遗忘门受到前一视频帧所传递隐藏单元控制的权重参数；

输出门的计算公式，如下所示：

O_i＝σ(X_iW_O+H_i-1W_HO+b_O) (3)

其中，O_i表示输出门，W_O表示输出门对应输入数据的权重，b_O表示输出门对应输入数据的偏差，W_HO表示输出门受到前一视频帧所传递隐藏单元控制的权重参数；

通过门控单元控制候选记忆细胞、记忆细胞和隐藏单元，候选记忆细胞的计算公式，如下所示：

其中，

表示候选记忆细胞，W_C表示候选记忆细胞对应输入数据的权重，b_C表示候选记忆细胞对应输入数据的偏差，W_HC表示候选记忆细胞受到前一视频帧所传递隐藏单元控制的权重参数；

记忆细胞的计算公式，如下所示：

其中，C_i表示记忆细胞，C_i-1表示前一帧视频所传递的记忆细胞；

隐藏单元的计算公式，如下所示：

H_i＝O_i·tanh(C_i) (6)

其中，H_i表示隐藏单元。

其中，所述步骤54具体包括：将机载摄像头坐标系下目标图像的坐标点P_C经过机载摄像头坐标系旋转变换矩阵得到旋转后的机载摄像头坐标系下目标图像的坐标P_W′，如下所示：

其中，(e_x，e_y，e_z)表示无人机坐标系下的单位正交基，

表示机载摄像头坐标系下的单位正交基，P_C＝(x_c，y_c，z_c)表示机载摄像头坐标系下目标图像的坐标点，z_c通过双目摄像头测距功能得到，P_W′表示旋转后的机载摄像头坐标系下目标图像的坐标，

表示机载摄像头坐标系旋转变换矩阵。

其中，所述步骤54还包括：将旋转后的机载摄像头坐标系下目标图像的坐标P_W′经过机载摄像头坐标系平移向量t_c＝(x_tc，y_tc，z_tc)得到无人机坐标系下目标图像的坐标P_W，如下所示：

其中，所述步骤64具体包括：将路侧单元的监控摄像头坐标系下的目标图像坐标点P_EC经过路侧单元的监控摄像头坐标系旋转变换矩阵得到旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E′，如下所示：

其中，P_EC＝(x_EC，y_EC，z_EC)表示路侧单元的监控摄像头坐标系下的目标图像坐标点，

表示边缘设备坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系旋转变换矩阵。

其中，所述步骤64还包括：将旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E′经过路侧单元的监控摄像头坐标系平移向量t_EC＝(x_tEC，y_tEC，z_tEC)得到边缘设备坐标系下的目标图像坐标P_E，如下所示：

其中，所述步骤64还包括：将边缘设备坐标系下的目标图像坐标P_E经过边缘设备坐标系旋转变换矩阵得到旋转后的边缘设备坐标系下的目标图像坐标P_W′，如下所示：

其中，

表示边缘设备坐标系旋转变换矩阵；

将旋转后的边缘设备坐标系下的目标图像坐标P_W′经过边缘设备坐标系平移向量t_E＝(x_tE，y_tE，z_tE)得到无人机坐标系下目标图像坐标P_W，如下所示：

其中，P_W表示无人机坐标系下目标图像坐标，t_E表示边缘设备坐标系平移向量。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，当待追踪目标在边缘端模块的路侧单元的感知范围内，则利用边缘端模块的路侧单元的的监控摄像头和边缘服务器协助无人机进行目标追踪，以减轻无人机的负载、减少能耗。当边缘端模块的路侧单元的监控摄像头捕捉到目标时，所得到的坐标是基于路侧单元的监控摄像头的坐标系，因此需要进行坐标转换以导航无人机进行目标追踪。其转换过程需要先从边缘端模块的路侧单元的相机坐标系转换到边缘设备坐标系下，然后从边缘设备坐标系转换到无人机坐标系，方便导航无人机进行目标追踪。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，基于改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53和长短期记忆LSTM模型构建了YOLO-LSTM稳定目标追踪模型，YOLO模型是一阶段检测模型，对比于二阶段检测模型FasterRCNN等目标检测网络模型来说更加轻量化，符合无人机嵌入式板载计算机和边缘服务器对实时性需求。如图3所示，YOLO-v4的主干特征提取网络架构为CSPDarknet53，通过5次下采样得到目标视觉特征，目标视觉特征大小为(13,13,1024)。所述基于计算机视觉的无人机追踪方法采用改进的YOLO-v4模型的主干特征提取网络进行目标视觉特征提取与融合，当无人机和边缘端模块的路侧单元摄像头对地面物体进行追踪时，地面物体通常在高空摄像头中呈现出目标物体较小的情况。为应对小目标物体的追踪，改进了YOLO-v4模型主干特征提取网络，如图3所示，通过5次下采样得到目标视觉特征，目标视觉特征大小为(13,13,1024)，在CSPDarknet53的第3次、第4次下采样后得到的大小为(52,52,256),(26,26,512)目标视觉特征向量，将得到的目标视觉特征向量再分别进行2次、1次的下采样，分别得到大小为(13,13,256)，(13,13,512)的目标视觉特征向量，然后将大小为(13,13,256)，(13,13,512)的目标视觉特征向量与主干特征提取网络所得到大小为(13,13,1024)的目标视觉特征进行堆叠融合，充分利用小目标物体在浅层网络的信息表达，得到大小为(13,13,1792)的目标视觉特征向量。如图4所示为YOLO-LSTM稳定目标追踪模型对目标进行稳定跟踪示意图，将无人机的机载摄像头或路侧单元的监控摄像头获取的待追踪目标的视频序列输入至YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53进行特征提取，返回待追踪目标的视觉特征向量，其形状大小为(13,13,1792)，累计连续的N个视频帧的目标视觉特征作为一段时序特征输入至长短期记忆LSTM模型中，其中，长短期记忆LSTM模型共享YOLO-LSTM稳定目标追踪模型参数，并向下一帧长短期记忆LSTM模型传递当前帧的记忆细胞C_i与隐藏单元H_i，利用目标轨迹空间上的连续性，长短期记忆LSTM模型预测目标的位置坐标，通过采用长短期记忆LSTM模型减少了因为目标遮挡、模糊等情况而产生的目标位置信息的消失和突变，降低目标物体位置信息的跳跃性，从而形成稳定目标位置信息。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，所述基于计算机视觉的无人机追踪系统可以灵活调度无人机与路侧单元摄像头追踪目标，当目标物体位于路侧单元的感知范围内，使用路侧单元的边缘服务器进行对目标的检测与跟踪，可以降低无人机运行实时目标追踪的能耗。当目标物体位于路侧单元感知范围之外，使用无人机板载计算机实时追踪目标，可以降低无人机与地面站的大量数据传输延迟；对于无人机目标追踪模型方面，使用改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53加速无人机板载计算机与路侧单元边缘服务器进行目标检测；使用长短期记忆LSTM网络模型平滑目标位置信息，防止出现目标位置突变与消失，形成稳定的目标位置信息；对于导航解算方面，使用无人机机载摄像头追踪目标物体，需将无人机机载摄像头的相机坐标系转换至无人机坐标系，即世界坐标系；使用边缘端模块的路侧单元的摄像头追踪目标物体，需将路侧单元的相机坐标系转换至路侧单元坐标系，然后转换至无人机坐标系。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，本改变了传统的无人机目标追踪模式，有效的扩大了无人机感知范围，通过将无人机目标追踪的计算任务移至边缘端模块的路侧单元的边缘服务器与无人机板载计算机中，有效的降低了传统无人机目标追踪模式中将图像传输地面站的时间延迟和无人机能耗。

本发明的上述实施例所述的基于计算机视觉的无人机追踪系统及方法，本系统将目标追踪与导航解算部分移至无人机板载计算机和边缘端路侧单元的边缘服务器上进行，改变了传统的无人机目标追踪模式，有效的扩大了无人机感知范围，通过将无人机目标追踪的计算任务移至边缘端模块的路侧单元的边缘服务器与无人机板载计算机中，有效的降低了传统无人机目标追踪模式中将图像传输地面站的时间延迟和无人机能耗，当待追踪目标在边缘端模块监测范围内时，采用边缘端模块的路侧单元的监控摄像头和边缘服务器进行对目标的跟踪，从而降低无人机与远距离地面站的图像数据传输所带来的延迟，不同于无人机完全在板载计算机进行图像处理与导航解算，本系统终端无人机与边缘端路侧单元协同，只有当待追踪目标脱离边缘端模块监测范围进入视觉盲区时，则采用终端无人机摄像头和板载计算机进行目标追踪，从而降低终端无人机板载计算机运算量，减少终端无人机的能耗。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于计算机视觉的无人机追踪系统，其特征在于，包括：

云端服务器模块，所述云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块；

边缘端模块，所述边缘端模块与所述云端服务器模块连接，所述边缘端模块包括路侧单元和多个边缘服务器，所述边缘端模块接收云端服务器模块发送的YOLO-LSTM稳定目标追踪模型并存储在边缘服务器中，所述路侧单元包括智慧灯杆和监控摄像头，所述路侧单元通过监控摄像头捕捉画面，所述路侧单元通过串口将捕捉到的画面输送到相对应的所述边缘服务器中，所述边缘服务器通过YOLO-LSTM稳定目标追踪模型将捕捉到的画面进行计算分析，得到目标位置信息；

终端模块，所述终端模块与边缘端模块连接，所述终端模块包括多个无人机，多个所述无人机上均设置有机载摄像头和嵌入式板载计算机，每个所述嵌入式板载计算机上部署有YOLO-LSTM稳定目标追踪模型，通过所述机载摄像头和所述嵌入式板载计算机上部署的YOLO-LSTM稳定目标追踪模型对目标进行追踪，得到目标位置信息。

2.一种基于计算机视觉的无人机追踪方法，应用于如权利要求1所述的基于计算机视觉的无人机追踪系统，其特征在于，包括：

步骤1，基于YOLO-v4模型的主干特征提取网络架构CSPDarknet53设计改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53，基于改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53和长短期记忆LSTM网络模型构建YOLO-LSTM稳定目标追踪模型；

步骤2，通过云端服务器模块将YOLO-LSTM稳定目标追踪模型发送到边缘端模块，边缘端模块将YOLO-LSTM稳定目标追踪模型存储在每个边缘服务器中；

步骤3，在终端模块中的每个无人机的嵌入式板载计算机上部署YOLO-LSTM稳定目标追踪模型；

步骤4，判断待追踪目标的位置位于终端模块的覆盖范围内或边缘端模块的覆盖范围内；

步骤5，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块对待追踪目标进行获取和实时追踪，得到终端模块追踪结果，对终端模块追踪结果进行导航解算；

步骤6，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块对待追踪目标进行获取和实时追踪，得到边缘端模块追踪结果，对边缘端模块追踪结果进行导航解算。

3.根据权利要求2所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤5具体包括：

步骤51，当待追踪目标位于终端模块的覆盖范围内时，通过终端模块中无人机的机载摄像头获取第一待追踪目标，将所述第一待追踪目标通过串口传输至无人机的嵌入式板载计算机中；

步骤52，通过部署在嵌入式板载计算机的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对所述第一待追踪目标进行特征提取，得到第一目标视觉特征向量；

步骤53，将所述第一目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第一待追踪目标位置信息；

步骤54，对所述第一待追踪目标位置信息进行导航解算。

4.根据权利要求2所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤6具体包括：

步骤61，当待追踪目标位于边缘端模块的覆盖范围内时，通过边缘端模块中路侧单元的监控摄像头获取第二待追踪目标，将所述第二待追踪目标通过串口传输至对应的边缘服务器中；

步骤62，通过边缘服务器中预先存储的YOLO-LSTM稳定目标追踪模型中的改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53对获取的所述第二待追踪目标进行特征提取，得到第二目标视觉特征向量；

步骤63，将所述第二目标视觉特征向量输入YOLO-LSTM稳定目标追踪模型中的长短期记忆LSTM模型进行追踪，得到稳定的第二待追踪目标位置信息；

步骤64，对第二待追踪目标位置信息进行导航解算。

5.根据权利要求2所述的基于计算机视觉的无人机追踪方法，其特征在于，所述长短期记忆LSTM模型包括3个门控单元、候选记忆细胞、记忆细胞和隐藏单元，3个门控单元为输入门、遗忘门和输出门，门控单元受到前一视频帧所传递隐藏单元控制，其中，记忆细胞与隐藏单元用于传递时序特征至下一帧视频进行推断，设待追踪目标的视频帧i经改进的YOLO-v4模型的主干特征提取网络架构CSPDarknet53特征提取后的目标视觉特征向量记为X_i，输入门的计算公式，如下所示：

I_i＝σ(X_iW_I+H_i-1W_HI+b_I) (1)

其中，I_i表示输入门，W_I表示输入门对应输入数据的权重，b_I表示输入门对应输入数据的偏差，σ表示Sigmoid激活函数，H_i-1表示前一帧视频隐藏状态，W_HI表示输入门受到前一视频帧所传递隐藏单元控制的权重参数；

遗忘门的计算公式，如下所示：

F_i＝σ(X_iW_F+H_i-1W_HF+b_F) (2)

其中，F_i表示遗忘门，W_F表示遗忘门对应输入数据的权重，b_F表示遗忘门对应输入数据的偏差，W_HF表示遗忘门受到前一视频帧所传递隐藏单元控制的权重参数；

输出门的计算公式，如下所示：

O_i＝σ(X_iW_O+H_i-1W_HO+b_O) (3)

其中，O_i表示输出门，W_O表示输出门对应输入数据的权重，b_O表示输出门对应输入数据的偏差，W_HO表示输出门受到前一视频帧所传递隐藏单元控制的权重参数；

通过门控单元控制候选记忆细胞、记忆细胞和隐藏单元，候选记忆细胞的计算公式，如下所示：

其中，

表示候选记忆细胞，W_C表示候选记忆细胞对应输入数据的权重，b_C表示候选记忆细胞对应输入数据的偏差，W_HC表示候选记忆细胞受到前一视频帧所传递隐藏单元控制的权重参数；

记忆细胞的计算公式，如下所示：

其中，C_i表示记忆细胞，C_i-1表示前一帧视频所传递的记忆细胞；

隐藏单元的计算公式，如下所示：

H_i＝O_i·tanh(C_i) (6)

其中，H_i表示隐藏单元。

6.根据权利要求3所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤54具体包括：

将机载摄像头坐标系下目标图像的坐标点P_C经过机载摄像头坐标系旋转变换矩阵得到旋转后的机载摄像头坐标系下目标图像的坐标P_W'，如下所示：

其中，(e_x,e_y,e_z)表示无人机坐标系下的单位正交基，

表示机载摄像头坐标系下的单位正交基，P_C＝(x_c,y_c,z_c)表示机载摄像头坐标系下目标图像的坐标点，z_c通过双目摄像头测距功能得到，P_W'表示旋转后的机载摄像头坐标系下目标图像的坐标，

表示机载摄像头坐标系旋转变换矩阵。

7.根据权利要求6所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤54还包括：

将旋转后的机载摄像头坐标系下目标图像的坐标P_W'经过机载摄像头坐标系平移向量t_c＝(x_tc,y_tc,z_tc)得到无人机坐标系下目标图像的坐标P_W，如下所示：

8.根据权利要求4所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤64具体包括：

将路侧单元的监控摄像头坐标系下的目标图像坐标点P_EC经过路侧单元的监控摄像头坐标系旋转变换矩阵得到旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E'，如下所示：

其中，P_EC＝(x_EC,y_EC,z_EC)表示路侧单元的监控摄像头坐标系下的目标图像坐标点，

表示边缘设备坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系下的单位正交基，

表示路侧单元的监控摄像头坐标系旋转变换矩阵。

9.根据权利要求8所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤64还包括：

将旋转后的路侧单元的监控摄像头坐标系下的目标图像坐标P_E'经过路侧单元的监控摄像头坐标系平移向量t_EC＝(x_tEC,y_tEC,z_tEC)得到边缘设备坐标系下的目标图像坐标P_E，如下所示：

10.根据权利要求9所述的基于计算机视觉的无人机追踪方法，其特征在于，所述步骤64还包括：

将边缘设备坐标系下的目标图像坐标P_E经过边缘设备坐标系旋转变换矩阵得到旋转后的边缘设备坐标系下的目标图像坐标P_W'，如下所示：

其中，

表示边缘设备坐标系旋转变换矩阵；

将旋转后的边缘设备坐标系下的目标图像坐标P_W'经过边缘设备坐标系平移向量t_E＝(x_tE,y_tE,z_tE)得到无人机坐标系下目标图像坐标P_W，如下所示：

其中，P_W表示无人机坐标系下目标图像坐标，t_E表示边缘设备坐标系平移向量。

Images