CN116991182A - 无人机云台控制方法、装置、系统、计算机装置及介质 - Google Patents

Abstract

本发明提供了一种无人机云台控制方法、装置、系统、计算机装置及介质，涉及无人机控制技术领域，包括：获取云台相机采集的图像帧集合；将预设的目标物类别文本和图像帧集合中的指定图像帧发送至服务器端，以使服务器端通过目标检测模型，基于目标物类别文本和指定图像帧确定第一目标物检测框；通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标；基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域。本发明可以实时地对目标物进行跟踪，还可以对无人机端搭载的云台相机进行自动控制。

Description

无人机云台控制方法、装置、系统、计算机装置及介质

技术领域

本发明涉及无人机控制技术领域，尤其是涉及一种无人机云台控制方法、装置、系统、计算机装置及介质。

背景技术

无人机在目标巡检和目标追踪过程中通常会面临各种各样的场景以及目标物，通常通过传统的闭集目标检测方法或大模型目标检测方法。其中，传统的闭集目标检测方法例如YOLOV5、Faster-RCNN（Faster-region with CNN features）等模型，只能检测预先定义的目标类别，且模型是基于特定领域和特定任务的数据集所做的训练，因此导致该方法通用性差；大模型目标检测方法由于参数量巨大，无法满足无人机的Jetson Xavier NX等显存资源有限的端侧平台上的实时应用场景。综上所述，传统的闭集目标检测方法和大模型目标检测方法均无法满足无人机的实时巡检以及实时追踪应用场景。

发明内容

有鉴于此，本发明的目的在于提供一种无人机云台控制方法、装置、系统、计算机装置及介质，可以实时地对目标物进行跟踪，还可以对无人机端搭载的云台相机进行自动控制。

第一方面，本发明实施例提供了一种无人机云台控制方法，所述方法应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述方法包括：

获取所述云台相机采集的图像帧集合；

将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；

通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；

基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。

在一种实施方式中，所述目标检测模型包括大模型目标检测模型；

将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框的步骤，包括：

基于预设的目标物类别文本和所述图像帧集合中的指定图像帧，向所述服务器端发送目标检测请求，以使所述服务器端接收到所述目标检测请求时，调用所述大模型目标检测模型，并针对所述目标物类别文本和所述指定图像帧反馈第一目标物检测框。

在一种实施方式中，通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标的步骤，包括：

基于所述第一目标物检测框确定模板区域；以及基于所述图像帧集合或者所述第一目标物检测框确定搜索区域；

通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息；其中，所述置信度信息用于表征所述候选检测框属于所述目标物的概率值；

基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息；其中，所述目标属性信息包括中心点和目标尺寸信息；

根据所述第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。

在一种实施方式中，基于所述第一目标物检测框确定模板区域的步骤，包括：

根据预设的第一尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域；

基于所述图像帧集合或者所述第一目标物检测框确定搜索区域的步骤，包括：

如果所述当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域；

或者，如果所述当前图像帧为除所述第二帧图像帧之外的其他图像帧，则根据所述第二尺寸信息，以前一图像帧对应的所述第二目标物检测框的所述指定点为中心，在所述当前图像帧中截取搜索区域。

在一种实施方式中，所述目标跟踪模型包括特征提取单元和置信度预测单元，所述置信度预测单元包括第一分支和第二分支；

通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息的步骤，包括：

通过所述特征提取单元，提取所述模板区域的模板特征信息和所述搜索区域的搜索特征信息；

通过所述置信度预测单元中的所述第一分支，基于所述模板特征信息和所述搜索特征信息，确定当前图像帧包含的每个所述候选检测框对应的位置信息；

以及通过所述置信度预测单元中的所述第二分支，基于所述模板特征信息和所述搜索特征信息，确定所述当前图像帧包含的每个所述候选检测框对应的置信度信息。

在一种实施方式中，基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息的步骤，包括：

根据每个所述候选检测框与所述当前图像帧的中心点之间的距离，对每个所述候选检测框对应的所述置信度信息进行调整，得到每个所述候选检测框对应的目标置信度信息；

按照所述目标置信度信息从高到低的顺序，从所述候选检测框中确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框的初始属性信息；

对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到所述当前图像帧对应的第二目标物检测框的目标属性信息。

在一种实施方式中，对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到所述当前图像帧对应的第二目标物检测框的目标属性信息的步骤，包括：

对前一图像帧对应的所述第二目标物检测框的目标尺寸信息，和所述当前图像帧对应的所述目标物检测框的初始尺寸信息，进行平滑加权处理，得到所述当前图像帧对应的所述第二目标物检测框的目标尺寸信息。

第二方面，本发明实施例还提供一种无人机云台控制装置，所述装置应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述装置包括：

图像获取模块，用于获取所述云台相机采集的图像帧集合；

目标检测模块，用于将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；

目标跟踪模块，用于通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；

云台控制模块，用于基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。

第三方面，本发明实施例还提供一种无人机云台控制系统，包括无人机端和服务器端，所述无人机端与所述服务器端通信连接；其中，

所述无人机端搭载有云台相机，所述无人机端部署有目标跟踪模型，所述无人机端用于执行第一方面提供的任一项所述的方法；

所述服务器端部署有目标检测模型。

第四方面，本发明实施例还提供一种计算机装置，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

本发明实施例提供的一种无人机云台控制方法、装置、系统、计算机装置及介质，在获取云台相机采集的图像帧集合之后，将预设的目标物类别文本和图像帧集合中的指定图像帧发送至服务器端，以使服务器端通过目标检测模型，基于目标物类别文本和指定图像帧确定第一目标物检测框；然后通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标；最后基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域。上述方法分别在服务器端部署目标检测模型，在无人机端部署目标跟踪模型，以结合目标检测模型和目标跟踪模型，利用目标检测模型确定精度较高的第一目标物检测框，以便于目标跟踪模型基于该第一目标物检测框和图像帧集合对目标物进行实时跟踪，得到目标物实时跟踪坐标，进而利用目标物实时跟踪坐标对云台相机进行自动控制。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种无人机云台控制方法的流程示意图；

图2为本发明实施例提供的一种无人机云台控制系统的流程示意图；

图3为本发明实施例提供的一种无人机云台控制装置的结构示意图；

图4为本发明实施例提供的一种计算机装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统的闭集目标检测方法例如YOLOV5、FasterRCNN等模型只能检测预先定义的目标类别，且模型是基于特定领域和特定任务的数据集所做的训练，因此存在通用性差的问题。随着AI（Artificial Intelligence，人工智能）大模型的兴起，基于transformer框架的目标检测算法融合了图像和语言/文本等多模态信息，再基于海量数据做训练，形成了开集目标检测方法，能够理解文本信息，泛化性强，可以称之为大模型目标检测方法。大模型目标检测算法由于参数量巨大，无法满足无人机的Jetson Xavier NX等显存资源有限的端侧平台上的实时应用场景。

基于此，本发明实施提供了一种无人机云台控制方法、装置、系统、计算机装置及介质，可以实时地对目标物进行跟踪，还可以对无人机端搭载的云台相机进行自动控制。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种无人机云台控制方法进行详细介绍，该方法应用于无人机端，无人机端搭载有云台相机，无人机端与服务器端通信连接，无人机端部署有目标跟踪模型，服务器端部署有目标检测模型，参见图1所示的一种无人机云台控制方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：

步骤S102，获取云台相机采集的图像帧集合。其中，图像帧集合包括连续的多张图像帧。

步骤S104，将预设的目标物类别文本和图像帧集合中的指定图像帧发送至服务器端，以使服务器端通过目标检测模型，基于目标物类别文本和指定图像帧确定第一目标物检测框。

其中，目标检测模型也即大模型目标检测模型，大模型是指具有大量参数和复杂结构的机器学习模型；目标物类别文本用于描述待跟踪的目标物的类别信息，诸如车辆等；指定图像帧可以为图像帧集合中的初始图像帧，也可以为其他图像帧，具体可基于实际需求进行设置；第一目标物检测框也即目标检测模型输出的目标物的包围框。

在一种实施方式中，服务器端部署有大模型目标检测模型，通过将目标物类别文本和指定图像帧发送至服务器端，服务器端将调用大模型目标检测模型，并将目标物类别文本和指定图像帧作为大模型目标检测模型的输入，大模型目标检测模型将输出第一目标物检测框。

步骤S106，通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标。

其中，目标跟踪模型包括特征提取单元和置信度预测单元，置信度预测单元包括第一（box）分支和第二（class）分支；目标物实时跟踪目标为目标物的二维坐标框。

在一种实施方式中，可以基于图像帧集合和第一目标物检测框确定出模板区域和搜索区域，将模板区域和搜索区域分别作为特征提取单元的输入，以分别提取出模板特征信息和搜索特征信息，再将模板特征信息和搜索特征信息作为第一分支和第二分支的输入，第一分支将输出当前图像帧包含的每个候选检测框对应的位置信息，第二分支将输出当前图像帧包含的每个候选检测框对应的置信度信息，最后基于每个候选检测框对应的位置信息和置信度信息确定目标物实时跟踪坐标。

步骤S108，基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域。

其中，指定区域可以为云台相机的画面中心区域。在一种实施方式中，可以根据目标物实时跟踪坐标确定出云台相机的角度，进而按照角度对云台相机进行控制，使目标物始终位于云台相机的画面中心区域。

本发明实施例提供的无人机云台控制方法，分别在服务器端部署目标检测模型，在无人机端部署目标跟踪模型，以结合目标检测模型和目标跟踪模型，利用目标检测模型确定精度较高的第一目标物检测框，以便于目标跟踪模型基于该第一目标物检测框和图像帧集合对目标物进行实时跟踪，得到目标物实时跟踪坐标，进而利用目标物实时跟踪坐标对云台相机进行自动控制。

为便于理解，本发明实施例提供了一种无人机云台控制方法的具体实施方式。

在执行步骤S102之前，需要将大模型目标检测模型以fastapi服务的形式部署在服务器端；另外，还需要对目标跟踪模型进行ONNX（Open Neural Network Exchange，开放神经网络交换）模型转化和tensorRT推理框架的轻量化加速，将其部署在无人机端的嵌入式平台Nvidia Jetson Xavier NX上。

对于前述步骤S102，为获取图像帧集合，可以控制云台相机实时采集图像帧，将采集的连续图像帧作为图像帧集合。

对于前述步骤S104，可以基于预设的目标物类别文本和图像帧集合中的指定图像帧，向服务器端发送目标检测请求，以使服务器端接收到目标检测请求时，调用大模型目标检测模型，并针对目标物类别文本和指定图像帧反馈第一目标物检测框。在实际应用中，无人机端利用待追踪的目标物类别文本和自身搭载的云台相机采集的一张图像帧（诸如初始图像帧），请求服务器提供一次大模型目标检测服务，服务器将接收到的目标物类别文本和图像帧输入至大模型目标检测模型，大模型目标检测模型将输出第一目标物检测框，无人机端将接收到该第一目标物检测框，以利用该第一目标物检测框初始化无人机端的目标跟踪模型。

对于前述步骤S106，本发明实施例提供了一种通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标的实施方式，参见如下步骤1至步骤4：

步骤1，基于第一目标物检测框确定模板区域；以及基于图像帧集合或者第一目标物检测框确定搜索区域。

（一）确定模板区域：可以根据预设的第一尺寸信息，以第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域。其中，指定点可以为中心点，第一尺寸信息可以为127127。示例性的，在初始图像帧中，以大模型目标检测模型返回的第一目标物检测框的中心点截取127/>127的区域，作为template，即模板区域。

（二）确定搜索区域，具体分为两种情况：

情况一，如果当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域。在实际应用中，在当前图像帧为第二帧图像帧的情况下，此时缺少前一图像帧（也即初始图像帧）对应的第二目标物检测框，此时可以直接在在初始图像帧中，以大模型目标检测模型返回的第一目标物检测框的中心点截取255255的区域，作为search，即搜索区域。

情况二，如果当前图像帧为除第二帧图像帧之外的其他图像帧，则根据第二尺寸信息，以前一图像帧对应的第二目标物检测框的指定点为中心，在所述当前图像帧中截取搜索区域。在实际应用中，对于后续图像帧，可以在当前图像帧中，以前一图像帧对应的第二目标物检测框的中心点截取255255的区域，作为search，即搜索区域。

步骤2，通过目标跟踪模型，基于模板区域和搜索区域，确定图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个候选检测框对应的位置信息和置信度信息。其中，位置信息用于描述候选检测框在当前图像帧中的坐标位置，置信度信息用于表征候选检测框属于目标物的概率值。

在一例中，目标跟踪模型包括特征提取单元和置信度预测单元，特征提取单元也即特征提取backbone部分，可以采用Alexnet网络，置信度预测单元也即置信度预测head部分，可以采用RPN（Recursive Pyramid Network，递归金字塔）网络，置信度预测单元包括第一（box）分支和第二（class）分支。

在此基础上，将模板区域template和搜索区域search送入上述目标跟踪模型，以检测出目标物的候选包围框box和置信度信息score（也可称之为，分数）。具体的，可以按照如下步骤2.1至步骤2.2确定候选包围框的位置信息box和置信度信息score：

步骤2.1，通过特征提取单元，提取模板区域的模板特征信息和搜索区域的搜索特征信息。

在一种实施方式中，对模板区域template和搜索区域search分别进行特征提取。具体的：特征提取backbone部分是Alexnet网络，对这部分进行了onnx模型转化和tensorrt推理框架的轻量化加速。在此基础上，模板区域template通过Alexnet网络提取特征后，得到尺寸为(1, 256, 6, 6)的模板特征信息,搜索区域Search通过Alexnet网络提取特征后，得到尺寸为(1, 256, 22, 22)的搜索特征信息。

步骤2.2，通过置信度预测单元中的第一分支，基于模板特征信息和搜索特征信息，确定当前图像帧包含的每个候选检测框对应的位置信息；以及通过置信度预测单元中的第二分支，基于模板特征信息和搜索特征信息，确定当前图像帧包含的每个候选检测框对应的置信度信息。

在一种实施方式中，将上述模板特征信息和搜索特征信息，分别一起送入RPN网络的class分支和box分支，对该RPN网络进行了onnx模型转化和tensorrt推理框架的轻量化加速。其中，class分支输出尺寸为(1, 10, 17, 17)的类别预测结果（也即，上述置信度信息），box分支输出尺寸为(1, 20, 17, 17)的位置回归结果（也即，位置信息），其中10表示5个anchor，每个anchor属于背景和目标物的类别的概率，20表示5个anchor，每个anchor的[x, y, w, h]偏移量，该偏移量也即上述位置信息。

步骤3，基于置信度信息从候选检测框中，确定当前图像帧对应的第二目标物检测框和第二目标物检测框对应的目标属性信息。其中，目标属性信息包括中心点和目标尺寸信息，目标尺寸信息也即目标宽高信息。

在具体实现时，可以按照如下步骤3.1至步骤3.2确定当前图像帧对应的第二目标物检测框和第二目标物检测框对应的目标属性信息：

步骤3.1，根据每个候选检测框与当前图像帧的中心点之间的距离，对每个候选检测框对应的置信度信息进行调整，得到每个候选检测框对应的目标置信度信息。

在一种实施方式中，可以对置信度信息score进行window penalty，即采用窗函数(汉宁窗、余弦窗等)对距离中心点较远的边缘候选检测框的置信度信息score进行惩罚，以调低其置信度信息score，从而得到每个候选检测框最终的目标置信度信息。

步骤3.2，按照目标置信度信息从高到低的顺序，从候选检测框中确定当前图像帧对应的第二目标物检测框和第二目标物检测框的初始属性信息。

在一种实施方式中，可以选择最高的目标置信度信息对应的候选检测框作为第二目标物检测框，选择的候选检测框的中心点也即第二目标物检测框的中心点，选择的候选检测框的宽高信息也即第二目标物检测框的初始宽高信息。

步骤3.3，对当前图像帧对应的第二目标物检测框的初始属性信息进行调整，得到当前图像帧对应的第二目标物检测框的目标属性信息。

在一种实施方式中，可以对前一图像帧对应的第二目标物检测框的目标尺寸信息，和当前图像帧对应的目标物检测框的初始尺寸信息，进行平滑加权处理，得到当前图像帧对应的第二目标物检测框的目标尺寸信息。具体的，可以将前一帧图像中第二目标物检测框的目标宽高信息和上述初始宽高信息进行平滑加权处理，即可得到当前图像帧对应的第二目标物检测框的目标宽高信息。

步骤4，根据第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。在已知第二目标物检测框对应的中心点和目标宽高信息之后，即可得到目标物的二维坐标框，并将该二维坐标框作为目标物实时跟踪坐标。

再实际应用中，继续按照上述步骤1至步骤4对下一图像帧进行处理，从而实现对目标物的实时跟踪和拍照。

对于前述步骤S108，本发明实施例提供了一种基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域的实施方式，可以控制云台相机的进程实时接收到二维框坐标，另外获取目标物检测框和图像中心的偏差，根据偏差控制云台的角度使目标物保持在画面中心区域。

综上所述，本发明实施例至少具有以下特点：

（1）整合了大模型目标检测的泛化性强的优势，同时能在端侧实时地对多种场景，多种目标物进行跟踪。

（2）实现目标跟踪算法的优化，达到实时和准确跟踪；

（3）提供一种大模型+无人机本地目标追踪方法，实现资源受限无人机对于目标的检测和跟踪；

（4）基于目标识别的拍照，目标跟踪的准确和快速，提升了拍摄目标的精准性。

为便于理解，本发明实施例还提供了无人机云台控制方法的另一种实施方式，参见图2所示的一种无人机云台控制系统的结构示意图，图2示意出该系统包括无人机端和服务器端，无人机端与服务器端通信连接；其中，无人机端搭载有云台相机，无人机端部署有目标跟踪模型，无人机端用于执行无人机云台控制方法；服务器端部署有目标检测模型。

具体的，无人机端部署有目标跟踪模型、ONNX引擎和TensorRT引擎，服务器端部署有大模型目标检测模型和Fastapi服务。在此基础上，无人机端将目标物类别文本和云台相机采集的初始图像帧，以request请求的形式发送至服务器端，服务器端将反馈第一目标物检测框，以初始化目标跟踪模型；另外，云台相机还将采集的连续图像帧发送至无人机端，无人机端将利用目标跟踪模型，基于第一目标物检测框和连续图像帧，确定出实时的第二目标物检测框，将第二目标物检测框发送至云台相机，实现对云台相机的自动化控制。

本发明实施例通过将大模型目标检测模型部署在服务器端，对目标跟踪模型进行onnx和tensorrt轻量化加速并部署在无人机端，利用大模型目标检测模型对目标跟踪模型进行初始化，通过实时的目标跟踪模型跟踪目标物，自动控制无人机的云台相机对目标物进行追踪和拍照。综上，本发明实施例采用一种基于大模型的目标检测模型+目标跟踪模型，同时对机载云台相机进行自动控制，以及实时地对目标物进行追踪和拍照。

在前述实施例的基础上，本发明实施例提供了一种无人机云台控制装置，该装置应用于无人机端，无人机端搭载有云台相机，无人机端与服务器端通信连接，无人机端部署有目标跟踪模型，服务器端部署有目标检测模型，参见图3所示的一种无人机云台控制装置的结构示意图，该装置主要包括以下部分：

图像获取模块302，用于获取云台相机采集的图像帧集合；

目标检测模块304，用于将预设的目标物类别文本和图像帧集合中的指定图像帧发送至服务器端，以使服务器端通过目标检测模型，基于目标物类别文本和指定图像帧确定第一目标物检测框；

目标跟踪模块306，用于通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标；

云台控制模块308，用于基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域。

本发明实施例提供的无人机云台控制装置，分别在服务器端部署目标检测模型，在无人机端部署目标跟踪模型，以结合目标检测模型和目标跟踪模型，利用目标检测模型确定精度较高的第一目标物检测框，以便于目标跟踪模型基于该第一目标物检测框和图像帧集合对目标物进行实时跟踪，得到目标物实时跟踪坐标，进而利用目标物实时跟踪坐标对云台相机进行自动控制。

在一种实施方式中，目标检测模型包括大模型目标检测模型；目标检测模块304还用于：

基于预设的目标物类别文本和图像帧集合中的指定图像帧，向所述服务器端发送目标检测请求，以使服务器端接收到目标检测请求时，调用大模型目标检测模型，并针对目标物类别文本和指定图像帧反馈第一目标物检测框。

在一种实施方式中，目标跟踪模块306还用于：

基于第一目标物检测框确定模板区域；以及基于图像帧集合或者第一目标物检测框确定搜索区域；

通过目标跟踪模型，基于模板区域和搜索区域，确定图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个候选检测框对应的位置信息和置信度信息；其中，置信度信息用于表征候选检测框属于目标物的概率值；

基于置信度信息从候选检测框中，确定当前图像帧对应的第二目标物检测框和第二目标物检测框对应的目标属性信息；其中，目标属性信息包括中心点和目标尺寸信息；

根据第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。

在一种实施方式中，目标跟踪模块306还用于：

根据预设的第一尺寸信息，以第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域；

基于图像帧集合或者第一目标物检测框确定搜索区域的步骤，包括：

如果当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域；

或者，如果当前图像帧为除第二帧图像帧之外的其他图像帧，则根据第二尺寸信息，以前一图像帧对应的第二目标物检测框的指定点为中心，在所述当前图像帧中截取搜索区域。

在一种实施方式中，目标跟踪模型包括特征提取单元和置信度预测单元，置信度预测单元包括第一分支和第二分支；目标跟踪模块306还用于：

通过特征提取单元，提取模板区域的模板特征信息和搜索区域的搜索特征信息；

通过置信度预测单元中的第一分支，基于模板特征信息和搜索特征信息，确定当前图像帧包含的每个候选检测框对应的位置信息；

以及通过置信度预测单元中的第二分支，基于模板特征信息和搜索特征信息，确定当前图像帧包含的每个候选检测框对应的置信度信息。

在一种实施方式中，目标跟踪模块306还用于：

根据每个候选检测框与当前图像帧的中心点之间的距离，对每个候选检测框对应的置信度信息进行调整，得到每个候选检测框对应的目标置信度信息；

按照目标置信度信息从高到低的顺序，从候选检测框中确定当前图像帧对应的第二目标物检测框和第二目标物检测框的初始属性信息；

对当前图像帧对应的第二目标物检测框的初始属性信息进行调整，得到当前图像帧对应的第二目标物检测框的目标属性信息。

在一种实施方式中，目标跟踪模块306还用于：

对前一图像帧对应的第二目标物检测框的目标尺寸信息，和当前图像帧对应的目标物检测框的初始尺寸信息，进行平滑加权处理，得到当前图像帧对应的第二目标物检测框的目标尺寸信息。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种无人机云台控制系统，该系统包括无人机端和服务器端，无人机端与服务器端通信连接；其中，无人机端搭载有云台相机，无人机端部署有目标跟踪模型，无人机端用于执行无人机云台控制方法；服务器端部署有目标检测模型。

本发明实施例提供了一种计算机装置，具体的，该计算机装置包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。

图4为本发明实施例提供的一种计算机装置的结构示意图，该计算机装置100包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口43（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种无人机云台控制方法，其特征在于，所述方法应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述方法包括：

获取所述云台相机采集的图像帧集合；

将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；

通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；

基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。

2.根据权利要求1所述的无人机云台控制方法，其特征在于，所述目标检测模型包括大模型目标检测模型；

将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框的步骤，包括：

基于预设的目标物类别文本和所述图像帧集合中的指定图像帧，向所述服务器端发送目标检测请求，以使所述服务器端接收到所述目标检测请求时，调用所述大模型目标检测模型，并针对所述目标物类别文本和所述指定图像帧反馈第一目标物检测框。

3.根据权利要求1所述的无人机云台控制方法，其特征在于，通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标的步骤，包括：

基于所述第一目标物检测框确定模板区域；以及基于所述图像帧集合或者所述第一目标物检测框确定搜索区域；

通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息；其中，所述置信度信息用于表征所述候选检测框属于所述目标物的概率值；

基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息；其中，所述目标属性信息包括中心点和目标尺寸信息；

根据所述第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。

4.根据权利要求3所述的无人机云台控制方法，其特征在于，基于所述第一目标物检测框确定模板区域的步骤，包括：

根据预设的第一尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域；

基于所述图像帧集合或者所述第一目标物检测框确定搜索区域的步骤，包括：

如果所述当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域；

或者，如果所述当前图像帧为除所述第二帧图像帧之外的其他图像帧，则根据所述第二尺寸信息，以前一图像帧对应的所述第二目标物检测框的所述指定点为中心，在所述当前图像帧中截取搜索区域。

5.根据权利要求3所述的无人机云台控制方法，其特征在于，所述目标跟踪模型包括特征提取单元和置信度预测单元，所述置信度预测单元包括第一分支和第二分支；

通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息的步骤，包括：

通过所述特征提取单元，提取所述模板区域的模板特征信息和所述搜索区域的搜索特征信息；

通过所述置信度预测单元中的所述第一分支，基于所述模板特征信息和所述搜索特征信息，确定当前图像帧包含的每个所述候选检测框对应的位置信息；

以及通过所述置信度预测单元中的所述第二分支，基于所述模板特征信息和所述搜索特征信息，确定所述当前图像帧包含的每个所述候选检测框对应的置信度信息。

6.根据权利要求3所述的无人机云台控制方法，其特征在于，基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息的步骤，包括：

根据每个所述候选检测框与所述当前图像帧的中心点之间的距离，对每个所述候选检测框对应的所述置信度信息进行调整，得到每个所述候选检测框对应的目标置信度信息；

按照所述目标置信度信息从高到低的顺序，从所述候选检测框中确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框的初始属性信息；

对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到所述当前图像帧对应的第二目标物检测框的目标属性信息。

7.根据权利要求6所述的无人机云台控制方法，其特征在于，对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到所述当前图像帧对应的第二目标物检测框的目标属性信息的步骤，包括：

对前一图像帧对应的所述第二目标物检测框的目标尺寸信息，和所述当前图像帧对应的所述目标物检测框的初始尺寸信息，进行平滑加权处理，得到所述当前图像帧对应的所述第二目标物检测框的目标尺寸信息。

8.一种无人机云台控制装置，其特征在于，所述装置应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述装置包括：

图像获取模块，用于获取所述云台相机采集的图像帧集合；

目标检测模块，用于将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；

目标跟踪模块，用于通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；

云台控制模块，用于基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。

9.一种无人机云台控制系统，其特征在于，包括无人机端和服务器端，所述无人机端与所述服务器端通信连接；其中，

所述无人机端搭载有云台相机，所述无人机端部署有目标跟踪模型，所述无人机端用于执行权利要求1-7任一项所述的方法；

所述服务器端部署有目标检测模型。

10.一种计算机装置，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。