CN109765939A - 无人机的云台控制方法、装置和存储介质 - Google Patents

Abstract

本申请涉及一种无人机的云台控制方法、装置、计算机设备和存储介质，所述方法通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，当目标中心与待检测图像的图像中心未重合时，对待检测图像进行划分，得到对应的划分数据，计算目标中心和图像中心的中心相对位置，根据中心相对位置和划分数据生成调整云台的调整指令，执行调整指令，以使目标中心和图像中心的坐标重合。通过已训练的目标检测模型检测，得到对应的待检测目标标识信息，根据标识信息和划分数据调整云台，以使无人机的相机能够快速的锁定目标。

Description

无人机的云台控制方法、装置和存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种无人机的云台控制方法、装置和存储介质。

背景技术

近年来，由于无人机的迅速发展，无人机技术有了较大的进步。随着无人机应用领域的不断扩大，无人机的应用功能和性能需求也在不断地变化。在现代控制领域，无人机需能够实现自主飞行，普通遥控无人机已经不能满足需求，自动控制技术应运而生，自动跟随技术尤为重要。在跟踪目标时，随着目标的移动容易跟丢目标。

发明内容

为了解决上述技术问题，本申请提供了一种无人机的云台控制方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种无人机的云台控制方法，包括：

通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标；

判断目标中心的坐标是否与图像中心的坐标重合；

当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量；

按照图像划分规则对待检测图像进行划分，得到对应的划分数据；

根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合；

执行调整指令。

第二方面，本申请提供了一种无人机的云台控制装置，包括：

目标检测模块，用于通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标；

判断模块，用于判断目标中心的坐标是否与待检测图像的图像中心的坐标重合；

数据处理模块，用于当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量；

图像划分模块，用于按照图像划分规则对待检测图像进行划分，得到对应的划分数据；

云台调整模块，用于根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至所述目标中心和图像中心的坐标重合，执行调整指令。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标；

判断目标中心的坐标是否与待检测图像的图像中心的坐标重合；

当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量；

按照图像划分规则对待检测图像进行划分，得到对应的划分数据；

根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合；

执行调整指令。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标；

判断目标中心的坐标是否与待检测图像的图像中心的坐标重合；

当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量；

按照图像划分规则对待检测图像进行划分，得到对应的划分数据；

根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合；

执行调整指令。

上述无人机的云台控制方法、装置、计算机设备和存储介质，所述方法通过已训练的目标检测模型，对无人机的云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合，计算目标中心的坐标和图像中心的坐标中心相对位置的位移矢量，当目标中心与图像中心未重合时，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，根据中心相对位置的位移矢量和划分数据生成用于调整云台的调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。通过已训练的目标检测模型检测，得到对应的待检测目标标识信息，根据标识信息和划分数据调整云台，以使无人机的相机能够快速的锁定目标。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中无人机的云台控制方法的应用环境图；

图2为一个实施例中无人机的云台控制方法的流程示意图；

图3为一个实施例中调整云台的移动场景示意图；

图4为一个实施例中无人机的云台控制装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一个实施例中无人机的云台控制方法的应用环境图。参照图1，该无人机的云台控制方法应用于无人机的云台控制方法。该无人机的云台控制方法包括终端110和服务器120。终端或服务器获取本申请涉及一种无人机的云台控制方法、装置、计算机设备和存储介质，所述方法通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合，当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。其中，终端110 和服务器120通过网络连接。终端110具体可以是无人机上搭载的数据处理终端，也可以是能够获取无人机上各个传感器数据的台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种无人机的云台控制方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该无人机的云台控制方法具体包括如下步骤：

步骤S201，通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息。

在本具体实施中，标识信息包括目标中心的坐标。

具体地，已训练的目标检测模型是指通过对大量携带标签的图像进行训练得到的检测模型，目标检测模型可以采用深度神经网络或卷积神经网络模型等，如采用卷积神经网络中的MobileNet的轻量化神经网络。云台是指是安装、固定相机的支撑设备。待检测目标可以包含一个或多个，当包含多个待检测目标时，可以将多个待检测目标作为一个整体，待检测目标可以为人、动物、汽车、飞机等等。将待检测图像输入已训练的目标检测模型，通过已训练的目标检测模型提取待检测目标的特征、并根据待检测目标的特征确定待检测目标在待检测图像的区域，根据所述区域确定标识信息，其中标识信息包括目标中心的坐标。

在一个实施例中，步骤S201之后，还包括：获取无人机上的惯性传感器的测量的无人机的位姿信息，根据标识信息和无人机的位姿信息计算无人机与待检测目标之间的目标相对位置信息，判断目标相对位置信息是否满足预设相对位置信息，当目标相对位置信息满足预设相对位置信息时，进入步骤S202。

具体地，惯性传感器为用于测量无人机的位姿信息的传感器。待检测图像为无人机上的相机采集的图像，根据位姿信息和相机成像原理确定无人机在待检测图像中的位置，根据检测到的待检测目标的标识信息确定待检测目标与无人机的目标相对位置信息，判断目标相对位置信息是否满足预设相对位置信息，其中预设目标相对位置信息包括预先设置的相对高度信息和水平的相对位置信息，当目标相对位置信息满足时，表示相对高度信息和水平的相对位置信息都匹配，匹配时，无人机的位置已经确定，判断目标中心与图像中心的是否重合。

步骤S202，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合。

步骤S203，当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量。

步骤S204，按照图像划分规则对待检测图像进行划分，得到对应的划分数据。

步骤S205，根据中心相对位置的位移矢量和划分数据，生成调整指令，执行调整指令。

在本具体实施例中，调整指令用于控制云台运动至目标中心和图像中心的坐标重合。

具体地，待检测图像的图像中心的坐标是指待检测图像的中心位置的坐标，根据图像的尺寸信息确定待检测图像的图像中心的坐标，判断目标中心的坐标与图像中心的坐标是否相同，相同表示重合，不相同表示不重合。当不重合时表示待检测目标没有处于图像中间位置，一旦待检测目标发生移动，就比较容易跟丢目标。为了更好的跟踪目标，可以调整无人机的云台方位，使得图像中心的坐标与待检测目标的中心坐标重合。为了达到上述目的，先根据目标中心的坐标和图像中心的坐标计算得到目标中心和图像中心的相对位置，将相对位置作为目标相对位置。

在一个实施例中，将待检测图像按照图像划分规则进行区域划分，得到预设数量的图像区域，任意两个图像区域之间的不存在重叠区域，获取所有图像区域的边缘像素点的坐标作为划分数据。

具体地，图像划分规则是预先自定义的用于划分图像的规则，如可以根据跟踪的目标大小、图像的摄像范围等确定。划分规则包括划分尺寸和划分形状，划分后的图像区域为与原图像平行的多个矩形区域。

在得到划分数据后，根据划分数据和相对位置确定云台调整路径，根据调整路径生成对应的调整指令，执行调整指令，以使目标中心和图像中心的坐标重合。

在一个实施例中，根据中心相对位置确定图像划分规则。当中心相对位置大于第一预设距离时，获取对应的第一图像划分规则，当中心相对位置小于或等于第一预设距离时，获取第二图像划分规则。根据目标中心与图像中心之间的距离确定图像划分规则。当目标中心与图像中心之间的相距较远时，在划分时可以扩大图像划分规则中的划分尺寸。反之，距离较近时，可以设置较小的划分尺寸，将图像划分成更多的图像区域，划分更为准确才能使得图像的移动更准确。若位置较远说明移动的需求量较大，此时为了快速的完成，可以设置较大的划分尺寸，反之则可以设置较小的划分尺寸。

在一个实施例中，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合，包括：判断图像中心的横坐标与目标中心的横坐标是否相同。

具体地，判断图像中心的纵坐标是否相同，当横坐标和纵坐标都相同时，图像中心与目标中心重合。当横坐标重合，纵坐标不重合时，生成调整纵坐标的调整指令，以使目标中心的纵坐标与图像中心的纵坐标重合；当纵坐标重合，横坐标不重合时，生成调整横坐标的调整指令，以使目标中心的横坐标与图像中心的横坐标重合。

在一个实施例中，判断相对位置所在的直线是否与预设直线之间的夹角为预设角度，当夹角为预设角度时，根据夹角、划分数据和相对位置生成对应的调整指令，执行调整指令。如目标中心与图像中心之间直线与待检测图像的任意一条边平行或垂直时。

在一个实施例中，当夹角不是预设角度时，根据划分数据分解中心相对位置的位移矢量，得到第一相对位置的位移矢量和第二相对位置的位移矢量，第一相对位置的位移矢量和第二相对位置的位移矢量和为中心相对位置的位移矢量，生成与第一相对位置对应的第一调整指令，生成与第二相对位置的第二调整指令，执行第一调整指令后，执行第二调整指令。

具体地，当夹角不是预设角度时，说明图像中心与目标中心之间的直线与待检测图像的任意一条边都不平行或垂直时，将图像中心与目标中心之间的直线线段分解为两条与待检测图像的相邻两边平行的直线线段对应的位移矢量，其中至少一条直线相对与划分数据中经过图像中心的划分数据组成的其中一条直线重合，其中第一相对位置的位移矢量与第二相对位置的位移矢量和与中心相对位置相等。第一相对位置对应的直线与待检测图像的水平边平行或垂直，第二相对位置对应的直线为与第一相对位置垂直的直线。分别根据第一相对位置和第二相对位置生成对应的第一调整指令和第二调整指令，执行第一调整指令后，在执行第二调整指令，执行第二指令后的结果为目标中心与图像中心重合。

在一个具体实施例中，如图3所示，待检测图像被划分成4*4＝16 个不重叠的矩形区域，各个区域的边缘为划分数据，图中的标号020 为目标中心，标号040为图像中心，将目标中心020与图像中040分解成020-030和030-040的直线线段，其中030-040之间的线段与矩形区域的边缘重合。采用与图像垂直和水平方向控制云台，降低云台控制算法的时间复杂度和算法复杂度，使得调整更为快速和简单。

上述无人机的云台控制方法，通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，判断目标中心的坐标是否与图像中心的坐标重合，当目标中心与待检测图像的图像中心未重合时，计算目标中心和图像中心的中心相对位置的位移矢量，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。根据已训练的目标检测模型能够快速的检测目标，提高检测速度，判断检测到的目标与图像中心是否重合，不重合时，计算两者之间的相对位置，划分图像，根据划分结果和相对位置确定调整指令，使得调整更为便捷和准确。

在一个实施例中，步骤S202之前，还包括：

步骤S301，获取待检测图像外轮廓的对角线信息。

步骤S302，计算标识框与对角线信息的比值，判断比值是否位于预设比值区间。

步骤S303，当比值位于预设比值区间时，进入步骤S202。

步骤S304，当比值不位于预设比值区间时，生成飞行指令，执行飞行指令，进入步骤S201。

在本具体实施例中，飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置执行飞行指令。

具体地，对角线信息是指用于描述待检测图像的对角线的信息，如对角线的长度。标识框包含宽和高两边，计算标识框的宽和高与对角线的长度的比值，当比值位于预设比值区间时，说明无人机与目标之间的距离，即无人机与目标之间的距离为预设距离。当比值大于比值预设比值区间时，说明无人机与目标时间的距离太近，生成对应的飞行执行，执行飞行指令，以使目标相对位置信息为预设相对位置信息，再次通过目标检测模型对待检测目标进行检测，根据再次检测的结果，再次判断，直至目标相对位置与预设位置相同时，进入步骤S202。

当比值小于预设比值区间时，说明无人机与目标时间的距离太远，同理生成对应的飞行执行，执行飞行指令，以使目标相对位置信息为预设相对位置信息，进入步骤S201。在判断中心是否重合之前对目标与无人机的距离进行确认，距离合适时，才确定中心是否重合，距离不合适时，向调整无人机与目标的距离，再次通过目标检测模型对待检测目标进行检测，根据再次检测的结果，再次判断，直至目标相对位置与预设位置相同时，进入步骤S202。

在一个实施例中，步骤S304，包括：

步骤S3041，获取待检测目标的环境信息。

步骤S3042，当环境信息为第一预设环境信息时，生成水平飞行指令，执行水平飞行指令，进入步骤S201。

在本具体实施例中，水平飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置。

具体地，环境信息是指目标输出的环境情况，环境信息包括地势是否平坦等信息，第一预设环境信息是指预先设置的环境信息，如地势平坦，当地势平坦时，目标在移动时，不会发生高度上的变换，则生成水平方向的飞行指令，如向前向后，向左向右飞行的指令，执行飞行指令后，使得无人机与待检测目标之间的相对位置信息为预设相对位置信息。

在一个实施例中，当环境信息为第二预设环境信息时，生成包含水平飞行和垂直飞行的第一飞行指令，第一飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，且无人机与所待检测目标之间的相对高度为预设相对高度，执行第一飞行指令，，进入步骤S201。

具体地，第二预设环境信息为预设的用于判断是否需要生产垂直方向上用于调整无人机位置的垂直飞行指令，如第二预设环境信息为地势不平坦，当地势不平坦时，目标在移动时，会发生高度上的变换，则生成包含水平和垂直方向的飞行指令，如向前、向后、向左、向右、向上或向下飞行的指令，执行飞行指令后，使得无人机与待检测目标之间的相对位置信息为预设相对位置信息，且保持无人机与待检测目标之间的相对高度为预设相对高度。根据实际环境生成对应的飞行指令能够更好的跟踪目标，提高跟踪算法的鲁棒性。

在一个具体的实施例中，上述无人机的云台控制方法，包括：

利用测距模块以及各类传感器确定并保持无人机与目标之间的距离、无人机相对高度，采用基于MobileNet的轻量化神经网络对无人机上的相机拍摄的图像进行目标检测，标识目标，得到标识框，计算标识框的中心，将标识框的中心作为目标中心点，对图像进行网格切分，确定上一步所得标识框和每一帧图像之间的对角线的比例恒定，以保证目标和无人机之间距离不变，初始化图像中心点为目标中心点。

在地势平坦条件下，若目标与摄像机距离改变，先移动无人机，恢复到设定距离，并保持高度，在地势不平坦条件下，若目标与无人机距离改变，先移动无人机，恢复到设定距离和相对高度。上述调整可能会使目标偏离捕捉图像中心点，为了使得图像中心与目标中心重合可以通过以下按轨道踪迹调整云台，在调整云台时，当目标中心的坐标与图像中心的横坐标或纵坐标一致时可以，换一个方向移动，使得横坐标和纵坐标均一致时停止移动。如当图像中心在目标中心的右下方，可以先向右转动，当纵坐标与图像中心纵坐标一致时，向下转动，使得目标中心与图像中心重合，当然也可以先向下转动在向右转动。上述无人机的云台控制方法有效地处理目标跟踪里由于运动过快等导致的目标丢失的问题，从而使无人机的跟踪效果对运动物体的鲁棒性更好。时间复杂度低，以折线方式调整云台，在控制信号上更简单，速度更快。

图2为一个实施例中无人机的云台控制方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图所示，提供了一种无人机的云台控制装置 200，包括：

目标检测模块201，用于通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标；

判断模块202，用于判断目标中心的坐标是否与待检测图像的图像中心的坐标重合。

数据处理模块203，用于当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量。

图像划分模块204，用于按照图像划分规则对待检测图像进行划分，得到对应的划分数据。

云台调整模块205，用于根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。

在一个实施例中，无人机的云台控制装置200，还包括：

位姿信息模块，还用于获取无人机上惯性传感器的测量的无人机的位姿信息。

目标相对位置计算模块，用于获取待检测图像，根据待检测图像和无人机的位姿信息计算无人机与待检测目标之间的目标相对位置信息。

位置判断模块，用于判断目标相对位置信息是否满足预设相对位置信息，当目标相对位置信息满足预设相对位置信息时，进入判断模块。

在一个实施例中，图像划分模块还用于将待检测图像按照图像划分规则进行划分，得到预设数量的图像区域，任意两个图像区域之间的不存在重叠区域，获取所有图像区域的边缘像素点的坐标作为划分数据。

在一个实施中，无人机的云台控制装置200，还包括：

比值判断模块，用于获取待检测图像的对角线信息，计算标识框与对角线信息的比值，判断比值是否位于预设比值区间，当比值位于预设比值区间时，返回判断模块。

飞行模块，用于当比值不位于预设比值区间时，生成飞行指令，飞行指令用于控制无人机运动至所述目标相对位置信息为预设相对位置信息的位置，执行飞行指令，返回目标检测模块。

在一个实施例中，飞行模块还用于获取待检测目标所处的环境信息，当环境信息为第一预设环境信息时，生成水平飞行指令，水平飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，执行水平飞行指令，返回目标检测模块。

在一个实施例中，飞行模块还用于当环境信息为第二预设环境信息时，生成包含水平飞行和垂直飞行的第一飞行指令，执行第一飞行指令，飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，且无人机与待检测目标之间的相对高度为预设相对高度，返回目标检测模块。

在一个实施例中，云台调整模块，包括：

位置分解单元，用于根据划分数据分解中心相对位置的位移矢量，得到第一相对位置的位移矢量和第二相对位置的位移矢量，第一相对位置的位移矢量和第二相对位置的位移矢量和为中心相对位置的位移矢量。

指令生成单元，用于生成与第一相对位置对应的第一调整指令，生成与第二相对位置的第二调整指令。

指令执行单元，用于执行第一调整指令后，执行第二调整指令。

图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现无人机的云台控制方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行无人机的云台控制方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的无人机的云台控制装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该无人机的云台控制装置的各个程序模块，比如，图4所示的目标检测模块201、判断模块202、数据处理模块203、图像划分模块204和云台调整模块205。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的无人机的云台控制方法中的步骤。

例如，图5所示的计算机设备可以通过如图4所示的无人机的云台控制装置中的目标检测模块201执行通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标。计算机设备可通过判断模块202执行判断目标中心的坐标是否与待检测图像的图像中心的坐标重合。计算机设备可通过数据处理模块203，用于当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量。计算机设备可通过图像划分模块204，用于按照图像划分规则对待检测图像进行划分，得到对应的划分数据。计算机设备可通过云台调整模块205，用于根据中心相对位置的位移矢量和划分数据，生成调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合，当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，根据中心相对位置的位移矢量和划分数据，生成用于调整云台的调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。

在一个实施例中，输出待检测目标的标识信息之后，计算机程序被处理器执行时还实现以下步骤：获取无人机上惯性传感器的测量的无人机的位姿信息，根据待检测目标的标识信息和无人机的位姿信息计算无人机与待检测目标之间的目标相对位置信息，判断目标相对位置信息是否满足预设相对位置信息，当目标相对位置信息满足预设相对位置信息时，执行判断目标中心的坐标是否与待检测图像的图像中心的坐标重合。

在一个实施例中，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，包括：将待检测图像按照图像划分规则进行划分，得到预设数量的图像区域，任意两个图像区域之间的不存在重叠区域，获取所有图像区域的边缘像素点的坐标作为划分数据。

在一个实施例中，标识信息包括标识框，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合之前，计算机程序被处理器执行时还实现以下步骤：获取待检测图像外轮廓的对角线信息，计算标识框与对角线信息的比值，判断比值是否位于预设比值区间，当比值位于预设比值区间时，执行判断目标中心的坐标是否与图像中心的坐标重合，当比值不位于预设比值区间时，生成飞行指令，飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，执行飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，生成飞行指令之前，计算机程序被处理器执行时还实现以下步骤：获取待检测目标所处的环境信息，生成飞行指令，执行飞行指令，包括：当环境信息为第一预设环境信息时，生成水平飞行指令，水平飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，执行水平飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当环境信息为第二预设环境信息时，生成包含水平飞行和垂直飞行的第一飞行指令，第一飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，且无人机与待检测目标之间的相对高度为预设相对高度，执行第一飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，根据中心相对位置和划分数据生成调整云台的调整指令，执行调整指令，包括：根据划分数据分解中心相对位置的位移矢量，得到第一相对位置位移矢量和第二相对位置位移矢量，第一相对位置位移矢量和第二相对位置的位移矢量和为中心相对位置的位移矢量，生成与第一相对位置对应的第一调整指令，生成与第二相对位置的第二调整指令，执行第一调整指令后，执行第二调整指令。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：通过已训练的目标检测模型，对云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出待检测目标的标识信息，标识信息包括目标中心的坐标，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合，当目标中心的坐标与图像中心的坐标未重合时，计算目标中心和图像中心的中心相对位置的位移矢量，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，根据中心相对位置的位移矢量和划分数据，生成用于调整云台的调整指令，调整指令用于控制云台运动至目标中心和图像中心的坐标重合，执行调整指令。

在一个实施例中，输出待检测目标的标识信息之后，计算机程序被处理器执行时还实现以下步骤：获取无人机上惯性传感器的测量的无人机的位姿信息，根据待检测目标的标识信息和无人机的位姿信息计算无人机与待检测目标之间的目标相对位置信息，判断目标相对位置信息是否满足预设相对位置信息，当目标相对位置信息满足预设相对位置信息时，执行判断目标中心的坐标是否与待检测图像的图像中心的坐标重合。

在一个实施例中，按照图像划分规则对待检测图像进行划分，得到对应的划分数据，包括：将待检测图像按照图像划分规则进行划分，得到预设数量的图像区域，任意两个图像区域之间的不存在重叠区域，获取所有图像区域的边缘像素点的坐标作为划分数据。

在一个实施例中，标识信息包括标识框，判断目标中心的坐标是否与待检测图像的图像中心的坐标重合之前，计算机程序被处理器执行时还实现以下步骤：获取待检测图像外轮廓的对角线信息，计算标识框与对角线信息的比值，判断比值是否位于预设比值区间，当比值位于预设比值区间时，执行判断目标中心的坐标是否与图像中心的坐标重合，当比值不位于预设比值区间时，生成飞行指令，飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，执行飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，生成飞行指令之前，计算机程序被处理器执行时还实现以下步骤：获取待检测目标所处的环境信息，生成飞行指令，执行飞行指令，包括：当环境信息为第一预设环境信息时，生成水平飞行指令，水平飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，执行水平飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当环境信息为第二预设环境信息时，生成包含水平飞行和垂直飞行的第一飞行指令，第一飞行指令用于控制无人机运动至目标相对位置信息为预设相对位置信息的位置，且无人机与待检测目标之间的相对高度为预设相对高度，执行第一飞行指令，执行对云台上的相机拍摄的包含待检测目标的待检测图像进行检测。

在一个实施例中，根据中心相对位置和划分数据生成调整云台的调整指令，执行调整指令，包括：根据划分数据分解中心相对位置的位移矢量，得到第一相对位置位移矢量和第二相对位置位移矢量，第一相对位置位移矢量和第二相对位置的位移矢量和为中心相对位置的位移矢量，生成与第一相对位置对应的第一调整指令，生成与第二相对位置的第二调整指令，执行第一调整指令后，执行第二调整指令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器 (ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种无人机的云台控制方法，其特征在于，应用于云台，所述方法包括：

通过所述已训练的目标检测模型，对所述云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出所述待检测目标的标识信息，所述标识信息包括目标中心的坐标；

判断所述目标中心的坐标是否与所述待检测图像的图像中心的坐标重合；

当所述目标中心的坐标与所述图像中心的坐标未重合时，计算所述目标中心和所述图像中心的中心相对位置的位移矢量；

按照图像划分规则对所述待检测图像进行划分，得到对应的划分数据；

根据所述中心相对位置的位移矢量和所述划分数据，生成调整指令，所述调整指令用于控制所述云台运动至所述目标中心和所述图像中心的坐标重合；

执行所述调整指令。

2.根据权利要求1所述的方法，其特征在于，所述输出所述待检测目标的标识信息之后，还包括：

获取所述无人机上惯性传感器的测量的所述无人机的位姿信息；

根据所述标识信息和所述位姿信息，计算所述无人机与所述待检测目标之间的目标相对位置信息；

判断所述目标相对位置信息是否满足预设相对位置信息；

当所述目标相对位置信息满足预设相对位置信息时，进入判断所述目标中心的坐标是否与所述待检测图像的图像中心的坐标重合的步骤。

3.根据权利要求1所述的方法，其特征在于，所述按照图像划分规则对所述待检测图像进行划分，得到对应的划分数据，包括：

将所述待检测图像按照所述图像划分规则进行区域划分，得到预设数量的图像区域，任意两个所述图像区域之间的不存在重叠区域；

获取所有所述图像区域的边缘像素点的坐标作为所述划分数据。

4.根据权利要求1所述的方法，其特征在于，所述标识信息包括标识框，所述判断所述目标中心的坐标是否与所述图像中心的坐标重合之前，还包括：

获取所述待检测图像外轮廓的对角线信息；

计算所述标识框与所述对角线信息的比值，判断所述比值是否位于预设比值区间；

当所述比值位于所述预设比值区间时，进入所述判断所述目标中心的坐标是否与所述待检测图像的图像中心的坐标重合的步骤；

当所述比值不位于所述预设比值区间时，生成飞行指令，所述飞行指令用于控制所述无人机运动至所述目标相对位置信息为所述预设相对位置信息的位置；

执行所述飞行指令，进入所述对所述云台上的相机拍摄的包含待检测目标的待检测图像进行检测的步骤。

5.根据权利要求4所述的方法，其特征在于，所述生成飞行指令之前，包括：

获取所述待检测目标所处的环境信息；

所述生成所述飞行指令，执行所述飞行指令，包括：

当所述环境信息为第一预设环境信息时，生成水平飞行指令，所述水平飞行指令用于控制所述无人机运动至所述目标相对位置信息为所述预设相对位置信息的位置，执行所述水平飞行指令，进入所述对所述云台上的相机拍摄的包含待检测目标的待检测图像进行检测的步骤。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述环境信息为第二预设环境信息时，生成包含水平飞行和垂直飞行的第一飞行指令，所述第一飞行指令用于控制所述无人机运动至所述目标相对位置信息为所述预设相对位置信息的位置，且所述无人机与所述待检测目标之间的相对高度为预设相对高度，执行所述第一飞行指令，进入所述对所述云台上的相机拍摄的包含待检测目标的待检测图像进行检测的步骤。

7.根据权利要求1所述的方法，其特征在于，所述根据所述中心相对位置和所述划分数据生成调整所述云台的调整指令，执行所述调整指令，包括：

根据所述划分数据分解所述中心相对位置的位移矢量，得到第一相对位置位移矢量和第二相对位置位移矢量，所述第一相对位置位移矢量和所述第二相对位置的位移矢量和为所述中心相对位置的位移矢量；

生成与所述第一相对位置对应的第一调整指令，生成与所述第二相对位置的第二调整指令；

执行所述第一调整指令后，执行所述第二调整指令。

8.一种无人机的云台控制装置，其特征在于，应用于云台，所述装置包括：

目标检测模块，用于通过所述已训练的目标检测模型，对所述云台上的相机拍摄的包含待检测目标的待检测图像进行检测，输出所述待检测目标的标识信息，所述标识信息包括目标中心的坐标；

判断模块，用于判断所述目标中心的坐标是否与所述待检测图像的图像中心的坐标重合；

数据处理模块，用于当所述目标中心的坐标与所述图像中心的坐标未重合时，计算所述目标中心和所述图像中心的中心相对位置的位移矢量；

图像划分模块，用于按照图像划分规则对所述待检测图像进行划分，得到对应的划分数据；

云台调整模块，用于根据所述中心相对位置的位移矢量和所述划分数据，生成调整指令，所述调整指令用于控制所述云台运动至所述目标中心和所述图像中心的坐标重合，执行所述调整指令。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。