CN108549413A - 一种云台旋转控制方法、装置及无人飞行器 - Google Patents

Abstract

本发明公开了一种云台旋转控制方法、装置及无人飞行器，其中该云台旋转控制方法包括：获取搭载在云台的图像采集设备所拍摄的图像信息，对图像信息进行识别获取目标检测信息；根据目标检测信息确定目标对象在期望布局画面的位置，然后根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台的调整动作信息；根据调整动作信息调整云台的旋转。本发明提供的云台旋转控制方法，在空中对采集的图像进行解析，根据预设需求自动驱动云台动作实现目标对象跟拍，不需要建立远程通信，跟拍精度更高。

Description

一种云台旋转控制方法、装置及无人飞行器

技术领域

本发明涉及图像识别领域，具体涉及一种云台旋转控制方法、装置及无人飞行器。

背景技术

随着科技的发展、人民生活水平的提高，航拍的应用前景原来越广阔，包括城市管理、地质勘查、气象、电力等领域。同时，随着无人机成本的降低及摄影技术的普及，越来越多的人接触到航拍技术。

现有技术中在航拍时，照相机、摄像机等器材通过云台固定在有人机的机舱中或无人机的外侧。为了实现跟拍，需要摄影师手动操作云台或遥控云台进行旋转，不能根据采集到的图像进行控制云台进行自动跟拍，必须将遥控设备与无人机建立远程通信，容易造成无关信息的干扰，且人工操作时效性较差，效率较低。

发明内容

因此，本发明提供一种云台旋转控制方法、装置及无人飞行器，能够在空中对采集的图像进行解析，根据预设需求自动驱动云台活动实现跟拍，不需要建立远程通信，跟拍精度更高。

本发明实施例提供一种云台旋转控制方法，包括如下步骤：获取搭载在所述云台的图像采集设备所拍摄的图像信息；对所述图像信息进行识别，获取目标检测信息；根据目标检测信息确定目标对象在期望布局画面的位置；根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台的调整动作信息；根据所述调整动作信息调整所述云台的旋转。

优选地，所述目标检测信息包括：目标对象类别及目标对象位置，根据目标检测信息确定目标对象在期望布局画面的位置，包括：根据目标对象类别及目标对象的位置计算所述期望布局画面中的关键点位置。

进一步地，所述期望布局画面的位置中的关键点位置，包括：期望布局画面的中心点位置或期望布局画面的黄金分割比点位置。

优选地，所述根据目标对象类别及目标对象的位置计算所述期望布局画面中的关键点位置，具体包括：解析所述图像信息以获取的目标对象的中心坐标；根据所述目标对象的中心坐标与所述期望布局画面的关键点位置坐标的欧氏距离和确定所述期望布局画面的关键点位置。

优选地，根据所述目标对象的中心坐标与所述期望布局画面的关键点位置坐标的欧氏距离和确定所述期望布局画面的关键点位置，包括：设定所述目标对象的中心坐标为(x_i，y_i)，待求关键点的坐标为(x'_c，y'_c)；计算所述目标对象的中心坐标与所述关键点的坐标的欧氏距离和为：其中，N为所述目标对象的个数，i为表示不同目标对象的序号；将使所述欧氏距离和最小的关键点作为所述期望布局画面的关键点。

优选地，所述云台调整动作调整信息为调整云台的偏差角，根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息，包括：根据所述图像信息确定当前画面的宽度或/和高度；根据所述期望布局画面的关键点的坐标、当前画面的宽度或/和高度，及所述图像采集设备当前的视角计算所述云台偏差角。

优选地，所述云台调整动作调整信息为调整云台的旋转方向，根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息，包括：根据所述图像信息确定当前画面的宽度或/和高度及目标对象的中心坐标；计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数；根据所述损失函数，调整云台的旋转方向，直至所述目标对象的坐标在目标对象在期望布局画面的位置。

优选地，通过以下公式计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数：水平方向损失函数x_i+a*w+b*w′；垂直方向损失函数：y_i+c*h+d*h′；其中，(x_i，y_i)为所述目标对象的中心坐标，w为目标对象所有像素最小矩形框的宽度，w′为画面宽度，h目标对象所有像素最小矩形框的高度，h′为画面高度，a、b、c、d为目标对象在期望布局画面的位置需要设置的参数。

本发明实施例还提供一种云台旋转控制装置，包括：图像信息采集模块，用于获取搭载在所述云台的图像采集设备所拍摄的图像信息；目标检测信息获取模块，用于对所述图像信息进行识别，获取目标检测信息；目标对象在期望布局画面的位置确定模块，根据目标检测信息确定目标对象在期望布局画面的位置；云台调整动作信息确定模块，根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息；云台调整模块，用于根据所述调整动作信息调整所述云台的旋转。优选地，所述搭载在所述云台的图像采集设备为：摄像机、照相机、红外热像仪中的至少一种。

本发明还提供一种无人飞行器，包括上述的云台旋转控制装置。

本发明技术方案，具有如下优点：

本发明实施例提供的云台旋转控制方法、装置及无人飞行器，首先获取搭载在云台的图像采集设备所拍摄的图像信息，对图像信息进行识别，获取目标检测信息。然后根据目标检测信息目标对象在期望布局画面的位置，根据图像采集设备当前的拍摄角度和目标对象在期望布局画面的位置确定云台的调整动作信息调整云台的旋转。本发明提供的云台旋转控制方法，在空中对采集的图像进行解析，根据预设需求自动驱动云台动作实现目标对象跟拍，不需要建立远程通信，跟拍精度更高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供方法的一个具体示例的流程图；

图2为本发明实施例中提供方法的步骤S3的一个具体示例的流程图；

图3为本发明实施例中提供方法的步骤S32的一个具体示例的流程图；

图4为本发明实施例中的中提供方法的步骤S4的一个具体示例的流程图；

图5为本发明实施例中的中提供方法的步骤S4的另一个具体示例的流程图；

图6为本发明实施例中的装置的一个具体示例组成框图；

图7为本发明实施例中的装置的另一个具体示例组成框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种云台旋转控制方法，如图1所示，该云台旋转控制方法包括：

步骤S1：获取搭载在云台的图像采集设备所拍摄的图像信息。

在实际应用中，该图像采集设备可以为摄像机、照相机、红外热像仪中的至少一种。本发明实施例中采用的是摄像机，用以拍摄预设范围内的视频。在一较佳实施例中，为了减少后续识别分类工作的计算量，可对摄像机采集的图像信息进行预处理，该预处理过程可具体包括：对采集的图像信息进行缩放、降低帧率等。

步骤S2：对图像信息进行识别，获取目标检测信息。

本发明实施例中，首先得到图像中每个可识别目标的目标检测信息元组，获取可识别目标所有像素的最小矩形框中心坐标。例如当前获取的图像信息中包括的类别为c，包含目标所有像素的最小矩形框中心坐标(x_c，y_c)，上述矩形框的宽w，上述矩形框的高h(本发明实施例中将矩形框的横坐标方向的长度定义为宽，将矩形框的纵坐标方向的长度定义为高)。

步骤S3：根据目标检测信息确定目标对象在期望布局画面的位置。本发明实施例中，根据目标检测信息确定目标对象在期望布局画面的位置，包括：根据目标对象类别及目标对象的位置计算期望布局画面中的关键点位置。在本发明实施例中，该期望布局画面的位置中的关键点位置例如是期望布局画面的中心点位置或期望布局画面的黄金分割比点位置，但是不以此为限，在其他实施中可以根据实际需要设置。

本发明实施例中，如图2所示，上述的根据目标对象类别及目标对象的位置计算期望布局画面中的关键点位置的过程，具体包括：

步骤S31：解析图像信息以获取的目标对象的中心坐标。

步骤S32：根据目标对象的中心坐标与期望布局画面的关键点位置坐标的欧氏距离和确定期望布局画面的关键点位置。

本发明实施例中，如图3所示，上述步骤S32，根据目标对象的中心坐标与所述期望布局画面的关键点位置坐标的欧氏距离和确定所述期望布局画面的关键点位置的具体过程，包括：

步骤S321：设定目标对象的中心坐标为(x_i，y_i)，待求关键点的坐标为(x'_c，y'_c)。

步骤S322：计算目标对象的中心坐标与所述关键点的坐标的欧氏距离和为：其中，N为所述目标对象的个数，i为表示不同目标对象的序号。

步骤S323：将使欧氏距离和最小的关键点作为期望布局画面的关键点。

在一较佳实施例中，该期望布局画面的关键点位置为期望布局画面的中心点位置，计算期望布局画面的中心点位置的具体步骤为：设定目标对象的中心坐标为(x_i，y_i)，待求中心点(该待求中心点即为所要确定的期望布局画面的中心点)的坐标为(x'_c，y'_c)；计算目标对象的中心坐标与待求中心点的坐标的欧氏距离和为：其中，N为目标对象的个数，i为表示不同目标对象的序号；将使欧氏距离和最小的待求中心点作为期望布局画面的中心点。

在通过步骤S3确定目标对象在期望布局画面的位置后，通过步骤S4：根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台的调整动作信息。

在一较佳实施例中，该云台调整动作调整信息可以是指调整云台的偏差角，因此，如图4所示，上述步骤S4，根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台的调整动作信息的过程，具体包括：

步骤S41：根据图像信息确定当前画面的宽度或/和高度。

步骤S42：根据期望布局画面的关键点的坐标、当前画面的宽度或/和高度，及图像采集设备当前的视角计算云台偏差角。

在一较佳实施例中，可以是通过以下公式计算云台偏差角：

其中，θ为云台偏差角；δ为所述图像采集设备当前的视角；a为最优画面的图像的宽度或高度，b为最优画面中心点的横坐标或纵坐标；当计算所述云台水平方向上的偏差角时，a为最优画面的图像的宽度，b为最优画面中心点的横坐标；当计算所述云台垂直方向上的偏差角时，a为最优画面的图像的高度，b为最优画面中心点的纵坐标。本发明实施例中，根据相机感光元件大小和镜头焦距等已知信息可以得知当前图像采集设备的视角。

在实际应用中，如需要调整云台水平方向的偏差角时，就需要获取最优画面的宽度以及最优画面中心点的横坐标，通过上述公式(1)计算出云台水平方向的偏差角；如需要调整云台垂直方向的偏差角时，就需要获取最优画面的高度以及最优画面中心点的纵坐标，通过上述公式(1)计算出云台垂直方向的偏差角；如需要分别在水平和垂直方向上进行调整，则需要分别求出这两个方向上的偏差角，通过三角函数运算来求出实际要运动方向的偏差角度。

在另一较佳实施例中，该云台调整动作调整信息可以是指调整云台的旋转方向，如图5所示，上述步骤S4，根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台的调整动作信息的过程，具体包括：

步骤S41’：根据图像信息确定当前画面的宽度或/和高度及目标对象的中心坐标。

步骤S42’：计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数。

步骤S43’根据损失函数，调整云台的旋转方向，直至所述目标对象的坐标在目标对象在期望布局画面的位置。

在一较佳实施例中，通过以下公式计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数：水平方向损失函数x_i+a*w+b*w′；垂直方向损失函数：y_i+c*h+d*h′；其中，(x_i，y_i)为所述目标对象的中心坐标，w为目标对象所有像素最小矩形框的宽度，w′为画面宽度，h目标对象所有像素最小矩形框的高度，h′为画面高度，a、b、c、d为目标对象在期望布局画面的位置需要设置的参数。本发明实施例中进行举例的公式并不以此为限，可以为其他二次函数、三次函数或者指数函数，可根据实际应用进行选择。

在一具体实施例中，需要识别的目标对象为“人”，最终确定“人”在期望布局画面的处于画面下方且目标对象框的中心横坐标处于画面黄金分割线上。具体包括：

确定目标对象为“人”，因此，首先要获取为“人”的目标最小矩形框的位置得到目标对象的中心坐标为(x_i，y_i)，然后计算损失函数并确定云台上电机控制信号。本发明实施例中，由于期望目标对象“人”的整体在期望布局画面的为值为下方坐标原点为左上角，所以因此，可确定计算垂直方向的损失函数为：由于期望目标对象框的中心横坐标处于画面黄金分割线上，所述对参数b没有要求，a＝-0.618平方向的损失函数为x_i-0.618w。将垂直方向的损失函数及水平方向的损失函数归一化并作为控制信号输入至垂直方向云台电机及水平方向云台电机的PID控制器，云台旋转电机根据输入PID控制器的控制信号带动摄像机旋转。

步骤S5：根据调整动作信息调整云台的旋转。

在上述实施例中，云台旋转电机根据输入PID控制器的控制信号带动摄像机旋转，直至云台在图像中占画面面积最大且类别为“人”的目标框的下边处于画面下方且目标框的中心横坐标处于画面黄金分割线上时停止旋转。

本发明实施例提供的云台旋转控制方法，不需要远程通信，在空中对预设范围内采集的图像进行解析，根据预设需求自动驱动云台动作，使得搭载在云台上的摄像机调整的目标角度实现目标对象跟拍，跟拍精度更高。

实施例2

本发明实施例提供一种云台旋转控制装置，如图6所示，该云台旋转控制装置包括：

图像信息采集模块1，用于获取搭载在云台的图像采集设备所拍摄的图像信息。在实际应用中，图像采集设备可以为摄像机、照相机、红外热像仪中的至少一种。图像信息采集模块1可对应执行实施例1中的步骤S1，在此不再赘述。

目标检测信息获取模块2，用于对图像信息进行识别，获取目标检测信息。本发明实施例中将摄像机拍摄的视频进行逐帧识别，得到图像中每个可识别目标的目标检测信息元组。识别对象模块2，可对应执行实施例1中的步骤S2，在此不再赘述。

目标对象在期望布局画面的位置确定模块3，用于根据目标检测信息确定目标对象在期望布局画面的位置。可对应执行实施例1中的步骤S3，在此不再赘述。

云台调整动作信息确定模块4，用于根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台调整动作信息。可对应执行实施例1中的步骤S4，在此不再赘述。

云台调整模块5，用于根据调整动作信息调整云台的旋转。可对应执行实施例1中的步骤S5，在此不再赘述。

本发明实施例还提供一种无人飞行器，包括上述的云台旋转控制装置。在执行预设范围内进行拍摄时，在一高度拍摄含有目标对象的图像，其上面承载的云台旋转控制装置，对当前拍摄的图像信息进行解析计算出云台的旋转角度，来调整云台上搭载图像采集设备的角度，来自动完成更高精度的跟拍任务。本发明实施例提供的云台旋转控制装置及装载有此云台旋转控制装置的无人飞行器，不需要远程通信，在空中对预设范围内采集的图像进行解析，根据预设需求自动驱动云台动作，使得搭载在云台上的摄像机调整的目标角度实现目标对象跟拍，跟拍精度更高。

实施例3

本发明实施例提供一种云台旋转控制系统，如图7所示，该云台旋转控制系统示包括：图像采集模块10、智能控制模块20以及云台模块30，其中：

图像采集模块10，用于获取搭载在云台的图像采集设备所拍摄的图像信息，将图像信息发送给智能控制模块20。本发明实施例中，图像采集设备可以为摄像机、照相机、红外热像仪中的至少一种，图像采集模块10智能控制模块20是电连接。图像采集模块10，对应执行实施例1中步骤S1的方法，这里不再赘述。

智能控制模块20，用于对图像信息进行识别，获取目标检测信息；根据目标检测信息确定目标对象在期望布局画面的位置；根据目标对象在期望布局画面的位置、图像采集设备当前的视角及图像信息确定云台的调整动作信息。本发明实施例中，智能控制模块20，对应执行实施例1中步骤S2～S4的方法，这里不再赘述。

具体包括：图像预处理子模块201、图像目标检测子模块202，云台动作优化子模块203以及云台驱动件控制子模块204，其中：

图像预处理子模块201，用于对图像进行预处理，本发明实施例包括：对摄像机拍摄的图像进行缩放、降低帧率。

图像目标检测子模块202，用于对所述图像信息进行识别，获取目标检测信息。本发明实施例中，图像目标检测子模块202解析图像预处理子模块201发送的图像信息，生成图像对应的目标检测信息，并将上述信息打包发送给云台动作优化子模块203。

云台动作优化子模块203，用于根据目标检测信息确定目标对象在期望布局画面的位置，根据目标对象在期望布局画面的位置、述图像采集设备当前的视角及图像信息确定云台的调整动作信息，发送给云台驱动件控制子模块204。

云台驱动件控制子模块204，用于将云台调整动作信息解析为云台驱动件控制信号，并将云台驱动件控制信号发送给云台驱动件301。本发明实施例中，云台驱动件控制子模块204为无刷电机控制电路。

云台模块30，用于根据调整动作信息调整云台的旋转，对应执行实施例1中步骤S5的方法，这里不再赘述。云台模块30，包括：云台驱动件301和云台支撑座302，其中，

云台驱动件301根据驱动件控制信号控制云台驱动件进行动作，调整旋转角度，带动云台支撑座302上的图像采集设备运动。本发明实施例中，云台驱动件301为无刷电动机，但并不以此为限，在其他实施中，可以为其他驱动设备。

云台支撑座302用于搭载图像采集设备，与云台驱动件301之间机械连接，并与图像采集模块10机械连接。

本发明实施例还提供一种无人飞行器，包括上述的云台旋转控制系统。在执行预设范围内进行拍摄时，在一定高度拍摄含有目标对象的图像，其上面承载的云台旋转控制系统，对当前拍摄的图像信息进行解析计算出云台的旋转角度，来调整云台上搭载图像采集设备的角度，来自动完成更高精度的跟拍任务。

本发明实施例提供的云台旋转控制系统及装载有此云台旋转控制系统的无人飞行器，不需要远程通信，在空中对预设范围内采集的图像进行解析，根据预设需求自动驱动云台动作，使得搭载在云台上的摄像机调整的目标角度实现目标对象跟拍，跟拍精度更高。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (11)

1.一种云台旋转控制方法，其特征在于，包括如下步骤：

获取搭载在所述云台的图像采集设备所拍摄的图像信息；

对所述图像信息进行识别，获取目标检测信息；

根据目标检测信息确定目标对象在期望布局画面的位置；

根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台的调整动作信息；

根据所述调整动作信息调整所述云台的旋转。

2.根据权利要求1所述的云台旋转控制方法，其特征在于，所述目标检测信息包括：目标对象类别及目标对象位置，

根据目标检测信息确定目标对象在期望布局画面的位置，包括：

根据目标对象类别及目标对象的位置计算所述期望布局画面中的关键点位置。

3.根据权利要求2所述的云台旋转控制方法，其特征在于，所述期望布局画面的位置中的关键点位置，包括：期望布局画面的中心点位置或期望布局画面的黄金分割比点位置。

4.根据权利要求2所述的云台旋转控制方法，其特征在于，所述根据目标对象类别及目标对象的位置计算所述期望布局画面中的关键点位置，具体包括：

解析所述图像信息以获取的目标对象的中心坐标；

根据所述目标对象的中心坐标与所述期望布局画面的关键点位置坐标的欧氏距离和确定所述期望布局画面的关键点位置。

5.根据权利要求4所述的云台旋转控制方法，其特征在于，根据所述目标对象的中心坐标与所述期望布局画面的关键点位置坐标的欧氏距离和确定所述期望布局画面的关键点位置，包括：

设定所述目标对象的中心坐标为(x_i，y_i)，待求关键点的坐标为(x'_c，y'_c)；

计算所述目标对象的中心坐标与所述关键点的坐标的欧氏距离和为：其中，N为所述目标对象的个数，i为表示不同目标对象的序号；

将使所述欧氏距离和最小的关键点作为所述期望布局画面的关键点。

6.根据权利要求4所述的云台旋转控制方法，其特征在于，所述云台调整动作调整信息为调整云台的偏差角，

根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息，包括：

根据所述图像信息确定当前画面的宽度或/和高度；

根据所述期望布局画面的关键点的坐标、当前画面的宽度或/和高度，及所述图像采集设备当前的视角计算所述云台偏差角。

7.根据权利要求1所述的云台旋转控制方法，其特征在于，所述云台调整动作调整信息为调整云台的旋转方向，

根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息，包括：

根据所述图像信息确定当前画面的宽度或/和高度及目标对象的中心坐标；

计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数；

根据所述损失函数，调整云台的旋转方向，直至所述目标对象的坐标在目标对象在期望布局画面的位置。

8.根据权利要求7所述的云台旋转控制方法，其特征在于，通过以下公式计算目标对象的中心坐标分别水平方向或/和垂直方向与目标对象在期望布局画面的坐标的损失函数：

水平方向损失函数x_i+a*w+b*w′；

垂直方向损失函数：y_i+c*h+d*h′；

其中，(x_i，y_i)为所述目标对象的中心坐标，w为目标对象所有像素最小矩形框的宽度，w′为画面宽度，h目标对象所有像素最小矩形框的高度，h′为画面高度，a、b、c、d为目标对象在期望布局画面的位置需要设置的参数。

9.一种云台旋转控制装置，其特征在于，包括：

图像信息采集模块，用于获取搭载在所述云台的图像采集设备所拍摄的图像信息；

目标检测信息获取模块，用于对所述图像信息进行识别，获取目标检测信息；

目标对象在期望布局画面的位置确定模块，用于根据目标检测信息确定目标对象在期望布局画面的位置；

云台调整动作信息确定模块，根据所述目标对象在期望布局画面的位置、所述图像采集设备当前的视角及所述图像信息确定云台调整动作信息；

云台调整模块，用于根据所述调整动作信息调整所述云台的旋转。

10.根据权利要求9所述的云台旋转控制装置，其特征在于，所述搭载在所述云台的图像采集设备为：摄像机、照相机、红外热像仪中的至少一种。

11.一种无人飞行器，其特征在于，包括如权利要求9或10所述的云台旋转控制装置。