CN114900609B - 一种无人机的自动化拍摄控制方法和系统 - Google Patents

Abstract

本发明公开一种无人机的自动化拍摄控制方法和系统，其中，无人机的自动化拍摄控制方法包括：控制无人机移动并悬停至拍摄点位；根据拍摄点位和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角；根据世界坐标分别与像素坐标和相机坐标的转换关系，计算杆塔的世界坐标投影至相机的像素坐标和相机坐标；根据杆塔的像素坐标和相机坐标，计算杆塔的像素偏移量；根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度；当像素偏移量大于预设偏移量阈值时计算并调整相机的方位角和俯仰角；当杆塔处于最佳拍摄角度时控制相机拍摄杆塔。本发明的技术方案能解决现有技术中难以精确控制无人机的拍摄姿态的问题。

Description

一种无人机的自动化拍摄控制方法和系统

技术领域

本发明涉及无人机技术领域，尤其涉及一种无人机的自动化拍摄控制方法和系统。

背景技术

在空间测绘的多个领域都需要用到无人机，例如输电线路巡检。输电线路巡检是保障电力系统稳定运行的基本措施，因此输电线路巡检系统的稳定性和可靠性至关重要。

目前，无人机拍摄技术在输电线路巡检行业中得到广泛应用，利用无人机摄取的图像能够对输电线路进行高精度的建模，从而得到输电线路的精细结构和安全指标信息。现有的无人机拍摄方法大多通过操作人员手动控制无人机飞临到目标物的预定距离范围内，然后手动控制无人机的拍摄姿态，在对准需要拍摄的目标物后快速进行拍摄；或者预先获取目标物的坐标，控制无人机飞临目标物预定距离范围内，控制无人机的相机画面对目标物进行框选，再调整无人机的相机拍摄姿态，使得目标物位于相机画面中心进行拍摄。

上述无人机的拍摄控制方式，难以实现自动化拍摄以及精确无人机的拍摄姿态，导致图像摄取模糊，目标物的摄取精度和角度不达标。

发明内容

本发明提供一种无人机的自动化拍摄控制方案，旨在解决现有技术中无人机的拍摄控制方式，难以实现自动化拍摄以及精确控制无人机的拍摄姿态，导致图像摄取模糊，目标物的摄取精度和角度不达标的问题。

为实现上述目的，根据本发明的第一方面，本发明提出了一种无人机的自动化拍摄控制方法，包括：

控制无人机移动并悬停至杆塔的拍摄点位；

根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，以使杆塔位于相机的拍摄区域中；

根据世界坐标分别与像素坐标和相机坐标的转换关系，分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标；

根据杆塔的像素坐标和相机坐标，计算杆塔的像素偏移量；

根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度；

当像素偏移量大于预设偏移量阈值时，计算并调整相机的方位角和俯仰角，以使杆塔处于相机的最佳拍摄角度；

当杆塔处于相机的最佳拍摄角度时，控制相机拍摄杆塔。

优选的，上述无人机的自动化拍摄控制方法中，根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度的步骤包括：

判断像素偏移量是否小于或等于预设偏移量阈值；

若像素偏移量小于或等于预设偏移量阈值，则确定杆塔处于相机的最佳拍摄角度，执行控制相机拍摄杆塔的步骤；

或者，

若像素偏移量大于预设偏移量阈值，则根据相机的像主点坐标和杆塔的相机坐标，计算杆塔的虚拟世界坐标；

根据杆塔的虚拟世界坐标，计算无人机的虚拟方位角和虚拟俯仰角；

根据虚拟方位角和虚拟俯仰角计算角度偏移量，按照该角度偏移量调整相机视角至杆塔处，以使杆塔处于相机的最佳拍摄角度。

优选的，上述无人机的自动化拍摄控制方法中，控制无人机移动并悬停至杆塔的拍摄点位的步骤包括：

根据杆塔的世界坐标和预先提取的线路方程，计算线路方向上拍摄点位的点位坐标；

计算拍摄点位的点位坐标的点位规划路径；

控制无人机沿点位规划路径移动并悬停至拍摄点位。

优选的，上述无人机的自动化拍摄控制方法中，根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角的步骤包括：

获取无人机在拍摄点位的世界坐标和杆塔的世界坐标；

使用反正切函数对拍摄点位的世界坐标和杆塔的世界坐标进行变换，分别得到相机的方位角和俯仰角；

设置相机至方位角和俯仰角，以使杆塔位于相机的拍摄区域中。

优选的，上述无人机的自动化拍摄控制方法中，分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标的步骤包括：

使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标与相机坐标的转换关系；

使用相机投影矩阵，计算世界坐标与像素坐标的转换关系；

使用世界坐标与相机坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的相机坐标；

使用世界坐标与像素坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的像素坐标。

优选的，上述无人机的自动化拍摄控制方法中，使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标与相机坐标的转换关系的步骤包括：

获取相机的安装角度和无人机的机体到导航坐标系的旋转角度；

使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标系至相机坐标系的旋转矩阵；

使用世界坐标系至相机坐标系的旋转矩阵，计算得到世界坐标与相机坐标的转换关系。

优选的，上述无人机的自动化拍摄控制方法中，计算并调整相机的方位角和俯仰角的步骤之后，该方法还包括：

当杆塔不处于相机的最佳拍摄角度时，重新计算并调整相机的方位角和俯仰角，直至杆塔处于相机的最佳拍摄角度。

根据本发明的第二方面，本发明还提供了一种无人机的自动化拍摄控制系统，包括：

无人机移动控制模块，用于控制无人机移动并悬停至目标拍摄物杆塔的拍摄点位；

拍摄角度设置模块，用于根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，以使杆塔位于相机的拍摄区域中；

杆塔坐标计算模块，用于根据世界坐标分别与像素坐标和相机坐标的转换关系，分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标；

像素偏移量计算模块，用于根据杆塔的像素坐标和相机坐标，计算杆塔的像素偏移量；

拍摄角度判断模块，用于根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度；

拍摄角度调整模块，用于当像素偏移量大于预设偏移量阈值时，计算并调整相机的方位角和俯仰角，以使杆塔处于相机的最佳拍摄角度；

拍摄控制模块，用于当杆塔处于相机的最佳拍摄角度时，控制相机拍摄杆塔。

优选的，上述无人机的自动化拍摄控制系统中，杆塔坐标计算模块包括：

第一转换关系计算子模块，用于使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标与相机坐标的转换关系；

第二转换关系计算子模块，用于使用相机投影矩阵，计算世界坐标与像素坐标的转换关系；

相机坐标计算子模块，用于使用世界坐标与相机坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的相机坐标；

像素坐标计算子模块，用于使用世界坐标与像素坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的像素坐标。

根据本发明的第三方面，本发明还提供了一种无人机的自动化拍摄控制系统，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的无人机的自动化拍摄控制程序，无人机的自动化拍摄控制程序被处理器执行时实现上述任一项技术方案提供的无人机的自动化拍摄控制方法的步骤。

综上，本发明上述技术方案提供的无人机的自动化拍摄控制方案，通过上述控制无人机移动并悬停至杆塔的拍摄点位，能够控制无人机的相机以稳定的位置和方向拍摄杆塔，并且根据拍摄点位和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，将杆塔调节至相机的拍摄区域内，达到调节无人机中相机的拍摄姿态的目的。然后通过杆塔的像素坐标和相机坐标计算杆塔的像素偏移量，根据该杆塔的像素偏移量，计算并调整相机的方位角和俯仰角，从而使得杆塔处于相机的最佳拍摄角度，达到精确调节无人机姿态和相机的拍摄角度的目的，进而能够解决现有技术中的无人机的拍摄控制方式难以精确控制无人机的拍摄姿态，导致图像摄取模糊，目标物体的摄取精度和角度不达标的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种无人机的自动化拍摄控制方法的流程示意图；

图2是图1所示实施例提供的一种无人机移动和悬停控制方法的流程示意图；

图3是图1所示实施例提供的一种相机角度计算方法的流程示意图；

图4是图1所示实施例提供的一种杆塔坐标计算方法的流程示意图；

图5是图4所示实施例提供的一种坐标转换关系的计算方法的流程示意图；

图6是图1所示实施例提供的一种杆塔角度判断方法的流程示意图；

图7是本发明实施例提供的第一种无人机的自动化拍摄控制系统的结构示意图；

图8是图7所示实施例提供的一种杆塔坐标计算模块的结构示意图；

图9是本发明实施例提供的第二种无人机的自动化拍摄控制系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决的技术问题是：

现有的无人机拍摄方法大多通过操作人员手动控制无人机飞临到目标物的预定距离范围内，然后手动控制无人机的拍摄姿态，在对准需要拍摄的目标物后快速进行拍摄；或者预先获取目标物的坐标，控制无人机飞临目标物预定距离范围内，控制无人机的相机画面对目标物进行框选，再调整无人机的相机拍摄姿态，使得目标物位于相机画面中心进行拍摄。上述无人机的拍摄控制方式，难以精确无人机的拍摄姿态，导致图像摄取模糊，目标物的摄取精度和角度不达标。

为了解决上述问题，本发明提供了无人机的自动化拍摄控制方案，通过控制无人机在特定的拍摄点位悬停，并根据拍摄点位于杆塔的坐标关系设置相机的方位角和俯仰角，使杆塔位于相机的拍摄区域内，达到调整无人机的拍摄姿态和相机的拍摄角度的目的，并且根据杆塔在相机拍摄图像中的像素坐标和相机坐标，精确计算杆塔的像素偏移量；根据该像素偏移量能够精准调节杆塔处于相机的最佳拍摄角度，从而达到精确调节无人机姿态和相机的拍摄角度的目的。

为实现上述目的，请参见图1，图1是本发明实施例提供的第一种无人机的自动化拍摄控制方法的流程示意图，如图1所示，该无人机的自动化拍摄控制方法包括以下步骤：

S110：控制无人机移动并悬停至杆塔的拍摄点位。在无人机到达杆塔附近预定距离范围(比如半径5米的范围)内时启动拍照功能。本申请实施例通过利用提取到的线路方程，结合当前飞机所在位置和姿态，在杆塔附近多个拍照点进行拍照。

具体地，作为一种优选的实施例，如图2所示，该控制无人机移动并悬停至杆塔的拍摄点位的步骤包括：

S111：根据杆塔的世界坐标和预先提取的线路方程，计算线路方向上拍摄点位的点位坐标；

S112：计算拍摄点位的点位坐标的点位规划路径；通常情况下该点位规划路径为无人机到拍摄点位的直线。若无人机遇到直线过塔或者转弯的情况时，不存在多个路线方向，直接根据算法规划的轨迹飞行。在遇到分叉时，此时仿线算法模块将每个线路的方向发送到遥控，用户在界面上根据方向选择需要飞行的方向，在选择完后，仿线模块将自动飞行。

S113：控制无人机沿点位规划路径移动并悬停至拍摄点位。

由于不同的线路以及客户需要拍照点位需求不一样，因此本申请实施例提供了多种拍照模式供用户选择，具体的拍照方案如下：

1)单点模式，在杆塔上方拍照；

2)两点模式，杆塔前后一定距离的两个点拍照；

3)三点模式，杆塔前后一定距离以及杆塔上方三个点的位置进行拍照；

4)四点模式，杆塔前后左右一定距离的四个点进行拍照。

5)自定义模式，用户可根据自身需要，选择杆塔附近特定的点位，这些点位在杆塔周围上方或者下方一定距离，并按照前后左右分布。

通常情况下，无人机飞到杆塔附近后开启拍照功能。首先按照用户事先选定的拍照模式规划若干点位，无人机根据点位规划路径飞行并在拍照点位上悬停进行拍照。由于无人机悬停过程存在一定的漂移以及相机的视角是否处于最佳状态不确定，即杆塔(塔头)中心刚好处于拍摄照片的中心附近是未知的，所以需要在动态的条件下实时调整相机云台或者移动无人机使得拍照效果最佳。

因此在上述控制无人机移动并悬停至杆塔的拍摄点位后，图1所示的无人机的自动化拍摄控制方法还包括以下步骤：

S120：根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，以使杆塔位于相机的拍摄区域中。

无人机的拍照跟踪计算过程如下：

首先，进行点位规划与计算，根据杆塔点的位置坐标以及直线方程即可计算出线路方向上的点位坐标，若是在垂直方向的点位，则以杆塔点坐标为起点，终点为规划的点位，利用垂直方向的向量内积为0的条件计算出规划的点位坐标，并利用直线夹角确定点位在线路的左侧或者右侧。

然后，无人机按照计算的点位飞行并在规定的点位上悬停，准备拍照。当无人机当前位置与规定的点位空间距离小于一定距离时则满足悬停条件。

再次，对无人机进行粗略的姿态计算与调整，调整过程即根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，以使得杆塔位于相机的拍摄区域中。

具体地，作为一种优选的实施例，如图3所示，根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角的步骤包括：

S121：获取无人机在拍摄点位的世界坐标和杆塔的世界坐标；

S122：使用反正切函数对拍摄点位的世界坐标和杆塔的世界坐标进行变换，分别得到相机的方位角和俯仰角；

S123：设置相机至方位角和俯仰角，以使杆塔位于相机的拍摄区域中。

无人机悬停后，获取无人机自身的世界坐标P_b(X_b,Y_b,Z_b)(因为无人机悬停在拍摄点位，所以该坐标机即拍摄点位的坐标)以及杆塔中心坐标(即上述杆塔的世界坐标P_t(X_t,Y_t,Z_t)，均为通用横墨卡托格网系统UTM坐标，利用这两个坐标计算该拍摄点位处无人机的方位角。杆塔中心坐标为深度学习模型预测的杆塔点坐标的平均值，那么此时无人机的拍摄方位角和俯仰角应为：

dx＝X_t-X_b

dy＝Y_t-Y_b

dz＝Z_t-Z_b

yaw＝arctan(dx,dy)

pitch＝arctan(dz,ds)

其中，dx，dy，dz分别杆塔与无人机坐标X轴、Y轴和Z轴方向上的差值。yaw为拍摄方向的方位角，pitch为拍摄的俯仰角。

在计算得到上述公式后，需要对无人机位置姿态粗略调整，具体过程如下：

无人机获取自身的方位角和俯仰角后，将拍摄角度调整到计算的方位。之后再根据计算的俯仰角调节相机云台的俯仰角，使得相机处于较好的拍摄方位，此时杆塔将位于无人机前方，处于相机的拍摄区域。

上述计算的杆塔的坐标都是世界坐标，在控制杆塔处于相机的拍摄区域后，需要将杆塔的世界坐标转换为相机拍摄区域内的像素坐标和相机坐标，从而将杆塔投影到相机的拍摄区域的最佳拍摄角度。

因此在计算并设置无人机中相机的方位角和俯仰角，使得杆塔位于相机的拍摄区域后，图1所示的无人机的自动化拍摄控制方法还包括以下步骤：

S130：根据世界坐标分别与像素坐标和相机坐标的转换关系，分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标。

上述计算的杆塔的坐标均为杆塔的世界坐标，需要根据世界坐标分别与像素坐标和相机坐标的转换关系将杆塔投影至相机，得到杆塔在相机的拍摄区域中的像素坐标和相机坐标。

具体地，作为一种优选的实施例，如图4所示，该分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标的步骤包括：

S131：使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标与相机坐标的转换关系。

使用相机的安装角度能够得到相机到机体的安装矩阵，使用无人机的机体到导航坐标系的旋转角度，能够得到无人机机体到导航坐标系的旋转矩阵。通过上述矩阵结合其他公式(例如：相机到机体的标定补偿矩阵和当地切平面坐标到UTM投影坐标系的旋转矩阵)，即可计算得到世界坐标与相机坐标的转换关系。

具体地，作为一种优选的实施例，如图5所示，该步骤S131：使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标与相机坐标的转换关系的步骤包括：

S1311：获取相机的安装角度和无人机的机体到导航坐标系的旋转角度；

S1312：使用相机的安装角度和无人机的机体到导航坐标系的旋转角度，计算得到世界坐标系至相机坐标系的旋转矩阵；

使用相机的安装角度能够计算得到相机到机体的安装矩阵R_cb；安装过程不可避免存在误差，该误差对应的相机的标定角度，能够得到相机到机体的标定补偿矩阵dR_cb；使用无人机的机体到导航坐标系的旋转角度能够计算得到机体到导航坐标系的旋转矩阵R_bn，对应能够得到当地切平面坐标到UTM投影坐标系的旋转矩阵R_nw。从UTM世界坐标系到相机坐标系的旋转矩阵R_wc计算公式如下：

R_wc＝[R_nw*R_bn*R_cb*dR_cb]^-1

即：UTM世界坐标系到相机坐标系的旋转矩阵R_wc＝[当地切平面坐标到UTM投影坐标系的旋转矩阵R_nw*机体到导航坐标的旋转矩阵R_bn*相机到机体的安装矩阵R_cb*相机到机体的标定补偿矩阵dR_cb]^-1。

S1313：使用世界坐标系至相机坐标系的旋转矩阵，计算得到世界坐标与相机坐标的转换关系。

相机坐标与世界坐标的转换关系可以表示为：

其中，T为世界坐标系与相机坐标直接的平移向量。

综上，具体的杆塔点投影的计算如下：

绕XYZ轴逆时针旋转任意角度θ得到旋转矩阵计算方法如下：

上式中：R_x(θ)表示绕X轴逆时针旋转θ角，R_y(θ)表示绕Y轴逆时针旋转θ角，R_z(θ)表示绕Z轴逆时针旋转θ角。

设定相机安装角度为r_c,p_c,h_c，安装过程不可避免存在误差，标定角度为dr_c,dp_c,dh_c，那么相机到机体的安装矩阵可以表示为：

R_cb＝R_z(h_c)*R_y(p_c)*R_x(r_c)

相机到机体的标定补偿矩阵可表示为：

dR_cb＝R_z(dh_c)*R_y(dp_c)*R_x(dr_c)

设机体到某时刻导航坐标系的旋转角度分别为r_i,p_i,h_i，该角度实际为IMU测量的角度。根据上述旋转矩阵的计算公式可以得到机体到导航坐标的旋转矩阵为：

R_bn＝R_z(h_i)*R_y(p_i)*R_x(r_i)

当地切平面坐标到UTM投影坐标系的旋转矩阵为：

R_nw＝R_m*R_x(180)*R_z(90)

上式中，R_x(180)*R_z(90)表示将导航坐标系北东地方位转换为东北天方位，转换后，再旋转一个子午线收敛角大小，从经线方向转到中央子午线方向。R_m为当地经线方向到当地所属带(按3度和6度带)的中央子午线的旋转矩阵，该矩阵表示的为绕Z轴旋转一个角度，角度为子午线收敛角，其计算可表示为：

其中，l为投影点相对于中央经线的偏差，l＝L-L₀，L为投影点的经度，L₀为中央经线的经度，B为投影点的纬度，t＝tanB，η²＝τ²cos²B，τ为第二偏心率。

那么，由投影经线偏差引起的旋转可通过以下方式表示：

因此从UTM世界坐标系到相机坐标系的旋转矩阵计算可以表示为：

R_wc＝[R_nw*R_bn*R_cb*dR_cb]^-1

即：UTM世界坐标系到相机坐标系的旋转矩阵＝[UTM投影坐标系的旋转矩阵*机体到导航坐标的旋转矩阵*相机到机体的安装矩阵*相机到机体的标定补偿矩阵]^-1。

那么相机坐标与世界坐标的转换关系可以表示为：

其中，T为世界坐标系与相机坐标直接的平移向量。

在计算得到世界坐标与相机坐标的转换关系后，图4所示实施例还包括以下步骤：

S132：使用相机投影矩阵，计算世界坐标与像素坐标的转换关系。

S133：使用世界坐标与相机坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的相机坐标。

S134：使用世界坐标与像素坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的像素坐标。

具体地，根据相机投影矩阵计算，那么像素坐标(u，v)可表示为：

/>

其中P为相机投影矩阵，其表达式为：

上式中f_x,f_y为像素焦距，(u₀,v₀)为像主点坐标。

通过相机投影矩阵即可到激光点所对应的像素坐标。

将杆塔中心坐标P_t(X_t,Y_t,Z_t)投影至影像得到对应的像素坐标(u,v)和相机坐标(X_ct,Y_ct,Z_ct)。

在计算得到计算杆塔的世界坐标投影至相机的像素坐标和相机坐标后，为了对杆塔在相机的拍摄图像中的影像进行调整，使杆塔处于相机的最佳拍摄角度，如图1所示的无人机的自动化拍摄控制方法还包括以下步骤：

S140：根据杆塔的像素坐标和相机坐标，计算杆塔的像素偏移量。

利用上述步骤中杆塔中心所对应的像素坐标与像主点(即摄影中心与像平面的垂线与像平面的交点)坐标计算杆塔的像素偏移量：

du＝u-u₀

dv＝v-v₀

该偏移量表示当前杆塔中心在拍照时距离影像偏差程度，如果小于一定阈值那么控制相机进行拍照，否则，继续调整相机的姿态。

S150：根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度；通常需要将杆塔设置在拍摄图像的中心点，此时为了保证相机的最佳拍摄角度，需要根据该像素偏移量判断杆塔的位置。

作为一种优选的实施例，如图6所示，该根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度的步骤包括：

S151：判断像素偏移量是否小于或等于预设偏移量阈值；

S152：若像素偏移量小于或等于预设偏移量阈值，则确定杆塔处于相机的最佳拍摄角度，执行控制相机拍摄杆塔的步骤；

或者，

S153：若像素偏移量大于预设偏移量阈值，则根据相机的像主点坐标和杆塔的相机坐标，计算杆塔的虚拟世界坐标；

S154：根据杆塔的虚拟世界坐标，计算无人机的虚拟方位角和虚拟俯仰角；

S155：根据虚拟方位角和虚拟俯仰角计算角度偏移量，按照角度偏移量调整相机视角至杆塔处，以使杆塔处于相机的最佳拍摄角度。本申请实施例，能够利用相机投影矩阵计算公式反投影，利用像主点坐标(u₀,v₀)以及杆塔中心在当前影像中的相机坐标Z_ct计算对应的杆塔中心的虚拟世界坐标P_t'(X_t',Y_t',Z_t')，同理，利用上述步骤的方法可以计算出杆塔中心的虚拟方位角yaw'和虚拟俯仰角pitch'。

S160：当像素偏移量大于预设偏移量阈值时，计算并调整相机的方位角和俯仰角，以使杆塔处于相机的最佳拍摄角度。

在计算得到杆塔的虚拟方位角yaw'和虚拟俯仰角pitch'后，相应的需要调整的角度偏移量可以表示为：

dYaw＝yaw-yaw'

dPitch＝pitch-pitch'

通过上述需要调整的方位角和俯仰角，即角度偏移量，返回上述步骤S150，再次判断杆塔是否处于相机的最佳拍摄角度，直至杆塔处于相机的最佳拍摄角度。

另外，作为一种优选的实施例，上述无人机的自动化拍摄控制方法中，步骤S160：计算并调整相机的方位角和俯仰角的步骤之后，当杆塔不处于相机的最佳拍摄角度时，重新计算并调整相机的方位角和俯仰角，直至杆塔处于相机的最佳拍摄角度。

在调整相机的方位角和俯仰角后，图1所示的无人机的自动化拍摄控制方法还包括以下步骤：

S170：当杆塔处于相机的最佳拍摄角度时，控制相机拍摄杆塔。

综上，本发明上述技术方案提供的无人机的自动化拍摄控制方案，通过上述控制无人机移动并悬停至杆塔的拍摄点位，能够控制无人机的相机以确定的位置和方向拍摄杆塔，并且根据拍摄点位和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，将杆塔调节至相机的拍摄区域内，达到调节无人机中相机的拍摄姿态的目的。然后通过杆塔的像素坐标和相机坐标计算杆塔的像素偏移量，根据该杆塔的像素偏移量，计算并调整相机的方位角和俯仰角，从而使得杆塔处于相机的最佳拍摄角度，达到精确调节无人机姿态和相机的拍摄角度的目的，进而能够解决现有技术中的无人机的自动化拍摄控制方式难以精确控制无人机的拍摄姿态，导致图像摄取模糊，目标物体的摄取精度和角度不达标的问题。

基于上述方法实施例的同一构思，本发明实施例还提出了无人机的自动化拍摄控制系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图7，图7为本发明实施例提供的一种无人机的自动化拍摄控制系统的结构示意图。如图7所示，该无人机的自动化拍摄控制系统包括：

无人机移动控制模块110，用于控制无人机移动并悬停至目标拍摄物杆塔的拍摄点位；

拍摄角度设置模块120，用于根据拍摄点位的世界坐标和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，以使杆塔位于相机的拍摄区域中；

杆塔坐标计算模块130，用于根据世界坐标分别与像素坐标和相机坐标的转换关系，分别计算杆塔的世界坐标投影至相机的像素坐标和相机坐标；

像素偏移量计算模块140，用于根据杆塔的像素坐标和相机坐标，计算杆塔的像素偏移量；

拍摄角度判断模块150，用于根据杆塔的像素偏移量与预设偏移量阈值的大小关系，判断杆塔是否处于相机的最佳拍摄角度；

拍摄角度调整模块160，用于当像素偏移量大于预设偏移量阈值时，计算并调整相机的方位角和俯仰角，以使杆塔处于相机的最佳拍摄角度；

拍摄控制模块170，用于当杆塔处于相机的最佳拍摄角度时，控制相机拍摄杆塔。

综上，本发明上述技术方案提供的无人机的自动化拍摄控制系统，通过上述无人机移动控制模块110控制无人机移动并悬停至杆塔的拍摄点位，能够控制无人机的相机以稳定的位置和方向拍摄杆塔，并且拍摄角度设置模块120根据拍摄点位和杆塔的世界坐标，计算并设置无人机中相机的方位角和俯仰角，将杆塔调节至相机的拍摄区域内，达到调节无人机中相机的拍摄姿态的目的。然后像素偏移量计算模块140通过杆塔坐标计算模块130计算得到的杆塔的像素坐标和相机坐标计算杆塔的像素偏移量，拍摄角度调整模块160根据该杆塔的像素偏移量，计算并调整相机的方位角和俯仰角，从而使得杆塔处于相机的最佳拍摄角度，拍摄控制模块170控制相机拍摄杆塔，达到精确调节无人机姿态和相机的拍摄角度的目的，进而能够解决现有技术中的无人机的自动化拍摄控制方式难以精确控制无人机的拍摄姿态，导致图像摄取模糊，目标物体的摄取精度和角度不达标的问题。

作为一种优选的实施例，如图8所示，上述无人机的自动化拍摄控制系统中，杆塔坐标计算模块130包括：

第一转换关系计算子模块131，用于使用相机的安装角度和无人机的旋转角度，计算得到世界坐标与相机坐标的转换关系；

第二转换关系计算子模块132，用于使用相机投影矩阵，计算世界坐标与像素坐标的转换关系；

相机坐标计算子模块133，用于使用世界坐标与相机坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的相机坐标；

像素坐标计算子模块134，用于使用世界坐标与像素坐标的转换关系，计算杆塔的世界坐标投影至相机的拍摄图像上的像素坐标。

另外，如图9所示，本发明实施例还提供了一种无人机的自动化拍摄控制系统，包括：

通信线路1002、通信模块1003、存储器1004、处理器1001及存储在存储器1004上并可在处理器1001上运行无人机的自动化拍摄控制方法的确定程序，无人机的自动化拍摄控制方法的确定程序被处理器1001执行时实现上述任一项实施例提供的无人机的自动化拍摄控制方法的步骤。

此外，本发明还要求保护一种计算机可读存储介质，该计算机可读存储介质存储有无人机的自动化拍摄控制的确定程序，该无人机的自动化拍摄控制的确定程序被处理器执行时，实现上述任一项实施例提供的无人机的自动化拍摄控制方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种无人机的自动化拍摄控制方法，其特征在于，包括：

控制无人机移动并悬停至杆塔的拍摄点位；

根据所述拍摄点位的世界坐标和所述杆塔的世界坐标，计算并设置所述无人机中相机的方位角和俯仰角，以使所述杆塔位于所述相机的拍摄区域中；

根据所述世界坐标分别与像素坐标和相机坐标的转换关系，分别计算所述杆塔的世界坐标投影至所述相机的像素坐标和相机坐标；

根据所述杆塔的像素坐标和相机坐标，计算所述杆塔的像素偏移量；

判断所述杆塔的像素偏移量是否小于或等于预设偏移量阈值；

若判定所述杆塔的像素偏移量小于或等于预设偏移量阈值，则确定所述杆塔处于所述相机的最佳拍摄角度；

当所述像素偏移量大于所述预设偏移量阈值时，计算并调整所述相机的方位角和俯仰角，以使所述杆塔处于所述相机的最佳拍摄角度；

当所述杆塔处于所述相机的最佳拍摄角度时，控制所述相机拍摄所述杆塔。

2.根据权利要求1所述的无人机的自动化拍摄控制方法，其特征在于，所述判断所述杆塔的像素偏移量是否小于或等于预设偏移量阈值的步骤，包括：

判断所述像素偏移量是否小于或等于预设偏移量阈值；

若所述像素偏移量大于预设偏移量阈值，则根据所述相机的像主点坐标和所述杆塔的相机坐标，计算所述杆塔的虚拟世界坐标；

根据所述杆塔的虚拟世界坐标，计算所述无人机的虚拟方位角和虚拟俯仰角；

根据所述虚拟方位角和虚拟俯仰角计算角度偏移量，按照角度偏移量调整相机视角至杆塔处，以使所述杆塔处于所述相机的最佳拍摄角度。

3.根据权利要求1所述的无人机的自动化拍摄控制方法，其特征在于，所述控制无人机移动并悬停至所述杆塔的拍摄点位的步骤，包括：

根据所述杆塔的世界坐标和预先提取的线路方程，计算线路方向上拍摄点位的点位坐标；

计算所述拍摄点位的点位坐标的点位规划路径；

控制所述无人机沿所述点位规划路径移动并悬停至所述拍摄点位。

4.根据权利要求1所述的无人机的自动化拍摄控制方法，其特征在于，所述根据拍摄点位的世界坐标和所述杆塔的世界坐标，计算并设置所述无人机中相机的方位角和俯仰角的步骤，包括：

获取所述无人机在所述拍摄点位的世界坐标和所述杆塔的世界坐标；

使用反正切函数对所述拍摄点位的世界坐标和所述杆塔的世界坐标进行变换，分别得到所述相机的方位角和俯仰角；

设置所述相机至所述方位角和所述俯仰角，以使所述杆塔位于所述相机的拍摄区域中。

5.根据权利要求1所述的无人机的自动化拍摄控制方法，其特征在于，所述分别计算杆塔的世界坐标投影至所述相机的像素坐标和相机坐标的步骤，包括：

使用所述相机的安装角度和所述无人机的机体到导航坐标系的旋转角度，计算得到所述世界坐标与所述相机坐标的转换关系；

使用相机投影矩阵，计算所述世界坐标与所述像素坐标的转换关系；

使用所述世界坐标与所述相机坐标的转换关系，计算所述杆塔的世界坐标投影至所述相机的拍摄图像上的相机坐标；

使用所述世界坐标与所述像素坐标的转换关系，计算所述杆塔的世界坐标投影至所述相机的拍摄图像上的像素坐标。

6.根据权利要求5所述的无人机的自动化拍摄控制方法，其特征在于，所述使用相机的安装角度和所述无人机的机体到导航坐标系的旋转角度，计算得到所述世界坐标与所述相机坐标的转换关系的步骤，包括：

获取所述相机的安装角度和所述无人机的机体到导航坐标系的旋转角度；

使用所述相机的安装角度和所述无人机的机体到导航坐标系的旋转角度，计算得到所述世界坐标系至所述相机坐标系的旋转矩阵；

使用所述世界坐标系至所述相机坐标系的旋转矩阵，计算得到所述世界坐标与所述相机坐标的转换关系。

7.根据权利要求1所述的无人机的自动化拍摄控制方法，其特征在于，所述计算并调整所述相机的方位角和所述俯仰角的步骤之后，所述方法还包括：

当所述杆塔不处于所述相机的最佳拍摄角度时，重新计算并调整所述相机的方位角和俯仰角，直至所述杆塔处于所述相机的最佳拍摄角度。

8.一种无人机的自动化拍摄控制系统，其特征在于，包括：

无人机移动控制模块，用于控制无人机移动并悬停至目标拍摄物杆塔的拍摄点位；

拍摄角度设置模块，用于根据所述拍摄点位的世界坐标和所述杆塔的世界坐标，计算并设置所述无人机中相机的方位角和俯仰角，以使所述杆塔位于所述相机的拍摄区域中；

杆塔坐标计算模块，用于根据所述世界坐标分别与像素坐标和相机坐标的转换关系，分别计算所述杆塔的世界坐标投影至所述相机的像素坐标和相机坐标；

像素偏移量计算模块，用于根据所述杆塔的像素坐标和相机坐标，计算所述杆塔的像素偏移量；

拍摄角度判断模块，用于判断所述杆塔的像素偏移量是否小于或等于预设偏移量阈值，若判定所述杆塔的像素偏移量小于或等于预设偏移量阈值，则确定所述杆塔处于所述相机的最佳拍摄角度；

拍摄角度调整模块，用于当所述像素偏移量大于所述预设偏移量阈值时，计算并调整所述相机的方位角和俯仰角，以使所述杆塔处于所述相机的最佳拍摄角度；

拍摄控制模块，用于当所述杆塔处于所述相机的最佳拍摄角度时，控制所述相机拍摄所述杆塔。

9.根据权利要求8所述的无人机的自动化拍摄控制系统，其特征在于，所述杆塔坐标计算模块，包括：

第一转换关系计算子模块，用于使用所述相机的安装角度和所述无人机的机体到导航坐标系的旋转角度，计算得到所述世界坐标与所述相机坐标的转换关系；

第二转换关系计算子模块，用于使用相机投影矩阵，计算所述世界坐标与所述像素坐标的转换关系；

相机坐标计算子模块，用于使用所述世界坐标与所述相机坐标的转换关系，计算所述杆塔的世界坐标投影至所述相机的拍摄图像上的相机坐标；

像素坐标计算子模块，用于使用所述世界坐标与所述像素坐标的转换关系，计算所述杆塔的世界坐标投影至所述相机的拍摄图像上的像素坐标。

10.一种无人机的自动化拍摄控制系统，其特征在于，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人机的自动化拍摄控制程序，所述无人机的自动化拍摄控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的无人机的自动化拍摄控制方法的步骤。

Images