CN105120146B - 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法 - Google Patents

Abstract

本发明涉及一种利用无人机进行运动物体自动锁定拍摄装置及方法，包括无人机飞行平台、载荷稳定装置、运动相机、移动控制终端，无人机飞行平台的底部固定载荷稳定装置，运动相机固定在载荷稳定装置上，移动控制终端由运动目标携带，移动控制终端通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；本发明能够设定前驱迎拍、跟随后拍、侧面并拍多种拍摄方法，获得用户感兴趣的所有运动细节。本发明需结合无人机飞行平台，搭载载荷稳定装置、运动相机，配合移动控制终端，完成针对运动物体的精彩细节拍摄。

Description

一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法

技术领域

本发明涉及一种利用运动物体自动锁定拍摄装置及拍摄方法。

背景技术

目前传统的运动航拍技术或基于云台稳定的专业拍摄，存在长运动过程的细节拍摄困难，需要在指定的场所内，且预先设定多个视角，后期筛选最佳细节，其拍摄设备搭建及控制调试困难，成本高昂；新兴的基于无人机飞行平台的跟随拍摄技术，成本较低，能锁定运动物体，但只能设置后部的拍摄角度，更精彩的细节无法捕捉，同时没有基于跟踪算法的感兴趣区域调整，也无法任意调整锁定运动物体的具体参数，如拍摄角度、拍摄距离等。

发明内容

鉴于此，本发明有必要提供一种成本合适、性能突出的运动利用无人机进行运动物体自动锁定拍摄装置及拍摄方法，

一种利用无人机进行运动物体自动锁定拍摄装置，包括无人机飞行平台、载荷稳定装置、运动相机、移动控制终端，其特征在于：

无人机飞行平台的底部固定载荷稳定装置，运动相机固定在载荷稳定装置上，移动控制终端由运动目标携带，移动控制终端通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；

所述的无人机飞行平台具有自动悬停和GPS导航飞行功能，通过GPS规划其航线；

所述载荷稳定装置，用于稳定运动相机载荷，并实时反馈载荷姿态；载荷稳定装置确保运动相机载荷能滤除来自载荷外部的运动干扰，保持固定的可视角度而不发生抖动。

所述运动相机，作为图像采集源设备，提供用户最感兴趣的高清景物数据。载荷稳定装置将针对运动相机载荷进行稳定动作，确保运动相机能针对运动物体拍摄出高质量的高清图像；

移动控制终端，通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；

移动控制终端内安装运动物体自动锁定拍摄算法，根据图像和状态信息进行实时智能计算，结合图像跟踪和GPS趋势跟随或预测，最终实现运动相机载荷锁定运动物体飞行，并同步拍摄到运动物体的最佳角度图像。

所述的无人机飞行平台，能进行GPS导航飞行，设定多个航点顺序飞行，空闲时自动悬停。

所述的无人机飞行平台具备数据链路，将所载的运动相机载荷的实时图像及状态信息，传送连接到数据链路的移动控制终端，并从连接到数据链路的移动控制终端接收到运动物体跟踪拍摄的智能控制信息。

所述的载荷稳定装置能针对挂载的运动相机载荷，进行俯仰、横滚和方位三个维度的稳定。

所述的运动相机，针对拍摄运动物体有进行优化，在保证图像质量的前提下有更快的曝光时间和运动补偿，确保能拍摄清楚物体的运动细节。

所述的移动控制终端，能够的无人机飞行平台建立基于WIFI或数传的数据链路，从而进行图像及状态信息下传，控制信号上传。

所述的移动控制终端具有GPS定位功能，被运动物体携带或固定。

利用无人机进行运动物体自动锁定拍摄装置的拍摄方法，其特征在于包括以下步骤：

(1)移动控制终端实时数据采集，获得运动相机的实时图像、载荷及稳定装置的姿态状态数据，识别待跟踪目标的具体区域，获取无人机遥测状态数据；

(2)移动控制终端分析数据预处理，进行筛选或序列化建模，估计待跟踪目标的运动状态，建立累计跟踪管道进行目标跟踪处理；

所述的筛选或序列化建模具体步骤为：

(a)提取无人机和载荷稳定装置的当前姿态数据；

(b)建立无人机和载荷稳定装置的历史姿态数据管道；

(c)计算无人机和载荷稳定装置的运动轨迹曲线；

(d)提取移动控制终端获得运动目标的当前定位位置数据；

(e)建立运动目标的历史定位位置数据管道；

(f)计算运动目标的运动轨迹曲线。

(3)移动控制终端综合决策数据处理，根据目标运动估计及跟踪处理数据，产生综合决策数据，通过数据链路传输到无人机飞行平台，控制载荷和无人机的下一步运动。

运动物体自动锁定拍摄算法具体运行步骤如下：

(1)目标运动曲线平滑：根据目标的GPS轨迹，平滑目标的运动轨迹历史曲线，分析目标的运动特征；

(2)无人机运动曲线平滑：根据无人机的GPS轨迹，平滑无人机的运动轨迹历史曲线，分析无人机的运动特征；

(3)无人机飞行方案预测：对比目标的运动曲线和无人机的运动曲线，计算两者运行轨迹的差异，根据无人机的运动轨迹向目标的运动轨迹调整的标准，设定无人机的飞行方案；

(4)目标位置搜索定位：为了确保关注的目标有良好的拍摄效果，需要使目标位于运动相机拍摄的正中心，因此进行目标搜索定位；

(5)载荷姿态稳定分析：在实时图像中搜索到运动的感兴趣目标后，需要设定载荷稳定装置的控制方案；

(6)飞行及载荷稳定决策：飞行预测方案和载荷稳定控制方案综合，及取舍决策，就得到最终的联合控制方案。

本发明的运动目标携带移动控制终端，移动控制终端被运动物体携带一起运动，能进行实时GPS定位，且能运行运动物体自动锁定拍摄算法；

本发明的无人机飞行平台能够实时的通过数据链路向移动控制终端传递包含无人机和载荷稳定装置运动姿态的遥测数据，以及使用运动相机所拍摄的运动物体目标的实时图像；

本发明的移动控制终端根据无人机和载荷稳定装置姿态，运动目标的实时图像，运动目标的实时GPS定位信息，运动物体自动锁定拍摄算法自动决策目标跟踪和无人机及载荷稳定装置的控制方案，并通过数据链路发送到无人机及载荷稳定装置。

本发明具有如下优点：

(1)选定运动物体目标后，可以自动跟随目标进行拍摄；或者预测物体的运动趋势，进行前驱拍摄。

(2)可以选择运动物体的最佳拍摄角度，例如尾随、侧向或迎头，区别于市面常见的跟随拍摄。

(3)整套系统成本配置低廉，远低于传统的航拍装置，但却能得到同等甚至更佳的运动细节效果。

(4)具备图像跟踪功能，能实时把最感兴趣的目标细节设置到拍摄屏幕的中央区域，保证拍摄效果。

(5)跟随或预测的算法结合了GPS轨迹计算跟踪及预测算法和图像跟踪及预测算法，具有更好的鲁棒性。

本发明需结合无人机飞行平台，搭载载荷稳定装置、运动相机，配合移动控制终端，完成针对运动物体的精彩细节拍摄。

附图说明

图1为本发明的系统总体组件组成图。

图2为本发明的具体实施的内部数据运行流程图。

图3为本发明的运动物体自动锁定拍摄算法流程图。

具体实施方式

下面将结合本发明实施例中的附图内部数据运行流程图，对本发明实施例中的技术方案进行清楚完整的描述，显然，所面熟的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明包括：无人机飞行平台10、载荷稳定装置20、运动相机30、移动控制终端40，运动相机30固定在载荷稳定装置20上，而载荷稳定装置20和运动相机30又一起承载在无人机飞行平台10上；过无人机飞行平台10的数传装置，同移动控制终端40建立了数据链路。无人机飞行平台10的底部固定载荷稳定装置20，运动相机30固定在载荷稳定装置20上，移动控制终端40由运动目标携带，移动控制终端40通过数据链路从无人机飞行平台10获取运动相机30的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄

通过无人机飞行平台10的数传装置，同移动控制终端40建立了数据链路。

无人机飞行平台10由智能飞控、电调、电机、螺旋桨、机架、动力锂电池、数传装置部件组成，用于携带运动相机和载荷稳定装置进行运动物体伴随飞行；

载荷稳定装置20固定在无人机飞行平台底部，用于稳定运动相机30在指定的可视角度上；

运动相机30作为图像采集源设备，用来拍摄运动物体的精彩细节；

移动控制终端40通过到无人机飞行平台的数据链路，获取运动物体的实时图像和载荷状态，并传递出载荷及飞行平台的控制信号，同时其具有GPS定位功能，被运动物体承载进行运动物体GPS定位；

移动控制终端40内安装运动物体自动锁定拍摄算法，是运行于移动控制终端上的算法应用程序，它输入实时图像、载荷状态等作为运动物体运动状态分析的辅助参数，输出无人机飞行平台的飞行控制指令，确保运动物体的正面或用户感兴趣影像在拍摄结果的中央区域。

本发明提供的装置能实现运动物体跟随或前驱拍摄，获得最佳运动细节拍摄效果。

如图2、图3所示，一种利用无人面进行运动物体自动锁定拍摄装置的拍摄方法，包括以下步骤：

(1)数据源生成，数据源来自于无人机前端从飞控、载荷稳定装置和运动相机产生的实时图像和姿态数据，通过数据链路传输来到移动控制终端；

(2)移动控制终端接收实时采集的数据源之后，就进入运动物体自动锁定拍摄算法的处理流程，第一步是数据分析预处理，该预处理将所有原始数据进行提炼、检测和分析；

(3)运动物体自动锁定拍摄算法的第二步，将结合锁定的目标限制条件，例如前驱迎拍、跟随后拍、侧面并拍等参数设定，进行在和姿态稳定分析和无人机飞行方案预测；

(4)根据分析后的图像和状态信息进行实时智能计算，结合姿态分析结果和飞行方案预测结果，进行最终的飞行及载荷稳定决策，给出最终的无人机及载荷控制方案；

(5)决策后的无人机及载荷控制方案通过数据链路传输到无人机飞行平台10和载荷稳定装置20，两者分别接受决策后的无人机姿态控制分案和载荷控制方案。运动物体自动锁定拍摄算法运行的详细过程描述如下：

运动物体目标由于捆绑或携带了移动控制终端，这样同时具有GPS定位功能；运动物体目标的实时图像，载荷的完整姿态角，无人机的实时GPS位置通过数据链路下传到达了移动控制终端，此时运动物体自动锁定拍摄算法APP将根据这些信息，结合自身的GPS位置，从图像特征和运动曲线两个维度进行载荷和运动物体目标的运动状态分析；从图像特征的维度，称为目标定位跟踪子算法，在运动目标物体被选定的同时，运动目标的影响模板就会被保存，作为实时跟踪计算的重要参考数据；实时图像不断更新，目标就不断被定位，如果即将偏离视场，就会根据运动相机的完整姿态参数进行计算，计算出偏离角度后，上传载荷稳定装置的控制指令，确保载荷稳定装置能调整和反向补偿掉目标的偏离角度。从运动曲线的维度，称为飞行平台轨迹校正子算法，根据无人机飞行平台的序列GPS位置和运动物体目标的序列GPS位置，可以计算出两者的运动曲线，实时向无人机飞行平台发出调整指令，确保无人机飞行的曲线尽量能向运动物体目标保持稳定的距离，还有同样形状的飞行曲线。这样，结合上述目标定位跟踪子算法和飞行平台轨迹校正子算法，就利用无人机实现了运动物体自动锁定拍摄的过程。运动物体自动锁定拍摄算法运行流程图详见附图3，具体运行步骤如下：

(1)目标运动曲线平滑：根据目标的GPS轨迹，平滑目标的运动轨迹历史曲线，分析目标的运动特征。

(2)无人机运动曲线平滑：根据无人机的GPS轨迹，平滑无人机的运动轨迹历史曲线，分析无人机的运动特征。

(3)无人机飞行方案预测：对比目标的运动曲线和无人机的运动曲线，计算两者运行轨迹的差异，根据无人机的运动轨迹向目标的运动轨迹调整的标准，设定无人机的飞行方案。

(4)目标位置搜索定位：为了确保关注的目标有良好的拍摄效果，需要使目标位于运动相机拍摄的正中心，因此进行目标搜索定位。

(5)载荷姿态稳定分析：在实时图像中搜索到运动的感兴趣目标后，需要设定载荷稳定装置的控制方案。

(6)飞行及载荷稳定决策：飞行预测方案和载荷稳定控制方案综合，及取舍决策，就可以得到最终的联合控制方案。

在其中的一个实施例中，所述无人机飞行平台具有GPS导航飞行模式，可顺序设定即将要飞行的多个航点；可以随时受控稳定的悬停在指定高度；有无线数传功能，能与移动控制终端连接成为数据链路，进行图像的下传和状态控制信息的双向传输；可以固定载荷稳定装置，并承载运动相机，用于稳定的拍摄运动物体目标。

在其中的一个实施例中，所述的载荷稳定装置，包括三轴陀螺、三轴加速度计、三轴磁罗盘，形成闭环反馈控制系统，可以用于稳定运动相机到指定的可视角度，不受外界的高频或小幅运动干扰，例如无人机的震动或风吹倾斜。

在其中的一个实施例中，所述的运动相机，具有高清照片拍摄或高清录像记录功能，具备大容量SD卡存储；有针对运动物体拍摄的进行优化处理，适用于运动航拍领域。

在其中的一个实施例中，所述的移动控制终端，可以是手机或平板，安装了Android或iOS操作系统，可以运行配置了运动物体自动锁定拍摄算法的移动APP，具有GPS定位功能，可以同无人机飞行平台建立数据链路，图像数据和运动相机状态信息可以从数据链路下传到移动控制终端，并最终传递到该算法APP，算法APP经过智能计算之后将精确控制信息传递到无人机飞行平台、载荷稳定装置和运动相机。运动物体将捆绑或携带移动控制终端，从而也具备GPS定位功能。

在其中的一个实施例中，所述的运动物体自动锁定拍摄算法，结合了基于运动物体GPS定位的运动物体轨迹计算和预测，并运行实时图像跟踪锁定算法，把感兴趣物体拉入到运动相机中央区域，以获得更理想的运动拍摄效果。

Claims (9)

1.一种利用无人机进行运动物体自动锁定拍摄装置，包括无人机飞行平台、载荷稳定装置、运动相机、移动控制终端，其特征在于：

无人机飞行平台的底部固定载荷稳定装置，运动相机固定在载荷稳定装置上，移动控制终端由运动目标携带，移动控制终端通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；

所述的无人机飞行平台具有自动悬停和GPS导航飞行功能，通过GPS规划其航线；

所述载荷稳定装置，用于稳定运动相机载荷，并实时反馈载荷姿态；载荷稳定装置确保运动相机载荷能滤除来自载荷外部的运动干扰，保持固定的可视角度而不发生抖动。

所述运动相机，作为图像采集源设备，提供用户最感兴趣的高清景物数据，载荷稳定装置将针对运动相机载荷进行稳定动作，确保运动相机能针对运动物体拍摄出高质量的高清图像；

移动控制终端，通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；

移动控制终端内安装运动物体自动锁定拍摄算法，根据图像和状态信息进行实时智能计算，结合图像跟踪和GPS趋势跟随或预测，最终实现运动相机载荷锁定运动物体飞行，并同步拍摄到运动物体的最佳角度图像；

运动物体自动锁定拍摄算法具体运行步骤如下：(1)目标运动曲线平滑：根据目标的GPS轨迹，平滑目标的运动轨迹历史曲线，分析目标的运动特征；(2)无人机运动曲线平滑：根据无人机的GPS轨迹，平滑无人机的运动轨迹历史曲线，分析无人机的运动特征；(3)无人机飞行方案预测：对比目标的运动曲线和无人机的运动曲线，计算两者运行轨迹的差异，根据无人机的运动轨迹向目标的运动轨迹调整的标准，设定无人机的飞行方案；(4)目标位置搜索定位：为了确保关注的目标有良好的拍摄效果，需要使目标位于运动相机拍摄的正中心，因此进行目标搜索定位；(5)载荷姿态稳定分析：在实时图像中搜索到运动的感兴趣目标后，需要设定载荷稳定装置的控制方案；(6)飞行及载荷稳定决策：飞行预测方案和载荷稳定控制方案综合，及取舍决策，就得到最终的联合控制方案。

2.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的无人机飞行平台，能进行GPS导航飞行，设定多个航点顺序飞行，空闲时自动悬停。

3.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的无人机飞行平台具备数据链路，将所载的运动相机载荷的实时图像及状态信息，传送连接到数据链路的移动控制终端，并从连接到数据链路的移动控制终端接收到运动物体跟踪拍摄的智能控制信息。

4.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的载荷稳定装置能针对挂载的运动相机载荷，进行俯仰、横滚和方位三个维度的稳定。

5.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的运动相机针对拍摄运动物体进行优化，在保证图像质量的前提下有更快的曝光时间和运动补偿，确保能拍摄清楚物体的运动细节。

6.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的移动控制终端，能够与无人机飞行平台建立基于WIFI或数传的数据链路，从而进行图像及状态信息下传，控制信号上传。

7.根据权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置，其特征在于，所述的移动控制终端具有GPS定位功能，被运动物体携带或固定。

8.利用权利要求1所述的利用无人机进行运动物体自动锁定拍摄装置的拍摄方法，其特征在于包括以下步骤：

(1) 移动控制终端根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄，实时数据采集，获得运动相机的实时图像、载荷及稳定装置的姿态状态数据，识别待跟踪目标的具体区域，获取无人机遥测状态数据；

(2) 移动控制终端分析数据预处理，进行筛选或序列化建模，确定待跟踪目标的运动状态，建立累计跟踪管道进行目标跟踪处理；

(3) 移动控制终端综合决策数据处理，根据目标运动估计及跟踪处理数据，产生综合决策数据，通过数据链路传输到的无人机飞行平台，控制载荷和无人机的下一步运动。

9.根据权利要求8所述的利用无人机进行运动物体自动锁定拍摄装置的拍摄方法，其特征在于：所述的筛选或序列化建模具体步骤为：

(a)提取无人机和载荷稳定装置的当前姿态数据；

(b)建立无人机和载荷稳定装置的历史姿态数据管道；

(c)计算无人机和载荷稳定装置的运动轨迹曲线；

(d)提取移动控制终端获得运动目标的当前定位位置数据；

(e)建立运动目标的历史定位位置数据管道；

(f)计算运动目标的运动轨迹曲线。