CN107643758A - 拍摄移动图像的包括无人机和地面站的自主系统及方法 - Google Patents

拍摄移动图像的包括无人机和地面站的自主系统及方法 Download PDF

Info

Publication number
CN107643758A
CN107643758A CN201710606059.9A CN201710606059A CN107643758A CN 107643758 A CN107643758 A CN 107643758A CN 201710606059 A CN201710606059 A CN 201710606059A CN 107643758 A CN107643758 A CN 107643758A
Authority
CN
China
Prior art keywords
unmanned plane
track
camera
target
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710606059.9A
Other languages
English (en)
Inventor
E·勒朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co Ltd
Parrot Drones SAS
Original Assignee
Parrot Unmanned Aerial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Unmanned Aerial Vehicle Co Ltd filed Critical Parrot Unmanned Aerial Vehicle Co Ltd
Publication of CN107643758A publication Critical patent/CN107643758A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H27/00—Toy aircraft; Other flying toys
    • A63H27/12—Helicopters ; Flying tops
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Abstract

本发明涉及用于拍摄移动图像的包括无人机和地面站的自主系统及相关联方法。无人机的位移是通过被施加到无人机的一组推进单元的驾驶命令来限定的，无人机沿着至少部分地预先确定的轨迹飞行以拍摄目标的移动图像。无人机在其位移期间以及视情况而定在目标的位移期间调整相机视角，使得在每个时刻由相机拍摄的图像均包含目标的位置。该系统包括用于确定无人机的用于拍摄的静态轨迹的装置(110)、用于确定无人机沿静态轨迹的位移的动力学的装置(120)，以及用于基于这两个确定和关于目标位置随时间的信息来生成针对无人机的飞行指令的装置(130)。

Description

拍摄移动图像的包括无人机和地面站的自主系统及方法
技术领域
本发明涉及远程驾驶飞行机动化设备，下文中一般地称为“无人机”。
背景技术
本发明具体而言适用于诸如四螺旋桨直升机之类的旋翼无人机，其典型示例是法国巴黎鹦鹉股份有限公司的Bebop，其是一种配备有一系列传感器(加速度计、三轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机、以及捕捉飞过的地形的图像的俯视相机的无人机。
但是，本发明还可应用于其他类型的无人机，例如固定翼无人机，尤其是“飞翼”型的固定翼无人机，诸如举例而言瑞士Cheseaux-Lausanne的SenseFly的eBee型(其为专业的土地测绘无人机)或者由法国巴黎鹦鹉股份有限公司最近呈现的Disco型。
旋翼无人机设置有由相应的马达驱动的多个旋翼，这些马达能够按不同方式受控，以便在姿态和速度方面驾驶该无人机。
文献WO 2010/061099 A2和EP 2 364 757 A1(鹦鹉股份有限公司)描述了这样的无人机以及借助于诸如具有集成加速度计的触摸屏多媒体电话或播放器(例如，iphone类型的蜂窝电话或iPad类型的多媒体平板(注册商标))之类的终端来由此进行驾驶的原理。这些设备包含经由Wi-Fi(IEEE 802.11)或蓝牙无线局域网类型的无线电链路的驾驶命令的检测以及数据的双向交换所需的各种控制元件。它们进一步设置有触摸屏，该触摸屏显示由无人机的前置相机捕获的图像并叠加若干符号，这些符号允许通过操作者的手指在该触摸屏上的简单触摸来激活命令。
无人机的前置摄像机可被用来捕捉无人机所朝向的场景的图像序列。因此，用户可以以相机或便携式相机将由无人机承载而不是将其握在手中的相同方式来使用无人机。可将收集到的图像记录下来，随后广播，上传到视频序列主存网站，发送给其他互联网用户，在社交网络上共享，等等。
前置相机有利地是可转向的相机，以便以受控方式在预先确定的方向上引导视轴，并因此引导随视频流传送的图像的视野。特别是在上述Bebop设备中实现并在EP 2 933775 A1中描述的技术包括使用设置有覆盖约180°视野的鱼眼型的半球形视野透镜的高清广角相机，并且通过软件处理来实时地对由该传感器递送的原始图像开窗，从而确保在经确定的捕捉区域中根据一定数量的参数(包括指向由用户选择的或者由无人机自动地追随的特定目标的命令)对原始图像的有用像素的选择。作为通过开窗软件程序对相机视轴的控制的变型或者甚至作为其补充，还可以将相机安装在具有万向悬挂的万向节型的、设置了根据陀螺仪数据和指向命令来操纵的伺服马达的三轴铰接式支承上。本发明当然适用于任何类型的相机，不论是否可转向，也不论其指向模式为何。
在所谓的“跟踪”模式下，无人机可被编程来跟踪其坐标已知的移动目标，并且使得相机的视轴在飞行期间被引导朝向所述目标。该目标通常是由可能在运动中(例如，练习他在其中移动的一项运动(跑步、滑行、驾驶等))的用户携带的终端本身。在该模式下，无人机能够拍摄用户的进展，而用户不必对无人机的位移和相机的视轴采取动作。
为此，终端的坐标(该坐标由装备该终端的GPS单元以本质上已知的方式获得)通过无线链路被传递给无人机，并且无人机可因此调整其位移以便跟踪该终端，并且使得相机的视轴保持被引导朝向该终端。
该功能在市场的某些产品中是已知的，例如从FR 3 031 402 A1(也被公开为US2016/194079 A1)已知，其提出预先编程围绕目标的轨迹，并允许用户在“相机-移动库”中选择其中的一个，以用于在跟踪模式下自动驾驶无人机。
US 9 164 506 B1以详细的方式解说了通过无人机(尤其是设置有被安装在可转向支架上的相机的无人机)的目标跟踪技术。
但是，就拍摄期间无人机可沿着行进的轨迹而言以及就无人机沿着该轨迹行进的方式而言，这些设备所提供的拍摄可能性依然非常有限。
例如，在上述FR 3 031 402 A1中，在用户(该用户将期望以能够加速/减慢位移、使无人机在某一点不动、使其沿轨迹在相反方向上行进的方式来影响无人机沿所选(静态)轨迹的位移的速度)的控制之下，在沿着经预先编程的轨迹行进的途中没有给出指示。
发明内容
为了补偿这些限制，本发明的基本思想在于根据无人机沿轨迹行进的方式来将这些轨迹的生成(钟形轨迹、圆形轨迹等的选择)相分开。
本发明的目的是向用户提出拍摄潜在地在运动中的目标的移动图像的更广泛的可能性并且在这些拍摄期间更好地控制无人机的位移。
例如，对钟形曲线而言，当无人机靠近目标时，实质是要避免在抛物线的顶点处的减速以及在抛物线的底部的越来越高的速度。
根据第一方面，本发明为此提出了一种用于拍摄移动图像的系统，包括设置有相机的无人机以及通过无线链路与无人机通信的地面站，无人机的位移是通过被施加到无人机的推进单元或一组推进单元的驾驶命令来限定的。无人机被适配成沿着至少部分地预先确定的轨迹飞行以拍摄目标的移动图像，并且在无人机的位移期间(并视情况而定，在目标的位移期间)调整相机视角，使得在每个时刻由相机拍摄的图像均包含目标的位置。
本发明的特征在于，该系统包括用于确定无人机相对于供拍摄目标的静态轨迹的装置、用于确定无人机沿该静态轨迹的位移的动力学的装置以及用于基于这两个确定和关于目标位置随时间的信息来生成针对无人机的飞行指令的装置。
根据各种有利的附属特性：
用于确定无人机的静态轨迹的装置包括与地面站的用户界面相关联的用于在一组被存储的轨迹中选择轨迹的装置；
用于确定无人机的静态轨迹的装置包括与用户界面相关联的用于对所选轨迹的至少一个参数作出调整的装置；
待选择的被存储的轨迹包括在以下组中选择的至少两条轨迹：钟形轨迹、闭合曲线轨迹、螺旋轨迹、推拉(zoom)轨迹；
该系统包括用于在经确定的轨迹上调整拍摄起始位置和拍摄结束位置的装置；
用于确定位移的动力学的装置包括允许确定沿静态轨迹的速度的演变的用户界面；
速度的演变的确定包括无人机的停滞点的确定；
速度的演变的确定包括无人机的速度反转的确定。
相机可以是鱼眼型的广角固定相机并且随后向其提供被适配成对由相机拍摄的广角图像进行构图和处理的用于调整所述相机视角的装置，或者相机可以是被安装在具有万向悬挂的万向节型的设置了伺服马达的三轴铰接式支承上的相机，并且用于调整所述相机视角的装置是被适配成操纵所述伺服马达的装置。
根据本发明的第二方面，提出了一种地面站，该地面站被适配成通过无线链路与设置有相机的无人机进行通信以向其发送驾驶命令，从而使无人机沿着至少部分地预先确定的轨迹飞行以拍摄目标的移动图像。该站的特征在于其包括用于确定无人机相对于供拍摄目标的静态轨迹的装置、用于确定无人机沿该静态轨迹的位移的动力学的装置以及用于基于这两个确定和关于目标位置随时间的信息来生成针对无人机的飞行指令的装置。
根据本发明的第三方面，进一步提出了一种用于确定无人机必须沿其行进以拍摄(视情况而定，运动中的)目标的移动图像的轨迹的方法，其特征在于，该方法包括以下步骤：
选择无人机相对于目标必须沿其行进的静态轨迹；
确定无人机沿该静态轨迹的位移的动力学；
基于所选静态轨迹、所确定的动力学以及目标的坐标来生成针对无人机的飞行指令。
附图说明
现在将参考附图描述根据本发明的无人机的示例性实施例，在所有附图中，相同的附图标记指示完全相同或功能上相似的元素。
图1是包括无人机和地面站的拍摄系统的示意性总体视图。
图2例示了用于拍摄目标的移动图像的无人机的轨迹的示例。
图3是根据本发明的用于轨迹确定的一组功能单元的框图。
图4是用于驾驶命令的生成以及对无人机的相机的视轴的控制的一组功能单元的框图。
图5A-5E例示了用于无人机的一组典型的静态轨迹。
具体实施方式
现在将描述本发明的示例性实施例。
其适用于无人机，例如四螺旋桨型无人机，诸如鹦鹉公司的Bebop Drone，其各种技术方面在上述EP 2 364 757 A1、EP 2 613 213 A1、EP 2 450 862 A1或EP 2 613 214A1中得到描述。
无人机D包括共面的旋翼，这些旋翼的马达由集成的导航与姿态控制系统独立地操纵。其设置有允许获得该无人机所朝向的场景的图像的前视相机C。
该无人机还可优选地包括指向下的第二俯视相机(未示出)，其被适配成捕捉所飞过的地形的连续图像并且尤其被用来评估无人机相对地面的速度。
惯性传感器(加速度计和陀螺仪)允许以一定的准确度来测量无人机的角速度和姿态角，即描述无人机相对于固定的陆地参考系的水平面的倾斜的欧拉角(俯仰、滚转和偏航)，应该理解水平速度的两个纵向和横向的分量是与跟随两个相应的俯仰和滚转轴的倾斜度紧密相联的。此外，被布置在无人机下的超声测距仪还提供了对相对于地面的高度的测量。无人机还设置有允许特别是基于来自GPS接收器的数据或者借助其他手段(例如通过集成由惯性单元的传感器产生的测量)来确定其在空间中的绝对位置的定位装置。
相机C优选地为例如在EP 2 933 775 A1(鹦鹉)中所描述的鱼眼型的半球形视野固定相机。使用这样的相机，相机视轴的改变不是通过相机的物理位移作出的，而是通过根据相对于无人机的主轴确定的作为设定点给出的虚拟视角对由相机拍摄的图像进行构图和处理而作出的。
无人机D由通常采用遥控设备的形式(例如模型飞行器遥控型、智能电话或智能平板的形式)的地面站T来驾驶。智能电话或智能平板设置有触摸屏E，触摸屏E显示前置相机C内的图像并叠加允许通过用户的手指在触摸屏E上的简单触摸来激活驾驶命令的一定数量的符号。当无人机D由遥控型的站T驾驶时，用户可被提供有通常被称为FPV(“第一人称视角”)眼镜的沉浸式驾驶眼镜。设备T还设置有用于与无人机D进行(例如Wi-Fi(IEEE802.11)局域网类型的)无线电链接的装置，以用于数据的双向交换，具体而言从无人机D到设备T以供由相机C捕获的图像以及飞行数据的传输，以及从设备T到无人机D以供发送驾驶命令。
根据本发明，包括无人机D和设备T的系统被配置成使得无人机被提供有自主地跟踪并拍摄目标的能力，目标通常由用户所携带的设备T本身组成，从而为用户提供触发自动轨迹以容易地产生有趣和美观照片的可能性。
这些照片由相对于用户的位置实时重新计算的三维轨迹来限定。
有利地，用户可通过对终端T的触摸屏的按钮的简单按压来触发动画，无人机从而执行位移，同时保持携带该终端的主体位于视频中心。
根据本发明的一个方面，该系统将i)表示由无人机D采取的轨迹的3D曲线的形状的静态定义与ii)沿该曲线随时间行进的方式分开。
现在参考图2，将更详细地解释用于拍摄以目标为中心的移动图像的特定轨迹的生成。
在本文中仅作为解说举出的示例中，无人机的轨迹的形状是钟形曲线C的形状：无人机通过沿着越过目标(这里是携带设备T的用户)正上方的抛物线行进到达另一侧来对目标进行拍摄。
在第一种办法中，该轨迹可以简单地由抛物线的参数方程定义，即：
X(t)＝t
Z(t)＝H-(t-t0)2
但是，如果该曲线是随时间进行描述的，则可以理解，在起始和结束时的位移的速度是显著的，并且无人机将在抛物线的顶点处减速。这通过以下事实来解释：表达曲线形状的方式是与随时间对其进行描述的方式(这里，沿X轴的恒定速度)紧密相联的。
根据本发明，该系统被布置成以允许用户通过能够影响无人机沿所选轨迹的位移的速度来控制动画的过程，以便能够加速位移、减慢位移、在一定的时间内使无人机不动，或者甚至促使其在相反方向上沿轨迹行进。
为此，电子驾驶架构(优选地为软件架构)被使用，这允许将轨迹的生成同无人机将沿着这些轨迹移动的方式的生成相分开。
参考图3，框110具有独立于任何动力学描述轨迹的形状(即无人机将沿着行进的三维空间中的曲线的形状)的目的。该轨迹由经参数化的曲线来描述：
M(u)＝(x(u),y(u),z(u))
其中，在u＝u0处开始而在u＝u1处结束。
在本示例中，相对于表示由用户携带的终端T的位置的原点O(0,0,0)来描述轨迹。
在抛物线的本示例中，我们有：
x(u)＝(1-2u).x0
y(u)＝(1-2u).y0
z(u)＝4*u*(u-1).H+z0
其中u0＝0，u1＝1并且M0(x0,y0,z0)为在动画启动时无人机相对于用户的位置。
仍然参考图3，框120具有一旦轨迹的形状被定义则定义在每个时刻无人机沿该轨迹的位移的速度的目的。框120接收期望的速度v作为输入，其可以：
取决于轨迹的进展，以例如在起始和结束时减速：
v＝v(u)＝v(u(t))
或者在每个时刻例如通过用户的编程来被重新定义，即：
v＝v(t)
框120还接收曲线M(u)和时间t作为输入。基于参数M(u)、v和t，框120通过以下步骤来确定作为时间的函数的参数u的演变：
计算轨迹在当前位置处的梯度：
g＝dM/du(u)
－计算期望的曲线速度v＝v(t)或v＝v(u(t))；并且
确定对应于时间增量dt的参数u的增量，即：
u(t+dt)＝u(t)+v*dt/||g||
这里将注意到，在轨迹未被正确地定义并且包括奇点的情况下，梯度可以是空值(null)。速度的概念因此没有意义，因为M(t)在该时刻是不可微分的。参数u因此增加一小的变化du，以退出奇点，即：
u(t+dt)＝u(t)+du
其中du是固定的且相对于|u1-u0|非常小。
因此，在框120的出口处获得作为时间t的函数的参数u的演变。
因此，可以通过计算M(u(t))来生成在每个时刻的无人机位置设定点。该计算由图3的框130执行。
如此生成的轨迹接着验证以下属性：
M(t)＝M(u(t))：轨迹符合期望的形状；
在任何时候，期望的速度均被遵守：||dM/dt||＝|v(t)|；
如果v(t)>vmin>0，则u(t)在有限时间内严格增加并从u0变化到u1；以及
如果v(t)<-vmin<0，则u(t)在有限时间内严格减小并达到起始值u0。
如上所述，一旦所定义的静态轨迹和该轨迹的动力学被纳入考虑，则该系统通过将此处包括与用户一起移动的终端T的目标的位置同样纳入考虑来确定无人机D必须采用的位置。其还确定了相机视轴设定点。
图4例示了所实现的整个处理操作的框图。
框210对应于图3的所有框110至130，并且提供了动态轨迹M(u(t))的坐标。
框220提供了目标的坐标MC(t)，其优选地来自构成该目标的终端T本身的GPS单元。
求和器230通过将坐标MC(t)和轨迹坐标M(u(t))相加来确定被表示成MD(t)的针对无人机D的坐标设定点。
这些坐标设定点被应用于无人机的驾驶系统(框240)，使得其遵循这些设定点。
此外，目标MC(t)的坐标以及在设定点MD(t)之后的无人机的实际位置的坐标(MRD(t))(或者直接是设定点MD(t))被应用于框250的输入处，框250的作用是定义无人机的相机C的视轴的坐标，以便生成以目标(这里携带终端T的用户)为中心的图像。
在一基本实施例中，该轴的确定是通过目标的坐标和无人机的坐标之间的减法来执行的。
在一优选实施例中，框110加入一组静态轨迹被储存在其中的存储器，并且终端T设置有允许在飞行之前选择轨迹中的一条的用户界面IU1，优选地是触摸界面。优选地，该界面IU1还允许调整轨迹的某些参数(参见以下的轨迹及其参数的示例)。
框120在功能上被连接到用户界面IU2，其允许对沿着在框110处所选择的轨迹行进的动力学进行调整。
可针对这种调整设想许多可能性：
具有预定义的选项(恒定速度、围绕均值随机变化的速度、(视情况而定，带有零速度的点的)递增或递减的速度，等等)的一定数量的按钮。
触摸界面，静态轨迹被显示在该触摸界面上，并且用户可借助于他的手指在该触摸界面上逐区域地调整速度、定义停滞点和返回点，等等。
上述两个选项当然可以组合在一起。
这里将注意到，图3和图4所例示的处理操作在这里由装备终端T的中央处理单元实现。在各实施例变型中，这些处理操作的全部或部分可以在无人机D机载中央处理单元中实现。用户界面IU1和IU2在终端的触摸屏E处生成，因此与相应的框110和120的链接在终端T内执行，或者经由终端和无人机之间的无线链路执行，在这种情况下对应的处理操作在无人机中执行。
在又一些其他变型中，上述处理操作可以在远程云服务器(无人机向该远程云服务器注册)内操作。然后，无人机除了WiFi通信模块(其通过该WiFi通信模块与终端T交换数据)之外还被提供有允许其直接连接到3G或4G移动电话网络的另一通信模块。然后可以向该云服务器转移一定数量的驾驶操作和计算、一定数量的图像处理等，而不是在无人机或遥控终端板载的处理器中执行它们。
此外，由无人机D的相机C在其行进期间拍摄的图像序列可被储存在无人机机载存储器中，然后在飞行结束时被传送到终端或另一智能设备，或者在拍摄本身期间被流式传输并储存在终端T中，或者还按照上文所述的假设被传送到云服务器。
在图5A至5E中已例示了一定数量的静态轨迹的可能示例：
沿抛物线的“钟形”位移(图5A，另见图2)：无人机上升，通过目标T的上方，并向下返回以在与起点对称的点处中断序列；可以改变抛物线的焦距(DF)参数(更宽或更窄的抛物线)，并调整拍摄的起始和结束的位置ti和tf，它们自己确定轨迹的高度(H)；还可以提供在圆的一部分上的位移或者在包含在垂直平面中的任何其他曲线上的位移；
恒定高度的圆(图5B)：无人机沿其中心(CC)在目标T正上方的圆行进；可以改变高度(H)、圆的半径(R)以及起始和结束位置的参数；还可以设想包含在倾斜平面内的圆或者自身闭合或不闭合的任何其他曲线(诸如椭圆)，等等；
上升或下降的螺旋线(图5C)：无人机沿一个或若干圆行进，同时向上移动给定的高度；可以改变螺旋线的螺距(S)、其半径(R)、其轴线的方向以及行进通过的匝数(它本身与螺距相组合来确定轨迹的高度(H)的总变化)；也可以根据高度改变半径，以获得内切于锥体中的螺旋线；
“回旋镖型”位移(图5D)，具有沿着斜线的第一行进以及沿同一直线的返回；无人机通过远离目标移动一距离DI来执行造成缩小拍摄的移动，然后返回到其起始点以执行放大：目标T可能在直线的延长部分中或其他地方；此外，可以改变直线的角度(θ)和其长度(DI)；作为变体，可以提供弯曲的轨迹；
“推拉”位移(图5E)，通常在双曲线型的轨迹上：无人机朝向目标飞行，然后其轨迹在目标附近弯曲，并且其向上移动以垂直地位于目标上方；可以改变两条渐近线的倾斜度的参数、确定更大或更少方向突变的焦距(DF)以及序列起始和结束位置ti和tf(具体参见对应于高度H的序列结束位置tf)；此外，目标可以在或者不在第二渐近线上。

Claims (12)

1.一种用于拍摄移动图像的系统，包括设置有相机(C)的无人机(D)以及通过无线链路与所述无人机通信的地面站(T)，
所述无人机的位移是通过被施加到所述无人机的推进单元或一组推进单元的驾驶命令来限定的，所述无人机被适配成沿着至少部分地预先确定的轨迹飞行以拍摄目标(T)的移动图像，并且在所述无人机的位移期间，以及视情况而定，在所述目标的位移期间，调整所述相机(C)的视角，使得在每个时刻由所述相机拍摄的所述图像均包含所述目标的位置，
所述系统的特征在于其包括：
用于确定所述无人机相对于供拍摄的所述目标的静态轨迹的装置(110)；
用于确定所述无人机沿所述静态轨迹的位移的动力学的装置(120)；以及
用于基于所述的两个确定和关于目标位置随时间的信息来生成针对所述无人机的飞行指令的装置(130、230、240)。
2.根据权利要求1所述的系统，其特征在于，用于确定所述无人机的静态轨迹的所述装置(110)包括与所述地面站(T)的用户界面(IU1)相关联的用于在一组被存储的轨迹中选择轨迹的装置。
3.根据权利要求2所述的系统，其特征在于，用于确定所述无人机的静态轨迹的所述装置(110)包括与用户界面(IU1)相关联的用于对所选轨迹的至少一个参数作出调整的装置。
4.根据权利要求2所述的系统，其特征在于，所述被存储的轨迹包括在以下组中选择的至少两条轨迹：钟形轨迹、闭合曲线轨迹、螺旋轨迹、推拉轨迹。
5.根据权利要求1所述的系统，其特征在于，所述系统包括用于在所确定的轨迹上调整拍摄起始位置和拍摄结束位置的装置(110)。
6.根据权利要求1所述的系统，其特征在于，用于确定所述无人机沿所述静态轨迹的位移的动力学的所述装置(120)包括允许确定沿所述静态轨迹的速度的演变的用户界面(IU2)。
7.根据权利要求6所述的系统，其特征在于，所述速度的演变的所述确定包括所述无人机的停滞点的确定。
8.根据权利要求6所述的系统，其特征在于，所述速度的演变的所述确定包括所述无人机的速度反转的确定。
9.根据权利要求1所述的系统，其特征在于，所述相机是鱼眼型的广角固定相机，并且所述系统的特征在于，所述系统包括被适配成对由所述相机拍摄的广角图像进行构图和处理的用于调整所述相机视角的装置。
10.根据权利要求1所述的系统，其特征在于，所述相机是被安装在具有万向悬挂的万向节型的设置了伺服马达的三轴铰接式支承上的相机，并且所述系统的特征在于，所述系统包括被适配成操纵所述伺服马达的用于调整所述相机视角的装置。
11.一种地面站(T)，所述地面站(T)被适配成通过无线链路与设置有相机的无人机(D)进行通信以向所述无人机发送驾驶命令，从而使所述无人机沿着至少部分地预先确定的轨迹飞行以拍摄目标的移动图像，
所述站的特征在于其包括：
用于确定所述无人机相对于供拍摄的所述目标的静态轨迹的装置(110)；
用于确定所述无人机沿所述静态轨迹的位移的动力学的装置(120)；以及
用于基于所述的两个确定和关于目标位置随时间的信息来生成针对所述无人机的飞行指令的装置(130)。
12.一种用于确定无人机(D)必须沿着行进以拍摄目标的移动图像的轨迹的方法，所述目标视情况而定能处于运动中，
其特征在于，所述方法包括以下步骤：
选择所述无人机相对于所述目标必须沿着行进的静态轨迹；
确定所述无人机沿所述静态轨迹的位移的动力学；以及
基于所选静态轨迹、所确定的动力学以及所述目标的坐标来生成针对所述无人机的飞行指令。
CN201710606059.9A 2016-07-22 2017-07-24 拍摄移动图像的包括无人机和地面站的自主系统及方法 Pending CN107643758A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657016A FR3054334A1 (fr) 2016-07-22 2016-07-22 Systeme autonome de prise de vues animees comprenant un drone et une station au sol, et procede associe.
FR1657016 2016-07-22

Publications (1)

Publication Number Publication Date
CN107643758A true CN107643758A (zh) 2018-01-30

Family

ID=57583186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710606059.9A Pending CN107643758A (zh) 2016-07-22 2017-07-24 拍摄移动图像的包括无人机和地面站的自主系统及方法

Country Status (4)

Country Link
US (1) US20180024557A1 (zh)
EP (1) EP3273317A1 (zh)
CN (1) CN107643758A (zh)
FR (1) FR3054334A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064519A (zh) * 2018-07-13 2018-12-21 云南大学 利用一条直线及圆的渐进线标定拋物折反射摄像机的方法
CN109445454A (zh) * 2018-09-18 2019-03-08 山东理工大学 用于桥梁检测的无人机绕梁巡航检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
FR3065544A1 (fr) * 2017-04-19 2018-10-26 Parrot Drones Procede de pilotage d'un drone a voilure tournante, programme d'ordinateur, appareil electronique et drone associes
FR3079943A1 (fr) * 2018-04-05 2019-10-11 Parrot Drones Dispositif electronique et procede de commande d'un drone avec effet de travelling compense, programme d'ordinateur associe
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
CN110637269A (zh) * 2018-04-27 2019-12-31 深圳市大疆创新科技有限公司 无人机的控制方法、控制设备及无人机
JP2021518953A (ja) * 2018-05-02 2021-08-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ナビゲートする方法及びシステム
CN116431005B (zh) * 2023-06-07 2023-09-12 安徽大学 一种基于改进移动端唇语识别的无人机控制方法及系统
CN116909317B (zh) * 2023-09-14 2023-11-21 飞客工场科技(北京)有限公司 基于终端车联网的无人机控制系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518555B (zh) * 2014-07-30 2017-11-03 深圳市大疆创新科技有限公司 目标追踪系统及方法
FR3031402B1 (fr) * 2015-01-02 2018-09-07 Squadrone System Procede de pilotage automatique d'un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064519A (zh) * 2018-07-13 2018-12-21 云南大学 利用一条直线及圆的渐进线标定拋物折反射摄像机的方法
CN109064519B (zh) * 2018-07-13 2021-10-08 云南大学 利用一条直线及圆的渐进线标定拋物折反射摄像机的方法
CN109445454A (zh) * 2018-09-18 2019-03-08 山东理工大学 用于桥梁检测的无人机绕梁巡航检测方法

Also Published As

Publication number Publication date
EP3273317A1 (fr) 2018-01-24
FR3054334A1 (fr) 2018-01-26
US20180024557A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107643758A (zh) 拍摄移动图像的包括无人机和地面站的自主系统及方法
US11347217B2 (en) User interaction paradigms for a flying digital assistant
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US10860040B2 (en) Systems and methods for UAV path planning and control
US20210072745A1 (en) Systems and methods for uav flight control
US20210109514A1 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US10831186B2 (en) System for authoring, executing, and distributing unmanned aerial vehicle flight-behavior profiles
CN107918397A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
CN108021145A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
CN107077152A (zh) 控制方法、设备、系统、无人机和可移动平台
CN107643759A (zh) 从无人机拍摄移动图像的具有目标跟踪和定位的自主系统
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180130

WD01 Invention patent application deemed withdrawn after publication