CN107918397A - 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 - Google Patents
带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 Download PDFInfo
- Publication number
- CN107918397A CN107918397A CN201710931130.0A CN201710931130A CN107918397A CN 107918397 A CN107918397 A CN 107918397A CN 201710931130 A CN201710931130 A CN 201710931130A CN 107918397 A CN107918397 A CN 107918397A
- Authority
- CN
- China
- Prior art keywords
- target
- unmanned plane
- camera
- optical axis
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 42
- 230000001427 coherent effect Effects 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 241000287531 Psittacidae Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000012190 activator Substances 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统。系统(1)包括设置有相机(C)的无人机(D)和地面站，所述相机(C)沿视轴(3)定向，所述无人机(D)被适配成自主地飞行以拍摄随所述地面站移动的目标(T)的移动图像，所述视轴(3)的方向使得所述目标(T)保持存在于所述拍摄所产生的连贯图像中。所述系统进一步包括：用于在给定参考系中确定所述目标(T)的速度向量(VT1，VT2)和所述目标(T)的位置(TP1，TP2)的装置(6)，以及控制装置(2)，其被配置成基于所确定的速度向量(VT1，VT2)、所确定的位置(TP1，TP2)以及所确定的方向角(αp)来生成飞行指令，以便使所述相机(C)的视轴(3)与所述速度向量(VT1，VT2)的方向之间的角度基本上保持在所述预定方向角(αp)的值。
Description
技术领域
本发明涉及远程驾驶飞行机动化设备，下文中一般地称为“无人机”。
背景技术
本发明具体而言适用于诸如四螺旋桨直升机之类的旋翼无人机，其典型示例是法国巴黎鹦鹉股份有限公司的Bebop 2，其是一种配备有一系列传感器(加速度计、三轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机、以及捕捉飞过的地形的图像的俯视相机的无人机。
旋翼无人机设置有由相应的电机驱动的多个旋翼，这些电机能够按不同方式受控，以便在姿态和速度方面驾驶该无人机。
文献WO 2010/061099 A2和EP 2364757A1(鹦鹉股份有限公司)描述了这样的无人机以及借助于诸如具有集成加速度计的触摸屏多媒体电话或播放器(例如，iphone类型的蜂窝电话或iPad类型(注册商标)的多媒体平板)之类的站(一般在地面)来由此进行驾驶的原理。这些站包含经由Wi-Fi(IEEE 802.11)或蓝牙无线局域网类型的无线电链路的驾驶命令的检测以及与无人机的双向数据交换所需的各种控制元件。它们进一步设置有触摸屏，该触摸屏显示由无人机的前置相机捕获的图像并叠加若干符号，这些符号允许通过用户的手指在该触摸屏上的简单触摸来激活命令。
无人机的前置摄像机可被用来捕捉无人机所朝向的场景的图像序列。因此，用户可以以相机或便携式相机将由无人机承载而不是将其握在手中的相同方式来使用无人机。可将收集到的图像记录下来，随后广播，上传到视频序列主存网站，发送给其他互联网用户，在社交网络上共享，等等。
前置相机可以是可转向的相机，以便以受控方式在预先确定的方向上引导视轴，并因此引导随视频流传送的图像的视野。特别是在上述Bebop 2设备中实现并在EP2933775 A1中描述的技术包括使用设置有覆盖约180°的视野的鱼眼型的半球形视野透镜的高清广角相机，并且通过软件处理来在当时对由该传感器递送的原始图像开窗，从而确保在经确定的捕捉区域中根据一定数量的参数(包括指向由用户选择的或者由无人机自动地跟踪的特定目标的命令)对原始图像的有用像素的选择。作为通过开窗软件程序对相机视轴的控制的变型或者甚至作为其补充，还可以将相机安装在具有万向悬挂的万向节型的、设置了根据陀螺仪数据和指向命令来操纵的伺服电机的三轴铰接式支承上。本发明当然适用于任何类型的相机，不论是否可转向，也不论其指向模式如何。
在所谓的跟踪模式下，无人机可被编程来跟踪其坐标已知的移动目标，并且使得相机的视轴在飞行期间被引导朝向所述目标。该目标通常是由可能在运动中(例如，练习他在其中移动的一项运动(跑步、滑行、驾驶等))的用户携带的站本身。在该模式下，无人机能够拍摄用户的移动，而用户不必对无人机的位移和相机的视轴采取动作。
跟踪目标对象的无人机调整其位置和/或相机单元的位置，使得目标对象总是被无人机拍摄到。无人机是自主的，即位移由无人机计算得到并且不由用户来驾驶，它因变于目标对象的移动来确定其迹线并控制相机单元以使得相机单元总是朝向要拍摄的目标对象。因此，在目标移动时，无人机不仅能够跟踪目标，并且它还将自己定位成以其视轴朝向目标的方式来使其相机转向。
为此，地面站的坐标(该坐标由装备该地面站的GPS单元以本质上已知的方式获得)通过无线链路被传达给无人机，并且无人机可因此调整其位移以便跟踪目标，并且使得相机的视轴保持被引导朝向该目标，以使得图像因此以被摄体为中心。
在跟踪模式中，已知无人机跟踪在相机的视野中的目标的位移。因此，在目标追随远离无人机的迹线时，无人机检测目标的移动并使自己朝目标移动，以使得目标保持在相机的视野中。以此方式，无人机就位在目标之后以跟踪目标的移开。因此获得了具有目标后视图的图像。此外，在目标的移动期间修改图像拍摄角。的确，在目标执行转向而无人机正在跟踪它时，根据转向方向，无人机结果处于目标后方或前方。因此，相机相对于目标的迹线的拍摄角与转向之前大不相同。
发明内容
本发明的目标是提出一种允许无人机在用于拍摄运动中目标的自主拍摄模式中一方面在跟踪期间保持相同的目标拍摄角以及另一方面保持无人机关于目标的相对定位的系统。
为此，本发明提出了一种用于拍摄移动图像的系统，该系统包括设置有相机的无人机和通过无线链路与该无人机通信的地面站，所述相机沿视轴定向，所述无人机的位移通过以应用于所述无人机的推进单元或推进单元集合的飞行指令来定义，所述无人机被适配成自主地飞行以拍摄随所述地面站移动的目标的移动图像，所述视轴的方向使得所述目标保持存在于所述拍摄所产生的连贯图像中。
本发明的特征在于，该系统包括：
用于在给定参考系中确定目标的速度向量和目标的位置的装置，以及
控制装置，其被配置成基于以下各项来生成所述飞行指令：
i.所确定的速度向量，
ii.所确定的位置，以及
iii.预定方向角。
以便使所述相机的视轴与所述速度向量的方向之间的角度基本上保持为所述预定方向角的值(αp)。
以下特征可被一起或分开地采用。
优选地，该系统包括用于激活无人机对目标的跟踪的装置，其被适配成：
控制目标跟踪的激活，以及
在所述激活的时刻计算所述预定方向角的值。
由控制装置生成的所述飞行指令可以基于与用于保持所述预定方向角的命令有关的反馈环路来生成。
同样优选地，控制装置被配置成生成所述飞行指令以进一步将无人机的位移控制在所述无人机和所述目标之间的预定距离处。
在一优选实施例中，用于激活无人机对目标的跟踪的装置被进一步适配成在所述激活的时刻计算所述预定距离的值。
由控制装置生成的所述飞行指令可以进一步基于与用于保持所述预定距离的命令有关的反馈环路来生成。
优选地，控制装置被配置成生成所述飞行指令以进一步控制无人机的位移以便保持预定仰角，该预定仰角是相机的视轴与水平面之间的角度。
在一优选实施例中，用于激活无人机对目标的跟踪的装置被进一步适配成在所述激活的时刻计算所述预定仰角的值。
由控制装置生成的所述飞行指令可以进一步基于与用于保持所述预定仰角的命令有关的反馈环路来生成。
在一特定实施例中，相机的视轴的方向相对于无人机的主轴是固定的，控制装置被配置成生成飞行指令以使相机的视轴在无人机对目标的跟踪期间朝向所述目标。
在另一特定实施例中，得益于修改装置，相机的视轴的方向相对于无人机的主轴是可修改的，该修改装置被配置成至少部分地使相机的视轴在无人机对目标的跟踪期间朝向所述目标。
用于确定目标的速度向量和位置的所述装置可通过对目标的连贯GPS地理位置的观测来操作，给定参考系是陆地参考系。
用于确定目标的速度向量和位置的所述装置可通过对无人机的相机所递送的图像的分析来操作，给定参考系是链接到无人机的参考系。
在这一情形中，对相机递送的图像的分析优选地是对无人机的相机相继地生成的图像中目标的位置的分析，并且该系统包括用于在连贯图像中定位并跟踪所述位置的装置。
附图说明
现在将参考附图来描述本发明的示例性实施例，附图中同一附图标记表示所有附图中相同或功能上相似的元件。
图1是包括无人机和地面站的拍摄系统的示意性总体视图。
图2是根据本发明的图1的系统的俯视图的示意表示，目标和无人机各自被表示在初始位置和稍后位置中。
图3是在图1的系统中实现的装置的示意表示。
图4是根据本发明的图1的系统的侧视图的示意表示，目标和无人机各自被表示在初始位置和稍后位置中。
具体实施方式
本发明适用于无人机D，例如四螺旋桨型无人机，诸如鹦鹉公司的Bebop 2无人机，其各种技术方面在上述EP 2364757 A1、EP 2613213 A1、EP 2450862 A1或EP 2613214 A1中得到描述。
本发明涉及用于拍摄移动图像的系统1，包括提供有相机C的无人机D和通过无线链路与无人机D通信的地面站S，如图1所示。
无人机D包括包含共面旋翼的推进单元或推进单元集合，其电机通过集成导航和姿态控制系统被独立地驾驶。其设置有允许获得该无人机D所朝向的场景的图像的前视相机C。相机C沿视轴3来定向，如图2所示。
惯性传感器(加速度计和陀螺仪)允许以某一准确度来测量无人机的角速度和姿态角，即描述无人机相对于固定陆地参考系的水平面的倾斜的欧拉角(俯仰、滚转以及偏航)。此外，被置于无人机D之下的超声测距仪还提供了对相对于地面的高度的测量。无人机D还设置有允许特别是基于来自GPS接收器的数据来确定其在空间中的绝对位置DP1、DP2的定位装置。
无人机D由通常采用遥控设备的形式(例如模型飞行器遥控型、智能电话或智能平板的形式)的地面站S来驾驶。智能电话或智能平板设置有触摸屏E，触摸屏E显示前置相机C内的图像并叠加允许通过用户的手指在触摸屏E上的简单触摸来激活驾驶命令的一定数量的符号。当无人机D由遥控型的站S驾驶时，用户可被提供有通常被称为FPV(“第一人称视角”)眼镜的沉浸式驾驶眼镜。站S还设置有用于与无人机D进行(例如Wi-Fi(IEEE 802.11)局域网类型的)无线电链接的装置，以用于数据的双向交换，具体而言从无人机D到站S以供由相机C捕获的图像以及飞行数据的传输，以及从站S到无人机D以供发送驾驶命令。
包括无人机D和站S的该系统被配置成使得无人机具有自主跟踪并拍摄目标的能力。通常，目标包括由用户携带的站S本身。
根据本发明，无人机对目标的跟踪是通过保持无人机D的相机C的相同目标拍摄角来执行的。无人机D的位移是通过由无人机D的导航系统的控制装置所生成并被应用于无人机D的推进单元或推进单元集合的飞行指令来定义的。
根据图2和3中解说的本发明，为在连贯图像上保持相同目标拍摄角，控制装置2的指令被生成为使得保持相机C的视轴3与目标T的速度向量VT1、VT2的方向之间形成的预定方向角αp。这一角度基本上对应于无人机D的相机C的目标拍摄角。在给定时刻，确定预定方向角αp的值(例如固定值)，它在无人机D跟踪目标T的模式中基本上被保持。换言之，无人机D因变于目标T的位移来追随一位移，使得在目标T和无人机D的相应位移期间，当前方向角α基本上等于预定方向角αp的值。因此，预定方向角αp是执行目标T的持续拍摄所需要根据的角度。根据另一实施例，预定方向角αp的值可以从预记录在系统1中的值集合中选择。
为此，该系统的控制装置2被配置成基于如下各项来生成所述飞行指令：
i.目标T的速度向量VT1、VT2，
ii.目标的位置TP1、TP2，以及
iii.预定方向角αp。
无人机的相机的视轴3的方向使得目标T保持存在于由所述拍摄所产生的连贯图像上。
在第一实施例中，相机C的视轴3的方向相对于无人机的主轴是固定的。控制装置2因此被配置成生成飞行指令以便按如下方式定位无人机的主轴：相机C的视轴3在无人机D跟踪目标T期间朝向T。
在第二实施例中，得益于修改装置，相机C的视轴3的方向相对于无人机的主轴是可修改的。修改装置被配置成在无人机D跟踪目标期间将相机的视轴3至少部分地朝向目标T来定向。相机C例如是在EP 2933775 A1(鹦鹉公司)中所描述的半球形视野的鱼眼型的固定相机。使用这样的相机，相机C的视轴3的改变不是通过相机的物理位移来执行的，而是通过因变于相对于无人机的主轴确定的作为命令给出的虚拟视角对由相机拍摄的图像进行帧重构和再处理来执行的。相机C还可以是可组装到无人机的移动相机，例如在无人机机身下方，在这一情形中，修改装置包括绕三个轴中的至少一者或甚至这三个轴来转动相机的电机，以便按照目标保持存在于由所述拍摄所产生的连贯图像中的方式对相机的视轴进行定向。
目标T的位置TP1、TP2的坐标允许确定相机C的视轴3的方向，以便目标T保持存在于在拍摄期间产生的连贯图像上。得益于无人机的确定无人机D的位置的传感器，相机C的视轴3的坐标被确定。
目标T相对于无人机D的速度向量VT1、VT2和位置TP1、TP2的坐标允许确定相机C的视轴3和速度向量VT1、VT2的方向之间的当前方向角α。
控制装置2例如被配置成基于与用于保持所述预定方向角αp的命令有关的反馈环路来生成所述飞行指令，例如借助于设置有被提供用于该目的的执行程序的计算单元。反馈控制的原理是持续地测量要被控制的量的当前值与所需达到的预定值之间的差异，确定用于达到该预定值的合适的控制指令。因此，控制装置2首先确定当前方向角α，随后给出飞行指令以使得无人机D移至其中当前方向角α对应于预定方向角αp的位置DP2，反馈环路由控制装置2持续地重复以保持预定方向角αp的值。
参考图2，已在自主运动中示意性地示出了无人机D，配备有拍摄目标T的一系列移动图像的相机C。目标T具有初始位置TP1且无人机D具有初始位置DP1(在陆地参考系中定义)。目标D以速度向量VT1移至位置DP1，且以VT2移至位置DP2，方向和值随时间改变。在初始位置DP1，相机C的轴朝向目标T且与速度向量VT1的方向形成方向角，这对应于预定方向角αp。在相同的图2中，目标被示出在稍后位置TP2中且无人机在稍后位置DP2中。目标T从初始位置TP1通行到稍后位置TP2。在跟踪模式中，得益于由控制装置生成的飞行指令，无人机D从初始位置DP1移至稍后位置DP2。飞行指令被定义成使得保持与初始位置的预定方向角相同的预定方向角αp。因此，在它们相应的稍后位置TP2、DP2中，观察到相机C的视轴3与速度向量VT2的方向之间形成的方向角基本上等于在目标T和无人机D的初始位置TP1、DP1中定义的方向角。因此，得益于本发明的系统1，相机C的目标T拍摄角保持相同，而不管目标T和无人机D的位移如何。
如在图2和3中所示，并且为了允许控制装置2计算当前方向角α，系统1进一步包括用于确定目标T在给定参考系中的位置TP1、TP2和速度向量VT1、VT2的装置6。确定装置6将目标T的速度向量VT1、VT2和位置TP1、TP2的坐标传送给控制装置2。确定装置6重复地确定这些坐标以将经更新值传送给控制装置2。
在第一实施例中，用于确定目标T的速度向量VT1、VT2和位置的所述装置6通过对目标T的连贯GPS地理位置的观测来操作。允许确定目标T的速度向量VT1、VT2和位置TP1、TP2的给定参考系因此是陆地参考系。确定装置6随时间接收目标T的连贯GPS位置。确定装置6因此可从中导出目标T的速度向量VT1、VT2的坐标。目标T的位置由地面站的GPS坐标来给出。
根据该第一实施例的第一变型，确定装置6被布置在无人机D中。目标T的GPS位置由目标T传送给无人机D的确定装置6。
根据该第一实施例的第二变型，确定装置6被布置在目标T的地面站中。因此，目标T的速度向量VT1、VT2和位置TP1、TP2的坐标在地面站中确定并随后传送到无人机D。
在第二实施例中，用于确定目标T的速度向量VT1、VT2和位置的所述装置6通过分析由无人机T的相机C递送的图像来操作。给定参考系因此是链接到无人机D的参考系。在这一情形中，对相机C递送的图像的分析是对无人机D的相机C相继地生成的图像中目标T的位置TP1、TP2的分析。确定装置6包括用于定位并跟踪目标T在连贯图像中的位置TP1、TP2的装置。在这一特定实施例中，确定装置6位于无人机D中。为此，无人机D机载确定装置6中或专用电路中提供的图像分析程序被配置成跟踪相机C所生成的图像序列中目标T的位移，并从中导出目标T相对于相机C的视轴3处于哪一角方向。更准确而言，该程序被配置成在相继的图像中定位并跟踪表示目标相对于底部的视觉方面的视觉图案或色点(例如，通过对图像的灰度级的分析而合成的图案)。例如，为了拍摄练习雪地运动的目标用户，底部将通常是白色的，并且图像中的斑点的颜色将是用户的衣服的颜色。这一办法还允许以基本上比递送GPS坐标的速率(一般每秒一次)更快的速率来跟踪用户位置的角位置数据，即对于这种类型的应用，通常每秒30帧的图像速率。
在该第二实施例中，图像分析与至少部分地提供目标T的地理位置TP1、TP2的另一测量装置相关联。具体而言，这些装置可来自地面站的GPS单元或布置在目标T的地面站中的气压计类型的压力传感器。能够指示目标T相对于无人机的主轴的角位置的用于确定相机C的视轴3的装置因此通过将地理信号纳入考虑来完成。无人机机载的电子装置能够通过地理数据与角检测数据之间的交叉验证来知晓目标T的位置。因此获得了目标T的位置TP1、TP2和速度向量VT1、VT2的非常准确的坐标。
根据一特定实施例，控制装置2进一步被配置成生成所述飞行指令以将无人机D的位移控制在无人机D和目标T之间的预定距离dp处。换言之，在跟踪模式中，除了保持相机C的拍摄角之外，目标T与相机C之间的距离被保持。在跟踪期间，预定距离dp具有固定值。因此，在拍摄期间，对目标T的尺寸的感知基本上保持相同，其中相机C的焦距恒定。目标T与相机C之间的当前距离由控制装置2基于由确定装置6确定的目标位置TP1、TP2以及由其惯性传感器确定的无人机位置DP1、DP2来计算得到。
控制装置2例如被配置成基于与用于保持所述预定距离dp的命令有关的反馈环路来生成飞行指令。该方法类似于涉及与用于保持预定方向角αp的命令有关的反馈环路的方法。控制装置2计算当前距离d并生成用于使无人机移至位置DP2的指令，位置DP2相对于目标T的距离对应于预定距离dp。因此，图3的无人机D和目标T的稍后位置TP2、DP2之间的距离基本上等于无人机D和目标T的初始位置TP1、DP1之间的距离。
根据一特定实施例，如在图2和4中所示，控制装置2被进一步配置成生成用于控制无人机D的位移以保持相机C的视轴3与水平面π之间的预定仰角βp的飞行指令。这一预定仰角βp允许确定无人机相对于目标的相对高度。通过保持恒定的预定仰角βp，无人机D保持其相对于目标T的高度。水平面π是相对于陆地参考系来定义的，并且可被定义在任何高度处。当前仰角β的值由控制装置2因变于相机C的视轴3和水平面π来确定。
控制装置2例如被配置成基于与用于保持所述预定方向角βp的命令有关的反馈环路来生成飞行指令。该方法类似于涉及与用于保持预定方向角αp的反馈环路的方法和用于保持相机C与目标T之间的预定距离dp的方法。因此，如图4中所示，相对于水平面π的当前仰角β在目标T和无人机D的初始位置TP1、DP1以及稍后位置TP2、DP2之间具有相同值。
在一特定实施例中，控制装置被配置成生成允许修改无人机的位置以同时修改当前方向角α、相机C与目标T之间的当前距离d以及当前仰角β来达到三个对应的预定值的飞行指令。
在图2所示的实施例中，系统1包括用于激活无人机对目标的跟踪的装置7。跟踪激活装置7被适配成控制对目标T的跟踪的激活和停用。激活装置例如被布置在地面站中以便可由用户容易地激活，并且包括例如激活按钮。因此，在用户操作该按钮时，无人机进入目标跟踪模式。
根据本发明的一特定实施例，用于激活无人机对目标的跟踪的装置7被适配成在所述激活的时间至少计算所述预定方向角的值。换言之，激活装置7定义在无人机对目标的跟踪期间将保持的预定方向角αp的值。激活装置7例如被配置成使得预定方向角的值是激活时(具体而言，是按钮被操作时)的当前方向角。
激活装置7因变于由确定装置6传送给它的目标的速度向量和位置的坐标来计算当前方向角。因此，用户根据他希望保持的视角来定位无人机和相机，并借助于激活装置7来激活跟踪模式，以便无人机通过保持所选视角来跟踪目标。
根据一特定实施例，用于激活无人机对目标的跟踪的装置7被适配成在所述激活的时刻还计算目标与无人机之间的预定距离dp的值。类似地，激活装置7例如被适配成在所述激活的时刻计算所述预定仰角βp的值。预定值被传送给控制装置2，控制装置2将它们记录在存储器中。因此，在激活装置7被操作时，三个预定参数的值由激活装置7计算得到，稍后只要用户没有停用对目标T的跟踪就在目标的跟踪期间由控制装置2保持。
Claims (14)
1.一种用于拍摄移动图像的系统，包括设置有相机(C)的无人机(D)以及通过无线链路与所述无人机通信的地面站(S)，所述相机(C)沿视轴(3)定向，所述无人机(D)的位移通过应用于所述无人机(D)的推进单元或推进单元集合的飞行指令来定义，所述无人机(D)被适配成自主地飞行以拍摄随所述地面站(S)移动的目标(T)的移动图像，所述视轴(3)的方向使得所述目标(T)保持存在于所述拍摄所产生的连贯图像中，
所述系统的特征在于其包括：
用于在给定参考系中确定所述目标(T)的速度向量(VT1，VT2)和所述目标(T)的位置(TP1，TP2)的装置(6)，以及
控制装置(2)，其被配置成基于以下各项来生成所述飞行指令：
i.所确定的速度向量(VT1，VT2)，
ii.所确定的位置(TP1，TP2)，以及
iii.预定方向角(αp)。
以便使所述相机(C)的视轴(3)与所述速度向量(VT1，VT2)的方向之间的角度基本上保持为所述预定方向角(αp)的值。
2.如权利要求1所述的系统，其特征在于，所述系统包括用于激活所述无人机(D)对所述目标(T)的跟踪的装置(7)，所述装置(7)被适配成：
控制对所述目标(T)的跟踪的激活以及
在所述激活的时刻计算所述预定方向角(αp)的值。
3.如权利要求1或2所述的系统，其特征在于，由所述控制装置(2)生成的所述飞行指令是基于与用于保持所述预定方向角(αp)的命令有关的反馈环路来生成的。
4.如前述权利要求中的任一项所述的系统，其特征在于，所述控制装置(2)被配置成生成所述飞行指令以进一步将所述无人机(D)的位移控制在所述无人机(D)和所述目标(T)之间的预定距离(dp)处。
5.如权利要求4在引用权利要求2时所述的系统，其特征在于，用于激活所述无人机(D)对所述目标(T)的跟踪的装置(7)被进一步适配成在所述激活的时刻计算所述预定距离(dp)的值。
6.如权利要求4或5所述的系统，其特征在于，由所述控制装置(2)生成的所述飞行指令是进一步基于与用于保持所述预定距离(dp)的命令有关的反馈环路来生成的。
7.如前述权利要求中的任一项所述的系统，其特征在于，所述控制装置(2)被配置成生成所述飞行指令以进一步控制所述无人机(D)的位移以便保持预定仰角(βp)，所述预定仰角(βp)是所述相机(C)的视轴(3)与水平面(π)之间的角度。
8.如权利要求7在引用权利要求2时所述的系统，其特征在于，用于激活所述无人机(D)对所述目标(T)的跟踪的装置(7)被进一步适配成在所述激活的时刻计算所述预定仰角(βp)的值。
9.如权利要求7或8所述的系统，其特征在于，由所述控制装置(2)生成的所述飞行指令是进一步基于与用于保持所述预定仰角(βp)的命令有关的反馈环路来生成的。
10.如前述权利要求中的任一项所述的系统，其特征在于，所述相机(C)的视轴(3)的方向相对于所述无人机的主轴是固定的，所述控制装置被配置成生成飞行指令以在所述无人机对所述目标(T)的跟踪期间使所述相机(C)的视轴(3)朝向所述目标(T)。
11.如权利要求1-9中的任一项所述的系统，其特征在于，借助于修改装置，所述相机(C)的视轴(3)的方向相对于所述无人机的主轴是能修改的，所述修改装置被配置成在所述无人机对所述目标(T)的跟踪期间至少部分地使所述相机(C)的视轴(3)朝向所述目标(T)。
12.如前述权利要求中的任一项所述的系统，其特征在于，用于确定所述目标(T)的速度向量(VT1，VT2)和位置(TP1，TP2)的所述装置(6)通过对所述目标(T)的连贯GPS地理位置的观测来操作，所述给定参考系是陆地参考系。
13.如前述权利要求中的任一项所述的系统，其特征在于，用于确定所述目标(T)的速度向量(VT1，VT2)和位置(TP1，TP2)的所述装置(6)通过对所述无人机(D)的相机(C)所递送的图像的分析来操作，所述给定参考系是链接到所述无人机的参考系。
14.如权利要求13所述的系统，其特征在于，对所述相机(C)所递送的图像的分析是对所述无人机(D)的相机(C)相继地生成的图像中所述目标(T)的位置(TP1，TP2)的分析，并且所述系统包括用于在所述连贯图像中定位并跟踪所述位置(TP1，TP2)的装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1659605A FR3056921B1 (fr) | 2016-10-05 | 2016-10-05 | Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible. |
| FR1659605 | 2016-10-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107918397A true CN107918397A (zh) | 2018-04-17 |
Family
ID=58455104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710931130.0A Pending CN107918397A (zh) | 2016-10-05 | 2017-10-09 | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180095469A1 (zh) |
| EP (1) | EP3306428A1 (zh) |
| CN (1) | CN107918397A (zh) |
| FR (1) | FR3056921B1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108845335A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于图像和导航信息的无人机地面目标定位方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10496107B2 (en) * | 2017-01-17 | 2019-12-03 | Valeo North America, Inc. | Autonomous security drone system and method |
| US10591911B2 (en) * | 2017-06-22 | 2020-03-17 | Korea University Research And Business Foundation | Apparatus and method for controlling drone formation |
| US10510158B1 (en) * | 2017-11-13 | 2019-12-17 | Amazon Technologies, Inc. | Collaborative airborne object tracking systems and methods |
| CN111142566A (zh) * | 2019-11-05 | 2020-05-12 | 西安羚控电子科技有限公司 | 一种舰载无人机起降阶段目标跟踪方法 |
| CN110989655A (zh) * | 2019-11-05 | 2020-04-10 | 西安羚控电子科技有限公司 | 一种舰载侦察较射无人机起降阶段目标跟踪方法 |
| KR102162342B1 (ko) * | 2020-06-17 | 2020-10-06 | 주식회사 아이온커뮤니케이션즈 | 태양광 패널 검사용 고품질 영상 획득을 위한 무인 비행체 및 그의 비행 제어 방법 |
| US11256257B2 (en) * | 2020-06-30 | 2022-02-22 | Sony Group Corporation | Method of multi-drone camera control |
| CN112068599A (zh) * | 2020-10-06 | 2020-12-11 | 陈千 | 以四通道实现fpv自由拍摄同时自稳飞行无人机控制方法 |
| CN112486197B (zh) * | 2020-12-05 | 2022-10-21 | 青岛民航凯亚系统集成有限公司 | 基于多源图像自适应选权的融合定位跟踪控制方法 |
| US11721030B2 (en) * | 2021-06-10 | 2023-08-08 | Sony Group Corporation | Method of autonomous hierarchical multi-drone image capturing |
| CN114285996B (zh) * | 2021-12-23 | 2023-08-22 | 中国人民解放军海军航空大学 | 一种地面目标覆盖拍摄方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7970507B2 (en) * | 2008-01-23 | 2011-06-28 | Honeywell International Inc. | Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle |
| FR2985581B1 (fr) * | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
| US9367067B2 (en) * | 2013-03-15 | 2016-06-14 | Ashley A Gilmore | Digital tethering for tracking with autonomous aerial robot |
| US9798324B2 (en) * | 2014-07-18 | 2017-10-24 | Helico Aerospace Industries Sia | Autonomous vehicle operation |
| EP3862837B1 (en) * | 2014-07-30 | 2023-05-03 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
-
2016
- 2016-10-05 FR FR1659605A patent/FR3056921B1/fr not_active Expired - Fee Related
-
2017
- 2017-10-03 EP EP17194487.9A patent/EP3306428A1/fr not_active Withdrawn
- 2017-10-05 US US15/726,337 patent/US20180095469A1/en not_active Abandoned
- 2017-10-09 CN CN201710931130.0A patent/CN107918397A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108845335A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于图像和导航信息的无人机地面目标定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3306428A1 (fr) | 2018-04-11 |
| FR3056921B1 (fr) | 2018-11-23 |
| FR3056921A1 (fr) | 2018-04-06 |
| US20180095469A1 (en) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107918397A (zh) | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 | |
| CN108021145A (zh) | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 | |
| US11347217B2 (en) | User interaction paradigms for a flying digital assistant | |
| US11573562B2 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
| US11797009B2 (en) | Unmanned aerial image capture platform | |
| CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
| US9158305B2 (en) | Remote control system | |
| EP2972462B1 (en) | Digital tethering for tracking with autonomous aerial robot | |
| JP6596745B2 (ja) | 対象物体を撮像するシステム | |
| ES2902469T3 (es) | Métodos y sistemas para el control del movimiento de dispositivos voladores | |
| US8229163B2 (en) | 4D GIS based virtual reality for moving target prediction | |
| CN107643759A (zh) | 从无人机拍摄移动图像的具有目标跟踪和定位的自主系统 | |
| JP2020522002A (ja) | 移動ターゲットを認識、追跡、および合焦するための方法及びシステム | |
| CN104854428A (zh) | 传感器融合 | |
| CN107615211A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN107850901A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN107643758A (zh) | 拍摄移动图像的包括无人机和地面站的自主系统及方法 | |
| CN107850436A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN107850899A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN111226154B (zh) | 自动对焦相机和系统 | |
| US20230280742A1 (en) | Magic Wand Interface And Other User Interaction Paradigms For A Flying Digital Assistant | |
| KR20170070627A (ko) | 공중 추적 영상촬영을 위한 카메라 짐벌이 구비된 무선비행체 제어시스템 | |
| JP6982558B2 (ja) | 空撮画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180417 |
|
| WD01 | Invention patent application deemed withdrawn after publication |