CN105031935A - 提供具有传递稳定的图像序列的视频相机的旋翼无人机 - Google Patents

提供具有传递稳定的图像序列的视频相机的旋翼无人机 Download PDF

Info

Publication number
CN105031935A
CN105031935A CN201510178952.7A CN201510178952A CN105031935A CN 105031935 A CN105031935 A CN 105031935A CN 201510178952 A CN201510178952 A CN 201510178952A CN 105031935 A CN105031935 A CN 105031935A
Authority
CN
China
Prior art keywords
unmanned plane
camera
image
sensor
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510178952.7A
Other languages
English (en)
Other versions
CN105031935B (zh
Inventor
P·埃利纳
A·丰维埃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co., Ltd.
Original Assignee
Parrot SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1453416A external-priority patent/FR3020168A1/fr
Application filed by Parrot SA filed Critical Parrot SA
Publication of CN105031935A publication Critical patent/CN105031935A/zh
Application granted granted Critical
Publication of CN105031935B publication Critical patent/CN105031935B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Abstract

提供了具有传递稳定的图像序列的视频相机的旋翼无人机。无人机(10)包括具有鱼眼类型的半球形视野镜头的相机，其对于无人机主体指向固定方向(△)。从由该镜头(42)形成的图像中提取减少尺寸的捕捉区域(36)，该区域的位置是惯性单元所传递的信号的函数，该惯性单元测量表征无人机相对于绝对地球参考系的姿态的欧拉角。在与由惯性单元所检测到的无人机的姿态(38)的变化的方向相反的方向(44)上动态修改该区域的位置。随后处理原始像素数据以补偿由在捕捉区域的范围中所获取的图像中的鱼眼镜头所引起的几何失真。

Description

提供具有传递稳定的图像序列的视频相机的旋翼无人机
技术领域
本发明涉及诸如四旋翼直升机之类的旋翼无人机。
背景技术
四旋翼直升机之类的旋翼无人机已被广泛使用。此类无人机设有由相应的马达伺服控制的多个旋翼，这些马达可以以不同方式被控制，从而在姿态和速度方面驾驶该无人机。
此类无人机的典型示例是法国巴黎鹦鹉股份有限公司的AR.无人机2.0，其是一种四旋翼直升机，该四旋翼直升机配备有一系列传感器(加速度计、三轴陀螺仪、高度计)、对无人机被指引朝向的场景的图像进行捕捉的前置相机，以及对飞过的地面的图像进行捕捉的垂直视角相机。
文献WO2010/061099A2和EP2364757A1(鹦鹉股份有限公司)描述了此种无人机以及通过具有触摸屏和集成的加速度计的电话或多媒体播放器(例如，iphone类型的蜂窝电话，或iPad类型的多媒体平板设备(美国苹果公司的注册商标))来驾驶后者的原理。这样的设备包括经由Wi-Fi(IEEE802.11)或蓝牙(注册商标)局域网类型的无线链路用于检测驾驶命令以及与无人机的双向数据交换所需要的各种控制元素。为它们进一步提供有触摸屏，该触摸屏显示了由无人机的前置相机所捕捉的图像以及叠加的允许通过用户的手指在该触摸屏上的简单触摸来激活命令的一定数量的符号。
无人机的前置摄像头可被用于在“沉浸模式”中的驾驶，即在其中，用户以如同他自己在无人机上一样的方式使用相机的图像。它也可用作捕捉朝着无人机机头的场景的图像序列。因此，用户可以以相机或便携式相机将由无人机承载的相同方式来使用无人机而不是将其握在手中。拾取的图像可以被记录，随后广播，切换到视频序列主存网站的上线状态，被发送给其他网络用户，在社交网络上共享等。
对于旨在被记录和交流的这些图像，期望它们具有最小可能的缺陷，具体说，是由于无人机的虚假(spurious)运动导致的缺陷，所述缺陷将引起相机所捕捉的图像的不合时宜的摆动和颤动。
具体而言，对于指向无人机的主要方向的相机，任何绕垂直于相机的轴的俯仰轴(或偏航轴)的运动将产生严重破坏所捕捉的图像的可读性和质量的垂直(分别地，水平)的摆动。类似地，任何绕滚动轴(相机的轴)的运动将引起图像在一个方向上或另一方向上的旋转，损害了其可读性。
现在，诸如四旋翼直升机之类的旋翼无人机的位移(无论其是受用户的控制还是由自动驾驶来伺服控制)主要源自绕俯仰轴的倾斜运动(前向/后向位移)或绕滚动轴的倾斜运动(向左/向右位移)，这正是这样的无人机的操作的原理所固有的性质。
更确切地说，如果控制无人机以向下倾斜或“下潜”(绕俯仰角的倾斜)，它将以一个速度向前移动，倾斜角越大该速度越高。因此，如果控制它以便以相反方向“机头向上”，它的速度将逐渐下降，随后将反向向后回去。同样，对于绕滚动轴的倾斜的命令，无人机将向右或向左倾斜，导致向右或向左的水平平移中的线性位移。
任何无人机的向前或向后或向侧面的线性位移涉及无人机的倾斜，并且因此伴随有相机所获取的图像的相应的移位、旋转、摆动等效果。
这些干扰在“沉浸驾驶”配置中是可接受的，只要它们是“用户体验”的部分。
另一方面，如果事实是使用无人机作为移动视频相机来捕捉将被记录并随后渲染的序列的话，这些虚假运动将产生如下非常大的干扰：在图像中的不重合和不稳定的地平线，由于无人机加速或减速的图像中的上升和下降，以及虚假的旋转和其他各种赝象。
EP2613214A1(鹦鹉公司)描述了一种用于驾驶无人机以根据用户选择的模式来拍摄图像的方法，例如前向或横向行进、全景或相机吊杆定义了告知无人机的轨迹。一旦无人机在预定轨迹上稳定住，激活视频摄像并且由开环路控制来稳定轨迹以避免反馈环路控制固有的摆动。然而，事实是在这种情况下，当告知无人机的运动是均匀直线平移运动或均匀旋转运动时，通过修改无人机姿态控制环路的操作来避免绕设定点的虚假摆动以稳定轨迹。该事实不会对从无人机在前向/后向和/或向左/向右位移期间的加速或减速阶段时期内的倾斜运动所产生的图像位移进行补偿。
已经提议了各种解决方案来确保对图像中的这种位移的补偿。
一种机械解决方案包括在链接到无人机主体的(由卡丹式悬架机动化和伺服受控的)吊架中安装相机，以便补偿无人机的倾斜运动。这种解决分案具有几个优点，具体而言，从其捕捉中稳定图像上游并允许大幅度的角度补偿。另一方面，它涉及复杂和沉重的机械系统(这对于飞行对象而言尤其不利)，并且补偿的效率受限于所使用的伺服控制的马达的最大加速和速度。
另一种被称为OIS(光学图像稳定)技术包括实时地移位相机镜头的或聚焦平面中的传感器的光学元件。在此所述稳定性再次从图像捕捉的上游被操作，并且该系统仅涉及非常低的空间要求。另一方面，所述光学设计是复杂的，并且角度补偿的最大幅度受限为少许程度，而且，对于徒手拍摄照片的效果的补偿来说是足够的响应时间，但是对于移动中的无人机的非常突然的运动的补偿来说却是太长了。
最后，被称为EIS(电子图像稳定)技术包括在传感器上获取比将被使用的捕捉区域更大尺寸的固定区域。所述补偿通过在相对于要被补偿的运动的相反方向上将捕捉区域平移至获取区域来操作，所述传感器仅发送对应于经稳定化的图像的一个子部分。这样的补偿的实现是简单的。另一方面，所述补偿的幅度受限于在捕捉区域的尺寸和获取区域的尺寸之间的比率，即所使用的传感器的有效尺寸。具体而言，角度补偿的最大幅度受限为少许程度。
下述文章：
–MiyauchiR等人，“使用相机姿势信息的紧凑图像稳定系统(CompactImageStabilizationSystemUsingCameraPostureInformation)”，领域机器人学期刊，第25卷，第4-5号，2008，第268-283页(2008)，以及
–MiyauchiR等人，“使用相机姿势信息的全向图像稳定系统的开发(DevelopmentofOmni-DirectionalImageStabilizationSystemUsingCameraPostureInformation)”，2007IEEE国际机器人和仿生学会议，2007年12月15-18日，第920-925页，
提议将这样的EIS技术应用于由配备有“鱼眼”类型的半球形视野的镜头(即覆盖约180°视野)的相机所捕捉的图像中。整体地获取原始图像(这可能是实时的，因为它是低分辨率CCD传感器)，经过矫正处理(以补偿鱼眼失真)，随后是根据承载相机的机器人的移动的动态创建窗口处理。
ShiromaN等人的文章，“用于小尺寸具有人的外表的生物的紧凑图像稳定系统(CompactImageStabilizationSystemforSmall-SizedHumanoid)”，2008IEEE国际机器人和仿生学会议的会刊，2009年2月21-26日，第149-154页，描述了由远程控制的机器人捕捉的图像的电子稳定的可比较技术，其具有相同的局限性和缺陷。
然而，这些图像稳定技术是可能的，仅仅是因为所述相机是具有低分辨率CCD传感器(640x480像素,即0.3百万像素)的相机。另一方面，它们将不能应用于有用的HD质量(1920x1080像素,即2百万像素)的图像的稳定性，该图像自身在非常高分辨率的原始鱼眼图像上被窗口化，例如在分辨率为14百万像素(4608x3288像素)的传感器上形成的图像。在这些条件中，如果原始图像整体被传递以供处理，这将对应于每个图像的14百万像素的像素数据流，导致在该分辨率处的每秒6个图像(ips)的级别的帧速率，这对于要求帧速率接近30ips的流体视频序列而言是不够的。
而且，所述图像的一个区域的简单平移在数学上不足以补偿相机的旋转，因为它不是对由旋转引起的视角的改变的真实校正。
最后，它是一种通过对传感器所获取的图像数据的后处理的补偿，它不允许对某些效应进行补偿，例如运动引起的模糊和抖动(图像的、低幅度和高频率的、由无人机的马达的振动引起的波动)。
发明内容
本发明的目的是提议一种由无人机(尤其是四旋翼直升机类型)的相机进行图像捕捉的新技术，它弥补了上述的缺陷并提供了下述优点：
–与HD分辨率的图像(例如流体视频流)的实时传递相兼容；
–大幅度的角度补偿；
–对非常快速和高加速度的位移进行补偿的可能性；
–不增加空间需求或板上元件的重量；
–大大简化了实现；
–对所有光学现象的补偿，包括那些涉及由无人机的旋转所引起的视角的改变的现象；
–对高幅度且低频率(摇晃(jelly))和低幅度且高频率的(抖动)的波动的效应的补偿。
本发明针对该目的提出一种可应用于例如来自上述Miyauchi的文章的已知类型的旋翼无人机的系统，即包括：
–相机，包括指向相对于无人机主体而言固定方向的鱼眼类型的半球形视野的镜头，以及获取由镜头形成的图像并传递原始像素数据的数字传感器；
–图像处理装置，接收原始像素数据作为输入并将经矫正以补偿由鱼眼镜头引起的几何失真的像素数据作为输出；
–用于将经矫正的像素数据作为输出进行传递以传送给显示器或视频记录设备的装置；
–惯性单元，适用于测量表征无人机相对于绝对地球参考系的姿态的欧拉角；以及
–伺服控制装置，接收由所述惯性单元所传递的至少一个欧拉角作为输入，并适用于根据由惯性单元所检测到的无人机的姿态的变化为传递装置作为输出来传递的像素数据创建窗口。
本发明的特征：
–数字传感器是逐行传递所述原始像素数据的扫描传感器；
–无人机还包括提取装置，接收在传感器范围上定义减少尺寸的捕捉区域的位置的选择信号作为输入，并传递对应于经减少尺寸的捕捉区域的所述原始像素数据作为输出；
–伺服控制装置是适用于在相对于由惯性单元所检测的并与由所述至少一个欧拉角的对应变化所表征的无人机的姿态的变化的方向相反的方向上动态修改所述选择信号的装置；以及
–所述图像处理装置接收由提取装置所传递的原始像素数据作为输入。
根据各种有利的附带特性：
–伺服控制装置适用于修改所述选择信号以便由所述提取装置所传递的像素数据对应于以地平线或以相对于地平线固定的取向为中心的图像；
–相机被安装在无人机中，以便以与无人机的俯仰角相平行地来取向所述数字传感器的帧扫描方向；
–所述至少一个欧拉角是无人机的俯仰角，并且伺服控制装置被适用于修改选择信号以便在平行于所述传感器的主轴的第一方向上平移所述捕捉区域；
–所述至少一个欧拉角是无人机的偏航角，并且控制装置被适用于修改选择信号以便在垂直于所述第一方向的第二方向上平移所述捕捉区域；
–所述数字传感器是逐行传递像素数据的扫描传感器，并且所述图像处理装置被适用于向所述传感器的每个行应用附加校正以一行接下一行地补偿由所述无人机的绕偏航、俯仰和/或滚动轴的旋转所引起的像素的相对位移；
–当相机是逐行传递视频数据的卷帘快门类型的相机时，为了操作该附加校正，相机和惯性单元的陀螺仪传感器由公共时钟来驾驭，并且陀螺仪传感器的获取速率是所述相机的视频数据传递速率的倍数；
–在该后一种情形中，非常有利地是，提供了一种物理电路，该电路适用于将由陀螺仪传感器传递的信号与由相机传递的信号进行比较以确定在这些各自的信号之间的相移值；并将该相移值应用于图像处理装置以便以同步方式触发被应用于传感器的每个行的所述附加校正来从一个行到下一行地补偿像素的相对位移。
附图说明
现在将参考附图描述本发明的无人机的实施例，在所有附图中，相同的附图标记指示相同或功能上相似的元素。
图1是示出无人机以及相关联的允许其远程驾驶的遥控设备的概览示图。
图2a和2b示出例如在加速阶段期间由无人机的前倾所引起的相机视线方向的修改。
图3是用于伺服控制和驾驶无人机以及用于根据本发明的技术校正图像的位移的不同的元件的框图。
图4是在所述无人机相机的传感器上形成的图像的示例。
图5示出根据应用于图4的图像的本发明来创建窗口和校正对应于所述处理的失真的连续步骤。
图6示出用无人机相机捕捉的场景的图像的另一个示例。
图7示出了在创建窗口和校正失真之后，可能从图6的整个图像中提取的各种视图。
图8示出在滚动运动的情况下施加于图7所示的中央图像的变形。
图9示出了如何最优地定位传感器以有效地补偿无人机绕其俯仰轴的姿态的变化。
图10类似于图9，是绕偏航轴的旋转。
图11、12和13示出可以在棋盘格的图像中观察到的抖动和摇晃类型的变形，并且根据本发明的示教可以在失真的校正期间来补偿所述变形。
图14(作为框图)示出对在视频相机和陀螺仪之间的同步机制做出贡献的不同的元件。
图15a和15b是示出分别针对两个不同的无人机或针对在两个不同的时刻的同一无人机处的在由相机和陀螺仪所传递的信号之间的时间关系的时序图。
具体实施方式
现在将描述示例性实施例。
在图1中，附图标记10通常表示无人机，所述无人机是例如四旋翼直升机，诸如法国巴黎的鹦鹉股份有限公司的AR.无人机2.0，在上述WO2010/061099A2和EP2364757A1中特别描述过。
无人机10包括四个共面旋翼12，这些旋翼的马达由集成的导航与姿态控制系统独立地驾驶。为其配置有第一正视图相机14，以允许获得该无人机所指向的场景的图像。
该无人机还包括指向下的第二俯视相机(未示出)，其适配成捕捉所飞过的地面的连续图像并且尤其用于估算无人机相对于地面的速度。惯性传感器(加速度计和陀螺仪)允许以一定精度测量所述无人机的角速度和姿态角，即描述无人机相对于固定的地球参考系的水平面的倾斜的欧拉角(俯仰翻滚θ和偏航ψ)，应该理解所述水平速度的两个纵向和横向的分量是与绕两个相应的俯仰和滚动轴的倾斜密切相关的。安排在无人机下的超声波测距仪提供了对相对于地面的姿态的测量。
用遥控设备16来驾驶无人机10，遥控设备16设有触摸屏18，该触摸屏18显示由前置相机14机载拍摄的图像并叠加有一定数目的符号，这些符号允许通过用户的手指20在触摸屏18上的简单接触来激活驾驶命令。设备16设有用于与无人机进行无线电链接的装置，例如Wi-Fi(IEEE802.11)局域网类型，以供进行从无人机10到设备16的具体而言用于传输由相机14捕捉的图像的以及从设备16到无人机10的用于发送驾驶命令的双向数据交换。
遥控设备16还设置有倾斜传感器，其能通过将绕滚动轴和俯仰轴的相应倾斜告知设备而控制无人机的姿态(对于该系统的这些方面的进一步细节，可参考上述WO2010/061099A2)。对无人机10的驾驶包括使得其通过下述方式开展：
a)绕俯仰轴22旋转以使得其向前或向后移动；
b)绕滚动轴24旋转以使得其向右或向左移位；
c)绕偏航轴26旋转以使得无人机的主轴向右或向左转动并因此也是前置相机14的指向方向；以及
d)d)通过改变气体控制来向下28或向上30平移，从而相应地减少或增加无人机的高度。
当用户从遥控设备16施加这些驾驶命令时，由设备16绕其纵向轴32和横向轴34倾斜来分别获得绕俯仰轴22和滚动轴24转动的命令a)和b)：例如，为了使得无人机向前移动，只需要通过绕轴32倾斜遥控设备16来向前倾斜它，为了使得其向右侧移动，只需要通过绕轴34将遥控设备16向右倾斜来倾斜它，等等。命令c)和d)是通过用户的手指20在触摸屏18的相应特定区域上的接触而施加的动作的结果。
无人机还具有自动和自主的悬浮飞行稳定系统，一旦用户将其手指移离该设备的触摸屏，该系统就被激活，或在起飞阶段结束时自动激活，或还可在该设备和无人机之间的无线电链接中断的情况下被激活。无人机随后切换到升程，其中无人机将被自动地固定和稳定在该固定位置而无需用户的任何干预。
图2A示意地在侧面上示出当在升程中无人机为不动时的姿态。
传统类型的(例如覆盖54°视野的相机)以及其视轴δ在地平线中心的前置相机14所覆盖的视野以36被图示出。
如果，如在图2b中所示，无人机以非零的水平速度向前移动，按照设计，该无人机的轴26将相对于垂直V前倾角度(俯仰角)。由箭头38图示出的这种前倾涉及相机相对于水平面HZ的轴δ的由箭头40所图示的相同值的倾斜。因此，可以理解在无人机的发展中，当无人机加速或减速…时，所述轴δ绕水平HZ方向持久地摆动，这将导致所捕捉的图像的持久的向上和向下的摆动移动。
比较而言，如果无人机向右侧或左侧移动，该移动将通过绕滚动轴24转动而完成，这将导致在相机所捕捉的场景上图像在一个方向上或其它方向上的旋转。
为了补偿该缺陷，本发明提议为该相机提供覆盖了约180°视野的“鱼眼”类型的半球形视野镜头(在图2a中以42图示出)来取代使用具有传统镜头的相机。
由配备有该鱼眼镜头的相机所捕捉的图像将必然如传统相机那样经历相同的摆动和旋转移动，但是，本发明的特征在于，仅该相机所捕捉的视野的一部分将被用于选择特定的窗口(称为“捕捉窗口”)，该窗口对应于由传统相机所捕捉的角区间36。将根据由无人机的惯性中心所确定的无人机的移动并在所检测到的位移的相反方向上持久地放置该捕捉区域。
换句话说，由半球形图像的特定区域的提取来定义“虚拟相机”，该区域是被动态地放置于所述无人机的移动的相反方向上的半球形图像中以便消灭所述摆动，否则将在所述图像中观察到所述摆动。
因此，在图2b所示的情况中，其中无人机相对于垂直V下潜俯仰角(箭头38)，捕捉窗口将被向上放置相同值的角度，因此，“虚拟相机”的区间36的中心轴被带回到朝向地平线HZ。
如在图中所示，另一方面，只要无人机的向前移动比向后移动更加频繁，感兴趣的区域(飞越的地面)定位在无人机的水平面之下而不是其之上，那么，向下倾斜鱼眼镜头的主轴△(例如倾斜-20°的现场角(siteangle))可能是有利的，以便覆盖更多数目的无人机的发展的配置并且这样做以便对应于“虚拟相机”的捕捉区域的区间36总是保留在鱼眼镜头的视野42中。
图3是用于伺服控制和驾驶无人机以及用于根据本发明的技术校正图像的位移的不同的元件的框图。
要注意，尽管这些图被呈现为互连电路，但不同功能的实现基本是基于软件的，这种表示仅是解说性的。
通常，如图3所示，驾驶系统涉及用于自动地或在用户的控制下控制无人机的姿态的水平速度、角速度以及高度变化的几种互链环路。
最中心的环路是控制角速度的环路100，一方面使用由陀螺仪102提供的信号，而另一方面使用由角速度设定值104构成的参考。这样的信息被施加在角速度校正级106的输入处，角速度校正级106本身操控用于控制马达110的控制级108，从而分开控制不同的马达的工况，以通过由这些马达驱动的旋翼的组合动作来校正无人机的角速度。
角速度控制环路100互链于姿态控制环路112，所述姿态控制环路112基于由陀螺仪102和由加速度计114所提供的指示来工作。来自这些传感器的数据被应用到级118，级118产生对无人机的真实姿态估计，其被应用于姿态校正级120。该级120将无人机的真实姿态与由电路122基于由用户124直接施加的命令和/或基于由无人机的自动驾驶通过水平速度校正电路126所内部生成的数据而产生的角度设定值进行比较。被施加到电路120并与无人机的真实姿态相比较的可能被校正的设定值由电路120发送给电路104以适当地控制马达。
最后，水平速度控制环路130包括垂直视频相机132和作为高度计的遥感勘测传感器134。电路136结合加速度计114的信号以及姿态估计电路118的信号来确保对由垂直相机132产生的图像的处理以通过电路138获得沿无人机的俯仰和滚动两轴的水平速度的估计。所估计的水平速度由电路140所给出的垂直速度的估计和由电路142基于遥感勘测传感器134的信息给出的高度值的估计而被校正。
为了控制无人机的垂直位移，用户124向电路144施加命令以计算姿态设定值，这样的设定值被施加到电路146以通过接收由电路142所给出的估计的高度值的高度校正电路148来计算升高速度设定值Vz。经计算的升高速度Vz被施加给电路150，该电路将该速度设定值与电路140所估计的对应的速度进行比较并通过同时增加或减少所有马达上的旋转速度来由此修改马达控制数据(电路108)以便最小化上升速度设定值和测量的上升速度之间的差距。
关于本发明的实现更具体而言，前置视频相机14传递要施加给创建窗口电路152的原始视频数据(像素数据)，所述创建窗口电路确保了选择捕捉区域中有用的像素，其位置取决于在给定时刻的如由惯性单元154(包括陀螺仪102、加速度计114和姿态估计电路118)所确定的无人机的姿态。
从捕捉区域中提取的视频数据被传递给电路156以对由鱼眼镜头引起的几何失真进行校正，以便产生经矫正的视频数据，其本身被传递给发送器电路158，所述发送器电路确保所述视频图像传输给由所述用户持有的遥控设备，特别用于在该遥控设备的屏幕上显示以及可能的对视频序列的记录。
图4示出了一个如由鱼眼镜头所捕捉的并在视频相机的传感器上检测到的场景的示例。
如所示，该图像I包括(鱼眼镜头的半球形或几乎半球形覆盖所固有的)非常高的几何失真，在传感器的平面表面上对其矫正。
仅鱼眼镜头产生的图像I的一部分被使用。该部分是依据下述项来确定的：i)“虚拟相机”所指向的方向，ii)后者的视野(在图2a和2b中以36图示出)，以及iii)其宽度/高度比。因此定义了包含原始像素数据的“捕捉区域”ZC，该区域包括与在对鱼眼镜头所引起的几何失真的补偿之后的虚拟相机的视野对应的“有用区域”ZU。
将注意到，捕捉在相机传感器上形成的图像I的像素整体是无用的，而是这些像素的一部分(即捕捉区域ZC)。
作为示例，如果期望获得HD质量(1920x1080像素,即对于有用区域ZU有2百万像素)的最终图像，就需要在开始时具有非常高分辨率的鱼眼图像以便无论虚拟相机指向哪个方向都能够提取良好质量的HD视图，例如分辨率为14百万像素(4608x3288像素)的传感器。在这些条件中，如果图像I整体被传递以供处理，这将对应于每个图像的14百万像素的像素数据流，导致在该分辨率处的每秒6个图像(ips)的级别的帧速率，这对于(要求帧速率接近30ips)的流体视频序列而言是不够的。因此，仅仅捕捉区域ZC的真正需要的像素数据被传递，例如约2百万像素的捕捉窗口ZC，它可以以30ips的速率被刷新而不会有特定的困难。因此，在保持高图像流速率的同时可以选择高分辨率的传感器。
在图5中，示出了在捕捉区域ZC的像素数据上操作的用于获得最终图像的不同的处理，所述处理针对几何失真进行了补偿。
基于从捕捉区域ZC(图5a)中传递的像素数据，所述处理从原始有用的区域ZUB(图5b)中提取像素数据，并将其应用于三角形网格(其自身知晓的技术)，所述三角形网格将允许通过伸展每个三角形以用经矫正的像素数据给出经矫正的有用的图像ZUR(图5c)来矫正所述图像。具体而言，鱼眼图像的非常弯曲的水平线将被校正以使得它们成直线的，并且产生对应于自然视觉的图像，而没有几何失真。
根据虚拟相机的取向来修改和放置捕捉窗口ZC的方式现在将参考图6-10来描述。
创建窗口操作实际上涉及在视频流传送期间放置捕捉区域(从传感器传送到处理电路的像素数据的获取窗口)，同时保持高图像流速率。
图6给出了由相机鱼眼镜头所传递的图像I的示例，所述相机鱼眼镜头(如图7所示)可以在提取捕捉区域并校正几何失真之后在中心ZUR(c)、在顶部ZUR(h)、在底部ZUR(b)、在左边ZUR(g)或在右边ZUR(d)产生各种经矫正的图像，所有这些图像都来自于同一原始图像I。
在从左向右的滚动移动的情况下，图像经历了如图8中的a)和b)所示的旋转。图像的校正不会引起特别的困难，只要它仅需要提供些许扩大的捕捉区域并在像素数据传送之后通过在一个方向上或在其它方向上旋转来施加图像校正，所述校正对从传感器传送到处理电路的像素数据流没有能被察觉的影响。
另一方面，无人机绕俯仰轴22(当无人机向前下潜或相反地机头向上时)的旋转引起捕捉区域ZC的相对显著的围绕中心位置的向上或向下位移。
利用在其中传感器以“地形”格式取向的传统配置，这些旋转引起捕捉区域平行于传感器的帧扫描方向的位移，因此这引起从传感器到处理电路的像素数据传送流速率的显著下降，伴随着帧速率下降的风险：传感器提取捕捉区域ZC的扫描序列的变化可以由于像素数据流速率的减缓甚至导致该序列中的某些图像丢失，伴随着帧速率很有可能关联地减少达到50％。
现在，绕俯仰轴的摆动是最高频率的(无人机的向前/向后移动，加速/减速阶段……)。
因此，如图9所示，为了补偿这些位移，选择将传感器相对于传统取向翻转90°，即将其放置在“纵向”配置中，以便促成在垂直于帧扫描方向DB(扫描行的位置已经被图示为l1,l2,l3,l4……)的方向上的位移：从那时起，捕捉区域与俯仰移动相关联的位移(绕ZC0的ZCh和ZCb)将不会对由传感器传递的像素数据的流速率有影响。换句话说，在该配置中，取向传感器以使得其帧扫描方向DB与无人机的俯仰轴22平行。
图10类似于图9，对于捕捉区域ZC的移动接着是无人机绕其偏航轴26的移动。如果在图9所示的情况下将相机取向为垂直于其“自然”定位，捕捉区域ZC的这些位移将在与传感器的帧扫描方向DB的相同方向上取向。但是，由于这些变化的幅度比对应于俯仰移动的幅度小得多，对传感器传递的像素数据的流速率上的影响将是最小化的，且丢失图像的风险是低的。
图11、12和13示出可以在棋盘格的图像中观察到的抖动和摇晃类型的变形，并且除了鱼眼镜头的几何失真之外还建议对所述变形进行补偿。
如图12所示的“摇晃”效应在存在高幅度但相对低频率的无人机旋转时出现。例如，在无人机以100°/s旋转且以30ips视频捕捉的情况下，在图像的顶部和底部之间，无人机将转动100x1/30＝3,33°，这对应于在图像中的几个像素的位移(大约为在图12的示例的图像的顶部和底部之间的棋盘格的平方)。这些赝象在移动图像中特别麻烦，伴随有直线的持久和可变的失真。
为了弥补这种现象，在图像的每个行li处在重新投影和矫正捕捉区域ZC的步骤期间改动获得有用区域ZU的处理是可能的，这种逐行校正允许消除由无人机的快速旋转所引入的赝象。
图13示出了另一种类型的被称为“抖动效应”的赝象，主要是由马达的振动引起：与摇晃效应不同的是，抖动效应是源自由马达的振动所引起的高频率且低幅度的摆动，而摇晃效应是在无人机移动时该无人机的旋转所引起的低频率且高幅度的效应。抖动效应主要是通过相机支架的合适的机械阻尼来校正，从而允许过滤掉马达的振动。这种机械过滤的残留可以以与摇晃效应相同的方式(使用陀螺仪测量并逐行施加校正)来消除。
允许逐行完美补偿上述的摇晃和抖动效应的该机制将在结合图14和15进行描述。
这些赝象是由于相机是卷帘快门类型(且不是全局快门类型)的事实而产生的，也就是说构成图像的行对于图像的所有像素来说不是在同一时间同时被获取的，而是一行接另一个行的。
在图像捕捉期间发生的无人机的移动或振动在该图像的变形中将以与一行接着下一行不同的方式生成。
摇晃和抖动效应的逐行校正(校正“图像内”)涉及具有用于针对这些行的每个行获取无人机的精确姿态的手段：以精确地校正每个行，理想地是要求每行一次姿态测量，而且所述测量与相机的传感器同步。
然而，无人机所使用的陀螺仪不允许以对应于视频传感器的每行的持续时间的速率来计算无人机的准确的姿态。而是可能以上至1kHz的速率执行陀螺仪数据的获取，这允许对每个图像具有几次测量并允许在每次获取视频传感器的一行的时刻内插无人机的姿态。
图14(作为框图)示出对在视频相机和陀螺仪的同步做出贡献的不同的元件。特征在于，陀螺仪102和水平视频相机14由公共时钟电路160来驾驭，并且陀螺仪和相机的各自的工作速率是该时钟的速率CLK的几分之一。
换句话说，陀螺仪102和相机14被配置以便：
Fgyro＝K.Fcam
Fgyro是陀螺仪的获取速率(典型为Fgyro＝990Hz)，
Fcam是视频相机的图像获取速率(典型为Fcam＝30Hz)，而
K是正整数(典型为K＝33)。
K是整数且对于陀螺仪和相机来说基础时钟是相同的事实确保了在每个图像Scam将总是有陀螺仪信号Sgyro的K个采样，而没有漂移，角度测量总是落入相同时间。
然而，虽然该机制确保了陀螺仪传感器所传递的信号Sgyro和相机14所传递的信号Scam是同步的，它不能给出关于这两个信号是相和谐的保证。
实际上，视频获取和陀螺仪获取是由软件触发的，并且因此，这两个获取在同一时间开始、将这两个开始分隔开的时间间隔对于一个无人机到另一个无人机或者甚至从同一无人机的一个驾驶序列到另一个驾驶序列是固定的都不是必然的。
这些信号Scam和Sgyro已经在图15中以两种不同的情形(a)和(b)示出：对于视频信号Scam，在每次向前下降时新的行图像可用，并且对于陀螺仪信号Sgyro，向前下降也对应于新的角度数据的可用。
基于这些时序图，观察到陀螺仪信号Sgyro不会相对于视频信号Scam“滑动”，这意味着当新的图像可用时，在陀螺仪传递新数据之前总是存在相同的时间间隔。另一方面，该时间间隔随一个无人机到另一无人机以及一个驾驶序列到另一个驾驶序列而变化，因为陀螺仪传感器不是以与视频相机的相同时间被启动的。
为了保证完美的同步化，本发明特征在于提议使用物理组件(硬件)170，它以极高的精度测量在陀螺仪和视频信号Sgyro和Scam之间的时间间隔△。将注意到单次测量是足够的，因为已经设置该时钟以便它们没有漂移。
刚刚已经描述的这两种机制(公共时钟160和相移测量硬件电路170)允许以非常高的精度在一个时钟周期内及时地将陀螺仪和视频信号相连。
以几个兆赫工作的系统时钟160，这表示在视频和陀螺仪信号之间的钳位上的少量毫微秒的误差，它是非常低的并允许对摇晃和抖动效应的非常精确和有效的校正。
另一方面，在缺少这样的机制的情况下，将必须由软件来选择陀螺仪的每个新数据和所获取的每个新图像的传递时刻。这样的方法将由于其对系统的反应时间的敏感度而大大减少精度且更加不规律，并将仅提供100微秒等级的精度。

Claims (8)

1.一种旋翼无人机(10)，包括：
–相机(14)，包括指向相对于无人机主体而言固定方向(△)的鱼眼类型的半球形视野的镜头，以及获取由所述镜头形成的图像(I)并传递原始像素数据的数字传感器；
–图像处理装置(156)，接收所述原始像素数据作为输入并将经矫正以补偿由所述鱼眼镜头引起的几何失真的像素数据作为输出来传递；
–用于传递经矫正的像素数据作为输出以传送给显示器或视频记录设备的装置(158)；
–惯性单元(154)，适用于测量表征所述无人机相对于绝对地球参考系的姿态的欧拉角(φ,θ,ψ)；以及
–控制装置(152)，接收由所述惯性单元(154)所传递的至少一个欧拉角作为输入，并适用于根据由所述惯性单元所检测到的所述无人机的姿态的变化为所述传递装置作为输出递送的所述像素数据创建窗口，其特征在于：
–所述数字传感器是逐行传递所述原始像素数据的扫描传感器；
–所述无人机还包括提取装置(152)，接收在所述传感器范围上定义减少尺寸的捕捉区域的位置的选择信号作为输入，并传递对应于经减少尺寸的捕捉区域的所述原始像素数据作为输出；
–伺服控制装置(152)是适用于在与由所述惯性单元所检测的并由所述至少一个欧拉角的对应变化所表征的所述无人机的姿态的变化的方向相反的方向上动态修改所述选择信号的装置；以及
–所述图像处理装置(156)接收由所述提取装置所传递的所述原始像素数据。
2.如权利要求1所述的无人机，其特征在于，所述伺服控制装置适用于修改所述选择信号以便由所述提取装置所传递的像素数据对应于以地平线或以相对于地平线固定的方向上为中心的图像。
3.如权利要求1所述的无人机，其特征在于，所述相机被安装在所述无人机中，以便以与所述无人机的俯仰角(22)相平行地取向所述数字传感器的帧扫描方向(DB)。
4.如权利要求1所述的无人机，其特征在于，所述至少一个欧拉角是所述无人机的俯仰角(φ)，并且所述伺服控制装置适用于修改所述选择信号以便在平行于所述传感器的主轴的第一方向上平移所述捕捉区域。
5.如权利要求4所述的无人机，其特征在于，所述至少一个欧拉角是所述无人机的偏航角(ψ)，并且所述伺服控制装置适用于修改所述选择信号以便在垂直于所述第一方向的第二方向上平移所述捕捉区域。
6.如权利要求1所述的无人机，其特征在于，所述图像处理装置(156)适用于对所述传感器的每一行(li)施加附加的校正以便于从一个行到下一行地补偿由所述无人机绕偏航、俯仰和/或滚动轴的旋转所引起的像素的相对位移。
7.如权利要求6所述的无人机，其特征在于：
–所述相机(14)是逐行传递视频数据的卷帘快门类型的相机；
–所述相机(14)和所述惯性单元(154)的陀螺仪传感器(102)是由公共时钟(160)来驾驭的；以及
–所述陀螺仪传感器(102)的获取速率(Fgyro)是所述相机(14)的视频数据传递速率(Fcam)的倍数(K)。
8.如权利要求7所述的无人机，进一步包括：硬件电路(170)适用于：
–将由所述陀螺仪传感器(102)所传递的信号(Sgyro)和由所述相机(14)传递的信号(Scam)进行比较；
–确定在这些相应的信号之间的相移值；以及
将该相移值应用于所述图像处理装置(156)，以便以同步方式触发施加给所述传感器的每行的所述附加校正以从一个行到下一行地补偿像素的相对位移。
CN201510178952.7A 2014-04-16 2015-04-15 提供具有传递稳定的图像序列的视频相机的旋翼无人机 Expired - Fee Related CN105031935B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1453416A FR3020168A1 (fr) 2014-04-16 2014-04-16 Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
FR1453416 2014-04-16
FR1456302A FR3020169A1 (fr) 2014-04-16 2014-07-02 Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
FR1456302 2014-07-02

Publications (2)

Publication Number Publication Date
CN105031935A true CN105031935A (zh) 2015-11-11
CN105031935B CN105031935B (zh) 2019-01-25

Family

ID=52779574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510178952.7A Expired - Fee Related CN105031935B (zh) 2014-04-16 2015-04-15 提供具有传递稳定的图像序列的视频相机的旋翼无人机

Country Status (5)

Country Link
US (1) US9555897B2 (zh)
EP (1) EP2933775B1 (zh)
JP (1) JP2015204633A (zh)
CN (1) CN105031935B (zh)
FR (1) FR3020169A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472373A (zh) * 2015-11-18 2016-04-06 中国兵器工业计算机应用技术研究所 基于前庭反射机理的仿生电子稳像方法及装置
CN106375669A (zh) * 2016-09-30 2017-02-01 重庆零度智控智能科技有限公司 一种稳像方法、装置和无人机
CN106506954A (zh) * 2016-10-25 2017-03-15 深圳市高巨创新科技开发有限公司 基于多旋翼飞行器的拍摄方法及系统
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
WO2018053785A1 (en) * 2016-09-23 2018-03-29 Qualcomm Incorporated Image processing in an unmanned autonomous vehicle
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110114735A (zh) * 2017-01-03 2019-08-09 高通股份有限公司 由无人自主交通工具捕捉比赛的图像
CN110109475A (zh) * 2019-05-20 2019-08-09 深圳市道通智能航空技术有限公司 一种无人机控制方法与装置、计算机可读存储介质
CN110268710A (zh) * 2018-01-07 2019-09-20 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
CN110998235A (zh) * 2017-07-28 2020-04-10 高通股份有限公司 在机器人式运载工具中的图像输出调整
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN112414365A (zh) * 2020-12-14 2021-02-26 广州昂宝电子有限公司 位移补偿方法和设备及速度补偿方法和设备
CN113677412A (zh) * 2019-04-08 2021-11-19 索尼集团公司 信息处理装置、信息处理方法和程序

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674214A1 (en) * 2014-10-17 2020-07-01 Sony Corporation Control device, control method, and flight vehicle device
FR3032052B1 (fr) 2015-01-26 2017-03-10 Parrot Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants
US10613528B2 (en) * 2015-03-06 2020-04-07 Alberto Daniel Lacaze Point-and-click control of unmanned, autonomous vehicle using omni-directional visors
FR3037672B1 (fr) * 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
CN105141827B (zh) * 2015-06-30 2017-04-26 广东欧珀移动通信有限公司 一种畸变校正方法及终端
FR3038431B1 (fr) 2015-06-30 2017-07-21 Parrot Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
DE102015013104A1 (de) * 2015-08-22 2017-02-23 Dania Lieselotte Reuter Verfahren zur Zielanflungsteuerung von unbemannten Flugobjekten, insbesondere Lieferdrohen
JP6633460B2 (ja) 2015-09-04 2020-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通知方法、通知装置及び端末
FR3041135B1 (fr) 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
FR3041134B1 (fr) 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.
US10805540B2 (en) * 2015-10-28 2020-10-13 Vantage Robotics, Llc Quadcopter with pitched propeller configuration
CN105447853B (zh) * 2015-11-13 2018-07-13 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
MX2018005851A (es) 2015-11-13 2018-11-12 Walmart Apollo Llc Metodos y sistemas de distribucion de productos utilizando aeronave de entega portatil no tripulada.
FR3044141B1 (fr) 2015-11-23 2017-12-08 Parrot Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
KR102491637B1 (ko) * 2015-12-10 2023-01-26 한화테크윈 주식회사 영상 제공 장치 및 방법
WO2017140089A1 (zh) * 2016-02-16 2017-08-24 江苏美的清洁电器股份有限公司 清扫机器人系统和清扫机器人
DE102016013512A1 (de) 2016-04-18 2017-11-09 Kastriot Merlaku Beleuchtungs-System für Kameras aller Art oder für Mobiltelefone mit Kamera
FR3052678B1 (fr) * 2016-06-20 2018-07-13 Parrot Drones Drone muni d'une camera video frontale avec compensation des rotations instantanees du drone et correction des artefacts
FR3053204A1 (fr) * 2016-06-23 2017-12-29 Parrot Drones Reseau local pour l'echange simultane de donnees entre un drone et une pluralite de terminaux utilisateur.
WO2018006424A1 (en) * 2016-07-08 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for improved mobile platform imaging
FR3054336A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et localisation amelioree de la cible.
FR3055078B1 (fr) * 2016-08-11 2019-05-31 Parrot Drones Procede de capture d'image(s), programme d'ordinateur, et systeme electronique de capture d'une video associes
WO2018053786A1 (en) 2016-09-23 2018-03-29 Qualcomm Incorporated Adaptive motion filtering in an unmanned autonomous vehicle
DE102016125459B3 (de) 2016-12-22 2018-05-03 Spintower Kg Bilderfassungsverfahren auf einem Bilderfassungssystem
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
US10735653B1 (en) * 2017-03-14 2020-08-04 Ambarella International Lp Electronic image stabilization to improve video analytics accuracy
US10223766B2 (en) * 2017-03-31 2019-03-05 Apical Ltd. Image processing including geometric distortion adjustment
US20190149717A1 (en) * 2017-11-15 2019-05-16 Jeffrey Paul Overall Remotely Controlled Filter
TWI726536B (zh) 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN215972078U (zh) * 2021-02-22 2022-03-08 深圳市道通智能航空技术股份有限公司 一种四旋翼无人机
CN113055598B (zh) * 2021-03-25 2022-08-05 浙江商汤科技开发有限公司 朝向数据补偿方法、装置、电子设备、可读存储介质
US11192648B1 (en) 2021-08-27 2021-12-07 King Abdulaziz University Air blowing drone and dust cleaning device for solar panels
TWI800102B (zh) * 2021-11-16 2023-04-21 財團法人工業技術研究院 載具頭向補償方法及系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012020176A1 (fr) * 2010-08-09 2012-02-16 Schaer Andre Dispositif pour la transmission bidirectionnelle de donnees entre un mobile energetiquement autonome et une station de controle et de commande
CN102671390A (zh) * 2011-03-08 2012-09-19 鹦鹉股份有限公司 驾驶多转子旋翼遥控飞机沿曲线转弯的方法
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103285599A (zh) * 2012-01-04 2013-09-11 鹦鹉股份有限公司 一种通过遥控手段直观领航靶机的方法
CN103394199A (zh) * 2012-01-05 2013-11-20 鹦鹉股份有限公司 一种用于通过具有最小化干扰移动的机载摄像机来曝光的领航旋转翼无人机的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4685866B2 (ja) * 2004-06-02 2011-05-18 ロックウェル コリンズ コントロール テクノロジーズ，インコーポレーテッド 動的システムを制御するためのシステムおよび方法
US8054335B2 (en) * 2007-12-20 2011-11-08 Aptina Imaging Corporation Methods and system for digitally stabilizing video captured from rolling shutter cameras
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
EP2411972B1 (en) * 2009-03-26 2018-01-03 Ohio University Trajectory tracking flight controller
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
US8786716B2 (en) * 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012020176A1 (fr) * 2010-08-09 2012-02-16 Schaer Andre Dispositif pour la transmission bidirectionnelle de donnees entre un mobile energetiquement autonome et une station de controle et de commande
CN102671390A (zh) * 2011-03-08 2012-09-19 鹦鹉股份有限公司 驾驶多转子旋翼遥控飞机沿曲线转弯的方法
CN103285599A (zh) * 2012-01-04 2013-09-11 鹦鹉股份有限公司 一种通过遥控手段直观领航靶机的方法
CN103394199A (zh) * 2012-01-05 2013-11-20 鹦鹉股份有限公司 一种用于通过具有最小化干扰移动的机载摄像机来曝光的领航旋转翼无人机的方法
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472373A (zh) * 2015-11-18 2016-04-06 中国兵器工业计算机应用技术研究所 基于前庭反射机理的仿生电子稳像方法及装置
US10771699B2 (en) 2016-05-20 2020-09-08 SZ DJI Technology Co., Ltd. Systems and methods for rolling shutter correction
CN108605098B (zh) * 2016-05-20 2020-12-11 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
WO2018053785A1 (en) * 2016-09-23 2018-03-29 Qualcomm Incorporated Image processing in an unmanned autonomous vehicle
US10917561B2 (en) 2016-09-23 2021-02-09 Qualcomm Incorporated Image processing in an unmanned autonomous vehicle
CN106375669B (zh) * 2016-09-30 2019-08-06 天津远度科技有限公司 一种稳像方法、装置和无人机
CN106375669A (zh) * 2016-09-30 2017-02-01 重庆零度智控智能科技有限公司 一种稳像方法、装置和无人机
CN106506954A (zh) * 2016-10-25 2017-03-15 深圳市高巨创新科技开发有限公司 基于多旋翼飞行器的拍摄方法及系统
CN110114735B (zh) * 2017-01-03 2022-01-25 高通股份有限公司 由无人自主交通工具捕捉比赛的图像
CN110114735A (zh) * 2017-01-03 2019-08-09 高通股份有限公司 由无人自主交通工具捕捉比赛的图像
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN110998235A (zh) * 2017-07-28 2020-04-10 高通股份有限公司 在机器人式运载工具中的图像输出调整
CN110998235B (zh) * 2017-07-28 2024-03-01 高通股份有限公司 在机器人式运载工具中的图像输出调整
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
CN110268710B (zh) * 2018-01-07 2022-01-04 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
US11303810B2 (en) 2018-01-07 2022-04-12 SZ DJI Technology Co., Ltd. Image data processing method, device, platform, and storage medium
CN110268710A (zh) * 2018-01-07 2019-09-20 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
CN108680196B (zh) * 2018-04-28 2021-01-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN113677412A (zh) * 2019-04-08 2021-11-19 索尼集团公司 信息处理装置、信息处理方法和程序
CN113677412B (zh) * 2019-04-08 2023-10-10 索尼集团公司 信息处理装置、信息处理方法和程序
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110109475A (zh) * 2019-05-20 2019-08-09 深圳市道通智能航空技术有限公司 一种无人机控制方法与装置、计算机可读存储介质
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN112414365A (zh) * 2020-12-14 2021-02-26 广州昂宝电子有限公司 位移补偿方法和设备及速度补偿方法和设备
CN112414365B (zh) * 2020-12-14 2022-08-16 广州昂宝电子有限公司 位移补偿方法和设备及速度补偿方法和设备

Also Published As

Publication number Publication date
EP2933775B1 (fr) 2016-12-28
CN105031935B (zh) 2019-01-25
US20150298822A1 (en) 2015-10-22
FR3020169A1 (fr) 2015-10-23
US9555897B2 (en) 2017-01-31
EP2933775A1 (fr) 2015-10-21
JP2015204633A (ja) 2015-11-16

Similar Documents

Publication Publication Date Title
CN105031935A (zh) 提供具有传递稳定的图像序列的视频相机的旋翼无人机
US11949992B2 (en) UAV panoramic imaging
US10914419B2 (en) Camera system using stabilizing gimbal
JP6234679B2 (ja) 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法
JP6122591B2 (ja) 写真測量用カメラ及び航空写真装置
CN105915786A (zh) 具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机
US9747725B2 (en) Video system for piloting a drone in immersive mode
US9738382B2 (en) Drone immersion-piloting system
US8896697B2 (en) Video motion compensation and stabilization gimbaled imaging system
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
US20180024557A1 (en) Autonomous system for taking moving images, comprising a drone and a ground station, and associated method
US20180095469A1 (en) Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle
US11076082B2 (en) Systems and methods for digital video stabilization
FR3020168A1 (fr) Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160727

Address after: France

Applicant after: Parrot Unmanned Aerial Vehicle Co., Ltd.

Address before: France

Applicant before: Parrot SA

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190125

Termination date: 20200415