CN106534709A - 具有用天空图像分割来自动曝光控制的前视相机的无人机 - Google Patents

具有用天空图像分割来自动曝光控制的前视相机的无人机 Download PDF

Info

Publication number
CN106534709A
CN106534709A CN201610816428.2A CN201610816428A CN106534709A CN 106534709 A CN106534709 A CN 106534709A CN 201610816428 A CN201610816428 A CN 201610816428A CN 106534709 A CN106534709 A CN 106534709A
Authority
CN
China
Prior art keywords
unmanned plane
image
roi
region
sky
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610816428.2A
Other languages
English (en)
Inventor
B·波琼
A·贝利
H·塞杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co Ltd
Parrot Drones SAS
Original Assignee
Parrot Unmanned Aerial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Unmanned Aerial Vehicle Co Ltd filed Critical Parrot Unmanned Aerial Vehicle Co Ltd
Publication of CN106534709A publication Critical patent/CN106534709A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

本发明涉及具有使用天空图像的分割来进行自动曝光控制的前视相机的无人机。无人机包括相机(14)、测量无人机角度的惯性单元(46)、以及递送在由惯性单元测量的角度变化方向相反的方向上动态地位移的经缩减大小的移动捕捉区域的图像数据的提取器模块(52)。该模块分析有用区域的图像数据元素以向每一图像数据元素指派表示属于天空的概率的加权系数，并且因变于这些加权系数来动态地定义有用区域的在天空和地面之间的分割边界(F)。对于天空区域和地面区域，分别定义两个不同的感兴趣区域RIO群，并且因变于这些群之一的ROI的图像数据来控制动态曝光控制装置，尤其是通过排除天空区域的ROI。

Description

具有用天空图像分割来自动曝光控制的前视相机的无人机
技术领域
本发明涉及处理移动装置(尤其是诸如无人机等机动飞行设备)板载相机所捕捉的数字图像。
本发明有利地应用于由旋翼无人机(诸如四螺旋桨直升机)的前置相机收集的图像。
背景技术
法国巴黎Parrot SA公司的AR.Drone 2.0或Bebop Drone是这样的四螺旋桨直升机的典型示例。它们配备一系列传感器(加速度计、3轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机、以及捕捉飞过的地面的图像的俯视相机。它们设有由相应的马达驱动的多个旋翼，这些马达可以以不同模式控制，从而在姿态和速度方面驾驶该无人机。这样的无人机的各方面尤其在WO 2010/061099 A2、EP 2 364 757 A1、EP 2 613 213 A1或EP 2 613 214 A1(Parrot SA)中描述。
前摄像机可被用于“沉浸模式”驾驶，即用户以如同他自己在无人机上一样的方式使用相机的图像。它也可用于捕捉无人机所朝向的场景的图像序列。因此，用户可以以相机或便携式相机将由无人机承载的相同方式来使用无人机而不是将其握在手中。所收集的图像可以被记录，随后广播，在视频主存网站上上线，发送给其他因特网用户，在社交网络上共享，等等。
这些图像旨在被记录和传递，它们具有可能较少的缺陷(尤其是由在实践中在显示给用户的最终图像中引入各种不合时宜的伪像的无人机行为所造成的缺陷)是合乎需要的。
这样的缺陷在“沉浸驾驶”配置中可能是可容忍的。但是，如果要使用无人机作为移动摄像机来捕捉将被记录并稍后播放的序列，这些缺陷将极其麻烦，所以将它们降至最小是合乎需要的。
所谓的EIS(电子图像稳定化)技术包括在传感器上获取比将被使用的捕捉区域更大广度的固定区域。所述补偿通过在与要被补偿的移动相反的方向上将捕捉区域平移至获取区域来操作，所述传感器仅发送对应于经稳定的图像的一个子部分。这样的补偿的实现是简单的。另一方面，补偿幅度受限于在捕捉区域的尺寸和获取区域的尺寸之间的比率，即所使用的传感器的有效尺寸。具体而言，最大角度补偿幅度受限为几度。
Miyauchi R等人的论文“Development of Omni-Directional ImageStabilization System Using Camera Posture Information(使用相机姿势信息的全向图像稳定系统的开发)”，2007IEEE机器人技术和仿生学国际会议会议录，2007年12月15-18日，第920-925页，提出了将这样的EIS技术应用于由配备有“鱼眼”型半球物镜(即，覆盖约180°视野)的相机所捕捉的图像。原始图像被整体地获取(这可能是实时的，因为它是低分辨率CCD传感器)，经受变直处理(以补偿鱼眼失真)，随后经受因变于承载相机的机器人的移动的动态开窗处理。
然而，这些图像稳定化技术仅仅因为所述相机是具有低分辨率CCD传感器的相机(640x 480像素,即0.3百万像素)才是可能的。另一方面，它将不能应用于自身从极高分辨率的原始鱼眼图像(例如在14百万像素分辨率的传感器上形成的图像)来开窗的有用HD质量(1920x 1080像素,即2百万像素)的图像的稳定化：如果整个原始图像在这样的条件下被变换以被处理，这将对应于每个图像的14百万像素的像素数据流，从而导致在该分辨率下的每秒6个图像(ips)的量级的帧率，这对于要求帧率接近30ips的流畅视频序列而言是不够的。
而且，所述图像的一个区域的简单平移在数学上不足以补偿相机的旋转，因为它不是对由旋转引起的视角的改变的真实校正。最后，它是通过由传感器获取的图像数据的后处理的补偿，这不允许补偿某些实时效果。
在上述Bebop Drone的情况下，后者实现配备覆盖约180°视野的鱼眼型半球形物镜的相机，从而在14百万像素(4608x 3288像素)分辨率传感器上形成原始图像，随后从HD质量图像(1920x 1080像素，即2百万像素)实时开窗。
Timothy McDougal于2014年10月6日(XP055233862)发布在因特网上的题为“TheNew Parrot Bebop Drone:Built for Stabilized Aerial Video(新Parrot BebopDrone：为稳定化航空视频而造)”的论文具体描述了这一Bebop Drone设备，连同其与图像稳定化和控制系统相关联的鱼眼镜头。
更确切而言，在这一设备中，在传感器的表面处形成的总体半球形图像中选择特定窗口(此后称为“捕捉区域”)。这一窗口旋转且平移地移动，并且永久地因变于由惯性单元确定的无人机的移动并且在相对于这些移动相反的方向上来移动。当然，由鱼眼镜头收集的图像经历与常规相机相同的振动和旋转移动，但图像区域的位移被控制以补偿这些移动并随后产生针对无人机的移动来稳定化的图像。
捕捉区域的图像(更确切地是后者的有用部分)(此后称为“有用区域”)随后经受重投影处理以补偿由鱼眼镜头引入的几何失真：将由该镜头弯曲的直线变直，重建图像的中心和周界之间的均匀放大，等等。所获得的最终图像(“经变直的有用区域”)随后被传送给用户以显示在屏幕上、被记录，等等。
因此，通过从在初始图像中在与无人机的移动相对的方向上动态地旋转和平移地移位的所捕捉的特定区域(捕捉区域)的总体场景中进行提取以消灭否则将在显示给用户的最终图像中观察到的振动，随后通过有用图像变直处理以获得没有几何失真也没有其他失真的场景的表示，来使得“虚拟相机”可用。
在Timothy McDougal的上述论文中呈现的Bebop Drone设备内实现的这一技术在发布于2015年10月21日的EP 2 933 775 A1(Parrot)中详细公开。
发明内容
本发明旨在消除在无人机的某些移动期间发生的特定问题。
这一问题涉及控制自动曝光(AE)算法，它分析图像的不同区域的亮度并为传感器自动选择配对{曝光时间，增益}，从而使得以相同的目标亮度来捕捉任何场景成为可能。这一选择是基于对通过子采样或抽取来获得的图像的降低分辨率版本(例如，64x48像素)(此后称为“缩略图”)的分析并且从中提取亮度柱状图以及可能的其他参数(这样的不同起始数据此后由通用术语称为图像的“统计数据”)来操作的。
在从由传感器收集的总体图像提取捕捉区域的上述情况下，这是来自产生统计数据的捕捉区域的缩略图的内容。
但是，如下文解释的，这一捕捉区域大于将被显示给用户的最终有用区域，使得自动曝光算法可基于用户没有看到的场景元素来作出决策，即位于捕捉区域内部但在有用区域外部的元素。
现在，需要被正确地曝光的场景是由用户看到的(有用区域)，而非捕捉区域(它不同于后者)。
在包括天空的一部分和地面的一部分的图像的典型情况下，天空和地面之间的比例将根据相机倾斜而变化，这本身因变于无人机姿态永久变化。以此方式，如果无人机从悬停飞行姿态通过到下倾姿态(这一倾斜产生前向线性位移)，则相机(向地面倾斜(因为它链接到无人机主体))将捕捉地面的高得多的比例。因为地面较暗，所以自动曝光算法的控制将往往通过增加曝光时间和/或增益来补偿这一亮度变化。
然而，由于捕捉区域在初始图像中的位移以及用于从中提取有用区域的重投影，用户将总是看到同一场景。但这一场景将由于自动曝光的校正动作而已被临时曝光过度，在无人机将回到其初始姿态时曝光过度将消失——并且因此用户看到的图像的轮廓没有改变。
此外，传感器的有限动态性不允许在所有情形下正确地曝光天空和地面两者。
当然，“HDR”(高动态范围)类型的成像技术是已知的，它包括归并以非常短的时间间隔用不同曝光设置顺序地拍摄的图像，每一图像具有其自己的动态范围。但是，在相机由飞行无人机机载的特定情况下，不能使用这一技术，因为它将由于无人机(并且因此相机)的位移的快速性以及它所经受的振动而引入显著的时间伪像。
本发明的目标是提出一种使得动态地且实时地确定由相机捕捉的场景的图像的哪一部分对应于天空以及哪一部分对应于地面成为可能的技术，或者确定操作天空和地面之间的分界是不可能的(如在无人机在室内飞行的典型情况下)。
在这一确定之后，该图像随后将被分割成天空区域和地面区域，以便能够不同地处理缩略图的天空区域和地面区域，一般通过选择只(或主要)针对地面区域曝光。
基本上为此目的，本发明提出了为每一像素或宏像素(此后称为“图像数据”)计算表示这一像素或宏像素属于天空(或相反地属于地面)的概率的加权系数，以便能够：
-针对包括大多数细节的区域(一般是地面，很少是天空)来曝光，以及
-即使天空/地面比率剧烈且快速地变化(通常在无人机的姿态的剧变期间)并且通过补偿鱼眼镜头所引入的失真来均匀地曝光。
更确切而言，本发明提出了一种无人机，该无人机以本身已知的方式，具体而言来自根据在上述EP 2 933 775 A1中详细公开的技术的Bebop Drone设备，包括：
-链接到无人机主体的相机，包括：指向相对于所述无人机主体的固定方向的鱼眼型半球形物镜，收集由所述镜头形成的图像的数字传感器，以及用于自动控制传感器曝光的装置；
-惯性单元，其被适配成测量表征所述无人机相对于绝对陆地参考系的即时姿态并递送当前无人机姿态数据作为输出的欧拉角，
-提取器装置，其被适配成在由所述镜头在所述传感器的广度上形成的所述图像中定义经缩减大小的捕捉区域的位置；
-控制装置，它接收所述当前无人机姿态数据作为输入并被适配成在与由所述惯性单元测量到的角度值的变化方向相反的方向上动态地修改所述捕捉区域在所述图像中的位置和定向；
-重投影装置，它接收从所述捕捉区域提取的有用区域的由像素或宏像素形成的图像数据作为输入并且递送对应的经变直的图像数据作为输出，补偿由所述鱼眼镜头引入的几何失真；以及
-分析装置，其被适配成定义分布在所述有用区域上的多个感兴趣区域ROI并因变于来自所述有用区域的缩略图中包含的相应图像数据来在每一ROI中控制所述动态曝光控制装置，
本发明的特征在于，所述分析装置被进一步适配成：
分析所述有用区域的所述当前图像数据以向这些数据元素中的每一者指派表示属于天空的概率的加权系数；
-因变于指派给每一图像数据元素的所述加权系数，在每一图像处动态地定义所述有用区域在天空区域和地面区域之间的分割边界；
对于所述天空区域和所述地面区域，分别定义两个不同的RIO群；以及
因变于来自所述有用区域的缩略图中包含的相应图像数据元素来在所选择的群之一的ROI中控制所述动态曝光控制装置。
-表示属于天空的概率的加权系数是以下各项的系数函数：
-由分析装置分析的当前图像数据元素相对于由惯性单元递送的理论地平线方向的位置；和/或
-由分析装置分析的当前图像数据元素的邻域的图像数据；和/或
-相对于地面的无人机姿态，所述无人机包括被适配成递送这一姿态的所估计的值的装置；和/或
-由相机捕捉的场景的发光体，该相机包括用于分析这一发光体的装置；和/或
-无人机相对于地平线的俯仰倾斜。
ROI可以是其大小和/或位置在每一图像处被动态地定义在有用区域中的ROI，或者由按均匀且预定的方式分布在有用区域上的ROI网格定义的ROI。
附图说明
现在将参考附图描述本发明的实现的示例，在所有附图中，相同的附图标记指示相同或功能上相似的元素。
图1是示出无人机以及相关联的允许其远程驾驶的遥控设备的概览示图。
图2a和2b示出例如在加速阶段期间由无人机的前倾所引起的相机的查看方向的修改。
图3在(a1)-(a3)中示出应用于在无人机相机的传感器上形成的图像的开窗和失真校正以产生经变直的图像的连贯步骤，并在(b1)-(b3)示出在无人机姿态被修改时的对应步骤，其相机朝地面倾斜。
图4在(a)和(b)中示出通过分别分析图3的捕捉区域(a2)和(b2)来获得的亮度柱状图。
图5作为框图示出了参与本发明的实现的不同模块。
图6是解释本发明的实现的主要连贯步骤的流程图。
图7更确切地示出分析的不同步骤，允许以图像的每一像素的加权结束。
图8示出根据第一变型的分析图像，实现自动定义在这一捕捉区域内的感兴趣区域。
图9示出根据第二变型的分析图像，实现在这一捕捉区域中形成网格。
具体实施方式
现在将描述本发明的实现的示例。
在图1中，附图标记10一般表示无人机，它例如是诸如法国巴黎Parrot SA公司的型号Bebop Drone等四螺旋桨直升机。这一无人机包括四个共面旋翼12，这些旋翼的马达由集成的导航与姿态控制系统彼此独立地驾驶。为其配置有前视相机14，以允许获得该无人机所指向的场景的图像。
该无人机还包括指向下的俯视相机(未示出)，其适配成捕捉所飞过的地面的连续图像并且尤其用于估算无人机相对地面的速度。惯性传感器(加速度计和陀螺仪)准许以某一准确度来测量无人机的加速度和姿态角，即描述无人机在固定陆地参考系中相对于地平面的倾斜的欧拉角(俯仰滚转θ以及偏航ψ)。此外，安排在无人机下的超声波测距仪还提供了对相对于地面的姿态的测量。
用遥控设备16来驾驶无人机10，遥控设备16设有触摸屏18，该触摸屏18显示由前置相机14机载的图像并叠加有某一数量的符号，这些符号允许通过用户的手指20在触摸屏18上的简单接触来激活驾驶命令。设备16设有用于与无人机进行无线电链接的装置，例如Wi-Fi(IEEE 802.11)局域网类型，以供进行双向数据交换，具体而言从无人机10到设备16用于传输由相机14捕捉的图像，以及从设备16到无人机10用于发送驾驶命令。
遥控设备16还设有倾斜传感器，从而准许通过向设备给予绕滚转和俯仰轴的对应倾斜来控制无人机姿态，将理解，无人机10的水平速度的两个纵向和横向分量将被紧密链接到绕两个相应俯仰轴和滚转轴的倾斜。无人机的驾驶包括使得其通过下述方式开展：
绕俯仰轴22旋转以使得其向前或向后移动；
绕旋转轴24旋转以使得其向右或向左移位；
绕偏航轴26旋转，使无人机的主轴向右或向左枢转；以及
通过改变气体控制来向下或向上平移，从而相应地减少或增加无人机的高度。
当用户从遥控设备16施加这些驾驶命令时，由设备16绕其纵向轴28和其横向轴30倾斜来分别获得绕俯仰轴22和旋转轴24枢转的命令a)和b)：例如，为了使得无人机向前移动，只需要通过绕轴28倾斜遥控设备16来向前倾斜它，为了使得其向右侧移动，只需要通过绕轴30向右倾斜遥控设备16来倾斜它，等等。命令c)和d)本身是通过用户的手指20在触摸屏18的相应特定区域上的触摸而施加的动作的结果。
无人机还具有自动和自主的悬浮飞行稳定系统，一旦用户将其手指移离该设备的触摸屏，该系统就被激活，或在起飞阶段结束时自动激活，或还可在该设备和无人机之间的无线电链接中断的情况下被激活。
图2a示意地在侧面上示出当在升程时无人机静止时的其姿态。
常规类型的(例如覆盖54°视野的相机)以及其视轴δ在地平线中心的前置相机14所覆盖的视野以36来示意性地示出。
如果，如在图2b中所示，无人机以非零的水平速度向前移动，按照设计，该无人机的轴26将相对于垂直V前倾角(俯仰角)。由箭头38图示出的这种前倾涉及相机相对于水平面HZ的轴δ的由箭头40所图示的相同值的倾斜。因此，可以理解，在无人机的行进期间，当无人机加速或减速等等时，轴δ绕水平方向HZ持久地振动，这在该图像中将转换成持久的向上和向下振动移动。
相较而言，如果无人机向右侧或左侧移动，该移动将伴有绕滚转轴24的枢转，这在该图像中将转换成在相机所捕捉的场景的一个方向或另一方向上的旋转。
为补偿这些缺陷，如在上述EP 2 933 775 A1中解释的，提出了向相机提供覆盖约180°视野的鱼眼型半球形物镜，如在图2a中的42中示意性地示出的。配备有这一鱼眼镜头的相机所捕捉的图像将当然经受与常规相机相同的振动和旋转移动，但通过选择与常规相机捕捉的角扇区36相对应的特定窗口，并且该特定窗口将在半球形图像中在与由惯性中心确定的无人机的移动相对的方向上动态地位移，以便消灭否则将在图像中观察到的振动，这一相机捕捉的视野的仅一部分将被使用。
因此，在图2b所示的情况中，其中无人机相对于垂直V下潜俯仰角(箭头38)，捕捉窗口将被向上移位相同值的角度(箭头44)，从而“虚拟相机”的覆盖与图像区域相对应的视野的扇区36的中心轴返回朝向地平线HZ。
图3在(a1)中示出场景的示例，如配备有鱼眼镜头的摄像机的传感器所收集的。
如可看到的，这一场景的图像I包括鱼眼镜头的半球形或准半球形覆盖所固有的、在传感器的平面表面上将其变直的、非常强的几何失真。
鱼眼镜头产生的这一图像I的仅一部分将被使用。这一部分是依据下述各项来确定的：i)“虚拟相机”所指向的方向，ii)后者的视野(在图2a和2b中以36示出)，以及iii)其宽度/高度比。因此，定义了包含原始像素数据的“捕捉区域”ZC，该区域包括与在对鱼眼镜头所引起的几何失真的补偿之后的虚拟相机的视野相对应的原始“有用区域”ZUB。
将注意，捕捉在传感器上形成的图像I的所有像素不是有用的，而是仅捕捉后者的与捕捉区域ZC相对应的一部分将是有用的，例如从由其分辨率通常将是14百万像素(4608x3288像素)的传感器产生的HD质量的图像I提取的约2百万像素窗口ZC(1920x 1080像素)。因此，只有捕捉区域ZC的真正需要的像素数据被传送，这是随后以30帧/秒的节律来刷新而没有特别困难的数据。因此，在保持高图像流速率的同时可以选择高分辨率的传感器。
图3的各视图(a2)和(a3)示出了在捕捉区域ZC的像素数据上执行以获得针对几何失真进行了补偿的最终图像的处理：基于从捕捉区域ZC(视图(a2))传送的像素数据，一算法提取原始有用区域ZUB的像素数据并向其应用三角网格(本质上已知的技术)，随后通过拉伸每一三脚来将图像变直，以给出具有经矫正的像素数据的经变直的有用图像ZUR(视图(a3))。鱼眼图像的非常弯曲的水平线随后将被校正以使得它们成直线，并且产生对应于自然视觉的图像，而没有几何失真。
图3的视图(b1)-(b3)类似于视图(a1)-(a3)，其中无人机的姿态由于无人机的前倾(绕其俯仰轴旋转)(例如跟随在从静止配置、悬停飞行的切换的倾斜)而被修改到向前移动的配置(无人机的线性速度在其倾斜很强时更大)。
如在(b1)中所示，为补偿无人机的这一下倾，捕捉区域ZC朝图像的顶部移动，因此在与无人机的倾斜相对的方向上移动。如果原始有用区域ZUB的相对位置在捕捉区域ZC内保持基本上相同(以允许瞄准场景的后续部分)，则另一方面捕捉区域现在将包括地面S的比天空C显著得多的部分：如果随后比较视图(a2)和(b3)，可观察到在初始配置(视图(a2))中，天空/地面比率是约50/50％，而在经修改的配置中(视图(b2))，天空/地面比率是约25/75％。此外，在强烈地向上位移时，捕捉区域可包括位于由传感器上的鱼眼物镜形成的圆形图像的区域之外的区域X。
另一方面，经变直的有用区域的最终图像ZUR(视图(b3))将基本上等同于在无人机前倾之前的原貌(视图(a3))。
图4示出了分别在(a)视图(a2)的情况下以及在(b)视图(b2)的情况下通过分析来自捕捉区域ZC的缩略图的像素的亮度而获得的柱状图。
如在该附图中可看到的，无人机前倾被转换成亮度柱状图的显著修改，其中均值M由于区域ZC的图像中地面/天空比率的增加而朝向左侧偏移。
自动曝光算法将均值M的这一变化解释成图像的变暗，这将通过增加曝光时间和/或相机敏感度来自动补偿。
以此方式，分别获得的最终图像(a3)和(b3)(经变直的有用区域ZUR的图像)将因它们的曝光设置而彼此不同，虽然它们显示给用户的是场景的相同帧，视图(b3)的图像由于视图(b2)的捕捉区域中的更大比例的地面而比视图(a3)的图像更清楚。
图5作为框图示出了参与本发明的实现的不同模块。
无人机的前置相机14递送与图像I相对应的原始图像信号。这一相机在机械上链接到无人机主体，经受由链接到无人机主体并因而链接到相机的惯性单元(MU)12所测量的角位移。相机的旋转通过俯仰角滚转角θ以及偏航角ψ给出，描述了无人机相对于固定陆地参考系的在三个维度中的倾斜(欧拉角)。这些数据被应用于角预测模块48，从而引导计算捕捉区域ZC在图像I中的位置的模块。视频处理模块52接收原始图像信号I作为输入，并因变于由模块50计算得到的捕捉区域ZC的位置进行开窗、图像稳定化、有用区域的提取和变直的各操作，以向用户递送要传送给用户并可能被显示和记录的有用图像信号ZUR作为输出。
模块52还执行相机操作参数的控制(由返回54来示出)，尤其是自动曝光(EA)控制。
另一方面，对于本发明的实现，惯性单元46还被适配成向模块52递送与陆地参考系的平面相对于无人机主体的定向相对应的地平线方向(图2b中的HZ)(即，“理论地平线”)的估计，其中表征无人机的即时姿态的相对于陆地参考系的俯仰角和滚转角θ被测量。
最后，无人机配备有因变于由超声测距仪传感器和生物测定传感器产生的数据来操作的高度确定装置54(举例而言诸如在EP 2 644 240A1(Parrot)中描述的装置)，应用于Kalman滤波器，允许递送无人机在陆地参考系中的即时绝对高度的估计值。
图6是解释本发明的实现的主要连贯步骤的流程图。
这一流程图100包括由相机收集原始图像I的初始步骤(框102)，此后是因变于由惯性单元IMU递送的无人机姿态数据以及与将被递送给用户的场景的图像相对应的有用区域ZU的轮廓的估计来从这一原始图像提取捕捉区域ZC的步骤(框104)。
后续步骤(框106)(本发明的特征)包括以将在下文参考图7详细公开的方式逐像素(或逐宏像素)分析有用区域ZU的图像数据。这一分析的结果是因变于若干参数(诸如地平线方向、无人机姿态、相邻像素(或宏像素)的内容、无人机即时倾斜，等等)反映像素属于图像的天空区域的较大或较小高概率的加权系数对每一像素(或宏像素)的贡献，以及对天空和地面之间的分割边界的确定。
随后步骤(框108)包括定义(根据本质上已知的技术，此后将不详细描述)作为来自要分析的图像的缩略图中的经缩减大小的区域的几何选集的多个感兴趣区域ROI。为来自缩略图统计数据的这些ROI中的每一者确立亮度柱状图。
作为本发明的特征，由自动曝光算法使用的ROI是因变于它们相对于在先前步骤106确定的天空和地面之间的边界的位置来选择或加权的。最终结果是将由自动曝光算法用来通过根据本质上已知的技术分析和比较这些不同ROI的柱状图来调整传感器的曝光水平的有限ROI列表。
一般而言，所选择的ROI将是与位于分割边界下方的地面区域相对应的那些ROI，只要这一区域是包含更多细节的区域且需要为其优化曝光的区域(然而，作为变型，选择针对天空而非针对地面曝光是可能的，或者以可变比例组合地面区域和天空区域中的ROI的分析的参数是可能的)。
图7更确切地示出操作框106的逐像素分析的方式，以向位于有用区域ZU的限度内的每一像素指派作为其属于所捕捉图像的天空区域的概率的函数的奇异加权系数。
流程图200包括第一步骤(测试202)，该步骤包括确定无人机位于室内还是室外(因为只有在后一情况下属于天空的概率才将必须被找出)。这一确定可尤其通过分析场景发光体来作出，这是在由相机实现的自动白平衡(AWB)算法的输出处可用的参数。因此，发光体D50或D65通常对应于白天的自然光，这指示无人机多半在室外行进。
如果在测试202中确定无人机在室内行进，则零权重G(i,j)＝0被指派给像素(i,j)，因为在这种情况下，认为其属于天空区域的概率是零(框204)。在相反的情况下，则因变于其在图像中的位置来确定该像素位于由惯性单元IMU确定的理论地平线上方还是下方(测试206)。
如果这一像素位于地平线下方，则向其指派零权重G(i,j)＝0(框204)。在相反的情况下，权重G(i,j)＝0被设置成1(框208)以指示——在这一阶段——属于天空的100％概率。
然而，这一概率必须被加权，因为即使像素对应于位于地平线上方的室外区域，它也可能位于能与地面区域相比的区域中，例如在它属于位于地平面上方的建筑物、树等的图像的情况下：它们是包括细节的区域，正确地曝光这些区域是适当的并且这些区域在任何情况下不属于天空，但位于地平线上方。
为此，因变于高度来应用第一权重(框210)。这一权重基于以下观察：无人机飞得越高，地平线清晰的机会越大，即位于地平线上方的图像部分不尽是建筑物、树、山等的图像。权重G(i,j)＝1随后通过作为因变于高度z单调变化、且值在w(0)＝0和w(zmax)＝1之间的函数w(z)来(线性地，按步幅或任何其他合适的级数)加权，其中zmax是最大高度值，例如zmax＝300米。结果是加权系数值G'(i,j)＝G(i,j)x w(z)。
第二权重w(n)可被应用于在框210获得的值G'(i,j)(框212)，具体地因变于对像素(i,j)的邻域的分析，即分析(根据本质上已知的技术)相对于图像的围绕该权重的像素(i,j)目标的诸像素的方差、梯度等。
又一些其他加权操作可被用于，例如因变于无人机姿态，尤其是因变于由惯性单元IMU给出的其俯仰角如果这一数据元素指示无人机在该分析的时刻强烈前倾，则像素属于天空的概率低于无人机处于悬停飞行(水平姿态)的情况，或者在强减速或向后运动的阶段期间的机首上扬姿态中概率更大。
针对有用区域的图像的每一像素(或宏像素)执行流程图200的分析，这允许在分析结束时获得这一图像的每一像素的加权映射，从而反映所考虑的像素属于天空的概率。
实现将这一加权纳入考虑的自动曝光则将是可能的，举例而言(但以非限制性方式)通过排他地或主要地因变于天空区域的图像数据来控制自动曝光。
如上所示，自动曝光算法使用分布在图像上的多个感兴趣区域ROI。
在第一实现变型中，如在图8中所示，自动曝光基于如下ROI来操作：其大小和/或位置被动态地定义在i)来自有用区域ZUB的缩略图内部以及ii)(本发明的特征所在)在分开天空区域(在分割边界F上方)和地面区域(在边界线F下方)的分割边界F下方。
ROI被分布成全部或部分地位于有用区域ZUB内部，即如果ROI定义算法生成了有用区域ZUB外部的ROI，这些ROI将从对自动曝光控制的后续分析中排除。此外，对于边界F，如果ROI生成算法定义了例如在图8中示出的九个区域ROI1、……、ROI9，则自动曝光控制将只在位于在边界F下方的地面区域中的ROI的基础上操作，即在该示例中由ROI3、ROI4、ROI6、ROI7以及ROI8表示的ROI。曝光随后将在包括最多细节的图像部分上作出，它们一般是用户感兴趣且适用于优化曝光的部分。
图9示出第二实现变型，其中ROI不再被动态地定义和具有可变大小，而是作为来自捕捉区域ZC的缩略图中的具有网格GR的规则网格，其中该网格的每一基本方形或矩形ROI(i,j)将根据它在天空区域和地面区域之间的分割边界F上方还是下方而被用于或不被用于自动曝光控制。

Claims (8)

1.一种无人机(10)，包括：
链接到无人机主体的相机(14)，包括：
指向相对于所述无人机主体的固定方向的鱼眼型半球形物镜；
收集由所述镜头形成的图像(i)的数字传感器；以及
用于自动控制传感器曝光的装置；
惯性单元(16)，其被适配成测量表征所述无人机相对于绝对陆地参考系的即时姿态并递送当前无人机姿态数据作为输出的欧拉角
提取器装置(52)，其被适配成在由所述镜头在所述传感器的广度上形成的所述图像(I)中定义经缩减大小的捕捉区域(ZC)的位置；
控制装置(48，50，52)，它接收所述当前无人机姿态数据作为输入并被适配成在与由所述惯性单元测量到的角度值的变化方向相反的方向上动态地修改所述捕捉区域(ZC)在所述图像(I)中的位置和定向；
重投影装置(52)，它接收从所述捕捉区域(ZC)提取的有用区域(ZUB)的由像素或宏像素形成的图像数据作为输入并且递送对应的经变直的图像数据(ZUR)作为输出，补偿由所述鱼眼镜头引入的几何失真；以及
分析装置，其被适配成定义分布在所述有用区域上的多个感兴趣区域ROI(ROI1，…，ROI9；ROI(i,j))并因变于来自所述有用区域的缩略图中包含的相应图像数据来在每一ROI中控制所述动态曝光控制装置，
其特征在于，所述分析装置被进一步适配成：
分析所述有用区域的所述当前图像数据以向这些数据元素中的每一者指派表示属于天空的概率的加权系数；
因变于指派给每一图像数据元素的所述加权系数，在每一图像处动态地定义所述有用区域在天空区域和地面区域之间的分割边界(F)；
对于所述天空区域和所述地面区域，分别定义两个不同的RIO群；以及
因变于来自所述有用区域的缩略图中包含的相应图像数据元素来在所选择的群之一的ROI中控制所述动态曝光控制装置。
2.如权利要求1所述的无人机，其特征在于：
表示属于天空的概率的所述加权系数是由所述分析装置分析的当前图像数据元素相对于由所述惯性单元递送的理论地平线方向的位置的系数函数。
3.如权利要求1所述的无人机，其特征在于：
表示属于天空的概率的所述加权系数是由所述分析装置分析的当前图像数据元素的邻域(n)的图像数据的系数函数。
4.如权利要求1所述的无人机，其特征在于：
所述无人机包括被适配成递送所述无人机相对于地面的姿态(z)的所估计值的姿态确定装置(54)，以及
表示属于天空的概率的所述加权系数是所述姿态的系数函数。
5.如权利要求1所述的无人机，其特征在于：
所述相机包括用于分析由所述相机捕捉的场景的发光体的装置，以及
表示属于天空的概率的所述加权系数是所述发光体的系数函数。
6.如权利要求1所述的无人机，其特征在于：
表示属于天空的概率的所述加权系数是所述无人机相对于地平线的俯仰倾斜的系数函数。
7.如权利要求1所述的无人机，其特征在于，所述ROI能是其大小和/或位置在每一图像处动态地定义在所述有用区域中的ROI(ROI1，……，ROI9)。
8.如权利要求1所述的无人机，其特征在于，所述ROI是由以均匀且预定的方式分布在所述有用区域上的ROI网格(GR)来定义的ROI(ROI(i,j))。
CN201610816428.2A 2015-09-10 2016-09-09 具有用天空图像分割来自动曝光控制的前视相机的无人机 Withdrawn CN106534709A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1558421 2015-09-10
FR1558421A FR3041135B1 (fr) 2015-09-10 2015-09-10 Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition

Publications (1)

Publication Number Publication Date
CN106534709A true CN106534709A (zh) 2017-03-22

Family

ID=54979722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610816428.2A Withdrawn CN106534709A (zh) 2015-09-10 2016-09-09 具有用天空图像分割来自动曝光控制的前视相机的无人机

Country Status (5)

Country Link
US (1) US10171746B2 (zh)
EP (1) EP3142354B1 (zh)
JP (1) JP2017085550A (zh)
CN (1) CN106534709A (zh)
FR (1) FR3041135B1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340711A (zh) * 2017-06-23 2017-11-10 中国人民解放军陆军军官学院 一种基于视频图像的微型飞行器姿态角自动检测方法
WO2018214465A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、摄像系统、移动体、控制方法及程序
WO2019061398A1 (zh) * 2017-09-30 2019-04-04 深圳市大疆创新科技有限公司 补光控制方法、补光控制模块及无人飞行器
CN110679140A (zh) * 2017-06-08 2020-01-10 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
CN112335228A (zh) * 2019-11-22 2021-02-05 深圳市大疆创新科技有限公司 图像处理方法、图像采集装置、可移动平台及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3038482B1 (fr) * 2015-06-30 2017-08-11 Parrot Bloc camera apte a etre embarque dans un drone pour cartographier un terrain et procede de gestion de capture d'images par un bloc camera
USD814970S1 (en) * 2016-02-22 2018-04-10 SZ DJI Technology Co., Ltd. Aerial vehicle
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20200148348A1 (en) * 2017-06-13 2020-05-14 PearTrack Security Systems, Inc. Tethered Drone System
US10921763B1 (en) * 2017-10-25 2021-02-16 Alarm.Com Incorporated Baby monitoring using a home monitoring system
US20200379487A1 (en) * 2017-10-25 2020-12-03 Rakuten, Inc. Unmanned aerial vehicle control system, unmanned aerial vehicle control method, and program
JP6496955B1 (ja) * 2017-12-19 2019-04-10 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、システム、制御方法、及びプログラム
USD856848S1 (en) 2018-01-05 2019-08-20 SZ DJI Technology Co., Ltd. Aerial vehicle
USD861573S1 (en) 2018-01-19 2019-10-01 SZ DJI Technology Co., Ltd. Aerial vehicle
USD908588S1 (en) 2018-06-26 2021-01-26 SZ DJI Technology Co., Ltd. Aerial vehicle
CN110708458B (zh) * 2018-07-10 2021-03-23 杭州海康微影传感科技有限公司 一种图像帧补偿方法、摄像机和热成像摄像机
CN111504419B (zh) * 2020-06-04 2021-05-11 浙江大学 一种测定植保无人机药液量的装置和方法
US20230254588A1 (en) * 2020-07-15 2023-08-10 Sony Group Corporation Information processing device, information processing method, and program
EP4238304A1 (en) * 2020-10-27 2023-09-06 QUALCOMM Incorporated Lens distortion correction for image processing
CN112929866B (zh) * 2021-01-20 2024-05-28 河北工程大学 一种自适应优化城市灾区网络覆盖的无人机部署方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012749B2 (ja) * 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
DE102004017730B4 (de) * 2004-04-10 2006-05-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Rotationskompensation sphärischer Bilder
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
TW201249713A (en) * 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
FR2985581B1 (fr) 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
FR2988618B1 (fr) 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
US9635276B2 (en) * 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214465A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、摄像系统、移动体、控制方法及程序
CN109863741A (zh) * 2017-05-24 2019-06-07 深圳市大疆创新科技有限公司 控制装置、摄像装置、摄像系统、移动体、控制方法及程序
CN109863741B (zh) * 2017-05-24 2020-12-11 深圳市大疆创新科技有限公司 控制装置、摄像装置、摄像系统、移动体、控制方法及计算机可读存储介质
CN110679140A (zh) * 2017-06-08 2020-01-10 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
CN110679140B (zh) * 2017-06-08 2021-04-13 富士胶片株式会社 摄像装置、摄像装置的控制方法及存储介质
CN107340711A (zh) * 2017-06-23 2017-11-10 中国人民解放军陆军军官学院 一种基于视频图像的微型飞行器姿态角自动检测方法
WO2019061398A1 (zh) * 2017-09-30 2019-04-04 深圳市大疆创新科技有限公司 补光控制方法、补光控制模块及无人飞行器
CN112335228A (zh) * 2019-11-22 2021-02-05 深圳市大疆创新科技有限公司 图像处理方法、图像采集装置、可移动平台及存储介质
WO2021097848A1 (zh) * 2019-11-22 2021-05-27 深圳市大疆创新科技有限公司 图像处理方法、图像采集装置、可移动平台及存储介质

Also Published As

Publication number Publication date
JP2017085550A (ja) 2017-05-18
EP3142354A1 (fr) 2017-03-15
FR3041135B1 (fr) 2017-09-29
FR3041135A1 (fr) 2017-03-17
US20170078552A1 (en) 2017-03-16
EP3142354B1 (fr) 2018-03-14
US10171746B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
CN106534709A (zh) 具有用天空图像分割来自动曝光控制的前视相机的无人机
CN106534627A (zh) 包括使用姿态无关控制参数的前视相机的无人机
US11107275B2 (en) System and methods for improved aerial mapping with aerial vehicles
CN108702448B (zh) 无人机图像采集方法及无人机、计算机可读存储介质
CN109102537B (zh) 一种二维激光雷达和球幕相机结合的三维建模方法和系统
WO2019041276A1 (zh) 一种图像处理方法、无人机及系统
CN110799921A (zh) 拍摄方法、装置和无人机
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
CN110663246B (zh) 用于处理图像的方法和系统
WO2019000325A1 (zh) 用于无人机航拍的增强现实方法、处理器及无人机
EP3529978B1 (en) An image synthesis system
JP2017085551A (ja) ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン
US11741571B2 (en) Voronoi cropping of images for post field generation
WO2022047701A1 (zh) 图像处理方法和装置
CN110532853B (zh) 遥感超时相数据的分类方法及装置
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
WO2021115192A1 (zh) 图像处理装置、图像处理方法、程序及记录介质
Whitley Unmanned aerial vehicles (UAVs) for documenting and interpreting historical archaeological Sites: Part II—return of the drones
CN113992845A (zh) 图像拍摄控制方法、装置及计算设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170322