CN106534710A - 确定无人机机载相机的曝光历时的方法及相关联的无人机 - Google Patents

Abstract

本发明涉及一种动态地确定用于在包括基本上俯视的相机的无人机中实现的图像捕捉的曝光历时的方法。该方法包括：测量所述无人机的水平位移速度的步骤(21)；测量所述无人机与地面之间的距离的步骤(22)；以及基于测量到的所述无人机的位移速度、测量到的所述无人机与地面之间的距离、预定模糊量以及所述相机的焦距来确定所述曝光历时的步骤(23)。

Description

确定无人机机载相机的曝光历时的方法及相关联的无人机

技术领域

本发明涉及动态地确定用于由置于无人机上的相机捕捉图像的场景的曝光历时的方法，以及具有机载相机且包括这样的方法的无人机。

背景技术

法国巴黎Parrot SA公司的AR.Drone 2.0或Bebop Drone或瑞士SenseFly SA公司的eBee是无人机的典型示例。它们配备有一系列传感器(加速度计、3轴陀螺仪、高度计)以及至少一个相机。这一相机是例如捕捉所飞过的地面的图像的俯视相机或捕捉无人机前方的场景的图像的前视相机。这些无人机设有一个马达或由相应的马达驱动的若干旋翼，这些马达能以不同模式控制，从而在姿态和速度方面驾驶该无人机。

具体而言，从文献US2013/325217可知，无人机包括指向下方以评估无人机相对于地面的速度的俯视相机，以及提供测量以估计无人机相对于地面的高度的超声测距仪和机载生物测定传感器。

更具体而言，本发明涉及一种动态地确定要被应用来由无人机机载的相机捕捉图像以捕捉飞过的地面或前置相机看到的场景的图像的曝光历时的方法。

词语“曝光”意指感光表面接收到的总光量，尤其是数码相机的数字传感器在图像拍摄期间接收到的。

且曝光历时是相机快门在图像拍摄期间令光通过的时间区间，并且因此在数码相机的情况下是传感器接收光的历时。

曝光还依赖于感光度参数。以ISO来表达的感光度是数字传感器对光的敏感度的测量。这是确定正确曝光所必需的数据元素。

在感光表面接收良好光量时，所捕捉的图像被正确地曝光：这允许获得不过亮也不过暗的图像。

为获得这一正确曝光，相机配备有自动曝光(AE)算法，它必须选择包括曝光历时和传感器感光度的配对才能起作用，以用目标亮度感测任何场景。

配备有这样的相机的这些无人机在飞过要被绘图的地面期间经由控制设备或通过加载无人机自主地遵循的轨迹来控制。

图像的捕捉由装备无人机的相机的连贯触发或通过例如从无人机的用户接收相机触发命令来执行。

已知的是曝光确定方法基于曝光时间和传感器感光度的有效性区间。

此外，曝光确定方法是已知的，它因变于场景的亮度来设置传感器感光度和曝光历时之间的对应关系的表。这些方法因此允许具有步进且最多相对于要被捕捉的场景的亮度来适配该配对(传感器感光度/曝光历时)。

这些解决方案具有基于提前固定的参数的缺陷，尤其是基于配对(感光度/曝光历时)的有限集合。在捕捉时所估计的场景的亮度允许确定所有参数化配对中的较好配对(传感器感光度/曝光历时)。

在使用这些已知方法的情况下，当它们实现在无人机机载相机期间，观察到过长曝光时间造成模糊图像，尤其是由于相机在旋转和平移两方面的移动。

同样，观察到在传感器感光度高时，场景的噪声增加。噪声是随机添加到数字地捕捉的场景的各细节的假信息的存在。具体而言，它在没有非常照亮的区域(其中信噪比很低)中更加可见，但也在诸如蓝天等均匀部分中更加可见。因此，它具有细节中的清晰度损失。

在所捕捉的图像包括噪声的最小值以及可接受的模糊时，曝光是正确的。

在无人机机载相机的框架内，相机经历无人机的旋转移动和平移移动。

自动曝光的已知方法不允许使曝光历时适应于无人机的移动约束。

发明内容

本发明的目标是通过提出一种允许动态地确定用于在无人机中实现的图像捕捉的曝光历时以捕捉具有最小噪声和可接受的模糊的图像的解决方案，补救这些缺陷。

为此，本发明提出了一种动态地确定用于在包括基本上俯视相机的无人机中实现的图像捕捉的曝光历时的方法。该方法的特征在于，它包括：

测量所述无人机的水平位移速度的步骤；

测量所述无人机与地面(Z)之间的距离的步骤；以及

基于测量到的所述无人机的位移速度、测量到的所述无人机与地面(Z)之间的距离、预定模糊量(du)以及所述相机的焦距(f)来确定所述曝光历时的步骤。

根据一实施例，曝光历时(T_exp)被如下定义：

其中Z是测量到的所述无人机与地面之间的距离，

du是模糊量，

f是焦距，以及

||v||是所述无人机的水平位移速度。

在一特定实施例中，该方法进一步包括基于所述相机的焦距(f)、预定模糊量(du)、以及所述无人机的旋转速度(ω)来确定第二曝光历时的步骤。

根据一实施例，第二曝光历时(T_exp)被如下定义：

其中du是模糊量，

ω是所述无人机的旋转速度，以及

f是焦距。

根据一特定实施例，模糊量(du)是通过场景在曝光的开始时刻和结束时刻之间在图像平面中的位移来确定的。

根据一实施例，所述相机的焦距和所述模糊量是以像素为单位来表达的。

根据一特定实施例，以像素为单位表达的焦距(f_pixel)被如下定义：

其中f_mm是以毫米为单位来表达的相机焦距，以及

pixPitch是场景上的所述图像平面中的一个像素的以毫米为单位的大小。

本发明还提出了一种动态地确定用于在包括基本上垂直的相机的无人机中实现的图像捕捉的有效曝光历时的方法，其特征在于，所述方法包括：确定有效曝光历时的步骤，所述有效曝光历时是以下各项之间的最小历时：根据以上描述的发明来确定的曝光历时，以及根据以上描述的发明来确定的第二曝光历时。

本发明还提出了一种包括基本上垂直的相机的无人机，所述相机被适配成实现根据所描述的发明来动态地确定用于由所述相机进行图像捕捉的曝光历时的方法。

附图说明

现在将参考附图描述本发明的实现的示例。

图1示出无人机和要被测绘的陆地。

图2示出根据本发明的确定曝光历时的方法。

图3示出根据本发明的确定有效曝光历时的方法。

具体实施方式

现在将描述本发明的示例性实施例。

在图1中，附图标记10概括地表示无人机。根据图1所示的示例，它是瑞士SenseFlySA公司的eBee型飞翼式飞机。这一无人机包括马达12。

根据另一示例性实施例，无人机是四螺旋桨直升机，诸如法国巴黎Parrot SA公司的Bebop drone型。这一无人机包括四个共面旋翼，这些旋翼的马达由集成的导航与姿态控制系统彼此独立地驾驶。

在四螺旋桨直升机的示例性实施例中，无人机配备有惯性传感器(加速度计和陀螺仪)，使得可能以某一准确度来测量无人机的角速度和姿态角，即描述无人机相对于固定陆地参考系UVW的水平面的倾斜的欧拉角(俯仰滚转θ、以及偏航ψ)，将理解，水平速度的两个纵向和横向分量紧密链接到绕两个相应俯仰轴和滚转轴的倾斜。根据这一实施例，无人机10通过遥控设备来驾驶，诸如具有集成加速度计的触摸屏多媒体电话或平板，例如iPhone型(注册商标)蜂窝电话或其他或者iPad型(注册商标)平板或其他。它是标准设备，没有被修改，除了加载用于控制无人机10的驾驶的特定应用软件之外。

在图1中所示的示例性实施例中，无人机是通过特定遥控设备来驾驶的，从而尤其允许从非常长的距离控制无人机。

用户可以经由遥控设备实时控制无人机10的位移或者编程在起飞之前将加载在无人机中的预定路线。

遥控设备经由双向数据交换通过Wi-Fi(IEEE 802.11)无线链路或蓝牙(注册商标)局域网类型来与无人机10通信。

无人机10配备机载俯视相机14，使得可能获得图像集，例如要被测绘16的陆地(即，无人机飞过的陆地)的图像。

无人机10还可配备机载前置相机，从而允许捕捉无人机前方的场景。

根据本发明，无人机包括一种动态地确定用于在包括相机(具体为基本上俯视的相机)的无人机中实现的图像捕捉的曝光历时的方法。

根据一特定实施例，这一动态地确定用于图像捕捉的曝光历时的方法被实现在无人机机载相机14中。

根据本发明，该动态地确定曝光历时的方法允许因变于无人机的飞行参数和相机14的特性来连续地确定曝光历时。

的确，观察到无人机的平移移动通过具有依赖于要捕捉的场景的距离、镜头的焦距、曝光历时以及无人机的位移速度(水平和垂直)的幅度的运动而造成模糊。

此外，观察到无人机的旋转移动通过具有依赖于镜头的焦距、曝光历时以及无人机的角速度的幅度的运动而造成模糊。

因此，有必要将无人机的飞行参数以及相机14的特性纳入考虑以动态地确定相机14的传感器的曝光历时来作出良好质量的图像捕捉。

以此方式，曝光历时没有被提前定义，而是在图像捕捉期间动态地确定，并且因变于无人机的动态特性以及要捕捉的场景来确定。

具体而言，曝光历时将基于无人机10的位移速度、无人机与地面Z之间的距离、预定模糊量du以及相机14的焦距f来确定。

为确定曝光历时，尤其为了将无人机的平移移动纳入考虑，无人机与地面之间的距离Z被确定。

无人机与地面之间的距离Z还延伸无人机机载相机与地面之间的距离。

根据第一实施例，无人机与地面之间的距离Z可通过例如由装备该无人机的GPS模块在起飞时并随后在飞行期间以规则的间隔给出的高度测量来确定。以此方式，无人机与地面之间的距离Z被近似地确定。在无人机飞过平坦地面时，这一实施例尤其适当。

根据另一实施例，无人机与地面之间的距离Z由无人机高度估计设备来确定。这一设备包括例如基于生物测定传感器和超声传感器的测量的高度估计器系统，具体而言，如在Parrot SA名下的文献EP 2 644 240中描述的。

无人机与地面之间的距离Z是以米为单位表达的。

如在上文可见的，具体而言，曝光历时将因变于可接受的模糊量来确定。

模糊量du是相机14的镜头的焦距f、无人机与地面之间的距离、以及曝光开始时刻和结束时刻之间的场景位移dX(尤其是在图像平面中)的函数。

因此，模糊量是根据如下公式定义的：

其中f是相机的焦距，

dX是场景在曝光的开始时刻和结束时刻之间的位移距离；以及

Z是所述无人机的高度。

模糊量du和焦距f可以用毫米为单位来表达。根据一替换实施例，模糊量du和焦距f是以像素为单位来表达的。

以像素为单位来表达的焦距(f_pixel)如下定义：

其中f_mm是以毫米为单位来表达的相机焦距，以及

pixPitch是场景上的所述图像平面中的一个像素的以毫米为单位的大小。

具体而言，曝光开始时刻和结束时刻之间的场景位移dX(尤其是在图像平面中)与场景的水平位移相对应，尤其是在图1所示的飞翼型飞机的情况下。

具体而言，场景位移dX依赖于无人机10的水平位移速度。根据一实施例，该速度是由无人机10机载的惯性单元来测量的。根据另一实施例，速度是通过分析所飞过的土地部分的位移来测量的。

因此，场景在曝光的开始时刻和结束时刻之间的位移距离dX是通过以下公式来确定的：

其中||v||是所述无人机的水平位移速度；以及

T_exp是曝光历时。

水平速度是以米每秒为单位来表达的，且曝光历时以秒为单位。

因此，根据本发明的动态地确定用于在无人机10上(尤其是在相机14中)实现的图像捕捉的曝光历时的方法(如在图2中所示)包括：测量所述无人机的水平位移速度的步骤21；测量所述无人机与地面Z之间的距离的步骤22；以及基于测量到的所述无人机的位移速度、测量到的所述无人机与地面Z之间的距离、预定模糊量du以及所述相机的焦距f来确定所述曝光历时的步骤23。

测量无人机的水平位移速度的步骤21以及测量无人机与地面Z之间的距离的步骤22可以在相反的方向上或平行地执行。

根据一特定实施例，在步骤23期间定义的曝光历时T_exp是根据下式来确定的：

其中Z是测量到的所述无人机与地面之间的距离，

du是模糊量，

f是焦距，以及

||v||是所述无人机的水平位移速度。

因此，动态地确定的曝光历时是无人机10在图像的捕捉时刻的飞行参数、相机14的参数、以及可接受的模糊量的函数。模糊量是因变于图像的最终应用来确定的，且因此可以取不同值，例如1个像素或4个像素。

根据一特定实施例，根据本发明的确定方法被适配成确定第二曝光历时，尤其将无人机10的旋转移动纳入考虑。

因此，第二曝光历时是基于所述相机14的焦距f、预定模糊量du以及所述无人机10的旋转速度ω来确定的。

为确定以像素为单位的观察到的角度，根据以下公式来定义变量dResAng：

其中f_px是以像素为单位来表达的相机焦距。

随后，根据以下公式来确定在曝光历时期间覆盖的角度dθ：

dθ＝ω*T_exp

其中ω是所述无人机的旋转速度，以及

T_exp是曝光历时。

因此，曝光历时所覆盖的例如以像素为单位来表达的距离du是根据以下公式来确定的：

其中dθ是曝光历时所覆盖的角度，

T_exp是曝光历时，

f_px是以像素为单位表达的焦距，

ω是所述无人机的旋转速度，以及

dResAng是观察到的以像素为单位的角度。

所述无人机10的旋转速度ω可例如在触发图像捕捉之前被确定或可以在所确定的历时上取平均。这一速度是以度每秒为单位来表达的。

因此可推断出，为了将无人机10的旋转移动纳入考虑，第二曝光历时T_exp由下式定义：

其中du是模糊量，

ω是所述无人机的旋转速度，以及

f是相机的焦距。

注意，被适配成确定曝光历时以将无人机的旋转移动纳入考虑的这一确定方法适用于基本上俯视的相机以及基本上平视的相机。

根据一特定实施例，动态地确定用于在无人机10中(尤其是在相机14中)实现的图像捕捉的曝光历时的方法进一步包括(如在图2中所示)：基于所述相机14的焦距f、预定模糊量du以及所述无人机10的旋转速度ω来确定第二曝光历时的步骤24。

步骤24可在顺序上在步骤21到23之前或之后来执行，或者与步骤21到23并行地执行。

根据一特定实施例，本发明进一步包括一种动态地确定用于在包括基本上俯视的相机14的无人机10中实现的图像捕捉的有效曝光历时的方法。

这一方法(如图3所示)包括确定用于图像捕捉的第一曝光历时以将无人机10的平移移动纳入考虑的步骤31。这一步骤31是根据图2的步骤21到23实现的并在上文描述。

动态地确定有效曝光历时的方法包括确定用于图像捕捉的第二曝光历时以将无人机10的旋转移动纳入考虑的步骤32。这一步骤32是根据图2的步骤24实现的并在上文描述。

步骤31和32可顺序地或并行地执行。

步骤31和32跟随有确定有效曝光历时的步骤33，所述有效曝光历时是在步骤31确定的第一曝光历时与在步骤32确定的第二曝光历时之间的最小历时。

本发明还涉及包括相机14(例如基本上垂直的相机)的无人机10，所述相机被适配成实现上述动态地确定用于由所述相机进行图像捕捉的曝光历时的方法。

作为非限制性示例，考虑在时刻t，具有机载相机14且配备有根据本发明的动态地确定曝光历时的所述方法(如上所述)的无人机10以36km/h的速度飞行，可接受的模糊是2像素，无人机与地面之间的距离是50米，且旋转速度是100°/秒。

根据这一示例且在相机具有3.98mm焦距且在以毫米为单位的图像平面中的在场景上的一个像素大小是3.75μm的情况下，根据本发明的传感器的曝光历时是9.42毫秒以将无人机的平移移动纳入考虑，并且是1.08毫秒以将无人机的旋转移动纳入考虑。

根据所考虑的无人机示例且在相机具有4.88mm焦距且在以毫米为单位的图像平面中的在场景上的一个像素大小是1.34μm的情况下，根据本发明的传感器的曝光历时是2.75毫秒以将无人机的平移移动纳入考虑，并且是0.31毫秒以将无人机的旋转移动纳入考虑。

Claims (9)

1.一种动态地确定用于在包括基本上俯视的相机的无人机中实现的图像捕捉的曝光历时的方法，其特征在于，所述方法包括：

-测量所述无人机的水平位移速度的步骤(21)；

-测量所述无人机与地面(Z)之间的距离的步骤(22)；以及

-基于测量到的所述无人机的位移速度、测量到的所述无人机与地面(Z)之间的距离、预定模糊量(du)以及所述相机的焦距(f)来确定所述曝光历时的步骤(23)。

2.如前述权利要求的确定方法，其特征在于，所述曝光历时(T_exp)被如下定义：

$T_{\exp }=\frac{du*Z}{f*\left|\right|\stackrel{\→}{v}\left|\right|}$

其中Z是测量到的所述无人机与地面之间的距离，

du是模糊量，

f是焦距，以及

||v||是所述无人机的水平位移速度。

3.如前述权利要求之一所述的确定方法，其特征在于，所述方法进一步包括基于所述相机的焦距(f)、预定模糊量(du)以及所述无人机的旋转速度(ω)来确定第二曝光历时(24)的步骤。

4.如前一权利要求的确定方法，其特征在于，所述第二曝光历时(T_exp)被如下定义：

$T_{\exp }=\frac{du*a\tan \left(\frac{1}{f}\right)}{\mathrm{\ω}}$

其中du是模糊量，

ω是所述无人机的旋转速度，以及

f是焦距。

5.如前述权利要求之一所述的确定方法，其特征在于，所述模糊量(du)是通过场景在曝光的开始时刻和结束时刻之间在图像平面中的位移来确定的。

6.如前述权利要求之一所述的确定方法，其特征在于，所述相机的焦距和所述模糊量是以像素为单位来表达的。

7.如前一权利要求的确定方法，其特征在于，以像素为单位来表达的所述焦距(f_pixel)被如下定义：

$f_{pixel}=\frac{f_{mm}}{pixPitch}$

其中f_mm是以毫米为单位来表达的相机焦距，以及

pixPitch是场景上的所述图像平面中的一个像素的以毫米为单位的大小。

8.一种动态地确定用于在包括基本上俯视的相机的无人机中实现的图像捕捉的曝光历时的方法，其特征在于，所述方法包括确定有效曝光历时的步骤，所述有效曝光历时是以下各项之间的最小历时：

-根据权利要求1或2或者依赖于权利要求1或2的权利要求5到7之一确定的曝光历时，以及

-根据权利要求3或4或者依赖于权利要求3或4的权利要求5到7之一确定的第二曝光历时。

9.一种包括基本上俯视的相机的无人机，所述相机被适配成实现如权利要求1到8之一所述的动态地确定用于由所述相机进行图像捕捉的曝光历时的方法。