CN106791363A - 配备发送校正了晃动效应的图像序列的摄像机的无人机 - Google Patents
配备发送校正了晃动效应的图像序列的摄像机的无人机 Download PDFInfo
- Publication number
- CN106791363A CN106791363A CN201611041656.3A CN201611041656A CN106791363A CN 106791363 A CN106791363 A CN 106791363A CN 201611041656 A CN201611041656 A CN 201611041656A CN 106791363 A CN106791363 A CN 106791363A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- camera
- image
- module
- gyroscope signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000000694 effects Effects 0.000 title abstract description 22
- 238000012546 transfer Methods 0.000 claims abstract description 29
- 239000011435 rock Substances 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000000295 complement effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005096 rolling process Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 15
- 230000007547 defect Effects 0.000 description 9
- 230000006641 stabilisation Effects 0.000 description 8
- 108010010803 Gelatin Proteins 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000008273 gelatin Substances 0.000 description 7
- 229920000159 gelatin Polymers 0.000 description 7
- 235000019322 gelatine Nutrition 0.000 description 7
- 235000011852 gelatine desserts Nutrition 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000010587 phase diagram Methods 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 238000013017 mechanical damping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
- Toys (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Accessories Of Cameras (AREA)
Abstract
本发明涉及配备发送针对晃动效应进行了校正的图像序列的摄像机的无人机。一种无人机包括具有逐行发送视频数据(I)的卷帘快门数字传感器的相机(14)。惯性单元(26)发送表示相机在给定时刻的姿态变化(θ，ψ)的陀螺仪信号。包括防晃动模块的图像处理模块(30)接收视频数据(I)和陀螺仪信号作为输入并输出针对由无人机的马达的振动所引入的伪像进行了处理和校正的视频数据。互补滤波模块(36)对防晃动模块的输入端处的陀螺仪信号应用预定补偿转移函数，该转移函数是惯性单元的陀螺仪传感器的频率响应的逆转移函数。
Description
技术领域
本发明涉及处理由移动设备(尤其是诸如无人机等马达驱动式飞行器)板载相机所捕捉的数字图像。
背景技术
本发明有利地应用于由旋翼无人机(诸如四旋翼直升机)的前置相机接收到的图像。典型示例是法国巴黎的Parrot SA的AR.Drone 2.0或Bebop(注册商标)，它们是配备一系列传感器(加速度计、陀螺仪、高度计)、捕捉无人机朝向的地貌的图像的前置摄像机、捕捉所述无人机法国的陆地的图像的垂直视图相机的四螺旋桨直升机。无人机提供有各自由马达驱动的多个旋翼，马达可被单独地控制以控制无人机的姿态和速度。
EP2364757A1、EP2613213A1、EP2613214A1或EP2933775(对应于US2015/0298822A1)全部在Parrot SA的名下，描述了这些无人机的各方面。
前置摄像机可被用于在“沉浸模式”中的驾驶无人机，即用户以如同他们在无人机上一样的方式使用来自相机的图像。
所述前置摄像机还可被用来捕捉无人机所朝向的地貌的图像序列。因此，用户可以按相机或摄录像机将由无人机承载的相同方式来使用无人机而不是将其握在手中。接收到的图像可以被存储并随后分发，上传到视频主存网站，发送给其他因特网用户，在社交网络上共享，等等。
因为这些图像旨在被存储和共享，所以它们具有尽可能少的缺陷是合乎需要的，尤其是由无人机的动态性造成的缺陷，该动态性可造成相机捕捉的图像的振动、扭曲、以及其他不合需要的伪像。
这些缺陷在“沉浸飞行”配置中可能是可接受的。然而，如果无人机被用作移动摄像机来捕捉将被存储并稍后再现的序列，则这些缺陷是极具破坏性的并且因此使它们最小化是合乎需要的。
本发明尤其寻求消除称为“晃动”的缺陷，该缺陷具有使图像模糊和扭曲的效应。在存在高频且低幅振动时发生这一效应，通常是马达的振动，它们被传送给相机底座并造成直线的扭曲，在图像中出现波纹并且形成波。即使它并不明显，这一效应也是能非常快地注意的，并且所以它使图像的视觉质量迅速降级。
这一特定伪像是由于(诸如无人机机载)相机的传感器所使用的卷帘快门(而非全域快门)机构造成的，其中对于图像中的所有像素而言，形成图像的各行不是同时获取的而是相继地获取的。因为这一点，在捕捉图像时发生的振动生成图像内的位移，它不同于从一行到另一行的位移(这是出现波纹的原因)。
晃动效应可通过使用来自陀螺仪的测量来被逐行校正(“图像内”校正)，陀螺仪发送表示无人机在三个轴上在给定时刻的旋转(并且因此相机的旋转)的信号，包括由于振动造成的快速变化。应用对陀螺仪测量的逆变换使得可能在某种程度上对晃动效应作出补偿，因为无人机的姿态可以按精确的方式针对每一行获得并且与相机的传感器同步。
这一类型的一种数字地实现的图像稳定化技术在上述EP2933775 A1(US2015/0298822 A1)中描述，可参考它来获得进一步细节。
如此，如将在下文具体实施方式中更详细地解释的，用于通过使用陀螺仪信号来补偿晃动的这一方法在某些情形下可能产生过度校正，从而生成新伪像并且意味着经校正的图像反而比在任何校正之前获得的原始图像更加降级。具体而言，过度校正可能使波纹出现在图像中。这些波纹不存在于原始图像中且在目标具体是捕捉视频序列以存储并在稍后以最高质量再现它们的情况下尤其具有破坏性。
发明内容
本发明的目标之一是通过允许一旦捕捉了图像就由无人机将视频信号传送给用户来克服这一缺陷，其中所述用户可以存储该视频信号并且在最佳的可能条件下再现，而无需对所述信号进行后处理。
本发明的起始点基于以下观察：在上述EP2933775 A1(US2015/0298822 A1)中具体描述的没有使用图像分析来估计无人机的需要补偿的移动的视频稳定化技术。稳定化的性能因此不依赖于所捕捉的地貌，而仅依赖于无人机在给定时刻的通过其惯性单元估计的旋转角的精确度。
另外，在高频范围中(通常由马达生成的振动频率)，单个传感器序列(即，惯性单元的陀螺仪)估计无人机的旋转角。其他技术(例如，分析由垂直相机发送的图像)可实际上只以比图像的刷新率(它在实践中是60Hz)低的频率来提供旋转估计，而马达的振动(与推进器的旋转频率相对应)是约120Hz的基频。惯性单元的陀螺仪因此是能够可靠地测量相机经受的振动的唯一组件，并且所以这些传感器发送的测量的精确度对于获得有效稳定化而言是必要的，因为晃动的校正完全基于由此发送的测量。
然而，这一类型的组件的缺点之一是不规则的转移函数。理想地，这一类型的传感器的转移函数应当在整个工作带宽上具有恒定的均一增益，并且相位在同一带宽上线性变化。
然而，具体地，除非使用非常高精确度并且因此非常昂贵的组件，这些条件是没有被满足的。在实践中，增益特性曲线的轮廓通常具有与谐振相对应的凸点以及朝高频逐渐降低的增益。还要注意，相位一般远非是线性的，并且这是角度估计的另一误差源，从而造成稳定化被削弱。
Chunhua He等人的论文“A research of the Bandwidth of a Mode-MatchingMEMS Vibratory Gyroscope)(模式匹配MEMS振动陀螺仪的带宽研究)”，第7届IEEEInternational conference on Nano/Micro Engineered and Molecular Systems(NEMS)，3月5日，2012年，第738-741页，提出了通过修改陀螺仪本身来改进转移函数以增加其带宽，但没有任何特定补偿函数。
本发明的基本原理涉及在标识了组件的转移函数后(增益的非均一性、相位的非线性，等等)，定义(在增益和相位方面)具有互补转移函数的滤波器并且在无人机内设置对应数字滤波，该数字滤波将在陀螺仪信号样本被应用于图像校正模块之前由无人机应用于该样本。
这一技术具有双重优点，尤其是：
消除由陀螺仪传感器的不规则响应(具体而言是陀螺仪的谐振)引入的几乎全部过度校正；以及
通过放大其对图像的效应需要被减小(即使这些效应比接近无人机的推进器的旋转频率的频率相比较不明显)的高频(尤其是大于马达的旋转频率且可包含破坏性谐波的频率)来将图像稳定化系统的带宽向上加宽。
出于这一目的，本发明提出了一种尤其从上述EP2933775A1((US2015/0298822A1)已知的无人机，包括：
相机，包括透镜、在其上形成地貌的图像的数字传感器、以及用于对传感器进行读取的卷帘快门机构，该相机逐行输出视频数据；
惯性单元，包括能够测量无人机的姿态变化并能够输出表示无人机在给定时刻相对于给定参考点的旋转的陀螺仪信号的陀螺仪传感器；以及
图像处理模块，包括接收视频数据和陀螺仪信号作为输入并输出针对由无人机产生的振动所引入的伪像进行了处理和校正的视频数据的防晃动模块。
本发明的特征在于，在图像处理模块的输入端处这一类型的无人机进一步包括：
互补滤波模块，它能够对防晃动模块的输入端处的陀螺仪信号应用预定补偿转移函数，所述预定转移函数是惯性单元的所述陀螺仪传感器的频率响应的逆转移函数。
本发明还涉及一种用于校正由无人机产生的振动在由所述无人机的相机的卷帘快门数字传感器接收到的数字图像中所引入的晃动类伪像的方法，其中无人机包括惯性单元，该惯性单元包括能够测量无人机的姿态变化并能够输出表示无人机在给定时刻相对于给定参考点的旋转的陀螺仪信号的陀螺仪传感器。
本发明的方法包括：
a)在初步步骤中：
a1)测量惯性单元的所述陀螺仪传感器的频率响应；
a2)生成具有陀螺仪传感器的所述频率响应(C1)的逆补偿转移函数的数字滤波器；以及
a3)将所述数字滤波器加载到无人机的防晃动模块的输入端处的互补滤波模块中；以及
b)在无人机的操作期间，持续且实时地：
b1)接收由无人机的惯性单元发送的陀螺仪信号；
b2)将在步骤a3)中加载到数字滤波器中的补偿转移函数应用于在步骤b1)接收到的陀螺仪信号；以及
b3)将在步骤b2)中滤波的陀螺仪信号应用于无人机的防晃动模块。
附图说明
现在将参考附图描述本发明的实施例，在所有附图中，相同的附图标记指示相同或功能上相似的元素。
图1是示出由遥控设备控制的无人机的概括视图。
图2示出在应用任何校正滤波之前可在棋盘图案的图像上看到的明胶和晃动伪像。
图3a和3b是合并到无人机的惯性单元中的陀螺仪传感器的转移函数的典型波特图(分别是波特增益图和波特相位图)。
图4以框图形式示出对根据本发明的用于稳定化并校正图像的机构作出贡献的不同元件。
图5a和5b示出与根据本发明的教导来应用的补偿滤波的转移函数相对应的波特图，覆盖有来自图3a和3b的陀螺仪传感器的转移函数，并且还示出了由滤波转移函数从其补偿中得到的转移函数。
具体实施方式
现在将描述本发明的装置的实施例。
在图1中，附图标记10一般表示无人机，它例如是诸如法国巴黎Parrot SA的BebopDrone型等四螺旋桨直升机。这一无人机包括四个共面旋翼12，这些旋翼的马达由集成的导航与姿态控制系统分开地控制。它配备有用于捕捉无人机所朝向的地貌的图像的前置相机，例如具有带30fps(帧每秒)的视频流刷新率的1920x 1080像素CMOS传感器的广角高分辨率相机。该无人机还配备有朝向下的垂直视图相机16，例如具有带60fps的视频流刷新率的CMOS传感器和64°视野的QVGA-分辨率(320x 240像素)相机。这一相机16捕捉无人机飞过的陆地T的连续图像，并且这些图像尤其被用来分析无人机相对于地面的速度。
该无人机还配备有惯性传感器(加速度计和陀螺仪)，该惯性传感器用于以一定精度测量该无人机的角速度和姿态角，即描述无人机相对于固定的地面上的固定参考点UVW的水平面的倾斜的欧拉角(俯仰旋转θ和偏航ψ)，应该理解水平速度的两个纵向和横向分量是分别与沿两个俯仰和旋转轴的倾斜密切相关的。
无人机10由遥控设备18控制，诸如具有触摸屏和集成加速度计的移动电话或平板，例如iPhone(注册商标)或类似物或者iPad(注册商标)或类似物。这一设备是除了定制软件应用(诸如移动应用AR Free Flight(注册商标))已被下载以控制无人机10的飞行和由机载前置相机14拍摄的图像的显示之外未被修改的标准设备。设备18包括主体20和显示由前置相机14捕捉的地面的图像、所覆盖的用于允许由用户简单地使用他们的手指24触摸像素值屏幕上的符号来激活的飞行控件(上升/下降，等等)的数个符号的触摸屏22。设备18还配备有用于通过相应地绕旋转和俯仰轴倾斜该设备以使无人机向前或向后移动来控制无人机的姿态的倾斜传感器。用户的动作由定制软件应用来解释，它将这些动作变换成针对无人机的控制信号。
如一开始阐明的，前置相机14提供的高分辨率图像尤其经受图像模糊和扭曲的损害，称为明胶(jelly)和晃动，这产生即使它们并非非常明显也非常能注意到并使图像的视觉质量快速降级的效应。
在图2中，图像(b)示出明胶扭曲且图像(c)示出晃动扭曲，这两者可以在(a)中所示的棋盘图案的图像中看到。这些伪像因卷帘快门传感器(而非全域快门传感器)而异，其中对于图像中的所有像素而言，形成图像的各行并非是同时获取的，而是随着传感器在方向DB(垂直于行li)上扫描来逐行(或逐行群)相继获取的。无人机的移动以及在捕捉图像时发生的振动生成这一图像内的将逐行不同的位移。
当存在高幅度但相对低频度的相机移动时(例如，在无人机的显著旋转的情况下)，出现明胶效应(可在图像(b)中看到)：在无人机转向时，图像在通过卷帘快门的传感器扫描周期的开始和结束之间将移位若干像素(在该示例中，在附图中，在图像的顶部和底部之间约一个棋盘方块)。这一效应可通过在传感器扫描DB时向图像的每一行li指派适当的偏移来被减轻，这一逐行校正允许无人机的快速旋转所引入的明胶伪像被消去。
图像(c)中示出的另一类型的伪像(称为晃动效应)是本发明所涉及的效应。
与明胶效应(它是由无人机旋转以使其移动所引起的低频度和高幅度效应)相对比，晃动效应主要由马达的振动引起，这引入高频度(通常约120Hz)和低幅度振荡。这些振动被传送给相机底座，并且造成直线的扭曲，图像中出现波纹且形成波。
晃动效应通常通过相机底座的合适的机械阻尼来校正，从而允许马达的振动被滤除，例如在WO 2011/058255 A1(Parrot SA)中描述的。
在实践中，这一机械过滤是不足够的，并且晃动效应的剩余部分需要被消除，这可通过使用由无人机的惯性单元发送的表示无人机在给定时刻由振动造成的旋转的测量并通过在这些测量的基础上应用适当的校正来完成。实际上，惯性单元的陀螺仪使得可能给出无人机的姿态在给定时刻针对每一行的精确倾斜，从而允许逐行“图像内”校正，连同对相继各行相对于彼此的调整，以发送尽可能接近所捕捉的地貌的图像，即在本示例中的棋盘图案(a)。
上述EP2933775 A1描述了这一类型的晃动校正技术，它使用由无人机的惯性单元的陀螺仪发送的信号。
然而，在实践中，通过应用逆陀螺仪信号的这一防晃动校正具有某些限制。
的确，注意到，防晃动一般具有对于图像中的处于接近推进器的额定旋转频率(即，待校正的振动的基频)的频率范围内那些振动过度校正并对超过这一频率的更高频率校正不足的趋势。
发明人对陀螺仪传感器的响应的分析揭示了这一异常的源，它基本上位于这一传感器的转移函数(频率响应)的有缺陷的特征曲线中。
参考图3a和3b，它们示出了消费者无人机的惯性单元中使用的陀螺仪传感器的响应的典型波特图(分别是波特增益图和波特相位图)，它使用更加成本高效的组件。
理想转移函数将在所讨论的整个带宽上具有均一增益和线性相位。
然而，如可在图3a和3b中看到的，情况并非如此。
在所示示例中，在增益特性曲线(图3a)上，在A处注意到，在约140Hz频率处存在显著谐振(约1.15的增益)，非常接近无人机的推进器(它是图像中的晃动的源)的额定旋转频率。还要注意，相位特征曲线(图3b)远非是线性的，并且这也将误差源引入角度的估计中，从而造成图像的稳定化受削弱。另外，对于约200Hz以上的频率，在B处注意到增益的逐渐下降。
这些缺陷导致对于约140Hz频率(最关键的频率，因为它们对应于要被滤除的振动的基频)的晃动过度校正以及导致对超过200Hz的频率的校正不足：在第一种情况下，校正将初始不存在的波纹引入图像，而在第二种情况下，所述校正没有充分滤除所述图像中的波纹。
本发明的目标是提出一种使得可能克服这一缺陷的技术。
图4以功能框图的形式示出在实现本发明时涉及的各模块，以完全校正由包括卷帘快门传感器的相机14(诸如图1中的无人机10的高分辨率前置相机)发送的图像信号I上的晃动效应。
注意，虽然这些示图是电路或互连模块的形式，但各功能是基本上使用软件来实现的，并且这一表示只是通过示例的方式给出。
相机14(它机械地连接到无人机的主体)遭受高幅度和低频度角移动(无人机的移动)以及低幅度和高频度角移动(马达的振动)的损害。相机遭受的这些移动由连接到无人机的主体且因此连接到相机并且尤其配备在陀螺仪传感器中的惯性单元26测量。来自这些传感器的测量被应用于模块28以估计无人机的姿态，它发送俯仰角旋转角θ以及偏航角ψ的指示，这描述了无人机在给定时刻在三个维度中相对于地面上的固定参考点的倾斜(欧拉角)。这些旋转角数据被应用于模块30以数字地校正图像数据I，该模块直线各种功能，诸如开窗、图像稳定化、提取并强化有用区域、校正由相机的透镜引入的几何扭曲，等等。模块30输出有用视频信号，它被传送给远程用户以被显示在他们的遥控设备的屏幕上并且可能被存储以用于稍后分发。
模块30还校正明胶和晃动伪像，并且尤其通过使用诸如在上述EP2933775A1中描述的技术来补偿晃动效应(以上参考图2描述的)。基本上，它涉及将陀螺仪测量的逆变换应用于图像信号以取决于无人机在给定时刻的姿态变化逐行相对于彼此调整相继各行。
相机14和惯性单元26由公共时钟模块32控制，惯性单元和相机的相应工作频率是这一时钟32的频率CLK的约数。时钟32还控制垂直相机16，垂直相机16的输出信号被应用于模块34以在通过经由比较无人机飞过的陆地的两个连贯图像之间的明显移动(这在旋转方面被调整)来操作的各种合适的算法计算水平速度Vx和Vy之前，在由模块28计算得到的旋转估计的基础上补偿从一个图像到另一图像的旋转。
以特征的方式，本发明提供了要插入用于估计无人机的角度的模块28与用于数字地校正图像30的模块之间的互补滤波器36，该滤波器的转移函数将补偿惯性单元26的陀螺仪传感器的有缺陷的转移函数。
滤波是预定滤波，其转移函数已在提前标识(例如，在出厂时)无人机所使用的陀螺仪组件的实际转移函数之后被确定。
图5a和5b示出与根据本发明的教导应用的补偿滤波的转移函数C2相对应的波特图(作为频率的函数的波特增益图和波特相位图)。在C1中，该组件的有效转移函数被覆盖，该函数是参考图3a和3b所示出并描述的。
与转移函数C2相对应的互补滤波器是根据函数C1生成的，并且被设置在滤波模块36中以将这一互补滤波应用于在给定时刻表示无人机在三个轴上的旋转的值的相继样本。
图5a和5b中的特征曲线C3示出了得自陀螺仪组件的响应C1和补偿滤波C2的组合的总响应。尤其可以注意，应用补偿滤波使得可能：
抑制接近生成要被滤除的振动的推进器的额定旋转频率的关键频率140Hz周围的谐振凸点；
将带宽朝高频增加到高至约350Hz，这尤其使得可能滤除振动的频率的第一谐波；以及
使相位响应线性化，具有对图像的稳定化的对应改进。
Claims (2)
1.一种无人机(10)，包括：
相机(14)，包括透镜、在其上形成地貌的图像的数字传感器、以及用于对所述传感器进行读取的卷帘快门机构，所述相机逐行输出视频数据；
惯性单元(26)，包括能够测量所述无人机的姿态变化并能够输出表示所述无人机在给定时刻相对于给定参考点(UVW)的旋转)的陀螺仪信号的陀螺仪传感器；以及
图像处理模块(30)，包括接收所述视频数据(I)和所述陀螺仪信号作为输入并输出针对由所述无人机产生的振动所引入的伪像进行了处理和校正的视频数据的防晃动模块，
其特征在于，在所述图像处理模块的输入端处所述无人机进一步包括：
互补滤波模块(36)，它能够对所述防晃动模块的输入端处的陀螺仪信号应用预定补偿转移函数(C2)，所述预定转移函数(C2)是所述惯性单元的所述陀螺仪传感器的频率响应(C1)的逆转移函数。
2.一种用于校正由无人机(10)产生的振动在所述无人机的相机(14)的卷帘快门数字传感器接收到的数字图像(I)中引入的晃动伪像的方法，
其中，所述无人机包括惯性单元(26)，所述惯性单元包括能够测量所述无人机的姿态变化并能够输出表示所述无人机在给定时刻相对于给定参考点(UVW)的旋转)的陀螺仪信号的陀螺仪传感器，
这一方法的特征在于，它包括：
a)在初步步骤中：
a1)测量所述惯性单元的所述陀螺仪传感器的频率响应(C1)；
a2)生成具有所述陀螺仪传感器的所述频率响应(C1)的逆补偿转移函数(C2)的数字滤波器；以及
a3)将所述数字滤波器加载到所述无人机的防晃动模块(30)的输入端处的互补滤波模块(36)中；以及
b)在所述无人机的操作期间，持续且实时地：
b1)接收由所述无人机的惯性单元(26)发送的陀螺仪信号；
b2)将在步骤a3)中加载到所述数字滤波器(36)中的补偿转移函数(C2)应用于在步骤b1)接收到的所述陀螺仪信号；以及
b3)将在步骤b2)中滤波的陀螺仪信号应用于所述无人机的防晃动模块(30)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1561219A FR3044141B1 (fr) | 2015-11-23 | 2015-11-23 | Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble |
| FR1561219 | 2015-11-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106791363A true CN106791363A (zh) | 2017-05-31 |
Family
ID=55182390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611041656.3A Withdrawn CN106791363A (zh) | 2015-11-23 | 2016-11-22 | 配备发送校正了晃动效应的图像序列的摄像机的无人机 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10165185B2 (zh) |
| EP (1) | EP3171589B1 (zh) |
| JP (1) | JP2017142226A (zh) |
| CN (1) | CN106791363A (zh) |
| FR (1) | FR3044141B1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237984A1 (zh) * | 2018-06-15 | 2019-12-19 | Oppo广东移动通信有限公司 | 图像校正方法、电子设备及计算机可读存储介质 |
| CN111337021A (zh) * | 2020-03-19 | 2020-06-26 | 深圳国信泰富科技有限公司 | 一种基于复杂现场的机器人的定位系统及定位方法 |
| CN111712857A (zh) * | 2019-06-25 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、云台和存储介质 |
| WO2020248267A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市大疆创新科技有限公司 | 数据传输系统、方法、发送端和计算机可读介质 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10212346B2 (en) * | 2016-06-08 | 2019-02-19 | Amazon Technologies, Inc. | Multi-sensor image stabilization techniques |
| USD801224S1 (en) * | 2016-09-20 | 2017-10-31 | Shenzhen Hubsan Technology Co., Ltd. | Quadcopter model drone |
| USD798961S1 (en) * | 2016-09-20 | 2017-10-03 | Shenzhen Hubsan Technology Co., Ltd. | Quadcopter model drone |
| USD828222S1 (en) * | 2017-03-07 | 2018-09-11 | Beijing Jingdong Shangke Information Technology Co | Unmanned aerial vehicle |
| USD820158S1 (en) * | 2017-06-02 | 2018-06-12 | Dusitech Co., Ltd. | Combined body and landing gear for drone |
| JP7043255B2 (ja) * | 2017-12-28 | 2022-03-29 | キヤノン株式会社 | 電子機器及びその制御方法 |
| JP2019121857A (ja) | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
| EP3550506B1 (en) | 2018-04-05 | 2021-05-12 | Everdrone AB | A method for improving the interpretation of the surroundings of a uav, and a uav system |
| US20190324447A1 (en) * | 2018-04-24 | 2019-10-24 | Kevin Michael Ryan | Intuitive Controller Device for UAV |
| US10609288B1 (en) * | 2019-03-04 | 2020-03-31 | Qualcomm Incorporated | Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS) |
| CN110310243B (zh) * | 2019-06-28 | 2023-04-25 | 广东工业大学 | 一种无人机摄影测量的图像校正方法、系统和存储介质 |
| EP3761220A1 (en) | 2019-07-05 | 2021-01-06 | Everdrone AB | Method for improving the interpretation of the surroundings of a vehicle |
| JP6775208B1 (ja) * | 2020-04-06 | 2020-10-28 | パナソニックＩｐマネジメント株式会社 | 撮像装置及び撮像システム |
| CN114577180B (zh) * | 2022-05-06 | 2022-07-15 | 成都纵横通达信息工程有限公司 | 基于无人机的地理信息测绘装置、系统及方法 |
| CN115824163B (zh) * | 2023-02-10 | 2023-05-09 | 山东省地质矿产勘查开发局第一地质大队（山东省第一地质矿产勘查院） | 一种基于无人机的智能测绘方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4389779B2 (ja) * | 2004-12-27 | 2009-12-24 | ソニー株式会社 | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 |
| FR2952787B1 (fr) | 2009-11-13 | 2012-07-27 | Parrot | Support de carte electronique de navigaton pour drone a voilure tournante |
| FR2957266B1 (fr) | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
| US8913140B2 (en) * | 2011-08-15 | 2014-12-16 | Apple Inc. | Rolling shutter reduction based on motion sensors |
| FR2985329B1 (fr) | 2012-01-04 | 2015-01-30 | Parrot | Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande. |
| FR2985581B1 (fr) | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
| FR3020169A1 (fr) * | 2014-04-16 | 2015-10-23 | Parrot | Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees |
-
2015
- 2015-11-23 FR FR1561219A patent/FR3044141B1/fr not_active Expired - Fee Related
-
2016
- 2016-10-24 US US15/333,014 patent/US10165185B2/en active Active
- 2016-11-02 EP EP16196915.9A patent/EP3171589B1/fr active Active
- 2016-11-22 JP JP2016226425A patent/JP2017142226A/ja active Pending
- 2016-11-22 CN CN201611041656.3A patent/CN106791363A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237984A1 (zh) * | 2018-06-15 | 2019-12-19 | Oppo广东移动通信有限公司 | 图像校正方法、电子设备及计算机可读存储介质 |
| WO2020248267A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市大疆创新科技有限公司 | 数据传输系统、方法、发送端和计算机可读介质 |
| CN111712857A (zh) * | 2019-06-25 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、云台和存储介质 |
| WO2020257999A1 (zh) * | 2019-06-25 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、云台和存储介质 |
| CN111337021A (zh) * | 2020-03-19 | 2020-06-26 | 深圳国信泰富科技有限公司 | 一种基于复杂现场的机器人的定位系统及定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10165185B2 (en) | 2018-12-25 |
| FR3044141A1 (fr) | 2017-05-26 |
| JP2017142226A (ja) | 2017-08-17 |
| US20170150053A1 (en) | 2017-05-25 |
| FR3044141B1 (fr) | 2017-12-08 |
| EP3171589B1 (fr) | 2018-06-06 |
| EP3171589A1 (fr) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791363A (zh) | 配备发送校正了晃动效应的图像序列的摄像机的无人机 | |
| CN105031935B (zh) | 提供具有传递稳定的图像序列的视频相机的旋翼无人机 | |
| US9826202B2 (en) | Mobile appratus, in particular a rotary-wing drone, provided with a video camera delivering sequences of images dynamically corrected for the wobble effect | |
| TWI699119B (zh) | 用於產生經圖像穩定化之視訊的方法與攝像機 | |
| JP6128389B2 (ja) | 撮像装置 | |
| CN106257911A (zh) | 用于视频图像的图像稳定方法和装置 | |
| CN106534627A (zh) | 包括使用姿态无关控制参数的前视相机的无人机 | |
| US11257192B2 (en) | Method for correcting an acquired image | |
| JP2016140069A (ja) | ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 | |
| CN110235431B (zh) | 电子增稳方法、图像采集设备、可移动平台 | |
| CN106911889A (zh) | 图像模糊校正设备和倾斜校正设备及其控制方法 | |
| EP3001676B1 (en) | Method and image processing device for image stabilization of a video stream | |
| CN108702450A (zh) | 稳定图像序列的方法 | |
| CN106210544A (zh) | 一种移动终端及其拍摄视频的防抖处理方法、系统 | |
| CN107370941A (zh) | 一种信息处理方法及电子设备 | |
| JP5621089B2 (ja) | 移動体の振動状態下における画像補正方法 | |
| Chen et al. | Research of electronic image stabilization technology based on MEMS gyroscope | |
| JPH0965208A (ja) | 赤外線映像装置 | |
| FR3052678A1 (fr) | Drone muni d'une camera video frontale avec compensation des rotations instantanees du drone et correction des artefacts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170531 |
|
| WW01 | Invention patent application withdrawn after publication |