CN106053874A - 带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机 - Google Patents
带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机 Download PDFInfo
- Publication number
- CN106053874A CN106053874A CN201610403579.5A CN201610403579A CN106053874A CN 106053874 A CN106053874 A CN 106053874A CN 201610403579 A CN201610403579 A CN 201610403579A CN 106053874 A CN106053874 A CN 106053874A
- Authority
- CN
- China
- Prior art keywords
- signal
- video camera
- unmanned plane
- image
- gyrometer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010363 phase shift Effects 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D13/00—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
- G05D13/62—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover characterised by the use of electric means, e.g. use of a tachometric dynamo, use of a transducer converting an electric value into a displacement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
垂直视角摄像机(16)传递由无人机飞越的地面的图像信号(ScamV)。陀螺测试仪传感器(102)测量欧拉角(θ、ψ)，表征无人机的飞行姿态，并传递陀螺测试仪信号(Sgyro)，表示瞬时旋转。旋转补偿装置(136)接收图像信号和陀螺测试仪信号，传递重新调整时间的图像数据，补偿旋转，随后用于估计无人机的水平速度。摄像机和惯性单元由公共时钟(160)引导，设置电路(170)，用于确定在陀螺测试仪信号与图像信号之间的相移的值，将这个相移值应用于旋转补偿装置(136)的输入，在重新调整时间的图像数据的计算之前，将图像信号重新同步到陀螺测试仪信号上。
Description
技术领域
本发明涉及诸如无人机的机动化飞行设备的领航(导航控制)，具体而言，涉及诸如四螺旋桨遥控直升机的旋翼无人机。法国巴黎的Parrot SA的AR.Drone2.0或者Bebop Drone是这种四螺旋桨遥控直升机的典型示例。它们配备有一系列传感器(加速度计、3轴陀螺仪、高度计)、捕获无人机所朝向的场景的图像的前置摄像机、和捕获所飞越的地面的图像的垂直视角摄像机。它们设有多个水平旋翼，由各自的电机驱动，这些电机可以以有区别的方式被控制，以便控制无人机的姿态和速度。其中，在EP2 364 757A1、EP2 400 460A1、EP2613213A1或者EP 2 644 240 A1、EP 2 613 214 A1(Parrot SA)中说明了这种无人机的多个方面。
背景技术
本发明具体涉及无人机的水平速度的测量，测量主要基于由垂直视角摄像机提供的图像并借助计算器，计算器用于分析由摄像机捕获的图像的序列。独立于惯性传感器(加速度计)，摄像机估计的位移提供了两个方向上的无人机水平平移的测量。
具体而言，分析由摄像机给出的两个连续图像以在绝对地球参考系的一个或另一个水平维度上以像素提供明显的位移。如果已知了高度(由无人机机载的超声波和大气压力传感器给出)，就可以将图像的这个明显位移转换为距离，从而转换为速度，获知分隔两个连续图像的时间间隔。
上述的EP 2 400 460 A1说明了这个基于所谓的“光流”型算法的水平速度的测量的技术，在光流算法不再能够给出足够可靠的结果时，动态受控地可以转换为“点检测器”或“兴趣点检测”型的其他算法。
光流算法具有许多优点，尤其是该方法对于场景的对比度和内容基本没有约束，借助“多解”型方案可以估计高速和低速。另一方面，这个方法对于飞行姿态的旋转和变化非常敏感，不允许本质地验证给出的结果的质量，即，算法始终从足够数量的点显示高变化率的时刻给出结果，但即使这个结果没有任何意义也会被给出。实际上，给出的结果并非总是可靠的，而且也不是非常准确的，尤其是对于低速。现在，为了在悬停飞行中获得自动稳定的有效且有反应的控制，必须实时获得即刻的准确、灵敏(由于在平衡点附近的线性速度极低)且可用的水平速度的测量。
借助惯性单元可实时测量易于对无人机的水平速度的测量具有影响的这些飞行姿态的旋转和变化。按照本身已知的方式，光流算法的实现方式还包括补偿在连续使用的图像之间的旋转的步骤。为此，通过将起因于两个连续图像之间的旋转的光心的位移加到估计的光流来补偿易于引入的误差(增加沿在图像平面与垂直于旋转轴的平面之间的交线的分量的旋转)。换言之，在由摄像机捕获的场景的两个连续图像之间的旋转的情况下，借助由无人机的信号处理器内的软件实时执行的射影矩阵计算，在与在前图像比较之前，产生图像的新版本。这个旋转补偿允许对于尤其是在悬停飞行中遇到的旋转进行鲁棒的速度计算，并保持无人机的位移的线性模型。
这个旋转补偿技术的实现方式中的困难在于以下事实：有关于由惯性单元传递给算法的旋转角度(尤其是横摇角和纵摇角)的值的误差由于图像的平移而产生相同的后果，即使很小的误差也易于在水平速度分量的估计中产生偏差-即使旋转补偿算法将一个图像很好地在另一个上重新调整时间。
这些很小的误差尤其来自于在由垂直摄像机传递的图像信号与由惯性单元传递的陀螺测试仪信号之间的同步的失败。
如果希望避免旋转补偿过程中的任何误差，因此重要的是对于每一个图像都确保这两个信号的极为准确的同步。
Myung Hwangbo的″Robust Monocular Vision-based Navigation for a MiniatureFixed-Wing Aircraft″，Carnegie-Mellon University，Robotics Institute，2009年9月15日，chapter 4.2.3，标题″Camera-IMU synchronization″说明了测量在图像信号与陀螺测试仪信号之间的偏移量的简单技术。这个技术基于假设：此时偏移量保持恒定。其在于，在预先的校准步骤中，将正弦曲线运动给予无人机，并基于光流在这个正弦曲线运动上的计算来估计运动。随后将这个运动估计与陀螺测试仪的测量相比较，两个正弦形信号(图像信号和陀螺测试仪信号)的重新调整时间给出了搜索的相位。这个测量的相位在校准步骤后被认为是恒定的，在飞行的随后阶段期间是永久且静态适用的。
但实际上，同步的误差可以由易于持久变化的多个因素产生，尤其是信号的软件处理中一定的等待时间，这个等待时间不是恒定的，尤其是根据处理器在给定时刻的工作负荷，以不可预测的方式变化。
基于时间偏移保持恒定的假设的上述预先校准的简单技术绝对无法考虑到这些动态现象。
发明内容
本发明的目的是弥补上述的缺点，通过提出了一个解决方案，可以在无人机飞行过程中的任何时间实时地保证在由无人机的垂直摄像机传递的图像信号与由惯性单元传递的陀螺测试仪信号之间的极其准确的同步。为了避免将任何偏差引入在连续图像之间的旋转的校正中，具有以上揭示的关于无人机水平速度分量的估计的准确度的重要结果。
为此，本发明提出了一种无人机，按照由上述EP 2 400 460 A1本身已知的方式，包括：
-垂直视角摄像机，适于指向无人机飞越的地面的场景，用以捕获这个场景的图像序列，并作为输出传递相应的数字图像信号；
-惯性单元，包括陀螺测试仪传感器，适于测量欧拉角，表征无人机相对于绝对地球参考系的飞行姿态，并作为输出传递陀螺测试仪信号，表示无人机的瞬时旋转；
-旋转补偿装置，作为输入接收i)由摄像机传递的图像信号和ii)由惯性单元传递的陀螺测试仪信号，及作为输出传递重新调整时间的图像数据，补偿无人机从一个图像到下一个图像的旋转；及
-估计装置，用于基于由摄像机捕获的场景的一个图像到下一个图像的位移来估计无人机的水平速度，这些估计装置作为输入接收所述的重新调整时间的图像数据。
本发明的特征在于：
-摄像机和惯性单元由公共时钟引导；
-陀螺测试仪传感器的采集频率是摄像机的图像信号的传递频率的倍数；及
-进一步提供了电路，适于：
·将由惯性单元传递的陀螺测试仪信号与由摄像机传递的图像信号相比较；
·确定在这些各自信号之间的相移的值；
·将这个相移值应用于旋转补偿装置的输入；及
-旋转补偿装置进一步适于在所述的重新调整时间的图像数据的计算之前，执行由摄像机传递的图像信号到由惯性单元传递的陀螺测试仪信号上的重新同步的预先校正。
优选地，适于将由惯性单元传递的陀螺测试仪信号与由摄像机传递的图像信号相比较以确定在这些各自信号之间的相移的值，及将这个相移值应用于旋转补偿装置的输入的电路是硬件技术电路。
优选地，无人机进一步包括积分器装置，适于在对应于图像序列的两个连续图像的图像信号的传递之间所包括的时间间隔上积分由惯性单元传递的陀螺测试仪信号。
附图说明
现在将参考附图来说明本发明的示例性实施例，在附图中，相同的参考标记在全部图形中表示相同或功能相似的要素。
图1是显示由遥控设备操控的无人机的总图。
图2是用于无人机的控制、伺服控制和领航的不同部件的方框图。
图3作为方框图示出了有助于摄像机与陀螺测试仪之间的同步的机制的不同部件。
图4示出了显示在由摄像机和陀螺测试仪传递的信号之间的时间关系的多个计时图。
具体实施方式
现在说明本发明的示例性实施例。在图1中，参考标记10总体地表示无人机，其例如是诸如法国巴黎Parrot SA的Bebop Drone的四螺旋桨遥控直升机。这个无人机包括四个共面水平旋翼12，其电机彼此独立地由集成导航与姿态控制系统来操纵。为它提供了前方视角摄像机14，使得可以获得无人机所朝向的场景的图像，例如高清晰度广角摄像机，它具有1920x 1080像素分辨率的CMOS传感器和30fps(帧每秒)的视频流刷新率。无人机还设置了指向下的垂直视角摄像机16，适于捕获所飞越的地面T的连续图像，并尤其适用于评估无人机相对于地面的速度。它例如是具有QVGA分辨率(320x 240像素)的CMOS传感器的摄像机，并具有60fps的视频流刷新率和64°的视场角。无人机还设置了惯性传感器(加速度计和陀螺测试仪)，使得以一定准确度测量无人机的角速度和姿态角，即欧拉角(纵摇角横摇角θ和偏航角Ψ)，说明了无人机相对于固定地球参考系UVW的水平面的倾角，会理解，水平速度的两个纵向与横向分量与根据两个各自的俯仰轴和翻滚轴的倾角密切相关。
无人机10由远程遥控设备18操纵，例如具有集成的加速度计的触摸屏多媒体电话或平板电脑，例如iPhone(注册商标)型智能电话或其他的，或者iPad(注册商标)型平板电脑或其他的。它是标准设备，没有修改，除了加载了特定应用软件，例如移动应用AR Free Flight(注册商标)，用以控制无人机10的领航和由机载前置摄像机14拍摄的图像的显现。设备18包括主体20和触摸屏22，触摸屏22显示由前置摄像机14捕获的场景的图像，叠加了特定数量的符号，允许借助用户手指24在屏幕上显示的符号上简单的接触启动领航命令(上移/下移等)。设备18还设置倾角传感器，使得可以通过根据翻滚轴和俯仰轴对无人机给予相应的倾角来控制无人机的飞行姿态，以使得无人机向前或向后移动。用户的操作由特定应用软件解译，其将它们转换为用于无人机的命令信号。
图2是根据本发明技术的用于无人机的控制、伺服控制和领航以及用于图像的位移的校正的不同部件的方框图(会注意到，尽管将这些方案呈现为互联的电路，但不同功能的实现方式主要是基于软件的，这个图示仅是说明性的)。
通常，领航系统包括几个交叉的回路，用于自动地或在用户控制下控制水平速度、角速度、无人机姿态和高度的变化。
最中心的回路是角速度控制回路100，其一方面使用由陀螺测试仪102提供的信号，另一方面使用由角速度设定点104组成的参考。这个信息应用于角速度的校正级106的输入，其自身操纵电机110的控制级(阶段)108以便分别控制不同电机的状态，以通过由这些电机驱动的水平旋翼的组合动作来校正无人机的角速度。
角速度控制回路100与姿态控制回路112交叉，姿态控制回路112基于由陀螺测试仪102和加速度计114提供的指示操作。来自这些传感器的数据应用于级118，其产生无人机的真实姿态的估计，应用于姿态校正级120。这个级120将无人机的真实姿态与角度设定点相比较，角度设定点由电路122基于用户124直接施加的命令和/或基于由无人机的自动领航借助水平速度校正电路126内部产生的数据而产生。应用于电路120并与无人机的真实姿态相比较的可能的校正设定点由电路120传送到电路104以适合地控制电机。
水平速度控制回路130包括垂直摄像机16、超声遥测传感器132和充当高度计的大气压传感器134。电路136确保由垂直摄像机16产生的图像的处理，结合加速度计114和姿态估计电路118的信号，以产生数据，使得可以借助电路138获得沿无人机的两个俯仰轴和翻滚轴的水平速度Vx和Vy的估计。估计的水平速度Vx和Vy基于传感器132和134的信息，借助由电路140给出的垂直速度Vz的估计和由电路142给出的高度z的值的估计来校正。
为了控制无人机的垂直位移，用户124将命令施加到电路144，用于计算高度设定点，它是应用于电路146的设定点，用于借助接收由电路142给出的估计高度值的高度校正电路148计算上升速度设定点Vz。计算的上升速度Vz应用于电路150，电路将该上升速度与由电路140估计的相应速度相比较，通过同时增加或减小所有电机的旋转速度来相应地修改电机命令数据(电路108)，以便使得在上升速度设定点与测量的上升速度之间的差最小。
关于前置摄像机14，后者将原始视频数据(像素数据)传递给加窗电路152，确保在由惯性单元154(包括陀螺测试仪102、加速度计114和姿态估计电路118)确定的捕获区中选择有用的像素。在捕获区中记录的视频数据应用于几何畸变校正电路156，其产生纠正的视频数据，这些数据被传递给确保视频图像到用户持有的远程遥控设备的传输的发射器电路158。
现在将参考图3更详细地说明有关于陀螺测试仪信号与垂直摄像机的图像信号的同步，以便计算由电路138估计的水平速度的多个方面。
陀螺测试仪102、前置摄像机(水平摄像机)14和垂直视角摄像机16由公共时钟电路160操纵，陀螺测试仪和摄像机14与16各自的操作频率是这个时钟160的频率CLK的因数。陀螺测试仪102和垂直视角摄像机16因而被配置以使得：
Fgyro＝K.FcamV
Fgyro是陀螺测试仪的采集频率，
FcamV是摄像机16的图像的采集频率(典型地FcamV＝60Hz)，
K是正整数。
K是整数和基础时钟对于陀螺测试仪和摄像机相同的事实确保了信号ScamV的每个图像都始终具有陀螺测试仪信号Sgyro的K个样本，无漂移，角度测量始终落在相同的时刻。
水平摄像机14将信号ScamH传递给上述加窗和畸变校正的电路152和156，使得可以在将其传递给用户前稳定视频图像并校正其多个伪像。这个图像信号ScamH包括与同步信号Vsync_CamH相关的图像内容信号。
陀螺测试仪102将传送的信号Sgyro传递给上述无人机姿态的估计电路118，其估计无人机三个轴线中的旋转θ和Ψ，并将它们传送给电路152、156和136。这个陀螺测试仪信号Sgyro包括与同步信号Vsync_Gyro相关的内容信号(旋转的测量值)。
垂直摄像机16将应用的信号ScamV传递给上述电路136，除了其他视频处理操作以外，在借助多个算法的应用计算水平速度Vx和Vy之前，电路136确保根据传递的旋转估计由电路118在每一个图像补偿从一个图像到下一个图像的旋转，算法具体包括借助在由无人机飞越的地面的两个连续图像之间的明显位移的比较运算的光流算法。这个图像信号ScamV包括与同步信号Vsync_CamV相关的图像内容信号。
图4示出了相对显示的一系列计时图：
-水平摄像机14的同步信号Vsync_CamH，
-陀螺测试仪102的同步信号Vsync_Gyro，和
-垂直摄像机16的同步信号Vsync_CamV。
由水平摄像机传递的帧速率典型地为30Hz，由垂直摄像机传递的是60Hz。
如可以在这些计时图中见到的，水平摄像机做出相对慢的采集，图像的采集在信号Vsync_CamH的上升沿开始，并在这个相同信号的下降沿结束。水平摄像机的图像以该方式对应于陀螺测试仪重要数量的样本(在所示的简化示例中信号Sgyro的六个样本，实际上通常为30个样本)。
关于垂直摄像机，在信号Vsync_CamV的上升沿与下降沿之间执行采集迅速得多，速度估计算法必须以可能的最准确的方式获知无人机姿态在两个连续图像之间的差异。在所示的示例中，这个采集仅对应于陀螺测试仪信号的单一样本(实际上通常为四个样本)。
将无人机姿态在两个连续图像之间的变化有利地与由每一个陀螺测试仪传递的陀螺测试仪信号Sgyro的积分(图4的计时图Integr_Sgyro)相比较。但首先在陀螺测试仪信号Sgyro与由垂直摄像机传递的图像信号ScamV之间获得极为准确的同步是必不可少的。
在这方面，尽管以相同速率传递陀螺测试仪传感器的信号Sgyro和摄像机16的信号ScamV(在整数倍内)，但这不能保证这两个信号的相位一致，即它们的真实同步。
更准确地，公共时钟作用以使得陀螺测试仪信号Sgyro相对于视频信号ScamV不“滑动”。这表示当可以获得新图像时，在陀螺测试仪传递新数据之前总是经过了相同的时间间隔。另一方面，这个时间间隔在无人机之间变化，并且在领航的一个序列与另一个序列之间变化，因为陀螺测试仪传感器与视频摄像机不同时开始。
实际上，视频采集和陀螺测试仪采集是软件触发的，是不确定两个采集同时开始的方式，分隔两个起点的时间间隔在无人机之间恒定，或者在相同无人机的领航的一个序列与另一个序列之间恒定。
为了保证极佳的同步，本发明的特征在于提出了使用硬件组件170来测量在信号Sgyro与ScamV之间的相位。这个组件由于其硬件特性，可以非常准确和非常迅速地测量在信号Vsync_CamV与Vsync_Gyro之间的时间偏移量Δ(图4)。注意，信号测量是足够的，因为已经设定时钟以便不漂移。
刚刚说明的两个机构-公共时钟160和硬件相移测量电路170-提供了在图像开始采集的时刻与陀螺测试仪的采样期间的结束之间的相移的极为准确的测量，这使得可以实时地以极高的准确度将陀螺测试仪信号和视频信号及时关联到时钟周期内。
系统时钟160以几兆赫运行，这表示在视频信号与陀螺测试仪信号之间的定时上几纳秒的误差，这是极小的，使得可以运行极为准确和有效的校正。
另一方面，在没有该机构的的情况下，必须借助软件记录采集的陀螺测试仪的每一个新数据和每一个新图像的传递的时刻。因为对于系统的反应时间敏感，这个方法远为准确和无规则，会提供仅100μs数量级的准确度。
Claims (3)
1.一种无人机(10)，包括：
-垂直视角摄像机(16)，所述垂直视角摄像机适于指向无人机飞越的地面(T)的场景，用以捕获这个场景的一序列图像，并作为输出传递相应的数字图像信号(ScamV)；
-惯性单元(154)，所述惯性单元包括陀螺测试仪传感器(102)，适于测量欧拉角表征无人机相对于绝对地球参考系(UVW)的飞行姿态，并作为输出传递陀螺测试仪信号(Sgyro)，表示无人机的瞬时旋转；
-旋转补偿装置(136)，所述旋转补偿装置作为输入接收i)由摄像机传递的图像信号(ScamV)和ii)由惯性单元传递的陀螺测试仪信号(Sgyro)，及作为输出传递重新调整时间的图像数据，补偿无人机从一个图像到下一个图像的旋转；及
-估计装置(138)，用于基于由摄像机捕获的场景的一个图像到下一个图像的位移来估计无人机的水平速度，这些估计装置作为输入接收所述的重新调整时间的图像数据，
其特征在于：
-摄像机和惯性单元由公共时钟(160)引导；
-陀螺测试仪传感器的采集频率是摄像机的图像信号的传递频率的倍数；及
-进一步设置电路(170)，所述电路适于：
·将由惯性单元传递的陀螺测试仪信号(Sgyro)与由摄像机传递的图像信号(ScamV)相比较；
·确定在这些相应信号之间的相移的值；
·将这个相移值应用于旋转补偿模块(136)的输入；以及
-旋转补偿装置(136)进一步适于在所述的重新调整时间的图像数据的计算之前，执行由摄像机传递的图像信号(ScamV)到由惯性单元传递的陀螺测试仪信号上的重新同步的预先校正。
2.根据权利要求1所述的无人机，其特征在于，适于将由惯性单元传递的陀螺测试仪信号与由摄像机传递的图像信号相比较以确定在这些各自信号之间的相移的值、及将这个相移值应用于旋转补偿装置的输入的所述电路(170)是硬件技术电路。
3.根据权利要求1所述的无人机，其特征在于，进一步包括：
积分器装置，所述积分器装置适于在对应于图像序列的两个连续图像的图像信号的传递之间所包括的时间间隔上积分由惯性单元传递的陀螺测试仪信号。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1552813 | 2015-04-01 | ||
| FR1552813A FR3034554B1 (fr) | 2015-04-01 | 2015-04-01 | Drone muni d'une camera video a visee verticale compensee des rotations instantanees pour l'estimation des vitesses horizontales |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106053874A true CN106053874A (zh) | 2016-10-26 |
Family
ID=54545198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610403579.5A Withdrawn CN106053874A (zh) | 2015-04-01 | 2016-04-01 | 带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9797728B2 (zh) |
| EP (1) | EP3076258B1 (zh) |
| JP (1) | JP2016193720A (zh) |
| CN (1) | CN106053874A (zh) |
| FR (1) | FR3034554B1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113141459A (zh) * | 2020-10-16 | 2021-07-20 | 北京理工大学 | 一种无人机机载视觉智能处理系统及方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3037672B1 (fr) * | 2015-06-16 | 2017-06-16 | Parrot | Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature |
| USD795967S1 (en) * | 2016-01-27 | 2017-08-29 | Horizon Hobby, LLC | Quadcopter |
| US10212346B2 (en) * | 2016-06-08 | 2019-02-19 | Amazon Technologies, Inc. | Multi-sensor image stabilization techniques |
| USD830946S1 (en) * | 2016-06-23 | 2018-10-16 | Teal Drones, Inc. | Quadrotor |
| US10139836B2 (en) * | 2016-09-27 | 2018-11-27 | International Business Machines Corporation | Autonomous aerial point of attraction highlighting for tour guides |
| EP3529683B1 (en) * | 2016-10-18 | 2022-02-09 | Deakin University | Thrust vectored multicopters |
| FR3060178A1 (fr) * | 2016-12-09 | 2018-06-15 | Parrot Drones | Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes |
| CA3047817A1 (en) | 2016-12-20 | 2018-06-28 | Smart Skin Technologies Inc. | Packaging device for measuring motion in manufacture |
| CN110057352B (zh) * | 2018-01-19 | 2021-07-16 | 北京图森智途科技有限公司 | 一种相机姿态角确定方法及装置 |
| US20190324447A1 (en) * | 2018-04-24 | 2019-10-24 | Kevin Michael Ryan | Intuitive Controller Device for UAV |
| CN114383575B (zh) * | 2021-12-22 | 2024-03-22 | 中国测绘科学研究院 | 一种陀螺仪辅助近景测量的地质灾害监测方法 |
| CN115790574B (zh) * | 2023-02-14 | 2023-04-28 | 飞联智航(北京)科技有限公司 | 一种无人机的光流定位方法、装置及无人机 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| CN104335128A (zh) * | 2012-03-30 | 2015-02-04 | 鹦鹉股份有限公司 | 用于用侧风和加速度计偏差估计和补偿来控制多旋翼的旋翼无人机的方法 |
-
2015
- 2015-04-01 FR FR1552813A patent/FR3034554B1/fr not_active Expired - Fee Related
-
2016
- 2016-03-30 EP EP16162801.1A patent/EP3076258B1/fr not_active Not-in-force
- 2016-03-31 US US15/087,883 patent/US9797728B2/en not_active Expired - Fee Related
- 2016-03-31 JP JP2016070013A patent/JP2016193720A/ja not_active Withdrawn
- 2016-04-01 CN CN201610403579.5A patent/CN106053874A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| CN104335128A (zh) * | 2012-03-30 | 2015-02-04 | 鹦鹉股份有限公司 | 用于用侧风和加速度计偏差估计和补偿来控制多旋翼的旋翼无人机的方法 |
Non-Patent Citations (3)
| Title |
|---|
| MYUNG HWANGBO: "Robust Monocular Vision-based Navigation for a Miniature Fixed-Wing Aircraft", 《CARNEGIE-MELLON UNIVERSITY》 * |
| 张永祥: "基于陀螺仪的船载电子稳像技术研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 * |
| 王海鹏: "基于公共时钟同步的系统时序分析与控制", 《电子测量技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113141459A (zh) * | 2020-10-16 | 2021-07-20 | 北京理工大学 | 一种无人机机载视觉智能处理系统及方法 |
| CN113141459B (zh) * | 2020-10-16 | 2022-04-05 | 北京理工大学 | 一种无人机机载视觉智能处理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160290809A1 (en) | 2016-10-06 |
| US9797728B2 (en) | 2017-10-24 |
| EP3076258B1 (fr) | 2018-08-01 |
| EP3076258A1 (fr) | 2016-10-05 |
| FR3034554B1 (fr) | 2017-04-28 |
| JP2016193720A (ja) | 2016-11-17 |
| FR3034554A1 (fr) | 2016-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106053874A (zh) | 带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机 | |
| US9555897B2 (en) | Rotary-wing drone provided with a video camera delivering stabilized sequences of images | |
| Weiss et al. | Real-time onboard visual-inertial state estimation and self-calibration of MAVs in unknown environments | |
| CN106525074B (zh) | 一种云台漂移的补偿方法、装置、云台和无人机 | |
| CN106017463B (zh) | 一种基于定位传感装置的飞行器定位方法 | |
| CN108592950B (zh) | 一种单目相机和惯性测量单元相对安装角标定方法 | |
| CN108036785A (zh) | 一种基于直接法与惯导融合的飞行器位姿估计方法 | |
| EP2772725B1 (en) | Aerial Photographing System | |
| KR100761011B1 (ko) | 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법 | |
| US8498447B2 (en) | Method of evaluating the horizontal speed of a drone, in particular a drone capable of performing hovering flight under autopilot | |
| EP2372656B1 (en) | Method and apparatus for vision aided navigation using image registration | |
| CN109798891B (zh) | 基于高精度动作捕捉系统的惯性测量单元标定系统 | |
| WO2017197651A1 (en) | Systems and methods for rolling shutter correction | |
| US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
| CN106257911A (zh) | 用于视频图像的图像稳定方法和装置 | |
| CN105160125B (zh) | 一种星敏感器四元数的仿真分析方法 | |
| US20180022472A1 (en) | Autonomous system for taking moving images from a drone, with target tracking and improved target location | |
| WO2019144300A1 (zh) | 目标检测方法、装置和可移动平台 | |
| CN108156819A (zh) | 用于计算从飞行器到地面目标的距离的方法 | |
| CN107831776A (zh) | 基于九轴惯性传感器的无人机自主返航方法 | |
| WO2021043214A1 (zh) | 一种标定方法、装置及飞行器 | |
| CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
| CN106352897A (zh) | 一种基于单目视觉传感器的硅mems陀螺误差估计与校正方法 | |
| CN107942090A (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
| CN110411443A (zh) | 一种采煤机摇臂惯性/视觉组合定姿装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20161026 |
|
| WW01 | Invention patent application withdrawn after publication |