CN108227734A - 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序 - Google Patents

用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序 Download PDF

Info

Publication number
CN108227734A
CN108227734A CN201711305645.6A CN201711305645A CN108227734A CN 108227734 A CN108227734 A CN 108227734A CN 201711305645 A CN201711305645 A CN 201711305645A CN 108227734 A CN108227734 A CN 108227734A
Authority
CN
China
Prior art keywords
sea level
height above
relative
above sea
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711305645.6A
Other languages
English (en)
Inventor
阿里埃尔·里穆
法比安·勒蒙德
塞德里克·尼坎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co Ltd
Parrot Drones SAS
Original Assignee
Parrot Unmanned Aerial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Unmanned Aerial Vehicle Co Ltd filed Critical Parrot Unmanned Aerial Vehicle Co Ltd
Publication of CN108227734A publication Critical patent/CN108227734A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/25—Fixed-wing aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

用于控制无人机(10)的电子装置(16)包括：‑第一获取模块(40)，该第一获取模块被配置为获取无人机飞越的地形(14)的且由无人机配备的图像传感器(12；18)拍摄的一系列图像；‑第二获取模块(44)，该第二获取模块被配置为获取经由无人机配备的测量装置(24)的测量的对地速度；以及‑计算模块(46)，该计算模块被配置为基于所获取的对地速度以及应用于所获取的图像的光流算法来计算无人机相对于地形(14)的海拔高度。第二获取模块被配置为还获取相对于参考水平测量的无人机的海拔高度，并且装置包括再校准模块(48)，该再校准模块被配置为将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联。

Description

用于控制无人机的电子控制装置、相关的无人机、控制方法及 计算机程序
技术领域
本发明涉及一种用于控制无人机的电子装置。该电子装置包括第一获取模块和第二获取模块，该第一获取模块被配置为获取该无人机飞越(overflown，飞过)的地形的且由该无人机配备的图像传感器拍摄的一系列图像，且该第二获取模块被配置为经由该无人机配备的测量装置获取测量的对地速度。
该电子装置还包括计算模块，该计算模块被配置为基于应用于所获取的图像的光流算法和所获取的测量的对地速度来计算无人机相对于地形的海拔高度。
本发明还涉及一种包括图像传感器和这种电子控制装置的无人机。
本发明还涉及一种用于控制无人机的方法。
本发明还涉及一种包括软件指令的计算机程序，该软件指令在由计算机执行时实施这种控制方法。
本发明涉及无人机即远程控制的机动飞行装置的领域。本发明特别适用于固定翼无人机，同时还适用于其他类型的无人机，例如旋翼无人机，诸如四旋翼飞行器。
背景技术
从Jonathan Price的文章“Determining Altitude AGL Using Optical Flow”知晓，无人机包括上述类型的控制装置。无人机是固定翼无人机，通过使用便携式电子装置诸如智能手机或电子平板电脑能够控制该无人机。
电子装置被配置为获取无人机飞越的地形的且由无人机配备的图像传感器拍摄的一系列图像，并且还获取由无人机配备的测量装置——诸如卫星定位系统，也被称为全球定位系统(GPS)——提供的测量的对地速度。
控制装置被配置为基于应用于所获取的图像的光流算法和测量的对地速度来计算无人机相对于地形的海拔高度。
如此计算的海拔高度验证了以下等式：
海拔高度＝Vsol_mes/(光流-俯仰率)
其中，Vsol_mes表示由测量装置诸如GPS系统提供的测量的对地速度；
光流表示由计算模块计算的光流，以及
俯仰率表示由无人机配备的陀螺仪提供的无人机的俯仰率。
然而，如此计算的海拔高度并非总是非常可靠的，而且无人机的操作反映了这一点。
发明内容
因此，本发明的目的在于提出一种电子控制装置，其更可靠地计算无人机相对于所飞越的地形的海拔高度，从而允许在无人机的操作期间，特别是在着陆阶段中，减少可能的抖动。
为了此目的，本发明的主题为上述类型的电子控制装置，其中，第二获取模块被配置为还获取相对于参考水平测量的无人机的海拔高度，并且该装置还包括再校准模块，该再校准模块被配置为将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联。
因此，根据本发明的电子控制装置通过使所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度之间相关联，允许对所计算的无人机相对于地形的海拔高度进行再校准。参考水平例如是海平面，并且相对于海平面测量的海拔高度例如经由压力传感器获得。
例如由卫星定位装置，也被称为GNSS(全球导航卫星系统)，诸如GPS(全球定位系统)接收器，和/或惯性传感器提供测量的对地速度。
因此，如此计算并再校准的相对于地形的海拔高度更加可靠，并且尤其是在着陆阶段中更加有用，以便更好地预料到地面的方法，并且预测控制装置必须控制无人机的俯仰角，即增加无人机的俯仰角，以便着陆的时刻。
根据本发明的其他有利的方面，该电子控制装置包括一个或多个以下特征，其被分开采用或以任何技术上可能的组合的方式被采用：
-再校准模块还被配置为根据相对于参考水平测量的当前海拔高度以及先前计算的相对于地形的海拔高度来估计相对于地形的当前海拔高度，该先前计算的相对于地形的海拔高度与相对于参考水平测量的先前海拔高度相关联，
-优选地在基于光流算法计算的相对于地形的海拔高度的至少暂时地失效的情况下；
-第一获取模块还被配置为根据图像梯度计算第一指标，计算模块被配置为仅在第一指标的值大于第一阈值时计算无人机相对于地形的海拔高度；
-再校准模块还被配置为计算与第一指标成反比的第二指标，并且仅在第二指标的值小于第二阈值时，将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联；
-参考水平是海平面，并且相对于海平面测量的海拔高度经由压力传感器获得；
-第二获取模块被配置为还获取相对于地形测量的无人机的海拔高度，并且该装置还包括控制模块，该控制模块被配置为根据无人机的海拔高度控制无人机的姿态，该控制模块被配置为计算与所述姿态对应的飞行指令；
-当相对于地形测量的海拔高度大于第一预定阈值海拔高度时，控制模块被配置为根据由第二获取模块获取的相对于地形测量的海拔高度控制无人机的姿态，以及
-当相对于地形测量的海拔高度的值低于第一预定阈值海拔高度时，控制模块被配置为根据由计算模块计算的相对于地形的海拔高度控制无人机的姿态；
-当相对于地形测量的海拔高度的值低于第二预定阈值海拔高度时，控制模块被配置为将无人机的俯仰角控制到大于预定最小着陆俯仰角的值。
本发明的主题也是一种无人机，该无人机包括图像传感器和电子控制装置，该图像传感器被配置为拍摄无人机飞越的地形的一系列图像，其中，该电子控制装置是如上所限定的。
本发明的主题也是一种用于控制包括图像传感器的无人机的方法，其中，该方法由电子装置实施，并且包括：
-获取由图像传感器拍摄的无人机飞越的地形的一系列图像，
-获取由无人机配备的测量装置提供的测量的对地速度，以及
-基于所获取的测量的对地速度以及应用于所获取的图像的光流算法，计算无人机相对于地形的海拔高度，
-获取相对于参考水平测量的无人机的海拔高度，以及
-将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联。
本发明还涉及一种计算机程序，包括软件指令，该软件指令在由计算机执行时实施如上限定的方法。
附图说明
通过阅读以下仅以非限制性实施例给出的描述并参考附图，本发明的这些特征和优点将显现的更加清楚，在附图中：
-图1示出了根据本发明的包括电子控制装置的无人机的示意图；以及
-图2示出了根据本发明的控制方法的流程图。
具体实施方式
在下面的描述中，措辞“基本恒定”意指值加上或减去10％，即具有至多10％的变化，更优选为值加上或减去5％，即具有至多5％的变化。
在图1中，无人机10——即无人驾驶飞机——包括第一图像传感器12和电子控制装置16，该第一图像传感器被配置为拍摄无人机10飞越的地形14的一系列图像，且该电子控制装置被配置为控制该无人机。
无人机10包括第二图像传感器18，该第二图像传感器被配置为拍摄无人机10正移动朝向的场景的图像，第二图像传感器18例如是前向(forward-facing，前置)摄像头(camera，相机)。
无人机10还包括高度计20，诸如无线电高度计或超声波测距仪，该高度计朝向地面发射光束22，使得可以测量无人机10相对于地形14即相对于地面的海拔高度。
无人机10还包括能够测量无人机10的对地速度Vsol_mes的测量装置24。测量装置24例如是用于测量无人机10的角速度和姿态角的卫星定位装置，也被称为GNSS(全球导航卫星系统)装置，或具有加速度计和/或陀螺仪的惯性单元，也被称为lMU(惯性测量单元)。
另外可选地，无人机10包括压力传感器(未示出)，也被称为气压传感器，该压力传感器被配置为确定无人机10的海拔高度的变化，诸如瞬时变化和/或相对于参考水平——即相对于预定初始海拔高度——的变化。参考水平例如是海平面，那么压力传感器就能够提供无人机10相对于海平面的测量的海拔高度。
另外，无人机10包括用于测量无人机的空速的传感器(未示出)，该测量传感器连接至皮托探针型元件的动压接头。另外可选地，无人机10包括给出无人机相对于地理北的定向的磁力传感器(未示出)。
无人机10是能够特别地经由操纵杆26远程控制的机动飞行器。
无人机10包括传输模块28，该传输模块被配置为优选地通过无线电波与一个或多个电子设备，特别是与操纵杆26，或者甚至是与其他电子元件交换数据，以用于传输由图像传感器12、18获取的图像。
在图1的实施例中，无人机10是飞翼型的固定翼无人机。该无人机包括两个机翼30和设置在推进系统34后方的机身32，该推进系统包括马达36和推进器38。每个机翼30设置有至少一个方向舵39，该方向舵能够经由后缘侧上的伺服机构(未示出)操纵，以控制无人机10的轨迹。
可替代地，无人机10是旋翼无人机(未示出)，该无人机包括至少一个转子或优选地多个旋翼(rotor)，因此无人机10被称为多旋翼无人机。转子的数量例如是4，因此无人机10被称为四旋翼无人机。
第一图像传感器12本身是已知的，并且例如是向下指的竖直对准摄像头。
当地形14是外部地形时，不管它是陆地表面还是海洋表面，或者是包括陆地部分和海洋部分的表面，其在该术语的一般意义上都被理解为地球表面的一部分。在一个变型中，地形14是建筑物内的内部地形。地形14也被称为地面。
电子控制装置16包括第一获取模块40，该第一获取模块被配置为获取无人机10飞越的地形的一系列图像，该图像由装配至无人机10的图像传感器——诸如第一图像传感器12，或者甚至诸如第二图像传感器18——拍摄，其中应当理解的是，优先用于应用于所获取图像的光流算法的图像是由第一图像传感器12提供的图像。
电子控制装置16包括第二获取模块44，该第二获取模块被配置为获取由无人机10配备的测量装置24供应的测量的对地速度Vsol_mes。第二获取模块44还被配置为获取相对于参考水平测量的无人机10的海拔高度Zref_mes。可选地，第二获取模块44还被配置为获取相对于地形14即相对于地面测量的无人机10的海拔高度Zsol_mes。
电子控制装置16包括计算模块46，该计算模块被配置为基于所获取的测量的对地速度Vsol_mes以及应用于所获取的图像的光流算法来计算无人机10相对于地形14的海拔高度Zsol_est。
根据本发明，电子控制装置16还包括再校准模块48，该再校准模块被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。
可选地，电子控制装置16还包括控制模块50，该控制模块被配置为根据无人机10的海拔高度控制无人机10的姿态，控制模块50被配置为计算与所述姿态对应的控制指令。
在图1的实施例中，电子控制装置16包括信息处理单元60，该信息处理单元例如由存储器62和与存储器62关联的处理器64形成。
操纵杆26本身是已知的，并且允许控制无人机10。在图1的实施例中，操纵杆26包括：两个抓握手柄70，每个抓握手柄旨在由操作者的相应的手抓住；多个控制构件；两个操纵杆72，每个操纵杆布置在相应的手柄70附近，并且旨在由操作者且优选地由相应的拇指来致动。可替代地(未示出)，经由本身已知的计算机或电子平板电脑来实施控制器26。
控制器26还包括用于与无人机10交换上行和下行的无线电波数据的无线电天线74和无线电收发器(未示出)。
在图1的实施例中，第一获取模块40、第二获取模块44、计算模块46和再校准模块48以及可选的控制模块50各自均以能够由处理器64执行的软件的形式制成。那么，信息处理单元60的存储器62能够存储第一获取软件，该第一获取软件被配置为获取无人机10飞越的地形的且由图像传感器诸如第一图像传感器12拍摄的一系列图像。信息处理单元60的存储器62能够存储第二获取软件，该第二获取软件被配置为获取由无人机10配备的测量装置24提供的测量的对地速度Vsol_mes，并且还用于获取相对于参考水平测量的无人机10的海拔高度Zref_mes。信息处理单元60的存储器62能够存储计算软件和再校准软件，该计算软件被配置为基于应用于所获取的图像的光流算法和所获取的测量的对地速度Vsol_mes来计算无人机10相对于地形14的海拔高度Zsol_est，且该再校准软件被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。可选地，信息处理单元60的存储器62能够存储控制软件，该控制软件被配置为根据无人机10的海拔高度控制无人机10的姿态，该控制软件被配置为计算与所述姿态对应的飞行指令。因此，信息处理单元60的处理器64能够执行第一获取软件、第二获取软件、计算软件和再校准软件以及可选的附加的控制软件。
可替代地(未示出)，第一获取模块40、第二获取模块44、计算模块46和再校准模块48以及可选的控制模块50各自均以可编程逻辑组件诸如FPGA(现场可编程门阵列)的形式制成，或者以专用集成电路诸如ASIC(特定用途集成电路)的形式制成。
第一获取模块40还被配置为根据每个所获取图像的梯度计算第一指标Ind1，因此计算模块46还被配置为，仅在第一指标Ind1的值大于第一阈值S1时，通过将光流算法应用于所获取的图像来计算无人机10相对于地形14的海拔高度Zsol_est。
第一获取模块40例如被配置为针对每个像素计算所讨论的像素的强度值与相邻像素的强度值之间的强度值梯度，每个像素的强度值例如以例如8位表示的灰度水平表达，该灰度值在0到255之间。
因此，第一指标Ind1例如是计算的梯度大于预定最小梯度的图像的像素的数量。因此，第一阈值S1例如是4，那么，对于所述图像的至少4个像素，从梯度的值大于或等于预定最小梯度的时刻起，该图像被认为是良好到足以应用光流算法。
计算模块46被配置为基于应用于所获取的图像的光流算法和由第二获取模块44获取的测量的对地速度Vsol_mes来计算无人机10相对于地形14的海拔高度Zsol_est。
光流算法本身是已知的，并且通常用于从无人机相对于地形的预定海拔高度估计对地速度，该预定海拔高度被假定为基本恒定。
光流算法使得可以估计场景从一个图像到下一个图像的差分移动，并且存在用于实施光流算法的各种已知方法，诸如例如Lucas-Kanade方法、Horn-Schunk方法或Farneback方法。光流算法还能够经由所谓的多分辨率技术来实施，该多分辨率技术被配置为从低分辨率开始到高分辨率以不同的连续图像分辨率估计光流。
光流算法也能够与另外的图像处理算法结合，特别是与角点检测算法结合，以改善场景从一个图像到下一个图像的差分移动的估计，如EP2400460A1中所描述的。Briod等人的“Optic-Flow Based Control of a 46g Quadrotor”、Julin等人的“Optical FlowBased Velocity Estimation for Vision Based Navigation of Aircraft”以及Ho等人的“Distance and velocity estimation using optical flow from a monocularcamera”的文件中也描述了实施光流算法的其他实施例。
计算模块46被配置为通过采用已知的对地速度然后试图计算无人机10相对于地形14的海拔高度Zsol_est的值来以反向的方式实施该光流算法。计算模块46特别被配置为用于将由第二获取模块44获取的测量的对地速度Vsol_mes的值用作对地速度的预定值。
再校准模块48被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联，以便具有无人机10相对于地形14的更可靠的海拔高度的值。
可选地，再校准模块48被特别地配置为，根据相对于参考水平测量的当前海拔高度Zsol_est(N)以及相对于地形测量的先前海拔高度Zsol_est(N-1)，来估计相对于地形14的当前海拔高度Zsol_est(N)，该相对于地形测量的先前海拔高度Zsol_est(N-1)与相对于参考水平测量的先前海拔高度Zsol_mes(N-1)相关联。
本领域技术人员将理解，N是具有大于或等于1的值的整数指数，指示所讨论的数量的当前值，而指数N-1则指示与所执行的最近的相关联对应的所讨论的数量的先前值，而指数0指示所讨论的数量的初始值。
再校准模块48优选地被配置为：在基于光流算法计算相对于地形的海拔高度至少暂时地失效的情况下，根据相对于参考水平测量的当前海拔高度Zref_mes(N)和先前计算的相对于地形的海拔高度Zsol_est(N)，估计相对于地形的当前海拔高度Zsol_est(N)，该先前计算的相对于地形的海拔高度Zsol_est(N)已经与相对于参考水平测量的先前海拔高度Zref_mes(N-1)相关联。
可选地，再校准模块48还被配置为：计算与第一指标Ind1成反比的第二指标Ind2，并且仅在第二指标Ind2的值小于第二阈值S2时，将所计算的相对于地形的海拔高度Zsol_est与相比于参考水平测量的海拔高度Zref_mes相关联。第二阈值S2的值比第一阈值S1的值更具限制性。
控制模块50被配置为控制无人机10的姿态。当相对于地形测量的海拔高度Zsol_est大于第一预定阈值海拔高度Z1时，控制模块50被配置为，根据由第二获取模块44获取的相对于地形测量的海拔高度Zsol_mes，并且优选地仅根据上述各种海拔高度之中的该海拔高度Zsol_mes，来控制无人机10的姿态。第一预定阈值海拔高度Z1例如基本上等于15m。
当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，控制模块50被配置为还根据由计算模块46计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态。换句话说，当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，控制模块50被配置为根据相对于地形测量的海拔高度Zsol_mes和所计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态，所计算的海拔高度优选地是再校准模块48的输出端处提供的再校准海拔高度。
当相对于地形测量的海拔高度Zsol_mes的值低于第二预定阈值海拔高度Z2时，控制模块50被配置为将无人机10的俯仰角控制成大于预定最小着陆俯仰角的值。第二预定阈值海拔高度Z2例如基本上等于1.2m。
换句话说，当相对于地形测量的海拔高度Zsol_mes的值低于与接近地面的海拔高度对应的该第二预定阈值海拔高度Z2时，控制模块50被配置为：在先前没有检测到接近地面情况下并且无人机10的俯仰角的值还没有大于预定最小着陆俯仰角的时候，给予无人机10紧急俯仰角。
现在借助图2说明根据本发明的无人机10特别是电子控制装置16的操作，该图示出了根据本发明的确定方法的流程图。
在初始步骤100期间，由第一获取模块40优选地从第一图像传感器12——诸如向下指的竖直对准摄像头——获取无人机10飞越的地形14的不同的连续图像。
可选地，第一获取模块44计算与这些获取的不同图像有关的第一指标Ind1，并且该第一指标是所获取的图像的质量的指标。然后在下一步骤110中，控制装置16相对于第一阈值S1测试第一指标Ind1的值，即该控制装置将第一指标Ind1的值与第一阈值S1的值进行比较。
并行地，在步骤120期间，由第二获取模块44从测量装置24获取测量的对地速度Vsol_mes的值，该测量装置24例如是卫星定位装置，也被称为GNSS装置，诸如GPS接收器或GLONASS接收器，或者惯性单元，也被称为lMU。
如果在步骤110期间，相对于第一阈值S1的测试是正的，即，如果第一指标Ind1的值大于或等于第一阈值S1，则控制装置16转到步骤130，在该步骤中，计算模块46通过应用于所获取的图像的光流算法并根据测量的对地速度Zsol_mes的值来计算无人机10相对于地形14的海拔高度Zsol_est。
相反，如果在步骤110中执行的测试是负的，即如果第一指标Ind1的值低于第一阈值S1，则控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。
在步骤130中使用的光流算法例如是使用Lucas-Kanade方法的光流算法。
在下一步骤140中，计算模块46计算与第一指标Ind1成反比的第二指标Ind2，并且相对于第二阈值S2测试该第二指标Ind2，即，将该第二指标Ind2与第二阈值S2进行比较。
并行地，在步骤150期间，相对于参考水平测量的海拔高度Zref_mes的值由第二获取模块44例如从压力传感器中获取，该参考水平例如是海平面。
在步骤140期间，如果相对于第二阈值S2的测试是正的，即如果第二指标Ind2的值小于或等于第二阈值S2，则计算模块46向再校准模块48传输所计算的无人机相对于地形的海拔高度Zsol_est的值，并且控制装置16转到步骤160，在该步骤期间，再校准模块48将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。
相反，如果在步骤140中执行的测试是负的，即如果第二指标Ind2的值大于第二阈值S2，则控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。
在步骤160中，再校准模块48特别地根据相对于参考水平测量的当前海拔高度Zref_mes(N)以及先前计算的相对于地形的海拔高度Zsol_est(N-1)，来估计相对于地形14的当前海拔高度Zsol_est(N)，该先前计算的相对于地形的海拔高度Zsol_est(N-1)与相对于参考水平测量的先前海拔高度Zref_mes(N-1)相关联。在基于光流算法计算相对于地形的海拔高度Zsol_est至少暂时地失效的情况下，即，在上述相对于第一阈值S1和第二阈值S2的两个测试之一是负的情况下，这是特别有用的。
并行地，在步骤170期间，相对于地形测量的海拔高度Zsol_mes的值由第二获取模块44从高度计20诸如无线电高度计或超声波测距仪获取。
然后控制装置16进行到步骤180，在该步骤期间，控制模块50特别地根据无人机10相对于地形14的海拔高度来控制无人机10的姿态。然后，控制模块50根据无人机相对于地形14的所述海拔高度来计算对应于所述海拔高度的控制指令，这些控制指令特别地用于伺服机构，该伺服机构定向控制表面39。
为此目的，控制模块50能够使用由计算模块46计算的相对于地形的海拔高度Zsol_est的值，和优选地再校准模块48的输出端处提供的再校准海拔高度，和/或由第二获取模块44获取的相对于地形测量的海拔高度Zsol_mes的值，如图2所示。
更确切地说，当相对于地形测量的海拔高度Zsol_mes大于第一预定阈值海拔高度Z1时，控制模块50在步骤180期间，根据相对于地形测量的海拔高度Zsol_mes，并且优选地仅根据针对无人机10测量或计算的不同海拔高度中该相对于地形测量的海拔高度Zsol_mes，来控制无人机10的姿态。
在步骤180期间，当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，即，当无人机10可能很快要开始其着陆阶段时，或者当无人机10已经例如从操纵杆26接收到着陆指令时，控制模块50根据相对于地形测量的海拔高度Zsol_mes和所计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态，所计算的海拔高度优选地为再校准模块48的输出端处提供的再校准海拔高度。
可选地，当相对于地形测量的海拔高度Zsol_mes的值低于第二预定阈值海拔高度Z2时，控制模块50在步骤180期间将无人机10的俯仰角控制到最小预定着陆俯仰角，以便在先前没有指示无人机10的俯仰的情况下实施紧急俯仰角。
在步骤180结束时，控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。
然后根据本发明的电子控制装置16通过将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zsol_mes相关联，允许对所计算的相对于地形的无人机的海拔高度Zsol_est进行再校准，这使得可以具有无人机10相对于地形14的更可靠的海拔高度的值。
在基于光流算法计算相对于地形的海拔高度至少暂时地失效的情况下，以及第一指标Ind1和第二指标Ind2分别与第一阈值S1和第二阈值S2的比较中，这都是特别有效的，因此允许根据光流算法有效地检测海拔高度的这种计算失效。
例如，当无人机10飞越的地形14生成从一个图像到另一图像略微变化的场景，然后在将光流算法应用于所获取的图像时生成相对高的计算不确定性时，可能出现这种失效。
因此，如此计算并再校准的相对于地形的海拔高度更加可靠，并且在着陆阶段期间特别有用，以便更好地预料到地面的方法，并且预测控制装置16必须命令无人机10上仰以便接触地面的时刻。
当由高度计20测量的海拔高度的值小于第二预定阈值海拔高度Z2时，可能需要迫使无人机10的俯仰角到预定最小着陆俯仰角，还允许提供用于着陆无人机10的紧急校正程序，尤其是再校准模块48的输出端处提供的再校准海拔高度暂时受到干扰的情况下。
那么可以设想，根据本发明的电子控制装置16和控制方法允许更可靠地计算无人机10相对于所飞越的地形的海拔高度，然后在无人机10的操作期间，尤其是着陆阶段期间，减少可能的抖动。

Claims (12)

1.用于控制无人机(10)的电子装置(16)，其中，所述装置(16)包括：
-第一获取模块(40)，所述第一获取模块被配置为获取所述无人机(10)飞越的地形(14)的且由所述无人机(10)配备的图像传感器(12；18)拍摄的一系列图像；
-第二获取模块(44)，所述第二获取模块被配置为获取由所述无人机(10)配备的测量装置(24)提供的测量的对地速度(Vsol_mes)；以及
-计算模块(46)，所述计算模块被配置为基于所获取的对地速度(Vsol_mes)以及应用于所获取的图像的光流算法来计算所述无人机(10)相对于所述地形(14)的海拔高度(Zsol_est)，
其特征在于，所述第二获取模块(44)被配置为还获取相对于参考水平测量的所述无人机的海拔高度(Zref_mes)，并且
其中所述装置还包括再校准模块(48)，所述再校准模块被配置为将所计算的相对于所述地形的海拔高度(Zsol_est)与相对于所述参考水平测量的海拔高度(Zref_mes)相关联。
2.根据权利要求1所述的电子装置(16)，其中，所述再校准模块(48)还被配置为根据相对于所述参考水平测量的当前海拔高度(Zref_mes(N))以及先前计算的相对于所述地形的海拔高度(Zsol_est(N-1))来估计相对于所述地形的当前海拔高度(Zsol_est(N))，所述先前计算的相对于所述地形的海拔高度(Zsol_est(N-1))与相对于所述参考水平测量的先前海拔高度(Zref_mes(N-1))相关联。
3.根据权利要求2所述的电子装置(16)，其中，所述再校准模块(48)被配置为：在基于所述光流算法计算相对于所述地形的海拔高度至少暂时地失效的情况下，根据相对于所述参考水平测量的所述当前海拔高度(Zref_mes(N))以及所述先前计算的相对于所述地形的海拔高度(Zsol_est(N-1))来估计相对于所述地形的当前海拔高度(Zsol_est(N))。
4.根据权利要求1所述的电子装置(16)，其中，所述第一获取模块(40)还被配置为根据图像梯度计算第一指标(Ind1)，所述计算模块(46)被配置为仅在所述第一指标(Ind1)的值大于第一阈值(S1)时计算所述无人机相对于所述地形的海拔高度(Zsol_est)。
5.根据权利要求4所述的电子装置(16)，其中，所述再校准模块(48)还被配置为：计算与所述第一指标(Ind1)成反比的第二指标(Ind2)，
并且仅在所述第二指标(Ind2)的值小于第二阈值(S2)时，将所计算的相对于所述地形的海拔高度(Zsol_est)与相对于所述参考水平测量的海拔高度(Zref_mes)相关联。
6.根据权利要求1或2所述的电子装置(16)，其中，所述参考水平是海平面，并且相对于海平面测量的海拔高度经由压力传感器获得。
7.根据权利要求1所述的电子装置(16)，其中，所述第二获取模块(44)被配置为还获取相对于所述地形测量的所述无人机的海拔高度，并且所述装置(16)还包括控制模块(50)，所述控制模块被配置为根据所述无人机(10)的海拔高度(Zsol_mes、Zsol_est)来控制所述无人机(10)的姿态，其中，所述控制模块(50)被配置为计算与所述姿态对应的控制指令。
8.根据权利要求7所述的电子装置(16)，其中，当相对于所述地形测量的海拔高度(Zsol_est)的值大于第一预定阈值海拔高度(Z1)时，所述控制模块(50)被配置为根据由所述第二获取模块(44)获取的相对于所述地形测量的海拔高度(Zsol_mes)来控制所述无人机(10)的所述姿态，以及
当相对于所述地形测量的海拔高度(Zsol_mes)的值低于所述第一预定阈值海拔高度(Z1)时，所述控制模块(50)被配置为根据由所述计算模块(46)计算的相对于所述地形的海拔高度(Zsol_est)来控制所述无人机(10)的所述姿态。
9.根据权利要求7所述的电子装置(16)，其中，当相对于所述地形测量的海拔高度(Zsol_mes)的值低于第二预定阈值海拔高度(Z2)时，所述控制模块(50)被配置为将所述无人机(10)的俯仰角控制到大于预定最小着陆俯仰角的值。
10.无人机(10)，包括图像传感器(12；18)和电子控制装置(16)，所述图像传感器被配置为拍摄所述无人机(10)飞越的地形的一系列图像，
其特征在于，所述电子控制装置(16)是根据权利要求1或2所述的电子控制装置。
11.用于控制具有图像传感器(12；18)的无人机(10)的方法，其中，所述方法由电子装置(16)实施，并且所述方法包括：
-获取(100)由所述图像传感器(12；18)拍摄的、所述无人机(10)飞越的地形(14)的一系列图像；
-经由所述无人机(10)配备的测量装置(24)获取(120)测量的对地速度(Zsol_mes)，以及
-基于所获取的测量的对地速度(Vsol_mes)以及应用于所获取的图像的光流算法，计算(130)所述无人机(10)相对于所述地形(14)的海拔高度(Zsol_est)，
其特征在于，所述方法还包括：
-获取(150)相对于参考水平测量的所述无人机的海拔高度(Zref_mes)，以及
-将所计算的相对于所述地形的海拔高度(Zsol_est)与相对于所述参考水平测量的海拔高度(Zref_mes)相关联(160)。
12.计算机程序，包括软件指令，所述软件指令在由计算机执行时实施根据权利要求11所述的方法。
CN201711305645.6A 2016-12-09 2017-12-11 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序 Pending CN108227734A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1662264 2016-12-09
FR1662264A FR3060178A1 (fr) 2016-12-09 2016-12-09 Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes

Publications (1)

Publication Number Publication Date
CN108227734A true CN108227734A (zh) 2018-06-29

Family

ID=58992923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711305645.6A Pending CN108227734A (zh) 2016-12-09 2017-12-11 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序

Country Status (4)

Country Link
US (1) US20180164122A1 (zh)
EP (1) EP3333539A1 (zh)
CN (1) CN108227734A (zh)
FR (1) FR3060178A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182524A1 (en) * 2017-03-29 2018-10-04 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
CN111077908B (zh) * 2019-12-26 2023-02-03 深圳慧源创新科技有限公司 自动调节无人机悬停的方法、装置，光流模块及无人机
CN111275746B (zh) * 2020-01-19 2023-05-23 浙江大学 一种基于fpga的稠密光流计算系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6859549B1 (en) * 2000-06-07 2005-02-22 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities
US6708091B2 (en) * 2002-05-31 2004-03-16 Steven Tsao Automated terrain awareness and avoidance system
US7343232B2 (en) * 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
US7659967B2 (en) * 2007-03-05 2010-02-09 Geoffrey Louis Barrows Translational optical flow sensor
US8527118B2 (en) * 2007-10-17 2013-09-03 The Boeing Company Automated safe flight vehicle
US8548194B1 (en) * 2008-11-12 2013-10-01 Mustang Tchnology Group, L.P. System and method for determining altitude
FR2988868B1 (fr) * 2012-03-30 2015-04-24 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral
FR3034554B1 (fr) * 2015-04-01 2017-04-28 Parrot Drone muni d'une camera video a visee verticale compensee des rotations instantanees pour l'estimation des vitesses horizontales
JP6506302B2 (ja) * 2015-09-16 2019-04-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォームを操作するための方法及び装置
US10937326B1 (en) * 2015-10-05 2021-03-02 5X5 Technologies, Inc. Virtual radar system for unmanned aerial vehicles
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
US10203700B2 (en) * 2016-02-29 2019-02-12 Garmin International, Inc. Emergency autoland system
WO2018066819A1 (ko) * 2016-10-06 2018-04-12 삼성전자주식회사 무인 비행체 및 그의 동작 방법

Also Published As

Publication number Publication date
EP3333539A1 (fr) 2018-06-13
FR3060178A1 (fr) 2018-06-15
US20180164122A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US9387927B2 (en) Rotary-wing drone comprising autonomous means for determining a position in an absolute coordinate system linked to the ground
Shen et al. Optical flow sensor/INS/magnetometer integrated navigation system for MAV in GPS-denied environment
US10322819B2 (en) Autonomous system for taking moving images from a drone, with target tracking and improved target location
US11099030B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
US20220155800A1 (en) Method and apparatus for yaw fusion and aircraft
US10527423B1 (en) Fusion of vision and depth sensors for navigation in complex environments
US11669109B2 (en) Method and apparatus for yaw fusion and aircraft
US20200141969A1 (en) System and method for determining airspeed
WO2021052334A1 (zh) 一种无人飞行器的返航方法、装置及无人飞行器
CN110377058B (zh) 一种飞行器的偏航角修正方法、装置及飞行器
CN108227734A (zh) 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序
Bavle et al. A flight altitude estimator for multirotor UAVs in dynamic and unstructured indoor environments
Ding et al. Adaptive filter design for UAV navigation with GPS/INS/optic flow integration
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP2019191888A (ja) 無人飛行体、無人飛行方法及び無人飛行プログラム
CN110108894B (zh) 一种基于相位相关和光流法的多旋翼速度测量方法
CN110388917B (zh) 飞行器单目视觉尺度估计方法和装置、飞行器导航系统及飞行器
CN110136168A (zh) 一种基于特征点匹配和光流法的多旋翼速度测量方法
Thurrowgood et al. UAV attitude control using the visual horizon
US20210199798A1 (en) Continuous wave radar terrain prediction method, device, system, and unmanned aerial vehicle
Nakano et al. On fundamental evaluation using UAV imagery and 3D modeling software

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629

WD01 Invention patent application deemed withdrawn after publication