CN107710091A - 用于选择移动平台的操作模式的系统和方法 - Google Patents

用于选择移动平台的操作模式的系统和方法 Download PDF

Info

Publication number
CN107710091A
CN107710091A CN201580081258.1A CN201580081258A CN107710091A CN 107710091 A CN107710091 A CN 107710091A CN 201580081258 A CN201580081258 A CN 201580081258A CN 107710091 A CN107710091 A CN 107710091A
Authority
CN
China
Prior art keywords
height
parallax
mobile platform
threshold value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580081258.1A
Other languages
English (en)
Other versions
CN107710091B (zh
Inventor
严嘉祺
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107710091A publication Critical patent/CN107710091A/zh
Application granted granted Critical
Publication of CN107710091B publication Critical patent/CN107710091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于对移动平台的操作模式进行选择的系统及其制造和使用方法。所述系统可以确定所述移动平台的高度以及从所述移动平台的视角获得的第一图像与第二图像之间的视差。基于所确定的高度和图像视差，可以从所述移动平台的多种操作模式中选择出所述移动平台的适当操作模式。这些操作模式可以例如基于所述高度和/或图像视差来分类。由此，所述系统有利地可以利用所述移动平台的这些不同的操作模式并且可以满足在宽的高度范围内选择所述移动平台的操作模式的精度要求。在另一方面，所述系统可以基于在不同时刻获取的图像并且用由惯性测量单元获取的数据来操作所述移动平台。

Description

用于选择移动平台的操作模式的系统和方法
发明领域
所公开的实施方式总体上涉及移动平台的操作并且更具体地但不排他地涉及用于在宽的高度范围内操作移动平台的系统和方法。
背景技术
无人飞行器(“UAV”)通常是通过视觉技术来导航并以其他方式进行操作的。然而，视觉技术的性能和精度是受限的并且可能根据UAV的高度而变化。
目前可获得的视觉技术仅可以在某个高度范围内确保其性能和精度。在较低或较高高度处，操作移动平台的精度由于视觉技术的固有缺点而受限制并且不能被保证。
考虑到前述原因，需要用于在宽的高度范围内有效操作移动平台的系统和方法。
发明内容
根据本文公开的第一方面，列出了一种用于对移动平台的操作模式进行选择的方法，所述方法包括：
检测所述移动平台的高度等级；并且
根据所述检测的结果来对所述移动平台的操作模式进行选择。
在所公开方法的一个示例性实施方式中，检测高度等级包括确定所述移动平台的高度和/或从所述移动平台的视角得到的远处物体的第一图像与第二图像之间的视差。
在所公开方法的另一个示例性实施方式中，确定包括经由气压计、超声波检测器和/或全球定位系统(“GPS”)来获得所述高度。
在所公开方法的另一个示例性实施方式中，确定包括获取由与所述移动平台相关联的双目成像系统所捕捉的所述物体的所述第一图像与第二图像之间的视差。
所公开方法的示例性实施方式进一步包括基于所述高度和/或所述视差的值来将这些操作模式分类。
所公开方法的示例性实施方式进一步包括启动所述移动平台以第一高度模式来运行。
在所公开方法的一个示例性实施方式中，所述第一高度模式包括甚低海拔单目模式。
所公开方法的示例性实施方式进一步包括提供所述移动平台的距离传感器以辅助所述甚低海拔单目模式。
在所公开方法的一个示例性实施方式中，对操作模式进行选择包括基于所述高度等级来切换操作模式，并且其中所述高度等级是基于所确定的高度和所确定的视差中的至少一者来确定的。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度大于第一高度阈值时将所述移动平台切换至第二高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述视差小于第一视差阈值时将所述移动平台切换至第二高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度大于第一高度阈值并且所述视差小于第一视差阈值时将所述移动平台切换至第二高度模式。
在所公开方法的另一个示例性实施方式中，将所述移动平台切换至第二高度模式包括选择具有第一分辨率的立体视觉模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述视差小于或等于第三视差阈值时将所述移动平台切换至第三高度模式。
在所公开方法的另一个示例性实施方式中，将所述移动平台切换至第三高度模式包括将双目成像装置切换至具有增强分辨率的立体视觉模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度大于第三高度阈值时将所述移动平台切换至第四高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度大于第三高度阈值并且所述视差小于第五视差阈值时将所述移动平台切换至第四高度模式。
在所公开方法的另一个示例性实施方式中，将所述移动平台切换至第四高度模式包括将所述双目成像装置切换至与气压计、GPS和/或对所述移动平台与地平面之间的垂直距离的目测相组合的高海拔单目模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度小于第四高度阈值时将所述移动平台切换至所述第三高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度小于第四高度阈值并且所述视差大于第六视差阈值时将所述移动平台切换至所述第三高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述视差大于第四视差阈值时将所述移动平台切换至所述第二高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度小于第二高度阈值时将所述移动平台切换至所述第一高度模式。
在所公开方法的另一个示例性实施方式中，对操作模式进行选择包括当所述高度小于第二高度阈值并且所述视差大于第二视差阈值时将所述移动平台切换至所述第一高度模式。
在所公开方法的另一个示例性实施方式中，所述第二视差阈值大于所述第一视差阈值；
所述第一和第二视差阈值中的至少一者大于所述第三和第四视差阈值中的至少一者；
所述第三视差阈值大于所述第四视差阈值；
所述第三和第四视差阈值中的至少一者大于所述第五和第六视差阈值中的至少一者；并且
所述第六视差阈值大于所述第五阈值。
在所公开方法的另一个示例性实施方式中，
所述第一高度阈值大于所述第二高度阈值；
所述第三和第四高度阈值中的至少一者大于所述第一和第二高度阈值中的至少一者；并且
所述第三高度阈值大于所述第四阈值。
在所公开方法的另一个示例性实施方式中，确定所述第一图像和第二图像的视差包括：
从所述第一图像中选择多个特征点；并且
使所述第一图像的所述特征点与所述第二图像的多个点相匹配。
在所公开方法的另一个示例性实施方式中，所述特征点包括所述第一图像或所述第二图像的像素。
在所公开方法的另一个示例性实施方式中，匹配所述多个特征点包括：
扫描所述第二图像以识别出与所述第一图像的选定特征点相匹配的所述第二图像的点；并且
计算所述第一图像的所述选定特征点与所述第二图像的所述点之间的相似度。
在所公开方法的另一个示例性实施方式中，计算相似度包括：
通过比较所述选定特征点周围的第一区域的每个点对的强度来建立表示所述区域的第一二进制串，以生成第一二进制稳健独立基元特征(“BRIEF”)描述符；
通过比较所述第二图像的所述点周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串，以生成第二BRIEF描述符；并且
在所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离小于第一汉明阈值时确定所述第二图像的所述点与所述选定特征点相匹配。
在所公开方法的另一个示例性实施方式中，计算相似度包括将所述第一图像的选定特征点与以所述第二图像上的所述点为中心的三乘三像素区域进行比较。
在所公开方法的另一个示例性实施方式中，比较包括对多个彩色图像的每个像素的每个色分量的差之和、或者多个黑白图像的每个像素的灰度值的差之和进行比较。
在所公开方法的另一个示例性实施方式中，确定所述视差包括基于所述特征点的视差的平均值来获取视差。
在所公开方法的另一个示例性实施方式中，确定所述视差包括选择一个或多个特征点并基于所述选定特征点的视差来获取视差。
根据本文公开的另一个方面，列出了一种用于对移动平台的操作模式进行选择的系统，所述系统被配置成用于实施根据所公开方法的以上实施方式中任一个实施方式的检测过程。
根据本文公开的另一个方面，列出了一种包括用于选择移动平台的操作模式的指令的计算机程序产品，所述计算机程序产品被配置成用于实施根据所公开方法的以上实施方式中任一个实施方式的检测过程。
根据本文公开的另一个方面，列出了一种用于选择移动平台的操作模式的设备，所述设备包括：
与所述移动平台相关联的双目成像装置；以及
处理器，所述处理器被配置成用于：
检测所述移动平台的高度等级；并且
根据所述检测的结果来对所述移动平台的操作模式进行选择。
在所公开设备的一个示例性实施方式中，处理器被配置成用于确定所述移动平台的高度和/或从所述移动平台的视角得到的远处物体的第一图像与第二图像之间的视差。
所公开设备的示例性实施方式进一步包括与所述移动平台相关联的压力计，以用于获得所述移动平台的高度。
所公开设备的示例性实施方式进一步包括与所述移动平台相关联的超声波检测器，以用于获得所述移动平台的高度。
所公开设备的示例性实施方式进一步包括与所述移动平台相关联的GPS，以用于获得所述移动平台的高度和/或位置。
在所公开设备的一个示例性实施方式中，所述处理器被配置成用于获取由与所述移动平台相关联的双目成像系统所捕捉的所述物体的所述第一图像与第二图像之间的视差。
在所公开设备的一个示例性实施方式中，所述移动平台的操作模式是基于高度值和/或视差值来分类的。
在所公开设备的一个示例性实施方式中，所述处理器被配置成用于启动所述移动平台以第一高度模式来运行。
在所公开设备的一个示例性实施方式中，所述第一高度模式包括甚低海拔单目模式。
在所公开设备的一个示例性实施方式中，提供了所述移动平台的距离传感器以辅助所述甚低海拔单目模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于基于所述高度等级来切换操作模式，并且其中所述高度等级是基于所确定的高度和所确定的视差中的至少一者来确定的。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度大于第一高度阈值时切换至第二高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述视差小于第一视差阈值时切换至第二高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度大于第一高度阈值并且所述视差小于第一视差阈值时切换至第二高度模式。
在所公开设备的另一个示例性实施方式中，所述第二高度模式包括具有第一分辨率的立体视觉模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述视差小于或等于第三视差阈值时切换至第三高度模式。
在所公开设备的另一个示例性实施方式中，所述第三高度模式是具有增强分辨率的立体视觉模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度大于第三高度阈值时切换至第四高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度大于第三高度阈值并且所述视差小于第五视差阈值时切换至第四高度模式。
在所公开设备的另一个示例性实施方式中，所述第四高度模式是与气压计、GPS和/或对所述移动平台与地平面之间的垂直距离的目测相组合的高海拔单目模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度小于第四高度阈值时切换至所述第三高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度小于第四高度阈值并且所述视差大于第六视差阈值时切换至所述第三高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述视差大于第四视差阈值时切换至所述第二高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度小于第二高度阈值时切换所述第一高度模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于当所述高度小于第二高度阈值并且所述视差大于第二视差阈值时切换所述第一高度模式。
在所公开设备的另一个示例性实施方式中，所述第二视差阈值大于所述第一视差阈值；
所述第一和第二视差阈值中的一者或二者大于所述第三和第四视差阈值中的一者或二者；
所述第三视差阈值大于所述第四视差阈值；
所述第三和第四视差阈值中的一者或二者大于所述第五和第六视差阈值中的一者或二者；并且
所述第六视差阈值大于所述第五阈值。
在所公开设备的另一个示例性实施方式中，所述第一高度阈值大于所述第二高度阈值；
所述第三和第四高度阈值中的任意一者大于所述第一和第二高度阈值；并且
所述第三高度阈值大于所述第四阈值。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于确定无人飞行器(“UAV”)的高度以及来自所述UAV的视角的视差，并且
其中所述处理器被配置成用于根据所述确定来选择所述UAV的操作模式。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于在所述第一图像上选择多个特征点并且将所述第一图像的所述多个特征点与所述第二图像的多个点相匹配。
在所公开设备的另一个示例性实施方式中，所述特征点包括所述第一图像或所述第二图像的像素。
在所公开设备的另一个示例性实施方式中，所述视差为至少五个像素并且不大于所述第一图像或第二图像的宽度的五分之一。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于扫描所述第二图像以识别出与所述第一图像的选定特征点相匹配的所述第二图像的点、并且计算所述第一图像的所述选定特征点与所述点之间的相似度。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于：
通过比较所述选定特征点周围的第一区域的每个点对的强度来建立表示所述区域的第一二进制串，以生成第一二进制稳健独立基元特征(“BRIEF”)描述符；
通过比较所述第二图像的所述点周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串，以生成第二BRIEF描述符；并且
在所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离小于第一汉明阈值时确定所述第二图像的所述点与所述选定特征点相匹配。
在所公开设备的另一个示例性实施方式中，所述相似度是通过将所述第一图像的选定特征点与以所述第二图像上的所述点为中心的三乘三像素区域进行比较来计算出的。
在所公开设备的另一个示例性实施方式中，所述三乘三像素区域是以多个彩色图像的每个像素的每个色分量的差之和、或者多个黑白图像的每个像素的灰度值的差之和来进行比较的。
在所公开设备的另一个示例性实施方式中，所述视差是基于所述特征视差的平均值来确定的。
在所公开设备的另一个示例性实施方式中，所述处理器被配置成用于选择一个或多个特征点并基于所述选定特征点的特征视差来获取视差。
根据本文公开的另一个方面，列出了一种用于确定移动平台的操作模式的方法，所述方法包括：
检测所述移动平台的高度等级；
基于所述检测的结果来选择一个或多个传感器；并且
从所述选定传感器获得测量值，
其中所述高度等级是选自一组四个高度等级。
在所公开方法的另一个示例性实施方式中，选择一个或多个传感器包括在第一高度等级下选择一个图像传感器。
在所公开方法的另一个示例性实施方式中，选择一个或多个传感器包括在第一高度等级下选择一个图像传感器和一个距离传感器。
在所公开方法的另一个示例性实施方式中，所述距离传感器包括超声波检测器和/或激光检测装置。
在所公开方法的另一个示例性实施方式中，选择一个或多个传感器进一步包括在第二高度等级下选择至少两个图像传感器，
其中所述至少两个图像传感器具有第一分辨率。
在所公开方法的另一个示例性实施方式中，选择一个或多个传感器进一步包括在第三高度等级下选择具有第二分辨率的至少两个图像传感器，所述第二分辨率是增强分辨率。
在所公开方法的另一个示例性实施方式中，所述第二分辨率大于所述第一分辨率。
在所公开方法的另一个示例性实施方式中，选择一个或多个传感器进一步包括在第四高度等级下选择一个图像传感器和一个高度传感器。
在所公开方法的另一个示例性实施方式中，所述高度传感器包括气压计和/或全球定位系统(“GPS”)。
根据本文公开的另一个方面，列出了一种移动平台的飞行操作系统，所述飞行操作系统包括：
用于检测所述移动平台的高度等级的高度传感器；
处理器，所述处理器被配置成基于所检测到的高度等级来选择一个或多个传感器并且从所述选定的传感器获得测量值，
其中所述高度等级是选自一组四个高度等级。
在所公开系统的另一个示例性实施方式中，所述处理器被配置成用于在第一高度等级下选择一个图像传感器。
在所公开系统的另一个示例性实施方式中，所述处理器被配置成用于在第一高度等级下选择一个图像传感器和一个距离传感器。
在所公开系统的另一个示例性实施方式中，所述高度传感器包括距离传感器，并且其中所述距离传感器包括超声波检测器和/或激光检测装置。
在所公开系统的另一个示例性实施方式中，所述处理器被配置成用于在第二高度等级下选择至少两个图像传感器，
其中所述至少两个图像传感器具有第一分辨率。
在所公开系统的另一个示例性实施方式中，所述处理器被配置成用于在第三高度等级下选择具有第二分辨率的至少两个图像传感器，所述第二分辨率是增强分辨率。
在所公开系统的另一个示例性实施方式中，所述第二分辨率大于所述第一分辨率。
在所公开系统的另一个示例性实施方式中，所述处理器被配置成用于在第四高度等级下选择一个图像传感器和一个高度传感器。
在所公开系统的另一个示例性实施方式中，所述高度传感器包括气压计和/或全球定位系统(“GPS”)。
附图说明
图1是示例性顶级流程图，展示了用于在宽的高度范围内对操作模式进行选择的方法的一个实施方式。
图2是示例性示意图，展示了用于实现图1的方法的、装备有多个装置的移动平台，其中此类装置包括气压计、GPS、超声波检测器以及立体视觉系统。
图3是图1的方法的一个替代性实施方式的示例性流程图，其中所述方法包括针对不同高度来对操作模式进行分类。
图4是图3的方法的一个替代性实施方式的示例性框图，其中所述方法基于高度分类四个操作模式。
图5是图1的方法的另一个替代性实施方式的示例性框图，其中所述高度和视差信息被用来决定工作的操作模式。
图6是图2的移动平台的一个替代性实施方式的示例性框图，其中所述移动平台使用气压计、超声波检测器和/或GPS来获得高度信息。
图7是示例性顶级图，展示了图2的移动平台的另一个替代性实施方式，其中处理器收集条件数据并控制所述操作模式。
图8是图1的方法的另一个替代性实施方式的示例性流程图，展示了在四种不同的操作模式之间的切换条件。
图9是示例性详图，展示了立体成像方法的一个实施方式，其中，决定出图1的方法的视差。
图10是图9的方法的一个替代性实施方式的示例性图，展示了用于使得带有重叠区域的两个图像相匹配的示例性方法。
图11是展示图9的方法的一个替代性实施方式的示例性图，其中第一图像被以多个特征点与第二图像相匹配。
图12是展示图11的方法的一个替代性实施方式的示例性图，其中每个特征点都是通过计算相似度来匹配的。
图13是用于确定操作模式的方法的一个替代性实施方式的示例性的顶级流程图，其中对于图4的这四种操作模式中的每一种操作模式选定了所述移动平台的传感器。
图14是图13的方法的一个替代性实施方式的示例性流程图，展示了基于每种操作模式来选择传感器的方式。
图15是示例性顶级图，展示了图2的移动平台的飞行操作系统的又一个替代性实施方式，其中处理器针对四种操作模式中的每一种操作模式来选择所述移动平台的多个传感器。
应注意的是，这些图不是按比例绘制的，并且贯穿这些图出于展示的目的，具有相似结构或功能的元件一般用类似的参考号表示。还应注意的是，这些图仅旨在帮助描述优选实施方式。这些图并未展示所描述实施方式的每个方面并且不限制本公开的范围。
具体实施方式
无人飞行器(“UAV”)的导航一般是通过使用用于操作UAV的立体视觉技术来实现的。然而，立体视觉技术的精度是受限的并且可能根据高度而变化。
立体视觉系统典型地通过考虑所述立体视觉系统的两个镜头中每个镜头所观察到的场景的覆盖区域来进行导航。常规立体视觉系统的镜头之间的基线长度典型地在四厘米与二十厘米之间。然而，立体视觉技术的可应用高度范围受到所述基线长度的限制。换言之，可测量高度的范围受所述基线长度的限制。
操作UAV依赖于场景的覆盖区域。例如在低海拔处，双目成像系统的镜头与地面之间的距离太短而不能在所述双目成像装置的镜头所观察的每个场景之间形成可用的重叠区域。而在非常高的海拔处，所述立体视觉系统的镜头与地面之间的距离太长。在这样的情况下，这个长距离在所述立体视觉系统的这两个镜头之间产生短的基线，从而得到不准确的计算结果。
由于当前可获得的立体视觉导航系统受到基线长度的限制，因此令人期望的是能够通过基于移动系统的高度并且基于视差来在操作模式之间进行切换来满足在不同高度下操作UAV的要求的移动系统和方法、并且其可以对诸如UAV系统这样的系统和其他移动系统提供准确深度测量的基础。这个结果可以根据图1中公开的一个实施方式来实现。
现在参见图1，一种用于在宽的高度范围内选择移动平台200(图2所示)的操作模式的方法100的一个示例性实施方式。在图1中，在120处可以检测高度121和/或视差122来作为确定移动平台200的操作模式的基础。所述高度121和/或视差122可以表示高度等级。在一个优选实施方式中，此种检测可以实时地和/或以时间延迟的方式进行。高度121是与移动平台200的标高信息例如飞行高度或海拔相关联的。视差122代表在两个图像或帧中描绘的一个物体的图像位置差异。视差122可以用下文中参照图9-12所示出并描述的方式来静态地和/或动态地决定。移动平台200可以包括在此类移动平台200操作中可以具有标高的任何形式的飞行器。高度121可以用下文中参照图6所示出并描述的方式来确定。
在130处，移动平台200可以使用所获取的高度等级，即高度121和/或视差122，来在若干预定的操作模式131之间进行选择或切换。这些操作模式131可以包括涉及与移动平台200相关联的、可以在任何时刻被包括在内的多种不同装置的操作。这样的装置在下文中参照图6和图7示出并进行描述。将参照图8详细地示出并描述操作模式131的选择或切换。
虽然出于展示的目的而仅示出和描述了使用高度121和/或视差122来作为选择或切换操作模式的判据，但可以使用其他适合的条件作为在操作模式之间进行选择或切换的判据。
图2示出了带有装置251-254的移动平台200，这些装置是用于检测可以通过以其为基础来切换操作模式131而实现的所述方法100的多个条件的。在图2中，这些装置251-254可以包括至少一个气压计251、一个或多个超声波检测器252、一个GPS253以及一个双目成像装置254。在这些装置251-254中，气压计251、超声波检测器252和/或GPS 253可以用来检测移动平台200的高度(或海拔)121，并且双目成像装置254可以是视差122的信息源。在图2中，超声波检测器252可以用来检测到物体288的距离，所述物体可以是地面。因此，超声波检测器252与物体288之间的距离可以表示移动平台200相对于地平面的垂直高度121。
在图2中，气压计251可以安装在移动平台200的本体260的顶部上。超声波检测器252可以是围绕所述本体260的下部布置的。所述GPS 253可以安装在移动平台200的本体260中。所述双目成像装置254可以布置在本体260下方。然而在本公开中，气压计251和GPS253可以设置在移动平台200的任何部分上，例如在本体260内部、在本体260下方、或在本体260的任一侧等。这些超声波检测器252可以围绕所述本体260设置在任何地方。双目成像装置254可以设置在本体260的下部的任何适当位置处。
虽然出于展示的目的而仅示出和描述了使用装置251-254，但也可以使用任何其他合适的装置来检测这些用于确定在操作模式131之间进行切换的条件。移动平台200可以包括任何常规类型的、可以具有标高的并且在图2中仅出于展示目的而并非限制目的地展示为包括无人飞行器250的移动平台。
图3示出了用于在宽的高度范围内对操作模式进行选择的方法100的另一个示例性替代实施方式。在图3中，方法100可以包括在310处对多种操作模式进行分类的过程。例如可以基于不同的高度等级，即高度范围和/或视差值来对操作模式进行分类。如上文讨论的，当前可获得的单模式操作不能满足不同高度的要求，例如使用立体视觉技术的双目系统不能满足高海拔/高度以及非常低的海拔/高度的要求。在另一方面，移动平台200的其他可获得的操作模式可能更适合高海拔/高度或低海拔/高度。
在不同的高度或海拔处，可以使用多种多样的操作模式来操作移动平台200。出于在所有高度处操作移动平台200的目的，可以根据若干高度等级对这些操作模式进行分类。下文将参照图4来示出并描述分类的额外细节。
虽然仅出于展示的目的而描述了根据不同的高度等级来对操作模式进行分类，但在本公开中分类可以基于任何其他适合的信息，例如基于高度121与视差122的组合。
图4示出了方法100的将操作模式分类为四种模式的一个实施方式。在图4中，根据不同的高度等级可以提供第一高度模式411、第二高度模式412、第三高度模式413以及第四高度模式414。所述第四高度模式414被设计成用于例如二十米(20m)及以上的第四高度范围。在所述第四高度模式414下，移动平台200(图2所示)可以用高海拔单目模式工作。在所述高海拔单目模式下，为了确定高度121，可以例如用气压计251、GPS 253和/或视觉检测的组合来确定一个物体的深度。可以基于所述高度信息来确定移动平台200的操作模式。
所述第三高度模式413被设计成用于例如三米半(3.5m)到二十米(20m)的第三高度范围。在所述第三高度范围内，正常分辨率为三百二十乘二百四十(320×240)的双目装置不能满足检测所述深度并选择移动平台200的操作模式的要求。为了应对此问题，在所述第三高度模式413下，可以利用增强分辨率的双目模式来确定所述高度121并选择移动平台200的操作模式。在所述增强分辨率的双目模式下，分辨率可以是至少六百四十乘四百八十(640×480)。
所述第二高度模式412被设计成用于例如五十厘米(50cm)到三米半(3.5m)的第二高度范围。在所述第二高度范围内，第二高度模式412可以使用正常分辨率的双目模式，所述模式可以使用三百二十乘二百四十(320×240)的分辨率。
所述第一高度模式411被设计成用于例如十厘米(10cm)到五十厘米(50cm)的第一高度范围。在所述第一高度范围内，在用双目系统的两个镜头获取的图像之间可能没有足够的重叠，因为这些镜头与所感兴趣的物体之间的距离短。因此在第一高度模式411下，可以使用甚低海拔单目模式；其中，可以采用其他距离传感器来检测镜头的光学中心与地平面之间的距离，即物体深度，以用于选择移动平台200的操作模式。
虽然仅出于展示性目的而描述了将操作模式分类为四个类别，但在本公开中可以利用任何适合的类别数量。除了到地面的高度121之外，本公开在操作模式之间的分类和/或切换中也可以使用其他条件。此类条件可以包括视差122。
图5示出了方法100的另一个示例性实施方式，其中可以使用高度121和/或视差122来决定操作模式131。高度121表示移动平台200(图2所示)与地平面之间的垂直距离。高度121可以经由气压计251、超声波检测器252和/或GPS 253以下文参照图6所示出并描述的方式来获取。如参照图1示出并描述的，视差122代表在两个图像或帧中一个物体的图像位置差异。视差122可以用下文中参照图9-12来示出和描述的方式来确定。
在230处，高度121和视差122信息可以相组合。在240处所述组合信息可以用于决定操作模式131。虽然示出和描述了使用所述组合信息来决定操作模式131，但在决定操作模式131中可以单独地使用高度121或视差122。
图6示出了移动平台200的一个示例性实施方式，示出了在方法100中在120处获得高度121。在图6中，可以使用气压计251、超声波检测器252和/或GPS 253来获得移动平台200的高度121(在图2中共同示出)。气压计251可以是可从市场上商购的任何类型的、用于基于大气压测量值来确定高度121的气压计或压力高度表。这样的气压计251可以包括水基气压计、汞气压计、真空泵油气压计、无液气压计、自记录式气压计或MEMS气压计。气压计251还可以包括其他类型的气压计，例如风暴气压计。
额外地和/或替代地，超声波检测器252可以用来通过发出超声波并接收从周围环境中的物体288(图2所示)反射的超声波来检测所述物体288的距离121。距离121可以是到地平面的距离，其中物体288是地面。地平面880可以是实际地面、水平面或具有任何结构的地面。这样的超声波检测器252可以包括任何可商购的超声传感器。虽然出于展示的目的而仅示出和描述了用单一超声波检测器252来在一个方向上检测物体288，但可以提供多个超声波检测器252来在多个方向上检测物体288。
GPS 253是可以在地球上或附近的任何到四个或更多GPS卫星有无阻碍视线的地方提供位置、高度和/或时间信息的、基于空间的卫星导航系统。GPS 252可以包括可从市场上商购的任何GPS装置。位置是由GPS 253作为经度和纬度提供的。所述高度可以是到地平面的以米或英尺计的高度。
在本公开中可应用的高度121可以是到地平面的、在二十五厘米(25cm)到超过一百米(100m)的范围内的任何垂直距离。如参照图4所示出和描述的，在本公开中高度121可以被分类为第一高度、第二高度、第三高度和第四高度。虽然出于展示的目的而仅示出和描述了使用气压计251、超声波检测器252或GPS 253来检测高度121，但可以使用其他适合的检测装置来检测移动平台200的高度121。
图7展示了图2的移动平台200的另一个示例性实施方式。在图7中，处理器910可以与气压计251、超声波检测器252、GPS 253和双目成像装置254相连接以收集条件数据并控制操作模式从而实施方法100。处理器910可以是与移动平台相关联的处理器以用于控制所述移动平台300。所述双目成像装置254可以是带有多个双目镜头的成像装置，这些镜头可以用来同时捕捉一个物体的两个图像。
在移动平台200的一个优选实施方式中，处理器910可以被提供用于从气压计251、超声波检测器252、GPS 253和/或双目装置254获得信息并处理从其获得的信息。此类信息包括高度121和视差122(在图1中共同示出)。处理器910可以基于所述信息来确定可以选择哪种操作模式131。下文将参照图8来示出并描述确定操作模式131的额外细节。
处理器910可以包括任何可商购的处理芯片或者是针对用于选择移动平台200的操作模式的设备900专门生产的任何特制的处理芯片。额外地和/或替代地，处理器910可以包括一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、数据处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。处理器910可以被配置成用于实施本文公开的这些方法中的任何一种方法，包括但不限于与操作模式选择相关的多种多样的操作。在一些实施方式中，处理器910可以包括用于处理与操作模式选择相关的特定操作的专用硬件。
图8示出了方法100的另一个示例性实施方式，其中可以基于高度121和/或视差122选择(或切换)四种操作模式。在升空后，移动平台200(图2所示)可以在第一高度处运行。一种用于选择移动平台200的操作模式的设备可以工作在对应的操作模式，即第一高度模式411。如参照图4所示出和描述的，第一高度模式411是与用于选择移动平台200的操作模式的距离传感器(未示出)相组合的甚低海拔单目模式。
当在第一高度模式411下运行并且满足两个条件时，移动平台200可以在930处切换到第二高度模式412。这两个条件可以包括：所述双目成像装置254的视差122小于或等于第一视差阈值Td1并且移动平台200的高度121高于第一高度阈值Th1。在一个替代性实施方式中，当仅有移动平台200的高度121高于第一高度阈值Th1时，操作模式就可以从第一高度模式411切换到第二高度模式412。
所述第一视差阈值Td1可以选自六十二厘米(62cm)到八十二厘米(82cm)的第一视差范围内，优选为七十二厘米(72cm)。所述第一高度阈值Th1可以选自二十厘米(20cm)到八十厘米(80cm)的第一高度范围内的值并且优选为五十厘米(50cm)。
当所述立体视觉系统的双目成像装置的视差122小于或等于第三视差阈值Td3时，移动平台200可以切换到第三高度模式413。如参照图4所示出和描述的，第三高度模式413可以包括高分辨率双目模式。
所述第三视差阈值Td3可以选自五厘米(5cm)到十五厘米(15cm)的第三视差范围内并且优选为十厘米(10cm)。
当满足两个条件时，则在934处，可以将操作模式切换到第四高度模式414。这两个条件可以包括：所述立体视觉系统的双目成像装置的视差122小于或等于第五视差阈值Td5并且移动平台200的高度高于第三高度阈值Th3。所述第四高度模式414可以包括高海拔单目操作模式，所述高海拔单目操作模式可以利用在上文中参照图4所示出和描述的气压计、GPS和/或视觉检测器。在一个替代性实施方式中，当移动平台200的高度121高于第三高度阈值Th3时，可以将操作模式从第三高度模式413切换到第四高度模式414。
所述第五视差阈值Td5可以选自一厘米(1cm)到三厘米(3cm)的第五视差范围内的值并且优选为二厘米(2cm)。所述第三高度阈值Th3可以选自十五米(15m)到二十五米(25m)的第三高度范围内的值并且优选为二十米(20m)。
当以第四高度模式414运行时，当满足某些条件931、933中的任何一个条件时移动平台200可以切换到其他的操作模式。在931处，例如当视差122大于等于第六视差阈值Td6并且移动平台200的高度121小于或等于第四阈值Th4时，移动平台200可以切换到第三高度模式413。在一个替代性实施方式中，当仅有移动平台200的高度121变成小于或等于第四阈值Th4时，移动平台200才可以切换到第三高度模式413。
在933处，当视差122大于或等于第四视差阈值Td4时，移动平台200可以切换到第二高度模式412。
所述第六视差阈值Td6可以选自一厘米半(1.5cm)到四厘米(4cm)的第六视差范围内的值并且优选为二厘米半(2.5cm)。所述第四高度阈值Th4可以选自十五米(15m)到二十二米(22m)的第四高度范围内的值并且优选为十八米(18m)。所述第四视差阈值Td4可以选自九厘米(9cm)到十五厘米(15cm)的第四视差范围内的值并且优选为十二厘米(12cm)。
当以第三高度模式413运行时，如果视差122变得大于或等于第四视差阈值Td4，移动平台200就可以切换到第二高度模式412。
当以第二高度模式412运行时，当满足935处的条件时移动平台200可以切换到第一高度模式411。在935处，当视差122大于或等于第二视差阈值Td2并且移动平台200的高度121小于或等于第二高度阈值Th2时，移动平台200可以切换到第一高度模式411。在一个替代性实施方式中，当仅有移动平台200的高度121变成小于或等于第二阈值Th2时，移动平台200可以切换到第一高度模式411。
所述第二视差阈值Td2可以选自六十厘米(60cm)到八十厘米(80cm)的第二视差范围内的值并且优选为七十厘米(70cm)。所述第二高度阈值Th2可以选自二十五厘米(25cm)到六十五厘米(65cm)的第二高度范围内的值并且优选为四十五厘米(45cm)。
所述第二视差阈值Td2可以大于所述第一视差阈值Td1。第一和第二视差阈值Td1、Td2中的一者或二者可以大于第三和第四视差阈值Td3、Td4中的一者或二者。第一高度阈值Th1可以大于第二高度阈值Th2。第一和第二高度阈值Th1、Th2中的一者或二者可以大于第三和第四高度阈值Th3、Th4中的一者或二者。第三视差阈值Td3可以大于第四视差阈值Td4。第三和第四视差阈值Td3、Td4中的一者或二者可以大于第五和第六视差阈值Td5、Td6中的一者或二者。第六视差阈值Td6可以大于第五视差阈值Td5。
图9示出了用于对由两个镜头510a、510b所获取的、所感兴趣的物体598的两个立体图像520a、520b之间的双目视差加以认定的示例性方法700。可以用三角测量方法来认定图像520a与520b之间的视差d。确切而言，具有下标i的所感兴趣的物体598的、以其坐标(Xi，Yi，Zi)表示的位置可以如下给出：
其中cx和cy表示镜头510a和510b的中心O1、Or坐标，xi和yi对应地表示每个图像520a和520b中所感兴趣的物体598的坐标，T是基线(换言之，是镜头510a与510b的中心坐标之间的距离)，f是镜头510a和510b的矫正焦距，i是对多个所感兴趣的物体598的和/或对这个所感兴趣的物体598的多个特征点355(图10所示)的下标，并且d是图像520a与520b之间的双目视差，在此表示为：
基于图9的讨论，视差d可以通过使第二图像520b上的点Xr与第一图像520a上的点Xl相匹配来计算出，其中Xl是已知的要素。在图9中，出于展示的目的，仅列出了在第二图像520b上定位所述匹配点Xr的一个示例性实施方式。在图9中，IL表示第一图像520a，而IR表示同一所感兴趣的物体598的第二图像520b。第一图像520a上的点xi l可以是已知的，而第二图像520b上的匹配点xi r可以定义为与第一图像520a的点xl i“最相似”的点，这可以用以下等式表示：
d＝argmind|IL(xl)-IR(xl+d)|，等式(5)
其中d表示这两个镜头510a、510b的视差，IL指代第一图像520a，IR指代同一所感兴趣的物体598的第二图像520b，xl是第一图像520a的点xi l。
由于认定匹配准确性和视觉范围的可能匹配误差，视差d不能小于或大于某些预定值。在一个优选实施方式中，视差d大于5个像素并且小于第二图像520b的宽度的五分之一，所述第二图像可以与第一图像520a是相同大小。作为展示性实例，假设f＝480，T＝0.15m并且图像分辨率为320×240像素，则可以推导出1.5m至15.4m的有效视觉范围。
图10展示了用于使得第二图像520b的点与第一图像520a的对应点355相匹配的方法700的一个示例性实施方式。在图10中，从每个图像520a、520b中以对比点为中心获取一个三乘三像素块。当第一和第二图像520a和520b是彩色图像时，针对所述三乘三像素块的每个像素来比较色分量的值。相比之下，当图像520a和520b是黑白图像时，可以比较每个像素的灰度值。基于等式5，可以选择共九个像素中值差之和最小的点作为匹配点。可以在第一图像520a上的所有选定特征点上重复这个过程。
替代地，可以使用一种使用二进制稳健独立基元特征(“BRIEF”)描述符的方法来使得第二图像520b的点与第一图像520a的这个对应点355相匹配。在一个示例性实施方式中，可以通过比较第一图像520a的选定特征点周围的第一区域的每个点对的强度来建立表示所述第一区域的第一二进制串。所述第一二进制串可以是第一图像520a的选定特征点的第一BRIEF描述符。
类似地，可以通过比较第二图像520b的点355周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串。所述第二二进制串可以是第二BRIEF描述符。
第一图像520a的选定特征点与第二图像520b的点355之间的相似度可以通过比较所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离来计算。当所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离小于第一汉明阈值时可以确定所述第二图像520b的这个点355与所述第一图像520a的这个选定特征点是相匹配的。
现在转向图11，展示了用于通过所感兴趣的物体598的多个特征点355来获取视差d的方法700的一个示例性实施方式。在922处，可以选择所感兴趣的物体598的多个特征点355。这些特征点355可以使用多种不同方法中的一种或多种方法来选择出。在一个示例性实施方式中，这些特征点355可以是作为所感兴趣的物体598的预定形状来识别出的。在另一个实施方式中，这些特征点355可以是作为所感兴趣的物体598的具有特定颜色或强度的一个或多个部分来认出的。在另一个实施方式中，这些特征点355可以是作为所感兴趣的物体598的多个随机部分来选定的。在另一个实施方式中，这些特征点355可以是在所感兴趣的物体598上以规律的间隔来选定的，例如每个像素、每隔一个像素、每隔两个像素、每隔三个像素等。这些特征点355可以如所期望地采取变化的形状和大小。在一些实施方式中，可以使用以上公开的方法的组合来选择这些特征点355。
在924处，可以将这些选定特征点355从第一图像520a匹配到第二图像520b上。在一个优选实施方式中，匹配这些特征点355由图12中所示的两个过程构成。在图12中在924A处，可以选择出第一图像的特征点355。匹配点可以是从计算出的点开始并且沿着与镜头510a、510b的中心线平行的一条线来扫描出的。起始匹配点可以是基于第一图像520a上的这个点的坐标、方向和/或基线的长度来计算的。虽然优选地局限于沿着所述选定的线的仅一个方向，但可以在一个或多个预定方向上中的任何一个方向上进行扫描。
在924B处，在扫描每个点时，以上文参照图10所示出和详细描述的方式来计算出两个点之间的相似度，并且可以将具有与第一图像520a的这个特征点355的最小的差之和的、第二图像520b的点355选定为与选定特征点355相对应的匹配点。
回到图11，在926处可以找到这两个图像520a与520b的每个特征点355之间的特征视差d。可以使用多种方法中的任何一种方法来确定视差d。在一个实施方式中，可以基于这些特征点355中每个特征点的视差d的平均值来找到视差d。示例类型的平均值可以无限制地包括算术平均数、几何平均数、中值和/或模平均。在另一个实施方式中，视差d可以是通过选择这些特征点355中的一个或多个特征点并且基于这些选定的特征点355来获取视差d而找到的。
图13展示了用于确定移动平台200(图15所示)的操作模式的方法300的一个实施方式，其中可以针对基于高度等级的四种高度模式411-414(图4所示)中每一种高度模式来选择某些传感器360(图15所示)。在图13中，在320处可以检测出移动平台200的高度等级。例如，可以用上文参照图1、图5和图6所示出和描述的方式来检测出移动平台200的高度等级。在330处可以根据所检测到的高度等级来选择一个或多个传感器360，这些传感器360可以是针对所检测到的高度等级预先确定的。下文另外参照图14来示出和描述对传感器360的选择。在340处，可以获得用于操作所述移动平台的某项信息。所述信息可以包括例如：所述移动平台的高度、到物体288(图2所示)的距离、位移、速度等。
图14示出了方法300的一个替代性实施方式并且展示了针对图4的这四种高度模式中的每一种高度模式的传感器选择。在图14中，当移动平台200(图15所示)检测到高度在第一高度等级之内时，在321处可以选择第一高度模式411(图4所示)。当在321处移动平台200选择第一高度模式411时，在322处可以选择一个图像传感器363。在一个替代性实施方式中，当在321处选择了第一高度模式411时，可以选择一个图像传感器363和一个距离传感器361。例如，所述距离传感器361可以用来确定移动平台200与所感兴趣的物体288(图2所示)之间的距离。虽然出于展示的目的而仅示出和描述了选择一个距离传感器361和一个图像传感器363，但针对第一高度模式411替代地可以选择其他适合类型的传感器360。
本文描述的距离传感器361可以包括但不限于用于检查距离的超声波检测器和/或激光检测装置。
在图14中，移动平台200可以检测第二高度等级的运行高度。在检测到第二高度等级时，在323处移动平台200可以选择第二高度模式412(图4所示)。当在323处移动平台200选择第二高度模式412时，在324处可以选择至少两个图像传感器363(图15所示)。针对第二高度模式412选择的这些图像传感器363中的每一个图像传感器都可以具有第一分辨率。
移动平台200可以检测第三高度等级的运行高度。在检测到第二高度等级后，在325处移动平台200可以选择第三高度模式413(图4所示)。当在325处移动平台200选择第三高度模式413时，在326处可以选择至少两个图像传感器363。针对第三高度模式413选择的这些图像传感器363中的每一个图像传感器都可以具有第二分辨率。所述第二分辨率可以是增强分辨率、可以大于在第二高度模式412下使用的第一分辨率。
移动平台200可以检测第四高度等级的运行高度。在检测到第四高度等级后，在327处移动平台200可以选择第四高度模式414(图4所示)。当在327处移动平台200选择第四高度模式414时，在328处可以选择一个图像传感器363和一个高度传感器362。所述高度传感器362可以包括但不限于气压计251和/或全球定位系统(“GPS”)253(在图6中共同示出)。
图15示出了图2的移动平台的飞行操作系统400的另一个替代性实施方式，其中处理器910(图7所示)可以被配置成用于根据方法300(图13和图14所示)来选择一个或多个传感器360。转到图15，距离传感器361、高度传感器362以及一个或多个图像传感器363可以与所述处理器910相关联并且与之通信。如上文参照图14所描述的，距离传感器361可以包括但不限于超声波传感器252(图7所示)和/或激光检测装置。所述高度传感器362可以包括但不限于气压计251和/或全球定位系统(“GPS”)253(在图7中共同示出)。这些图像传感器363可以包括但不限于双目成像装置254(图2所示)。
在所述飞行操作系统400的一个优选实施方式中，处理器910可以被提供用于从这些传感器360获得测量值并处理这些测量值。此类测量值可以包括但不限于到物体288的距离(图2所示)、高度121和/或视差122(在图1中共同示出)。基于这些测量值，处理器910可以确定出可以选择哪种操作模式并且针对所选定的操作模式可以包括哪一个或哪些预定的传感器360。
所描述的这些实施方式会有不同的修改和替代形式，并且其具体示例已经通过举例示出在附图中并在此详细进行了描述。然而应理解的是，所描述的实施方式并不局限于所公开的具体形式或方法，而是相反，本公开将覆盖所有的修改、等效物以及替代方案。

Claims (90)

1.一种用于对移动平台的操作模式进行选择的方法，包括：
检测所述移动平台的高度等级；并且
根据所述检测的结果来对所述移动平台的操作模式进行选择。
2.如权利要求1所述的方法，其中所述检测高度等级包括确定所述移动平台的高度和/或从所述移动平台的所述视角得到的远处物体的第一图像与第二图像之间的视差。
3.如权利要求2所述的方法，其中所述确定包括经由气压计、超声波检测器和/或全球定位系统(“GPS”)来获得所述高度。
4.如权利要求2或权利要求3所述的方法，其中所述确定包括获取由与所述移动平台相关联的双目成像系统所捕捉的所述物体的所述第一图像与第二图像之间的所述视差。
5.如权利要求4所述的方法，进一步包括基于所述高度和/或所述视差的值来将所述操作模式分类。
6.如权利要求5所述的方法，进一步包括启动所述移动平台以第一高度模式来运行。
7.如权利要求6所述的方法，其中所述第一高度模式包括甚低海拔单目模式。
8.如权利要求7所述的方法，进一步包括提供所述移动平台的距离传感器以辅助所述甚低海拔单目模式。
9.如权利要求7或权利要求8所述的方法，其中所述对所述操作模式进行选择包括基于所述高度等级来切换所述操作模式，并且其中所述高度等级是基于所确定的高度和所确定的视差中的至少一者来确定的。
10.如权利要求6所述的方法，其中所述对所述操作模式进行选择包括当所述高度大于第一高度阈值时将所述移动平台切换至第二高度模式。
11.如权利要求6所述的方法，其中所述对所述操作模式进行选择包括当所述视差小于第一视差阈值时将所述移动平台切换至第二高度模式。
12.如权利要求6所述的方法，其中所述对所述操作模式进行选择包括当所述高度大于第一高度阈值并且所述视差小于第一视差阈值时将所述移动平台切换至第二高度模式。
13.如权利要求9至12中任一项所述的方法，其中所述将所述移动平台切换至第二高度模式包括选择具有第一分辨率的立体视觉模式。
14.如权利要求6至13中任一项所述的方法，其中所述对所述操作模式进行选择包括当所述视差小于或等于第三视差阈值时将所述移动平台切换至第三高度模式。
15.如权利要求14所述的方法，其中所述将所述移动平台切换至第三高度模式包括将双目成像装置切换至具有增强分辨率的立体视觉模式。
16.如权利要求14或权利要求15所述的方法，其中所述对所述操作模式进行选择包括当所述高度大于第三高度阈值时将所述移动平台切换至第四高度模式。
17.如权利要求14或权利要求15所述的方法，其中所述对操作模式进行选择包括当所述高度大于第三高度阈值并且所述视差小于第五视差阈值时将所述移动平台切换至第四高度模式。
18.如权利要求17所述的方法，其中所述将所述移动平台切换至第四高度模式包括将所述双目成像装置切换至与气压计、GPS和/或对所述移动平台与地平面之间的垂直距离的目测相组合的高海拔单目模式。
19.如权利要求16至18中任一项所述的方法，其中所述对所述操作模式进行选择包括当所述高度小于第四高度阈值时将所述移动平台切换至所述第三高度模式。
20.如权利要求16至18中任一项所述的方法，其中所述对所述操作模式进行选择包括当所述高度小于第四高度阈值并且所述视差大于第六视差阈值时将所述移动平台切换至所述第三高度模式。
21.如权利要求16至20中任一项所述的方法，其中所述对所述操作模式进行选择包括当所述视差大于第四视差阈值时将所述移动平台切换至所述第二高度模式。
22.如权利要求21所述的方法，其中所述对所述操作模式进行选择包括当所述高度小于第二高度阈值时将所述移动平台切换至所述第一高度模式。
23.如权利要求21所述的方法，其中所述对所述操作模式进行选择包括当所述高度小于第二高度阈值并且所述视差大于第二视差阈值时将所述移动平台切换至所述第一高度模式。
24.如权利要求23所述的方法，其中，
所述第二视差阈值大于所述第一视差阈值；
所述第一和第二视差阈值中的至少一者大于所述第三和第四视差阈值中的至少一者；
所述第三视差阈值大于所述第四视差阈值；
所述第三和第四视差阈值中的至少一者大于所述第五和第六视差阈值中的至少一者；并且
所述第六视差阈值大于所述第五阈值。
25.如权利要求23或权利要求24所述的方法，其中，
所述第一高度阈值大于所述第二高度阈值；
所述第三和第四高度阈值中的至少一者大于所述第一和第二高度阈值中的至少一者；并且
所述第三高度阈值大于所述第四阈值。
26.如权利要求25所述的方法，其中所述确定所述第一图像和第二图像的视差包括：
从所述第一图像中选择多个特征点；并且
使所述第一图像的所述特征点与所述第二图像的多个点相匹配。
27.如权利要求26所述的方法，其中所述特征点包括所述第一图像或所述第二图像的像素。
28.如权利要求26或权利要求27所述的方法，其中所述使得所述多个特征点相匹配包括：
扫描所述第二图像以识别出与所述第一图像的选定特征点相匹配的所述第二图像的点；并且
计算所述第一图像的所述选定特征点与所述第二图像的所述点之间的相似度。
29.如权利要求28所述的方法，其中所述计算相似度包括：
通过比较所述选定特征点周围的第一区域的每个点对的强度来建立表示所述区域的第一二进制串，以生成第一二进制稳健独立基元特征(“BRIEF”)描述符；
通过比较所述第二图像的所述点周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串，以生成第二BRIEF描述符；并且
在所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离小于第一汉明阈值时确定所述第二图像的所述点与所述选定特征点相匹配。
30.如权利要求28所述的方法，其中所述计算所述相似度包括将所述第一图像的所述选定特征点与以所述第二图像上的所述点为中心的三乘三像素区域进行比较。
31.如权利要求30所述的方法，其中所述比较包括对多个彩色图像的每个像素的每个色分量的差之和、或者多个黑白图像的每个像素的灰度值的差之和进行比较。
32.如权利要求31所述的方法，其中所述确定所述视差包括基于所述特征点的所述视差的平均值来获所述取视差。
33.如权利要求30至32中任一项所述的方法，其中所述确定所述视差包括选择一个或多个特征点并基于所述选定特征点的所述视差来获取所述视差。
34.一种用于选择移动平台的操作模式的系统，所述系统被配置成用于执行根据权利要求1至33中任一项所述的检测过程。
35.一种包括用于选择移动平台的操作模式的指令的计算机程序产品，所述计算机程序产品被配置成用于执行根据权利要求1至33中任一项所述的检测过程。
36.一种用于选择移动平台的操作模式的设备，包括：
与所述移动平台相关联的双目成像装置；以及
处理器，所述处理器被配置成用于：
检测所述移动平台的高度等级；并且
根据所述检测的结果来对所述移动平台的操作模式进行选择。
37.如权利要求36所述的设备，其中所述处理器被配置成用于确定所述移动平台的高度和/或从所述移动平台的所述视角得到的远处物体的第一图像与第二图像之间的视差。
38.如权利要求37所述的设备，进一步包括与所述移动平台相关联的压力计，以用于获得所述移动平台的高度。
39.如权利要求37或权利要求38所述的设备，进一步包括与所述移动平台相关联的超声波检测器，以用于获得所述移动平台的高度。
40.如权利要求39所述的设备，进一步包括与所述移动平台相关联的GPS，以用于获得所述移动平台的高度和/或位置。
41.如权利要求39或权利要求40所述的设备，其中所述处理器被配置成用于获取由与所述移动平台相关联的双目成像系统所捕捉的所述物体的所述第一图像与第二图像之间的视差。
42.如权利要求41所述的设备，其中所述移动平台的所述操作模式是基于高度值和/或所述视差值来分类的。
43.如权利要求42所述的设备，其中所述处理器被配置成用于启动所述移动平台以第一高度模式来运行。
44.如权利要求43所述的设备，其中所述第一高度模式包括甚低海拔单目模式。
45.如权利要求44所述的设备，其中提供了所述移动平台的距离传感器以辅助所述甚低海拔单目模式。
46.如权利要求44或权利要求45所述的设备，所述处理器被配置成用于基于所述高度等级来切换所述操作模式，并且其中所述高度等级是基于所确定的高度和所确定的视差中的至少一者来确定的。
47.如权利要求46所述的设备，其中所述处理器被配置成用于当所述高度大于第一高度阈值时切换至第二高度模式。
48.如权利要求47所述的设备，其中所述处理器被配置成用于当所述视差小于第一视差阈值时切换至第二高度模式。
49.如权利要求47所述的设备，其中所述处理器被配置成用于当所述高度大于第一高度阈值并且所述视差小于第一视差阈值时切换至第二高度模式。
50.如权利要求49所述的设备，其中所述第二高度模式包括具有第一分辨率的立体视觉模式。
51.如权利要求46至50中任一项所述的设备，其中所述处理器被配置成用于当所述视差小于或等于第三视差阈值时切换至第三高度模式。
52.如权利要求50或权利要求51所述的设备，其中所述第三高度模式是具有增强分辨率的立体视觉模式。
53.如权利要求46至52中任一项所述的设备，其中所述处理器被配置成用于当所述高度大于第三高度阈值时切换至第四高度模式。
54.如权利要求46至52中任一项所述的设备，其中所述处理器被配置成用于当所述高度大于第三高度阈值并且所述视差小于第五视差阈值时切换至第四高度模式。
55.如权利要求54所述的设备，其中所述第四高度模式是与气压计、GPS和/或对所述移动平台与地平面之间的垂直距离的目测相组合的高海拔单目模式。
56.如权利要求53至55中任一项所述的设备，其中所述处理器被配置成用于当所述高度小于第四高度阈值时切换至所述第三高度模式。
57.如权利要求53至55中任一项所述的设备，其中所述处理器被配置成用于当所述高度小于第四高度阈值并且所述视差大于第六视差阈值时切换至所述第三高度模式。
58.如权利要求56或权利要求57所述的设备，其中所述处理器被配置成用于当所述视差大于第四视差阈值时切换至所述第二高度模式。
59.如权利要求58所述的设备，其中所述处理器被配置成用于当所述高度小于第二高度阈值时切换所述第一高度模式。
60.如权利要求59所述的设备，其中所述处理器被配置成用于当所述高度小于第二高度阈值并且所述视差大于第二视差阈值时切换所述第一高度模式。
61.如权利要求60所述的设备，其中，
所述第二视差阈值大于所述第一视差阈值；
所述第一和第二视差阈值中的一者或二者大于所述第三和第四视差阈值中的一者或二者；
所述第三视差阈值大于所述第四视差阈值；
所述第三和第四视差阈值中的一者或二者大于所述第五和第六视差阈值中的一者或二者；并且
所述第六视差阈值大于所述第五阈值。
62.如权利要求60或权利要求61所述的设备，其中，
所述第一高度阈值大于所述第二高度阈值；
所述第三和第四高度阈值中的任意一者大于所述第一和第二高度阈值；并且
所述第三高度阈值大于所述第四阈值。
63.如权利要求36至62中任一项所述的设备，其中所述处理器被配置成用于确定无人飞行器(“UAV”)的所述高度以及来自所述UAV的所述视角的所述视差，并且
其中所述处理器被配置成用于根据所述确定来选择所述UAV的操作模式。
64.如权利要求63所述的设备，其中所述处理器被配置成用于在所述第一图像上选择多个特征点并且将所述第一图像的所述多个特征点与所述第二图像的多个点相匹配。
65.如权利要求64所述的设备，其中所述特征点包括所述第一图像或所述第二图像的像素。
66.如权利要求64或权利要求65所述的设备，其中所述视差为至少五个像素并且不大于所述第一图像或所述第二图像的宽度的五分之一。
67.如权利要求64至66中任一项所述的设备，其中所述处理器被配置成用于扫描所述第二图像以识别出与所述第一图像的选定特征点相匹配的所述第二图像的点、并且计算所述第一图像的所述选定特征点与所述点之间的相似度。
68.如权利要求67所述的设备，其中所述处理器被配置成用于：
通过比较所述选定特征点周围的第一区域的每个点对的强度来建立表示所述区域的第一二进制串，以生成第一二进制稳健独立基元特征(“BRIEF”)描述符；
通过比较所述第二图像的所述点周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串，以生成第二BRIEF描述符；并且
在所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离小于第一汉明阈值时确定所述第二图像的所述点与所述选定特征点相匹配。
69.如权利要求68所述的设备，其中所述相似度是通过将所述第一图像的所述选定特征点与以所述第二图像上的所述点为中心的三乘三像素区域进行比较来计算出的。
70.如权利要求69所述的设备，其中所述三乘三像素区域是以多个彩色图像的每个像素的每个色分量的差之和、或者多个黑白图像的每个像素的灰度值的差之和来进行比较的。
71.如权利要求70所述的设备，其中所述视差是基于所述特征视差的平均值来确定的。
72.如权利要求70或权利要求71所述的设备，其中所述处理器被配置成用于选择一个或多个特征点并基于所述选定特征点的所述特征视差来获取所述视差。
73.一种用于确定移动平台的操作模式的方法，包括：
检测所述移动平台的高度等级；
基于所述检测的结果来选择一个或多个传感器；并且
从所述选定的传感器获得测量值，
其中所述高度等级是选自一组四个高度等级。
74.如权利要求73所述的方法，其中所述选择所述一个或多个传感器包括在第一高度等级下选择一个图像传感器。
75.如权利要求73所述的方法，其中所述选择所述一个或多个传感器包括在第一高度等级下选择一个图像传感器和一个距离传感器。
76.如权利要求75所述的方法，其中所述距离传感器包括超声波检测器和/或激光检测装置。
77.如权利要求75或权利要求76所述的方法，其中所述选择所述一个或多个传感器进一步包括在第二高度等级下选择至少两个图像传感器，
其中所述至少两个图像传感器具有第一分辨率。
78.如权利要求77所述的方法，其中所述选择所述一个或多个传感器进一步包括在第三高度等级下选择具有第二分辨率的至少两个图像传感器，所述第二分辨率是增强分辨率。
79.如权利要求78所述的方法，其中所述第二分辨率大于所述第一分辨率。
80.如权利要求79所述的方法，其中所述选择所述一个或多个传感器进一步包括在第四高度等级下选择一个图像传感器和一个高度传感器。
81.如权利要求80所述的方法，其中所述高度传感器包括气压计和/或全球定位系统(“GPS”)。
82.一种移动平台的飞行操作系统，包括：
用于检测所述移动平台的高度等级的高度传感器；
处理器，所述处理器被配置成基于所检测到的高度等级来选择一个或多个传感器并且从所述选定的传感器获得测量值，
其中所述高度等级是选自一组四个高度等级。
83.如权利要求82所述的方法，其中所述处理器被配置成用于在第一高度等级下选择一个图像传感器。
84.如权利要求82所述的方法，其中所述处理器被配置成用于在第一高度等级下选择一个图像传感器和一个距离传感器。
85.如权利要求83或权利要求84所述的方法，其中所述高度传感器包括距离传感器，并且其中所述距离传感器包括超声波检测器和/或激光检测装置。
86.如权利要求84或权利要求85所述的方法，其中所述处理器被配置成用于在第二高度等级下选择至少两个图像传感器，
其中所述至少两个图像传感器具有第一分辨率。
87.如权利要求86所述的方法，其中所述处理器被配置成用于在第三高度等级下选择具有第二分辨率的至少两个图像传感器，所述第二分辨率是增强分辨率。
88.如权利要求87所述的方法，其中所述第二分辨率大于所述第一分辨率。
89.如权利要求88所述的方法，其中所述处理器被配置成用于在第四高度等级下选择一个图像传感器和一个高度传感器。
90.如权利要求89所述的方法，其中所述高度传感器包括气压计和/或全球定位系统(“GPS”)。
CN201580081258.1A 2015-06-26 2015-06-26 用于选择移动平台的操作模式的系统和方法 Active CN107710091B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/082524 WO2016206107A1 (en) 2015-06-26 2015-06-26 System and method for selecting an operation mode of a mobile platform

Publications (2)

Publication Number Publication Date
CN107710091A true CN107710091A (zh) 2018-02-16
CN107710091B CN107710091B (zh) 2021-07-16

Family

ID=57584399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081258.1A Active CN107710091B (zh) 2015-06-26 2015-06-26 用于选择移动平台的操作模式的系统和方法

Country Status (7)

Country Link
US (2) US10730618B2 (zh)
EP (2) EP3195076B1 (zh)
JP (1) JP6666245B2 (zh)
CN (1) CN107710091B (zh)
DK (1) DK3195076T3 (zh)
ES (1) ES2865491T3 (zh)
WO (1) WO2016206107A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109238225A (zh) * 2018-09-03 2019-01-18 浙江大丰实业股份有限公司 移动式车台实时高度监护平台
CN110888441A (zh) * 2019-11-29 2020-03-17 广州乐比计算机有限公司 一种基于陀螺仪的轮椅车控制系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
WO2018139879A1 (en) 2017-01-25 2018-08-02 Samsung Electronics Co., Ltd. Method and apparatus for determining stereoscopic multimedia information
CN106814744A (zh) * 2017-03-14 2017-06-09 吉林化工学院 一种无人机飞行控制系统以及方法
US11048273B2 (en) * 2018-06-08 2021-06-29 Textron Innovations Inc. System and method for rotorcraft height control

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US20040189796A1 (en) * 2003-03-28 2004-09-30 Flatdis Co., Ltd. Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101692283A (zh) * 2009-10-15 2010-04-07 上海大学 无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法
CN102708379A (zh) * 2012-05-09 2012-10-03 慈溪思达电子科技有限公司 一种立体视觉的遮挡像素分类算法
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103559734A (zh) * 2013-10-17 2014-02-05 中国科学院自动化研究所 双目成像三维视觉系统装置及控制方法
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN103809598A (zh) * 2014-03-12 2014-05-21 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
US20140225887A1 (en) * 2013-02-11 2014-08-14 EchoPixel, Inc. Graphical system with enhanced stereopsis
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法
US20150077516A1 (en) * 2013-09-19 2015-03-19 Airbus Operations Gmbh Provision of stereoscopic video camera views to aircraft passengers
CN104635743A (zh) * 2013-11-13 2015-05-20 中国电子科技集团公司第二十七研究所 一种高速无人机超低空全程自主飞行控制系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3743221A (en) * 1970-04-09 1973-07-03 Lear Siegler Inc Aircraft flight control apparatus
DE19633868A1 (de) * 1996-08-16 1998-04-23 Deutsch Zentr Luft & Raumfahrt Stereokamera für die Photogrammetrie
JP4017448B2 (ja) * 2002-06-14 2007-12-05 財団法人くまもとテクノ産業財団 自律飛行カイトプレーンシステムおよびカイトプレーン制御装置
JP4532318B2 (ja) * 2005-03-25 2010-08-25 ヤマハ発動機株式会社 無人ヘリコプタ
DE102005046045A1 (de) 2005-09-27 2007-03-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung mindestens eines Objektdetektionssensors
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
US7808617B2 (en) 2007-09-17 2010-10-05 Quality Vision International, Inc. Dual resolution, dual range sensor system and method
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
JP2010208501A (ja) * 2009-03-10 2010-09-24 Mitsubishi Heavy Ind Ltd 無人航空機及び無人航空機システム
CN101807080B (zh) * 2010-03-16 2011-11-16 浙江大学 架空线路巡检机器人飞艇控制系统及其控制方法
US20110228074A1 (en) * 2010-03-22 2011-09-22 Parulski Kenneth A Underwater camera with presssure sensor
CN102541054A (zh) * 2010-12-20 2012-07-04 西安韦德沃德航空科技有限公司 无人机用组合高度控制方法及系统
JP5859300B2 (ja) * 2011-12-19 2016-02-10 三菱重工業株式会社 制御装置及び方法並びにプログラム
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
JP6151902B2 (ja) * 2012-09-20 2017-06-21 株式会社トプコン 写真計測用カメラ及び航空写真装置
US8948935B1 (en) * 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
US20150100182A1 (en) * 2013-10-04 2015-04-09 Shouqin Zhu Method for fighter takeoff and landing within ultra-short distance (ultra-stol)
JP2015101198A (ja) * 2013-11-25 2015-06-04 トヨタ自動車株式会社 移動体
CN104238580B (zh) * 2014-09-30 2017-05-10 中国航天空气动力技术研究院 一种应用于无人机航空物探的低空飞行控制方法
CN107409205B (zh) * 2015-03-16 2020-03-20 深圳市大疆创新科技有限公司 用于焦距调节和深度图确定的装置和方法
US10587790B2 (en) * 2015-11-04 2020-03-10 Tencent Technology (Shenzhen) Company Limited Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
US10232940B2 (en) * 2016-09-09 2019-03-19 Wing Aviation Llc Methods and systems for raising and lowering a payload

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US20040189796A1 (en) * 2003-03-28 2004-09-30 Flatdis Co., Ltd. Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101692283A (zh) * 2009-10-15 2010-04-07 上海大学 无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法
CN102708379A (zh) * 2012-05-09 2012-10-03 慈溪思达电子科技有限公司 一种立体视觉的遮挡像素分类算法
US20140225887A1 (en) * 2013-02-11 2014-08-14 EchoPixel, Inc. Graphical system with enhanced stereopsis
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
US20150077516A1 (en) * 2013-09-19 2015-03-19 Airbus Operations Gmbh Provision of stereoscopic video camera views to aircraft passengers
CN103559734A (zh) * 2013-10-17 2014-02-05 中国科学院自动化研究所 双目成像三维视觉系统装置及控制方法
CN104635743A (zh) * 2013-11-13 2015-05-20 中国电子科技集团公司第二十七研究所 一种高速无人机超低空全程自主飞行控制系统
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN103809598A (zh) * 2014-03-12 2014-05-21 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
STEPHAN SCHRAML: "Dynamic Stereo Vision System for Real-time Tracking", 《IEEE INTERNATIONAL SYMPOSIUM CIRCUITS AND SYSTEMS》 *
张淑琴: "《空间交会对接测量技术及工程应用》", 31 October 2005, 中国宇航出版社 *
李源哲: "基于嵌入式linux 的无人机双目视觉系统", 《声学与电子工程》 *
潘翔: "基于视觉着陆的无人机俯仰角与高度估计", 《浙江大学学报(工学版)》 *
程磊: "《移动机器人系统及其协调控制》", 31 March 2014, 华中科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109238225A (zh) * 2018-09-03 2019-01-18 浙江大丰实业股份有限公司 移动式车台实时高度监护平台
CN109238225B (zh) * 2018-09-03 2021-02-05 浙江大丰实业股份有限公司 移动式车台实时高度监护平台
CN110888441A (zh) * 2019-11-29 2020-03-17 广州乐比计算机有限公司 一种基于陀螺仪的轮椅车控制系统
CN110888441B (zh) * 2019-11-29 2023-04-07 广州乐比计算机有限公司 一种基于陀螺仪的轮椅车控制系统

Also Published As

Publication number Publication date
WO2016206107A1 (en) 2016-12-29
JP2017522621A (ja) 2017-08-10
DK3195076T3 (da) 2021-03-22
US11465743B2 (en) 2022-10-11
ES2865491T3 (es) 2021-10-15
EP3195076A4 (en) 2018-06-06
CN107710091B (zh) 2021-07-16
EP3195076A1 (en) 2017-07-26
US20180105269A1 (en) 2018-04-19
US10730618B2 (en) 2020-08-04
EP3195076B1 (en) 2021-01-20
US20200354058A1 (en) 2020-11-12
JP6666245B2 (ja) 2020-03-13
EP3806038A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
Bai et al. Smart guiding glasses for visually impaired people in indoor environment
CN107710091A (zh) 用于选择移动平台的操作模式的系统和方法
EP3321888B1 (en) Projected image generation method and device, and method for mapping image pixels and depth values
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
EP3158731B1 (en) System and method for adjusting a baseline of an imaging system with microlens array
US20100045701A1 (en) Automatic mapping of augmented reality fiducials
US10760907B2 (en) System and method for measuring a displacement of a mobile platform
WO2014073670A1 (ja) 画像処理方法及び画像処理装置
Ruotsalainen et al. Heading change detection for indoor navigation with a smartphone camera
Caldini et al. Smartphone-based obstacle detection for the visually impaired
Tao et al. Automated processing of mobile mapping image sequences
Hu et al. Overview of underwater 3D reconstruction technology based on optical images
Stefańczyk et al. Multimodal segmentation of dense depth maps and associated color information
Zhao et al. Geometrical-analysis-based algorithm for stereo matching of single-lens binocular and multi-ocular stereovision system
US9792701B2 (en) Method and system for determining a relation between a first scene and a second scene
Skulimowski et al. Door detection in images of 3d scenes in an electronic travel aid for the blind
JP6867465B2 (ja) モバイルプラットフォームの動作モードを選択するシステム及び方法
JP5409451B2 (ja) ３次元変化検出装置
JP2017146907A (ja) 目標物検知装置、処理方法、プログラム
Sujith et al. Computer Vision-Based Aid for the Visually Impaired Persons-A Survey And Proposing New Framework
CN113923437A (zh) 信息显示方法及其处理装置与显示系统
Pełczyński et al. Motion vector estimation of a stereovision camera with inertial sensors
Wang et al. Vision-aided inertial navigation using three-view geometry
She et al. Considering spherical refraction in visual ocean gas release quantification
Li Vision-based navigation with reality-based 3D maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant