CN111052028B - 用于自动水面和天空检测的系统和方法 - Google Patents

用于自动水面和天空检测的系统和方法 Download PDF

Info

Publication number
CN111052028B
CN111052028B CN201880055225.3A CN201880055225A CN111052028B CN 111052028 B CN111052028 B CN 111052028B CN 201880055225 A CN201880055225 A CN 201880055225A CN 111052028 B CN111052028 B CN 111052028B
Authority
CN
China
Prior art keywords
image
sky
water surface
movable object
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880055225.3A
Other languages
English (en)
Other versions
CN111052028A (zh
Inventor
周游
蔡剑钊
唐克坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111052028A publication Critical patent/CN111052028A/zh
Application granted granted Critical
Publication of CN111052028B publication Critical patent/CN111052028B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
    • B64U30/296—Rotors with variable spatial positions relative to the UAV body
    • B64U30/297—Tilting rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

公开了用于处理图像以检测一个或多个图像中的水面(404)和/或天空(402)的系统和方法。在一些实施例中，该系统和方法可以获得图像(902)的图像信息，并且基于分类模型(906)确定图像信息是否表示天空(402)。在一些实施例中，该系统和方法可以检测第一图像(602)中的第一边缘线(504)，检测第二图像(604)中的第二边缘线(504)，以及基于将第一边缘线和第二边缘线(504)之间的差异与阈值(606)进行比较来检测图像中的水面(404)。根据另外的实施例，该系统和方法可以检测图像是否包括水面(404)或天空(402)，以及如果包括水面(404)或天空(402)，则基于是否检测到水面(404)或天空(402)来确定用于可移动物体(10)的移动参数。

Description

用于自动水面和天空检测的系统和方法
技术领域
本发明总体涉及改进的计算机视觉和图像处理技术，并且更具体地涉及可以被用于对图像中的不富含纹理的对象(例如，与描绘水面或天空区域的图像区域相对应)进行改进的检测的系统和方法。
背景技术
诸如无人飞行器(UAV)(有时也被称为“无人机”)之类的可移动物体，包括可以被用户远程操作和/或被编程用于自动飞行的具有各种尺寸和配置的无人驾驶飞行器。可移动物体可以被用于许多目的且通常被用于广泛的个人应用、商业应用和战术应用。例如，可移动物体可以具体用于监视、国防和专业的摄影技术产业等，并且也很受业余爱好者的欢迎，并且被用于娱乐目的。
在许多应用中，可移动物体可以配备有用于执行各种任务的辅助设备。例如，辅助设备可以包括成像设备(例如，一个或多个相机、摄像机等)，其捕捉难以捕捉、实际不太可能捕捉或仅以其他方式不太可能捕捉的图像或视频镜头。可移动物体可以使用计算机视觉或其他图像信号处理技术来分析这些捕捉的图像，以检测图像中的对象和/或完成重要的导航任务(例如，制动、悬停、避开目标等)。如本文所使用的，“可移动物体”可以是能够在真实空间中移动的任何物理设备；图像中的“对象”可以对应于图像中所描绘的至少一个可识别的区域或特征，例如，图像中的与人、动物、无生命的对象或对象的群组、特定地形或地势(例如，山川、河流、太阳等)、更大对象的特征等相对应的可识别的区域。
可移动物体经常使用传统的立体视觉技术来分析捕捉的图像。例如，可移动物体可以使用两个或更多个相机来在第一时间实例处捕捉场景的第一图像集合并且在第二时间实例处捕捉该场景的第二图像集合。该场景可以是通过相机可以检测到且可以在捕捉的图像中描绘的任何输入。可移动物体可以基于第一图像集合和第二图像集合的比较以及已知的相机位置，来计算用于该场景的立体图形深度图。可移动物体可以使用已计算的深度图来进一步计算与可移动物体和/或捕捉的图像中的对象相对应的一个或多个状态信息参数(例如，速度、位置、方向等)，例如，以促进由可移动物体执行的导航任务。
然而，当可移动物体使用传统的立体视觉技术来分析捕捉的图像以完成导航任务时，存在一些缺点。这些缺点通常是因为传统的技术在捕捉的图像是富含纹理的假设(即，假设图像富含颜色、对比度、亮度、锐度等)下操作所引起的，该纹理提供图像中的不同对象之间的明显的区别。因此，使用传统的立体视觉技术来捕捉带有不富含纹理的对象和特征的场景(例如，水面或天空的区域)的图像的可移动物体可能计算错误的深度图，导致了完成导航任务所需要的视觉里程计(visual odometry)参数的错误的计算。这些错误的深度图可能导致不希望的结果(例如，可移动物体坠毁、过早制动、不稳定地悬停等)。
存在针对改进的计算机视觉技术的需求，例如，所述改进的计算机视觉技术可以被用在可移动物体中，用于检测捕捉的图像的场景中的不富含纹理的对象和特征。计算机视觉技术应该适于在大量的计算机视觉应用中使用，包括但不限于UAV、对象和模式识别、机器学习、材料分析、农业分析、食品分析、机器人技术、自主驾驶、以及将从检测场景和/或图像中的不富含纹理的对象中获益的任何其他系统。
发明内容
本发明通过提供可以在计算机视觉系统中使用的系统和方法，克服了现有技术的缺点，所述计算机视觉系统包括但不限于可移动物体(例如，飞行器和飞行平台、UAV、汽车、船舶和机器人)中的这些系统。与现有实施方式不同，所公开的实施例可以检测捕捉的图像的场景中的不富含纹理的对象(例如，图像中的与水面或天空的区域相对应的对象)。所公开的实施例使用立体视觉(例如，通过使可移动物体能够正确地计算深度图并成功地完成导航技术(例如，制动、悬停、避开目标等))改进了已有的系统和技术。所公开的系统和技术也可以减少令人不快的导航，例如，坠毁、过早制动、不稳定的悬停等。
在某些所公开的实施例中，用于处理图像信息的系统和方法可以被用于检测图像中所描绘的天空(或其一部分)。例如，这些实施例可以包括：存储由处理器执行的指令的一个或多个存储器设备；以及，一个或多个处理器，所述一个或多个处理器被耦接至存储器设备并操作用于执行所述指令。所公开的实施例可以获得图像信息或使用系统内部或外部的一个或多个相机来捕捉这些图像信息。在一些实施例中，例如，该系统可以通过从数据库获取图像信息来获得图像信息。所获得的图像信息可以包括表示图像的内容(例如，像素信息指示值(例如，红绿蓝(RGB)值，指示图像中的每个像素的颜色))的数据。像素信息值也可以包括用于提供图像的纹理的局部二进制模式(LBP)值。其他值(例如，每个像素的亮度、像素的数量、每个像素的位置等)也可以被包括在图像信息中。
在一些实施例中，该系统可以被配置为：基于分类模型来确定图像信息是否表示和/或包括天空(或其一部分)。分类模型可以使用机器学习原理(例如，监督学习、半监督学习和/或无监督学习)来构建。为了训练分类模型以检测天空，该系统可以被配置为使用训练参数，例如，与图像中的像素相对应的RGB值、局部二进制模式值、亮度值等。
另外，所公开的用于处理图像信息的实施例、系统和方法可以被用于检测第一图像和第二图像中的水面(或其一部分)。例如，这些实施例可以包括：存储由处理器执行的指令的一个或多个存储器设备；以及一个或多个处理器，所述一个或多个处理器被耦接至存储器设备并操作用于执行所述指令。在一些所公开的实施例中，一个或多个处理器可以被配置为执行指令以：基于第一图像信息来检测第一图像中的第一边缘线，以及还基于第二图像信息来检测第二图像中的第二边缘线。每个边缘线可以是直的或弯曲的线、路径、或可以在第一图像和第二图像中检测到的其他边界。在一些实施例中，第一边缘线和第二边缘线可以与第一图像和第二图像二者中所描绘的相同的物体或特征相对应，即，第一图像中检测到的第一边缘线可以与第二图像中检测到的第二边缘线对应于相同的边缘线。在一些实施例中，为了检测边缘线，一个或多个处理器可以被配置为：检测图像中的第一边缘点和第二边缘点(例如，边缘线的端点或可以位于边缘线上的其他可识别的点)，以及将第一边缘点和第二边缘点之间的关系与预定关系进行比较。例如，第一边缘点和第二边缘点之间的关系可以是第一边缘点和第二边缘点之间的距离和/或第一边缘点和第二边缘点之间的可以被确定的任何其他差异。在一些实施例中，所述一个或多个处理器可以被配置为：将第一图像叠加到第二图像之上，以将第一边缘点和第二边缘点之间的关系与预定关系进行比较。
根据某些所公开的实施例，系统和方法可以被用于处理图像中的图像信息，以确定可移动物体的移动。例如，这些实施例可以包括：存储由处理器执行的指令的一个或多个存储器设备；以及一个或多个处理器，该一个或多个处理器被耦接至存储器设备并操作用于执行所述指令。一个或多个处理器可以被配置为执行指令以：基于图像中的图像信息来检测图像是否包括水面或天空。在一些实施例中，一个或多个处理器可以被配置为：响应于在图像中检测到水面或天空，从用于计算深度图的多种技术之中确定技术。在一些实施例中，所确定的技术可以被配置为：修改用于图像中的与已检测到的水面或天空相对应的区域中的像素的代价参数或其他度量，例如，将代价参数或其他度量设置为等于该区域中的预定值。例如，如果已检测到的水面或天空被确定为具有小于阈值量的纹理，则代价参数或其他度量可以被修改。一个或多个处理器可以使用所生成的深度图来确定用于可移动物体的移动参数。
例如，上文提到的多种技术可以包括例如在构建用于图像的深度图时映射类似相邻像素的一种或多种类型的全局匹配、半全局匹配或其他技术。在一些实施例中，一个或多个处理器可以被配置为：如果已检测到天空，则确定要使用第一特定技术(例如，全局匹配)来创建深度图；以及如果已检测到水面，则使用第二特定技术(例如，半全局匹配)来创建深度图。在使用半全局匹配的一些实施方式中，多个代价参数可以指示像素沿着到相邻像素的每个路径的代价。在一些实施例中，将像素的代价参数设置为指示像素处于具有很少纹理或没有纹理的区域中的值，可以允许所述系统和方法在生成深度图时忽略与已检测到的纹理不足的水面或天空相对应的图像信息。在这些实施例中，用于生成深度图的技术可以替代地使用与已检测到的纹理不足的水面或天空的区域相对应的像素周围的或以其他方式相同地临近该像素的像素的已计算的深度，来内插或以其他方式估计低纹理区域中的那些像素的深度。
此外，在图像包含(例如，与示出晴朗的天空、清澈的水、反射晴朗的天空的镜面等的区域相对应的)低纹理区域的一些实施例中，所公开的系统和方法可以修改或改变可移动物体的着陆策略和/或视觉里程计计算策略。例如，当可移动物体正在飞行或悬停时(例如，基于从可移动物体上的至少一个传感器或相机捕捉的图像)检测到水面位于该可移动物体下方时，可移动物体可以改变其着陆策略，以保证其继续飞行或悬停和/或向用户警告下方的水面。在一些实施例中，可移动物体可以改变至少一个里程计计算策略，例如，使得其可以计算其位置和朝向中的至少一个，而无需使用从安装在可移动物体下方或以其他方式指向可移动物体下方的传感器或相机接收的图像数据。
根据某些实施例，所公开的系统和方法可以被用于处理图像中的图像信息，以调整用于可移动物体的导航策略。例如，这些实施例可以包括：存储由处理器执行的指令的一个或多个存储器设备；以及一个或多个处理器，该一个或多个处理器被耦接至存储器设备并操作用于执行所述指令。所公开的实施例可以基于图像中的图像信息来检测图像是否包括水面或天空。此外，响应于检测到图像包括水面或天空，所公开的实施例可以基于是否已经检测到水面和/或天空来选择导航策略。例如，如果所公开的实施例检测到水面，则可移动物体可以采用使可移动物体可以保持飞行或悬停在水面上方的导航策略(例如，着陆策略)。所公开的实施例也可以响应于在图像中检测到水面或天空，执行无需使用深度图的视觉里程计计算。例如，如果所公开的实施例检测到可移动物体下方的水面，则所公开的实施例可以执行无需使用深度图的一个或多个视觉计算，和/或可以忽略从已检测到的水面的区域中的图像信息导出的里程计计算，以增强飞行和悬停稳定性。
所公开的实施例的方面可以包括存储软件指令的非暂时性有形计算机可读介质，该软件指令当由一个或多个处理器执行时，被配置用于且能够实施和执行根据所公开的实施例的方法、操作等中的一个或多个。要理解的是，上文的总体描述和下文的详细描述仅是示例性和解释性的，而不是对本文阐述的权利要求的限制。
附图说明
合并在说明书中并且构成其一部分的附图示出所公开的实施例，并连同描述一起用于解释所公开的实施例。在附图中：
图1是根据所公开的实施例可以使用的被配置为与示例性第二物体进行通信的示例性可移动物体的示意图；
图2是根据所公开的实施例可以使用的示例性控制系统的示意框图；
图3是根据所公开的实施例可以使用的示例性飞行控制模块的示意框图；
图4是根据所公开的实施例可以在可移动物体在示例性环境中移动时由该可移动物体使用的示例性图像捕捉过程的图：
图5A是根据所公开的实施例可以使用的示例性边缘线的示意图；
图5B是根据所公开的实施例可以基于边缘线形成的示例性区域的示意图；
图6是根据所公开的实施例可以使用的示例性水面检测过程的流程图；
图7是根据所公开的实施例可以使用的示例性边缘线检测过程的流程图；
图8是根据所公开的实施例可以使用的示例性区域检测过程的流程图；
图9是根据所公开的实施例可以使用的示例性天空检测过程的流程图；以及
图10是根据所公开的实施例可以使用的示例性的水或天空检测过程的流程图。
具体实施方式
以下详细描述参照附图。在可能的任何地方，在附图和以下描述中使用相同的附图标记指代相同或相似的部分。虽然在本文描述了若干个说明性实施例，但修改、调整和其他实现是可能的。例如，可以对附图中示出的部件做出替换、增加或修改，并且可以通过替换、重新排序、删除或增加用于所公开的方法的步骤来修改本文描述的说明性方法。因此，下文中的详细描述不限于所公开的实施例和示例。相反，适当的范围由所附权利要求定义。
图1示出可以被配置为在环境中移动的示例性可移动物体10。可移动物体10可以是被配置为在合适的介质(例如，表面、空气、水、一个或多个轨道、空间、地下等)之上或之中行进的任何合适的物体、设备、机构、系统或机器。例如，可移动物体10可以是无人飞行器(UAV)。虽然出于对该描述的示例性目的在本文将可移动物体10示出和描述为UAV，但要理解的是，其他类型的可移动物体(例如，轮式物体、航海物体、机车物体，其他航空物体、航空器、航空平台、自主交通工具、船、机器人等)也可以或备选地在与本公开一致的实施例中使用。如本文所使用的，术语UAV可以指航空设备，所述航空设备被配置为被自动操作和/或控制(例如，经由电子控制系统)和/或由外部人员手动操作和/或控制。
可移动物体10可以包括壳体11、一个或多个推进组件12、以及搭载物14(例如，一个或多个相机系统)。在一些实施例中，如图1中所示，搭载物14可以通过承载件16被连接至或被附接至可移动物体10，承载件16可以允许搭载物14和可移动物体10之间的一个或多个自由度的相对移动。在其他实施例中，搭载物14可以被直接安装到可移动物体10而无需承载件16。可移动物体10也可以包括电力存储设备18、通信设备20、以及与其他部件通信的电子控制单元22。在一些实施例中，电力存储设备18、通信设备20、以及电子控制单元22中的一个或多个可以被包括在控制系统23中。控制系统23可以被配置为控制可移动物体10的多个系统或功能。备选地，控制系统23可以专用于控制单个系统或功能的子集。例如，控制系统23可以是或可以包括UAV的飞行控制系统，飞行控制系统允许用于控制搭载物14的方法。
可移动物体10可以包括被设置在各个位置(例如，可移动物体10的顶部、侧面、前部、后部和/或底部)的用于推进和操纵可移动物体10的一个或多个推进组件12。虽然在图1中仅示出两个示例性推进组件12，但要了解，可移动物体10可以包括任意数量的(例如，1、2、3、4、5、10、15、20个等)推进组件。推进组件12可以是操作用于生成用于维持受控飞行的力的设备或系统。推进组件12可以共享至少一个电源或可以各自单独地包括至少一个电源(例如，一个或多个电池、燃料电池、太阳能电池等、或其组合)。每个推进组件12也可以包括(例如，电机、引擎或涡轮机之中的)一个或多个旋转部件24，旋转部件24被耦接至电源且被配置为参与用于维持受控飞行的力的生成。例如，旋转部件24可以包括转子、推进器、叶片等，其可以在轴、轮轴、轮或被配置为传递来自电源的电力的其他部件或系统上驱动或由它们驱动。推进组件12和/或旋转部件24可以是相对于彼此和/或相对于可移动物体10可调整的(例如，可倾斜的)。备选地，推进组件12和旋转部件24可以具有相对于彼此和/或可移动物体10固定的朝向。在一些实施例中，每个推进组件12可以具有相同的类型。在其他实施例中，推进组件12可以具有多种不同的类型。在一些实施例中，所有的推进组件12可以被一致地控制(例如，全部以相同的速度和/或角度)。在其他实施例中，例如，可以针对速度和/或角度独立控制一个或多个推进设备。
推进组件12可以被配置为：在一个或多个竖直方向和水平方向上推进可移动物体10，并且允许可移动物体10围绕一个或多个轴线旋转。即，推进组件12可以被配置为：提供用于产生和保持可移动物体10的平移和旋转移动的升力和/或推力。例如，推进组件12可以被配置为：使可移动物体10能够达到和保持期望的高度，提供用于所有方向上的移动的推力，并且提供对可移动物体10的操纵。在一些实施例中，推进组件12可以使可移动物体10能够执行竖直起飞和着陆(即，没有水平推力的起飞和着陆)。在其他实施例中，可移动物体10可能需要恒定的最小水平推力，以实现和维持飞行。推进组件12可以被配置为：使可移动物体10能够沿着和/或围绕多个轴线移动。
搭载物14可以包括一个或多个传感设备19(例如，图1中所示的示例性传感设备19)。传感设备19可以包括成像系统25。传感设备19可以包括用于收集或生成数据或信息(例如，测量、跟踪和捕捉目标(例如，物体、景观、相片或视频拍摄的主体等)的图像或视频)的设备。传感设备19可以包括一个或多个成像设备，所述成像设备被配置为采集可以被用于生成图像的数据。例如，成像设备可以包括照相机(例如，模拟、数字等)、摄像机、红外线成像设备、紫外线成像设备、x射线设备、超声成像设备、雷达设备、双目相机等。在一些实施例中，传感设备19可以包括如在下文进一步描述的相机和多个带通滤波器的一维或多维阵列。传感设备19也可以包括用于捕捉音频数据的设备(例如，麦克风或超声检测器)。传感设备19也可以或备选地包括用于捕捉视觉、声音和/或电磁信号的其他合适的传感器。
承载件16可以包括一个或多个设备，所述一个或多个设备被配置为固持搭载物14和/或允许相对于可移动物体10调整(例如，旋转)搭载物14。例如，承载件16可以是云台。如下文所述，承载件16可以被配置为允许搭载物14围绕一个或多个轴线旋转。在一些实施例中，承载件16可以被配置为：允许围绕每个轴线进行360°的旋转，以允许对搭载物14的视角的更大的控制。在其他实施例中，承载件16可以将搭载物14围绕其轴线中的一个或多个轴线旋转的范围限制为小于360°(例如，≤270°、≤210°、≤180°、≤120°、≤90°、≤45°、≤30°、≤15°等)。
通信设备20可以被配置为：实现数据、信息、命令(例如，飞行命令、用于操作搭载物14的命令等)、和/或电子控制单元22和外部实体之间的其他类型的信号的通信。通信设备20可以包括被配置为发送和/或接收信号的一个或多个部件(例如，被配置为执行单向或双向通信的接收器、发射器或收发器)。通信设备20的部件可以被配置为：经由一个或多个通信网络(例如，被配置用于WLAN、无线电、蜂窝(例如，WCDMA，LTE等)、WiFi、RFID等的网络)，并且使用一个或多个无线通信协议(例如，IEEE 802.15.1、IEEE 802.11等)和/或可用于发送指示数据、信息、命令、控制的信号和/或其他信号的其他类型的通信网络或协议与外部实体进行通信。通信设备20可以被配置为：实现与提供用于在飞行期间控制可移动物体10的用户输入的用户输入设备(例如，控制终端(例如，遥控器)或其他静止、移动或手持式控制设备)的通信。例如，通信设备20可以被配置为：与第二物体26通信，第二物体26可以是用户输入设备或能够与可移动物体10进行信号接收和/或发送的任何其他设备。
第二物体26可以是被配置为经由通信设备20与可移动物体10通信的静止设备、移动设备或另一种类型的设备。例如，在一些实施例中，第二物体26可以是另一个可移动物体(例如，另一个UAV)、计算机、终端、用户输入设备(例如，遥控器设备)等。第二物体26可以包括被配置为实现与可移动物体10(例如，与通信设备20)或其他物体的无线通信的通信设备28。通信设备28可以被配置为从通信设备20接收数据和信息，例如，涉及例如位置数据、速度数据、加速度数据、传感数据(例如，成像数据)、以及其他数据和信息等的操作数据，以及涉及可移动物体10、其部件和/或其周围环境的数据和信息。在一些实施例中，第二物体26可以包括控制特征(例如，控制杆、按钮、触摸屏设备、显示器等)。在一些实施例中，第二物体26可以具体化为电子通信设备，例如，具有虚拟控制特征(例如，图形用户界面、应用等)的智能电话或平板计算机。
图2示出根据所公开的实施例的示例性控制系统23和第二物体26的示意框图。控制系统23可以包括电力存储设备18、通信设备20和电子控制单元22等。第二物体26可以包括通信设备28和电子控制单元30等。
电力存储设备18可以是被配置为向可移动物体10中的电子部件、机械部件或其组合提供能量或以其他方式供应电力的设备。例如，电力存储设备18可以是电池、电池组或其他设备。在其他实施例中，电力存储设备18可以是或可以包括以下中的一项或多项：可燃燃料、燃料电池或另一种类型的电力存储设备。
通信设备20可以是被配置为实现与其他设备的无线通信的电子设备，并且可以包括发射器32、接收器34、电路和/或其他部件。发射器32和接收器34可以是分别被配置为发送和接收无线通信信号的电子部件。在一些实施例中，发射器32和接收器34可以是分离的设备或结构。备选地，发射器32和接收器34可以被组合到(或其各自的功能可以被组合到)被配置为发送(即，发射)和接收无线通信信号的单个收发器设备中，所述无线通信信号可以包括编码有数据或信息或以其他方式指示数据或信息的任何类型的电磁信号。发射器32和接收器34可以被连接至一个或多个共享天线(例如，图2中的示例性天线)，或可以使用可移动物体10中的分离的天线或天线阵列来进行发送和接收。
通信设备20可以被配置为：经由可用于传送去往或来自电子控制单元22的数据和信息的合适的通信方式，发送和/或接收来自或去往一个或多个其他设备的数据。例如，通信设备20可以被配置为：使用一个或多个局域网(LAN)、广域网(WAN)、红外系统、无线电系统、Wi-Fi网络、点对点(P2P)网络、蜂窝网络、卫星网络等。可选地，可以使用中继站(例如，塔、卫星或移动台)和促进可移动物体10与第二物体26之间的通信的任何其他中间节点。无线通信可以是邻近相关的(proximity dependent)或邻近无关的(proximityindependent)。在一些实施例中，通信可以需要或可以不需要视距。
电子控制单元22可以包括一个或多个部件，包括例如存储器36和至少一个处理器38。存储器36可以是或可以包括非暂时性计算机可读介质，并且可以包括非暂时性计算机可读介质的一个或多个存储器单元。存储器36的非暂时性计算机可读介质可以是或可以包括任何类型的易失性或非易失性存储器，包括但不限于：软盘、硬盘、光盘、DVD、CD-ROM、微型驱动器、磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器集成电路)、或者适于存储指令和/或数据的任何其他类型的介质或设备。存储器单元可以包括非暂时性计算机可读介质的永久部分和/或可移除部分(例如，可移除介质或外部存储设备(例如，SD卡、RAM等))。
来自传感设备19和/或其他设备的信息和数据可以被传送至存储器36的非暂时性计算机可读介质并被存储在其中。与存储器36相关联的非暂时性计算机可读介质也可以被配置为：存储可由处理器38执行以执行本文描述的说明性实施例中的任何一个实施例的逻辑、代码和/或程序指令。例如，与存储器36相关联的非暂时性计算机可读介质可以被配置为：存储计算机可读指令，当所述计算机可读指令由处理器38执行时，使处理器执行包括一个或多个步骤的方法。由处理器38基于被存储在存储器36的非暂时性计算机可读介质中的指令执行的方法可以涉及处理输入，例如，被存储在存储器36的非暂时性计算机可读介质中的数据或信息的输入、从第二物体26接收的输入、从传感设备19接收的输入和/或经由通信设备20接收的其他输入。非暂时性计算机可读介质可以被配置为：存储从传感设备19获得或导出的要被处理器38和/或被第二物体26(例如，经由电子控制单元30)处理的数据。在一些实施例中，非暂时性计算机可读介质可以被用于存储由处理器38产生的处理结果。
处理器38可以包括一个或多个处理器且可以具体化为可编程处理器，例如，中央处理单元(CPU)。处理器38可以被可操作地耦接至存储器36或另一个存储器设备，所述存储器36或另一个存储器设备被配置为存储可由处理器38执行以用于执行一个或多个方法步骤的程序或指令。要注意，本文描述的方法步骤可以通过一个或多个指令和数据来体现，所述一个或多个指令和数据被存储在存储器36中并且在由处理器38处理时使所述方法步骤被执行。
在一些实施例中，如下所述，处理器38可以包括或备选地可以可操作地耦接至一个或多个控制模块，例如，图2的说明性实施例中的通信模块40和飞行控制模块42。通信模块40可以被配置为：帮助控制可移动物体10和其他物体(例如，第二物体26)之间的无线通信的方面，例如，通信设备20的传输功率水平。飞行控制模块42可以被配置为：在飞行期间帮助控制可移动物体10的推进组件12，以调整可移动物体10的位置、朝向、速度、和/或加速度。通信模块40和飞行控制模块42可以以用于在处理器38上执行的软件来实现，或者可以以至少部分地被包括在处理器38之中或与处理器38分离的硬件和/或软件部件来实现。例如，通信模块40和飞行控制模块42可以包括被配置为实现其各自的功能的一个或多个CPU、ASIC、DSP、FPGA、逻辑电路等，或者可以共享处理器38中的处理资源。如本文所使用的，术语“被配置为”应该被理解为：包括硬件配置、软件配置(例如，编程)及其组合，包括当结合本文描述的任何控制器、电子控制单元或模块时的使用或用于描述它们时的使用。
电子控制单元22的部件可以以任何合适的配置来布置。例如，电子控制单元22的部件中的一个或多个部件可以被设置在可移动物体10、承载件16、搭载物14、第二物体26、传感设备19或与以上中的一个或多个通信的附加外部设备上。在一些实施例中，一个或多个处理器或存储器设备可以位于不同的位置(例如，在可移动物体10、承载件16、搭载物14、第二物体26、传感设备19上，或在与以上中的一个或多个通信的附加外部设备上，或其合适的组合上)，使得由系统执行的处理和/或存储功能的任何合适的方面可以在上述位置中的一个或多个处发生。
第二物体26可以包括在结构和/或功能上与控制系统23相同或类似的部件。例如，第二物体26的通信设备28可以包括发射器33和接收器35。发射器33和接收器35可以在结构和/或功能上分别与发射器32和接收器34相同或类似，因此将不详细描述。第二物体26的电子控制单元30可以在结构和/或功能上与电子控制单元22相同或类似(例如，可以包括存储器、处理器、模块等)，因此将不详细描述。
控制系统23可以接收与可移动物体10的飞行参数有关的信息(“飞行状态信息”或“状态信息”)。状态信息可以包括(例如，在可移动物体10正在飞行或静止时)指示可移动物体的移动和位置中的至少一项的信息。例如，状态信息可以包括以下中的一项或多项：可移动物体10的速度、加速度、航向或高度(例如，高于地面的高度、海拔高度等)，但是不限于此，并且可以包括其他或附加的信息。状态信息可以经由被包括在控制系统23之中、被连接至控制系统23、或以其他方式与控制系统23相关联的一个或多个传感器44来检测或收集。为了简单，在图2中仅示出一个示例性传感器44。至少一个传感器44可以被包括在传感设备19中。例如，传感器44可以包括：陀螺仪、加速计、回转仪、磁力计、压力传感器(例如，绝压传感器、差压传感器等)、以及一个或多个(例如，多个)距离传感器，其可以包括一个或多个相机、红外线设备、紫外线设备、x射线设备、超声设备、雷达设备、激光设备、以及与定位系统(例如，全球定位系统(GPS)、GLONASS、伽利略、北斗、GAGAN、GNSS等)相关联的设备。距离传感器可以被配置为：生成指示其自身与其他物体(例如，第二物体26)、地面等之间的距离的信号。传感器44可以包括其他或附加的传感器，例如，温度传感器(例如，温度计、热电偶等)、运动传感器、惯性测量传感器、接近传感器、图像传感器等。
图3是描绘根据所公开的实施例的示例性飞行控制模块42的示意框图。飞行控制模块42可以包括以下中的至少一项：水面检测服务302、天空检测服务304、以及移动计算器服务310等。在一些实施例中，天空检测服务304可以包括天空检测器306和/或分类模型训练器308。在一些实施例中，移动计算器服务310可以包括视觉里程计计算器312和/或定位计算器314。
水面检测服务302、天空检测服务304、天空检测器306、分类模型训练器308、移动计算器服务310、视觉里程计计算器312、以及定位计算器314可以以用于在处理器38(图2)上执行的软件来实现，或者可以以至少部分地被包括在处理器38之中或与处理器38分离的硬件和/或软件部件来实现。例如，水面检测服务302、天空检测服务304、天空检测器306、分类模型训练器308、移动计算器服务310、视觉里程计计算器312、以及定位计算器314中的任何一项可以包括被配置为实现其各自的功能的一个或多个CPU、ASIC、DSP、FPGA、逻辑电路等，或者可以共享处理器38中的处理资源。
水面检测服务302可以允许可移动物体10(例如，基于由成像系统25中的一个或多个相机19捕捉的图像)检测可移动物体10是否遇到了水面。类似地，天空检测服务304可以允许可移动物体10基于由一个或多个相机捕捉的图像来检测可移动物体10是否遇到了天空。水面检测服务302和天空检测服务304可以处理通过成像系统25捕捉的一个或多个图像，以检测可移动物体10是否遇到了水面404或天空402，例如，如图4所示。水面检测服务302可以在可移动物体10的操作期间处理由成像系统25连续地、周期性地、或根据要求而捕捉的图像，以检测水面。
在一些实施例中，天空检测服务304可以包括天空检测器306和分类模型训练器308。天空检测器306可以使用分类模型，分类模型训练器308使用训练参数或其他数据训练该分类模型，以允许可移动物体10检测天空。在一些实施例中，天空检测器306可以向分类模型训练器308提供训练参数或其他数据，分类模型训练器308使用训练参数来连续地、周期性地、或在可移动物体10的操作期间根据请求来训练分类模型。训练参数可以包括值，例如，RGB值、局部二进制模式值、亮度值等。在一些实施例中，训练参数的每个值可以与图像中的一个或多个像素相对应。分类模型训练器308可以经由通信设备20从外部资源(例如，应用可编程接口(API)或数据库)获得训练参数。此外，分类模型训练器308可以使用机器学习原理(例如，监督学习、半监督学习和/或无监督学习)来训练分类模型。天空检测服务304可以在可移动物体10的操作期间处理由成像系统25连续地、周期性地、或根据请求而捕捉的图像，以检测天空。
在一些实施例中，移动计算器服务310可以包括视觉里程计计算器312和定位计算器314。移动计算器服务310可以向可移动物体10提供指令，以允许可移动物体10(例如，经由组件12和/或旋转部件24)移动或导航通过环境而无需来自第二物体26的协助。移动计算器服务310可以允许可移动物体10完成导航任务，例如，制动、悬停、避开目标等。在一些实施例中，移动计算器服务310可以使用由水面检测服务302和/或天空检测服务304所做出的一个或多个决定，以完成导航任务。例如，在一些实施例中，移动计算器服务310可以基于由水面检测服务302和/或天空检测服务304所做出的一个或多个决定，来忽略视觉里程计计算器312和定位计算器314的决定，以完成导航任务。此外，在一些实施例中，移动计算器服务310可以使用来自视觉里程计计算器312的输出，来验证定位计算器314的输出，或反之亦然，从而允许可移动物体10导航通过环境中和/或完成导航任务。移动计算器服务310可以计算可移动物体10操作期间的状态信息。
视觉里程计计算器312可以使用来自成像系统25的一个或多个图像来计算状态信息。在某些实施例中，视觉里程计计算器312可以使用来自成像系统25的图像计算深度图，以允许可移动物体10执行导航任务。视觉里程计计算器312可以使用各种技术来计算深度图(例如，全局、半全局或相邻匹配)。
定位计算器314可以与视觉里程计计算器312一起工作或与之独立地工作，以允许可移动物体10计算状态信息或执行导航任务。定位计算器314可以从一个或多个传感器44获得位置数据。例如，定位计算器314可以从GPS传感器44获得GPS数据。GPS数据可以允许定位计算器314计算可移动物体10在环境中的位置(例如，坐标位置)。定位计算器314可以使用惯性测量单元(IMU)(未示出)来获得IMU数据。IMU可以包括一个或多个传感器44，例如，一个或多个加速计、陀螺仪、压力传感器和/或磁力计。IMU数据可以允许定位计算器314计算可移动物体10围绕其各个轴线的加速度、速度、角速率等，可移动物体10周围的磁场强度等。
图4是示出可以在可移动物体10在示例性环境400中从第一位置A移动到第二位置B时使用的示例性图像捕捉过程的图。例如，环境400可以包括天空402和水体404。天空402可以包括天穹(celestial dome)，即，位于地球表面上方的一切事物(包括大气层和外太空)。在一些实施例中，与地球类似，天空402可以包括位于其他行星、小行星、月亮等的表面上方的一切事物，包括其大气层和外太空。
水体404可以包括大量聚集的水(例如，海洋、池塘、海、湖、湿地、水库等)，或少量聚集的水(例如，小水池、水池、水容器等)。此外，水体404可以存在于地球之上或另一个行星之上和/或可以是天然的或非天然的。尽管所公开的实施例参考水体，但本领域技术人员将了解，本文描述的系统和方法可以应用于当由成像系统对其成像时不富含纹理的其他类型的液体或材料。在所公开的实施例中，水体404包括水面406。水面406可以在任意给定的时间表现为平滑的或波浪起伏的。当水面406表现为波浪起伏的时，水面410可以包括波浪408(例如，或水面上的波纹)。波浪408可以由各种环境(例如，但不限于强风或由可移动物体10的操作所引起的空气湍流)产生。
如图4中所示，可移动物体10可以使用成像系统25来在第一时间(“时间1”)在位置A捕捉一个或多个图像。如果在位置A捕捉多个图像，则成像系统25可以在时间1同时地或接近同时地捕捉图像。在一些实施例中，例如，如果在位置A捕捉单个图像，则可移动物体10可以使成像系统25在非常接近位置A的位置(未示出)快速地捕捉另一个图像。同样，可移动物体10可以使用成像系统25来在第二时间(“时间2”)在位置B捕捉一个或多个图像。如果在位置B捕捉多个图像，则成像系统25可以在时间2同时地或接近同时地捕捉图像。例如，如果在位置B捕捉单个图像，则可移动物体10可以使成像系统25在非常接近位置B的位置(未示出)快速地捕捉另一个图像。成像系统25可以使用多相机、立体视觉或单相机系统来捕捉图像。仅仅出于清楚和说明的目的，根据采用立体视觉系统(例如，带有多个相机)的示例性成像系统25描述了所公开的实施例。在所公开的实施例中，可移动物体10可以将在位置A捕捉的一个或多个图像的集合与在位置B捕捉的一个或多个图像的另一个集合进行比较，以导航通过环境400。比较在位置A和在位置B捕捉的图像可以允许可移动物体10计算状态信息和/或完成环境400中的机动所需的某些导航任务。
图5A是描绘根据所公开的实施例的例如与由可移动物体10捕捉的图像中的示例性波浪408相对应的示例性边缘线504的示意图。可移动物体10可以通过检测水面406上的波浪408来确定其遇到了水体404。为了检测波浪408，可移动物体10可以识别边缘线504和/或一个或多个边缘点502a和502b。边缘点502a和502b可以是边缘线504的端点，如图5A所示。
图5B是描绘根据所公开的实施例的可以在示例性水面406上检测到的(例如，波浪408上的)示例性光斑506的示意图。水面406的波浪408可以包括例如与太阳光集中或反射的表面上的区域相对应的一个或多个光斑506。在其他实施例中，光斑506可以与水面406的在与水体相对应的图像信息中可以区分的任何区域相对应。在所公开的实施例中，例如，光斑506可以是当光被从波浪408反射出时产生的。光斑506是由一个或多个边缘线504所包围的区域。在该示例中，光斑506以由边缘线504a、504b、504c和504d所组成的封闭轮廓为边界。边缘线504a-504d可以具有一个或多个边缘点502。边缘点502可以充当相邻边缘线504a-504d之间的连接点。
图6是示出根据所公开的实施例可以使用的示例性水面检测过程600的流程图。可移动物体10可以使用飞行控制模块42的一个或多个服务来执行水面检测过程600。例如，可移动物体10可以使用水面检测服务302来执行水面检测过程600。可移动物体10也可以使用一个或多个API和/或外部资源来执行水面检测过程600的一个或多个步骤。
如图6中所示，在步骤602处，可移动物体10可以基于第一图像集合中的第一图像信息来检测第一边缘线。可移动物体10可以捕捉第一图像集合，例如，如图4所示的通过使用成像系统25来在时间1处在位置A捕捉第一图像集合。在示例性过程600中，可移动物体10可以使用第一图像集合中的一个或多个图像。出于清楚的目的，将在下文中将过程600描述为使用第一图像集合中的一幅图像。第一图像信息可以包括表示图像的数据，例如，表示图像中的每个像素的像素信息。像素信息可以具有值，例如，指示图像中的每个像素的颜色的RGB值。像素信息值可以附加地或备选地包括用于提供图像的纹理的局部二进制模式(LBP)值。在一些实施例中，可以在第一图像信息中包括其他值，例如但不限于每个像素的亮度、像素的数量、每个像素的位置等。
为了在步骤602处基于第一图像集合中的第一图像信息来检测第一边缘线，可移动物体10可以采用图7中所示的示例性边缘线检测过程700。例如，在步骤702处，可移动物体10可以提取第一图像集合中的第一图像的纹理信息。为了提取纹理信息，可移动物体10可以使用一种或多种常规方法来获得图像的梯度方向和梯度幅度。在一些实施例中，例如，可移动物体10可以使用Sobel算子、Canny算子、Prewitt、卷积核、卷积神经网络(通常被称为CNN)等来获得梯度方向和梯度幅度。可移动物体10可以使用梯度方向和幅度来变换第一图像中的数据和/或表示第一图像的数据。在一些实施例中，如果可移动物体确定图像的纹理已经被提取或无需被提取，则可移动物体10可以跳过步骤702。例如，如果图像中的物体可以很容易识别或满足使其很容易识别的某些阈值或标准，则可移动物体10可以确定无需从第一图像提取纹理信息。
在步骤704处，可移动物体10可以检测第一图像中的第一边缘点。边缘点可以包括一个或多个像素。类似地，在步骤706处，可移动物体10可以检测第一图像中的第二边缘点。在步骤708处，可移动物体10可以使用第一边缘点和第二边缘点，基于将第一边缘点和第二边缘点之间的关系(例如，距离)与阈值关系(例如，阈值距离值)进行比较来确定第一边缘线。在一些实施例中，当第一边缘点和第二边缘点之间的距离小于阈值时，可移动物体10可以确定图像中的第一边缘线，或反之亦然。
在一些实施例中，在确定第一边缘线之前，可移动物体10可以循环通过步骤702-步骤708。例如，阈值可以是预定值，或者可以针对步骤702-步骤708的不同迭代动态地确定。在一些实施例中，例如，如果可移动物体10(例如，基于之前的边缘线计算)确定阈值需要改进，则可移动物体10可以减小阈值或通过比初始阈值更小的阈值开始。
回到图6，在步骤604处，可移动物体10可以基于第二图像集合中的第二图像信息来检测第二边缘线。可移动物体10可以捕捉第二图像集合，例如，如图4中所示的使用成像系统25在时间2处在位置B捕捉第二图像集合。第二边缘线可以与(在步骤602处捕捉的)第一边缘线相对应。在这些实施例中，可移动物体10可以找到与其在第一图像集合中检测到的第一边缘线最相似的边缘线，以检测第二图像集合中的第二边缘线。可移动物体10可以使用第一边缘线的一个或多个边缘点或与第一边缘线相关联的第一图像信息，来识别或挑出第二图像信息中的第二边缘线。可移动物体10可以使用与图7中示出且如上所述的示例性步骤相同或类似的示例性步骤，来基于第二图像集合中的第二图像信息检测第二边缘线。
在步骤606处，可移动物体10可以基于将第一边缘线和第二边缘线之间的差异与阈值进行比较来确定水面。此处，阈值可以指示第一边缘线和第二边缘线之间的差异。例如，阈值可以指示第一边缘线和第二边缘线的位置、区域、旋转等方面的差异。因此，在一些实施例中，可移动物体10可以基于确定第一边缘线和第二边缘线的朝向或旋转上的改变小于阈值来确定水面406。在一些实施例中，可移动物体10可以通过将在位置A取得的第一图像中的第一边缘线叠加到在位置B取得的第二图像中的第二边缘线，来比较第一边缘线和第二边缘线之间的差异。在一些实施例中，可移动物体10可以使用来自GPS传感器44的GPS数据或来自IMU单元的IMU数据。可移动物体10可以使用传统的空间重建来将第一图像叠加到第二图像之上，以比较第一边缘线和第二边缘线之间的差异。
另外或替换基于第一图像集合中的第一图像信息来检测第一边缘线，基于第二图像集合中的第二图像信息来检测第二边缘线，以及基于将第一边缘线和第二边缘线之间的差异与阈值进行比较来确定水面；可移动物体10可以基于水面上的光斑来确定水面。例如，可移动物体10可以基于第一图像集合中的第一图像信息来检测光斑(类似于步骤602)，基于第二图像集合中的第二图像信息来检测光斑(类似于步骤604)，以及基于将第一光斑和第二光斑之间的差异与阈值进行比较来确定水面(类似于步骤606)。
然而，检测第一光斑和第二光斑可以包括附加步骤，例如，图8中所示的示例性步骤。在步骤802处，可移动物体10可以使用与上文在步骤702处描述的技术类似的技术，来从第一图像(或第二图像)提取纹理。在步骤804处，可移动物体10可以检测限定第一图像(或第二图像)中的区域的多条闭合连接边缘线。可移动物体10可以重复图7中的步骤704-步骤708，以检测多条边缘线中的每条边缘线，随后确定形成围绕第一(或第二)图像中的区域的周界的检测到的边缘线的集合。在所公开的这些实施例中，由闭合连接的边缘线所形成的周界之中的区域定义了光斑。在步骤806处，可移动物体10可以确定与被包围的区域(其可以是光斑)有关的状态信息。例如，该状态信息可以包括与光斑或闭合连接边缘线相对应的区域信息或位置信息。要理解的是，可移动物体可以检测与检测到的第一光斑相对应的第二光斑，其与上文关于检测与检测到的第一边缘线相对应的第二边缘线类似。在检测到第一光斑和第二光斑之后，可移动物体10可以基于将第一光斑和第二光斑之间的差异与阈值进行比较来确定水面406(类似于步骤606)。例如，可移动物体10可以通过将在位置A取得的第一图像中的第一光斑叠加到在位置B取得的第二图像中的第二光斑，来比较第一光斑和第二光斑之间的差异。
图9是描绘根据所公开的实施例可以使用的天空检测过程900的流程图。在步骤902处，可移动物体10可以获得图像的图像信息。例如，可移动物体10可以获得使用系统内部或外部的一个或多个相机捕捉的图像的图像信息。在一些实施例中，可移动物体10可以通过从数据库(例如，位于可移动物体10上的或外部的远程数据库)获取图像信息或使用用于获得图像信息的上述方式(例如，参考图4描述的)中的任意一种方式来获得图像信息。
在步骤904处，可移动物体10可以使用训练参数集合来训练分类模型。在所公开的实施例中，例如，训练参数可以包括值，例如，以下中的一项或多项：RGB值、局部二进制模式值、亮度值等。每个值可以与一个或多个图像中的像素相对应。训练参数可以被用于训练分类模型，使得其可以处理图像的图像信息以区分图像的哪些区域相对于图像中的其他物体或特征与天空相对应。在某些实施例中，可移动物体10可以经由通信设备20从外部源(例如，API或数据库)获得训练参数。此外，可移动物体10可以使用机器学习原理(例如，监督学习、半监督学习和/或无监督学习)来训练分类模型。在一些实施例中，可移动物体10可以使用支持向量机来训练分类模型。可移动物体10也可以是使用高斯核处理来训练分类模型的支持向量机。
在步骤906处，可移动物体10可以基于分类模型来确定图像信息是否表示天空。例如，可移动物体10可以连续地、周期性地或根据请求来捕捉图像，并且从成像系统25收集捕捉的图像信息。可移动物体10可以将所收集的捕捉的图像的图像信息提供给分类模型，分类模型进而使用该图像信息来确定图像中与天空相对应的一个或多个区域。在一些实施例中，步骤902-步骤906可以被应用于多个捕捉的(例如，在其图像信息被分类模型处理之前被求取平均或以其他方式组合的)图像，以根据图9的示例性步骤来检测天空。
图10是说明根据所公开的实施例可以被用于检测图像中的水面或天空的示例性过程1000的流程图。可移动物体10可以使用飞行控制模块42的一个或多个服务来执行示例性检测过程1000。可移动物体10也可以使用一个或多个API和/或外部资源来执行用于检测图像中的水面或天空的示例性过程1000的一个或多个步骤。
在步骤1002处，可移动物体10可以使用与在上文中关于图6-图9所描述的那些技术类似的技术，来基于图像中的图像信息检测图像是否包括水面或天空。在步骤1004处，如果在图像中检测到水面或天空，则可移动物体10可以从多种技术之中确定用于计算深度图的技术。多种技术可以包括在构建图像的深度图时映射类似相邻像素的一种或多种类型的全局匹配、半全局匹配或任何其他技术。在一些实施例中，例如，如果已检测到天空，则可移动物体10可以确定使用第一特定技术(例如，全局匹配)来创建深度图；以及，如果已检测到水面，则使用第二特定技术(例如，半全局匹配)来创建深度图。在一些实施例中，第一特定技术和第二特定技术可以是相同的。
在一些实施例中，半全局匹配技术可能不产生最优结果，例如，当在天空中存在空的天空(例如，飞机、鸟等)。因此，可移动物体10可以设置(例如，等于预定值的)代价参数(cost parameter)，以指示图像中的这种没有纹理的区域。在这些实施方式中，代价参数可以指示当像素与另一个图像中的对应像素相匹配时该像素沿着到相邻像素的每个路径的代价。将像素的代价参数设置为指示像素处于具有很少纹理或没有纹理的区域中的值可以使可移动物体10在步骤1006处生成深度图时忽略与已检测到的带有很少纹理或没有纹理的水面或天空相对应的图像信息。本领域技术人员将了解，在已检测到的水面或天空的区域中存在很少纹理或没有纹理的情况下，可以使用其他技术来生成深度图。在一些实施例中，可以在无需使用已检测到的具有很少纹理或没有纹理的水面或天空的区域中的像素值的情况下来确定深度图，例如，替代地基于具有很少纹理或没有纹理的区域周围的像素值来内插或以其他方式估计深度。
在步骤1008处，可移动物体10可以确定例如表示以下中的至少一项的移动参数：状态信息、导航任务、或可移动物体10可以移动的方向或旋转。通过示例而不是限制的方式，移动参数可以与以下项相对应：围绕一个或多个轴线的旋转、特定方向上的移动、悬停、加速、减速(制动)、改变高度、改变飞行模式、改变飞行路径等。
此外，在步骤1010处，可移动物体10可以基于是否已经在图像中检测到水面和/或天空和/或已检测到的水面或天空在图像中的位置，来调整其导航策略。在一些实施例中，例如，可移动物体10可以决定在已检测到的水面或天空中导航时仅使用GPS数据和/或IMU数据。在其他实施例中，可移动物体10可以替换地决定，在已检测到的水面或天空的区域中行进时切断或限制其制动操作或悬停操作的使用。例如，在一些实施例中，如果检测到水面，则可移动物体10可以调整其导航策略，使得其可以拒绝着陆，直到通过水面或不再检测到其下方的水面为止。
在步骤1012处，如果已经在图像中检测到水面或天空，则可移动物体10可以通过不使用深度图来调整视觉里程计计算。在这些情况下，可移动物体10可以通过依靠GPS数据或IMU数据来替代地确定视觉里程计。例如，当在可移动物体10悬停时检测到水体时，可移动物体10可以通过不使用深度图来调整视觉里程计计算。在该示例中，因为在悬停时深度图可能产生不稳定，所以可移动物体10可以不使用深度图。
在一些实施例中，可移动物体10可以跳过或以其他方式不完成示例性过程1000中的步骤中的一个或多个步骤。例如，在已检测到的水面或天空的纹理不足的一些实施例中，可移动物体10可以不执行计算深度图的步骤(步骤1004)和/或生成深度图的步骤(步骤1006)。在这些实施例中，可移动物体10可以不执行这些步骤中的一个或多个步骤，例如，以在生成深度图对于完成步骤1010-步骤1012中的一个或多个步骤可能是没必要的或可能是没用的情况下，减少不必要的处理操作。例如，当可移动物体10检测到下方的水面时，可移动物体可以决定不生成深度图，并且可以替代地在不使用深度图的情况下更改或改变其着陆策略和/或视觉里程计计算策略。
在上文所述的示例性步骤和附图中，图像信息可以按照图像的区域来组织。因此，在一些实施例中，可移动物体10可以仅使用与图像中的一个或多个区域有关的图像信息，这可以提高可移动物体10的处理速度。例如，可移动物体10可以基于对环境的之前的经验、对图像数据的之前的经验、可移动物体正在试图完成的导航任务、可移动物体正在试图计算的状态信息等，来处理仅来自图像信息的子集的图像。在一些实施例中，在可移动物体正在试图悬停时或其之前在特定位置或GPS位置处检测到水面时，可移动物体10可以仅使用图像中的某些区域，例如表示图像的底部的某些区域。
通过思考说明书和实践所公开的实施例，实施例的修改和调整将是明显的。例如，所描述的实施方式包括硬件、固件和软件，但是与本公开一致的系统和技术可以被单独实现为硬件。另外，所公开的实施例不限于本文所讨论的示例。
基于该说明书的书面描述和方法的计算机程序在软件开发人员的技能范围内。可以使用各种编程技术创建各种程序或程序模块。例如，程序部分或程序模块可以采用或借助于Java、C、C++、汇编语言或任何此类编程语言来设计。这些软件部分或模块中的一项或多项可以被集成到计算机系统、非暂时性计算机可读介质或已有的通信软件。
尽管已经在本文描述了说明性实施例，但其范围包括具有基于本公开的等价要素、修改、省略、(例如，各个实施例之间的)组合、调整或更改的任何和所有实施例。权利要求中的要素基于权利要求中所采用的文字被宽泛地解释且不限于在本说明书中和在执行申请期间所描述的示例，其示例被视为非排斥性的。而且，所公开的方法的步骤可以采用任何方式修改，包括通过对步骤重新排序或添加或删除步骤。因此，本说明书和示例旨在被考虑为仅是示例性的，真正的范围和精神由随附的权利要求及其等同物的完整范围指示。

Claims (20)

1.一种用于处理图像中的图像信息以确定可移动物体的移动的方法，所述方法包括：
基于所述图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
响应于在所述图像中检测到水面或天空，从用于计算深度图的多种技术中确定技术；
使用所述技术来生成所述深度图；以及
使用所述深度图来确定所述可移动物体的移动参数。
2.根据权利要求1所述的方法，还包括：
将与已检测到的水面或天空相对应的像素的代价参数设置为预定值。
3.根据权利要求2所述的方法，还包括：计算所述深度图，使得与对应于所述已检测到的水面或天空的像素相关联的深度是基于与所述已检测到的水面或天空相对应的像素附近的其他像素的深度来计算的。
4.根据权利要求1所述的方法，其中，所述移动参数使所述可移动物体执行以下中的至少一项：移动、悬停、加速、减速、高度的改变、飞行模式的改变、或飞行路径的改变。
5.根据权利要求1所述的方法，其中，所述基于所述图像中的图像信息来检测所述图像是否包括水面或天空，包括：
获得所述图像的所述图像信息；以及
基于分类模型来确定所述图像信息是否表示天空。
6.根据权利要求1所述的方法，其中，所述基于所述图像中的图像信息来检测所述图像是否包括水面或天空，包括：
基于第一图像中的第一图像信息来检测第一边缘线；
基于第二图像中的第二图像信息来检测第二边缘线；以及
基于将所述第一边缘线和所述第二边缘线之间的差异与阈值进行比较来确定水面。
7.一种用于处理图像中的图像信息以调整导航的方法，所述方法包括：
基于所述图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
基于对所述图像中的水面或天空的检测来选择用于可移动物体的导航策略；
其中，所述导航策略包括：
响应于在所述图像中检测到水面，选择用于所述可移动物体的无需使用深度图的着陆策略；和/或
响应于在所述图像中检测到水面或天空，执行用于所述可移动物体的无需使用深度图的视觉里程计计算。
8.根据权利要求7所述的方法，其中，所述基于所述图像中的图像信息来检测所述图像是否包括水面或天空，包括：
获得所述图像的所述图像信息；以及
基于分类模型来确定所述图像信息是否表示天空。
9.根据权利要求7所述的方法，其中，所述基于所述图像中的图像信息来检测所述图像是否包括水面或天空，包括：
基于第一图像中的第一图像信息来检测第一边缘线；
基于第二图像中的第二图像信息来检测第二边缘线；以及
基于将所述第一边缘线和所述第二边缘线之间的差异与阈值进行比较来确定水面。
10.一种用于处理图像中的图像信息以确定可移动物体的移动的系统，所述系统包括：
存储指令的集合的存储器；以及
处理器，所述处理器被耦接到所述存储器并且能够操作用于执行所述指令以：
基于所述图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
响应于在所述图像中检测到水面或天空，从用于计算深度图的多种技术中确定技术；
使用所述技术来生成所述深度图；以及
使用所述深度图来确定用于所述可移动物体的移动参数。
11.根据权利要求10所述的系统，其中，所述处理器还能够操作用于执行指令以：将与已检测到的水面或天空相对应的像素的代价参数设置为等于预定值。
12.根据权利要求11所述的系统，其中，所述处理器还能够操作用于执行指令以：计算所述深度图，使得与对应于所述已检测到的水面或天空的像素相关联的深度是基于与所述已检测到的水面或天空相对应的所述像素附近的其他像素的深度来计算的。
13.根据权利要求10所述的系统，其中，所述移动参数使所述可移动物体执行以下中的至少一项：移动、悬停、加速、减速、高度的改变、飞行模式上的改变、或飞行路径的改变。
14.根据权利要求10所述的系统，其中，所述处理器还能够操作用于执行指令以：
获得所述图像的所述图像信息；以及
基于分类模型来确定所述图像信息是否表示天空。
15.根据权利要求10所述的系统，其中，所述处理器还能够操作用于执行指令以：
基于第一图像中的第一图像信息来检测第一边缘线；
基于第二图像中的第二图像信息来检测第二边缘线；以及
基于将所述第一边缘线和所述第二边缘线之间的差异与阈值进行比较来确定水面。
16.一种用于处理图像中的图像信息以调整导航的系统，所述系统包括：
存储指令的集合的存储器；以及
处理器，所述处理器被耦接到所述存储器并且能够操作用于执行所述指令以：
基于所述图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
基于对所述图像中的水面或天空的检测来选择用于可移动物体的导航策略；
其中，所述处理器还能够操作用于执行指令以：
响应于在所述图像中检测到水面，至少基于选择用于所述可移动物体的无需使用深度图的着陆策略来选择所述导航策略；和/或
响应于在所述图像中检测到水面或天空，至少基于执行用于所述可移动物体的无需使用深度图的视觉里程计计算来选择所述导航策略。
17.根据权利要求16所述的系统，其中，所述处理器还能够操作用于执行指令以：
获得所述图像的所述图像信息；以及
基于分类模型来确定所述图像信息是否表示天空。
18.根据权利要求16所述的系统，其中，所述处理器还能够操作用于执行指令以：
基于第一图像中的第一图像信息来检测第一边缘线；
基于第二图像中的第二图像信息来检测第二边缘线；以及
基于将所述第一边缘线和所述第二边缘线之间的差异与阈值进行比较来确定水面。
19.一种可移动物体，包括：
用于存储指令的集合的存储器；以及
处理器，所述处理器被耦接到所述存储器并且能够操作用于执行所述指令以：
基于图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
响应于在所述图像中检测到水面或天空，从用于计算深度图的多种技术中确定技术；
使用所述技术来生成所述深度图；以及
使用所述深度图来确定用于所述可移动物体的移动参数。
20.一种可移动物体，包括：
用于存储指令的集合的存储器；以及
处理器，所述处理器被耦接到所述存储器并且能够操作用于执行所述指令以：
基于图像中的图像信息来检测所述图像是否包括水面或天空；以及
响应于检测到所述图像包括水面或天空：
基于对所述图像中的水面或天空的检测来选择用于所述可移动物体的导航策略；
其中，所述导航策略包括：
响应于在所述图像中检测到水面，选择用于所述可移动物体的无需使用深度图的着陆策略；和/或
响应于在所述图像中检测到水面或天空，执行用于所述可移动物体的无需使用深度图的视觉里程计计算。
CN201880055225.3A 2018-01-23 2018-01-23 用于自动水面和天空检测的系统和方法 Expired - Fee Related CN111052028B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/073864 WO2019144287A1 (en) 2018-01-23 2018-01-23 Systems and methods for automatic water surface and sky detection

Publications (2)

Publication Number Publication Date
CN111052028A CN111052028A (zh) 2020-04-21
CN111052028B true CN111052028B (zh) 2022-04-05

Family

ID=67395264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055225.3A Expired - Fee Related CN111052028B (zh) 2018-01-23 2018-01-23 用于自动水面和天空检测的系统和方法

Country Status (3)

Country Link
US (1) US20200307788A1 (zh)
CN (1) CN111052028B (zh)
WO (1) WO2019144287A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908824B (zh) * 2023-03-09 2023-06-06 四川腾盾科技有限公司 一种应用于大型无人机天空区域快速分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930533A (zh) * 2009-06-19 2010-12-29 株式会社理光 在图像采集设备中进行天空检测的装置和方法
EP2424227A2 (en) * 2010-08-25 2012-02-29 Ricoh Company, Ltd. Imaging apparatus, sky-area determining method, and a sky-area determining program
CN104268595A (zh) * 2014-09-24 2015-01-07 深圳市华尊科技有限公司 通用物件检测方法及系统
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336819B2 (en) * 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
CN104346620B (zh) * 2013-07-25 2017-12-29 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
KR101500267B1 (ko) * 2014-04-04 2015-03-06 경성대학교 산학협력단 시공간 영상의 화소 강도의 시간적 변화 특성 분석 결과를 이용한 하천 수표면 검출 방법
CN104392228B (zh) * 2014-12-19 2018-01-26 中国人民解放军国防科学技术大学 基于条件随机场模型的无人机图像目标类检测方法
KR101736089B1 (ko) * 2015-01-08 2017-05-30 서울대학교산학협력단 깊이 지도를 이용한 사물 형상 맵핑 및 실시간 유도를 위한 무인기 비행 제어 장치 및 방법
CN107697286B (zh) * 2015-07-02 2020-10-23 深圳市大疆创新科技有限公司 无人机、其控制系统及方法，以及无人机降落控制方法
CN106371452B (zh) * 2015-07-24 2020-08-25 深圳市道通智能航空技术有限公司 一种飞行器限飞区域信息的获取、共享方法、装置及系统
CN105974938B (zh) * 2016-06-16 2023-10-03 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN106094874A (zh) * 2016-08-29 2016-11-09 联想(北京)有限公司 控制无人机的方法、控制器和无人机
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器
CN106485200B (zh) * 2017-01-10 2019-10-18 瑞邦晟达科技（北京）有限公司 环保无人机用的水面物体识别系统及其识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930533A (zh) * 2009-06-19 2010-12-29 株式会社理光 在图像采集设备中进行天空检测的装置和方法
EP2424227A2 (en) * 2010-08-25 2012-02-29 Ricoh Company, Ltd. Imaging apparatus, sky-area determining method, and a sky-area determining program
CN104268595A (zh) * 2014-09-24 2015-01-07 深圳市华尊科技有限公司 通用物件检测方法及系统
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
CN111052028A (zh) 2020-04-21
US20200307788A1 (en) 2020-10-01
WO2019144287A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
US11126182B2 (en) Unmanned aerial image capture platform
US20210065400A1 (en) Selective processing of sensor data
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
US11604479B2 (en) Methods and system for vision-based landing
US11006033B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US10475209B2 (en) Camera calibration
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
EP3347789B1 (en) Systems and methods for detecting and tracking movable objects
CN108292140B (zh) 用于自动返航的系统和方法
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
JP6324649B1 (ja) 検出システム、検出方法、及びプログラム
US20220301302A1 (en) Air and sea based fishing data collection and analysis systems and methods
CN112789672A (zh) 控制和导航系统、姿态优化、映射和定位技术
CN111052028B (zh) 用于自动水面和天空检测的系统和方法
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
Sivritaş Autonomous field scanning, target detection and tracking via UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220405

CF01 Termination of patent right due to non-payment of annual fee