CN109074199A - 用于在图像内的投影位置处检测障碍物的方法和系统 - Google Patents

用于在图像内的投影位置处检测障碍物的方法和系统 Download PDF

Info

Publication number
CN109074199A
CN109074199A CN201680085316.2A CN201680085316A CN109074199A CN 109074199 A CN109074199 A CN 109074199A CN 201680085316 A CN201680085316 A CN 201680085316A CN 109074199 A CN109074199 A CN 109074199A
Authority
CN
China
Prior art keywords
image
barrier
line
images
loose impediment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680085316.2A
Other languages
English (en)
Other versions
CN109074199B (zh
Inventor
沈劭劼
吴显亮
陈连胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109074199A publication Critical patent/CN109074199A/zh
Application granted granted Critical
Publication of CN109074199B publication Critical patent/CN109074199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H27/00—Toy aircraft; Other flying toys
    • A63H27/12—Helicopters ; Flying tops
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

使用系统和方法来支持针对可移动物体的图像处理。获取一个或多个图像。由可移动物体承载的成像设备来捕获一个或多个图像。成像设备至少部分地被附接到可移动物体的障碍物所阻挡。将模板应用于所述一个或多个图像以获得障碍物在所述一个或多个图像内的一个或多个投影位置。在所述一个或多个图像内的所述一个或多个投影位置处检测障碍物的至少一部分。

Description

用于在图像内的投影位置处检测障碍物的方法和系统
技术领域
所公开的实施例总体上涉及图像处理，并且更具体地但非排他地，涉及基于在由可移动物体捕获的图像内的投影位置处对障碍物的检测来处理图像。
背景技术
诸如无人机(UAV)的可移动物体可以用于执行针对军事和民用应用的监视、侦察和勘探任务。可移动物体可以包括一个或多个成像设备，该一个或多个成像设备被配置为执行特定功能，例如捕获周围环境的图像以用于障碍规避和/或用于目标跟踪。因此，重要的是例如通过检测和处理可能不对应于周围环境的障碍和/或目标的图像信息来保持所捕获的图像中的信息准确性。
发明内容
需要一种系统和方法，用于有效地且准确地处理由可移动物体承载的一个或多个成像设备捕获的图像，以用于障碍规避、导航与定向、图像捕获与处理、和/或目标跟踪。这样的系统和方法可选地补充或替换用于处理由可移动物体捕获的图像的常规方法。在一些实施例中，由可移动物体承载的一个或多个障碍物可能会部分地阻挡可移动物体的成像设备。通过使用模板来检测所捕获的图像中的投影位置处的障碍物并相应地处理图像，本申请的一些实施例可以显著提高成像处理的效率和准确性，以用于导航与定向、图像捕获与处理、障碍规避和/或目标跟踪。此外，通过减少成像设备和障碍物之间的相对位置的限制，可以增强可移动物体的设计灵活性。
根据一些实施例，一种支持针对可移动物体的图像处理的方法，包括：获取由可移动物体承载的成像设备捕获的一个或多个图像。成像设备至少部分地被附接到可移动物体的障碍物所阻挡。所述方法还包括将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置。所述方法还包括在所述一个或多个图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分。
根据一些实施例，一种无人机(UAV)可以包括：推进系统；一个或多个传感器；成像设备；以及一个或多个处理器，所述一个或多个处理器耦接到所述推进系统、所述一个或多个传感器和所述成像设备。所述一个或多个处理器被配置为执行上述方法的操作。根据一些实施例，一种系统可以包括一个或多个处理器；存储器；以及一个或多个程序，存储在所述存储器中并被配置为由所述一个或多个处理器执行。所述一个或多个程序包括用于执行上述方法的操作的指令。根据一些实施例，非暂时性计算机可读存储介质存储有指令，当由所述可移动物体执行时，所述指令使所述可移动物体执行上述方法的操作。
根据一些实施例，一种用于控制可移动物体的方法包括：获取由可移动物体承载的成像设备捕获的一个或多个图像。成像设备至少部分地被附接到可移动物体的障碍物所阻挡。所述方法还包括检测所述障碍物的投影在所述一个或多个图像中的至少一部分。所述方法还包括处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作。
根据一些实施例，一种无人机(UAV)可以包括：推进系统；一个或多个传感器；成像设备；以及一个或多个处理器，所述一个或多个处理器耦接到所述推进系统、所述一个或多个传感器和所述成像设备。所述一个或多个处理器被配置为执行上述方法的操作。根据一些实施例，一种系统可以包括一个或多个处理器；存储器；以及一个或多个程序，存储在所述存储器中并被配置为由所述一个或多个处理器执行。所述一个或多个程序包括用于执行上述方法的操作的指令。根据一些实施例，非暂时性计算机可读存储介质存储有指令，当由所述可移动物体执行时，所述指令使所述可移动物体执行上述方法的操作。
附图说明
图1示出了根据一些实施例的可移动物体环境。
图2示出了根据一些实施例的可移动物体。
图3是示出了根据一些实施例的障碍物的阻挡面的图像。
图4A-4B示出了根据一些实施例的对不具有(图4A)照射在螺旋桨桨叶上的标记处的照明光源的可移动物体和具有该照明光源的可移动物体进行比较的一对图像。
图5是示出了根据一些实施例的准备用于图像处理的运动轨迹模板的方法的流程图。
图6示出了根据一些实施例的准备用于图像处理的运动轨迹模板的示例性过程。
图7是示出了根据一些实施例的准备用于图像处理的模板的方法的流程图。
图8示出了根据一些实施例的准备用于图像处理的模板的示例性过程。
图9是示出了根据一些实施例的用于支持可移动物体的图像处理的方法的流程图。
图10A-10F是示出了根据一些实施例的支持针对可移动物体的图像处理的方法的流程图。
图11A-11C是示出了根据一些实施例的用于控制可移动物体的方法的流程图。
具体实施方式
现在将详细参考实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对各种所描述的实施例的透彻理解。然而，本领域技术人员将清楚，可以在无需这些特定细节的情况下实践各种所描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免不必要地使实施例的细节模糊不清。
下面的描述使用无人机(UAV)作为可移动物体的示例。UAV包括例如固定翼飞行器和旋转翼飞行器，其中旋转翼飞行器例如是直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。本领域技术人员将清楚，其他类型的可移动物体可以代替如下所述的UAV。
本发明提供了与处理由UAV捕获的图像以用于导航与定向、图像捕获与处理、障碍规避和/或目标跟踪有关的技术。可以使用模板来处理图像以检测在图像中的投影位置处的障碍物。图像处理技术可以提供障碍规避和/或目标跟踪的效率和准确性、以及UAV的设计和制造的灵活性。结果，可以降低设计和制造具有机载成像设备的可移动物体的成本。
图1示出了根据一些实施例的可移动物体环境100。可移动物体环境100包括可移动物体102。在一些实施例中，可移动物体102包括载具104和/或负载106。在一些实施例中，可移动物体102还包括一个或多个(例如，一对)成像传感器120，用于捕获周围环境的图像。
在一些实施例中，载具104用于将负载106耦接到可移动物体102。在一些实施例中，载具104包括用于将负载106与可移动物体102的移动和/或移动机构114的移动相隔离的元件(例如，云台和/或阻尼元件)。在一些实施例中，载具104包括用于控制负载106相对于可移动物体102的移动的元件。
在一些实施例中，负载106耦接(例如，刚性地耦接)到可移动物体102(例如，经由载具104耦接)，使得负载106相对于可移动物体102保持基本静止。例如，载具104耦接到负载106，使得负载不能相对于可移动物体102移动。在一些实施例中，负载106被直接安装到可移动物体102，而无需载具104。在一些实施例中，负载106部分地或完全地位于可移动物体102内。
在一些实施例中，成像传感器120安装到可移动物体102外部、位于可移动物体102内或以其他方式耦接到可移动物体102。在一些实施例中，成像传感器120被固定安装到可移动物体102。例如，某个成像传感器120与可移动物体102的静止(或固定)组件之间的相对位置是固定的。在一些实施例中，成像传感器120是可移动物体感测系统210(例如，载具感测系统和/或负载感测系统)的组件。成像传感器120与可移动物体感测系统122的捕获环境信息的其他组件一起产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，如视频)。将参考图2讨论关于成像传感器120的更多细节。
在一些实施例中，控制单元108与可移动物体102通信，例如用以向可移动物体102提供控制指令，和/或用以显示从可移动物体102接收的信息。尽管控制单元108通常是便携式(例如，手持式)设备，但是控制单元108不一定是便携式的。在一些实施例中，控制单元108是专用控制设备(例如，针对可移动物体102)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴设备(例如，眼镜、手套和/或头盔)、麦克风、便携式通信设备(例如，移动电话)和/或其组合。
在一些实施例中，控制单元108的输入设备接收用户输入以控制可移动物体102、载具104、负载106和/或其组件的各方面。这些方面包括例如取向、位置、朝向、速度、加速度、导航和/或跟踪。例如，用户将控制单元108的输入设备的位置(例如，输入设备的组件的位置)手动设置为与用于控制可移动物体102的输入(例如，预定输入)相对应的位置。在一些实施例中，输入设备由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，控制单元108的输入设备用于输入可移动物体102的飞行模式，例如自动驾驶或根据预定导航路径的导航。
在一些实施例中，控制单元108的显示器显示由可移动物体感测系统210、存储器204和/或可移动物体102的另一系统生成的信息。例如，显示器显示与可移动物体102、载具104和/或负载106有关的信息，例如可移动物体102的位置、取向、朝向、移动特性和/或可移动物体102与另一物体(例如，目标和/或障碍物)之间的距离。在一些实施例中，由控制单元108的显示器显示的信息包括由成像设备216(图2)捕获的图像、跟踪数据(例如，应用于目标的表示的图形跟踪指示符)和/或对发送到可移动物体102的控制数据的指示。在一些实施例中，当从可移动物体102接收信息时和/或当获取图像数据时，基本实时地显示由控制单元108的显示器显示的信息。在一些实施例中，控制单元108的显示器是触摸屏显示器。
在一些实施例中，可移动物体环境100包括计算设备110。计算设备110例如是服务器计算机、云服务器、台式计算机、膝上型计算机、平板电脑或另一便携式电子设备(例如，移动电话)。在一些实施例中，计算装置110是与可移动物体102和/或控制单元108(例如无线地)通信的基站。在一些实施例中，计算设备110提供数据存储、数据检索和/或数据处理操作，例如以降低可移动物体102和/或控制单元108的处理能力要求和/或数据存储要求。例如，计算设备110可通信地连接到数据库和/或计算设备110包括数据库。在一些实施例中，代替控制单元108或除了控制单元108之外，使用计算设备110以执行关于控制单元108所描述的任何操作。
在一些实施例中，可移动物体102例如经由无线通信112与控制单元108和/或计算设备110进行通信。在一些实施例中，可移动物体102从控制单元108和/或计算设备110接收信息。例如，由可移动物体102接收的信息包括例如用于控制可移动物体102的控制指令。在一些实施例中，可移动物体102向控制单元108和/或计算设备110发送信息。例如，由可移动物体102发送的信息包括例如由可移动物体102捕获的图像和/或视频。
在一些实施例中，计算装置110、控制单元108和/或可移动物体102之间的通信经由网络(例如因特网116)和/或诸如蜂窝塔118之类的无线信号发射机(例如远程无线信号发射机)发送。在一些实施例中，卫星(未示出)是互联网116的组件，和/或与蜂窝塔118一起使用或代替蜂窝塔118使用。
在一些实施例中，在计算设备110、控制单元108和/或可移动物体102之间传送的信息包括控制指令。控制指令包括例如用于控制可移动物体102的导航参数(诸如，位置、朝向、朝向和/或可移动物体102、载具104和/或负载106的一个或多个移动特性)的导航指令。在一些实施例中，控制指令包括指示移动机构114中的一个或多个移动机构的移动的指令。例如，控制指令用于控制UAV的飞行。
在一些实施例中，控制指令包括用于控制载具104的操作(例如，移动)的信息。例如，控制指令用于控制载具104的致动机构，以便引起负载106相对可移动物体102的角移动和/或线性移动。在一些实施例中，控制指令以多达六个自由度来调整载具104相对于可移动物体102的移动。
在一些实施例中，控制指令用于调整负载106的一个或多个操作参数。例如，控制指令包括用于调节光学参数(例如，成像设备216的光学参数)的指令。在一些实施例中，控制指令包括多个指令，用于调整成像属性和/或图像设备功能，例如捕获图像；启动/停止视频捕获；打开或关闭成像设备216；调整成像模式(例如，捕获静止图像或捕获视频)；调整立体成像系统的左右组件之间的距离；和/或调整载具104、负载106和/或成像设备216的位置、取向和/或移动(例如，平移速率、平移距离)。
在一些实施例中，当可移动物体102接收到控制指令时，控制指令改变可移动物体102的参数和/或由可移动物体102的存储器204(图2)存储该控制指令。
图2示出了根据一些实施例的示例性可移动物体102。可移动物体102通常包括一个或多个处理器202、存储器204、通信系统206、可移动物体感测系统210以及用于将这些组件互连的一个或多个通信总线208。
在一些实施例中，可移动物体102是UAV并且包括用于实现飞行和/或飞行控制的组件。在一些实施例中，可移动物体102包括具有一个或多个网络或其他通信接口(例如，通过其接收飞行控制指令)的通信系统206、一个或多个移动机构114和/或一个或多个可移动物体致动器212(例如，响应于接收到的控制指令而引起移动机构114的移动)。尽管可移动物体102被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何适当类型的可移动物体。
在一些实施例中，可移动物体102包括移动机构114(例如，推进机构)。虽然为了便于参考，本文使用了复数形式的“移动机构”，但是“移动机构114”指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个旋翼)。移动机构114包括一个或多个移动机构类型，例如旋翼、螺旋桨、桨叶、发动机、电机、轮子、轴、磁体、喷嘴等。移动机构114在例如顶部、底部、前部、后部和/或侧部与可移动物体102耦接。在一些实施例中，单个可移动物体102的移动机构114包括相同类型的多个移动机构。在一些实施例中，单个可移动物体102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用诸如支撑元件(例如，驱动轴)和/或其它致动元件(例如，可移动物体致动器212)之类的任何适当手段，来与可移动物体102耦接。例如，可移动物体致动器212从处理器202接收控制信号(例如，经由控制总线208)，该控制信号激活可移动物体致动器212以引起移动机构114的移动。例如，处理器202包括向可移动物体致动器212提供控制信号的电子速度控制器。
在一些实施例中，移动机构114使可移动物体102能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体102的任何水平移动(例如，无需沿着跑道行进)。在一些实施例中，移动机构114可操作地允许可移动物体102以特定位置和/或取向悬停在空中。在一些实施例中，移动机构114中的一个或多个可独立于其他移动机构114中的一个或多个来进行控制。例如，当可移动物体102是四旋翼机时，该四旋翼机的每个旋翼都可独立于四旋翼机的其他旋翼进行控制。在一些实施例中，多个移动机构114被配置为用于同时移动。
在一些实施例中，移动机构114包括向可移动物体102提供升力和/或推力的多个旋翼。对多个旋翼进行致动，以向可移动物体102提供例如垂直起飞、垂直降落和悬停能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，而一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋翼的数量等于逆时针旋翼的数量。在一些实施例中，每个旋翼的旋转速率可以独立地变化，以便例如控制由每个旋翼产生的升力和/或推力，从而调节可移动物体102的空间部署、速度和/或加速度(例如，相对于最多三个平移度和/或最多三个旋转度)。
在一些实施例中，存储器204存储在本文中被统称为“元件”的一个或多个指令、程序(例如，指令集)、模块、控制系统和/或数据结构。关于存储器204描述的一个或多个元件可选地由控制单元108、计算设备110和/或另一设备存储。在一些实施例中，成像设备216包括存储关于存储器204描述的一个或多个参数的存储器。
在一些实施例中，存储器204存储包括一个或多个系统设置的(例如，如由制造商、管理员和/或用户配置的)控制系统配置。例如，可移动物体102的标识信息被存储为系统配置的系统设置。在一些实施例中，控制系统配置包括针对成像设备216的配置。成像设备216的配置存储多个参数，例如位置、缩放水平和/或对焦参数(例如，对焦量、选择自动对焦或手动对焦和/或调整图像中的自动对焦目标)。由成像设备配置存储的成像属性参数包括例如图像分辨率、图像尺寸(例如，图像宽度和/或高度)、宽高比、像素数、质量、焦距、景深、曝光时间、快门速度和/或白平衡。在一些实施例中，响应于控制指令(例如，由处理器202生成和/或由可移动物体102从控制单元108和/或计算设备110接收的)来更新由成像设备配置存储的参数。在一些实施例中，响应于从可移动物体感测系统210和/或成像设备216接收的信息来更新由成像设备配置存储的参数。
在一些实施例中，控制系统执行成像设备调整。成像设备调整模块存储例如用于调整图像传感器与成像设备216的光学器件之间的距离的指令，例如用于控制成像设备致动器的指令。在一些实施例中，用于执行成像设备调整的一个或多个指令被存储在存储器204中。
在一些实施例中，控制系统执行自动对焦操作。例如，响应于确定可移动物体102和/或图像对象(例如，目标或远程物体)已经移动超过阈值距离，和/或响应于用户输入，当装置根据图像分析确定焦点水平已经下降到焦点水平阈值以下时，例如周期性地执行自动对焦操作。在一些实施例中，用户输入(例如，在控制单元108和/或计算设备110处接收的)启动和/或调整自动对焦模式。在一些实施例中，用户输入指示用于自动对焦操作和/或针对自动对焦操作优先化的一个或多个区域(例如，在由成像设备216捕获的图像中，如由控制单元108和/或计算设备110显示的图像)。在一些实施例中，自动对焦模块根据由像距确定模块确定的像距值来生成用于相对于图像传感器移动光学器件的控制指令。在一些实施例中，用于执行自动对焦操作的一个或多个指令被存储在存储器204中。
在一些实施例中，控制系统执行像距确定，例如以根据本文描述的操作来确定物距和/或像距。例如，像距确定模块使用来自可移动物体的一个或多个深度传感器和一个或多个取向传感器的传感器数据来确定像距，并根据所确定的像距生成用于相对于图像传感器来移动光学器件的控制指令。在一些实施例中，用于执行像距确定的一个或多个指令被存储在存储器204中。
上述标识的控制系统、模块和/或程序(即，指令集)不需要被实现为单独的软件程序、进程或模块，因此可以在各种实施例中组合或重新排列这些模块的各种子集，并将其存储在存储器204中。在一些实施例中，控制系统包括以上标识的模块和数据结构的子集。此外，存储器204可以存储上文未描述的附加模块和数据结构。在一些实施例中，存储在存储器204中的程序、模块和数据结构或存储器204的非暂时性计算机可读存储介质提供用于实现下面描述的方法中的各个操作的指令。在一些实施例中，这些模块中的一些或全部可以实现为包含部分或全部模块功能的专用硬件电路。上述标识的元件中的一个或多个可以由可移动物体102的一个或多个处理器202执行。在一些实施例中，一个或多个上述标识的模块被存储在远离可移动物体的设备的一个或多个存储设备(例如，控制单元108、计算设备110和/或成像设备216的存储器)上和/或由远离可移动物体102的设备的一个或多个处理器(例如，控制单元108、计算设备110和/或成像设备216的处理器)执行。
通信系统206支持例如经由无线信号112与控制单元108和/或计算设备110进行通信。通信系统206包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得仅由可移动物体102从控制单元108和/或计算设备110接收数据，反之亦然。在一些实施例中，通信是双向通信，使得在可移动物体102与控制单元108和/或计算设备110之间在两个方向上发送数据。在一些实施例中，可移动物体102、控制单元108和/或计算设备110与互联网116或其他电信网络连接，例如使得由可移动物体102、控制单元108和/或计算设备110生成的数据被发送给服务器以进行数据存储和/或数据检索(例如，由网站显示)。
在一些实施例中，可移动物体102的感测系统210包括一个或多个传感器。在一些实施例中，可移动物体感测系统210的一个或多个传感器安装在可移动物体102的外部、位于可移动物体102的内部或以其他方式与可移动物体102耦接。在一些实施例中，可移动物体感测系统210的一个或多个传感器是载具104、负载106和/或成像设备216的组件和/或耦接到载具104、负载106和/或成像设备302。在本文将感测操作描述为由可移动物体感测系统210执行的情况下，将认识到的是，除了可移动物体感测系统210的一个或多个传感器之外和/或代替可移动物体感测系统210的一个或多个传感器，这样的操作可选地由载具104、负载106和/或成像设备216的一个或多个传感器来执行。
在一些实施例中，可移动物体感测系统210包括诸如图像传感器214(例如，左立体图像传感器)和/或图像传感器215(例如，右立体图像传感器)之类的一个或多个图像传感器120。图像传感器120捕获例如图像、图像流(例如，视频)、立体图像和/或立体图像流(例如，立体图像视频)。图像传感器120检测诸如可见光、红外光和/或紫外光之类的光。在一些实施例中，可移动物体感测系统210包括一个或多个光学器件(例如，镜头)以将光聚焦到或以其他方式改变到一个或多个图像传感器120上。在一些实施例中，图像传感器120包括例如半导体电荷耦接器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术的有源像素传感器、或任何其他类型的传感器。成像传感器120可以用于检测物体(例如，障碍或目标)，检测物体的位置信息，生成深度图(例如，使用立体图像传感器214和215)，规避障碍和/或跟踪目标。
在一些实施例中，可移动物体感测系统210包括一个或多个音频换能器(例如，扬声器、麦克风、抛物面麦克风、声纳系统)、一个或多个红外传感器、一个或多个传感器对(例如，左立体图像传感器214和右立体图像传感器215；音频输出换能器和音频输入换能器；和/或左红外传感器和右红外传感器)、一个或多个全球定位系统(GPS)传感器、运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器、接近传感器(例如，红外传感器)和/或天气传感器(例如，压力传感器、温度传感器、湿度传感器和/或风传感器)。
在一些实施例中，向控制单元108(例如，经由通信系统112)发送由可移动物体感测系统210的一个或多个传感器产生的感测数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息。在一些实施例中，存储器204存储由可移动物体感测系统210的一个或多个传感器产生的数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息。
图3是示出了根据一些实施例的障碍物的阻挡面的图像。在一些实施例中，障碍物可以安装在可移动物体上的使得障碍物的阻挡面部分地或完全地阻挡成像传感器(例如，成像传感器120和/或成像设备216)的位置处。在一些实施例中，障碍物包括可移动物体102的螺旋桨300(也称为螺旋桨桨叶300)的阻挡面，如图3所示。在一些实施例中，障碍物的阻挡面包括螺旋桨桨叶300的下表面，例如螺旋桨桨叶300的面向成像传感器120的下表面。可以由安装在可移动物体102上的一个或多个照明光源对螺旋桨桨叶300的下表面进行照明(例如，图4A-4B)。螺旋桨300是移动机构114的组件。例如，一个或多个螺旋桨300可以使用一个或多个支撑元件(例如，驱动轴)和/或一个或多个致动元件(例如，可移动物体致动器212)耦接到可移动物体102。螺旋桨300可以由可移动物体致动器212供电以旋转，使可移动物体102上升和/或推进。在一些实施例中，障碍物包括可移动物体102的另一组件，例如可移动物体的臂或可移动物体的起落架。
在一些实施例中，螺旋桨300安装在可移动物体102上的使得螺旋桨300的一个或多个桨叶(例如，分别是一个或多个桨叶的一个或多个阻挡面)在螺旋桨300旋转期间部分地或完全地阻挡成像传感器120的位置处。结果，由成像传感器120捕获的一个或多个图像可以分别在该一个或多个图像内的一个或多个位置处包括螺旋桨桨叶300的阻挡面的至少一部分。为了检测障碍物的阻挡面(例如，螺旋桨桨叶300的阻挡面)在所捕获的图像内的位置，以使得障碍物(例如，螺旋桨桨叶300)不会被误认为是障碍或目标，使用与障碍物(例如，螺旋桨桨叶300)相关的预定模板来处理所捕获的图像，以检测和/或移除螺旋桨桨叶300的至少一部分的图像。
在一些实施例中，螺旋桨桨叶300包括分布在桨叶300的阻挡面上的一个或多个标记302、304、306和308。例如，标记302-308分布在桨叶300的面向成像传感器120的下表面上。在一些实施例中，螺旋桨300包括一个桨叶、两个桨叶(例如，图3中所示的两个相对的桨叶)、三个桨叶或任何其他数量的桨叶。在一些实施例中，标记仅分布在螺旋桨300的一个或多个桨叶中的一个桨叶上(例如，图3)。在一些其他实施例中，标记分布在螺旋桨300的两个或更多个桨叶中的多于一个桨叶上。在一个示例中，标记分布在螺旋桨300的两个或更多个桨叶中的每个桨叶上。螺旋桨300的一个或多个桨叶中的每个桨叶可以是平坦的。备选地，螺旋桨300的一个或多个桨叶中的每个桨叶可以具有从桨叶根部到桨叶尖端变化的桨叶角，因此标记302-308也可以在桨叶的面向成像传感器120或成像设备216的上表面和下表面两者上分布。在一些实施例中，标记302-308中的每个标记由反射材料(例如，磷光体)制成。在一些实施例中，标记包括一个或多个条纹，如图3所示。例如，每个标记是在多个圆中的相应圆上的弧形条纹，使得当螺旋桨桨叶300处于旋转运动时，每个弧形条纹在该多个圆中的相应圆中形成运动轨迹。例如，标记302是第一圆的一部分上的弧形条纹，并且标记304是与第一圆不同的第二圆的一部分上的弧形条纹。在一些实施例中，该多个圆是同心圆。在一个示例中，多个同心圆的共同中心轴是桨叶300被配置为围绕其旋转的中心轴(穿过中心点310)。在一些其他实施例中，标记具有其他适当的形状，例如矩形、正方形或其他多边形。
在一些实施例中，一个或多个标记302-308包括具有不同宽度的多组条纹。多组条纹可以交替地分布在桨叶300的阻挡面上，使得障碍物上的条纹可以与环境中具有条纹形状或具有条纹图案的其他物体(例如，具有条纹图案的障碍或目标)充分区分开。例如，标记(条纹)302和306属于第一组条纹，每个条纹均具有第一宽度，标记(条纹)304和308属于第二组条纹，每个条纹均具有第二宽度。第二宽度可以小于第一宽度。在一些示例中，第一宽度是第二宽度的1-5倍。在一些优选实施例中，第一宽度是第二宽度的1.5-2.5倍。在一些实施例中，每组条纹包括1-5个条纹。在一些优选实施例中，每组条纹包括3-5个反射条纹。在如图3所示的一些实施例中，标记分布在桨叶300的外边缘附近，该外边缘是桨叶300距中心轴或中心310较远的一端。
图4A-4B示出了根据一些实施例的对不具有(图4A)照射在螺旋桨桨叶300上的标记处的照明光源的可移动物体和具有该照明光源的可移动物体进行比较的一对图像。在一些实施例中，照明光源安装在可移动物体102上以对一个或多个标记302-308照明。在一些实施例中，照明光源包括荧光光源、白炽光源、放电光源、氖和氩光源、等离子体光源、发光二极管(LED)光源、有机LED(OLED)光源或任何其他适当的光源。在一些实施例中，照明光源包括安装在可移除物体102上的一个或多个白色LED。如在图4A和图4B中所比较的，在照明光源照射在桨叶300上的标记处的情况下，标记区域302-308和桨叶区域402-408之间的对比度增强。这有利于在由成像传感器120捕获的图像中标记和检测桨叶300的位置。在本公开中将参考图5中的方法500、图7中的方法700和图9中的方法900讨论更多细节。
图5是示出了根据一些实施例的准备用于图像处理的运动轨迹模板的方法500的流程图。运动轨迹模板包括指示障碍物(例如，螺旋桨桨叶300或螺旋桨桨叶300的阻挡面)在障碍物的旋转期间的运动和位置的信息。在一些实施例中，方法500由诸如计算设备110、控制单元108或可移动物体102(图1)之类的电子设备执行。在一些其他实施例中，方法500由其他电子设备执行，例如与用于操作可移动物体102的控制单元108配对的移动设备或计算设备。图5中执行的操作对应于存储在对应设备的计算机存储器或其他计算机可读存储介质中的指令。图6示出了根据一些实施例的准备用于图像处理的运动轨迹模板640的示例性过程。根据一些实施例，在图6中进一步示出了在方法500的一个或多个步骤处理的图像，图6使用螺旋桨桨叶300作为障碍物的示例。
在一些实施例中，电子设备获取(502)多个图像，例如图6中的图像602、604和606。该多个图像由成像设备捕获，例如可移动物体102承载的成像传感器120或成像设备216。该多个图像可以是以周期性速率捕获的视频的一系列图像帧。在一些实施例中，多个图像中的每个图像是短曝光图像，例如是在障碍物相对缓慢地移动时拍摄的或者具有短曝光时间。在一些实施例中，多个图像中的每个图像是长曝光图像，例如是在障碍物相对快速地移动时拍摄的或者具有长曝光时间。在一些实施例中，多个图像中的每个图像在一个或多个相应位置处包括障碍物的至少一部分。例如，图6的图像602、604和606中的每个图像在不同位置处包括螺旋桨桨叶300的阻挡面的一部分。
关于准备运动轨迹模板的过程，电子设备从多个图像中选择(504)某个图像，例如图像602(图6)。所选图像在投影位置处包括障碍物的至少一部分。例如，图像602在某个位置处包括螺旋桨桨叶300的一部分。电子设备在所选图像(例如，图像602)中获得(506)包括障碍物的一个或多个物体的边缘，如图像612所示。在一些实施例中，电子设备使用边缘检测算法(例如，Canny边缘检测算法)在图像602中提取边缘信息。选择算法的一个或多个阈值以有效地识别在较亮标记区域和较暗桨叶区域之间具有高对比度的边缘(图4B)。
在一些实施例中，电子设备从步骤506中在图像602中检测到的边缘中选择(508)障碍物上的标记的边缘和/或障碍物的边缘。例如，电子设备选择图像602中的标记边缘和/或桨叶边缘，如图像622所示。步骤508可以手动执行。备选地或另外地，步骤508可以自动执行，例如通过使用一个或多个预设标准和/或图案的图案识别过程来识别标记边缘和桨叶边缘。在一些实施例中，选择一个或多个边缘(包括桨叶边缘和标记边缘)以形成一个或多个封闭区域，如图像622所示。
在一些实施例中，电子设备获得(510)掩模(例如，掩模632)，该掩模对应于步骤508处的已处理图像(例如，图像622)。掩模632在某个位置处识别障碍物(例如，桨叶300)的至少一部分。在一些实施例中，通过在不同类型的区域中填充不同颜色来形成掩模632。例如，用白色填充与图像622中的桨叶上的标记相对应的区域，用黑色填充与桨叶区域的剩余部分相对应的区域(例如，封闭区域内的剩余区域)，并且用灰色填充图像622中的剩余区域(例如，不确定区域)。
在一些实施例中，方法500进一步确定(512)当前处理的图像(例如，图像602)是否是步骤502处的多个获取图像中的最后图像。换言之，确定(512)是否已经处理了在步骤502获取的多个图像中的所有图像。根据确定当前处理的图像不是多个获取图像中的最后图像(512-否)，电子设备继续处理该多个图像中的下一图像(514)。例如，如图6所示，其他图像(例如，图像604和606)在相应位置处包括障碍物(桨叶300)的至少一部分。使用边缘检测算法来处理图像604和606，以检测(506)图像中的所有边缘(分别如图像614和616中所示)，以选择(508)标记边缘和/或桨叶边缘(分别如图像624和626中所示)，并通过在相应区域中填充不同颜色来获得(510)掩模634和636。
根据确定当前处理的图像是多个获取图像中的最后图像(512-是)，电子设备合并(516)来自该多个图像的所有掩模以获得包括多个运动轨迹的运动轨迹模板。每个运动轨迹表示在障碍物的旋转运动期间障碍物上的标记的运动。例如，电子设备合并所有掩模(包括掩模632、634和636)，以获得运动轨迹模板640。运动轨迹模板640包括多个运动轨迹，例如图6中的条纹。在一些实施例中，每个运动轨迹(例如，运动轨迹642、运动轨迹644)示出了在障碍物的旋转期间该障碍物上的标记的运动轨迹。例如，标记302(图3和图4B)对应于运动轨迹642，标记306对应于运动轨迹644(图3和图4B)。
在一些实施例中，在步骤516处的合并过程期间，仅将在所有掩模中被指定为标记区域的区域识别为标记区域。然而，如果在步骤510处将第一掩模中的某个区域指定为标记区域，并且在步骤510处将第二掩模中的相同区域指定为桨叶区域，则在合并步骤512处不将该特定区域指定为运动轨迹模板640中的标记区域。
在一些其他实施例中，可以将多个掩模中被指定为标记区域或不确定区域(例如，不是标记区域或桨叶区域)的区域识别为标记区域。例如，如果在步骤510处将第一掩模中的某个区域指定为标记区域，并且在步骤510处将第二掩模中的相同区域指定为不确定区域，则在合并步骤512处可以将该特定区域识别为运动轨迹模板640中的标记区域。
类似地，在一些实施例中，在步骤516处的合并过程期间，将在所有掩模中被指定为桨叶区域的区域或在所有掩模中被指定为桨叶区域或不确定区域的区域识别为桨叶区域。例如，如果在步骤510处将第一掩模中的某个区域指定为桨叶区域，并且在步骤510处将第二掩模中的相同区域指定为标记区域，则在合并步骤512处不将该特定区域识别为运动轨迹模板640中的桨叶区域。
在一些实施例中，标记的形状变化或边界变化、从标记区域到障碍物区域(例如，到桨叶区域)的渐变过渡、和/或照明效果的变化可导致边缘检测过程出错或不确定。因此，进一步优化运动轨迹模板640以消除错误，从而提供与障碍物的位置有关的更准确的运动轨迹信息。在一些实施例中，将标记区域的边界和桨叶区域的边界向内调整，以提高模板中的标记和障碍物与所捕获的图像中的对应标记和障碍物之间的匹配程度来用于进行处理。
在一些实施例中，还可以使用由成像传感器(例如，成像传感器120或成像设备216)捕获的长曝光图像(未示出)来准备运动轨迹模板640。可以在长曝光图像中示出障碍物上的一个或多个标记的从第一位置移动到第二位置的轨迹。然后可以手动标记所捕获的长曝光图像。例如，用白色将与标记的运动相对应的轨迹指定为标记区域，并且用黑色将与桨叶的运动相对应的轨迹指定为桨叶区域。
图7是示出了根据一些实施例的准备用于图像处理的模板的方法700的流程图。该模板包括指示在障碍物(例如，螺旋桨桨叶300)的旋转期间该障碍物在图像内的投影位置(例如，可能的位置)的信息。在一些实施例中，当成像传感器(例如，成像传感器120或成像设备216)被障碍物(例如，桨叶300)部分地阻挡，并且成像传感器与障碍物之间的相对位置是固定的(例如，对于成像传感器120而言)或者是(例如，对于成像设备216而言，使用成像设备216的位置信息)可以确定的，可以将模板准备为包括对在成像传感器捕获的图像中的一个或多个投影位置(可能的位置)处的桨叶300的至少一部分进行表示的信息。在一些实施例中，模板包括一个或多个标记，例如点、像素、线或多边形。在一些实施例中，模板包括每个标记的位置信息和/或像素值。
在一些实施例中，方法700由诸如计算设备110、控制单元108或可移动物体102(图1)之类的电子设备执行。在一些其他实施例中，方法700由其他电子设备执行，例如与用于操作可移动物体102的控制单元108配对的移动设备或计算设备。图7中执行的操作对应于存储在对应设备的计算机存储器或其他计算机可读存储介质中的指令。图8示出了根据一些实施例的准备用于图像处理的模板852的示例性过程。根据一些实施例，在图8中进一步示出了与处理图像以准备模板有关的方法700的一个或多个步骤，图8使用螺旋桨桨叶300作为障碍物的示例。
在一些实施例中，电子设备选择(702)多个图像，例如图8中的图像802和804。该多个图像由成像设备捕获，例如可移动物体102承载的成像传感器120或成像设备216。该多个图像可以是以周期性速率捕获的视频的一系列图像帧。在一些实施例中，多个图像中的每个图像是当障碍物相对缓慢地移动时拍摄的短曝光图像。在一些实施例中，多个图像中的每个图像在相应位置处包括障碍物(例如，螺旋桨桨叶300)的至少一部分。
然后，电子设备从多个图像中选择(704)某个图像(例如，图像802)，以进行处理。所选图像在某个位置处包括障碍物的至少一部分。例如，在图像802中或在对应的说明性简图812中，在某个位置处包括螺旋桨桨叶300的一部分。电子设备识别(706)对障碍物的该部分在当前处理的图像中的位置进行表示的点集或线。该点集或线与障碍物的该部分的对应位置的旋转角度相关联。例如，如图8所示，电子设备识别线822，线822表示桨叶300的至少一部分的投影位置，如图像812所示。在一些实施例中，线822与投影位置的旋转角度相关联。在一些实施例中，线822是桨叶300的纵向对称轴。在一些实施例中，如图像812所示，相应多个图像的识别出的点集(例如，线822、824、826、828和830)均匀分布。
在一些实施例中，电子设备在所选图像(例如，图像802/812)中识别(708)第一组标记。第一组标记(例如，标记831、832和833)被识别为分布在线822上并且位于桨叶300上的标记区域(例如，条纹)和桨叶区域的中心处。在一些实施例中，第一组标记是所捕获的图像802中的像素，该像素位于线822上并且位于桨叶300上的标记区域和桨叶区域的中心处。每个像素具有包括所捕获的图像802中的对应像素的亮度信息和/或颜色信息的像素值。
在一些实施例中，方法700继续确定(710)当前处理的图像(例如，图像802)是否是步骤702处的多个获取图像中的最后图像。换言之，确定(710)是否已经处理了在步骤702获取的多个图像中的所有图像。根据确定当前处理的图像不是多个获取图像中的最后图像(710-否)，电子设备继续处理该多个图像中的下一图像(712)。例如，如图8所示，其他图像(例如，图像804)在相应位置处包括障碍物(桨叶300)的至少一部分。通过识别图像804中的线830和第一组标记(例如，834)来处理图像804，如在说明性简图814中所示。还通过识别对应图像中的相应线(例如，824、826和828)和第一组标记来处理其他图像(未示出)。
根据确定当前处理的图像是多个获取图像中的最后图像(710-是)，电子设备合并(714)来自该多个图像中的识别出的第一组标记，以获得初步模板842(对应于图像840)。初步模板842包括多个点集，例如线822、824、826、828和830，指示桨叶300在旋转期间的投影位置以及分布在相应线上的第一组标记。
在一些实施例中，电子设备还向初步模板842添加(716)第二组标记以获得模板852(对应于图像850)。在一些实施例中，第二组标记分布在使用方法500(图5)获得的运动轨迹模板640(图6)中的一个或多个轨迹(例如，图8中的轨迹858)上。在一些实施例中，第二组标记中的多个标记被添加在运动轨迹858上且在来自第一组标记的标记之间，例如在线822上的标记854与线824上的标记856之间。在一些实施例中，第二组标记中被添加在每个运动轨迹(例如，运动轨迹858)上的标记的总数在200到400的范围内。模板852包括第一组标记(在步骤708处识别)和第二组标记(在步骤716处添加)。在一些实施例中，模板852中的第一组标记和第二组标记中的一个或多个标记是来自相应捕获图像(例如，图像802、图像804等)的对应像素。每个像素具有像素值，该像素值包括对应的所捕获的图像中的像素的亮度信息和/或颜色信息。
图9是示出了根据一些实施例的用于支持可移动物体102的图像处理的方法900的流程图。在一些实施例中，方法900由诸如计算设备110、控制单元108或可移动物体102(图1)之类的电子设备执行。在一些其他实施例中，方法900由其他电子设备执行，例如与用于操作可移动物体102的控制单元108配对的移动设备或计算设备。图9中执行的操作对应于存储在对应设备的计算机存储器或其他计算机可读存储介质中的指令。
在一些实施例中，电子设备获取(902)由可移动物体102承载的成像设备(例如，成像传感器120或成像设备216)捕获的图像。在一些实施例中，成像设备至少部分地被障碍物(例如，图3的螺旋桨桨叶300)的阻挡面所阻挡。障碍物可以具有固定配置、周期性配置或相对于成像设备的其他可预测配置。结果，图像在某个位置处包括障碍物的至少一部分。在一些实施例中，成像设备和障碍物之间(例如，成像传感器120和螺旋桨桨叶300之间)的相对位置是固定的。在一些实施例中，可以确定或预测成像设备和障碍物之间(例如成像设备216和螺旋桨桨叶300之间)的相对位置。例如，可以从载具104获得成像设备216的位置信息，以在成像设备捕获图像时确定成像设备216和螺旋桨桨叶300之间的相对位置。在一些实施例中，从成像设备向远程单元108或计算设备110发送所捕获的图像以进行处理。在一些实施例中，当可移动物体102移动并捕获图像时，实时地执行方法900。
在一些实施例中，电子设备采集(904)所获取的图像中与图8的模板852中的标记(包括第一组标记和第二组标记)相对应的像素。然后，电子设备确定(906)与模板852中的多条线中的每条线上的第一组标记相对应的一个或多个所采集的像素的像素值是否满足预定标准。
在一些实施例中，电子设备选择所获取的图像中与位于图8的模板852中的多条线(例如，822、824、826、828和830)中的每条线上的第一组像素相对应的像素，并且将所选像素值与模板852中的对应像素值进行比较。当所选像素值与模板852中的某条线上的标记的像素值之间的差在预定阈值内时，确定障碍物的至少一部分位于所获取的图像中的该条线上。否则，确定障碍物不在所获取的图像中的该条线上。
在一些实施例中，当所选像素值与模板852中的某条线上的所有标记中的至少1/3标记的像素值之间的差在预定阈值内时，确定障碍物的至少一部分位于所获取的图像中的该条线上。
在一些实施例中，在步骤906处，电子设备首先从所获取的图像中选择与模板852中的多条线上的第一组标记相对应的像素。针对每个所选像素，电子设备然后选择位于相邻区域(例如，相邻方形或相邻圆形区域，以所选像素为中心)中的一个或多个相邻像素，相邻区域中的所选像素位于图6的运动轨迹模板640中一个或多个轨迹上。例如，电子设备选择位于一个或多个轨迹上并且在21×21像素的相邻正方形区域中的像素。在一些实施例中，电子设备使用相邻像素计算线上的每个像素的一个或多个统计值。例如，电子设备计算位于标记区域中的像素的平均值(bright_mean)、位于桨叶区域中的像素的平均值(dark_mean)、位于标记区域中的像素的变化值(bright_var)(例如，标准偏差、平均绝对偏差、中值绝对偏差或最大绝对偏差)、和/或位于桨叶区域中的像素的变化值(dark_var)。在一些实施例中，将一个或多个计算出的统计值与一个或多个对应的预定阈值进行比较。在示例中，对于某条线上的特定所选像素，当bright_mean值大于预定阈值10、dark_mean值小于预定阈值50、bright_var值小于预定阈值70、并且dark_var值小于预定阈值70时，则确定该特定所选像素存在于所获取的图像中的障碍物(例如，桨叶300)上。在一些实施例中，当某条线上的像素中的至少1/3像素具有满足相应阈值的统计值时，确定障碍物(例如，桨叶300)位于所获取的图像中与该条线相对应的位置处。
根据确定与模板852中的多条线中的任何线上的第一组标记相对应的一个或多个所采集的像素的像素值不满足如上所述的预定标准(906-否)，则电子设备确定(908)在所获取的图像中所获取的图像不包括障碍物(例如，桨叶300)的图像。
根据确定与模板852中的一条或多条线上的第一组标记相对应的一个或多个所采集的像素的像素值满足如上所述的预定标准(906-是)，则电子设备识别出(910)障碍物(例如，桨叶300)的至少一部分出现在分别与所获取的图像内的一条或多条线相对应的一个或多个位置中。
在一些实施例中，电子设备还确定(912)所获取的图像是长曝光图像还是短曝光图像。在一些实施例中，电子设备确定障碍物(例如，桨叶300)的至少一部分是否覆盖模板852中的预定区域。例如，电子设备确定障碍物的一部分是否覆盖模板852中的所有线中至少2/3的线。当电子设备根据步骤906的结果确定桨叶300的一部分存在于所获取的图像内的所有线中的少于2/3的线上时，电子设备确定所获取的图像是短曝光图像(912-短曝光)。在一些实施例中，电子设备消除(914)与处于一个或多个识别出的旋转角度的障碍物相对应的区域。例如，消除在步骤906被确定位于一条或多条线处的桨叶的该部分，使得桨叶300的该部分不会被误认为是可移动物体环境中的阻碍或目标。
当电子设备根据步骤906的结果确定桨叶300的一部分存在于所获取的图像内的所有线中的不少于2/3的线上时，电子设备确定所获取的图像是长曝光图像(912-长曝光)。在长曝光图像中可能会发生桨叶300的运动模糊。长曝光图像中的一些识别出的桨叶区域可能不会阻挡可移动物体环境中的物体(例如，阻碍或目标)。这样，不需要消除与识别出的桨叶区域相对应的所有图像信息。
在一些实施例中，电子设备使用任何适当的图像处理技术来识别(916)长曝光图像中的模糊区域和锐利区域。在一些实施例中，电子设备消除(918)识别出的锐利区域中的像素，并保留(918)识别出的模糊区域中的像素。在一些备选实施例中，电子设备消除与障碍物上的标记(条纹)(例如，桨叶300上的条纹)相对应的像素，并且保留所获取的长曝光图像中的剩余像素以用于进一步的图像处理。
在一些实施例中，包括使用机器学习的其他方法可被用于替代上述方法或与上述方法组合来执行图像处理。例如，首先手动和/或自动地标记在一个或多个投影位置处包括障碍物的多个图像。已标记的图像被馈送到用于训练机器学习模型的算法。已训练的模型可以用于在输入的所捕获的图像中检测障碍物。
图10A-10F是示出了根据一些实施例的用于支持针对可移动物体102的图像处理的方法1000的流程图。方法1000在诸如可移动物体102、成像传感器120、成像设备216、控制单元108和/或计算设备110之类的设备上执行。在一些实施例中，障碍物包括可移动物体的螺旋桨300(例如，螺旋桨桨叶)、可移动物体的臂、可移动物体的起落架、或可移动物体的可部分或完全阻挡成像传感器120和/或成像设备216的任何其他组件。
设备获取(1002)一个或多个图像。该一个或多个图像由可移动物体102承载的成像设备(例如，成像传感器120或成像设备216)捕获。成像设备至少部分地被附接到可移动物体102的诸如螺旋桨桨叶300之类的障碍物(或障碍物的阻挡面)阻挡。在一些实施例中，诸如成像传感器120之类的成像设备被(1008)固定安装在可移动物体102上，因此成像传感器120和旋转到某个位置的螺旋桨桨叶300之间的相对位置是固定的。在一些备选实施例中，成像设备(例如，成像设备216)由载具104承载，并且可以使用附接到载具104的一个或多个传感器来确定成像设备216的位置信息。
在一些实施例中，障碍物包括(1010)螺旋桨系统的桨叶300的至少一部分，该螺旋桨系统用于提供可移动物体102的运动。在一些实施例中，障碍物包括(1012)分布在障碍物的面向可移动物体102的成像设备的阻挡面(例如，下表面)上的多个标记(例如，图3中的条纹302、304、306和308)。在一些实施例中，多个标记中的每个标记是(1014)由反射材料制成的。在一些实施例中，可移动物体102包括照明光源，照明光源被配置为对桨叶300上的一个或多个反射标记进行照明(1016)，如图4B所示。
在如图3所示的一些实施例中，每个标记是(1018)在多个同心圆中的相应同心圆上的弧形条纹。多个同心圆具有共同的中心轴，桨叶300被配置为围绕该中心轴旋转。在一些实施例中，多个标记包括(1020)具有不同宽度的多组条纹。例如，第一组条纹(例如，图3中的304、308)中的每个条纹具有第一宽度，并且第二组条纹(例如，图3中的302、306)中的每个条纹具有第二宽度，该第二宽度是第一宽度的1.5-2.5倍。在一些实施例中，多组条纹交替地分布在桨叶300的外边缘附近，如图3所示。在一些实施例中，每组条纹包括(1022)3至5个条纹。
设备将模板(例如，使用方法500和700确定的模板852)应用(1004)到一个或多个所获取的图像，以获得障碍物(例如，螺旋桨桨叶300)在一个或多个所获取的图像中的一个或多个投影位置。在一些实施例中，模板852包括(1024)对在障碍物(例如，螺旋桨桨叶300)的旋转运动期间该障碍物的至少一部分的一个或多个投影位置进行表示的图案。例如，模板852(图8)包括(1026)一个或多个点集，例如分别表示在旋转运动期间该障碍物(例如，螺旋桨桨叶300)的一个或多个投影位置的线(例如，图8中的线822、824、826、828和830)。在一些实施例中，每条线与对应投影位置的旋转角度相关联。在一些其他实施例中，模板852包括其他标记(例如点或多边形)，以表示障碍物的一个或多个投影位置。
在一些实施例中，模板852(图8)中的一条或多条线中的相应线是(1030)障碍物(例如，螺旋桨桨叶300)的阻挡面的纵向对称轴。在一些实施例中，模板852包括(1032)分布在一条或多条线(例如，图8中的图像812中的线822)上的第一组标记(例如，图8中的图像812中的标记831、832、833)。在一些实施例中，分布在相应线(例如，线822)上的标记包括(1032)位于螺旋桨桨叶300上的条纹中心处的第一标记集合，例如标记832和833。分布在线822上的标记还包括(1032)位于螺旋桨桨叶300上的两个相邻条纹(即，桨叶区域)之间的间隔的中心处的第二标记集合，例如标记831。
在一些实施例中，模板852还包括(1034)分布在来自运动轨迹模板640(图6)的轨迹(例如，图8中的轨迹858)上的第二组标记(例如，图8中的标记860)。运动轨迹模板640包括指示在螺旋桨桨叶300的旋转运动期间该螺旋桨桨叶300上的条纹的运动的轨迹。在一些实施例中，每个轨迹上的第二组标记中的标记的数量在200至400之间的范围内。
在步骤1002处获取的一个或多个图像内，设备检测(1006)位于一个或多个投影位置处的障碍物(例如，螺旋桨桨叶300)的阻挡面的至少一部分。在一些实施例中，设备确定(1028)螺旋桨桨叶300的至少一部分是否位于某个图像中的一条或多条线(例如，图8中的线822、824、826、828和830)上。
在一些实施例中，设备采集(1036)某个所获取的图像中与模板852中的第一组标记和第二组标记相对应的像素。通过使用模板852，仅考虑所获取的图像中与第一组标记和第二组标记相对应的像素。这可以减少设备的计算工作量并提高图像处理的效率，因为不需要检查所获取的图像中的每个像素。
设备确定(1038)与每条线上的第一组标记相对应的所采集的像素的像素值是否满足预定标准。例如，设备将所获取的图像中的所采集的像素的像素值与从用于制作模板852的图像中获得的对应像素(例如，参考像素)的像素值(例如，参考像素值)进行比较(1042)。设备将差值与预定阈值进行比较。
在一些实施例中，针对特定线上的每个像素，识别与模板852中的第二组标记相对应的多个相邻像素。设备计算(1044)所采集的像素的像素值的一个或多个统计值。例如，设备基于线上的每个像素的那些相邻像素计算一个或多个统计值。例如，对于某条线上的特定像素，计算条纹区域(例如，具有较亮的颜色)中的所有相邻像素的平均值、桨叶区域(例如，具有较暗的颜色)中的所有相邻像素的平均值、条纹区域中的所有相邻像素的偏差值、以及桨叶区域中的所有相邻像素的偏差值。设备将一个或多个统计值与一个或多个预定阈值进行比较(1046)(如参考图9在方法900中所讨论的)。
根据确定与第一线相对应的所采集的像素的像素值满足预定标准，则设备识别出(1040)正在处理的所获取图像中在与第一线相关联的第一旋转角度处存在障碍物(例如，螺旋桨桨叶300)。
在一些实施例中，设备还确定(1048)满足预定标准并分布在第一线上的像素的总数是否大于预定阈值数量。例如，确定是否第一线上的所有像素中超过1/3的像素满足预定标准。根据确定分布在第一线上的像素的总数大于预定阈值数量，设备识别出(1050)第一图像中在与第一线相关联的第一旋转角度处存在螺旋桨桨叶300。
在一些实施例中，设备还识别(1052)所获取的第一图像的曝光类型。例如，设备确定(1056)障碍物(例如，螺旋桨桨叶300)的阻挡面是否被识别为在第一图像内多于预定数量的角度(对应于线)处存在。在示例中，设备确定螺旋桨桨叶300的至少一部分是否被识别为在第一图像内的所有线中不少于2/3的线处存在。然后，设备根据识别出的曝光类型处理(1054)第一图像。
当螺旋桨桨叶300的至少一部分被识别为在第一图像内的所有线中少于2/3的线处存在时，第一图像被识别为短曝光图像。根据确定第一图像是短曝光图像，设备消除(1058)第一图像中与处于一个或多个识别出的旋转角度(对应线)的螺旋桨桨叶300相对应的区域。
当螺旋桨桨叶300的至少一部分被识别为在第一图像内的所有线中不少于2/3的线处存在时，第一图像被识别为长曝光图像。根据确定第一图像是长曝光图像，设备消除(1060)第一图像中与处于识别出的旋转角度(对应线)的螺旋桨桨叶300上的条纹相对应的区域。
在一些实施例中，根据确定第一图像是长曝光图像(1062)，设备还在第一图像中识别(1064)螺旋桨桨叶300的模糊区域和锐利区域。然后，设备消除(1066)螺旋桨桨叶300的识别出的锐利区域中的像素。设备保留(1068)螺旋桨桨叶300的识别出的模糊区域中的像素。
图11A-11C是示出了根据一些实施例的用于控制可移动物体102的方法1100的流程图。方法1100在诸如可移动物体102、成像传感器120、成像设备216、控制单元108和/或计算设备110之类的设备上执行。
设备获取(1102)一个或多个图像。该一个或多个图像由可移动物体102承载的成像设备(例如，成像传感器120或成像设备216)捕获。成像设备至少部分地被附接到可移动物体102的诸如螺旋桨桨叶300之类的障碍物所阻挡。在一些实施例中，障碍物包括(1108)螺旋桨系统的桨叶300的至少一部分，该螺旋桨系统用于提供可移动物体102的运动。在一些实施例中，桨叶300包括(1110)多个反射条纹(例如，图3中的条纹302、304、306和308)，该反射条纹分布在桨叶300的面向可移动物体102的成像设备的下表面上。在一些实施例中，可移动物体102包括照明光源，照明光源被配置为对桨叶300上的一个或多个反射条纹进行照明，如图4B所示。
设备检测(1104)投影在所获取的一个或多个图像中的障碍物(例如，螺旋桨桨叶300)的至少一部分。在一些实施例中，设备将模板(例如，图8中的模板852)应用(1112)到该一个或多个图像，以获得螺旋桨桨叶300在所获取的一个或多个图像内的一个或多个投影位置。在一些实施例中，模板包括(1114)一条或多条线(例如，图8中的线822、824、826、828和830)，该一条或多条线分别表示在旋转运动期间螺旋桨桨叶300的一个或多个投影位置。每条线与对应投影位置的旋转角度相关联。在一些实施例中，模板包括(1116)分布在一条或多条线(例如，图8中的图像812中的线822)上的第一组标记(例如，图8中的图像812中的标记831、832和833)。模板852还包括(1116)分布在从运动轨迹模板640(图6)获得的运动轨迹(例如，图8中的轨迹858)上的第二组标记(例如，图8中的图像852中的标记860)。运动轨迹模板640包括多个轨迹(例如，图6中的轨迹642、644)，该多个轨迹对应于在桨叶300的旋转运动期间桨叶300上的反射条纹的运动轨迹。
设备处理(1106)具有投影的障碍物(例如，螺旋桨桨叶300)的所获取的一个或多个图像，以辅助可移动物体102的操作。在一些实施例中，可移动物体102的操作包括但不限于障碍规避、导航与定向、图像捕获与处理、和/或目标跟踪。
在一些实施例中，设备采集(1118)某个所获取的图像(例如，第一图像)中与模板852中的第一组标记和第二组标记相对应的像素。然后，设备确定(1120)与每条线上的第一组标记相对应的所采集的像素的像素值是否满足预定标准。例如，设备将所获取的图像中的所采集的像素的像素值与从用于制作模板852的图像中获得的对应像素的像素值进行比较。设备将差值与预定阈值进行比较。在另一示例中，针对特定线上的每个像素，识别与模板852中的第二组标记相对应的多个相邻像素。设备计算所采集的像素的像素值的一个或多个统计值，并将该一个或多个统计值与一个或多个预定阈值进行比较(如参考图9在方法900中所讨论的)。
根据确定与第一线相对应的所采集的像素的像素值满足预定标准，则设备识别出(1122)第一图像中在与第一线相关联的第一旋转角度处存在障碍物(例如，螺旋桨桨叶300)。
在一些实施例中，处理(例如，1106)具有投影的障碍物的一个或多个图像以辅助可移动物体的操作包括(1124)：消除被投影在一个或多个图像中的障碍物(例如，螺旋桨桨叶300)的至少一部分。在一些实施例中，设备识别(1126)所获取的第一图像的曝光类型。例如，设备确定螺旋桨桨叶300是否被识别为存在于第一图像内多于预定数量的角度(对应于线)处。在示例中，设备确定螺旋桨桨叶300的至少一部分是否被识别为在第一图像内的所有线中不少于2/3的线处存在。在一些实施例中，当螺旋桨桨叶300的至少一部分被识别为在第一图像内的所有线中少于2/3的线处存在时，第一图像被识别为短曝光图像。另一方面，当螺旋桨桨叶300的至少一部分被识别为在第一图像内的所有线中不少于2/3的线处存在时，第一图像被识别为长曝光图像。
在一些实施例中，根据确定一个或多个图像中的第一图像是短曝光图像，设备消除(1128)第一图像中与处于一个或多个检测到的位置处的螺旋桨桨叶300相对应的像素。
根据确定第一图像是长曝光图像，设备消除(1130)第一图像中与处于检测到的位置处的螺旋桨桨叶300上的反射条纹相对应的区域。
在一些实施例中，针对长曝光图像，设备还识别第一图像中的螺旋桨桨叶300的一个或多个模糊区域和一个或多个锐利区域。然后，设备消除螺旋桨桨叶300的识别出的锐利区域中的像素。设备保留螺旋桨桨叶300的识别出的模糊区域中的像素。
本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，本发明的特征可以使用处理系统来实现。示例性处理系统(例如，处理器202)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理器、物理处理器、数字信号处理器、协处理器、网络处理器、音频处理器、加密处理器等。
本发明的特征可以使用或借助于计算机程序产品来实现，诸如存储有指令的存储介质(介质)或计算机可读介质(介质)，其中可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质(例如(例如存储器204)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或设备。
存储在任何机器可读介质(介质)上的本发明的特征可以结合到用于控制处理系统的硬件以及用于支持处理系统使通过利用本发明的结果与其他结构进行交互的软件和/或固件中。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
这里所指的通信系统(例如，通信系统206)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送也称为电磁信号的RF信号。通信系统的RF电路将电信号与电磁信号相互转换，并经由电磁信号与通信网络和其他通信设备进行通信。RF电路可选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、内存等。通信系统可选地与网络通信，例如互联网(也称为万维网(WWW))、内联网和/或无线网络、例如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)，并且可选地与其他设备通过无线通信来进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任一种，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE102.11a、IEEE102.11ac、IEEE102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE 102.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息传递和存在协议(XMPP)、用于即时消息的会话发起协议和存在利用扩展(SIMPLE)、即时消息和存在服务(IMPS))和/或短消息服务(SMS)、诸如FASST或DESST的扩频技术或者任何其他合适的通信协议，包括在本文件的提交日期之前尚未开发的通信协议。
尽管上面已经描述了本发明各种实施例，但是应当理解，它们是作为示例而不是限制来呈现的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
本文的各种所述实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如本文提供的本公开的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解的是，术语“包括”和/或“包含”当用在该说明书中时表明所述特征、整体、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
如本文所使用的，术语“如果”可以被解释为表示“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，这取决于上下文。同样，“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”的表述可以解释为表示“一旦确定”或“响应于确定”或“根据确定”或“一旦检测到”或“响应于检测到”所述先决条件为真，这取决于上下文。
已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是显而易见的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。

Claims (107)

1.一种支持针对可移动物体的图像处理的方法，包括：
获取由可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置；以及
在所述一个或多个图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分。
2.根据权利要求1所述的方法，其中，所述障碍物包括用于提供所述可移动物体的运动的螺旋桨系统的桨叶的至少一部分。
3.根据权利要求2所述的方法，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个标记。
4.根据权利要求3所述的方法，其中，所述多个标记中的每个标记由反射材料制成。
5.根据权利要求4所述的方法，还包括：
使用安装在所述可移动物体上的照明光源对所述桨叶上的所述一个或多个标记进行照明。
6.根据权利要求3所述的方法，其中，每个标记是在具有共同中心轴的多个同心圆中的相应同心圆上的弧形条纹，所述桨叶被配置为围绕所述共同中心轴旋转。
7.根据权利要求6所述的方法，其中，所述多个标记包括具有不同宽度的多组条纹，所述多组条纹交替地分布在所述桨叶的外边缘附近。
8.根据权利要求7所述的方法，其中，每组条纹包括3至5个条纹。
9.根据权利要求1所述的方法，其中，所述模板包括对在所述障碍物的旋转运动期间所述障碍物的至少一部分的一个或多个投影位置进行表示的图案。
10.根据权利要求9所述的方法，其中，所述图案包括一条或多条线，所述一条或多条线分别表示在所述旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
11.根据权利要求10所述的方法，其中，在一个或多个所获取图像中的第一图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分包括：
确定所述障碍物的至少一部分是否位于所述第一图像中的所述一条或多条线上。
12.根据权利要求10所述的方法，其中，所述一条或多条线中的相应线是所述障碍物的纵向对称轴。
13.根据权利要求10所述的方法，其中，所述模板包括分布在所述一条或多条线上的第一组标记，分布在相应线上的标记包括：位于所述障碍物上的条纹的中心处的第一标记集合、以及位于所述障碍物上的两个相邻条纹之间的间隔的中心处的第二标记集合。
14.根据权利要求13所述的方法，其中，所述模板还包括在所述障碍物的旋转运动期间分布在所述障碍物上的条纹的运动轨迹上的第二组标记。
15.根据权利要求14所述的方法，还包括：
采集所述第一图像的与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与每条线相对应的所采集的像素的像素值是否满足预定标准；
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
16.根据权利要求15所述的方法，还包括：
将所述第一图像中所采集的像素的像素值与所述模板中对应参考像素的参考像素值进行比较。
17.根据权利要求15所述的方法，还包括：
计算所采集的像素的像素值的统计值；以及
将计算出的统计值与预定阈值进行比较。
18.根据权利要求15所述的方法，还包括：
确定满足所述预定标准并分布在所述第一线上的像素的总数是否大于预定阈值数量；
根据确定分布在所述第一线上的像素的总数大于所述预定阈值数量，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
19.根据权利要求15所述的方法，还包括：
识别所述第一图像的曝光类型；以及
根据识别出的曝光类型处理所述第一图像。
20.根据权利要求19所述的方法，其中，识别所述第一图像的曝光类型包括：
确定所述障碍物是否被识别为存在于所述第一图像内多于预定数量的角度处。
21.根据权利要求19所述的方法，其中，处理所述第一图像包括：
根据确定所述第一图像是短曝光图像，消除所述第一图像中与处于一个或多个识别出的旋转角度的所述障碍物相对应的区域。
22.根据权利要求19所述的方法，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像，消除所述第一图像中与处于识别出的旋转角度的所述障碍物上的条纹相对应的区域。
23.根据权利要求19所述的方法，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像；
识别所述第一图像中所述障碍物的模糊区域和锐利区域；
消除所述障碍物的所述锐利区域中的像素；以及
保留所述障碍物的所述模糊区域中的像素。
24.根据权利要求1所述的方法，其中，所述成像设备被固定安装在所述可移动物体上。
25.一种用于控制可移动物体的系统，所述系统包括：
与所述成像设备耦合的一个或多个处理器；
存储器；以及
一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
获取由可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置；以及
在所述一个或多个图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分。
26.根据权利要求25所述的系统，其中，所述障碍物包括用于提供所述可移动物体的运动的螺旋桨系统的桨叶的至少一部分。
27.根据权利要求26所述的系统，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个标记。
28.根据权利要求27所述的系统，其中，所述多个标记中的每个标记由反射材料制成。
29.根据权利要求28所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
使用安装在所述可移动物体上的照明光源对所述桨叶上的所述一个或多个标记进行照明。
30.根据权利要求27所述的系统，其中，每个标记是在具有共同中心轴的多个同心圆中的相应同心圆上的弧形条纹，所述桨叶被配置为围绕所述共同中心轴旋转。
31.根据权利要求30所述的系统，其中，所述多个标记包括具有不同宽度的多组条纹，所述多组条纹交替地分布在所述桨叶的外边缘附近。
32.根据权利要求31所述的系统，其中，每组条纹包括3至5个条纹。
33.根据权利要求25所述的系统，其中，所述模板包括对在所述障碍物的旋转运动期间所述障碍物的至少一部分的一个或多个投影位置进行表示的图案。
34.根据权利要求33所述的系统，其中，所述图案包括一条或多条线，所述一条或多条线分别表示在所述旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
35.根据权利要求34所述的系统，其中，在一个或多个所获取图像中的第一图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分包括：
确定所述障碍物的至少一部分是否位于所述第一图像中的所述一条或多条线上。
36.根据权利要求34所述的系统，其中，所述一条或多条线中的相应线是所述障碍物的纵向对称轴。
37.根据权利要求34所述的系统，其中，所述模板包括分布在所述一条或多条线上的第一组标记，分布在相应线上的标记包括：位于所述障碍物上的条纹的中心处的第一标记集合、以及位于所述障碍物上的两个相邻条纹之间的间隔的中心处的第二标记集合。
38.根据权利要求37所述的系统，其中，所述模板还包括在所述障碍物的旋转运动期间分布在所述障碍物上的条纹的运动轨迹上的第二组标记。
39.根据权利要求38所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
采集所述第一图像的与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与每条线相对应的所采集的像素的像素值是否满足预定标准；以及
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
40.根据权利要求39所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
将所述第一图像中所采集的像素的像素值与所述模板中对应参考像素的参考像素值进行比较。
41.根据权利要求39所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
计算所采集的像素的像素值的统计值；以及
将计算出的统计值与预定阈值进行比较。
42.根据权利要求39所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
确定满足所述预定标准并分布在所述第一线上的像素的总数是否大于预定阈值数量；
根据确定分布在所述第一线上的像素的总数大于所述预定阈值数量，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
43.根据权利要求39所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
识别所述第一图像的曝光类型；以及
根据识别出的曝光类型处理所述第一图像。
44.根据权利要求43所述的系统，其中，识别所述第一图像的曝光类型包括：
确定所述障碍物是否被识别为存在于所述第一图像内多于预定数量的角度处。
45.根据权利要求43所述的系统，其中，处理所述第一图像包括：
根据确定所述第一图像是短曝光图像，消除所述第一图像中与处于一个或多个识别出的旋转角度的所述障碍物相对应的区域。
46.根据权利要求43所述的系统，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像，消除所述第一图像中与处于识别出的旋转角度的所述障碍物上的条纹相对应的区域。
47.根据权利要求43所述的系统，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像，
识别所述第一图像中所述障碍物的模糊区域和锐利区域；
消除所述障碍物的所述锐利区域中的像素；以及
保留所述障碍物的所述模糊区域中的像素。
48.根据权利要求25所述的系统，其中，所述成像设备被固定安装在所述可移动物体上。
49.一种无人机UAV，包括：
推进系统；
一个或多个传感器；
成像设备，包括图像传感器和光学器件；以及
一个或多个处理器，耦接到所述推进系统、所述一个或多个传感器和所述成像设备，所述一个或多个处理器被配置为：
获取由所述UAV承载的所述成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述UAV的障碍物所阻挡；
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置；以及
在所述一个或多个图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分。
50.根据权利要求49所述的UAV，其中，所述障碍物包括用于提供所述UAV的运动的螺旋桨系统的桨叶的至少一部分。
51.根据权利要求50所述的UAV，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个标记。
52.根据权利要求51所述的UAV，其中，所述多个标记中的每个标记由反射材料制成。
53.根据权利要求52所述的UAV，其中，所述一个或多个处理器还被配置为：
使用安装在所述UAV上的照明光源对所述桨叶上的所述一个或多个标记进行照明。
54.根据权利要求51所述的UAV，其中，每个标记是在具有共同中心轴的多个同心圆中的相应同心圆上的弧形条纹，所述桨叶被配置为围绕所述共同中心轴旋转。
55.根据权利要求54所述的UAV，其中，所述多个标记包括具有不同宽度的多组条纹，所述多组条纹交替地分布在所述桨叶的外边缘附近。
56.根据权利要求55所述的UAV，其中，每组条纹包括3至5个条纹。
57.根据权利要求49所述的UAV，其中，所述模板包括对在所述障碍物的旋转运动期间所述障碍物的至少一部分的一个或多个投影位置进行表示的图案。
58.根据权利要求57所述的UAV，其中，所述图案包括一条或多条线，所述一条或多条线分别表示在所述旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
59.根据权利要求58所述的UAV，其中，在一个或多个所获取图像中的第一图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分包括：
确定所述障碍物的至少一部分是否位于所述第一图像中的所述一条或多条线上。
60.根据权利要求58所述的UAV，其中，所述一条或多条线中的相应线是所述障碍物的纵向对称轴。
61.根据权利要求58所述的UAV，其中，所述模板包括分布在所述一条或多条线上的第一组标记，分布在相应线上的标记包括：位于所述障碍物上的条纹的中心处的第一标记集合、以及位于所述障碍物上的两个相邻条纹之间的间隔的中心处的第二标记集合。
62.根据权利要求61所述的UAV，其中，所述模板还包括在所述障碍物的旋转运动期间分布在所述障碍物上的条纹的运动轨迹上的第二组标记。
63.根据权利要求62所述的UAV，其中，所述一个或多个处理器还被配置为：
采集所述第一图像的与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与每条线相对应的所采集的像素的像素值是否满足预定标准；以及
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
64.根据权利要求63所述的UAV，其中，所述一个或多个处理器还被配置为：
将所述第一图像中所采集的像素的像素值与所述模板中对应参考像素的参考像素值进行比较。
65.根据权利要求63所述的UAV，其中，所述一个或多个处理器还被配置为：
计算所采集的像素的像素值的统计值；以及
将计算出的统计值与预定阈值进行比较。
66.根据权利要求63所述的UAV，其中，所述一个或多个处理器还被配置为：
确定满足所述预定标准并分布在所述第一线上的像素的总数是否大于预定阈值数量；
根据确定分布在所述第一线上的像素的总数大于所述预定阈值数量，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
67.根据权利要求63所述的UAV，其中，所述一个或多个处理器还被配置为：
识别所述第一图像的曝光类型；以及
根据识别出的曝光类型处理所述第一图像。
68.根据权利要求67所述的UAV，其中，识别所述第一图像的曝光类型包括：
确定所述障碍物是否被识别为存在于所述第一图像内多于预定数量的角度处。
69.根据权利要求67所述的UAV，其中，处理所述第一图像包括：
根据确定所述第一图像是短曝光图像，消除所述第一图像中与处于一个或多个识别出的旋转角度的所述障碍物相对应的区域。
70.根据权利要求67所述的UAV，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像，消除所述第一图像中与处于识别出的旋转角度的所述障碍物上的条纹相对应的区域。
71.根据权利要求67所述的UAV，其中，处理所述第一图像包括：
根据确定所述第一图像是长曝光图像；
识别所述第一图像中所述障碍物的模糊区域和锐利区域；
消除所述障碍物的所述锐利区域中的像素；以及
保留所述障碍物的所述模糊区域中的像素。
72.根据权利要求49所述的UAV，其中，所述成像设备被固定安装在所述UAV上。
73.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时使所述可移动物体执行以下操作：
获取由可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置；以及
在所述一个或多个图像内的所述一个或多个投影位置处检测所述障碍物的至少一部分。
74.一种用于控制可移动物体的方法，包括：
获取由所述可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
检测所述障碍物的投影在所述一个或多个图像中的至少一部分；以及
处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作。
75.根据权利要求74所述的方法，其中，所述障碍物包括用于提供所述可移动物体的运动的螺旋桨系统的桨叶的至少一部分。
76.根据权利要求75所述的方法，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个反射条纹。
77.根据权利要求74所述的方法，还包括：
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置。
78.根据权利要求77所述的方法，其中，所述模板包括一条或多条线，所述一条或多条线分别表示在旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
79.根据权利要求78所述的方法，其中，所述模板包括分布在所述一条或多条线上的第一组标记、以及分布在所述旋转运动期间所述桨叶的所述反射条纹的运动轨迹上的第二组标记。
80.根据权利要求79所述的方法，其中，检测所述障碍物的投影在所述一个或多个图像中的第一图像中的至少一部分包括：
采集所述第一图像中与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与所述一条或多条线中的每条线相对应的所采集的像素的像素值是否满足预定标准；
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
81.根据权利要求74所述的方法，其中，处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作包括：消除投影在所述一个或多个图像中的所述障碍物的至少一部分。
82.根据权利要求81所述的方法，还包括：识别所述一个或多个图像的曝光类型。
83.根据权利要求82所述的方法，还包括：
根据确定所述一个或多个图像中的第一图像是短曝光图像，消除所述第一图像中与处于一个或多个检测到的位置处的所述障碍物相对应的像素。
84.根据权利要求82所述的方法，还包括：
根据确定所述一个或多个图像中的第一图像是长曝光图像，消除所述第一图像中与位于检测到的位置处的所述桨叶上的所述反射条纹相对应的区域。
85.一种用于控制可移动物体的系统，所述系统包括：
与所述成像设备耦合的一个或多个处理器；
存储器；以及
一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
获取由所述可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
检测所述障碍物的投影在所述一个或多个图像中的至少一部分；以及
处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作。
86.根据权利要求85所述的系统，其中，所述障碍物包括用于提供所述可移动物体的运动的螺旋桨系统的桨叶的至少一部分。
87.根据权利要求86所述的系统，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个反射条纹。
88.根据权利要求85所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置。
89.根据权利要求88所述的系统，其中，所述模板包括一条或多条线，所述一条或多条线分别表示在旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
90.根据权利要求89所述的系统，其中，所述模板包括分布在所述一条或多条线上的第一组标记、以及分布在所述旋转运动期间所述桨叶的所述反射条纹的运动轨迹上的第二组标记。
91.根据权利要求90所述的系统，其中，检测所述障碍物的投影在所述一个或多个图像中的第一图像中的至少一部分包括：
采集所述第一图像中与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与所述一条或多条线中的每条线相对应的所采集的像素的像素值是否满足预定标准；
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
92.根据权利要求85所述的系统，其中，处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作包括：消除投影在所述一个或多个图像中的所述障碍物的至少一部分。
93.根据权利要求92所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
识别所述一个或多个图像的曝光类型。
94.根据权利要求93所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述一个或多个图像中的第一图像是短曝光图像，消除所述第一图像中与处于一个或多个检测到的位置处的所述障碍物相对应的像素。
95.根据权利要求93所述的系统，其中，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述一个或多个图像中的第一图像是长曝光图像，消除所述第一图像中与位于检测到的位置处的所述桨叶上的所述反射条纹相对应的区域。
96.一种无人机UAV，包括：
推进系统；
一个或多个传感器；
成像设备，包括图像传感器和光学器件；以及
一个或多个处理器，耦接到所述推进系统、所述一个或多个传感器和所述成像设备，所述一个或多个处理器被配置为：
获取由所述UAV承载的所述成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述UAV的障碍物所阻挡；
检测所述障碍物的投影在所述一个或多个图像中的至少一部分；以及
处理具有投影的障碍物的所述一个或多个图像以辅助所述UAV的操作。
97.根据权利要求96所述的UAV，其中，所述障碍物包括用于提供所述UAV的运动的螺旋桨系统的桨叶的至少一部分。
98.根据权利要求97所述的UAV，其中，所述桨叶包括分布在所述桨叶的面向所述成像设备的下表面上的多个反射条纹。
99.根据权利要求96所述的UAV，其中，所述一个或多个处理器还被配置为：
将模板应用于所述一个或多个图像以获得所述障碍物在所述一个或多个图像内的一个或多个投影位置。
100.根据权利要求99所述的UAV，其中，所述模板包括一条或多条线，所述一条或多条线分别表示在旋转运动期间所述障碍物的所述一个或多个投影位置，每条线与对应投影位置的旋转角度相关联。
101.根据权利要求100所述的UAV，其中，所述模板包括分布在所述一条或多条线上的第一组标记、以及分布在所述旋转运动期间所述桨叶的所述反射条纹的运动轨迹上的第二组标记。
102.根据权利要求101所述的UAV，其中，检测所述障碍物的投影在所述一个或多个图像中的第一图像中的至少一部分包括：
采集所述第一图像中与所述模板中的所述第一组标记和所述第二组标记相对应的像素；
确定与所述一条或多条线中的每条线相对应的所采集的像素的像素值是否满足预定标准；
根据确定与第一线相对应的所采集的像素的像素值满足所述预定标准，识别出所述第一图像中在与所述第一线相关联的第一旋转角度处存在所述障碍物。
103.根据权利要求96所述的UAV，其中，处理具有投影的障碍物的所述一个或多个图像以辅助所述UAV的操作包括：
消除投影在所述一个或多个图像中的所述障碍物的至少一部分。
104.根据权利要求103所述的UAV，其中，所述一个或多个处理器还被配置为：
识别所述一个或多个图像的曝光类型。
105.根据权利要求104所述的UAV，其中，所述一个或多个处理器还被配置为：
根据确定所述一个或多个图像中的第一图像是短曝光图像，消除所述第一图像中与处于一个或多个检测到的位置处的所述障碍物相对应的像素。
106.根据权利要求104所述的UAV，其中，所述一个或多个处理器还被配置为：
根据确定所述一个或多个图像中的第一图像是长曝光图像，消除所述第一图像中与位于检测到的位置处的所述桨叶上的所述反射条纹相对应的区域。
107.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时使所述可移动物体执行以下操作：
获取由所述可移动物体承载的成像设备捕获的一个或多个图像，其中，所述成像设备至少部分地被附接到所述可移动物体的障碍物所阻挡；
检测所述障碍物的投影在所述一个或多个图像中的至少一部分；以及
处理具有投影的障碍物的所述一个或多个图像以辅助所述可移动物体的操作。
CN201680085316.2A 2016-08-30 2016-08-30 用于在图像内的投影位置处检测障碍物的方法和系统 Expired - Fee Related CN109074199B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/097367 WO2018039925A1 (en) 2016-08-30 2016-08-30 Method and system for detecting obstructive object at projected locations within images

Publications (2)

Publication Number Publication Date
CN109074199A true CN109074199A (zh) 2018-12-21
CN109074199B CN109074199B (zh) 2021-12-28

Family

ID=61299644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085316.2A Expired - Fee Related CN109074199B (zh) 2016-08-30 2016-08-30 用于在图像内的投影位置处检测障碍物的方法和系统

Country Status (5)

Country Link
US (2) US10853969B2 (zh)
EP (1) EP3371679B1 (zh)
JP (1) JP6852851B2 (zh)
CN (1) CN109074199B (zh)
WO (1) WO2018039925A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116767537A (zh) * 2023-08-22 2023-09-19 山西正合天科技股份有限公司 一种共轴无人机及其使用方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547801B2 (en) 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
CN111402333B (zh) * 2020-03-13 2023-11-14 北京百度网讯科技有限公司 参数估计方法、装置、设备和介质
DE102020109330A1 (de) 2020-04-03 2021-10-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
US20220284383A1 (en) * 2021-03-04 2022-09-08 Focal Systems, Inc. On-Shelf Image Based Barcode Reader for Inventory Management System
AU2022342243A1 (en) * 2021-09-13 2024-03-14 Blue Vigil Llc Systems and methods for tethered drones

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123151A (ja) * 1998-10-15 2000-04-28 Nec Corp 画像処理方法
JP2007060273A (ja) * 2005-08-24 2007-03-08 Denso Corp 環境認識装置
CN103150543A (zh) * 2011-07-26 2013-06-12 哈曼（中国）投资有限公司 障碍物检测系统
US20140293032A1 (en) * 2013-03-26 2014-10-02 Urjagreen Technologies Pvt. Ltd. System and method for occupancy detection using differential image sensing and optical markers

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3467554B2 (ja) * 2000-03-17 2003-11-17 川崎重工業株式会社 回転翼変位検出方法および装置
US7196305B2 (en) * 2005-01-18 2007-03-27 Ford Global Technologies, Llc Vehicle imaging processing system and method having obstructed image detection
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US8174562B2 (en) * 2007-11-09 2012-05-08 Honeywell International Inc. Stereo camera having 360 degree field of view
EP2248069B1 (en) * 2008-02-12 2013-08-28 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
DE102008001679A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
FR2988618B1 (fr) * 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
US9064317B2 (en) * 2012-05-15 2015-06-23 Palo Alto Research Center Incorporated Detection of near-field camera obstruction
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
JP6151856B2 (ja) * 2014-05-06 2017-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 表面上での投射物のヒットを検出するための装置、輸送体、施設、および方法
ES2908557T3 (es) * 2014-06-13 2022-05-03 Twitter Inc Vehículo aéreo no tripulado con capacidad de mensajería
CN105278759B (zh) * 2014-07-18 2019-08-13 深圳市大疆创新科技有限公司 一种基于飞行器的图像投影方法、装置及飞行器
US9245333B1 (en) * 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor
US20160241767A1 (en) * 2015-02-13 2016-08-18 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10696414B2 (en) * 2015-04-21 2020-06-30 Gopro, Inc. Aerial capture platform
CN105259917A (zh) * 2015-11-08 2016-01-20 杨珊珊 一种无人飞行器安全快速降落装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123151A (ja) * 1998-10-15 2000-04-28 Nec Corp 画像処理方法
JP2007060273A (ja) * 2005-08-24 2007-03-08 Denso Corp 環境認識装置
CN103150543A (zh) * 2011-07-26 2013-06-12 哈曼（中国）投资有限公司 障碍物检测系统
US20140293032A1 (en) * 2013-03-26 2014-10-02 Urjagreen Technologies Pvt. Ltd. System and method for occupancy detection using differential image sensing and optical markers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116767537A (zh) * 2023-08-22 2023-09-19 山西正合天科技股份有限公司 一种共轴无人机及其使用方法
CN116767537B (zh) * 2023-08-22 2023-10-20 山西正合天科技股份有限公司 一种共轴无人机及其使用方法

Also Published As

Publication number Publication date
JP2019531611A (ja) 2019-10-31
EP3371679B1 (en) 2022-03-09
US20190188879A1 (en) 2019-06-20
EP3371679A4 (en) 2018-12-05
US20210074017A1 (en) 2021-03-11
US10853969B2 (en) 2020-12-01
CN109074199B (zh) 2021-12-28
WO2018039925A1 (en) 2018-03-08
EP3371679A1 (en) 2018-09-12
JP6852851B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
CN109074199A (zh) 用于在图像内的投影位置处检测障碍物的方法和系统
US20200272803A1 (en) Systems and methods for detecting and tracking movable objects
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
EP3420428B1 (en) Systems and methods for visual target tracking
US10963749B2 (en) Systems and methods for automatic vehicle imaging
US10389949B2 (en) Methods and apparatus for image processing
US20190220002A1 (en) Systems and methods for augmented stereoscopic display
US20220270277A1 (en) Computing a point cloud from stitched images
CN111527463A (zh) 用于多目标跟踪的方法和系统
WO2017045251A1 (en) Systems and methods for uav interactive instructions and control
CN109716255A (zh) 用于操作可移动物体以规避障碍物的方法和系统
CN108886572A (zh) 调整图像焦点的方法和系统
CN109891351A (zh) 基于图像的对象检测和对应的移动调整操纵的方法和系统
CN108701362A (zh) 目标跟踪期间的障碍避免
CN109416536A (zh) 用于自动跟踪和导航的系统和方法
CN109792543A (zh) 根据可移动物捕获的图像数据创建视频抽象的方法和系统
CN108205235B (zh) 光电遥感系统的扫描方法
US11320817B2 (en) Target-based image exposure adjustment
CN108780261B (zh) 使用自适应步长的对比度检测自动聚焦
CN109997091B (zh) 用于管理3d飞行路径的方法和相关系统
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
WO2018218508A1 (en) Method and system for operating a movable platform using ray-casting mapping
US20240096049A1 (en) Exposure control based on scene depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211228