CN109478320A - 处理图像以获得环境信息 - Google Patents

处理图像以获得环境信息 Download PDF

Info

Publication number
CN109478320A
CN109478320A CN201680087624.9A CN201680087624A CN109478320A CN 109478320 A CN109478320 A CN 109478320A CN 201680087624 A CN201680087624 A CN 201680087624A CN 109478320 A CN109478320 A CN 109478320A
Authority
CN
China
Prior art keywords
image
forming block
loose impediment
visual field
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680087624.9A
Other languages
English (en)
Other versions
CN109478320B (zh
Inventor
王铭钰
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109478320A publication Critical patent/CN109478320A/zh
Application granted granted Critical
Publication of CN109478320B publication Critical patent/CN109478320B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供了用于获得纹理信息和环境信息的方法和系统。纹理信息和/或环境信息可以从所捕获的图像的各个部分获得，并且可以用来提高诸如无人机(UAV)之类的可移动物体的可操作性。

Description

处理图像以获得环境信息
背景技术
成像装置可以搭载在可移动物体(例如无人机UAV)上，并且可以用于监视、搜索和救援操作、勘探和其他活动。在一些实例中，由成像装置捕获的图像可以例如在导航和避障中用于计算机视觉处理。
可以提供一个或多个成像部件来捕获图像。捕获的图像可以被处理以获得可移动物体的有用信息。在某些情况下，用于处理图像的现有方法可能不是最佳的。例如，包含在图像的各个部分中的有用信息可能未被利用或可能被利用不足。可以通过适当考虑和利用包含在由成像部件捕获的图像的各个部分中的有用信息，来提高可移动物体的有用性。
发明内容
目前，诸如无人机(UAV)之类的可移动物体可能低效地处理图像，并且无意中丢弃包含在所捕获图像的各个部分中的有用信息。在某些情况下，由于处理效率低下，UAV可能在计算机视觉应用中做出不够理想的决策。例如，对于利用两个成像部件的视觉系统，可以主要基于所捕获的图像内的双目视差来获得环境信息。例如，对于利用单个成像部件的视觉系统，可以主要基于连续捕获的图像内的差异来获得环境信息。
因此，需要一种适当考虑图像内的所有可用信息以有效获取环境信息的UAV系统。环境信息的获取可以进一步使得UAV在计算机视觉应用(例如，导航、物体识别和避障)中做出更好的决策。例如，双目成像系统可以配备有具有重叠视场的成像部件。重叠部分可以用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。在另一个示例中，可以为单目成像系统提供具有移动视场的成像部件。移动视场的重叠部分可用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。在另一个示例中，成像部件可以用作单目成像系统和双目成像系统两者的一部分。例如，可以为系统提供具有不同视场的成像部件。具有小视场的成像部件可以单独使用或与具有大视场的成像部件结合使用以获得环境信息，而具有大视场的成像部件可以在有利时用作获得环境信息的替代或补充。
因此，在一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；基于所述纹理信息获得所述可移动物体的环境信息。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的设备。所述设备包括：具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有比所述第一视场窄的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；借助于一个或多个处理器，单独地或共同地，如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：处理第一图像集和第二图像集的非重叠部分以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有与所述第一视场重叠的第二视场的第二成像部件捕获；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的设备。所述设备包括：具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有与所述第一视场重叠的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用成像部件捕获图像序列，其中所述图像序列包括重叠部分；借助于一个或多个处理器，单独地或共同地，处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：处理图像序列的非重叠部分以获得纹理信息，其中所述图像序列由成像部件捕获并且包括重叠部分；以及基于所述纹理信息获得所述可移动物体的环境信息。
在另一个方面，提供了一种用于处理来自用于可移动物体的图像的信息的设备。所述设备包括：成像部件，被配置为捕获图像序列，其中所述图像序列包括重叠部分；以及一个或多个处理器，单独地或共同地被配置为：处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
另一方面，提供了一种用于处理图像中的信息的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用成像部件捕获图像序列，其中所述图像序列包括重叠部分；借助于一个或多个处理器，单独地或共同地，处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
应当理解，可以单独地，共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面提及的任何特定应用或任何其它类型的可移动物体。本文中对飞行器(如无人机)的任何说明均可以适于和用于任何可移动物体(如任何载运工具)。此外，本文公开的在空中运动(例如，飞行)情景中的系统、设备和方法也可以在其他类型的运动的情景中应用，例如在地面或水上运动、水下运动或太空中的运动。
通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。
本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1示出由成像系统捕获的场景的图像。
图2示出了根据实施例的用于获得环境信息的示例性系统。
图3示出了根据实施例的光学镜头的视场角。
图4示出了根据实施例的用于获得环境信息的双目成像系统。
图5示出了根据实施例的纹理信息提供对可移动物体有用的信息的示例性配置。
图6示出了根据实施例的响应于控制信号的成像部件中的示例性调节。
图7示出了根据实施例的用于处理由可移动物体捕获的图像的方法。
图8示出了根据实施例的用于获得环境信息的可移动成像系统。
图9示出了根据实施例的为可移动物体获得纹理信息的示例性配置。
图10示出了根据实施例的用于处理由可移动物体捕获的图像的方法。
图11示出了根据实施例的选择性地获得环境信息的成像系统。
图12示出了根据实施例的利用不同成像系统的示例性配置。
图13示出了根据实施例的用于处理由可移动物体捕获的图像的方法。
图14示出了根据本发明的实施例的UAV的外观。
图15示出了根据本发明实施例的包括载体和负载的可移动物体。
图16是根据本发明实施例的用于控制可移动物体的系统的框图形式的示意图。
具体实施方式
本文提供的系统、方法、装置和计算机可读介质可以用于提高由成像部件捕获的图像的有用性。例如，本文提供的系统可以使一个或多个处理器能够从通常被忽视的图像的部分中获得环境信息。可选地或附加地，本文提供的系统可以使一个或多个处理器能够从由成像部件捕获的一个或多个图像获得更大量的环境信息。所获得的环境信息可以进一步用于计算机视觉应用的上下文中并且改善飞行器等运载工具的整体性能和/或效率。本文所用的飞行器可以指无人机(UAV)或任何其它类型的可移动物体。因此，应该理解，关于UAV描述的实施例可适用于任何其他类型的可移动物体。
在一些实例中，可以为系统提供具有不同视场的成像部件。具有小视场的成像部件可以单独使用或与具有大视场的成像部件结合使用以获得环境信息，而具有大视场的成像部件可以在有利时用作获得环境信息的替代或补充。所获得的环境信息可以使可移动物体能够以更高的精度和/或效率识别物体、规避障碍物或者计算可移动物体的状态信息(例如，速度、位置)。
在一些实例中，可以为成像系统提供具有重叠视场的成像部件。重叠部分可以用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。所获得的环境信息可以使可移动物体能够以更高的精度和/或效率识别物体、规避障碍物或者计算可移动物体的状态信息(例如，速度、位置)。
在一些实例中，可以为单目成像系统提供具有移动视场的成像部件。移动视场的重叠部分可用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。所获得的环境信息可以使可移动物体能够以更高的精度和/或效率识别物体、规避障碍物或者计算可移动物体的状态信息(例如，速度、位置)。
在一些实例中，成像部件可以用作单目成像系统和双目成像系统两者的一部分。例如，可以为系统提供具有不同视场的成像部件。具有小视场的成像部件可以单独使用或与具有大视场的成像部件结合使用以获得环境信息，而具有大视场的成像部件可以在有利时用作获得环境信息的替代或补充。所获得的环境信息可以使可移动物体能够以更高的精度和/或效率识别物体、规避障碍物或者计算可移动物体的状态信息(例如，速度、位置)。
应当理解，可以单独地，共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。
图1A至图1C示出了用于获取环境信息的各种成像系统。图1A示出了由成像系统捕获的场景的图像102A和104A。在一些实例中，成像系统可以捕获具有较宽视场的图像102A和具有较窄视场的图像104A。图1B示出由成像系统捕获的场景106B的图像102B和104B。在一些实例中，成像系统可以被配置为捕获具有重叠视场的图像。图1C示出由成像系统捕获的场景的图像102C和104C。在一些实例中，成像系统可以被配置为在不同时间点捕获不同视场的图像。例如，成像系统可以是在不同时间捕获不同场景的移动成像系统。
成像系统可以利用成像部件，例如以捕获图像。成像部件可以可操作地耦接到UAV。在一些实例中，成像部件可以嵌入UAV中。备选地或附加地，成像部件可以经由机构耦接到UAV。在一些实例中，该机构可允许成像部件相对于UAV的移动。该运动可以包括平移运动和/或旋转运动。在一些实例中，该机构可以包括云台。云台可以被配置为允许成像部件围绕一个、两个或三个轴的移动。
在一些实例中，可以处理每个捕获的图像以获得环境信息。环境信息可以指任何对UAV的操作有用的信息。例如，环境信息可以包括UAV的深度和/或距离信息(例如距物体的距离)。作为另一个例子，环境信息可以包括UAV的物体信息或障碍物信息。作为另一个例子，环境信息可以包括诸如UAV位置、UAV朝向、UAV速度和/或UAV加速度信息之类的UAV状态信息。作为另一个例子，环境信息可以包括如温度、湿度、降水等关于环境的其他信息。在一些实例中，环境信息可以指影响UAV的行为的信息。例如，环境信息可能导致UAV的状态发生变化，例如位置、高度、朝向、速度、加速度等的变化。在一些实例中，环境信息可以指为管理UAV的行为而考虑的信息。作为示例，可操作地耦接合到UAV的一个或多个处理器可以利用环境信息来进行导航、物体检测、障碍规避等。
在一些实例中，获得环境信息可以包括获得捕获的图像的纹理信息。纹理信息可以提供关于图像中颜色或强度的空间排列的信息。例如，纹理信息可以包括可以使用各种适合的算法获得的颜色梯度、边缘、特征点和光流。可以从由成像部件获得的图像序列的重叠和/或非重叠部分两者中获得纹理信息。在一些实例中，纹理信息可以被用作获得UAV的环境信息的基础。作为一个例子，基于纹理信息(例如图像内的颜色或强度)，可以获得对关于UAV正在操作的环境的认识。例如，基于诸如特征点(例如角点)之类的纹理信息，可以确定UAV正在操作的环境内存在物体或障碍物。
在一些实例中，如果具有较窄视场的图像中的数据质量不足以获得环境信息(例如，低于预定阈值)，则可以处理包含在具有较宽视场的图像中的纹理信息。在一些实例中，依据图像内是否存在足够的数据或信息，例如，图像内是否存在可识别的特征，具有较窄视场的图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的距离或深度信息，则图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的状态信息，则图像中的数据质量可能低于预定阈值。在一些实例中，用于确定图像中的数据质量的阈值可以针对用于获取环境信息的不同方法进行不同配置。
返回参考图1A，图像102A、104A可以是由离散成像部件同时或依次捕获的图像的示例。在一些实例中，图像可以包括不同的视场。例如，图像102A可以包括较窄的视场。图像104A可以包括较宽的视场。在一些实例中，具有较窄视场的图像可以与具有较宽视场的图像重叠。在一些实例中，具有较窄视场的图像可以被具有较宽视场的图像所包含。捕获的图像可以由一个或多个处理器处理。
在一些实例中，包含在具有较窄视场的图像中的数据可用于获得UAV的环境信息。在一些实例中，包含在具有较窄视场的图像中的数据可以由可操作地耦接到UAV的一个或多个处理器来处理，以获得UAV的距离信息。在一些实例中，包含在图像102A和104A的重叠部分中的数据可以用于获得UAV的环境信息，如下面进一步描述的。
在一些实例中，包含在具有较宽视场的图像中的数据可能不被用于获得UAV的环境信息或不对获得UAV的环境信息做出贡献。作为一个示例，在获得UAV的距离信息时，可操作地耦接到UAV的一个或多个处理器可以不处理包含在图像102A(或图像102A的非重叠部分)内的数据。
具有较宽视场的图像可能包含针对UAV操作的有用信息。在一些实例中，可以处理具有较宽视场的图像以获得UAV的环境信息。例如，可操作地耦接到UAV的一个或多个处理器可以处理包含在具有较宽视场的图像中的数据。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在具有较宽视场的图像中的数据以获得纹理信息。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在具有较宽视场的图像中的数据以获得环境信息。可选地，可以基于从具有较宽视场的图像获得的纹理信息来获得环境信息。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以与处理包含在具有较窄视场的图像中的数据相结合，来处理包含在具有较宽视场的图像中的数据。在一些实例中，一个或多个处理器可以选择性地处理包含在具有较宽视场的图像中的数据。例如，如果具有较窄视场的图像中的数据质量低于预定阈值，则可以处理包含在具有较宽视场的图像中的数据。在一些实例中，依据图像内是否存在足够的数据或信息，例如，图像内是否存在可识别的特征，具有较窄视场的图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的距离或深度信息，则图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的状态信息，则图像中的数据质量可能低于预定阈值。
返回参考图1B，图像102B、104B可以是由离散成像部件同时捕获的图像的示例。备选地，这些图像可以是由单个成像部件随时间变化而捕获的图像序列的示例。图像102B和104B可以共同地捕获场景或视场106B。共同视场可以大于由图像102B或104B捕获的单个场景。捕获的图像可以由一个或多个处理器处理。
在一些实例中，包含在图像的重叠部分中的数据可用于获得UAV的环境信息。在一些实例中，包含在重叠部分108B和110B中的数据可以由可操作地耦接到UAV的一个或多个处理器来处理，以获得UAV的距离信息。例如，可以通过比较图像102B和104B内的共同特征(例如，物体)之间的差异来获得从UAV到物体116B的距离。共同特征可以必须是包括在图像的重叠部分中的特征。作为另一个例子，包含在部分108B内的数据或特征及其在图像102B内的相对位置可以与包含在部分110B内的数据或特征及其在图像104B内的相对位置进行比较，以获得该UAV的距离信息。
包含在图像的非重叠部分中的数据可能不被用于获得UAV的环境信息或不对获得UAV的环境信息做出贡献。作为一个示例，在获得UAV的距离信息时，可操作地耦接到UAV的一个或多个处理器可以不处理包含在非重叠部分112B和114B内的数据。例如，在获得UAV的环境信息时，可以不使用包含在图像内的特征或物体118B、120B。在一些实例中，可以不考虑物体118B或120B对UAV的行为的影响。
非重叠部分可以包含针对UAV的操作的有用信息。在一些实例中，可以处理非重叠部分以获得UAV的环境信息。例如，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据以获得纹理信息。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据以获得环境信息。可选地，可以基于从图像的非重叠部分获得的纹理信息来获得环境信息。在一些实例中，与处理包含在重叠部分中的数据相结合地，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据。例如，可以从图像的重叠部分和图像的非重叠部分两者中获得环境信息。在一些实例中，一个或多个处理器可以选择性地处理包含在非重叠部分中的数据。例如，如果重叠部分中的数据质量低于预定阈值，则可以处理包含在非重叠部分中的数据。在一些实例中，依据重叠部分内是否存在足够的数据或信息，例如，重叠部分内是否存在可识别的特征，具有较窄视场的图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的距离或深度信息，则重叠部分中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的状态信息，则重叠部分中的数据质量可能低于预定阈值。在一些实例中，如果重叠部分内的特征点的数量等于或小于大约2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250或300，则重叠部分中的数据质量可能低于预定阈值。
返回参考图1C，图像102C、104C可以是由成像部件依次捕获的图像的示例。在一些实例中，图像序列可以包括不同的视场和/或不同的场景。在一些实例中，依次捕获的图像可以包括重叠部分。捕获的图像可以由一个或多个处理器处理。
在一些实例中，包含在图像序列的重叠部分中的数据可用于获得UAV的环境信息。在一些实例中，包含在重叠部分中的数据可以由可操作地耦接到UAV的一个或多个处理器来处理，以获得UAV的距离信息。例如，可以通过比较图像序列内的共同特征(例如，物体)之间的差异来获得从UAV到物体的距离。共同特征可以必须是包括在图像序列的重叠部分中的特征。
包含在图像序列的非重叠部分中的数据可能不被用于获得UAV的环境信息或不对获得UAV的环境信息做出贡献。作为一个示例，在获得UAV的环境信息时，可操作地耦接到UAV的一个或多个处理器可以不处理包含在图像序列的非重叠部分内的数据。在一些实例中，可以不考虑图像序列的非重叠部分中的物体对UAV的行为的影响。
非重叠部分可以包含针对UAV的操作的有用信息。在一些实例中，可以处理非重叠部分以获得UAV的环境信息。例如，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据以获得纹理信息。在一些实例中，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据以获得环境信息。可选地，可以基于从图像的非重叠部分获得的纹理信息来获得环境信息。在一些实例中，与处理包含在重叠部分中的数据相结合地，可操作地耦接到UAV的一个或多个处理器可以处理包含在非重叠部分中的数据。例如，可以从图像的重叠部分和图像的非重叠部分两者中获得环境信息。在一些实例中，一个或多个处理器可以选择性地处理包含在非重叠部分中的数据。例如，如果重叠部分中的数据质量低于预定阈值，则可以处理包含在非重叠部分中的数据。在一些实例中，依据重叠部分内是否存在足够的数据或信息，例如，重叠部分内是否存在可识别的特征，具有较窄视场的图像中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的距离或深度信息，则重叠部分中的数据质量可能低于预定阈值。在一些实例中，如果无法获得UAV的状态信息，则重叠部分中的数据质量可能低于预定阈值。
图2示出了根据实施例的用于获得环境信息的示例性系统。系统200可以摄入光202并获得环境信息222。该系统可以包括用于捕获一个或多个图像(例如数字图像)的各种部件。在一些实例中，各个部件可以单独地或共同地称为成像部件。例如，成像装置的光圈、镜头、滤光器和/或传感器可以是成像部件。作为另一个例子，成像装置可以称为成像部件。在一些实例中，成像部件可以指被配置为引导光的至少一个镜头和用于捕获所引导的光的相应传感器。每个部件可以位于相同的位置。例如，系统的每个部件可以被封装在单个外壳中，例如，在成像装置中。或者，这些部件可以位于不同的位置。例如，该系统可以包括一起工作的位于不同位置的多个离散部件。作为示例，该系统可以包括两个或更多个相机和其他联合工作的光学元件。作为另一个例子，一些部件可以位于成像装置上，而其他部件可以与UAV集成和/或集成在UAV外部的控制器上。
该系统可以包括光可以进入的光圈203。光可以通过单个光圈进入。在一些实施例中，光可以通过多个光圈(例如两个、三个、四个、五个或更多个光圈)进入。该系统可以包括一个或多个镜头206。该镜头可以将光束引导至捕获所引导的光束(例如，捕获图像数据)的图像传感器。在一些实例中，该系统可以包括被配置为容纳一个或多个镜头的镜筒。镜筒可以容纳一个或多个镜头。在一些实例中，镜筒可以用于通过调节一个或多个镜头之间的距离来调节系统的焦距。可选地，可以提供其他光学元件，诸如反射镜、滤光器、光栅、附加镜头或分光镜，以帮助将光引导至图像传感器。
每个镜头可以具有相应的焦距或焦距范围。焦距范围可以包括落入该范围的下限和上限内的多个焦距。在一些实例中，焦距范围可以包括单个焦距。该单个焦距可以用作该范围的下限和上限两者。如本文所使用的，应该理解，焦距和焦距范围可以互换使用。镜头的焦距可以测量镜头会聚光线或发散光线的强度。光学镜头的焦距可以指最初准直的光线到达焦点的距离。
镜头可以是定焦镜头或变焦镜头。定焦镜头可以具有固定的单个焦距。定焦镜头可以指不移动的静止镜头。变焦镜头可以具有可变的焦距，并且该焦距可以包含多个焦距(例如，焦距范围)。光学变焦镜头可以通过一组内部镜头元件的相对移动来改变焦距。在一些实施例中，成像部件可以仅包括定焦镜头。在一些实施例中，成像部件可以包括定焦镜头和变焦镜头两者。在一些实施例中，成像部件可以仅包括变焦镜头。
在一些实例中，定焦镜头的焦距可以小于或等于1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。可选地，适合的定焦镜头的焦距可以大于或等于本文所述的任何值。定焦镜头的焦距可以具有落入本文所述的任何两个值之间的范围内的值。
该系统可以包括一个或多个传感器208。由镜头聚焦的光可以被引导到一个或多个传感器上，本文中也称为图像传感器。例如，该系统可以包括具有图素(photosite)以收集和存储光子的光传感器212。光传感器可以进一步将所收集的信息(例如，光子)转换成数字形式(例如，捕获图像)。例如，该系统可以包括聚焦传感器214，用于确定要捕获的图像的正确焦点。例如，该系统可以包括平衡传感器(例如，白平衡传感器)216，用于平衡所捕获图像的颜色(例如，匹配人类视觉的颜色或针对计算机视觉应用进行优化)。在一些实例中，一个图像传感器208可以包括多个不同类型的传感器的功能。例如，可以使用一个传感器来检测光并将光转换为传达图像的形式(例如，捕获图像)，并且聚焦和平衡(例如白平衡)图像。
图像传感器可以位于距镜头预定距离处。例如，从图像传感器到镜头模块的距离可以对应于镜头模块的焦距。在一些实例中，图像传感器可以具有到镜头模块(例如，变焦镜头)的可变距离。图像传感器可被定位为使得所捕获图像的焦平面与图像传感器平面共面。
图像传感器可以指将光学信息(例如，照射传感器表面的光可以包括光学信息)转换成数字信息(例如，电信号)的装置。将光学信息转换成数字信息在本文可以称为捕获图像(例如，图像数据)。图像传感器可以检测并传达构成图像的信息。图像传感器可以是电荷耦合器件(CCD)类型、互补金属氧化物半导体(CMOS)类型、N型金属氧化物半导体(NMOS)类型或背面照射CMOS(BSI-CMOS)类型。
在一些实例中，系统的成像部件(例如镜头、传感器等)可以包括光轴。光轴可以指沿着其具有一定程度的旋转对称性的线。光轴可以由光穿过镜头传播所沿的线限定。光轴可以穿过镜头或成像部件的中心。在一些实例中，成像部件可以具有与其相关联的视场(FOV)。FOV可以指在空间中的特定位置和朝向上在成像系统上可见的世界的一部分。拍摄图像时，FOV外部的物体不会记录在照片中。FOV也可以表示为视图锥的角度大小或表示为视角。光学模块的FOV可以取决于传感器尺寸和焦距。图3示出了根据实施例的光学镜头300的视场角。对于光学镜头，视场角α可以计算为FOVα＝2arctan(d/2f)，其中d是图像传感器尺寸，f是镜头的焦距。
对于具有固定尺寸的图像传感器，定焦镜头可以具有固定的FOV，并且FOV可以包含单个FOV角。对于具有固定尺寸的图像传感器，变焦镜头可以具有可变的FOV角度范围，并且FOV角度范围可以包含多个FOV角。FOV可以取决于光学模块的一个或多个镜头和/或其他光学元件(例如，传感器)。在一些实例中，定焦镜头的FOV可以小于或等于180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°或15°。可选地，定焦镜头的FOV可以大于或等于本文所述的任何值。定焦镜头的FOV可以具有落入本文所述的任何两个值之间的范围内的值。
成像部件可以捕获(例如，在成像系统附近或周围的)环境的图像。成像部件可以连续捕获图像。成像部件可以以指定频率捕获图像以随时间产生一系列图像数据。成像部件可以以足够高的频率捕获图像以提供视频速率捕获。图像可以以至少10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz、120Hz、150Hz、200Hz、250Hz或300Hz的速率捕获。
图2的系统可以可选地包括通信单元218和/或存储单元220。通信单元可用于与外部部件和/或装置(例如，移动电话等移动装置、平板电脑、PC、遥控器等)的通信。例如，通信单元可以用于发送由成像系统捕获的图像(例如，输出)，或者从外部部件或装置接收输入(例如，控制信号)。通信单元还可以用于通过数字信号处理(DSP)来变换图像，以通过某种方式改善(例如，通过图像传感器)所捕获的图像。存储单元可以用于临时或永久存储由系统捕获的图像。
图2的系统还可以包括处理器210。处理器可以处理所捕获的图像和/或执行图像处理功能，诸如黑电平校正、周围光比率校正、失真校正、白平衡校正、色串扰校正、去马赛克、色彩校正、灰度映射、色彩空间转换、锐化和噪音消除。在一些实例中，处理器可以处理所捕获的图像以获得环境信息222，如下面进一步描述的。
处理器可以设置在可移动物体(例如UAV或移动电话)上。在一些实例中，处理器可以设置在可移动物体的成像装置上。处理器可以位于成像装置的外壳之内或之外。在一些实例中，处理器可以设置在可移动物体的成像装置之外。处理器可以设置在下面进一步描述的诸如云台之类的载体上。备选地，处理器可以远离可移动物体设置。例如，可以在遥控器(例如手机，PDA等)、服务器、地面站(例如台式计算机、膝上型计算机、充电站等)或基于云的基础设施上设置处理器。来自一个或多个光学模块的信息可以无线传输到处理器。备选地，可以经由物理连接将来自成像部件的信息提供给处理器。处理器210可以由中央处理单元(CPU)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。本文对处理器的任何描述可以应用于一个或多个处理器，其可以单独地或共同地执行针对处理器描述的任何功能。处理器可以包括单个或多个处理器。处理器可以具有如下能力：根据包括用于执行一个或多个步骤的代码、逻辑或指令的非暂时性计算机可读介质来执行一个或多个步骤。可以提供可包括该非暂时性计算机可读介质的存储器存储单元。
图4示出了根据实施例的用于获得环境信息的双目成像系统。在配置402中，提供具有第一成像部件404和第二成像部件406的成像系统。成像部件404和406可以一起提供双目成像系统。每个成像部件可以可操作地耦接到可移动物体，如UAV。例如，第一和/或第二成像部件可以嵌入可移动物体中。备选地或附加地，第一和/或第二成像部件可以经由机构耦接到可移动物体。在一些实例中，该机构可以允许成像部件相对于可移动物体的移动。该运动可以包括平移运动和/或旋转运动。在一些实例中，该机构可以包括云台。云台可以被配置为允许成像部件围绕一个、两个或三个轴的移动。
每个成像部件可以包括光轴。例如，第一成像部件可以包括光轴405，并且第二成像部件可以包括光轴407。在一些实例中，成像部件404和406的光轴可以基本平行，如配置402所示。备选地，成像部件可以以任何其他方式布置，例如以不同的角度布置。例如，如配置408所示，成像部件的光轴可以不是基本平行的。成像部件可以水平地、垂直地或以备选配置进行布置。每个成像部件可以位于单个成像装置上。备选地，成像部件可以位于不同的成像装置上。
每个成像部件可以包括视场(FOV)。成像系统的每个成像部件可以具有不同的FOV。备选地，成像系统的每个成像部件可以具有相同的(例如，一样的)视场。在一些实例中，成像部件的视场可以重叠或部分重叠，如配置402中所示。成像部件的视场可以包括重叠部分410和非重叠部分412、414。第一成像部件可以捕获例如第一成像部件的FOV的第一组图像。第二成像部件可以捕获例如第二成像部件的FOV的第二组图像。在一些实例中，第一和第二组图像可以基本同时被捕获。第一组图像和第二组图像可以包括重叠部分和非重叠部分。
与成像部件可操作地耦接的一个或多个处理器可以被配置为获得环境信息。在一些实例中，该一个或多个处理器可以被配置为通过处理包含在所述第一和第二组图像的重叠部分中的数据来获得环境信息。例如，该一个或多个处理器可以通过处理由第一成像部件404获得的图像和由第二成像部件406获得的图像之间的差异，来获得诸如深度信息之类的环境信息。在一些实例中，该一个或多个处理器可以另外被配置为获得纹理信息。纹理信息可以提供关于图像中颜色或强度的空间排列的信息。纹理信息可以从第一成像部件和第二成像部件获得的图像的重叠部分和/或非重叠部分两者中获得。在一些实例中，纹理信息可以被用作获得可移动物体的环境信息的基础。因此，从图像的非重叠部分获得的纹理信息可以为可移动物体提供有用的信息。例如，从非重叠部分获得的纹理信息可以指示可移动物体感兴趣的物体或障碍物。在一些实例中，纹理信息可以提供影响可移动物体行为的基础。
图5示出了根据实施例的纹理信息提供对可移动物体有用的信息的示例性配置。在配置501中，成像部件503和505可操作地耦接到UAV 507。成像部件各自捕获具有重叠部分和非重叠部分的一组图像。重叠部分包括物体509，而非重叠部分包括物体508。与成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。例如，该一个或多个处理器可以确定距物体509的距离。当图像的重叠部分具有足够的质量时，这是可能的。
在一些实例中，图像的部分(例如图像的重叠部分或非重叠部分)的质量可以取决于该部分内的特征的存在。在一些实例中，图像的部分的质量可能取决于特征的显著性。该特征可以是可识别或可辨认的特征。在一些实例中，特征可以是可由计算机算法(例如程序)识别或辨认的特征。在一些实例中，特征可以是计算机视觉应用可识别的特征。在一些实例中，所述部分的质量可以通过分析这些部分的显著性或梯度来确定。在一些实例中，图像的部分的质量可以通过分析这些部分内的特征点数或光流来确定。
在一些实例中，图像的部分的质量可以通过与预定准则比较来确定。预定准则可以包括预定阈值，例如，阈值数量或阈值数值。在一些实例中，可以将图像的重叠部分内的显著性、梯度、特征点数和/或光流与预定准则进行比较，以确定重叠部分是否具有足够的质量。在一些实例中，重叠部分可以具有足够的质量。例如，在重叠部分中可以存在足够的信息或数据(例如，可识别的特征、显著性等)以获得UAV的环境信息。
该一个或多个处理器可以被配置为处理图像的非重叠部分以获得纹理信息。在一些实例中，可以从非重叠部分获得纹理信息，而从重叠部分获得环境信息。纹理信息可以被用作提供UAV的环境信息的基础。在一些实例中，通过处理并考虑包含在由第一和第二成像部件捕获的图像的重叠部分和非重叠部分二者中的信息，UAV会能够获得更准确或精确的环境信息。在一些实例中，通过处理并考虑包含在由第一和第二成像部件捕获的图像的重叠部分和非重叠部分二者中的信息，UAV会能够获得更大量的环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体508的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
可选地，该一个或多个处理器可以被配置为：如果重叠部分质量不足够或者质量低于预定准则，则从图像的非重叠部分获得纹理信息和/或环境信息。在配置511中，成像部件513和515可操作地耦接到UAV 517。成像部件各自捕获具有重叠部分和非重叠部分的一组图像。重叠部分不包括物体，而非重叠部分包括物体518。与成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。然而，该一个或多个处理器可能无法从重叠部分获得环境信息。例如，在重叠部分内可能没有足够的信息(例如可识别的特征、显著性等)，从而可能无法获得环境信息。在一些实例中，图像的重叠部分可能质量不足够。
如果重叠部分质量不足够，则该一个或多个处理器可以被配置为从图像的非重叠部分获得纹理信息和/或环境信息。在一些实例中，所获得的纹理信息可以被用作提供UAV的环境信息的基础。当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由第一和第二成像部件捕获的图像的非重叠部分中的信息，可以获得更准确或精确的环境信息。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由第一和第二成像部件捕获的图像的非重叠部分中的信息，可以获得环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体518的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
在配置521中，成像部件523和525可操作地耦接到UAV 527。成像部件各自捕获具有重叠部分和非重叠部分的一组图像。重叠部分包括物体529的一部分，而非重叠部分包括该物体的另一部分。与成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。然而，该一个或多个处理器可能无法从重叠部分获得环境信息。在一些实例中，重叠部分内可能没有足够的信息(例如，可识别的特征、显著性等)，从而可能无法获得环境信息。例如，物体529可能是不具有区别性特征的白色墙壁。例如，物体529可能是具有重复特征的墙。在一些实例中，图像的重叠部分可能质量不足够。
该一个或多个处理器可以附加地被配置为处理图像的非重叠部分以获得纹理信息。纹理信息可以被用作提供UAV的环境信息的基础。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由第一和第二成像部件捕获的图像的非重叠部分中的信息，可以获得更准确或精确的环境信息。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由第一和第二成像部件捕获的图像的非重叠部分中的信息，可以获得更大量的环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体529的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
在一些实例中，该一个或多个处理器可以被配置为：如果由第一和第二成像部件捕获的图像的重叠部分质量不足够，则生成控制信号。该控制信号可以影响UAV的行为。在一些实例中，该控制信号可以影响UAV的状态，例如UAV的位置或朝向。例如，如果图像的重叠部分低于预定质量，则可以生成控制信号以停止UAV的移动和/或将UAV悬停在静止位置。作为另一个例子，如果图像的重叠部分低于预定质量，则该一个或多个处理器可以生成控制信号以调节UAV的(例如相对于UAV的俯仰、偏航或横滚轴的)朝向。在一些实例中，该调节可以继续执行，直到由第一和第二成像部件捕获的图像的新的重叠部分具有足够的质量为止。
备选地或附加地，响应于从图像的非重叠部分获得的纹理信息和/或环境信息，该一个或多个处理器可以被配置为生成控制信号。该控制信号可以影响UAV的行为。在一些实例中，该控制信号可以影响UAV的状态，例如UAV的位置或朝向。例如，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以引导UAV的移动，从而规避从非重叠部分中识别的物体或障碍物。作为另一示例，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以停止UAV的移动和/或将UAV悬停在固定位置。作为另一个例子，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以调节UAV的(例如相对于俯仰、偏航或横滚轴的)朝向。在一些实例中，该调节可以使得由第一成像部件和第二成像部件捕获的图像的新的重叠部分具有足够的质量。例如，关于配置511，可以调节UAV的朝向，使得由第一成像部件和第二成像部件捕获的图像的重叠部分包含物体518。
在一些实例中，控制信号可以调节第一和/或第二成像部件。图6示出了根据实施例的响应于控制信号的成像部件中的示例性调节。例如，如果如配置601所示图像的重叠部分低于预定质量，则可以生成控制信号。备选地或附加地，可以基于从所捕获的图像的非重叠部分获得的纹理信息和/或环境信息，生成控制信号。在一些实例中，控制信号可以影响第一和/或第二成像部件的状态，如成像部件的位置或朝向。在一些实例中，控制信号可以调节第一和/或第二成像部件的光轴。
在一些实例中，如配置603所示，控制信号可以调节第一和/或第二成像部件的位置。在一些实例中，成像部件的位置调节可以相对于成像部件所耦接到的UAV。备选地或附加地，成像部件的位置的调节可以由于UAV的位置改变而发生。在一些实例中，控制信号可以调节第一和/或第二成像部件的光学变焦，如配置605中所示。在一些实例中，控制信号可以调节第一和/或第二成像部件的朝向，如配置607中所示。成像部件的朝向的调节可以相对于成像部件所耦接到的UAV。备选地或另外地，成像部件的朝向的调节可以由于UAV的朝向改变而发生。在一些实例中，该调节可以继续执行，直到由第一和第二成像部件捕获的图像的新的重叠部分具有足够的质量为止。
图7示出了根据实施例的用于处理由可移动物体捕获的图像的方法700。如本文先前所述，可移动物体可以是无人机(UAV)。备选地，可移动物体可以是任何其他类型的载运工具。可移动物体在一些实例中可以可操作地耦接到第一成像部件和/或第二成像部件。例如，第一成像部件和/或第二成像部件可以位于可移动物体上。在一些实例中，第一成像部件和/或第二成像部件可以嵌入可移动物体或与可移动物体集成。第一和第二成像部件可以形成双目成像系统。
在步骤701中，借助于第一成像部件捕获第一图像集。第一成像部件可位于第一外壳内。在一些实例中，第一成像部件可位于第一成像装置上。第一成像部件可以包括第一镜头系统，例如，镜头、多个镜头、变焦镜头等。在一些实例中，第一成像部件可以包括单目镜头系统。另外，第一成像部件可以包括一个或多个传感器。第一成像部件可以具有第一视场。在一些实例中，由第一成像部件捕获的第一图像集可以是描绘第一视场的图像集。
在步骤703中，借助于第二成像部件捕获第二图像集。在一些实例中，第二成像部件可以位于第二外壳内。第二外壳可以与第一外壳相同。备选地，第二外壳可以不同于第一外壳。在一些实例中，第二成像部件可以位于第二成像装置上。第二成像装置可以与第一成像装置相同。备选地，第二成像装置可以不同于第一成像装置。
第二成像部件可以包括第二镜头系统，例如，镜头、多个镜头、变焦镜头等。在一些实例中，第二成像部件可以包括单目镜头系统。另外，第二成像部件可以包括一个或多个传感器。第二成像部件可以具有第二视场。第二视场的大小(例如视角)可以与第一视场相似。备选地，第二视场的大小可以与第一视场不同。在一些实例中，第二视场可以与第一视场重叠。因此，第一图像集和第二图像集可以包括重叠部分和非重叠部分。
在一些实例中，第一成像部件和第二成像部件的光轴可以基本平行。备选地，第一和第二成像部件的光轴可以呈其他角度并且不平行。在一些实例中，第一成像部件和/或第二成像部件的光轴可以相对于彼此可调节。因此，第一成像部件的光轴可以呈锐角、平行和/或呈钝角。
在一些实例中，可以提供一个或多个处理器。该一个或多个处理器可以位于可移动物体上。备选地或附加地，该一个或多个处理器中的部分或全部可以位于可移动物体之外。例如，部分处理器可以位于与可移动物体可操作地耦接的遥控器或移动装置上。在步骤705中，该一个或多个处理器可以单独或共同处理第一图像集和第二图像集的非重叠部分以获得纹理信息。在一些实例中，该一个或多个处理器还可以被配置为分析所述第一图像集和所述第二图像集的重叠部分以获得所述可移动物体的环境信息。可选地，该一个或多个处理器可以同时获得来自所述第一图像集和所述第二图像集的非重叠部分的纹理信息和来自所述第一图像集和所述第二图像集的重叠部分的环境信息两者。
在一些实例中，如果第一图像集和第二图像集的重叠部分具有低于预定阈值的质量，则该一个或多个处理器可以被配置为基于(例如，从非重叠部分获得的)纹理信息获得可移动物体的环境信息。作为一个例子，基于纹理信息(例如图像内的颜色或强度)，可以获得对关于UAV正在操作的环境的认识。例如，基于纹理信息，可以确定UAV正在操作的环境内存在物体或障碍物。在一些实例中，可以使用图像处理技术来分析重叠部分的质量。作为示例，该一个或多个处理器可以被配置为分析图像的重叠部分的显著性或梯度以确定质量。作为另一个示例，该一个或多个处理器可以被配置为分析重叠部分内的特征点数或光流以确定质量。
在一些实例中，如果重叠部分中存在的特征不足够，则重叠部分的质量可能低于预定阈值。在一些实例中，如果重叠部分的质量低于预定阈值，则可能无法从该部分获得深度信息。如前所述，环境信息可以包括对可移动物体的操作有用的任何信息。例如，环境信息可以包括可移动物体的深度信息、障碍物信息、物体信息和/或状态信息。可移动物体的状态信息可以包括可移动物体的位置、朝向、速度或加速度。可选地，在步骤707中，该一个或多个处理器可以生成控制信号以调节第一成像部件和/或第二成像部件。在一些实例中，如果第一和第二图像集的重叠部分具有低于预定阈值的质量，则可以生成控制信号。备选地或附加地，可以基于在步骤705中获得的纹理信息来生成控制信号。在一些实例中，可以基于从纹理信息获得的环境信息来生成控制信号。例如，如上文中大体所述，可以基于物体或障碍物的存在来生成控制信号。在一些实例中，如果确定在非重叠部分中存在物体或障碍物，则可以生成控制信号。该调节可以是对第一成像部件和/或第二成像部件的光轴的调节。例如，控制信号可以提供基于从图像的非重叠部分获得的纹理信息和/或环境信息来调节可移动物体的指令。可移动物体的调节可以是对可移动物体的状态的调节。例如，该调节可以是对可移动物体的位置、朝向、速度和/或加速度的调节。在一些实例中，该调节可以是对可移动物体相对于其俯仰、偏航或横滚轴的朝向的调节。作为可移动物体的调节的结果，与可移动物体耦接的成像部件的光轴可以被相应地调节。
在一些实例中，第一和/或第二成像部件的调节可以被配置为使第一视场和第二视场的新的重叠部分包含第一图像集和第二图像集的先前的非重叠部分的至少一部分。在一些实例中，第一和/或第二成像部件的调节可以被配置为使第一视场和第二视场的新的重叠部分具有与先前重叠部分不同的大小。例如，第一成像部件和第二成像部件的光轴可以相对于彼此移动，使得重叠部分的大小发生变化，例如，如图6的配置607所示。在一些实例中，该一个或多个处理器可以被配置为在可移动物体的飞行期间重复该处理和生成步骤。该处理和生成步骤可以至少每60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒或0.01秒重复一次。
在一些实例中，可以提供用于实现方法700的系统。该系统可以包括一个或多个处理器，其单独地或共同地被配置为：处理第一图像集和第二图像集的非重叠部分以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有与所述第一视场重叠的第二视场的第二成像部件捕获；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在一些实例中，可以提供用于实现方法700的设备。该设备可以包括具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有与所述第一视场重叠的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
在某些实例中，可以提供非暂时性计算机可读介质来实现方法700。非暂时性计算机可读介质可以包括代码、逻辑或指令，以进行如下操作：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
图8示出了根据实施例的用于获得环境信息的可移动成像系统。在配置802中，提供具有成像部件804的成像系统。该成像部件可以提供单目成像系统。在一些实例中，该成像部件可以是上文中大体描述的双目成像系统的一部分。备选地，该成像部件可以提供双目成像系统。该成像部件可以可操作地耦接到可移动物体(例如UAV)。例如，该成像部件可以嵌入可移动物体中。备选地或附加地，该成像部件可以经由机构耦接到可移动物体。在一些实例中，该机构可以允许成像部件相对于可移动物体的移动。该运动可以包括平移运动和/或旋转运动。在一些实例中，该机构可以包括云台。云台可以被配置为允许成像部件围绕一个、两个或三个轴的移动。
可以随时间对该成像部件进行调节。在一些实例中，该调节可以产生该成像部件的视场的变化。例如，在配置802中，该成像部件的视场从FOV 806变化为FOV 808。在一些实例中，视场的变化可能是由于该成像部件的光轴和/或位置的调节。例如，如配置802所示，该成像部件的光轴可以进行平移运动。作为另一个例子，如配置820所示，该成像部件的光轴可以进行旋转运动。在一些实例中，当对该成像部件所耦接的可移动物体进行调节时，可以发生对该成像部件的光轴的调节。例如，当可移动物体进行位置和/或朝向的变化时，该成像部件可以进行相应的位置和/或朝向的变化。备选地或附加地，该成像部件的光轴的调节可以独立于可移动物体的调节而发生。例如，机构可以被配置为使该成像部件相对于它所连接的可移动物体移动。该成像部件相对于可移动物体的移动可以是平移运动和/或旋转运动。在一些实例中，该机构可以是能够使该成像部件相对于1个、2个或3个轴移动的云台。备选地或附加地，视场的改变可能是由于对该成像部件的配置的调节。例如，该成像部件的变焦水平可以例如通过光学变焦系统的镜头的相对移动来调节。
在一些实例中，该成像部件可以被配置为对区域进行扫描。该区域可以大于该成像部件的视场的大小。对区域的扫描可以允许该成像部件和/或一个或多个处理器在操作期间获得更大量的纹理信息和/或环境信息。在一些实例中，该成像部件可以被配置为定期地对区域进行扫描。定期扫描区域可以通过该成像部件的预定移动来实现。在一些实例中，该成像部件的预定移动可以由于耦接到该成像部件的可移动物体的预定移动而发生。例如，在可移动物体悬停时，它可以通过调节其关于其横滚、俯仰或偏航轴的朝向来扫描区域。例如，当可移动物体处于运动中时，它可以通过调节其关于其横滚、俯仰或偏航轴的朝向来扫描区域。备选地或附加地，该成像部件的预定移动可以相对于可移动物体。例如，机构可以允许该成像部件相对于可移动物体的预定移动。该机构可以是允许该成像部件围绕可移动物体平移移动的平移或旋转机构。该机构可以是允许该成像部件围绕可移动物体旋转移动的旋转机构。在一些实例中，该机构可以是允许该成像部件围绕一个、两个或三个轴移动的云台。
在一些实例中，预定移动可以是如配置802中所示的该成像部件的平移移动。备选地或附加地，预定移动可以是如配置820中所示的该成像部件的旋转移动。在一些实例中，预定移动可以包括该成像部件的平移和旋转移动。在一些实例中，该成像部件可以被配置为以等于或小于约每30秒、20秒、10秒、5秒、3秒、2秒、1秒或0.5秒一次的频率来扫描区域。在一些实例中，在定期扫描期间，该成像部件的光轴可以变化约2°、5°、10°、15°、20°、30°、45°、60°、75°、90°或更多。在一些实例中，在定期扫描期间，该成像部件的光轴可以变化约0.5cm、1cm、2cm、3cm、5cm、10cm、20cm或更多。
该成像部件可以随时间变化而捕获图像(例如，该成像部件的FOV的图像)的序列。在一些实例中，可以在由该成像部件扫描区域期间捕获图像序列。图像序列可以包括两个或更多个图像。在一些实例中，如上所述，可以在光轴的不同朝向和/或位置的情况下捕获图像序列。例如，该成像部件可以在初始时间(t1)捕获第一图像810。随后，在改变其位置之后，该成像部件可以在随后的时间(t2)捕获第二图像812。作为另一个示例，该成像部件可以在初始时间(t1)捕获第一图像814。随后，如配置820所示，在改变其朝向之后，该成像部件可以在随后的时间(t2)捕获第二图像816。如配置802和820所示，图像序列可以重叠或部分重叠。在一些实例中，图像序列可以包括重叠部分和非重叠部分。
与该成像部件可操作地耦接的一个或多个处理器可以被配置为获得环境信息。在一些实例中，该一个或多个处理器可以被配置为通过处理包含在所述图像序列的重叠部分中的数据来获得环境信息。例如，该一个或多个处理器可以通过处理依次获得的图像(例如，在t1获得的图像和在t2获得的图像)之间的差异，来获得诸如深度信息之类的环境信息。在一些实例中，该一个或多个处理器可以被配置为获得纹理信息。纹理信息可以提供关于图像中颜色或强度的空间排列的信息。可以从由成像部件获得的图像序列的重叠和/或非重叠部分两者中获得纹理信息。在一些实例中，纹理信息可以被用作获得可移动物体的环境信息的基础。因此，从图像序列的非重叠部分获得的纹理信息可以为可移动物体提供有用的信息。例如，非重叠部分中的纹理信息可以指示可移动物体感兴趣的物体或障碍物。在一些实例中，纹理信息可以提供影响可移动物体行为的基础。
图9示出了根据实施例的为可移动物体获得纹理信息的示例性配置。在配置901中，成像部件903可操作地耦接到UAV 905。该成像部件可以以不同的视场捕获图像序列。在一些实例中，图像序列可以包括重叠部分和非重叠部分。例如，成像部件903可以以不同视场在第一时间(t1)、第二时间(t2)和第三时间(t3)捕获三个图像的序列。重叠部分包括物体907，而非重叠部分包括物体908。与该成像部件可操作地耦接的一个或多个处理器可以处理图像序列的重叠部分以获得UAV的环境信息。例如，该一个或多个处理器可以通过处理包含在所述图像序列的重叠部分中的数据来确定距物体907的距离。当图像序列的重叠部分具有足够的质量时，这是可能的。
在一些实例中，图像的部分(例如图像的重叠部分或非重叠部分)的质量可以取决于该部分内的特征的存在。在一些实例中，图像的部分的质量可以取决于该部分中的特征的显著性。该特征可以是可识别或可辨认的特征。在一些实例中，特征可以是可由计算机算法(例如程序)识别或辨认的特征。在一些实例中，特征可以是计算机视觉应用可识别的特征。在一些实例中，图像的部分的质量可以通过分析这些部分的显著性或梯度来确定。在一些实例中，图像的部分的质量可以通过分析这些部分内的特征点数或关于光流的信息来确定。例如，如果这些部分内的特征点的数量等于或大于大约1、2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250或300，则图像的部分的质量可以是足够的质量。
在一些实例中，图像序列的部分的质量可以通过与预定准则比较来确定。预定准则可以包括预定阈值，例如，阈值数量或阈值数值。在一些实例中，可以将图像的重叠部分内的显著性、梯度、特征点数和/或光流与预定准则进行比较，以确定重叠部分是否具有足够的质量。在一些实例中，重叠部分可以具有足够的质量。例如，在重叠部分中可以存在足够的信息或数据(例如，可识别的特征、显著性等)以获得UAV的环境信息。
该一个或多个处理器可以附加地被配置为处理图像的非重叠部分以获得纹理信息。在一些实例中，可以从非重叠部分获得纹理信息，而从重叠部分获得环境信息。纹理信息可以被用作提供UAV的环境信息的基础。在一些实例中，通过处理并考虑包含在由该成像部件捕获的图像序列的重叠部分和非重叠部分两者中的信息，UAV会能够获得更准确或精确的环境信息。在一些实例中，通过处理并考虑包含在由该成像部件捕获的图像序列的重叠部分和非重叠部分两者中的信息，UAV会能够获得更大量的环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体908的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
可选地，该一个或多个处理器可以被配置为：如果重叠部分质量不足够或者质量低于预定准则，则从图像序列的非重叠部分获得纹理信息和/或环境信息。在配置911中，成像部件913可操作地耦接到UAV 915。该成像部件捕获具有重叠部分和非重叠部分的图像序列。重叠部分不包括物体，而非重叠部分包括物体918。与该成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。然而，该一个或多个处理器可能无法从重叠部分获得环境信息。例如，在重叠部分内可能没有足够的信息(例如可识别的特征、显著性等)，从而可能无法获得环境信息。图像序列的重叠部分可能质量不足够。
如果重叠部分质量不足够，则该一个或多个处理器可以被配置为从图像的非重叠部分获得纹理信息和/或环境信息。在一些实例中，所获得的纹理信息可以被用作提供UAV的环境信息的基础。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由该成像部件捕获的图像序列的非重叠部分中的信息，会能够获得更准确或精确的环境信息。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由该成像部件捕获的图像序列的非重叠部分中的信息，可以获得环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体918的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
在配置921中，成像部件923可操作地耦接到UAV 925。该成像部件捕获具有重叠部分和非重叠部分的图像序列。重叠部分包括物体928的一部分，而非重叠部分包括该物体的另一部分。与该成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。然而，该一个或多个处理器可能无法从重叠部分获得环境信息。在一些实例中，重叠部分内可能没有足够的信息(例如，可识别的特征、显著性等)，从而可能无法获得环境信息。例如，物体928可能是不具有区别性特征的白色墙壁。例如，物体928可能是具有重复特征的墙。在一些实例中，图像的重叠部分可能质量不足够。
该一个或多个处理器可以附加地被配置为处理图像的非重叠部分以获得纹理信息。纹理信息可以被用作提供UAV的环境信息的基础。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由该成像部件捕获的图像序列的非重叠部分中的信息，会能够获得更准确或精确的环境信息。在一些实例中，当无法从图像的重叠部分获得环境信息时，UAV通过处理并考虑包含在由该成像部件捕获的图像序列的非重叠部分中的信息，会能够获得更大量的环境信息。例如，可以基于通过处理图像的非重叠部分而获得的纹理信息，来获得关于障碍物或物体928的信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
在一些实例中，该一个或多个处理器可以被配置为：如果由该成像部件捕获的图像序列的重叠部分质量不足够，则生成控制信号。该控制信号可以影响UAV的行为。在一些实例中，该控制信号可以影响UAV的状态，例如UAV的位置或朝向。例如，如果图像的重叠部分低于预定质量，则可以生成控制信号以停止UAV的移动和/或将UAV悬停在静止位置。作为另一个例子，如果图像的重叠部分低于预定质量，则该一个或多个处理器可以生成控制信号以调节UAV的(例如相对于UAV的俯仰、偏航或横滚轴的)朝向。在一些实例中，该调节可以继续执行，直到由该成像部件捕获的图像序列的新的重叠部分具有足够的质量为止。在一些实例中，大体如上所述，如果图像的重叠部分低于预定质量，则该一个或多个处理器可以生成控制信号以扫描区域。
备选地或附加地，响应于从图像序列的非重叠部分获得的纹理信息和/或环境信息，该一个或多个处理器可以被配置为生成控制信号。该控制信号可以影响UAV的行为。在一些实例中，该控制信号可以影响UAV的状态，例如UAV的位置或朝向。例如，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以引导UAV的移动，从而规避从非重叠部分中识别的物体或障碍物。作为另一示例，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以停止UAV的移动和/或将UAV悬停在固定位置。作为另一个例子，响应于从图像的非重叠部分获得的纹理信息和/或障碍物信息，该一个或多个处理器可以生成控制信号以调节UAV的(例如相对于俯仰、偏航或横滚轴的)朝向。在一些实例中，该调节可以使得由该成像部件捕获的图像序列的新的重叠部分具有足够的质量或者质量高于预定阈值。例如，关于配置911，该调节可以使得在调节UAV的朝向之后，该成像部件扫描包含物体918的区域，使得由该成像部件捕获的图像序列的重叠部分包含该物体。
图10示出了根据实施例的用于处理由可移动物体捕获的图像的方法1000。如本文先前所述，可移动物体可以是无人机(UAV)。备选地，可移动物体可以是任何其他类型的载运工具。可移动物体在一些实例中可以可操作地耦接到成像部件。例如，该成像部件可以位于可移动物体上。在一些实例中，该成像部件可以嵌入可移动物体或与可移动物体集成。该成像部件可以形成单目成像系统。
在步骤1001中，用成像部件捕获图像序列。该成像部件可位于外壳内。在一些实例中，该成像部件可以位于成像装置上。该成像部件可以包括镜头系统，例如，镜头、多个镜头、变焦镜头等。在一些实例中，该成像部件可以包括单目镜头系统。另外，该成像部件可以包括一个或多个传感器。该成像部件可以具有视场。图像序列可以包括两个或更多个图像。在一些实例中，图像序列可以包括不同的视场。在一些实例中，图像序列可以包括具有重叠部分和非重叠部分的两个或更多个图像。
在一些实例中，可以在可移动物体处于运动(例如，向前运动、向后运动等)中时捕获图像序列。备选地或附加地，可以在可移动物体基本静止时捕获图像序列。例如，可移动物体可以悬停，但可以围绕其俯仰、偏航或横滚轴旋转。在一些实例中，可以通过相对于可移动物体依次调节该成像部件的光轴来捕获图像序列。
在一些实例中，可以提供机构来调节该成像部件的光轴。在一些实例中，该机构可以使得该成像部件能够扫描大于其视场的区域。可选地，该成像部件可以被配置为借助于该机构大约每60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒或0.01秒扫描该区域一次。在一些实例中，在该扫描期间，该成像部件的光轴可以变化约2°、5°、10°、15°、20°、30°、45°、60°、75°、90°或更多。
该机构可以与可移动物体的移动相一致来移动该成像部件的光轴。例如，该机构可以是可移动物体上的推进机构，其使该可移动物体能够移动。在一些实例中，该机构可以使该成像部件的光轴相对于可移动物体进行移动。例如，该机构可以是允许该成像部件相对于可移动物体的移动的平移或旋转机构。例如，该机构可以是允许该成像部件围绕一个、两个或三个轴的旋转的云台。在一些实例中，该机构可以允许该成像部件围绕可移动物体的偏航轴的移动。在一些实例中，该机构可以允许该成像部件围绕可移动物体的横滚轴的移动。在一些实例中，该机构可以允许该成像部件围绕可移动物体的俯仰轴的移动。在一些实例中，该机构可以允许该成像部件围绕可移动物体的外表面的移动。
在一些实例中，可以提供一个或多个处理器。该一个或多个处理器可以位于可移动物体上。备选地或附加地，该一个或多个处理器中的部分或全部可以位于可移动物体之外。例如，部分处理器可以位于与可移动物体可操作地耦接的遥控器或移动装置上。在步骤1003中，该一个或多个处理器可以单独或共同处理图像序列的非重叠部分以获得纹理信息。
在步骤1005中，该一个或多个处理器可以基于纹理信息获得可移动物体的环境信息。环境信息可以是基本上如本文所述的信息，例如，用于操作可移动物体的有用信息。在一些实例中，环境信息包括深度信息。在一些实例中，环境信息包括可移动物体的障碍物信息或状态信息。
可选地，该一个或多个处理器还可以被配置为基于所获得的环境信息生成控制信号，以控制所述可移动物体的位置和/或朝向。备选地或附加地，该一个或多个处理器还可以被配置为基于所获得的环境信息生成控制信号，以控制耦接到所述可移动物体的成像装置相对于所述可移动物体的位置和/或朝向。在一些实例中，该一个或多个处理器可以被配置为在可移动物体的飞行期间重复该处理和生成步骤。该处理和获得步骤可以至少每60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒或0.01秒重复一次。
在一些实例中，可以提供用于实现方法1000的系统。该系统可以包括一个或多个处理器，其单独地或共同被配置为：处理图像序列的非重叠部分以获得纹理信息，其中所述图像序列由成像部件捕获并且包括重叠部分；以及基于所述纹理信息获得所述可移动物体的环境信息。
在一些实例中，可以提供用于实现方法1000的设备。该设备可以包括：成像部件，被配置为捕获图像序列，其中所述图像序列包括重叠部分；以及一个或多个处理器，单独地或共同地被配置为：处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
在某些实例中，可以提供非暂时性计算机可读介质来实现方法1000。非暂时性计算机可读介质可以包括代码、逻辑或指令，以进行如下操作：用成像部件捕获图像序列，其中所述图像序列包括重叠部分；借助于一个或多个处理器，单独地或共同地，处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
上述方法和系统可以单独使用或彼此共同使用。在一些实例中，双目成像系统可以与单目成像系统结合使用。在一些实例中，单目成像系统可以补充双目成像系统。例如，双目成像系统可以包括第一成像部件和第二成像部件。可以处理由两个成像部件捕获的图像的重叠部分以确定UAV的环境信息。另外，第一成像部件和第二成像部件中的每一个可以提供单目成像系统。可以处理由第一成像部件和/或第二成像部件捕获的图像序列的重叠部分，以确定UAV的环境信息。例如当数据质量不足够或低于预定阈值时，这可以作为获得环境信息的双目成像系统的备选而发生。因此，成像部件可以选择性地用于双目成像系统和单目成像系统中，以有效地获得环境信息。例如，可以利用具有窄视场的双目成像系统来获得环境信息，而可能具有更大失真的具有宽视场的单目成像系统可以在有益或必要时选择性地用于获得环境信息。
图11示出了根据实施例的选择性地获得环境信息的成像系统。尽管在图11中描绘出包括具有不同视场的成像部件的成像系统，但这并不意味着进行限制。例如，双目成像系统或单目成像系统的选择性利用可适用于具有两个或更多个成像部件的任何成像系统。成像系统可以包括第一成像部件1101。第一成像部件可以具有第一视场。在一些实例中，第一视场可以小于或等于约180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°或30°。成像系统可以包括第二成像部件1103。第二成像部件可以具有第二视场。在一些实例中，第二视场可以小于或等于约180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°或30°。第二视场可以小于第一视场。在一些实例中，第二视场可以窄于第一视场。
在一些实例中，第二视场可以被第一视场所包含，例如，如图11所示。在其他情况下，第二视场可以与第一视场部分重叠。可选地，第二视场可以不与第一视场重叠。在一些实例中，第一成像部件和第二成像部件可以相对于彼此进行调节。例如，第一成像部件和第二成像部件可以相对于彼此可平移和/或可旋转。在一些实例中，成像部件1101和1103各自可以提供单目成像系统或可以用作单目成像系统的一部分。备选地，成像部件1101和1103各自可以提供双目成像系统或者可以用作双目成像系统的一部分。作为示例，成像部件1103可以包括双目成像系统并且(例如基本同时地)捕获重叠的图像集。在一些实例中，成像部件1101和1103可以一起提供双目成像系统或可以用作双目成像系统的一部分。
每个成像部件可以可操作地耦接到可移动物体，如UAV。例如，成像部件可以嵌入可移动物体中。备选地或附加地，成像部件可以基本上如本文所述通过机构耦接到可移动物体。
每个成像部件可以捕获图像集。例如，第一成像部件可以捕获第一图像集1105，并且第二成像部件可以捕获第二图像集1107。在一些实例中，第一和第二图像集中的每一个可以包括在不同时间点用单目成像系统捕获的图像。在一些实例中，第一图像集和第二图像集可以基本同时被捕获。第一图像集和/或第二图像集可以各自是随时间捕获的图像序列。在一些实例中，第二图像集可能更适于获得环境信息。在一些实例中，与第二图像集相比，第一图像集在图像的边缘处可能具有较低的准确度。在一些实例中，第一和/或第二图像集可以包括用双目成像系统获得的重叠图像集。
与成像部件可操作地耦接的一个或多个处理器可以被配置为获取环境信息。在一些实例中，该一个或多个处理器可以被配置为：通过处理包含在第一和第二图像集两者中的数据来获得环境信息，例如，基本上如关于双目成像系统所描述的那样。例如，该一个或多个处理器可以通过处理包含在第一图像集和第二图像集中的数据之间的差异，来获得诸如深度信息之类的环境信息。在一些实例中，该一个或多个处理器可以被配置为通过处理包含在第一图像集(例如图像序列)中的数据来获得环境信息，例如，如关于单目成像系统所描述的那样。例如，该一个或多个处理器可以通过处理第一图像集中的图像之间的差异，来获得诸如深度信息之类的环境信息。在一些实例中，该一个或多个处理器可以被配置为通过处理包含在第二图像集(例如图像序列)中的数据来获得环境信息，例如，如关于单目成像系统所描述的那样。例如，该一个或多个处理器可以通过处理第二图像集中的图像之间的差异，来获得诸如深度信息之类的环境信息。在一些实例中，如关于双目成像系统所描述的那样，该一个或多个处理器可以被配置为通过处理包含在第二图像集中的数据来获得环境信息。例如，成像部件1103可以提供双目成像系统，并且第二图像集本身可以包括重叠的图像集。
图12示出了根据实施例的利用不同成像系统的示例性配置。在配置1201中，包括成像部件1203、1205的成像系统由包括成像部件1205的成像系统补充。每个成像部件可以提供单目成像系统和/或双目成像系统的一部分，或用作单目成像系统和/或双目成像系统的一部分。成像部件分别捕获图像集(例如图像序列)。基本同时捕获的图像集可以包括重叠部分。在一些实例中，基本同时捕获的图像集可以不包括重叠部分。在一些实例中，基本同时捕获的图像集可以包括重叠部分和非重叠部分。重叠部分包括物体1207，而非重叠部分包括物体1209。与成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。例如，该一个或多个处理器可以确定距物体1207的距离。当图像的重叠部分具有足够的质量时，这是可能的。该一个或多个处理器可以另外被配置为例如在单目成像系统的上下文中，处理由成像部件1205捕获的图像序列的重叠部分以获得UAV的环境信息。
在一些实例中，通过在双目成像系统和单目成像系统两者的上下文中处理图像，UAV会能够获得更准确和/或精确的环境信息。在一些实例中，通过在双目成像系统和单目成像系统两者的上下文中处理图像，UAV会能够获得更大量的环境信息。例如，关于障碍物或物体1209的信息(例如距物体1209的距离)可以基于具有宽视场的单目成像系统来获得，而关于障碍物或物体1207的信息(例如距物体1207的距离)可以基于双目成像系统获得。双目成像系统可以提供UAV的准确和精确的信息，而具有宽视场的单目成像系统可以提供补充的环境信息。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。可选地，该一个或多个处理器可以被配置为：如果双目成像系统难以获得环境信息，则从单目成像系统获得环境信息。在配置1211中，包括成像部件1213、1215的双目成像系统由包括成像部件1215的单目成像系统补充。成像部件分别捕获图像集(例如图像序列)。基本同时捕获的图像集可以包括重叠部分和非重叠部分。重叠部分不包括物体，而非重叠部分包括物体1219。与成像部件可操作地耦接的一个或多个处理器可以处理图像的重叠部分以获得UAV的环境信息。然而，该一个或多个处理器可能无法从重叠部分获得环境信息。例如，在重叠部分内可能没有足够的信息(例如可识别的特征、显著性等)，从而可能无法获得环境信息。
如果重叠部分的质量不足够，则该一个或多个处理器可以被配置为例如在单目成像系统的上下文中，处理由成像部件1215捕获的图像序列的重叠部分以获得UAV的环境信息。在一些实例中，如果在重叠部分内没有可识别的特征，则重叠部分可能质量不足够。在一些实例中，如果重叠部分内存在很少可识别特征，则重叠部分可能质量不足够。在一些实例中，如果无法获得UAV的距离或深度信息，则重叠部分中的数据质量可能质量不足够。在一些实例中，如果无法获得诸如速度或位置信息之类的UAV的状态信息，则重叠部分可能质量不足够。如果重叠部分内的特征点的数量等于或小于大约2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250或300，则质量不足够。
在一些实例中，通过在双目成像系统和单目成像系统两者的上下文中处理图像，当双目成像系统不能获得环境信息时，UAV会能够获得更准确或精确的环境信息。在一些实例中，通过在双目成像系统和单目成像系统两者的上下文中处理图像，当双目成像系统不能获得环境信息时，UAV会能够获得更大量的环境信息。例如，当双目成像系统不能获得环境信息时，可以基于具有宽视场的单目成像系统来获得关于障碍物或物体1219的信息(例如距物体1219的距离)。如本文先前所描述的那样，环境信息可以进一步在UAV的操作中使用，或者用于影响UAV的行为。
在配置1221中，包括成像部件1223、1225的双目成像系统由包括成像部件1225的单目成像系统补充。成像部件分别捕获图像集(例如图像序列)。基本同时捕获的图像集可以包括重叠部分和非重叠部分。重叠部分包括物体的不具有区别性特征的一部分，而非重叠部分包括该物体的具有区别性特征的一部分。因此，基本上如关于配置1211所描述的，单目成像系统可以用作双目成像系统的补充和/或替代。
图13示出了根据实施例的用于处理由可移动物体捕获的图像的方法。如本文先前所述，可移动物体可以是无人机(UAV)。备选地，可移动物体可以是任何其他类型的载运工具。可移动物体在一些实例中可以可操作地耦接到成像部件。例如，该成像部件可以位于可移动物体上。在一些实例中，该成像部件可以嵌入可移动物体或与可移动物体集成。该成像部件可以形成单目成像系统。
在步骤1301中，用第一成像部件捕获第一图像集。第一成像部件可以包括第一镜头系统。第一成像部件可以位于成像装置上。第一成像部件可以位于可移动物体上。在一些实例中，第一图像集可以包括图像序列。第一成像部件可以具有第一视场。在一些实例中，第一视场可以具有介于约90°与180°之间的视角。
在步骤1303中，用第二成像部件捕获第二图像集。第二成像部件可以包括第二镜头系统。第二成像部件可以位于成像装置上。在一些实例中，第二成像部件可以与第一成像部件位于不同的成像装置上。备选地，第二成像部件可以与第一成像部件位于相同的成像装置上。第二成像部件可以位于可移动物体上。第二成像部件可以具有第二视场。在一些实例中，第二视场可以窄于第一视场。在一些实例中，第一视场和第二视场可以重叠。在一些实例中，第二视场被第一视场所包含。在一些实例中，第二视场可以具有介于约50°与80°之间的视角。第一成像部件和第二成像部件中的每一个可以包括单目镜头系统。
在一些实例中，可以提供一个或多个处理器。该一个或多个处理器可以位于可移动物体上。备选地或附加地，该一个或多个处理器中的部分或全部可以位于可移动物体之外。例如，部分处理器可以位于与可移动物体可操作地耦接的遥控器或移动装置上。在步骤1305中，该一个或多个处理器可以单独或共同处理第一图像集以获得纹理信息。纹理信息可以提供关于图像中颜色或强度的空间排列的信息。可以从由成像部件获得的图像序列的重叠和/或非重叠部分两者中获得纹理信息。在一些实例中，如果所述第二图像集具有低于预定阈值的质量，则该一个或多个处理器可以处理所述第一图像集以获得纹理信息。备选地或附加地，该一个或多个处理器可以被配置为如果所述第二图像集的质量高于所述预定阈值，则处理所述第二图像集以获得所述可移动物体的环境信息。该一个或多个处理器可以被配置为分析所述第二图像集的图像的显著性或梯度，以确定所述第二图像集的质量。在一些实例中，该一个或多个处理器可以被配置为分析所述第二图像集内的特征点数或光流，以确定所述第二图像集的质量。
在步骤1307中，该一个或多个处理器可以基于在步骤1305中获得的纹理信息，获得可移动物体的环境信息。在一些实例中，环境信息包括深度信息。备选地或附加地，环境信息包括可移动物体的障碍物信息或状态信息。在一些实例中，该一个或多个处理器可以被配置为如果所述第二图像集的质量高于所述预定阈值，则不处理所述第一图像集以获得所述可移动物体的环境信息。
可选地，该一个或多个处理器还可以被配置为基于所获得的环境信息生成控制信号，以控制所述可移动物体的位置和/或朝向。备选地或附加地，该一个或多个处理器还可以被配置为基于所获得的环境信息生成控制信号，以控制耦接到所述可移动物体的成像装置相对于所述可移动物体的位置和/或朝向。在一些实例中，该一个或多个处理器可以被配置为如果所述第二图像集的质量低于所述预定阈值，则生成控制信号以调节所述第二成像部件的光轴。控制信号可以取决于第一图像集的纹理信息。
在一些实例中，该一个或多个处理器可以被配置为在可移动物体的飞行期间重复该处理和获得步骤。该处理和获得步骤可以至少每60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒或0.01秒重复一次。
在一些实例中，可以提供用于实现方法1300的系统。该系统可以包括一个或多个处理器，其单独地或共同地被配置为：如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；基于所述纹理信息获得所述可移动物体的环境信息。
在一些实例中，可以提供用于实现方法1300的设备。该设备可以包括具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有比所述第一视场窄的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
在某些实例中，可以提供非暂时性计算机可读介质来实现方法1300。所述非暂时性计算机可读介质可以包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；借助于一个或多个处理器，单独地或共同地，如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。
本文描述的系统、设备和方法可以应用于各种各样的物体，包括可移动物体和静止物体。如前所述，本文对飞机器(诸如UAV)的任何描述可以适用于和用于任何可移动物体。本文对飞行器的任何描述都可以专门适用于UAV。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如在空气中(例如，固定翼飞行器、旋转翼飞行器、或既不具有固定翼也不具有旋转翼的飞行器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车辆，如轿车、卡车、巴士、面包车、摩托车、自行车；可移动的结构或框架，如棒、钓鱼竿；或火车)、在地下(例如地铁)、在空间中(例如，太空飞机、卫星或探测器)或这些环境的任意组合。可移动物体可以是载运工具，诸如本文其他地方描述的载运工具。在一些实施例中，可移动物体可以由活体(诸如人或动物)携带，或者从活体取走。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体会能够相对于六个自由度(例如三个平移自由度和三个旋转自由度)在环境内自由移动。备选地，可移动物体的移动可以相对于一个或多个自由度(例如通过预定的路径、轨道或朝向)进行限制。所述移动可由任何合适的驱动机构(例如发动机或电机)驱动。可移动物体的驱动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自驱动，如本文别处所述。推进系统可以可选地在能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)上操作。备选地，可移动物体可以由生物体承载。
在一些实例中，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如飞机、滑翔机)、旋转翼飞机(例如直升机、旋翼飞机)、具有固定翼和旋转翼的飞机，或没有固定翼和旋转翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，比如通过空气自推进。自推进飞行器可以利用推进系统，例如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在某些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由使用者遥控，也可由乘员在可移动物体内或可移动物体上对可移动物体进行局部控制。可移动物体可以通过单独载运工具内的乘员来进行遥控。在一些实施例中，可移动物体是诸如UAV的无人可移动物体。诸如UAV的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在载运工具内或载运工具上有人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在载运工具内部或载运工具上有人类乘员的大小和/或尺寸。可移动物体的大小和/或尺寸可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或尺寸。在某些实例中，可移动物体可以具有小于或等于约如下值的最大尺寸(例如，长度、宽度、高度、直径、对角线)：2cm、5cm、10cm、50cm、1m、2m、5m或10m。2cm、5cm、10cm、50cm、1m、2m、5m或者10m。最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施例中，可移动物体的体积可以小于100cm×100cm×100cm，小于50cm×50cm×30cm，或小于5cm×5cm×3cm。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施例中，可移动物体可以具有小于或等于约如下值的占地面积(其可以指由可移动物体包围的横向横截面积)：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。相反，占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。
在一些实例中中，可移动物体的重量可以不超过1000kg。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施例中，可移动物体相对于由可移动物体承载的负载可以较小。负载可以包括有效负荷和/或载体，如本文其他地方进一步详细描述的。在一些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在一些实例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或甚至更少。相反，可移动物体重量与负载重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施例中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些实例中，可移动物体的载体可具有低能耗。例如，载体可使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的负载可以具有低能耗，例如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图14示出了根据本发明的实施例的无人机(UAV)1400。UAV可以是如本文所述的可移动物体的示例，可以向其应用对电池部件进行放电的方法和装置。UAV 1400可以包括具有四个旋翼1402、1404、1406和1408的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。无人机的旋翼、旋翼部件或其他推进系统可以使得无人机能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度1410。例如，长度1410可以小于或等于2m、或小于等于5m。在一些实施例中，长度1410可以在40cm至1m、10cm至2m，或5cm至5m的范围内。本文UAV的任何描述可以应用于可移动物体，例如不同类型的可移动物体，并且反之亦然。UAV可以使用如本文所述的辅助起飞系统或方法。
在一些实施例中，可移动物体可被配置为承载负载。负载可以包括乘客、货物、装备、仪器等中的一个或多个。负载可以设置在外壳内。所述外壳可以与可移动物体的外壳分离，或者作为可移动物体的外壳的一部分。备选地，负载可以设置有外壳，而可移动物体不具有外壳。备选地，负载的部分或整个负载可以设置为没有外壳。负载可以相对于可移动物体刚性地固定。可选地，负载可相对于可移动物体移动(例如，相对于可移动物体可平移或可旋转)。负载可以包括负载和/或载体，如本文其他地方所描述的。
在一些实施例中，可移动物体、载体和负载相对于固定参考系(例如，周围环境)和/或彼此的移动可由终端控制。终端可以是远离可移动物体、载体和/或负载的遥控设备。终端可以放置在或固定在支撑平台上。备选地，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括诸如键盘、鼠标、操纵杆、触摸屏或显示器之类的用户界面。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于固定参考系和/或彼此的位置和/或朝向。在一些实施例中，终端可用于控制可移动物体、载体和/或负载的各个元件，例如载体的驱动组件、负载的传感器或负载的发射器。终端可以包括适于与可移动物体、载体或负载中的一个或多个通信的无线通信设备。
终端可以包括用于观看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可以被配置为显示可移动物体、载体和/或负载的关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合方面的信息。在一些实施例中，终端可以显示由负载提供的信息，例如由功能型负载提供的数据(例如，由相机或其他图像捕获设备记录的图像)。
可选地，相同的终端可以控制可移动物体、载体和/或负载，或可移动物体、载体和/或负载的状态，以及接收和/或显示来自可移动物体、载体和/或负载的信息。例如，终端可以在显示由负载捕获的显示图像数据或关于负载的位置信息的同时，控制负载相对于环境的定位。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由负载捕获的图像数据。在可移动物体和用于控制可移动物体并接收数据的集成终端之间，或者在可移动物体与用于控制可移动物体并接收数据的多个终端之间，可以使用各种通信模式。例如，在可移动物体和用于控制可移动物体并从可移动物体接收数据的终端之间，可以形成至少两种不同的通信模式。
图15示出了根据本发明实施例的包括载体1502和负载1504的可移动物体1500。虽然可移动物体1500被描绘为飞行器，但是所述描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在某些实例中，负载1504可以设置在可移动物体1500上，而不需要载体1502。可移动物体1500可以包括推进机构1506、感测系统1508和通信系统1510。
如前所述，推进机构1506可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或多个、两个或更多个、三个或更多个，或四个或更多个推进机构。全部推进机构可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。推进机构1506可以使用诸如本文别处所述的诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体1500上。推进机构1506可以安装在可移动物体1500的任何合适的部分上，诸如项部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，推进机构1506可以使可移动物体1500能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体1500的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1506可以可操作地允许可移动物体1500以特定位置和/或朝向悬停在空气中。推进机构1500中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1500可以被配置为同时受到控制。例如，可移动物体1500可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以驱动多个水平朝向的旋翼以向可移动物体1500提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体1500(例如，相对于多达三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统1508可以包括可感测可移动物体1500(例如，相对于多达三个平移度和多达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1508提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1500的空间布置、速度和/或朝向。备选地，感测系统1508可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
通信系统1510能够经由无线信号1516与具有通信系统1514的终端1512进行通信。通信系统1510、1514可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1500向终端1512发送数据，反之亦然。可以从通信系统1510的一个或多个发射机向通信系统1512的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1500和终端1512之间的两个方向上发送数据。双向通信可以涉及从通信系统1510的一个或多个发射机向通信系统1514的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端1512可以向可移动物体1500、载体1502和负载1504中的一个或更多个提供控制数据，并且从可移动物体1500、载体1502和负载1504中的一个或更多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据)。在某些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、驱动或控制的指令。例如，控制数据(例如，通过推进机构1506的控制)可以导致可移动物体的位置和/或朝向的修改，或(例如，通过载体1502的控制)导致负载相对于可移动物体的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在某些实例中，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统1508或负载1504的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如位置，朝向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端1512发送提供的控制数据可以被配置为控制可移动物体1500、载体1502或负载1504中的一个或多个的状态。备选地或组合地，载体1502和负载1504也可以各自包括被配置为与终端1512进行通信的通信模块，使得该终端可以独立地与可移动物体1500、载体1502和有效负载1504中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体1500可被配置为与除了终端1512之外的或者代替终端1512的另一远程通信设备。终端1512还可以被配置为与另一远程设备以及可移动物体1500进行通信。例如，可移动物体1500和/或终端1512可以与另一可移动物体或另一可移动物体的载体或负载通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为向可移动物体1500发送数据、从可移动物体1500接收数据、向终端1512发送数据，和/或从终端1512接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体1500和/或终端1512接收的数据可以上传到网站或服务器。
图16是根据实施例的用于控制可移动物体的系统1600的框图的示意图。系统1600可以与本文公开的系统、设备和方法的任何合适的实施例结合使用。系统1600可以包括感测模块1602、处理单元1604、非暂时性计算机可读介质1606、控制模块1608和通信模块1610。
感测模块1602可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1602可以与具有多个处理器的处理单元1604可操作地耦接。在一些实施例中，感测模块可以可操作地与被配置为直接将感测数据传输到合适的外部设备或系统的传输模块1612(例如，Wi-Fi图像传输模块)耦接。例如，传输模块1612可以用于将由感测模块1602的相机捕获的图像发送到远程终端。
处理单元1604可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元1604可以与非暂时性计算机可读介质1606可操作地耦接。非暂时性计算机可读介质1606可以存储可由处理单元1604执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。在一些实施例中，来自感测模块1602的数据可以被直接传送到非暂时性计算机可读介质1606的存储单元并存储于其中。非暂时性计算机可读介质1606的存储单元可以存储可由处理单元1604执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。例如，处理单元1604可以被配置为执行使处理单元1604的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可存储来自感测模块的感测数据以供处理单元1604处理。在一些实施例中，非暂时性计算机可读介质1606的存储单元可以用于存储由处理单元1604产生的处理结果。
在一些实施例中，处理单元1604可以可操作地与被配置为控制可移动物体的状态的控制模块1608耦接。例如，控制模块1608可以被配置为控制可移动物体的推进机构，以相对于六个自由度调节可移动物体的空间布置、速度和/或加速度。备选地或组合地，控制模块1608可以控制载体、负载或感测模块的状态中的一个或多个。
处理单元1604可以可操作地与被配置为从一个或更多个外部设备(例如，终端、显示设备或其他遥控器)发送和/或接收数据的通信模块1610耦接。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块1610可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或更多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视距。通信模块1610可以发送和/或接收以下一个或多个：来自感测模块1602的感测数据，由处理单元1604产生的处理结果，预定控制数据，来自终端或遥控器的用户命令等。
系统1600的部件可以以任何合适的配置来布置。例如，系统1600的一个或多个部件可以位于可移动物体、载体、负载、终端、感测系统上或与上述一个或多个进行通信的附加的外部设备上。另外，尽管图16描绘了单个处理单元1604和单个非暂时性计算机可读介质1606，本领域技术人员将理解，这并非意在限制，并且系统1600可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如位于可移动物体、载体、负载、终端、感测模块、与上述一个或多个进行通信的附加的外部设备、或其合适组合上，使得由系统1600执行的处理和/或存储功能的任何合适方面可以发生在前述位置中的一个或多个位置。
虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在系统上下文中描述的所有要素适用于主题方法的实践，反之亦然。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (82)

1.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：
一个或多个处理器，单独地或共同地被配置为：
如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；以及
基于所述纹理信息获得所述可移动物体的环境信息。
2.根据权利要求1所述的系统，其中所述环境信息包括深度信息。
3.根据权利要求1所述的系统，其中所述环境信息包括所述可移动物体的障碍物信息或状态信息。
4.根据权利要求1所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制所述可移动物体的位置和/或朝向。
5.根据权利要求1所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制耦接到所述可移动物体的成像装置相对于所述可移动物体的位置和/或朝向。
6.根据权利要求1所述的系统，其中所述可移动物体是无人机UAV。
7.根据权利要求1所述的系统，其中所述第一成像部件包括第一镜头系统。
8.根据权利要求7所述的系统，其中所述第二成像部件包括第二镜头系统。
9.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像集的质量高于所述预定阈值，则处理所述第二图像集以获得所述可移动物体的环境信息。
10.根据权利要求9所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像的质量高于所述预定阈值，则不处理所述第一图像集以获得所述可移动物体的环境信息。
11.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像集的质量低于所述预定阈值，则生成控制信号以调节所述第二成像部件的光轴。
12.根据权利要求11所述的系统，其中所述控制信号取决于所述第一图像集的纹理信息。
13.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：分析所述第二图像集的图像的显著性或梯度，以确定所述第二图像集的质量。
14.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：分析所述第二图像集内的特征点数或光流，以确定所述第二图像集的质量。
15.根据权利要求1所述的系统，其中所述第一视场和所述第二视场重叠。
16.根据权利要求15所述的系统，其中，所述第二视场被所述第一视场所包含。
17.根据权利要求1所述的系统，其中所述第二视场具有介于约50°与80°之间的视角，并且所述第一视场具有介于约90°与180°之间的视角。
18.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件中的每一个包括单目镜头系统。
19.根据权利要求1所述的系统，其中所述第一成像部件位于第一成像装置上，并且所述第二成像部件位于第二成像装置上。
20.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件位于单个成像装置上。
21.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件位于所述可移动物体上。
22.根据权利要求1所述的系统，其中所述一个或多个处理器位于所述可移动物体上。
23.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：在所述可移动物体的飞行期间重复处理和获得步骤。
24.根据权利要求1所述的系统，其中所述步骤至少每2秒重复一次。
25.一种用于处理由可移动物体捕获的图像的方法，所述方法包括：
用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；
用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；
借助于一个或多个处理器，单独地或共同地，
如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
26.一种用于处理由可移动物体捕获的图像的设备，所述设备包括：
具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；
具有比所述第一视场窄的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及
一个或多个处理器，单独地或共同地被配置为：
如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
27.一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质，所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：
用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；
用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；
借助于一个或多个处理器，单独地或共同地，
如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
28.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：
一个或多个处理器，单独地或共同地被配置为：
处理第一图像集和第二图像集的非重叠部分以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有与所述第一视场重叠的第二视场的第二成像部件捕获；以及
基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
29.根据权利要求28所述的系统，其中所述一个或多个处理器还被配置为：分析所述第一图像集和所述第二图像集的重叠部分，以获得所述可移动物体的环境信息。
30.根据权利要求28所述的系统，其中所述控制信号调节所述第一成像部件和/或所述第二成像部件的光轴。
31.根据权利要求28所述的系统，其中所述可移动物体是无人机UAV。
32.根据权利要求28所述的系统，其中所述第一成像部件包括第一镜头系统。
33.根据权利要求32所述的系统，其中所述第二成像部件包括第二镜头系统。
34.根据权利要求28所述的系统，其中所述控制信号提供用于所述可移动物体的调节的指令，由此调节所述第一成像部件和/或所述第二成像部件。
35.根据权利要求34所述的系统，其中所述可移动物体的调节是所述可移动物体相对于其俯仰、偏航或横滚轴的朝向的调节。
36.根据权利要求28所述的系统，其中所述控制信号提供用于调节所述第一成像部件和/或所述第二成像部件的光轴的指令。
37.根据权利要求28所述的系统，其中所述一个或多个处理器还被配置为：如果所述第一图像集和所述第二图像集的重叠部分具有低于预定阈值的质量，则基于所述纹理信息获得所述可移动物体的环境信息。
38.根据权利要求37所述的系统，其中所述环境信息包括深度信息。
39.根据权利要求37所述的系统，其中所述环境信息包括所述可移动物体的障碍物信息或状态信息。
40.根据权利要求37所述的系统，其中所述一个或多个处理器被配置为：分析所述重叠部分的图像的显著性或梯度，以确定所述重叠部分的质量。
41.根据权利要求37所述的系统，其中所述一个或多个处理器被配置为：分析所述重叠部分内的特征点数或光流，以确定所述重叠部分的质量。
42.根据权利要求28所述的系统，其中所述第一成像部件和/或所述第二成像部件的调节被配置为：使所述第一视场和所述第二视场的新的重叠部分包含所述第一图像集和所述第二图像集的非重叠部分的至少一部分。
43.根据权利要求28所述的系统，其中所述第一成像部件和/或所述第二成像部件的调节被配置为：使所述第一视场和所述第二视场的新的重叠部分具有与先前的重叠部分不同的大小。
44.根据权利要求28所述的系统，其中所述第一视场和所述第二视场的大小相似。
45.根据权利要求28所述的系统，其中所述第一成像部件和所述第二成像部件具有基本平行的光轴。
46.根据权利要求28所述的系统，其中所述第一成像部件和所述第二成像部件中的每一个包括单目镜头系统。
47.根据权利要求28所述的系统，其中所述第一成像部件位于第一成像装置上，并且其中所述第二成像部件位于第二成像装置上。
48.根据权利要求28所述的系统，其中所述第一成像部件和所述第二成像部件位于单个成像装置上。
49.根据权利要求28所述的系统，其中所述第一成像部件和所述第二成像部件位于所述可移动物体上。
50.根据权利要求28所述的系统，其中所述一个或多个处理器位于所述可移动物体上。
51.根据权利要求28所述的系统，其中所述一个或多个处理器被配置为：在所述可移动物体的飞行期间重复处理和生成步骤。
52.根据权利要求51所述的系统，其中所述步骤至少每2秒重复一次。
53.一种用于处理由可移动物体捕获的图像的方法，所述方法包括：
用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；
用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；
借助于一个或多个处理器，单独地或共同地，
处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及
基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
54.一种用于处理由可移动物体捕获的图像的设备，所述设备包括：
具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；
具有与所述第一视场重叠的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及
一个或多个处理器，单独地或共同地被配置为：
处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及
基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
55.一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质，所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：
用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；
用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；
借助于一个或多个处理器，单独地或共同地，
处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及
基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。
56.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：
一个或多个处理器，单独地或共同地被配置为：
处理图像序列的非重叠部分以获得纹理信息，其中所述图像序列由成像部件捕获并且包括重叠部分；以及
基于所述纹理信息获得所述可移动物体的环境信息。
57.根据权利要求56所述的系统，其中所述环境信息包括深度信息。
58.根据权利要求56所述的系统，其中所述环境信息包括所述可移动物体的障碍物信息或状态信息。
59.根据权利要求56所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制所述可移动物体的位置和/或朝向。
60.根据权利要求56所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制耦接到所述可移动物体的成像装置相对于所述可移动物体的位置和/或朝向。
61.根据权利要求56所述的系统，其中所述可移动物体是无人机UAV。
62.根据权利要求56所述的系统，其中所述成像部件包括镜头系统。
63.根据权利要求56所述的系统，其中通过相对于所述可移动物体依次调节所述成像部件的光轴来捕获所述图像序列。
64.根据权利要求56所述的系统，还包括：被配置为调节所述成像部件的光轴的机构。
65.根据权利要求64所述的系统，其中所述机构与所述可移动物体的移动相一致地移动所述成像部件的光轴。
66.根据权利要求64所述的系统，其中所述机构相对于所述可移动物体移动所述成像部件的光轴。
67.根据权利要求64所述的系统，其中所述机构相对于所述可移动物体移动所述成像部件。
68.根据权利要求67所述的系统，其中所述移动是围绕所述可移动物体的偏航轴的移动。
69.根据权利要求67所述的系统，其中，所述移动是围绕所述可移动物体的俯仰轴或横滚轴的移动。
70.根据权利要求67所述的系统，其中所述移动是围绕所述可移动物体的外表面的移动。
71.根据权利要求64所述的系统，其中所述机构使所述成像部件能够扫描大于其视场的区域。
72.根据权利要求71所述的系统，其中所述成像部件被配置为：借助于所述机构，每2秒扫描所述区域一次。
73.根据权利要求71所述的系统，其中在所述扫描期间所述光轴变化30度。
74.根据权利要求56所述的系统，其中所述成像部件包括单目镜头系统。
75.根据权利要求56所述的系统，其中所述成像部件位于成像装置上。
76.根据权利要求56所述的系统，其中所述成像部件位于所述可移动物体上。
77.根据权利要求56所述的系统，其中所述一个或多个处理器位于所述可移动物体上。
78.根据权利要求56所述的系统，其中所述一个或多个处理器被配置为：在所述可移动物体的飞行期间重复处理和获得步骤。
79.根据权利要求78所述的系统，其中所述步骤至少每2秒重复一次。
80.一种用于处理由可移动物体捕获的图像的方法，所述方法包括：
用成像部件捕获图像序列，其中所述图像序列包括重叠部分；
借助于一个或多个处理器，单独地或共同地，
处理所述图像序列的非重叠部分以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
81.一种用于处理可移动物体的图像中的信息的设备，所述设备包括：
成像部件，被配置为捕获图像序列，其中所述图像序列包括重叠部分；以及
一个或多个处理器，单独地或共同地被配置为：
处理所述图像序列的非重叠部分以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
82.一种用于处理图像中的信息的非暂时性计算机可读介质，所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：
用成像部件捕获图像序列，其中所述图像序列包括重叠部分；
借助于一个或多个处理器，单独地或共同地，
处理所述图像序列的非重叠部分以获得纹理信息；以及
基于所述纹理信息获得所述可移动物体的环境信息。
CN201680087624.9A 2016-07-12 2016-07-12 处理图像以获得环境信息 Expired - Fee Related CN109478320B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/089814 WO2018010096A1 (en) 2016-07-12 2016-07-12 Processing images to obtain environmental information

Publications (2)

Publication Number Publication Date
CN109478320A true CN109478320A (zh) 2019-03-15
CN109478320B CN109478320B (zh) 2022-03-18

Family

ID=60951651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087624.9A Expired - Fee Related CN109478320B (zh) 2016-07-12 2016-07-12 处理图像以获得环境信息

Country Status (7)

Country Link
US (2) US10789722B2 (zh)
EP (2) EP3485462B1 (zh)
JP (1) JP2019522287A (zh)
CN (1) CN109478320B (zh)
DK (1) DK3485462T3 (zh)
ES (1) ES2846864T3 (zh)
WO (1) WO2018010096A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机系统
TWI711560B (zh) * 2019-05-09 2020-12-01 經緯航太科技股份有限公司 無人機降落設備及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410330B2 (en) * 2017-05-30 2022-08-09 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US10510158B1 (en) * 2017-11-13 2019-12-17 Amazon Technologies, Inc. Collaborative airborne object tracking systems and methods
CN110832495A (zh) * 2018-07-13 2020-02-21 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
CN210998737U (zh) * 2019-11-12 2020-07-14 上海肇观电子科技有限公司 移动机器人
KR20220101140A (ko) 2019-11-12 2022-07-19 넥스트브이피유 (상하이) 코포레이트 리미티드 이동 로봇
JP7499140B2 (ja) * 2020-10-14 2024-06-13 日立Astemo株式会社 物体認識装置
CN114544638A (zh) * 2020-11-25 2022-05-27 南宁富联富桂精密工业有限公司 空气湿度量测方法及电子装置
US12038890B2 (en) * 2021-08-27 2024-07-16 Ambient Ridge, Inc. Environmental hazard and risk information system
WO2023062093A1 (en) 2021-10-14 2023-04-20 Feops Nv Systems and methods for automatically detecting anatomical features for preoperative cardiac implant simulations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
CN104408446A (zh) * 2014-12-19 2015-03-11 中国人民解放军国防科学技术大学 一种基于图像显著性的无人机自主着陆目标检测方法
CN104700077A (zh) * 2015-02-12 2015-06-10 北京天诚盛业科技有限公司 嵌入式双目虹膜识别装置、系统及其方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819016A (en) * 1993-10-05 1998-10-06 Kabushiki Kaisha Toshiba Apparatus for modeling three dimensional information
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
JP2001298656A (ja) * 2000-04-13 2001-10-26 Nec Corp 撮像装置
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
DE10059891A1 (de) * 2000-12-01 2002-06-13 Continental Teves Ag & Co Ohg Kraftfahrzeugabstandssensor
JP2005024463A (ja) 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
US7889232B2 (en) * 2004-06-22 2011-02-15 Stratech Systems Limited Method and system for surveillance of vessels
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP5146330B2 (ja) * 2009-01-15 2013-02-20 日産自動車株式会社 車両用道路標示認識装置
US8947505B2 (en) * 2010-03-31 2015-02-03 Omron Scientific Technologies, Inc. Method and apparatus for generating texture in a three-dimensional scene
CN102446355B (zh) * 2011-09-05 2013-11-06 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
CN102435174B (zh) * 2011-11-01 2013-04-10 清华大学 基于混合式双目视觉的障碍物检测方法及装置
US9959634B2 (en) * 2012-03-13 2018-05-01 Google Llc Method and system for identifying depth data associated with an object
US9338439B2 (en) * 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN103559703B (zh) * 2013-10-08 2016-07-06 中南大学 基于双目视觉的起重机障碍物监测及预警方法及系统
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US10108793B2 (en) * 2014-10-30 2018-10-23 Delta ID Inc. Systems and methods for secure biometric processing
US20160125239A1 (en) * 2014-10-30 2016-05-05 Delta ID Inc. Systems And Methods For Secure Iris Imaging
CN105981074B (zh) * 2014-11-04 2018-02-02 深圳市大疆创新科技有限公司 用于标定成像装置的系统、方法和装置
JP6182266B2 (ja) * 2014-12-23 2017-08-16 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドＳＺ ＤＪＩ Ｏｓｍｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． Ｕａｖによるパノラマ画像撮影方法
WO2016106715A1 (en) * 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Selective processing of sensor data
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
CN104408446A (zh) * 2014-12-19 2015-03-11 中国人民解放军国防科学技术大学 一种基于图像显著性的无人机自主着陆目标检测方法
CN104700077A (zh) * 2015-02-12 2015-06-10 北京天诚盛业科技有限公司 嵌入式双目虹膜识别装置、系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WHEELER F W ETAL: "Face recognition at a distance system for surveillance applications", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机系统
TWI711560B (zh) * 2019-05-09 2020-12-01 經緯航太科技股份有限公司 無人機降落設備及方法

Also Published As

Publication number Publication date
EP3485462A4 (en) 2019-05-22
DK3485462T3 (da) 2021-02-01
US10789722B2 (en) 2020-09-29
US11288824B2 (en) 2022-03-29
EP3485462A1 (en) 2019-05-22
EP3761266A1 (en) 2021-01-06
CN109478320B (zh) 2022-03-18
ES2846864T3 (es) 2021-07-29
WO2018010096A1 (en) 2018-01-18
US20210004972A1 (en) 2021-01-07
JP2019522287A (ja) 2019-08-08
EP3485462B1 (en) 2020-11-25
US20190197710A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN109478320A (zh) 处理图像以获得环境信息
CN107852453A (zh) 具有分光器的双镜头系统
CN106030431B (zh) 传感器的自动标定系统及方法
CN108027492B (zh) 成像系统
CN110049921A (zh) 用于红外跟踪的方法和系统
JP6524547B2 (ja) 撮像システム、無人航空機、及び方法
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
CN105518555B (zh) 目标追踪系统及方法
CN105659020B (zh) 增稳平台及保持负载稳定的方法
CN109219785A (zh) 简单的多传感器校准
CN107209514A (zh) 传感器数据的选择性处理
CN107615822A (zh) 向无人飞行器提供通信覆盖范围的方法、设备和系统
CN107852508A (zh) 修改搜索区域的方法
CN108605098A (zh) 用于卷帘快门校正的系统和方法
CN104854428A (zh) 传感器融合
CN107637064A (zh) 用于图像处理的方法和设备
CN107852491A (zh) 传感器辅助的码率控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220318