CN107637064A - 用于图像处理的方法和设备 - Google Patents

用于图像处理的方法和设备 Download PDF

Info

Publication number
CN107637064A
CN107637064A CN201580080803.5A CN201580080803A CN107637064A CN 107637064 A CN107637064 A CN 107637064A CN 201580080803 A CN201580080803 A CN 201580080803A CN 107637064 A CN107637064 A CN 107637064A
Authority
CN
China
Prior art keywords
image
texture
processor
described image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580080803.5A
Other languages
English (en)
Inventor
杨康
任伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107637064A publication Critical patent/CN107637064A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Abstract

本发明提供了用于图像处理的设备和方法。成像装置可以耦合至可移动物体，诸如无人飞行器(UAV)。一个或多个图像可以由成像装置诸如相机捕捉到。所述一个或多个图像可以在相同或不同的参数下捕捉到。所述一个或多个捕捉到的图像可被处理用于计算机视觉应用中。处理所述一个或多个捕捉到的图像可以涉及分析所述图像的纹理。可以在所述相同或不同的参数下捕捉后续图像。

Description

用于图像处理的方法和设备
背景技术
图像可被捕捉和处理以用于多种领域，例如，计算机视觉。在计算机视觉中，可以借助于处理器来破译图像中包含的信息。计算机视觉可以旨在通过电感知图像的物理内容来复制人类视觉的能力(例如，物体、空间等的识别)。
在一些情况下，现有的用于图像采集和/或图像处理的方法可能并非是最优的。例如，用于图像捕捉和/或处理的算法可以针对人类视觉(例如，人类观察)而非计算机视觉来优化图像。次优捕捉或处理的图像可能对利用计算机视觉的应用(例如，自主载具的导航、事件检测、过程控制等)有不利影响。
发明内容
本文公开的实施方式提供了用于图像捕捉和/或处理的系统和方法。在许多实施方式中，成像装置可以用于收集关于周围环境的信息。从所述成像装置获得的图像数据可被处理以用于计算机视觉中。对计算机视觉的适用性可以取决于图像纹理质量。有利地，本文所描述的方法可以提供从图像数据中对空间信息和时间信息的改进提取，并且可以用于改进利用所述图像数据的应用的功能。
因此，在一方面，提供了一种处理由图像捕捉装置捕捉到的图像的方法。所述方法包括：接收由所述图像捕捉装置捕捉到的所述图像；借助于处理器，执行对所述图像的纹理的分析；以及基于对所述纹理的所述分析，改变或保持所述图像捕捉装置的参数以产生后续图像的期望纹理质量。
在一些实施方式中，对所述图像的纹理的所述分析包括分析所述图像的特征点。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益。在一些实施方式中，在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，改变或保持所述图像捕捉装置的所述参数导致改变或保持所述后续图像的亮度。在一些实施方式中，所述方法还包括在计算机视觉处理中使用所述后续图像。在一些实施方式中，所述方法还包括接收由所述图像捕捉装置使用改变的或保持的参数捕捉到的所述后续图像。在一些实施方式中，所述改变的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。在一些实施方式中，所述方法还包括使用所述处理器来确定如何改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，所述处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。在一些实施方式中，所述期望纹理质量包括满足和/或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。
在另一方面，提供了一种图像处理设备。所述设备包括：图像捕捉装置，其被配置用于捕捉图像；以及一个或多个处理器，其单独地或共同地被配置用于：接收由所述图像捕捉装置捕捉到的所述图像；执行对所述图像的纹理的分析；并且基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生后续图像的期望纹理质量。
在一些实施方式中，对所述图像的纹理的所述分析包括对所述图像的特征点的分析。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益。在一些实施方式中，在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，所述信号改变或保持所述后续图像的亮度。在一些实施方式中，所述后续图像在计算机视觉处理中使用。在一些实施方式中，所述后续图像进一步由所述一个或多个处理器接收。在一些实施方式中，所述改变后的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。在一些实施方式中，所述一个或多个处理器确定如何改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，所述一个或多个处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。在一些实施方式中，所述期望纹理质量包括满足和/或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。
在另一方面，提供了一种图像处理器。所述处理器被配置用于：接收由图像捕捉装置捕捉到的图像；执行对所述图像的纹理的分析；并且基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生后续图像的期望纹理质量。
在一些实施方式中，对所述图像的纹理的所述分析包括对所述图像的特征点的分析。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益。在一些实施方式中，在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，所述信号改变或保持所述后续图像的亮度。在一些实施方式中，所述后续图像在计算机视觉处理中使用。在一些实施方式中，所述后续图像进一步由所述图像处理器接收。在一些实施方式中，所述改变后的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。在一些实施方式中，所述处理器还被配置用于确定如何改变或保持所述图像捕捉装置的所述参数。在一些实施方式中，所述处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。在一些实施方式中，所述期望纹理质量包括满足和/或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。
在另一方面，提供了一种处理图像的方法。所述方法包括：接收多个图像，其中所述多个图像中的每个图像是在改变图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；借助于处理器，执行对所述多个图像中的每个图像的纹理的分析；以及基于所分析的所述多个图像中的每个图像的纹理，从所述多个图像中选择一个或多个图像。
在一些实施方式中，执行对所述多个图像中的每个图像的纹理的分析包括执行对所述多个图像中的每个图像的特征点的分析。在一些实施方式中，所述多个图像包括至少三个图像。在一些实施方式中，所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。在一些实施方式中，所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。在一些实施方式中，相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。在一些实施方式中，所述方法还包括使用所述图像捕捉装置来利用所述图像捕捉装置在捕捉所选定的一个或多个图像时所使用的相同参数捕捉后续图像。在一些实施方式中，所述方法还包括在计算机视觉处理中使用所述后续图像。在一些实施方式中，所选定的一个或多个图像满足或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。在一些实施方式中，所述方法还包括使用所述处理器来确定如何改变所述图像捕捉装置的所述参数。在一些实施方式中，所述处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
在另一方面，提供了一种图像处理设备。所述设备包括：图像捕捉装置，其被配置用于捕捉图像；以及一个或多个处理器，其单独地或共同地被配置用于：接收多个图像，其中所述多个图像中的每个图像是在改变所述图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；执行对所述多个图像中的每个图像的纹理的分析；并且基于所分析的所述多个图像中的每个图像的纹理从所述多个图像中选择一个或多个图像。
在一些实施方式中，对所述多个图像中的每个图像的纹理的所述分析包括对所述多个图像中的每个图像的特征点的分析。在一些实施方式中，所述多个图像包括至少三个图像。在一些实施方式中，所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。在一些实施方式中，所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。在一些实施方式中，相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。在一些实施方式中，所述图像捕捉装置被配置用于使用所述图像捕捉装置在捕捉所述选定图像时所使用的相同参数来捕捉后续图像。在一些实施方式中，所述后续图像在计算机视觉处理中使用。在一些实施方式中，所选定的一个或多个图像满足或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。在一些实施方式中，所述一个或多个处理器被配置用于确定如何改变所述图像捕捉装置的所述参数。在一些实施方式中，所述一个或多个处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
在另一方面，提供了一种图像处理器。所述处理器被配置用于：接收多个图像，其中所述多个图像中的每个图像是在改变图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；执行对所述多个图像中的每个图像的纹理的分析；并且基于所分析的所述多个图像中的每个图像的纹理从所述多个图像中选择一个或多个图像。
在一些实施方式中，所述处理器被配置用于执行对所述多个图像中的每个图像的特征点的分析。在一些实施方式中，所述多个图像包括至少三个图像。在一些实施方式中，所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。在一些实施方式中，所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。在一些实施方式中，所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。在一些实施方式中，相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。在一些实施方式中，所述图像捕捉装置被配置用于使用所述图像捕捉装置在捕捉所选定的一个或多个图像时所使用的相同参数来捕捉后续图像。在一些实施方式中，所述后续图像在计算机视觉处理中使用。在一些实施方式中，所选定的一个或多个图像满足或超过预定阈值条件。在一些实施方式中，所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。在一些实施方式中，所述预定阈值条件包括特征点的阈值分布或质量。在一些实施方式中，所述处理器被配置用于确定如何改变所述图像捕捉装置的所述参数。在一些实施方式中，所述处理器使用AEC/AGC算法做出所述确定。在一些实施方式中，使用FAST或Harris角点检测算法来分析所述图像的所述纹理。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。在一些实施方式中，对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。在一些实施方式中，所述图像捕捉装置位于无人飞行器(UAV)上。在一些实施方式中，所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
在另一方面，提供了一种处理图像的方法。所述方法包括：接收指示出期望图像纹理质量的输入；接收由图像捕捉装置捕捉到的图像；借助于处理器，分析所述图像的纹理；以及基于对所述纹理的所述分析，改变或保持所述图像捕捉装置的参数以产生所述期望图像纹理质量。
在一些实施方式中，分析所述图像的纹理包括分析所述图像的特征点。在一些实施方式中，改变所述图像捕捉装置的参数包括a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)用所述图像捕捉装置的所述参数乘以或除以预定量。在一些实施方式中，指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。在一些实施方式中，指示出所述期望纹理质量的所述输入包括所述图像的应用。在一些实施方式中，所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，分析所述图像的所述纹理包括分析所述图像的特征点的分布。在一些实施方式中，当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。在一些实施方式中，所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，分析所述图像的所述纹理包括分析所述图像的特征点的质量。在一些实施方式中，当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。在一些实施方式中，指示出所述期望纹理质量的所述输入由用户手动提供。在一些实施方式中，指示出所述期望纹理质量的所述输入借助于所述处理器来生成。在一些实施方式中，所述处理器位于可移动物体上。
在另一方面，提供了一种图像处理设备。所述设备包括：图像捕捉装置，其被配置用于捕捉图像；以及一个或多个处理器，其单独地或共同地被配置用于：接收指示出期望图像纹理质量的输入；接收由所述图像捕捉装置捕捉到的所述图像；分析所述图像的纹理；并且基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生所述期望图像纹理质量。
在一些实施方式中，对所述图像的纹理的分析包括对所述图像的特征点的分析。在一些实施方式中，所述信号a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)将所述图像捕捉装置的所述参数乘以或除以预定量。在一些实施方式中，指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。在一些实施方式中，指示出所述期望纹理质量的所述输入包括所述图像的应用。在一些实施方式中，所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，对所述图像的所述纹理的分析包括对所述图像的特征点的分布的分析。在一些实施方式中，当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。在一些实施方式中，所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，对所述图像的所述纹理的分析包括对所述图像的特征点的质量的分析。在一些实施方式中，当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。在一些实施方式中，指示出所述期望纹理质量的所述输入由用户手动提供。在一些实施方式中，指示出所述期望纹理质量的所述输入借助于处理器来生成。在一些实施方式中，所述处理器位于可移动物体上。
在另一方面，提供了一种图像处理器。所述处理器被配置用于：接收指示出期望图像纹理质量的输入；接收由图像捕捉装置捕捉到的图像；分析所述图像的纹理；并且基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生所述期望图像纹理质量。
在一些实施方式中，对所述图像的所述纹理的分析包括分析所述图像的特征点。在一些实施方式中，所述信号a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)将所述图像捕捉装置的所述参数乘以或除以预定量。在一些实施方式中，指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。在一些实施方式中，指示出所述期望纹理质量的所述输入包括所述图像的应用。在一些实施方式中，所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，对所述图像的所述纹理的分析包括分析所述图像的特征点的分布。在一些实施方式中，当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。在一些实施方式中，所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。在一些实施方式中，对所述图像的纹理的分析包括分析所述图像的特征点的质量。在一些实施方式中，当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。在一些实施方式中，指示出所述期望纹理质量的所述输入由用户手动提供。在一些实施方式中，指示出所述期望纹理质量的所述输入借助于处理器来生成。在一些实施方式中，所述处理器位于可移动物体上。
应当明白，本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可适用于下文阐述的任何特定应用。通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得明显。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用并入本文，其程度犹如具体地和个别地指出要通过引用并入每一个别出版物、专利或专利申请那样。
附图简述
所附权利要求书中具体地阐述了本发明的新颖特征。将通过参考以下阐述其中利用本发明原理的说明性实施方式的详细描述及其附图获得对本发明的特征和优点的更好理解，在附图中：
图1图示了根据实施方式的在由在不同参数下操作的成像装置拍摄的两个图像中检测到的特征点。
图2图示了根据实施方式的在由在不同参数下操作的成像装置拍摄的两个图像中检测到的特征点。
图3图示了根据实施方式的用于处理由图像捕捉装置捕捉到的图像的方法。
图4图示了根据实施方式的用于处理由图像捕捉装置捕捉到的图像内的特征点的方法。
图5图示了根据实施方式的处理多个图像的方法。
图6图示了根据实施方式的在计算机视觉的情景下利用的纹理检测算法的配置。
图7图示了根据实施方式的在室外环境中操作的UAV。
图8图示了根据实施方式的在室内环境中操作的UAV。
图9图示了根据实施方式的无人飞行器(UAV)。
图10图示了根据实施方式的包括载体和负载的可移动物体。
图11图示了根据实施方式的用于控制可移动物体的系统的框图示意图。
具体实施方式
本发明提供了处理图像的图像处理设备和方法。所述设备和方法可以用于诸如计算机视觉等各种领域中，并且可以用于诸如载具的自主导航等各种应用。在一些实施方式中，传感器可以用于收集相关数据。在本文中使用的传感器可以是指用于采集关于环境的信息的任何物体或装置。传感器可以是各种类型的(例如，生物的、光学的、化学的、机械的等)，并且可以检测和/或测量物体、事件、刺激以及条件。生物体和无生命物体都可具有用于采集关于环境的信息的各种传感器。例如，对人类，光学传感器(例如，眼睛)可以用于获取多达80％的外部感觉信息。对成像装置(例如，相机)，光学传感器(例如，CCD图像传感器)可以用于捕捉图像。光学传感器亦可称为图像传感器。
可以在多种情景中利用由成像装置的光学传感器捕捉到的图像。例如，人类可以出于任何目的(例如，乐趣、审判中的证据等)而使用由相机捕捉到的图像。备选地或结合地，由成像装置的光学传感器捕捉到的图像可以用于计算机视觉中。如本文使用的计算机视觉可以是指其中涉及使用模型以从图像数据中提取信息的任何情景。因此，如果出于某种目的(例如，场景重建、事件检测、视频跟踪、物体识别、学习、标引、导航、运动估计和图像恢复)而用处理器来分析由相机捕捉到的图像，则所述图像可以是正在用于计算机视觉中。
可以利用各种算法来更改成像装置的某些参数。更改参数可以更改由成像装置捕捉到的图像的亮度和/或纹理。例如，可以利用相机上的自动曝光控制(AEC)或自动增益控制(AGC)来控制捕捉到的图像的亮度。可以通过改变由成像装置捕捉到的光量或者人为地增加或减少由所述成像装置捕捉到的光来控制亮度。曝光可以与到达图像传感器的光量有关。增益可以与已到达图像传感器的光量的倍数有关。成像装置的参数，诸如快门速度或相机的光圈，可以影响由成像装置(例如，图像传感器)捕捉到的光量。常规的AEC和AGC算法可以设置相机的默认值，以使得捕捉到的图像的整体亮度为中灰色(例如，18％灰、在可见光中反射率为18％)。在人类视觉的情景下，整体亮度为中灰色的图像既不是刺眼的也不是阴暗的。在人类视觉的情景下，整体亮度为中灰色的图像可以显得自然。传统地，一个或多个处理器可以单独地或共同地执行一个或多个算法(例如，AEC/AGC)，以针对人类视觉而优化整体亮度。本文所描述的系统和方法可以针对计算机视觉而改进或优化捕捉到的图像。还可以利用算法来更改先前捕捉到的图像的某些参数。例如，算法可以通过控制亮度而使捕捉到的图像经受后处理。例如，针对同一物体但具有不同曝光的不同图像可被融合以创建高动态范围(HDR)图像。虽然HDR技术可以针对运动图像而改进部分图像的清晰度，但可能变模糊。另外，对于HDR技术，可能需要特定的传感器。通过控制图像的亮度，上述算法可以针对人类视觉而优化图像。
在计算机视觉的情景下，针对亮度进行控制(例如，优化)可能并不是很重要。相比于整体亮度例如为8％、10％、12％、14％、16％、22％、24％或26％灰的图像，整体亮度为18％灰的相同图像可能较不适合用于计算机视觉中。对于计算机视觉而言要控制的更相关的参数可以是图像内的纹理。在本文中所使用的纹理可以是指图像内的大小和粒度、方向性和朝向以及/或者规则性和随机性。图像内的纹理可以提供关于图像中的空间排列和/或颜色强度的信息。纹理可以由图像内的特征点确定或者与之相关。纹理可以由呈规则图案或重复图案的纹理元素组成。纹理可以取决于图像内像素强度的变化。纹理可以取决于图像中的特征点的数目或特征点的质量。例如，固定大小的区域中的若干边缘像素和/或边缘的方向可以指示出所述区域中的纹理。图像内的亮度和纹理可以彼此独立或者可以彼此不独立。可以改变或保持亮度以提供期望的图像纹理。
图1图示了根据实施方式的在由在不同参数下操作的成像装置拍摄的两个图像中检测到的特征点。左侧图像101示出使用常规AEC/AGC算法捕捉到的图像。在人类视觉的情景下，左侧图像可能显得自然或者具有可区别的特征。例如，人类可以能够推断出，在垂直于地板105的墙壁上存在电源插座103。右侧图像107示出使用针对某些计算机视觉应用进行优化的算法而捕捉到的图像。右侧图像可能显得过亮(例如，曝光过度)并且对于人类而言没有可测特征。然而，在计算机视觉的情景下，右侧图像可以表示具有更多可提取和/或处理的信息的优质图像，所述更多信息如由更多数目的特征点(例如，显示为圆圈)所示。在这种情景下，图像107可以比图像101具有更高的纹理质量。图2图示了根据实施方式的在由在不同参数下操作的成像装置拍摄的两个图像中检测到的特征点。201示出使用常规AEC/AGC算法捕捉到的图像，而203示出使用针对某些计算机视觉应用进行进行优化的算法而捕捉到的图像。此外，可以看出，使用针对某些计算机视觉应用(例如，避障)进行优化的算法而捕捉到的图像可以包含多得多的特征点，并且对于所述计算机视觉应用，所述图像可以比使用常规AEC/AGC算法而捕捉到的图像具有更高的纹理质量。
图3图示了根据实施方式的用于处理由图像捕捉装置捕捉到的图像的方法。图像捕捉装置在本文中可以称为成像装置。成像装置可被配置用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并且基于所检测到的电磁辐射而生成图像数据。例如，成像装置可以包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，所述传感器响应于光的波长而生成电信号。产生的电信号可被处理以产生图像数据。由成像装置生成的图像数据可以包括一个或多个图像，所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其合适的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、深褐色)。所述成像装置可以包括被配置用于将光引导至图像传感器上的透镜。
在一些实施方式中，成像装置可以是相机。相机可以是捕捉动态图像数据(例如，视频)的电影摄影机或摄像机。相机可以是捕捉静态图像(例如，照片)的照相机。相机可以捕捉动态图像数据和静态图像。相机可以在捕捉动态图像数据和捕捉静态图像之间切换。虽然本文提供的某些实施方式是在相机的情景下描述的，但应当明白，本公开内容可适用于任何合适的成像装置，在本文中与相机有关的任何描述也可适用于任何合适的成像装置，并且在本文中与相机有关的任何描述也可适用于其他类型的成像装置。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景在2D图像平面上的投影。因此，2D图像中的每个点对应于所述场景中的3D空间坐标。相机可以包括光学元件(例如，透镜、反光镜、滤波器等)。相机可以捕捉彩色图像、灰度图像、红外图像等。
成像装置能够以特定的图像分辨率来捕捉一个图像或一系列图像。在一些实施方式中，图像分辨率可以由图像中的像素的数目来定义。在一些实施方式中，图像分辨率可以大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素或15360x8640像素。相机可以是4K相机或具有更高分辨率的相机。
成像装置能够以特定的捕捉速率来捕捉一系列图像。在一些实施方式中，能够以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕捉所述一系列图像。在一些实施方式中，能够以小于或等于约每0.0001秒一个图像、每0.0002秒一个图像、每0.0005秒一个图像、每0.001秒一个图像、每0.002秒一个图像、每0.005秒一个图像、每0.01秒一个图像、每0.02秒一个图像、每0.05秒一个图像、每0.1秒一个图像、每0.2秒一个图像、每0.5秒一个图像、每1秒一个图像、每2秒一个图像、每5秒一个图像或每10秒一个图像的速率来捕捉所述一系列图像。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，雨、雪、风、不明显的环境表面纹理)而变化。
成像装置可以具有可调参数。在不同的参数下，所述成像装置可以在经受相同的外部条件(例如，位置、照明)时捕捉到不同的图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、反差系数、兴趣区域、像素组合/子采样、像素时钟、偏移、触发、ISO等。与曝光有关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定的时间内到达图像传感器的光量。与增益有关的参数可以控制来自光学传感器的信号的放大率。ISO可以控制相机对可用光的灵敏度水平。控制曝光和增益的参数可共同地考虑并且在本文中可以称为EXPO。
在步骤301中，处理器可以接收指示出期望图像纹理质量的输入。期望纹理质量可以由处理器基于偏好配置来确定。期望纹理质量可以基于用户输入。期望纹理质量可以根据外部条件(环境的亮度)而改变。期望纹理质量可以是在成像装置的操作之前预设的。期望纹理质量可以在成像装置关闭时更新。期望纹理质量可以在成像装置处于操作中时更新。期望纹理质量可以储存在存储器中，所述存储器可操作地耦合至成像装置之上或之外的处理器。期望纹理质量可以从路由器、从云服务器、从外部装置或其他服务器下载。所述外部装置可以是移动装置(例如，平板计算机、智能电话、遥控器)或静止装置(例如，计算机)。期望纹理质量可以根据图像数据可利用于的如本文所提及的应用(例如，自主定位与避障)而改变。
在步骤302中，处理器可以接收由图像捕捉装置捕捉到的图像。在一些实施方式中，处理器可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、数字信号处理器(DSP)、中央处理单元(CPU)、图形处理单元(GPU)、视觉处理单元(VPU)、复杂可编程逻辑器件(CPLD)等。在一些实施方式中，处理器可以是位于可移动物体(例如，UAV)上的处理器或者是由成像装置携带的嵌入式处理器。备选地，处理器可以是与成像装置分离的机外处理器(例如，位于与相机通信的地面站处)。算法可以检测成像装置的参数。算法可以确定图像的亮度。算法可以执行常规的AEC算法。算法可以执行常规的AGC算法。AEC和/或AGC算法可以控制图像的亮度并且计算基准曝光时间和/或增益。
在步骤304中，处理器可以执行对接收到的图像的纹理的分析。所述分析可以涉及确定所述图像的纹理质量。在本文中所使用的纹理质量可以是指图像对于图像处理(例如，以用于计算机视觉中)的适用性。具有较差纹理质量、不适于处理的图像可能提供不准确的或不充分的数据，而具有较高纹理质量、适于处理的图像可以提供准确的或充分的数据。纹理质量可以与图像显著性有关或者取决于图像显著性。图像显著性在本文中可以用于指代图像具有可轻易地从例如背景和/或周围的图像像素中区分出来或“突出”的特征的程度。本文关于纹理质量的任何描述也可适用于图像显著性，并且反之亦然。纹理质量可能受或者可能不受图像的曝光水平和/或对比度影响。在一些实施方式中，可以使用图像梯度方法来确定纹理质量，在所述方法中，可以计算图像中每个像素的梯度并且可以使用所述结果来确定图像纹理是否足够丰富。具有较丰富纹理的图像可以具有较大的梯度，这意味着图像具有较高的纹理质量。在一些实施方式中，通过如下文所述的特征检测来评估纹理质量。
图像纹理质量可以基于一个或多个特征点来确定。由成像装置捕捉到的图像可被处理以检测图像中存在的一个或多个特征点。特征点可以是图像的一部分(例如，边缘、拐角、兴趣点、斑点、脊线等)，所述部分可唯一地区别于所述图像的剩余部分和/或所述图像中的其他特征点。可选地，特征点对于成像物体的变换(例如，平移、旋转、缩放)和/或图像特性(例如，亮度、曝光)的变化可以是相对不变的。特征点可以在图像的就信息内容(例如，显著的2D纹理)而言丰富的部分中检测到。特征点可以在图像的在扰动下(例如，当改变图像的照度和亮度时)稳定的部分中检测到。
如本文所描述的特征检测可以使用各种算法(例如，纹理检测算法)来实现，所述算法可以从图像数据中提取一个或多个特征点。另外，算法可以进行关于特征点的各种计算。例如，算法可以计算特征点的总数目或者“特征点数目”。算法还可以计算特征点的分布。例如，特征点可以广泛地分布在图像(例如，图像数据)或图像的小分段内。例如，特征点可以狭窄地分布在图像(例如，图像数据)或图像的小分段内。算法还可以计算特征点的质量。在一些情况下，可以基于通过本文提及的算法(例如，FAST、角点检测器、Harris等)计算得到的值来确定或评价特征点的质量。
算法可以是边缘检测算法、角点检测算法、斑点检测算法或脊线检测算法。在一些实施方式中，角点检测算法可以是“加速分割测试特征”(Features from acceleratedsegment test，FAST)。在一些实施方式中，特征检测器可以提取特征点并且使用FAST进行关于特征点的计算。在一些实施方式中，特征检测器可以是Canny边缘检测器、Sobel算子、Harris和Stephens/Plessy/Shi-Tomasi角点检测算法、SUSAN角点检测器、等位曲线(Levelcurve)曲率方法、高斯拉普拉斯、高斯差、Hessian行列式、MSER、PCBR或灰度级斑点、ORB、FREAK或其合适的组合。
纹理质量可以与在图像中检测到的特征点有关。例如，纹理质量可以与图像中的特征点的总数目、特征点在图像内的分布或者图像中的特征点的质量有关。纹理质量的决定性因素可以取决于偏好配置。偏好配置可以与图像正用于的计算机视觉的具体应用有关。偏好配置可以与用户偏好有关。
例如，如果由处理器接收到的图像正用于与载具的避障有关的应用，则图像内的特征点的分布和/或特征点的质量可以确定所述图像的纹理质量。例如，具有一定数目的特征点的固定大小的区域的总数目可以确定图像的纹理质量。特征点在图像中的广泛分布可以意味着所述图像具有高纹理质量并且适合用于避障，而特征点的狭窄分布可以意味着所述图像具有低纹理质量并且不适合用于避障。在一些情况下，如果将图像分为N个部分(例如，N个大小相等的区域)，则在N个部分内具有至少K个特征点的部分的数目可以指示出所述图像的分布或纹理质量。N和/或K可以是任意数字，诸如约为或大于1、2、3、5、10、50、100、1000、10000等。例如，如果将图像分为25个部分，则在所述25个部分内具有至少1个特征点的部分的数目可以用于确定所述图像的分布或纹理质量。例如，如果将图像分为100个部分，则在所述100个部分中具有至少5个特征点的部分的数目可以用于确定所述图像的纹理质量或分布。特征点在图像内的广泛分布可以意味着没有错过任何障碍物。在这种情况下，全部特征点中的少数可能足以确定障碍物、载具的位置并且足以避让障碍物。
例如，如果由处理器接收到的图像正用于与载具的导航或自定位有关的应用，则特征点的质量可以指示出所述图像的纹理质量。在一些情况下，较高的特征点质量可以意指相比于具有较低平均强度(例如，灰度强度值)的图像，已经在具有较高平均强度的同一场景的图像中检测到所检测的特征点。在一些情况下，如果图像用于自定位或导航，则具有良好质量的较少数目的特征点可以是期望的和/或足够的。对于自定位，可以选择相机的参数以便在图像内识别出较少数目的特征点。例如，图像可曝光过度以使得所述图像过饱和，或者可曝光不足以使得所述图像欠饱和。然而，所检测或识别出的较少的特征点相比于使用针对避障的设置而已经识别出的特征点可以具有更高的质量。
偏好配置可以由处理器接收。偏好配置可以由耦合至处理器的处理单元实时确定。偏好配置可以基于用户输入，可以在成像装置的操作之前预设、在成像装置关闭时更新、在成像装置处于操作中时更新。偏好配置可以储存在存储器中，所述存储器可操作地耦合至成像装置之上或之外的处理器。偏好配置可以从路由器、从云服务器、从外部装置或者其他服务器下载。所述外部装置可以是移动装置(例如，平板计算机、智能电话、遥控器)或静止装置(例如，计算机)。
在步骤306中，处理器可以基于对纹理的分析而改变或保持图像捕捉装置的参数，以产生后续图像的期望纹理质量。改变或保持图像捕捉装置的参数的图像装置可以导致改变或保持后续图像的亮度。期望纹理质量可以由处理器基于偏好配置来确定。期望纹理质量可以基于用户输入。期望纹理质量可以是在成像装置的操作之前预设的。期望纹理质量可以在成像装置关闭时更新。期望纹理质量可以在成像装置处于操作中时更新。期望纹理质量取决于外部因素(例如，夜间与日间、区域的平均亮度等)。期望纹理质量可以取决于一个或多个先前接收到的图像的平均纹理质量。期望纹理质量可以储存在存储器中，所述存储器可操作地耦合至成像装置之上或之外的处理器。期望纹理质量可以从路由器、从云服务器、从外部装置或其他服务器下载。所述外部装置可以是移动装置(例如，平板计算机、智能电话、遥控器)或静止装置(例如，计算机)。期望纹理质量可以根据图像数据可利用于的如本文所提及的应用(例如，自主定位与避障)而改变。接收到的图像是否具有期望纹理质量可以确定处理器应当改变还是保持图像捕捉装置的参数。
处理器可以生成信号以保持或改变(例如，调整)成像装置的至少一个参数(例如，EXPO)，以便确定新的基准参数(例如，新的基准曝光时间、新的增益等)。处理器可以在接收到图像的约0.005秒、0.01秒、0.05秒、0.1秒、0.5秒、1秒、2秒、4秒或10秒内保持或改变图像捕捉装置的参数。相比于旧的基准参数，新的基准参数可以在至少一个参数方面存在不同。处理器可以自动确定如何调整成像装置的参数以使得可以获得更高质量纹理图像。例如，如果使用参数EXPO捕捉到不满足期望纹理质量的图像，则可以重复步骤301到步骤306但是利用不同的参数，例如EXPO*2、EXPO*3、EXPO*4等。如果使用参数EXPO*2捕捉到的图像产生所具有的纹理质量比使用参数EXPO捕捉到的图像更低的图像，则可以使用不同的参数，例如EXPO/2、EXPO/3、EXPO/4等来重复步骤301到步骤306。可以重复所述过程，直到获取具有期望纹理质量的图像。应当明白，不同参数之间的关系可以是任何种类的(例如，乘法的、除法的、加法的等)，并且在不同参数之间可能不存在数学关系。图像捕捉装置的至少一个参数可以通过向图像捕捉装置的可调参数施加正的或负的预定偏移来改变。例如，可以减小或增大图像捕捉装置的快门速度、光圈和/或增益来捕捉后续图像。
一旦获取具有期望纹理质量的图像，就可以将其输出至处理器以用于计算机视觉处理中(例如，用于载具的自主定位)。可以使用用于获取具有期望纹理质量的图像的参数来获取后续图像。所述后续图像可被输出至处理器以用于计算机视觉处理中(例如，用于载具的自主定位)。所述输出可以是图像、所述图像的纹理信息或者所述图像的合成纹理信息。在一些实施方式中，在计算机视觉处理中利用的处理器可以与分析图像以获得纹理信息的处理器和/或控制图像捕捉装置的参数的处理器(例如，执行AEC/AGC算法的处理器)相分离。在一些实施方式中，在计算机视觉处理中利用的处理器可以是分析图像以获得纹理信息的同一处理器和/或控制图像捕捉装置的参数的同一处理器。本文提供的系统和方法可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于执行本文提及的任何步骤。
可以按期望速率重复方法300。例如，可以针对由成像装置捕捉到的每个图像而重复方法300。在一些实施方式中，可以每隔几个由成像装置捕捉到的图像而重复方法300。例如，可以针对每2个、3个、4个、5个、10个、15个、20个、50个、100个由成像装置捕捉到的图像而重复方法300。备选地，图像捕捉速率可以独立于重复方法300的速率。所述速率可以小于或等于约0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒、20秒、50秒、100秒、200秒、500秒、1000秒或3600秒。因此，例如，当成像装置可以如本文所提及地每0.05秒捕捉图像时，可以仅每10秒便重复方法300。备选地或结合地，可以响应于外部事件或条件而重复方法300的步骤。检测器可以检测外部环境的照度。如果所述照度超过某一阈值，则检测器可以向一个或多个处理器发送信号，所述一个或多个处理器可以触发方法300进行重复。
图4图示了根据实施方式的用于处理由图像捕捉装置捕捉到的图像内的特征点的方法。对于方法400，期望纹理质量可以是预设的，并且可以不涉及接收指示出期望图像纹理质量的输入的步骤。期望纹理质量可以是如本文先前所描述的。例如，期望纹理质量可以由处理器基于偏好配置来确定。期望纹理质量可以根据外部条件(环境的亮度)而改变。期望纹理质量可以是在成像装置的操作之前预设的。期望纹理质量可以在成像装置关闭时更新。期望纹理质量可以在成像装置处于操作中时更新。期望纹理质量可以储存在存储器中，所述存储器可操作地耦合至成像装置之上或之外的处理器。期望纹理质量可以从路由器、从云服务器、从外部装置或其他服务器下载。在步骤402中，基本上如步骤302中所描述，处理器可以接收由图像捕捉装置捕捉到的图像。在步骤404中，基本上如步骤304中所描述，处理器可以执行对图像的分析，所述分析包括分析所述图像的特征点。在步骤406中，基本上如步骤306中所描述，处理器可以基于对纹理的分析而改变或保持图像捕捉装置的参数，以产生后续图像的期望纹理质量。基本上如针对方法300所描述，方法400可以按期望速率进行重复。
图5图示了根据实施方式的处理多个图像的方法。在步骤502中，处理器可以接收多个图像。所述多个图像可以约为或多于2个、3个、4个、5个、6个、7个、8个、9个、10个、15个、20个、30个、40个或50个图像。所述多个图像可以是基本上同时捕捉的或者随时间推移而捕捉的。所述多个图像可以包括相同的或基本上类似的场景的图像。所述多个图像可以包括相同的或基本上类似的视野(FOV)的图像。成像装置的视野可以是可由成像装置检测到(例如，可见)的环境范围。视野可以与视角有关，所述视角能够以由成像装置成像的给定场景的角范围来衡量。成像装置的视角可以是小于或约为360°、300°、240°、180°、120°、60°、30°、20°、10°、5°或1°的角度。所述多个图像可以使用图像捕捉装置以特定的捕捉速率来捕捉。在一些实施方式中，能够以标准视频帧速率诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i来捕捉图像。
在一些实施方式中，能够以小于或等于约每0.0001秒一次、每0.0002秒一次、每0.0005秒一次、每0.001秒一次、每0.002秒一次、每0.005秒一次、每0.002秒一次、每0.05秒一次、每0.01秒一次、每0.02秒一次、每0.05秒一次、每0.1秒一次、每0.2秒一次、每0.5秒一次、每1秒一次、每2秒一次、每5秒一次或每10秒一次的速率来捕捉图像。
多个图像可以是在改变图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的。在一些实施方式中，可以改变多个参数，诸如2个、3个、4个、5个或更多个参数。所述参数可以如本文中所述(例如，曝光时间或增益)。例如，要改变的参数可以是图像捕捉装置的曝光时间，并且所述多个图像可以使用不同的曝光时间来捕捉。例如，要改变的参数可以是图像捕捉装置的增益，并且所述多个图像可以使用不同的增益来捕捉。例如，要改变的两个参数可以是曝光(例如，快门速度或光圈)和增益。应当明白，改变后的参数之间的关系可以是任何种类的(例如，乘法的、除法的、加法的等)，并且在改变后的参数之间可能不存在数学关系。因此，如果所述多个图像包括三个图像，则这三个图像可能是已在基准曝光和基准增益、2*基准曝光和1/2*基准增益、以及3*基准曝光和1/4*基准增益下捕捉到的。备选地，在一些实施方式中，如果所述多个图像包括三个图像，则这三个图像可能是已在EXPO/2、EXPO或EXPO*2下捕捉到的，其中EXPO是改变后的参数并且如本文所述。所述图像捕捉装置的所述至少一个参数可以通过向图像捕捉装置的可调参数施加正的或负的预定偏移来改变。所述预定偏移可以是图像捕捉装置的快门速度、光圈和/或增益。
在步骤504中，处理器可以对在步骤502中接收到的所述多个图像中的每个图像执行纹理分析。所述分析可以如本文先前所述(例如，分析所述多个图像中的每个图像的特征点)。在步骤506中，处理器可以基于所分析的所述多个图像中的每个图像的纹理，从所述多个图像中选择图像。处理器可以从所述多个图像中选择具有优选纹理质量的图像。例如，所述优选纹理质量可以是具有最高纹理质量的图像、在图像内具有最高特征点总数目的图像、具有落在期望范围内的特征点数目的图像、具有不均匀的、预定义的和/或可辨别的特征点分布和/或图案的图像等。相对于所述多个图像中的其他图像，所述选定图像可以产生期望纹理质量。另外，所述处理器还可以将具有优选纹理质量的图像与具有如本文所描述的期望纹理质量(例如，绝对的期望纹理质量)的图像进行比较。具有优选纹理质量的图像可被输出以用于计算机视觉处理中。所述输出可以是图像本身、所述图像的纹理信息或者所述图像的合成纹理信息。所述处理器可以将在捕捉具有优选纹理质量的图像中使用的参数应用于图像捕捉装置，以便捕捉后续图像。例如，可以使用相同的曝光和/或增益来捕捉后续图像。纹理质量的决定性因素和/或期望纹理质量可以取决于使用图像正用于的计算机视觉的具体应用，或者取决于偏好配置，如本文所描述。
后续捕捉到的图像可被输出至处理器以用于计算机视觉处理中。所述输出可以是后续捕捉到的图像、所述后续捕捉到的图像的纹理信息或者所述后续捕捉到的图像的合成纹理信息。备选地或结合地，用于捕捉具有优选纹理质量的图像的参数可适用于先前捕捉到的图像(例如，所述多个图像内未被选择的图像)，并且可被输出至处理器以用于计算机视觉处理中。在一些实施方式中，在计算机视觉处理中利用的处理器可以与分析图像以获得纹理信息的处理器和/或控制图像捕捉装置的参数的处理器(例如，执行AEC/AGC算法的处理器)相分离。在一些实施方式中，在计算机视觉处理中利用的处理器可以是分析图像以获得纹理信息的同一处理器和/或控制图像捕捉装置的参数的同一处理器。
可以按期望速率重复步骤502到步骤506。所述速率可以小于或等于约0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒、20秒、50秒、100秒、200秒、500秒、1000秒或3600秒。重复方法500的速率可以与或者可以不与成像装置的图像捕捉速率有关。
在一些实施方式中，传感器和/或处理器可以与可移动物体耦合。可移动物体可以是无人可移动物体，诸如无人飞行器。在一些实施方式中，传感器可以包括成像装置，诸如相机。一个或多个成像装置可以由UAV携带。本文对UAV的任何描述可以根据需要而适用于任何其他类型的可移动物体。在一些实施方式中，处理器可以是由UAV携带的嵌入式处理器。备选地，处理器可以与UAV分离(例如，位于与UAV通信的地面站或与UAV通信的可移动遥控器处)。UAV可以利用如本文所描述的成像装置来执行操作(例如，在计算机视觉的情景下)。例如，UAV上的处理器可以分析由成像装置捕捉到的图像并且在自定位应用和/或避障应用中使用它们。UAV可以利用计算机视觉来在环境内自导航。自导航可以包括确定无人飞行器UAV的局部位置或全局位置、UAV的朝向、障碍物的检测和避让等。本公开的成像装置可以位于UAV的任何合适的部分上，诸如位于UAV的机体之上、之下、侧面上或之内。一些成像装置可以机械联接至UAV，以使得UAV的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以经由刚性联接而联接至UAV，以使得所述成像装置不相对于其所附接到的UAV的部分而移动。备选地，成像装置与UAV之间的联接可以允许成像装置相对于UAV移动(例如，相对于UAV平移移动或旋转移动)。联接可以是永久联接或非永久(例如，可拆卸)联接。合适的联接方法可以包括粘合剂、粘结、焊接和/或紧固件(例如，螺钉、钉、销等)。可选地，成像装置可以与UAV的一部分一体形成。此外，成像装置可以与UAV的一部分(例如，处理单元、控制系统、数据存储)电耦合，以便使得由成像装置收集的数据能够用于UAV的各种功能(例如，导航、控制、推进、与用户或其他装置通信等)，诸如本文所讨论的实施方式。成像装置可以与UAV的一部分(例如，处理单元、控制系统、数据存储装置)可操作地耦合。一个或多个成像装置可以位于UAV上。例如，1个、2个、3个、4个、5个或更多个成像装置可以位于UAV上。所述一个或多个成像装置可以具有相同的FOV或不同的FOV。所述一个或多个成像装置中的每一个可以耦合至一个或多个处理器。所述一个或多个成像装置中的每一个可以单独地或共同地执行本文提及的方法。所述一个或多个成像装置可以捕捉各自具有不同的期望纹理质量的图像。所述一个或多个成像装置可以捕捉各自具有相同的期望纹理质量的图像。每个成像装置可以捕捉用于相同或不同功能(例如，计算机视觉应用)的图像。例如，UAV可以与两个成像装置耦合，其中一个捕捉用于避障的图像，而另一个捕捉用于导航或自定位的图像。
图6图示了根据实施方式的在计算机视觉的情景下利用的纹理检测算法的配置。配置600可以使用本文所描述的设备和方法的任何实施方式来执行。
一个或多个处理器602(例如，FPGA)可以耦合至嵌入在成像装置中的一个或多个图像传感器604。所述处理器可以嵌入在成像装置中或者可以与所述成像装置分离。所述处理器可以包括用于控制成像装置的参数(例如，曝光、增益)的算法。用于控制成像装置的参数的算法可以是如本文所描述的常规AEC/AGC算法。处理器可以输出适于由成像装置获取图像的基准曝光和增益配置。例如，成像装置可以通过改变快门时间或光圈大小来改变曝光时间和曝光量。
图像传感器604、诸如CMOS或CCD可以响应于击中传感器的光的波长而生成电信号。图像传感器可以是如本文所描述的成像装置的一部分。生成的电信号可以包含图像信息。所述图像信息可被发送至一个或多个处理器602。即使在完全相同的外部条件(例如，完全相同的照明、位置等)下，图像信息也可以根据参数(例如，曝光和增益)的配置而改变。所述一个或多个处理器可以包括纹理检测算法。如本文所述，纹理检测算法可以分析一个图像或多个图像的纹理质量(例如，通过确定特征点数目来进行分析)。所述一个或多个处理器可以在多个图像之中比较纹理信息并且/或者可以将所述纹理信息与期望纹理质量(例如，图像内的阈值总特征点数目)进行比较。是否要在多个图像之中比较纹理信息、是否要将所述纹理信息与期望纹理质量进行比较以及所述期望纹理质量都可取决于由计算机视觉处理单元606输出的偏好配置。在一些情况下，偏好配置可以取决于要利用的计算机视觉应用。计算机视觉处理单元可以确定一个图像或多个图像可用于的应用(例如，载具的自定位或避障)并且将信息转发至一个或多个处理器，所述一个或多个处理器然后可在所述多个图像之中比较纹理信息和/或确定期望纹理质量并且将所述纹理信息与所述期望纹理质量进行比较。计算机视觉处理单元可以包括或者可以不包括一个或多个处理器602。计算机视觉处理单元可以位于成像装置上。计算机视觉处理单元可以位于可移动载具、诸如UAV上。计算机视觉处理单元可以位于与相机和/或UAV通信的地面上。
基于所述比较，所述一个或多个处理器可以保持或调整控制成像装置的参数的算法(例如，AEC/AGC)。后续图像可以使用保持的或调整后的参数来获取。后续图像可被发送至计算机视觉处理单元，以便被处理并用于计算机视觉应用。备选地或结合地，保持的或调整后的参数可适用于先前获取的图像，所述图像然后可被输出至处理器以便在计算机视觉应用中使用。
输出至计算机视觉处理单元的图像数据可被评估和用作实现各种操作的基础。例如，从图像数据评估得到的信息可以用作输出信号以使得UAV在环境内导航的基础。所述信号可以包括针对UAV的动力系统(例如，旋翼)的控制信号，其用于实现载具的移动。所述信号可以致使UAV避让障碍物和/或致使UAV在环境对其本身进行自主定位。本文公开的设备和方法可以改进计算机视觉领域并且可以改进UAV导航，从而提高UAV功能、诸如导航和避障的稳健性和灵活性。
本文提供的实施方式可适用于各种类型的UAV。例如，UAV可以是重量不超过10kg和/或具有不超过1.5m的最大尺寸的小型UAV。在一些实施方式中，UAV可以是旋翼飞机，诸如由多个螺旋桨推动以在空中移动的多旋翼飞机(例如，四轴飞行器)。下文更详细地描述了适合与本文呈现的实施方式一起使用的UAV和其他可移动物体的附加示例。
本文所描述的UAV可以完全自主地(例如，通过合适的计算系统，诸如机载控制器)、半自主地或手动地(例如，由人类用户)操作。UAV可以从合适的实体(例如，人类用户或自主控制系统)接收命令并通过执行一个或多个动作来响应这样的命令。例如，UAV可以被控制来从地面起飞、在空中移动(例如，以多达三个平移自由度和多达三个旋转自由度)、移动至目标位置或一系列目标位置、在空中悬停、降落在地面上等。作为另一示例，UAV可以被控制来以指定速度和/或加速度(例如，以多达三个平移自由度和多达三个旋转自由度)或者沿着指定移动路径移动。此外，所述命令可以用于控制一个或多个UAV部件，诸如本文所描述的部件(例如，传感器、致动器、动力单元、负载等)。例如，一些命令可以用于控制UAV负载诸如相机的位置、朝向和/或操作。可选地，UAV可被配置用于根据一个或多个预定操作规则来操作。所述操作规则可以用于控制UAV的任何合适的方面，诸如UAV的位置(例如，纬度、经度、高度)、朝向(例如，横滚、俯仰、偏航)、速度(例如，平移速度和/或角速度)和/或加速度(例如，平移加速度和/或角加速度)。例如，操作规则可被设计成使得不允许UAV在阈值高度之外飞行，例如，UAV可被配置用于在距地面不超过400m的高度飞行。在一些实施方式中，操作规则可适于提供自动化机构，用于提高UAV安全性并防止安全事故。例如，UAV可被配置用于检测限制飞行区域(例如，机场)并且不在所述限制飞行区域的预定距离内飞行，从而避免潜在地与飞行器和其他障碍物碰撞。
图7图示了根据实施方式的在室外环境700中操作的UAV 702。室外环境700可以是城区、郊区或乡村环境，或者至少部分地不是位于建筑物内的任何其他环境。所述UAV 702可以相对靠近地面704(例如，低空)或相对远离地面704(例如，高空)操作。例如，在距地面小于或等于近似10m处操作的UAV 702可被认为处于低空，而在距地面大于或等于约10m处操作的UAV 702可被认为处于高空。
在一些实施方式中，室外环境700包括一个或多个障碍物708a-708d。障碍物可以包括可阻碍UAV 702移动的任何物体或实体。一些障碍物可以位于地面704上(例如，障碍物708a、障碍物708d)，诸如建筑物、地面载具(例如，轿车、摩托车、卡车、自行车)、人类、动物、植物(例如，树木、灌木)或其他人造结构或自然结构。一些障碍物可以与地面704、水体、人造结构或自然结构相接触和/或由其支撑。备选地，一些障碍物可以完全位于空中706(例如，障碍物708b、障碍物708c)，包括飞行器(例如，飞机、直升机、热气球、其他UAV)或鸟类。空中障碍物可以不由地面704或水体或任何自然结构或人造结构支撑。位于地面704上的障碍物可以包括大致延伸至空中706的部分(例如，高的结构，诸如塔、摩天大楼、灯柱、无线电发射塔、输电线、树木等)。
图8图示了根据实施方式的在室内环境850中操作的UAV 852。室内环境850位于建筑物854的内部内，所述建筑物854具有地板856、一面或多面墙壁858以及/或者天花板或屋顶860。示例性建筑物包括住宅、商业或工业建筑物，诸如房屋、公寓、办公楼、生产设施、仓储设施等。所述建筑物854的内部可由地板856、墙壁858和天花板860完全封闭，以使得UAV852被约束到内部空间。相反地，地板856、墙壁858或天花板860中的至少一个可以不存在，从而使得UAV852能够从内部飞到外部，或者反之亦然。备选地或结合地，在地板856、墙壁858或天花板860中可以形成一个或多个开口864(例如，门、窗、天窗)。
类似于室外环境700，室内环境850可能包括一个或多个障碍物862a-862d。一些障碍物可以位于地板856上(例如，障碍物862a)，诸如家具、家用电器、人类、动物、植物或者其他人造物体或自然物体。相反地，一些障碍物可以位于空中(例如，障碍物862b)，诸如鸟类或其他UAV。室内环境850中的一些障碍物可以由其他结构或物体支撑。障碍物还可以附接到天花板860(例如，障碍物862c)，诸如灯具、吊扇、梁或其他安装在天花板上的家用电器或结构。在一些实施方式中，障碍物还可以附接到墙壁858(例如，障碍物862d)，诸如灯具、搁架、橱柜或其他安装在墙壁上的家用电器或结构。值得注意的是，建筑物854的结构部件也可被认为是障碍物，包括地板856、墙壁858和天花板860。
本文所描述的障碍物可以是基本上静止的(例如，建筑物、植物、结构)或者是基本上移动的(例如，人类、动物、载具或者其他能够移动的物体)。一些障碍物可以包括静止部件和移动部件的组合(例如，风车)。移动障碍物或障碍物部件可以根据预定的或可预测的路径或模式而移动。例如，轿车的移动可能是相对可预测的(例如，根据道路的形状)。备选地，一些移动障碍物或障碍物部件可以沿着随机的轨迹或以其他方式不可预测的轨迹移动。例如，生物诸如动物可能按相对不可预测的方式移动。
为了确保安全且有效的操作，可能有益的是向UAV提供用于评估环境信息(诸如周围环境中的物体的位置)及其状态信息(诸如位置、速度、高度和加速度)的机构。另外，对环境信息和状态信息的准确评估可促进导航(特别是当UAV以半自主或全自主的方式操作时)，并且对于多种UAV功能可能是有价值。
因此，本文所描述的UAV可以包括一个或多个传感器，所述传感器被配置用于收集相关数据，诸如与UAV状态、周围环境或环境内的物体有关的信息。基于所收集的相关数据，有可能生成用于控制UAV导航的控制信号。适于与本文公开的实施方式一起使用的示例性传感器包括位置传感器(例如，全球定位系统(GPS)传感器、支持位置三角测量法的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，诸如相机)、距离或范围传感器(例如，超声传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数目和组合的传感器，诸如一个、两个、三个、四个、五个、六个、七个、八个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种、六种、七种、八种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、距离、压力等)并且/或者利用不同类型的测量技术来获得数据。例如，传感器可以包括主动式传感器(例如，从它们自己的能量源产生能量并测量能量的传感器)和被动式传感器(例如，检测可用能量的传感器)的任何合适的组合。作为另一示例，一些传感器可以生成依据全局坐标系提供的绝对测量数据(例如，由GPS传感器提供的位置数据、由罗盘或磁力计提供的姿态数据)，而其他传感器可以生成依据局部坐标系提供的相对测量数据(例如，由陀螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息)。在一些情况下，局部坐标系可以是相对于UAV定义的机体坐标系。
传感器可被配置用于收集各种类型的数据，诸如与UAV、周围环境或环境内的物体有关的数据。例如，至少一些传感器可被配置用于提供关于UAV的状态的数据。由传感器提供的状态信息可以包括关于UAV的空间布局的信息(例如，方位或位置信息诸如经度、纬度和/或高度；朝向或姿态信息诸如横滚、俯仰和/或偏航)。状态信息还可以包括关于UAV的运动的信息(例如，平移速度、平移加速度、角速度、角加速度等)。传感器可被配置用于例如确定UAV关于多达六个自由度(例如，三个位置和/或平移自由度、三个朝向和/或旋转自由度)的空间布局和/或运动。可以相对于全局坐标系或相对于局部坐标系(例如，相对于UAV或另一实体)来提供状态信息。例如，传感器可被配置用于确定UAV与控制所述UAV的用户之间的距离，或者UAV与所述UAV的飞行起始点之间的距离。
由传感器获得的数据可以提供各种类型的环境信息。例如，传感器数据可以指示出环境类型，诸如室内环境、室外环境、低空环境或高空环境。传感器数据还可以提供关于当前环境条件的信息，所述条件包括气象(例如，晴朗、下雨、下雪)、能见度条件、风速、当日时间等。此外，由传感器收集的环境信息可以包括关于环境中的物体(诸如本文所描述的障碍物)的信息。障碍物信息可以包括关于环境中障碍物的数目、密度、几何形状和/或空间布局的信息。例如，本文提及的障碍物可以由耦合至UAV的成像装置捕捉。耦合至成像装置的处理器可以处理捕捉到的图像。例如，所述处理器可以提取图像内的特征点。捕捉到的图像内的障碍物可以由特征点描述。所述特征点可以帮助确定障碍物的存在并且辅助计算机视觉应用，诸如UAV的避障。
本文所描述的系统、装置和方法可适用于众多可移动物体。如前文所提及，本文对UAV的任何描述均可适用于并用于任何可移动物体。本发明的可移动物体可被配置用于在任何合适的环境内移动，诸如在空中(例如，固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动结构或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空中(例如，太空飞机、卫星或探测器)，或者这些环境的任何组合。可移动物体可以是载具，诸如本文其他地方所描述的载具。在一些实施方式中，可移动物体可以安装在活体诸如人类或动物身上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可能够在环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。备选地，可移动物体的移动可能关于一个或多个自由度受到约束，诸如受预定路径、轨迹或朝向约束。所述移动可以由诸如引擎或电机等任何合适的致动机构来致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他地方所述，经由动力系统而自推进。所述动力系统可以可选地依靠能源运行，所述能源诸如电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。备选地，可移动物体可以由生物所携带。
在一些情况下，可移动物体可以是载具。合适的载具可以包括水上载具、飞行器、太空载具或地面载具。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋翼飞行器(例如，直升机、旋翼飞机)、同时具有固定翼和旋翼的飞行器或者既无固定翼又无旋翼的飞行器(例如，飞艇、热气球)。载具可以是自推进的，诸如在空中、在水上或水中、在太空中或者在地面上或地下自推进。自推进式载具可以采用动力系统，诸如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下，动力系统可以用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由在可移动物体之内或之上的乘员在本地控制。在一些实施方式中，可移动物体是无人可移动物体，诸如UAV。无人可移动物体(诸如UAV)可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有供人类乘员身处载具之内或之上的大小和/或尺寸。备选地，可移动物体可以具有比能够供人类乘员身处载具之内或之上的大小和/或尺寸更小的大小和/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。备选地，可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相反的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相反的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x 100cm x100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占位面积(这可以指由所述可移动物体所包围的横向截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占位面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于所述可移动物体所携带的负荷可以较小。如下文进一步详述，所述负荷可以包括负载和/或载体。在一些示例中，可移动物体重量与负荷重量之比可以大于、小于或等于约1∶1。在一些情况下，可移动物体重量与负荷重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负荷重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负荷重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或者甚至更小。相反地，可移动物体重量与负荷重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的负载可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图9图示了根据实施方式的无人飞行器(UAV)900。所述UAV可以是本文所描述的可移动物体的示例。UAV 900可以包括具有四个旋翼902、904、906和908的动力系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个、七个、八个或更多个)。无人飞行器的旋翼、旋翼组件或其他动力系统可以使所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相反的旋翼的轴之间的距离可以是任何合适的长度910。例如，长度910可以小于或等于2m，或者小于等于5m。在一些实施方式中，长度910可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。
在一些实施方式中，可移动物体可被配置用于携带负荷。所述负荷可以包括乘客、货物、设备、仪器等之中的一种或多种。所述负荷可以设置在外壳内。所述外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。备选地，负荷可以具有外壳，而可移动物体则不具有外壳。备选地，负荷的多个部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于可移动物体刚性固定。可选地，负荷可以是相对于可移动物体移动可移动的(例如，可相对于可移动物体平移或旋转)。
在一些实施方式中，负荷包括负载。所述负载可被配置成不执行任何操作或功能。备选地，负载可以是被配置用于执行操作或功能的负载，亦称为功能性负载。例如，负载可以包括一个或多个传感器，用于勘测一个或多个目标。任何合适的传感器都可以合并到负载中，传感器诸如图像捕捉装置(例如，相机)、音频捕捉装置(例如，抛物面麦克风)、红外成像装置或紫外成像装置。所述传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器提供针对负载的目标的感测数据。备选地或组合地，负载可以包括一个或多个发射体，用于向一个或多个目标提供信号。可以使用任何合适的发射体，诸如照明源或声源。在一些实施方式中，负载包括一个或多个收发器，诸如用于与远离可移动物体的模块通信。可选地，负载可被配置用于与环境或目标交互。例如，负载可以包括能够操纵物体的工具、仪器或机构，诸如机械臂。
可选地，负荷可以包括载体。所述载体可被提供用于负载，并且所述负载可经由所述载体直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移动物体。相反地，负载可在无需载体的情况下安装在可移动物体上。负载可以与载体一体形成。备选地，负载可以可拆卸地耦合至载体。在一些实施方式中，负载可以包括一个或多个负载元件，并且所述负载元件中的一个或多个可以是相对于可移动物体和/或载体可移动的，如上文所述。
载体可以与可移动物体一体形成。备选地，载体可以可拆卸地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向负载提供支撑(例如，承载所述负载的重量的至少一部分)。载体可以包括能够稳定和/或引导负载的移动的合适的安装结构(例如，云台平台)。在一些实施方式中，载体可以适于控制负载相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可被配置用于相对于可移动物体移动(例如，关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度)，以使得不管可移动物体的运动如何，负载都保持其相对于合适的参考系的位置和/或朝向。所述参考系可以是固定参考系(例如，周围环境)。备选地，所述参考系可以是移动参考系(例如，可移动物体、负载目标)。
在一些实施方式中，载体可被配置用于允许负载相对于载体和/或可移动物体移动。所述移动可以是关于多达三个自由度的平移(例如，沿着一个、两个或三个轴线)或者是关于多达三个自由度的旋转(例如，围绕一个、两个或三个轴线)，或者是其任何合适的组合。
在一些情况下，载体可以包括载体框架组件和载体致动组件。所述载体框架组件可以向负载提供结构支撑。载体框架组件可以包括单独的载体框架部件，其中一些部件是相对于彼此可移动的。所述载体致动组件可以包括一个或多个致动器(例如，电机)，所述致动器致动单独的载体框架部件的移动。致动器可以允许多个载体框架部件同时移动，或者可被配置用于每次允许单个载体框架部件移动。载体框架部件的移动可以产生负载的对应移动。例如，载体致动组件可以致动一个或多个载体框架部件围绕一个或多个旋转轴(例如，滚转轴、俯仰轴或偏航轴)的旋转。所述一个或多个载体框架部件的旋转可以使负载相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地，载体致动组件可以致动一个或多个载体框架部件沿着一个或多个平移轴的平移，并从而产生负载相对于可移动物体沿着一个或多个对应轴线的平移。
在一些实施方式中，可移动物体、载体和负载相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或负载的位置处的遥控装置。终端可以安置于支撑平台上或者固定至支撑平台。备选地，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，用户输入诸如手动输入指令、语音控制、手势控制或位置控制(例如，经由终端的移动、定位或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于固定参考物远离和/或朝向彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或负载的单独元件，诸如载体的致动组件、负载的传感器或者负载的发射体。终端可以包括适于与可移动物体、载体或负载中的一个或多个相通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可被配置用于显示可移动物体、载体和/或负载的信息，所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终端可以显示由负载提供的信息，诸如由功能性负载提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。
可选地，同一终端既可以控制可移动物体、载体和/或负载或者所述可移动物体、载体和/或负载的状态，又可以接收和/或显示来自所述可移动物体、载体和/或负载的信息。例如，终端可以控制负载相对于环境的定位，同时显示由负载捕捉的图像数据，或者关于负载的位置的信息。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由所述负载捕捉的图像数据。可移动物体与既控制所述可移动物体又接收数据的集成式终端之间，或者可移动物体与既控制所述可移动物体又接收数据的多个终端之间，可以利用各种通信模式。例如，可移动物体与既控制所述可移动物体又接收来自所述可移动物体的数据的终端之间可以形成至少两种不同的通信模式。
图10图示了根据实施方式的包括载体1002和负载1004的可移动物体1000。虽然可移动物体1000被描绘为飞行器，但这样的描绘并不旨在是限制性的，并且如前文所述，可以使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在飞行器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，负载1004可以在无需载体1002的情况下设置可移动物体1000上。可移动物体1000可以包括动力机构1006、感测系统1008和通信系统1010。
如前文所述，动力机构1006可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体或喷嘴中的一种或多种。例如，动力机构1006可以是旋翼组件或其他旋转动力单元，如本文其他地方所公开。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。备选地，一个或多个动力机构可以是不同类型的动力机构。动力机构1006可以使用任何合适的装置来安装在可移动物体1000上，所述装置诸如本文其他地方所述的支撑元件(例如，驱动轴)。动力机构1006可以安装在可移动物体1000的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合上。
在一些实施方式中，动力机构1006可以使得可移动物体1000能够从表面垂直地起飞或者垂直地降落在表面上，而无需可移动物体1000进行任何水平移动(例如，无需沿着跑道行进)。可选地，动力机构1006可以可操作来允许可移动物体1000以在指定位置和/或朝向悬停于空中。一个或多个动力机构1000可以独立于其他动力机构受到控制。备选地，动力机构1000可被配置成同时受到控制。例如，可移动物体1000可以具有多个水平朝向的旋翼，这些旋翼可以向所述可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动以向可移动物体1000提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转，同时水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，从而调节可移动物体1000的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1008可以包括一个或多个传感器，传感器可以感测可移动物体1000的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统1008提供的感测数据可以用于控制可移动物体1000的空间布局、速度和/或朝向(例如，使用合适的处理单元和/或控制模块，如下文所述)。备选地，感测系统1008可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造结构的位置等。
通信系统1010支持经由无线信号1016与具有通信系统1014的终端1012通信。通信系统1010、1014可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1000向终端1012传输数据，或者反之亦然。数据可以从通信系统1010的一个或多个发射器向通信系统1012的一个或多个接收器传输，或者反之亦然。备选地，通信可以是双向通信，使得数据可在可移动物体1000与终端1012之间在两个方向上传输。双向通信可以涉及从通信系统1010的一个或多个发射器向通信系统1014的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端1012可以向可移动物体1000、载体1002和负载1004中的一个或多个提供控制数据，并且从可移动物体1000、载体1002和负载1004中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测到的数据，诸如由负载相机捕捉的图像数据)。在一些情况下，来自终端的控制数据可以包括针对可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由动力机构1006的控制)，或者负载相对于可移动物体的移动(例如，经由载体1002的控制)。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自一个或多个传感器(例如，感测系统1008的或负载1004的传感器)的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或负载的方位(例如，位置、朝向)、移动或加速度。来自负载的这样的信息可以包括由所述负载捕捉的数据或所述负载的感测到的状态。由终端1012提供传输的控制数据可被配置用于控制可移动物体1000、载体1002或负载1004中的一个或多个的状态。备选地或组合地，载体1002和负载1004还可以各自包括通信模块，所述通信模块被配置用于与终端1012通信，以使得所述终端可独立地与可移动物体1000、载体1002和负载1004中的每一个通信并对其加以控制。
在一些实施方式中，可移动物体1000可被配置用于与除了终端1012或代替终端1012的另一远程装置相通信。与可移动物体1000一样，终端1012也可被配置用于与另一远程装置相通信。例如，可移动物体1000和/或终端1012可以与另一可移动物体或者另一可移动物体的载体或负载相通信。当需要时，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被配置用于向可移动物体1000传输数据、从可移动物体1000接收数据、向终端1012传输数据并且/或者从终端1012接收数据。可选地，远程装置可以连接至因特网或其他电信网络，以使得从可移动物体1000和/或终端1012接收的数据可上传至网站或服务器。
图11是通过框图来示出的根据实施方式的用于控制可移动物体的系统1100的示意图。系统1100可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统1100可以包括感测模块1102、处理单元1104、非暂时性计算机可读介质1106、控制模块1108和通信模块1110。
感测模块1102可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1102可以可操作地耦合至具有多个处理器的处理单元1104。在一些实施方式中，感测模块可以可操作地耦合至传输模块1112(例如，Wi-Fi图像传输模块)，所述传输模块被配置用于向合适的外部装置或系统直接传输感测数据。例如，传输模块1112可以用于向远程终端传输由感测模块1102的相机捕捉的图像。
处理单元1104可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元1104可以可操作地耦合至非暂时性计算机可读介质1106。非暂时性计算机可读介质1106可以储存逻辑、代码和/或程序指令，其可由处理单元1104执行以用于实行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储装置，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块1102的数据可直接传送至非暂时性计算机可读介质1106的存储器单元并储存在其内。非暂时性计算机可读介质1106的存储器单元可以储存逻辑、代码和/或程序指令，其可由处理单元1104执行以用于实行本文所描述的方法的任何合适的实施方式。例如，处理单元1104可被配置用于执行指令，从而使处理单元1104的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元1104处理的、来自感测模块的感测数据。在一些实施方式中，非暂时性计算机可读介质1106的存储器单元可以用于储存由处理单元1104产生的处理结果。
在一些实施方式中，处理单元1104可以可操作地耦合至控制模块1108，所述控制模块1108被配置用于控制可移动物体的状态。例如，控制模块1108可被配置用于控制可移动物体的动力机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地，控制模块1108可以控制载体、负载或感测模块的状态中的一个或多个。
处理单元1104可以可操作地耦合至通信模块1110，所述通信模块1110被配置用于传输数据和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1110可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1110可以传输和/或接收来自感测模块1102的感测数据、由处理单元114产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统1100的部件可以按任何合适的配置来布置。例如，系统1100的一个或多个部件可以位于可移动物体、载体、负载、终端、感测系统或与上述中的一个或多个相通信的另外的外部装置上。此外，虽然图11描绘了单个处理单元1104和单个非暂时性计算机可读介质1106，但本领域技术人员将会理解，这并不旨在是限制性的，并且系统1100可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同位置处，诸如在可移动物体、载体、负载、终端、感测模块、与上述中的一个或多个相通信的另外的外部装置或其合适的组合上，以使得由系统1100执行的处理和/或存储器功能的任何合适的方面可以在一个或多个上述位置处发生。
本文中使用的A和/或B包含A或B中的一个或多个以及其组合，诸如A和B。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求及其等效项范围内的方法和结构。

Claims (153)

1.一种处理由图像捕捉装置捕捉到的图像的方法，所述方法包括：
接收由所述图像捕捉装置捕捉到的所述图像；
借助于处理器，执行对所述图像的纹理的分析；以及
基于对所述纹理的所述分析，改变或保持所述图像捕捉装置的参数以产生后续图像的期望纹理质量。
2.如权利要求1所述的方法，其中对所述图像的纹理的所述分析包括分析所述图像的特征点。
3.如权利要求1所述的方法，其中所述参数是所述图像捕捉装置的曝光时间和/或增益。
4.如权利要求1所述的方法，其中在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。
5.如权利要求1所述的方法，其中改变或保持所述图像捕捉装置的所述参数导致改变或保持所述后续图像的亮度。
6.如权利要求1所述的方法，还包括在计算机视觉处理中使用所述后续图像。
7.如权利要求1所述的方法，还包括接收由所述图像捕捉装置使用所述改变的或保持的参数捕捉到的所述后续图像。
8.如权利要求7所述的方法，其中所述改变的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。
9.如权利要求1所述的方法，还包括使用所述处理器来确定如何改变或保持所述图像捕捉装置的所述参数。
10.如权利要求9所述的方法，其中所述处理器使用AEC/AGC算法做出所述确定。
11.如权利要求1所述的方法，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
12.如权利要求1所述的方法，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
13.如权利要求1所述的方法，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
14.如权利要求1所述的方法，其中所述图像捕捉装置位于无人飞行器(UAV)上。
15.如权利要求1所述的方法，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
16.如权利要求1所述的方法，其中所述期望纹理质量包括满足和/或超过预定阈值条件。
17.如权利要求16所述的方法，其中所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。
18.如权利要求16所述的方法，其中所述预定阈值条件包括特征点的阈值分布或质量。
19.一种图像处理设备，所述设备包括：
图像捕捉装置，其被配置用于捕捉图像；以及
一个或多个处理器，其单独地或共同地被配置用于：
接收由所述图像捕捉装置捕捉到的所述图像；
执行对所述图像的纹理的分析；并且
基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生后续图像的期望纹理质量。
20.如权利要求19所述的设备，其中对所述图像的纹理的所述分析包括对所述图像的特征点的分析。
21.如权利要求19所述的设备，其中所述参数是所述图像捕捉装置的曝光时间和/或增益。
22.如权利要求19所述的设备，其中在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。
23.如权利要求19所述的设备，其中所述信号改变或保持所述后续图像的亮度。
24.如权利要求19所述的设备，其中所述后续图像在计算机视觉处理中使用。
25.如权利要求19所述的设备，其中所述后续图像进一步由所述一个或多个处理器接收。
26.如权利要求25所述的设备，其中所述改变的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。
27.如权利要求19所述的设备，其中所述一个或多个处理器确定如何改变或保持所述图像捕捉装置的所述参数。
28.如权利要求27所述的设备，其中所述一个或多个处理器使用AEC/AGC算法做出所述确定。
29.如权利要求19所述的设备，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
30.如权利要求19所述的设备，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
31.如权利要求19所述的设备，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
32.如权利要求19所述的设备，其中所述图像捕捉装置位于无人飞行器(UAV)上。
33.如权利要求19所述的设备，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
34.如权利要求19所述的设备，其中所述期望纹理质量包括满足和/或超过预定阈值条件。
35.如权利要求34所述的设备，其中所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。
36.如权利要求34所述的设备，其中所述预定阈值条件包括特征点的阈值分布或质量。
37.一种图像处理器，被配置用于：
接收由图像捕捉装置捕捉到的图像；
执行对所述图像的纹理的分析；并且
基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生后续图像的期望纹理质量。
38.如权利要求37所述的处理器，其中对所述图像的纹理的所述分析包括对所述图像的特征点的分析。
39.如权利要求37所述的处理器，其中所述参数是所述图像捕捉装置的曝光时间和/或增益。
40.如权利要求37所述的处理器，其中在接收到所述图像的1秒之内改变或保持所述图像捕捉装置的所述参数。
41.如权利要求37所述的处理器，其中所述信号改变或保持所述后续图像的亮度。
42.如权利要求37所述的处理器，其中所述后续图像在计算机视觉处理中使用。
43.如权利要求37所述的处理器，其中所述后续图像进一步由所述图像处理器接收。
44.如权利要求43所述的处理器，其中所述改变的参数是a)通过向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述参数乘以或除以预定量而获得的。
45.如权利要求37所述的处理器，还被配置用于确定如何改变或保持所述图像捕捉装置的所述参数。
46.如权利要求45所述的处理器，其中所述处理器使用AEC/AGC算法做出所述确定。
47.如权利要求37所述的处理器，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
48.如权利要求37所述的处理器，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
49.如权利要求37所述的处理器，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
50.如权利要求37所述的处理器，其中所述图像捕捉装置位于无人飞行器(UAV)上。
51.如权利要求37所述的处理器，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
52.如权利要求37所述的处理器，其中所述期望纹理质量包括满足和/或超过预定阈值条件。
53.如权利要求52所述的处理器，其中所述预定阈值条件是基于所述图像或所述后续图像在计算机视觉应用中的计划用途而确定的。
54.如权利要求52所述的处理器，其中所述预定阈值条件包括特征点的阈值分布或质量。
55.一种处理图像的方法，所述方法包括：
接收多个图像，其中所述多个图像中的每个图像是在改变图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；
借助于处理器，执行对所述多个图像中的每个图像的纹理的分析；以及
基于所述分析的所述多个图像中的每个图像的纹理从所述多个图像中选择一个或多个图像。
56.如权利要求55所述的方法，其中执行对所述多个图像中的每个图像的纹理的分析包括执行对所述多个图像中的每个图像的特征点的分析。
57.如权利要求55所述的方法，其中所述多个图像包括至少三个图像。
58.如权利要求55所述的方法，其中所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。
59.如权利要求55所述的方法，其中所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。
60.如权利要求55所述的方法，其中所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。
61.如权利要求55所述的方法，其中相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。
62.如权利要求61所述的方法，还包括使用所述图像捕捉装置来利用所述图像捕捉装置在捕捉所选定的一个或多个图像时所使用的相同参数捕捉后续图像。
63.如权利要求62所述的方法，还包括在计算机视觉处理中使用所述后续图像。
64.如权利要求55所述的方法，其中所选定的一个或多个图像满足或超过预定阈值条件。
65.如权利要求64所述的方法，其中所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。
66.如权利要求64所述的方法，其中所述预定阈值条件包括特征点的阈值分布或质量。
67.如权利要求55所述的方法，还包括使用所述处理器来确定如何改变所述图像捕捉装置的所述参数。
68.如权利要求67所述的方法，其中所述处理器使用AEC/AGC算法做出所述确定。
69.如权利要求55所述的方法，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
70.如权利要求55所述的方法，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
71.如权利要求55所述的方法，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
72.如权利要求55所述的方法，其中所述图像捕捉装置位于无人飞行器(UAV)上。
73.如权利要求55所述的方法，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
74.一种图像处理设备，所述设备包括：
图像捕捉装置，其被配置用于捕捉图像；以及
一个或多个处理器，其单独地或共同地被配置用于：
接收多个图像，其中所述多个图像中的每个图像是在改变所述图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；
执行对所述多个图像中的每个图像的纹理的分析；并且
基于所述分析的所述多个图像中的每个图像的纹理从所述多个图像中选择一个或多个图像。
75.如权利要求74所述的设备，其中对所述多个图像中的每个图像的纹理的所述分析包括对所述多个图像中的每个图像的特征点的分析。
76.如权利要求74所述的设备，其中所述多个图像包括至少三个图像。
77.如权利要求74所述的设备，其中所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。
78.如权利要求74所述的设备，其中所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。
79.如权利要求74所述的设备，其中所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。
80.如权利要求74所述的设备，其中相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。
81.如权利要求80所述的设备，其中所述图像捕捉装置被配置用于使用所述图像捕捉装置在捕捉所选定的一个或多个图像时所使用的相同参数来捕捉后续图像。
82.如权利要求81所述的设备，其中所述后续图像在计算机视觉处理中使用。
83.如权利要求74所述的设备，其中所选定的一个或多个图像满足或超过预定阈值条件。
84.如权利要求83所述的设备，其中所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。
85.如权利要求83所述的设备，其中所述预定阈值条件包括特征点的阈值分布或质量。
86.如权利要求74所述的设备，其中所述一个或多个处理器被配置用于确定如何改变所述图像捕捉装置的所述参数。
87.如权利要求86所述的设备，其中所述一个或多个处理器使用AEC/AGC算法做出所述确定。
88.如权利要求74所述的设备，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
89.如权利要求74所述的设备，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
90.如权利要求74所述的设备，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
91.如权利要求74所述的设备，其中所述图像捕捉装置位于无人飞行器(UAV)上。
92.如权利要求74所述的设备，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
93.一种图像处理器，其被配置用于：
接收多个图像，其中所述多个图像中的每个图像是在改变图像捕捉装置的至少一个参数的条件下使用所述图像捕捉装置捕捉的；
执行对所述多个图像中的每个图像的纹理的分析；并且
基于所述分析的所述多个图像中的每个图像的纹理从所述多个图像中选择一个或多个图像。
94.如权利要求93所述的处理器，其中所述处理器被配置用于执行对所述多个图像中的每个图像的特征点的分析。
95.如权利要求93所述的处理器，其中所述多个图像包括至少三个图像。
96.如权利要求93所述的处理器，其中所述多个图像是由所述图像捕捉装置在0.5秒之内捕捉的。
97.如权利要求93所述的处理器，其中所述参数是所述图像捕捉装置的曝光时间和/或增益，并且所述多个图像是使用不同的曝光时间和/或不同的增益捕捉的。
98.如权利要求93所述的处理器，其中所述图像捕捉装置的所述至少一个参数是a)通过向所述图像捕捉装置的所述至少一个参数施加正的或负的预定偏移或者b)通过用所述图像捕捉装置的所述至少一个参数乘以或除以预定量而改变的。
99.如权利要求93所述的处理器，其中相对于所述多个图像中的其他图像，所选定的一个或多个图像产生期望纹理质量。
100.如权利要求99所述的处理器，其中所述图像捕捉装置被配置用于使用所述图像捕捉装置在捕捉所选定的一个或多个图像时所使用的相同参数来捕捉后续图像。
101.如权利要求100所述的处理器，其中所述后续图像在计算机视觉处理中使用。
102.如权利要求93所述的处理器，其中所选定的一个或多个图像满足或超过预定阈值条件。
103.如权利要求102所述的处理器，其中所述预定阈值条件是基于所述多个图像中的一个或多个图像在计算机视觉应用中的计划用途而确定的。
104.如权利要求102所述的处理器，其中所述预定阈值条件包括特征点的阈值分布或质量。
105.如权利要求93所述的处理器，其中所述处理器被配置用于确定如何改变所述图像捕捉装置的所述参数。
106.如权利要求105所述的处理器，其中所述处理器使用AEC/AGC算法做出所述确定。
107.如权利要求93所述的处理器，其中使用FAST或Harris角点检测算法来分析所述图像的所述纹理。
108.如权利要求93所述的处理器，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的数目或分布。
109.如权利要求93所述的处理器，其中对所述图像的所述纹理的所述分析包括确定所述图像中的特征点的质量。
110.如权利要求93所述的处理器，其中所述图像捕捉装置位于无人飞行器(UAV)上。
111.如权利要求93所述的处理器，其中所述图像捕捉装置包括被配置用于将光引导至图像传感器上的透镜。
112.一种处理图像的方法，所述方法包括：
接收指示出期望图像纹理质量的输入；
接收由图像捕捉装置捕捉到的图像；
借助于处理器来分析所述图像的纹理；以及
基于对所述纹理的所述分析，改变或保持所述图像捕捉装置的参数以产生所述期望图像纹理质量。
113.如权利要求112所述的方法，其中分析所述图像的纹理包括分析所述图像的特征点。
114.如权利要求112所述的方法，其中改变所述图像捕捉装置的参数包括a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)用所述图像捕捉装置的所述参数乘以或除以预定量。
115.如权利要求112所述的方法，其中指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。
116.如权利要求112所述的方法，其中指示出所述期望纹理质量的所述输入包括所述图像的应用。
117.如权利要求116所述的方法，其中所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
118.如权利要求117所述的方法，其中分析所述图像的所述纹理包括分析所述图像的特征点的分布。
119.如权利要求118所述的设备，其中当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。
120.如权利要求116所述的方法，其中所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
121.如权利要求120所述的方法，其中分析所述图像的所述纹理包括分析所述图像的特征点的质量。
122.如权利要求121所述的方法，其中当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。
123.如权利要求112所述的方法，其中指示出所述期望纹理质量的所述输入由用户手动提供。
124.如权利要求112所述的方法，其中指示出所述期望纹理质量的所述输入借助于所述处理器来生成。
125.如权利要求124所述的方法，其中所述处理器位于可移动物体上。
126.一种图像处理设备，所述设备包括：
图像捕捉装置，其被配置用于捕捉图像；以及
一个或多个处理器，其单独地或共同地被配置用于：
接收指示出期望图像纹理质量的输入；
接收由所述图像捕捉装置捕捉到的所述图像；
分析所述图像的纹理；并且
基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生所述期望图像纹理质量。
127.如权利要求126所述的设备，其中对所述图像的纹理的分析包括对所述图像的特征点的分析。
128.如权利要求126所述的设备，其中所述信号a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)将所述图像捕捉装置的所述参数乘以或除以预定量。
129.如权利要求126所述的设备，其中指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。
130.如权利要求126所述的设备，其中指示出所述期望纹理质量的所述输入包括所述图像的应用。
131.如权利要求130所述的设备，其中所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
132.如权利要求131所述的设备，其中对所述图像的所述纹理的分析包括对所述图像的特征点的分布的分析。
133.如权利要求132所述的设备，其中当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。
134.如权利要求130所述的设备，其中所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
135.如权利要求134所述的设备，其中对所述图像的所述纹理的分析包括对所述图像的特征点的质量的分析。
136.如权利要求135所述的设备，其中当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。
137.如权利要求126所述的设备，其中指示出所述期望纹理质量的所述输入由用户手动提供。
138.如权利要求126所述的设备，其中指示出所述期望纹理质量的所述输入借助于处理器来生成。
139.如权利要求138所述的设备，其中所述处理器位于可移动物体上。
140.一种图像处理器，被配置用于：
接收指示出期望图像纹理质量的输入；
接收由图像捕捉装置捕捉到的图像；
分析所述图像的纹理；并且
基于对所述纹理的所述分析生成信号以改变或保持所述图像捕捉装置的参数，从而产生所述期望图像纹理质量。
141.如权利要求140所述的处理器，其中对所述图像的所述纹理的分析包括分析所述图像的特征点。
142.如权利要求140所述的处理器，其中所述信号a)向所述图像捕捉装置的所述参数施加正的或负的预定偏移或者b)将所述图像捕捉装置的所述参数乘以或除以预定量。
143.如权利要求140所述的处理器，其中指示出所述期望纹理质量的所述输入包括纹理质量范围或纹理质量值。
144.如权利要求140所述的处理器，其中指示出所述期望纹理质量的所述输入包括所述图像的应用。
145.如权利要求144所述的处理器，其中所述应用包括可移动物体的避障，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
146.如权利要求145所述的处理器，其中对所述图像的所述纹理的分析包括分析所述图像的特征点的分布。
147.如权利要求146所述的处理器，其中当所述应用包括避障时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更广泛的特征点分布。
148.如权利要求144所述的处理器，其中所述应用包括可移动物体的导航，所述可移动物体借助于位于所述可移动物体上的图像传感器来捕捉所述图像。
149.如权利要求148所述的处理器，其中对所述图像的所述纹理的分析包括分析所述图像的特征点的质量。
150.如权利要求149所述的处理器，其中当所述应用包括导航时，改变或保持所述图像捕捉装置的所述参数以产生相对于其他应用而言更高的特征点质量。
151.如权利要求140所述的处理器，其中指示出所述期望纹理质量的所述输入由用户手动提供。
152.如权利要求140所述的处理器，其中指示出所述期望纹理质量的所述输入借助于处理器来生成。
153.如权利要求152所述的处理器，其中所述处理器位于可移动物体上。
CN201580080803.5A 2015-06-08 2015-06-08 用于图像处理的方法和设备 Pending CN107637064A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/080995 WO2016197307A1 (en) 2015-06-08 2015-06-08 Methods and apparatus for image processing

Publications (1)

Publication Number Publication Date
CN107637064A true CN107637064A (zh) 2018-01-26

Family

ID=57504450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080803.5A Pending CN107637064A (zh) 2015-06-08 2015-06-08 用于图像处理的方法和设备

Country Status (3)

Country Link
US (2) US10389949B2 (zh)
CN (1) CN107637064A (zh)
WO (1) WO2016197307A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
CN112288040A (zh) * 2020-01-10 2021-01-29 牧今科技 执行用于物体识别的图像分类的方法和系统
CN113678429A (zh) * 2019-04-09 2021-11-19 托罗公司 在低光照条件下的自主机器导航

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152059B2 (en) * 2016-10-10 2018-12-11 Qualcomm Incorporated Systems and methods for landing a drone on a moving base
JP6656214B2 (ja) * 2017-09-04 2020-03-04 キヤノン株式会社 飛行体、移動装置、制御方法、プログラム、及び記憶媒体
CN109587457A (zh) 2017-09-29 2019-04-05 中强光电股份有限公司 投影系统及其自动设定方法
US10725468B2 (en) * 2017-11-13 2020-07-28 Intel IP Corporation Bounding-volume based unmanned aerial vehicle illumination management system
CN107809593B (zh) * 2017-11-13 2019-08-16 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
US10921142B2 (en) 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US10558873B2 (en) 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
CN109934078B (zh) * 2017-12-19 2021-04-20 浙江宇视科技有限公司 图像处理方法、装置及电子设备
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
JP2019149621A (ja) * 2018-02-26 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110784690B (zh) 2018-07-30 2022-05-10 中强光电股份有限公司 投影系统及投影方法
EP3850423A4 (en) * 2018-09-13 2022-06-29 Spectrum Optix, Inc Photographic underexposure correction using a neural network
US20210383117A1 (en) * 2018-10-17 2021-12-09 Telefonaktiebolaget Lm Ericsson (Publ) Identification of decreased object detectability for a video stream
EP3920132A4 (en) * 2019-02-15 2022-04-06 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR GENERATION OF AN HDR IMAGE AND OPERATING METHOD THEREOF
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US20220247922A1 (en) * 2019-05-23 2022-08-04 Nec Corporation Image pick-up apparatus, image pick-up method, and storage medium
CN112153357A (zh) * 2019-06-28 2020-12-29 中强光电股份有限公司 投影系统及其投影方法
RU2722521C1 (ru) * 2019-09-13 2020-06-01 Общество с ограниченной ответственностью "СТИЛСОФТ" Способ точной посадки беспилотного летательного аппарата на посадочную платформу
CN111539388B (zh) * 2020-06-22 2020-10-09 湖南联智科技股份有限公司 一种高空抛物监测方法
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
CN111654642B (zh) * 2020-07-22 2021-10-01 上海扩博智能技术有限公司 拍摄风机叶片的曝光值调整方法、系统、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127835A (zh) * 2007-09-27 2008-02-20 中兴通讯股份有限公司 一种提高数字摄像设备视频图像质量的前处理方法和装置
CN101262548A (zh) * 2007-03-09 2008-09-10 株式会社尼康 图像处理方法
US20120067956A1 (en) * 2010-09-16 2012-03-22 Datalogic Scanning, Inc. System and method for reading optical codes on reflective surfaces while minimizing flicker perception of pulsed illumination
CN102843513A (zh) * 2011-06-21 2012-12-26 三星电子株式会社 通过使用照相机识别目标的照相机装置以及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999057900A1 (en) 1998-05-03 1999-11-11 John Karl Myers Videophone with enhanced user defined imaging system
AU775858B2 (en) 1999-02-05 2004-08-19 Regents Of The University Of California, The Image texture retrieving method and apparatus thereof
US6469734B1 (en) 2000-04-29 2002-10-22 Cognex Corporation Video safety detector with shadow elimination
DE60238041D1 (de) * 2001-03-13 2010-12-02 Ecchandes Inc Visuelle einrichtung, verriegelnder zähler und bildsensor
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US7760912B2 (en) 2007-08-01 2010-07-20 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US8818132B2 (en) * 2010-11-29 2014-08-26 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
CN102750697B (zh) * 2012-06-08 2014-08-20 华为技术有限公司 一种参数标定方法及装置
KR20150038032A (ko) * 2012-07-09 2015-04-08 브라이트웨이 비젼 엘티디. 스테레오 게이트된 영상 시스템 및 방법
CN102982513B (zh) 2012-12-04 2015-08-19 电子科技大学 一种基于纹理的自适应图像去雾方法
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US20160110846A1 (en) * 2014-10-21 2016-04-21 Qualcomm Incorporated Automatic display image enhancement based on user's visual perception model
JP6192853B2 (ja) * 2014-12-19 2017-09-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 超音波深度検出を使用するオプティカルフロー画像化システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262548A (zh) * 2007-03-09 2008-09-10 株式会社尼康 图像处理方法
CN101127835A (zh) * 2007-09-27 2008-02-20 中兴通讯股份有限公司 一种提高数字摄像设备视频图像质量的前处理方法和装置
US20120067956A1 (en) * 2010-09-16 2012-03-22 Datalogic Scanning, Inc. System and method for reading optical codes on reflective surfaces while minimizing flicker perception of pulsed illumination
CN102843513A (zh) * 2011-06-21 2012-12-26 三星电子株式会社 通过使用照相机识别目标的照相机装置以及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
CN113678429A (zh) * 2019-04-09 2021-11-19 托罗公司 在低光照条件下的自主机器导航
CN112288040A (zh) * 2020-01-10 2021-01-29 牧今科技 执行用于物体识别的图像分类的方法和系统
CN112288040B (zh) * 2020-01-10 2021-07-23 牧今科技 执行用于物体识别的图像分类的方法和系统

Also Published As

Publication number Publication date
US20190379815A1 (en) 2019-12-12
US10645300B2 (en) 2020-05-05
US10389949B2 (en) 2019-08-20
US20170302838A1 (en) 2017-10-19
WO2016197307A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
CN107637064A (zh) 用于图像处理的方法和设备
CN108351649B (zh) 用于控制可移动物体的方法和设备
CN111527463B (zh) 用于多目标跟踪的方法和系统
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
US20210065400A1 (en) Selective processing of sensor data
CN108351653B (zh) 用于uav飞行控制的系统和方法
US10599149B2 (en) Salient feature based vehicle positioning
CN107850902B (zh) 可移动物体上的相机配置
CN105980950B (zh) 无人飞行器的速度控制
CN108139757A (zh) 用于检测和跟踪可移动物体的系统和方法
CN107850436A (zh) 使用惯性传感器和图像传感器的传感器融合
CN107615211A (zh) 使用惯性传感器和图像传感器的传感器融合
CN107850901A (zh) 使用惯性传感器和图像传感器的传感器融合
CN107850899A (zh) 使用惯性传感器和图像传感器的传感器融合
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180126

RJ01 Rejection of invention patent application after publication