CN108780261B - 使用自适应步长的对比度检测自动聚焦 - Google Patents

使用自适应步长的对比度检测自动聚焦 Download PDF

Info

Publication number
CN108780261B
CN108780261B CN201680082952.XA CN201680082952A CN108780261B CN 108780261 B CN108780261 B CN 108780261B CN 201680082952 A CN201680082952 A CN 201680082952A CN 108780261 B CN108780261 B CN 108780261B
Authority
CN
China
Prior art keywords
contrast
optical device
image
rate
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680082952.XA
Other languages
English (en)
Other versions
CN108780261A (zh
Inventor
俞利富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202011182650.4A priority Critical patent/CN112312018B/zh
Publication of CN108780261A publication Critical patent/CN108780261A/zh
Application granted granted Critical
Publication of CN108780261B publication Critical patent/CN108780261B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

系统、方法和/或装置被用于使光学装置相对于图像传感器移动以使图像聚焦。所述图像传感器获取第一图像。获得第一对比度变化率。根据所述对比度变化率满足第一阈值标准的确定，以大于先前步长的第一步长将所述光学装置移动到第二位置。根据所述第一对比度变化率不满足所述第一阈值标准的确定，以小于所述先前步长的第二步长将所述光学装置移动到所述第二位置。重复上述操作，直到对当所述光学装置处于所述第二位置时获取的针对第二图像确定的第二对比度变化率满足第二阈值标准。

Description

使用自适应步长的对比度检测自动聚焦
技术领域
所公开的实施例一般涉及对图像进行聚焦，更具体地但不排他地涉及对比度检测聚焦操作，该对比度检测聚焦操作迭代地调整光学装置与图像传感器之间的距离的增加量。
背景技术
为了对准光学焦点，对比度检测自动聚焦技术通常依赖于调整相机聚焦直至经过最佳焦点。当相机是UAV的组件时，调整相机聚焦会带来独特的挑战，尤其是在UAV飞行中进行调整时。减少UAV的光学组件的移动有利于图像稳定性和飞行控制。
发明内容
需要一种用于使光学装置相对于图像传感器移动以使图像聚焦的系统和方法。这种系统和方法可选地补充或代替用于使光学装置相对于图像传感器移动以使图像聚焦的传统方法。
根据一些实施例，一种用于使光学装置相对于图像传感器移动以使图像聚焦的方法包括：当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；以及确定所述第一对比度变化率是否满足第一阈值标准。根据所述对比度变化率满足所述第一阈值标准标准的确定：确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第一步长，将所述光学装置从所述第一位置移动到第二位置。根据所述第一对比度变化率不满足所述第一阈值标准的确定：确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第二步长，将所述光学装置从所述第一位置移动到所述第二位置。重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述第二位置时获取。
根据一些实施例，一种用于使光学装置相对于图像传感器移动以使图像聚焦的系统包括：一个或多个处理器；以及成像装置，包括图像传感器和光学装置。所述一个或多个处理器被配置为：当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；以及确定所述第一对比度变化率是否满足第一阈值标准。所述一个或多个处理器还被配置为：根据所述对比度变化率满足所述第一阈值标准的确定：确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第一步长，将所述光学装置从所述第一位置移动到第二位置。所述一个或多个处理器还被配置为：根据所述第一对比度变化率不满足所述第一阈值标准的确定：确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第二步长，将所述光学装置从所述第一位置移动到所述第二位置。所述一个或多个处理器还被配置为：重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述第二位置时获取。
根据一些实施例，一种无人机(UAV)包括：动力系统；成像装置，包括图像传感器和光学装置；以及一个或多个处理器。所述一个或多个处理器被配置为：当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；以及确定所述第一对比度变化率是否满足第一阈值标准。所述一个或多个处理器还被配置为：根据所述对比度变化率满足所述第一阈值标准的确定：确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第一步长，将所述光学装置从所述第一位置移动到第二位置。所述一个或多个处理器还被配置为：根据所述第一对比度变化率不满足所述第一阈值标准的确定：确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第二步长，将所述光学装置从所述第一位置移动到所述第二位置。所述一个或多个处理器还被配置为：重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述第二位置时获取。
根据一些实施例，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括在被执行时使成像装置执行以下操作的指令：当光学装置处于相对于图像传感器的第一位置时，由所述图像传感器获取第一图像；获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；以及确定所述第一对比度变化率是否满足第一阈值标准。所述一个或多个程序还使所述成像装置执行以下操作：在确定所述对比度变化率满足所述第一阈值标准时：确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，并且根据所述第一步长将所述光学装置从所述第一位置移动到第二位置。所述一个或多个程序还使所述成像装置执行以下操作：根据所述第一对比度变化率不满足所述第一阈值标准的确定：确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及根据所述第二步长，将所述光学装置从所述第一位置移动到所述第二位置。所述一个或多个程序还使所述成像装置执行以下操作：重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述第二位置时获取。
附图说明
图1A-1B示出了根据一些实施例的可移动物体环境。
图2A示出了根据一些实施例的图1A的可移动物体环境中的可移动物体。
图2B示出了根据一些实施例的图1B的可移动物体环境中的可移动物体。
图3示出了根据一些实施例的示例性可移动物体感测系统。
图4是根据一些实施例的示例性成像装置的横截面视图。
图5示出了根据一些实施例的由图像传感器捕获的示例性图像的对比度变化确定。
图6A-6C示出了根据一些实施例的与物体对应的光线基于光学装置与图像传感器之间的各种间距而汇聚的位置的简化表示。
图6D-6F示出了根据一些实施例的与图6A-6C所示的各间距对应的对比度分布。
图6G-6I示出了根据一些实施例的与图6A-6C所示的各间距对应的像素阵列。
图7示出了根据一些实施例的针对在光学装置与图像传感器之间的各种距离处捕获的图像而获得的示例性对比度值。
图8A示出了根据一些实施例的为所获得的对比度值确定的三次贝塞尔曲线。
图8B示出了根据一些实施例的与图像传感器所捕获的图像将被聚焦的光学装置与图像传感器之间的估计距离相对应的所确定的值。
图8C示出了根据一些实施例的在光学装置与图像传感器之间的距离已经以所确定的步长增加之后确定的对比度值。
图8D示出了根据各种实施例的与所确定的对比度变化率进行比较的各种阈值。
图9A-9C是示出根据一些实施例的用于使光学装置相对于图像传感器移动以使图像聚焦的方法的流程图。
图10A和10B示出了在光学装置与图像传感器之间的最小距离到光学装置与图像传感器之间的最大距离的范围中的示例性对比度分布。
图11A-11D是示出根据一些实施例的用于使光学装置相对于图像传感器移动以使图像聚焦的方法的流程图。
具体实施方式
现将详细参照多个实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对各种所描述的实施例的透彻理解。然而，本领域技术人员将清楚，可以在无需这些特定细节的情况下实践各种所描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免不必要地使实施例的细节模糊不清。
下面的描述使用无人机(UAV)作为可移动物体的示例。UAV包括例如固定翼飞行器和旋转翼飞行器，其中旋转翼飞行器例如是直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。本领域技术人员将清楚，其他类型的可移动物体可以代替如下所述的UAV。
本文描述了与针对诸如UAV之类的可移动物体的光学调整相关的技术。
图1A示出了根据一些实施例的可移动物体环境100。可移动物体环境100包括可移动物体102。在一些实施例中，可移动物体102包括载体104和/或负载106。
在一些实施例中，载体104用于将负载106与可移动物体102连接。在一些实施例中，载体104包括将负载106与可移动物体102和/或移动机构114的移动相隔离的元件(例如，云台和/或减震元件)。在一些实施例中，载体104包括用于控制负载106相对于可移动物体102的移动的元件。
在一些实施例中，负载106(例如刚性连接)与可移动物体102连接(例如经由载体104连接)，使得负载106相对于可移动物体102基本上保持静止。例如，载体104与负载106连接，使得负载相对于可移动物体102不可移动。在一些实施例中，负载106直接安装至可移动物体102，而不需要载体104。在一些实施例中，负载106部分地或完全地位于可移动物体102内。
在一些实施例中，控制单元108与可移动物体102进行通信，从而例如向可移动物体102提供控制指令和/或显示从可移动物体102接收的信息。虽然控制单元108通常是便携式(例如手持式)装置，但是控制单元108不必须是便携式的。在一些实施例中，控制单元108是专用控制装置(例如用于可移动物体102)、膝上型计算机、台式计算机，平板电脑、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风、便携式通信装置(例如移动电话)和/或其组合。
在一些实施例中，控制单元108的输入装置接收用户输入以控制可移动物体102、载体104、负载106和/或其组件的多个方面。这些方面包括例如姿态、位置、朝向、速度、加速度、导航和/或跟踪。例如，控制单元108的输入装置的位置(例如输入装置的组件的位置)由用户手动设置为与用于控制可移动物体102的输入(例如预定的输入)相对应的位置。在一些实施例中，输入装置由用户操纵，以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，控制单元108的输入装置用于输入可移动物体102的飞行模式，例如根据预定的导航路径自动驾驶或导航。
在一些实施例中，控制单元108的显示器显示由可移动物体102的可移动物体感测系统210、存储器204和/或另一系统生成的信息。例如，显示器显示关于可移动物体102、载体104和/或负载106的信息，例如可移动物体102的位置、姿态、朝向、移动特性、和/或可移动物体102与其他物体(例如目标和/或障碍物)之间的距离。在一些实施例中，由控制单元108的显示器显示的信息包括由成像装置302捕获的图像、跟踪数据(例如，应用于目标的表示的图形化跟踪指示符)和/或发送到可移动物体102的控制数据的指示。在一些实施例中，由控制单元108的显示器显示的信息在从可移动物体102接收到信息时和/或在获取到图像数据时基本上实时地显示。在一些实施例中，控制单元108的显示器是触摸屏显示器。
在一些实施例中，计算装置110例如是服务器计算机、台式计算机、膝上型计算机、平板电脑或其他便携式电子装置(例如移动电话)。在一些实施例中，计算装置110是与可移动物体102和/或控制单元108(例如无线地)通信的基站。在一些实施例中，计算装置110提供数据存储、数据检索和/或数据处理操作，例如用于减少可移动物体102和/或控制单元108的处理能力和/或数据存储要求。例如，计算装置110可通信地连接到数据库，和/或计算装置110包括数据库。在一些实施例中，计算装置110用于代替控制单元108或与控制单元108一起执行所描述的关于控制单元108的任何操作。
在一些实施例中，可移动物体102例如经由无线通信112与控制单元108和/或计算装置110进行通信。在一些实施例中，可移动物体102从控制单元108和/或计算装置110接收信息。例如，由可移动物体102接收的信息包括例如用于控制可移动物体102的参数的控制指令。在一些实施例中，可移动物体102向控制单元108和/或计算装置110发送信息。例如，由可移动物体102发送的信息包括例如由可移动物体102捕获的图像和/或视频。
在一些实施例中，计算装置110、控制单元108和/或可移动物体102之间的通信经由网络(例如因特网116)和/或诸如蜂窝塔118之类的无线信号发射机(例如远程无线信号发射机)发送。在一些实施例中，卫星(未示出)是因特网116的组件，和/或与蜂窝塔118一起使用或代替蜂窝塔118使用。
在一些实施例中，在计算装置110、控制单元108和/或可移动物体102之间发送的信息包括控制指令。控制指令包括例如用于控制可移动物体102的导航参数的导航指令，例如可移动物体102、载体104和/或负载106的位置、朝向、姿态和/或一个或多个移动特性。在一些实施例中，控制指令包括指示移动机构114中的一个或多个移动机构的移动的指令。例如，控制指令用于控制UAV的飞行。
在一些实施例中，控制指令包括用于控制载体104的操作(例如移动)的信息。例如，控制指令用于控制载体104的驱动机构，从而使负载106相对于可移动物体102产生角度和/或线性移动。在一些实施例中，控制指令以多达六个自由度来调整可移动物体102的移动。
在一些实施例中，控制指令用于调整负载106的一个或多个操作参数。例如，控制指令包括用于调整光学参数(例如成像装置302的光学参数)的指令。在一些实施例中，控制指令包括：用于调整成像属性和/或图像装置功能(例如调整图像传感器304与光学装置306之间的距离)的指令、以及用于执行以下操作的指令：捕获图像、启动/停止视频捕获、为成像装置302通电或断电、调整成像模式(例如，捕获静止图像或捕获视频)、调整立体成像系统的左侧组件与右侧组件之间的距离、和/或调整载体104、负载106和/或成像装置302的位置、朝向和/或移动(例如平移速率、平移距离)。
在一些实施例中，当控制指令被可移动物体102接收时，控制指令改变存储器204的参数和/或由存储器204存储。
图1B示出了根据一些实施例的可移动环境150。在可移动物体环境150中，可移动物体102由远离可移动物体102的移动机构114(例如人、动物、载运工具、台车和/或其它移动装置)移动。例如，可移动物体102是手持式装置和/或可穿戴式装置。在一些实施例中，可移动物体(例如经由载体104)与手持式和/或可穿戴式的支撑结构152连接。
在一些实施例中，载体104与可移动物体102连接。在一些实施例中，载体104包括允许可移动物体102相对于移动机构114和/或相对于支撑结构152移动的一个或多个机构。在一些实施例中，可移动物体102经由包括云台的载体104与支撑结构152连接。
在一些实施例中，可移动物体102经由有线和/或无线连接与控制单元108可通信地连接。在一些实施例中，从控制单元108发送到可移动物体的信息包括例如用于改变可移动物体102的一个或多个操作参数的控制指令。例如，可移动物体102接收用于改变可移动物体102的成像装置302的光学参数的控制指令。在一些实施例中，从可移动物体102发送到控制单元108的信息包括例如由可移动物体102捕获的图像和/或视频数据。
图2A示出了根据一些实施例的可移动物体环境100中的示例性可移动物体102。可移动物体102通常包括一个或多个处理单元202、存储器204、通信系统206、可移动物体感测系统210和用于互相连接这些组件的通信总线208。
在一些实施例中，可移动物体102是UAV，并且包括多个组件以能够进行飞行和/或飞行控制。在一些实施例中，可移动物体102包括具有一个或多个网络或其它通信接口的通信系统206、移动机构114、和/或可移动物体驱动器212，它们可选地经由通信总线208与可移动物体102的一个或多个其它组件相互连接。虽然可移动物体102被描绘为飞行器，但是该描绘并不旨在限制，可以使用任何合适类型的可移动物体。
在一些实施例中，可移动物体102包括移动机构114(例如推进机构)。虽然为了便于参考，本文使用了复数形式的“移动机构”，但是“移动机构114”指单个移动机构(例如单个螺旋桨)或多个移动机构(例如多个旋翼)。移动机构114包括一个或多个移动机构类型，例如旋翼、螺旋桨、叶片、发动机、马达、轮子、轴、磁体、喷嘴等。移动机构114在例如顶部、底部、前部、后部和/或侧面处与可移动物体102连接。在一些实施例中，单个可移动物体102的移动机构114包括相同类型的多个移动机构。在一些实施例中，单个可移动物体102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用诸如支撑元件(例如驱动轴)和/或其他驱动元件(例如可移动物体驱动器212)之类的任何合适的装置与可移动物体102连接(或反之)。例如，可移动物体驱动器212(例如经由控制总线208)接收来自处理器202的控制信号，从而启用可移动物体驱动器212以导致移动机构114的移动。例如，处理器202包括向可移动物体驱动器212提供控制信号的电子速度控制器。
在一些实施例中，移动机构114使可移动物体102能够垂直地从表面起飞或者垂直地降落于表面，而不需要可移动物体102的任何水平移动(例如不需要沿着跑道行进)。在一些实施例中，移动机构114可操作以允许可移动物体102在特定位置和/或以特定朝向悬停在空中。在一些实施例中，一个或多个移动机构114可独立于一个或多个其他移动机构114进行控制。例如，当可移动物体102是四轴飞行器时，四轴飞行器的每个旋翼都可独立于四轴飞行器的其他旋翼进行控制。在一些实施例中，多个移动机构114被配置为用于同时移动。
在一些实施例中，移动机构114包括向可移动物体102提供升力和/或推力的多个旋翼。对多个旋翼进行驱动以向可移动物体102提供例如垂直起飞、垂直降落和悬停能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，而一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋翼的数量等于逆时针旋翼的数量。在一些实施例中，每个旋翼的转速是独立可变的，例如用于控制由每个旋翼产生的升力和/或推力，从而调整可移动物体102的空间布置、速度和/或加速度(例如，关于多达三个自由度的平移和/或多达三个自由度的旋转)。
在一些实施例中，存储器204存储一个或多个程序(例如，指令集)、模块和/或数据结构。关于存储器204描述的一个或多个组件可选地由控制单元108、计算装置110和/或其他装置存储。在一些实施例中，成像装置302包括存储器，该存储器存储所描述的关于存储器204的一个或多个参数。
在一些实施例中，存储器204存储包括(例如由制造商、管理员和/或用户配置)一个或多个系统设置的系统配置。例如，可移动物体102的标识信息被存储为系统配置的系统设置。在一些实施例中，系统配置包括成像装置配置。成像装置配置存储用于光学装置306的参数，例如初始位置、初始步长、缩放比例和/或聚焦参数(例如聚焦量、选择自动聚焦或手动聚焦、和/或调整图像中的自动聚焦目标)。由成像装置配置存储的成像属性参数包括例如图像分辨率、图像尺寸(例如图像宽度和/或高度)、宽高比、像素数、质量、焦距、景深、曝光时间、快门速度和/或白平衡。在一些实施例中，响应于(例如，由可移动物体102从控制单元108和/或计算装置110接收的)控制指令，更新由成像装置配置存储的参数。在一些实施例中，响应于从可移动物体感测系统210和/或成像装置302接收的信息，更新由成像装置配置存储的参数。
在一些实施例中，存储器204包括成像装置调整模块。成像装置调整模块存储例如用于调整图像传感器304与成像装置302的光学装置306之间的距离的指令。
上述模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，因此这些模块的各种子集可以在各种实施例中组合或以其他方式重新布置。在一些实施例中，存储器204可以存储上述模块和数据结构的子集。此外，存储器204可以存储上面没有描述的其他模块和数据结构。在一些实施例中，存储在存储器204中的程序、模块和数据结构或存储器204的非瞬时计算机可读存储介质提供用于实现下面描述的方法中的各操作的指令。在一些实施例中，这些模块中的一些或全部可以用包含模块功能的部分或全部的专用硬件电路来实现。上述组件中的一个或多个可以由可移动物体102的一个或多个处理器202执行。在一些实施例中，上述组件中的一个或多个由远离可移动物体102的装置的一个或多个处理器(例如控制单元108的处理器和/或计算装置110的处理器)执行。
通信系统206使得能够例如经由无线信号112与控制单元108和/或计算装置110进行通信。通信系统206包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得数据仅由可移动物体102从控制单元108和/或计算装置110接收，或反之亦然。在一些实施例中，通信是双向通信，使得在可移动物体102和控制单元108和/或计算装置110之间的两个方向上发送数据。在一些实施例中，可移动物体102、控制单元108和/或计算装置110与因特网116或其他电信网络连接，例如使得由可移动物体102、控制单元108和/或计算装置110生成的数据被发送到服务器进行数据存储和/或数据检索(例如由网站显示)。
在一些实施例中，可移动物体102的感测系统210包括一个或多个传感器。在一些实施例中，可移动物体感测系统210的一个或多个传感器安装在可移动物体102的外部、位于可移动物体102的内部或以其他方式与可移动物体102连接。在一些实施例中，可移动物体感测系统210的一个或多个传感器是载体104、负载106和/成像装置302的组件。虽然此处将传感操作描述为由可移动物体感测系统210执行，但可以认识到，这些操作可选地由载体104、负载106和/或成像装置302的一个或多个传感器与可移动物体感测系统210的一个或多个传感器一起执行或者代替它们执行。
可移动物体感测系统210生成静态感测数据(例如，响应于接收到的指令捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，例如视频)。
在一些实施例中，可移动物体感测系统210包括图像传感器304。例如，可移动物体感测系统210包括作为成像装置302(例如相机)的组件的图像传感器304(图3)。在一些实施例中，可移动物体感测系统210包括多个图像传感器，例如用于立体成像的一对图像传感器(例如，左立体图像传感器和右立体图像传感器)。
在一些实施例中，可移动物体感测系统210包括一个或多个音频转换器。例如，音频检测系统包括音频输出转换器(例如扬声器)和/或音频输入转换器(例如麦克风，诸如抛物面麦克风)。在一些实施例中，麦克风和扬声器用作声纳系统的组件。例如，使用声纳系统来提供可移动物体102的周围的三维地图。
在一些实施例中，可移动物体感测系统210包括一个或多个红外传感器。在一些实施例中，用于测量从可移动物体102到一物体或表面的距离的距离测量系统包括一个或多个红外传感器，例如用于立体成像和/或距离确定的左红外传感器和右红外传感器。
在一些实施例中，可移动物体感测系统210包括一个或多个全球定位系统(GPS)传感器、运动传感器(例如加速度计)、旋转传感器(例如陀螺仪)、惯性传感器、近距离传感器(例如红外传感器)和/或气象传感器(例如，压力传感器、温度传感器、湿度传感器和/或风力传感器)。
在一些实施例中，由可移动物体感测系统210的一个或多个传感器生成的感测数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息被用作用于深度检测的深度传感器，例如，图像传感器、音频传感器和/或红外传感器被用于确定从可移动物体102到另一物体(例如目标、障碍物和/或地形)的距离。
在一些实施例中，由可移动物体感测系统210的一个或多个传感器生成的感测数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息(例如经由通信系统206)被发送到控制单元108和/计算装置110。在一些实施例中，由可移动物体感测系统210的一个或多个传感器生成的数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息由存储器204存储。
在一些实施例中，可移动物体102、控制单元108和/或计算装置110使用由感测系统210的传感器生成的感测数据来确定信息，例如可移动物体102的位置、可移动物体102的方向、可移动物体102的移动特性(例如，角速度、角加速度、平移速度、平移加速度和/或沿着一个或多个轴的运动方向)和/或可移动物体102与潜在障碍物或目标的接近度、气象条件、地理特征的位置和/或人造结构的位置。
图2B示出了根据一些实施例的可移动物体环境150中的示例性可移动物体102。可移动物体环境150中的可移动物体102由远离可移动物体102的移动机构114移动(例如，如关于图1B所描述)。可移动物体环境150的可移动物体102包括例如一个或多个处理单元202、存储器204、感测系统210和/或用于将这些组件互相连接的通信总线208。在一些实施例中，可移动物体102例如经由通信系统206与控制单元108可通信地连接。
图3示出了根据一些实施例的可移动物体102的示例性感测系统210。在一些实施例中，可移动物体感测系统210包括成像装置302(例如相机)。在一些实施例中，成像装置302是负载106的组件。成像装置302包括图像传感器304和光学装置306。在一些实施例中，光学装置306由成像装置驱动器308相对于成像装置302移动。
图像传感器304例如是检测可见光、红外光和/或紫外光等光的传感器。在一些实施例中，图像传感器304包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)和/或N型金属氧化物半导体(NMOS，Live MOS)的有源像素传感器。
光学装置306影响到达图像传感器304的光的焦点。例如，光学装置306是透镜或包括多个透镜的装置(例如复合透镜)。透镜是例如具有弯曲表面的材料，该弯曲表面产生例如使光线(例如在焦距处)汇聚和/或发散等透镜属性。
成像装置驱动器308例如是马达，诸如液压、气动、电动、热动、磁和/或机械马达。在一些实施例中，成像装置驱动器308相对于成像装置302的图像传感器304沿着一个或多个轴平移光学装置306。在一些实施例中，成像装置驱动器308响应于从处理器(例如处理器202)接收的光学控制指令移动光学装置306。例如，响应于用户输入而产生光学控制指令，成像装置驱动器308响应于该光学控制指令移动光学装置306(例如，经由控制单元108的输入装置接收的用户输入启动图像捕获和/或自动聚焦过程)。
图4是根据一些实施例的示例性成像装置302的横截面视图。在一些实施例中，成像装置302包括相机主体402。相机主体402例如是可移动物体102的主体、安装在可移动物体102上和/或可移动物体102内的主体、连接到载体104的主体(例如作为负载106)和/或连接到负载106的主体。相机主体402例如是与图像传感器304连接的结构。相机主体402包括允许光进入相机主体402的相机主体开口。在一些实施例中，相机主体402由减少或消除光的穿透的材料制成，使得相机主体402仅在相机主体开口处(例如，经由光学装置306和/或相机镜头404)允许光进入。在一些实施例中，光学装置306和/或相机镜头404安装在相机主体402的开口上。
在一些实施例中，光学装置306连接(例如，固定地、可移动地和/或可互换地安装)到相机主体402。尽管在图4中，光学装置306被描绘为相对于相机主体402移动的单个透镜，但在一些实施例中，光学装置306是包括相对于图像传感器304移动的一个或多个光学元件(例如，透镜)的相机透镜404(例如，固定地和/或可拆卸地安装到相机主体402的光学装置)。在一些实施例中，光学装置306安装在相机主体402的内部。
光学装置306沿着x轴相对于图像传感器304移动。在图4中，在第一位置x0(即光学装置306与图像传感器304之间的第一间距)处、第二位置x1(即光学装置306与图像传感器304之间的第二间距)处、以及第三位置x2(即光学装置306与图像传感器304之间的第三间距)处，示出了光学装置306(使用虚线，表示光学装置306的过去位置)。在第四位置x3(即光学装置306与图像传感器304之间的第四间距)处，示出了光学装置306(使用实线，表示光学装置306的当前位置)。在一些实施例中，在自动聚焦操作期间，在第一位置x0处捕获第一图像，在第二位置x1处捕获第二图像，在第一位置x2处捕获第三图像，在第一位置x3处捕获第四图像，以此类推。
在一些实施例中，光学装置306相对于图像传感器304移动，以聚焦由图像传感器304捕获的图像。例如，在自动聚焦操作期间，光学装置306相对于图像传感器304移动。在一些实施例中，自动聚焦操作是对比度检测自动聚焦操作。对比度检测自动聚焦操作包括例如确定由图像传感器304捕获的图像的对比度变化率。当对比度变化率增大时，由图像传感器304捕获的图像的对焦改进。在自动聚焦操作期间，当光学装置306相对于图像传感器304移动时，(例如，基于由图像传感器304捕获的图像和至少一个先前捕获的图像)确定对比度变化率。根据如下所述的一些实施例，使用对比度变化率来确定用于接近图像被聚焦的图像传感器304与光学装置306之间的间距的步长。在一些实施例中，通过在自动聚焦过程期间在捕获新图像之后确定新的步长，可以通过逐渐接近聚焦间距(例如，图像传感器304与光学装置306之间的估计间距，在该估计间距处，实现、基本实现和/或最大化聚焦)来实现自动聚焦。新的步长例如是增大的步长(例如，当前间距与聚焦间距相距相对远时)或减小的步长(例如，当前间距与聚焦间距相距相对近时)。在一些实施例中，由图像传感器304捕获的图像的聚焦被迭代地改进，使得在无需超出聚焦间距的情况下接近和/或达到聚焦间距。如此，与依赖于较不精确的移动和/或超出聚焦间距的自动聚焦技术相比，可移动物体102的组件(例如光学装置306和/或图像传感器304)的移动减少。
图5示出了根据一些实施例的由图像传感器304捕获的示例性图像502的对比度变化确定方法。在一些实施例中，在图像502的整个一个或多个部分上捕获对比度梯度。图像502的一部分例如是图像502的像素子集，例如16×16像素阵列或4×4像素阵列。在一些实施例中，图像被分成四个象限，从图像的一个或多个象限中选择像素子集。例如，图像502包括分别对应于图像502的象限514、516、518和520的像素子集504、506、508和510。
像素阵列512示出了与像素子集510对应的4×4像素阵列。像素阵列512包括具有各种亮度值的像素。例如，像素522相对于像素524具有低亮度值。基于在整个像素阵列512中的亮度变化来确定整个像素阵列512的像素的亮度梯度。例如，像素子集510的亮度梯度值确定如下：
Figure BDA0001783275980000161
在一些实施例中，确定图像502的对比度值包括确定像素子集504、506、508和510的亮度梯度的平均值。例如，图像502的对比度值确定如下：
Figure BDA0001783275980000162
在一些实施例中，使用与由用户指定(例如，由经由控制单元108和/或计算装置110提供的输入指定)的图像502中的位置相对应的位置处的像素子集来确定对比度值。在一些实施例中，使用与在图像502中捕获的由可移动物体102跟踪的目标(例如，由经由控制单元108和/或计算装置110提供的输入指定的目标)或目标的一部分相对应的位置处的像素子集来确定对比度值。在一些实施例中，使用图像502的所有像素的亮度值来确定对比度值。
图6A-6C示出了根据一些实施例的与物体602对应的光线基于光学装置306与图像传感器304之间的各种间距而汇聚的位置的简化表示。图6D-6F示出了根据一些实施例的与图6A-6C所示的各间距对应的对比度分布。图6G-6I示出了根据一些实施例的与图6A-6C所示的各间距对应的像素阵列。
通常，当图像中的对比度值最大化时，图像被聚焦。在一些实施例中，使用对比度值确定方法的自动聚焦操作包括：迭代地调整光学装置306与图像传感器304之间的间距，使得对比度值达到最大值。
在图6A和6C中，由图像传感器304捕获的物体602的图像502失焦。在图6A中，对应于物体602的光线604汇聚在图像传感器304前方的位置606处(例如，如图6A所示的图像传感器304的右侧)。在图6C中，光线602汇聚在图像传感器304后方的位置608处(例如，如图6C所示的图像传感器304的左侧)。在图6B中，由于光线604汇聚在与图像传感器304的位置相对应的位置处，所以由图像传感器304捕获的图像502被聚焦。
图6D示出了在图像502的一部分上(例如，在像素阵列512处)的对比度分布612。图6D的对比度分布612对应于图6A所示的光学装置306与图像传感器304的间距。图6E示出了当光学装置306与图像传感器304的间距如图6B所示时所捕获的图像502的一部分上的对比度分布614。图6F示出了当光学装置306与图像传感器304的间距如图6C所示时所捕获的图像502的一部分上的对比度分布616。
图6G示出了来自由图像传感器304捕获的图像502的像素子集618，对应于图6A所示的光学装置306与图像传感器304的间距。图6H示出了来自由图像传感器304捕获的图像的像素子集620，对应于图6B所示的光学装置306与图像传感器304的间距。图6I示出了来自由图像传感器304捕获的图像的像素子集622，对应于图6C所示的光学装置306与图像传感器304的间距。与像素阵列622和像素阵列618的对比度值相比，像素阵列620的对比度值较高，这表明随着对焦的改进，最高亮度像素与最低亮度像素之差增大。对比度分布614相对于对比度分布612和616的斜率的陡峭程度也表明了这一点。
图7示出了从光学装置306与图像传感器304之间的间距分别为x0、x1、x2和x3时捕获的图像中获得的对比度值y0、y1、y2和y3。例如，图7的间距x0、x1、x2和x3是关于图4描述的间距x0、x1、x2和x3。
在一些实施例中，基于所确定的对比度值y0、y1、y2和y3生成曲线。例如，使用所生成的曲线来估计峰值对比度值(例如，估计的对比度值ypeak，其对应于光学装置306与图像传感器304之间的聚焦间距xpeak)。在一些实施例中，所生成的曲线是贝塞尔曲线，例如三次贝塞尔曲线。例如，对于(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，所生成的三次贝塞尔曲线确定如下：
三次贝塞尔曲线：
Figure BDA0001783275980000171
在一些实施例中，例如，在光学装置306与图像传感器304之间的间距以下一步长值sn增加，从而在光学装置306与图像传感器304之间的间距xn处确定了对比度值yn之后，使用非线性最小二乘法分析找到(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)的最佳拟合曲线。
图8A示出了针对(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)确定的三次贝塞尔曲线802。对比度值为最大值ypeak(曲线的峰值)的估计点对应于曲线802的导数等于零的点。为了获得ypeak，确定值tpeak(例如，当三次贝塞尔曲线的y’(t)等于零时t的值)为：
-3tpeak 2(y0-3y1+3y2-y3)+6tpeak(y0-2y1+y2)-3(y0-y1)＝0 (4)
为了获得xpeak，在(5)中使用根据(4)确定的t的值：
x(tpeak)＝x0(1-tpeak)3+3x1tpeak(1-tpeak)2+3x2tpeak 2(1-tpeak)+x3tpeak 3
(5)
图8B示出了根据一些实施例的对应于光学装置306与图像传感器304之间的估计聚焦间距的所确定的值(xpeak，ypeak)。
在一些实施例中，所确定的xpeak值用于确定增大的下一步长值sn，如下所示：
增大的步长：
Figure BDA0001783275980000181
等式(6)中的“总长度”值例如是光学装置306与图像传感器304之间的最大间距(例如，由相机主体402和/或相机镜头404所限定)，光学装置306与图像传感器304之间的当前间距由xc表示。
在一些实施例中，当已经确定了下一步长值sn时，光学装置306与图像传感器304之间的间距从xc增加值sn，使得光学装置306与图像传感器304之间的距离增加到xn(例如，如图8C所示)。在一些实施例中，当光学装置306与图像传感器304之间的间距已经增加到下一距离xn时，捕获图像502并确定下一对比度值yn。
图8C示出了在光学装置306与图像传感器304之间的距离已经增加到距离xn之后确定的对比度值yn。
在一些实施例中，当已经确定了对比度值yn时，在点xn处确定对比度变化率804(例如，dy/dx)。例如，对比度变化率804确定如下：
Figure BDA0001783275980000191
在图8C的说明性示例中，xprevious是x3，yprevious是y3。
在一些实施例中，当已经确定了对比度变化率时，将对比度变化率与一个或多个阈值进行比较。例如，将对比度变化率与第一阈值(例如阈值A)进行比较，以确定下一步长是增大的步长还是减小的步长。根据对比度变化率满足第一阈值标准(例如，对比度变化率大于阈值A)的确定，下一步长是增大的步长。根据对比度变化率不满足第一阈值标准(例如，对比度变化率小于或等于阈值A)的确定，下一步长是如下确定的减小的步长：
减小的步长：
Figure BDA0001783275980000192
图8D示出了根据各种实施例的与所确定的对比度变化率进行比较的各种阈值。第一阈值806(例如阈值A)具有第一梯度(例如斜率值)，第二阈值808(例如阈值B)具有第二梯度，第三阈值810具有第三梯度。在一些实施例中，阈值B的梯度的绝对值低于阈值A的梯度的绝对值，并且阈值C的梯度的绝对值低于阈值C的梯度的绝对值。
在一些实施例中，将如图8C所示的对比度变化率804与如图8D所示的第一阈值806进行比较。根据对比度变化率804(例如，804的dy/dx值)大于(较陡峭)第一阈值806(阈值A)斜率值的确定，下一步长将是使用(6)确定的增大的步长。根据对比度变化率804(例如，804的dy/dx值)小于或等于(例如，与后者同样陡峭或者没有后者陡峭)第一阈值806(阈值A)斜率值时，将对比度变化率804与第二阈值808(阈值B)的斜率值进行比较。根据对比度变化率804(例如，804的dy/dx值)大于(比后者陡峭)第二阈值808(阈值B)的斜率值的确定，下一步长是使用(8)确定的减小的步长。
根据对比度变化率804(例如，804的dy/dx值)小于或等于(例如，与后者同样陡峭或没有后者陡峭)第二阈值808(阈值B)的斜率值的确定，将低通滤波器应用于(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)以获得过滤后的对比度分布，并且如下确定在点xn处的过滤后的对比度分布的梯度：
Figure BDA0001783275980000201
在一些实施例中，将过滤后的对比度分布的梯度与第三阈值810(阈值C)的斜率值进行比较。根据过滤后的对比度分布的梯度大于(比后者陡峭)第三阈值810(阈值C)的斜率值的确定，重复关于图4-8D描述的一个或多个操作。根据过滤后的对比度分布的梯度小于或等于(例如，与后者同样陡峭或没有后者陡峭)第三阈值810(阈值C)的斜率值时，确定已经达到聚焦间距。
图9A-9C是示出根据一些实施例的用于使光学装置相对于图像传感器移动以使图像聚焦的方法900的流程图。方法900在诸如可移动物体102、成像装置302、控制单元108和/或计算装置110的装置上执行。例如，用于执行方法900的指令被存储在存储器204中并由处理器202执行。
在一些实施例中，该装置确定(902)光学装置306是否处于初始位置(例如，光学装置306与图像传感器304之间的间距为x0的位置x0)。根据光学装置306处于初始位置的确定，该装置通过图像传感器304捕获(906)图像502。根据光学装置306不处于初始位置的确定，该装置向成像装置驱动器308提供指令以将光学装置306移动(908)到初始位置。该装置确定(910)初始位置处的初始对比度值(例如，y0)。例如，根据上述等式(1)-(2)来确定初始对比度值y0。
该装置向成像装置驱动器308提供指令以将光学装置306移动(912)到第二位置(例如，光学装置306与图像传感器304之间的间距为x1的位置x1)。当光学装置306处于第二位置时，该装置(914)通过图像传感器304捕获第二图像502。该装置确定(916)第二位置处的对比度值(例如，y1)。例如，根据上述等式(1)-(2)来确定第二对比度值y1。
在一些实施例中，该装置向成像装置驱动器308提供指令(918)以将光学装置306移动到下一位置(例如，光学装置306与图像传感器304之间的间距为xi的位置xi)。例如，在第一次迭代中，i＝2，位置xi是x2。当光学装置306处于下一位置xi时，该装置通过图像传感器304捕获(920)下一图像502。该装置确定(922)下一位置处的下一对比度值(例如，yi)。例如，根据上述等式(1)-(2)来确定对比度值yi。
在一些实施例中，该装置确定(924)位置数(i)是否已经达到目标位置数(例如，预定义的目标位置数)。例如，当需要四个对比度值y0、y1、y2、y3进行等式(3)所示的计算时，i＝3。在一些实施例中，根据确定i未达到3的确定，该装置(926)对i进行递增(例如，该装置将i的值设置为i+1)。重复操作918、920、922、924和/或926，直到该装置确定位置数(i)已经达到目标位置数(例如i＝3)为止。根据位置数已经达到目标位置数的确定(例如，已经获得对比度值y0、y1、y2、y3)，该装置生成(928)曲线。例如，该装置如等式(3)所示生成三次贝塞尔曲线(例如802)。
如A处所示，该装置从图9A的操作928前进到图9B的操作930。
为了确定估计的峰值对比度值ypeak处产生图像传感器304与光学装置306之间的间距xpeak(例如，如参照图8A-8B所描述)，该装置例如使用等式(4)确定(930)峰值tpeak。该装置例如使用等式(5)(932)基于tpeak确定距离xpeak。该装置确定(934)下一步长sn，例如，使用等式(6)来确定增大的下一步长，或者(例如，在稍后的迭代中和/或根据使用减小的步长的确定)使用等式(8)来确定减小的下一步长。该装置向成像装置驱动器308提供指令(936)以将光学装置306从当前位置xc移动到下一位置(例如，光学装置306与图像传感器304之间的间距为xn＝xc+sn的位置xn)。
当光学装置306与图像传感器304之间的间距为xn时，该装置捕获(938)下一图像502。该装置确定(940)下一位置处的下一对比度值(例如，yn)。例如，根据上述等式(1)-(2)确定对比度值yn。该装置确定(942)位置xn处的对比度变化率(例如，如804处所示)。例如，根据上述等式(7)确定对比度变化率dy/dx。该装置(944)将(942)处确定的对比度变化率与阈值A(806)进行比较。
如B处所示，该装置从图9B的操作944前进到图9C的判定菱形946。
该装置确定(946)对比度变化率(例如804)是否超过阈值A 806梯度值。根据对比度变化率超过阈值A梯度值的确定，该装置(948)将使用增大的下一步长等式(6)来确定下一步长sn(例如，在操作934的下一迭代中)。在确定对比度变化率不超过阈值A斜率值时，该装置确定(950)对比度变化率(例如804)是否超过阈值B 808的梯度。在确定对比度变化率超过阈值B梯度值时，该装置(952)使用减小的下一步长等式(8)来确定下一步长sn(例如，在操作934的下一次迭代中)。
如C处所示，该装置从图9C的操作948和/或952前进到图9B的操作954。在操作954，该装置使用(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)生成新的曲线。例如，使用非线性最小二乘法分析找到(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)的最佳拟合曲线。重复操作930、932、934、936、938、940、942、944、946、948、950、952和/或954，直到该装置确定对比度变化率不超过阈值B斜率值的梯度。
根据对比度变化率不超过阈值B斜率值的确定，该装置(956)将低通滤波器应用于(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)以获得过滤后的对比度分布。该装置例如使用等式(9)确定(958)在光学装置306相对于图像传感器304的最新位置(例如，xn)处的过滤后的对比度分布的梯度值dy/dx。该装置(960)将位置xn处的过滤后的对比度分布的所确定的梯度值dy/dx与阈值C(810)进行比较。在一些实施例中，根据过滤后的对比度分布的所确定的梯度值dy/dx超过阈值C梯度值的确定，该装置前进到图9A的操作902，如D处所示。在一些实施例中，根据过滤后的对比度分布的所确定的梯度值dy/dx不超过阈值C梯度值的确定，确定已经达到聚焦间距并且该流程结束。
图10A和10B示出了在光学装置306与图像传感器304之间的最小间距xmin到光学装置306与图像传感器304之间的最大间距xmax的范围中的示例性对比度分布。图10A示出了在高对比度设置下获得的对比度分布的示例，图10B示出了在低对比度设置(例如，弱光设置)下获得的对比度分布的示例。由于例如弱光条件、光的闪烁和/或成像装置在自动聚焦过程中的移动而导致在对比度分布中噪声的出现(例如，如图10B所示，特别是与图10A相比)有可能降低确定聚焦间距时的准确度。将低通滤波器应用于所确定的对比度值(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)降低了由于噪声产生的聚焦间距确定中的不准确的概率。
图11A-11D是示出根据一些实施例的用于使光学装置306相对于图像传感器304移动以使图像502聚焦的方法1100的流程图。方法1100在诸如可移动物体102、成像装置302、控制单元108和/或计算装置110的装置上执行。例如，用于执行方法1100的指令被存储在存储器204中并由处理器202执行。
(1102)当光学装置306相对于图像传感器304处于第一位置时(例如，在光学装置306与图像传感器304之间的间距xn处)，该装置通过图像传感器304获取第一图像502。该装置获得(1104)第一图像502的第一对比度值yn(例如，根据等式(1)和/或(2)确定的对比度值)和第一位置xn处的第一对比度变化率dy/dx(例如，根据等式(7)确定的对比度变化率，例如在804处示出的对比度变化率)。
该装置确定(1106)第一对比度变化率dy/dx是否满足第一阈值标准。例如，该装置确定第一对比度变化率dy/dx是否大于第一阈值梯度值(例如，如图8D的806处所示的阈值A梯度值)。
根据对比度变化率满足第一阈值标准的确定，该装置(1108)：确定第一步长sn，该第一步长大于用于将光学装置移动到第一位置的前一步长(例如，使用用于确定增大的步长的等式(6)以确定第一步长sn)；以及该装置根据第一步长sn将光学装置306从第一位置移动到第二位置(例如，光学装置306移动到与图像传感器304相距间距xn处)。
在确定第一对比度变化率不满足第一阈值标准时，(例如，第一对比度变化率小于(或等于)第一阈值梯度值，例如如图8D的806处所示的阈值A的梯度值)该装置(1110)：确定第二步长sn，该第二步长小于用于将光学装置306移动到第一位置的前一步长(例如，使用用于确定减小的步长的等式(8)以确定第二步长sn)；以及该装置根据第二步长sn将光学装置306从第一位置移动到第二位置(例如，光学装置306移动到与图像传感器304相距间距xn处)。
该装置重复(1112)前述操作(例如1102、1104、1106、1108和/或1110)，直到第二对比度变化率dy/dx满足第二阈值标准(例如，第二对比度变化dy/dx小于(或等于)第二阈值梯度值，例如阈值B(808))。当光学装置306处于第二位置(间距)xn+1时，获取第二图像502。
在一些实施例中，确定第一对比度变化率满足第一阈值标准包括(1114)将第一对比度变化率与第一阈值梯度值进行比较。例如，如图8D的806处所示，第一阈值梯度值是指示与阈值A对应的直线的斜率的梯度值。
在一些实施例中，当(1116)第一对比度变化率超过第一阈值梯度值时，第一对比度变化率满足第一阈值标准。例如，当根据等式(7)确定的对比度变化率dy/dx超过指示阈值A梯度值的梯度值(如图8D的806处所示)时，第一对比度变化率满足第一阈值标准。
在一些实施例中，确定第二对比度变化率满足第二阈值标准包括(1118)将第二对比度变化率与第二阈值梯度值进行比较，其中第二阈值梯度值小于(例如，没有后者陡峭)第一阈值梯度值。例如，当根据等式(7)确定的对比度变化率dy/dx超过阈值B梯度值(如图8D的808处所示)时，第二对比度变化率满足第二阈值标准。
在一些实施例中，确定第一步长和第二步长中的至少一个包括(1120)：基于包括第一对比度值在内的多个对比度值生成曲线(例如，如关于图9B的954所描述，基于y0、y1、y2、y3、yn生成曲线)，确定在曲线的峰值处的光学装置306相对于图像传感器304的位置(例如间距)(例如，如关于932所描述，确定位置xpeak)，并使用在曲线的峰值处所确定的光学装置306相对于图像传感器304的位置(例如xpeak)确定第一步长sn。例如，所确定的xpeak值被用于确定增大的步长sn，如等式(6)中所示。
在一些实施例中，在重复操作的至少一次迭代中，曲线是贝塞尔曲线(1122)。例如，贝塞尔曲线是二次或更高次的贝塞尔曲线。
在一些实施例中，贝塞尔曲线是三次贝塞尔曲线(1124)，例如(3)中定义的贝塞尔曲线。
在一些实施例中，在重复操作的至少一次迭代中，使用非线性最小二乘法分析确定(1126)曲线。例如，使用非线性最小二乘法分析找到(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)的最佳拟合曲线。
在一些实施例中，该装置(1128)使用来自第一图像502的至少一个亮度梯度值来确定第一对比度值，其中各个亮度梯度值是第一图像502的一部分上的亮度梯度(例如，4像素×4像素阵列512，或16像素×16像素阵列)。例如，根据上述等式(1)和/或(2)来确定对比度值。
在一些实施例中，该装置(1130)如关于等式(2)所描述的那样，使用来自第一图像502的多个亮度梯度值(例如，与分别来自第一图像502的象限514、516、518、520的像素阵列504、506、508、510对应的四个亮度梯度值)的平均值来确定第一对比度值。
在一些实施例中，响应于确定第二对比度变化率满足第二阈值标准(例如，如808处所示，第二对比度变化率小于(或等于)第二阈值B梯度值的斜率)，该装置(1132)对多个所获得的对比度值(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)...(xn，yn)应用滤波器以生成过滤后的曲线。
在一些实施例中，滤波器(1134)是低通滤波器。在一些实施例中，低通滤波器是(1136)一维高斯滤波器。
在一些实施例中，该装置确定(1138)光学装置306相对于图像传感器304的当前位置处的过滤后的曲线是否满足结束标准，并且响应于确定过滤后的曲线不满足结束标准，该装置将光学装置306初始化为处于相对于图像传感器304的初始位置(例如，x0)，并重复上述操作(例如，重复操作1102-1112)。换句话说，当前的自动聚焦尝试被中止，自动聚焦过程从光学装置306相对于图像传感器304的初始位置重新开始(例如，间距x0)。例如，在目标跟踪或其他视频捕获环境中，所捕获图像的各个方面(诸如所捕获图像的组成和/或亮度级别)可随时间快速改变，因此如果当前的自动聚焦尝试失败，则与继续尝试基于先前收集的对比度值来实现聚焦相比，通过收集新的对比度值来重新启动自动聚焦过程更为有效。
在一些实施例中，确定光学装置306相对于图像传感器304的当前位置处的过滤后的曲线是否满足结束标准包括(1140)：确定光学装置相对于图像传感器的当前位置处的过滤后的曲线的梯度(例如，如使用等式(9)所确定的)是否满足第三阈值标准。在一些实施例中，当光学装置的当前位置处的过滤后的曲线的梯度小于(或等于)阈值C梯度值(例如，如810处所示)时，光学装置的当前位置处的过滤后的曲线的梯度满足第三阈值标准。
在一些实施例中，(1142)使用针对第二图像502获得的第二对比度值yn+1来确定第二对比度变化率dy/dx。
在一些实施例中，第一对比度变化率dy/dx是指示(1144)从先前图像到当前图像的对比度值的变化率的梯度值。
在一些实施例中，(1146)对比度变化率差是第一图像的第一对比度值yn和先前图像的对比度值yprevious之差；距离差是捕获第一图像的光学装置与图像传感器之间的第一距离xn和捕获第二图像的光学装置与图像传感器之间的第二距离xprevious之差；并且对比度值的变化率是对比度变化率差除以距离差得到的商，例如，如等式(7)所示。
在一些实施例中，将光学装置306初始化为处于相对于图像传感器304的初始位置(例如x0)包括使用由可移动物体102的深度传感器生成的数据来确定初始化距离。例如，基于可移动物体感测系统210的深度传感器(例如，图像传感器、音频传感器和/或红外传感器)的输出来确定初始位置。
本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，本发明的特征可以使用处理系统来实现。示例性处理系统(例如，处理器202)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
本发明的特征可以以计算机程序产品的形式、或者使用计算机程序产品、或者借助于计算机程序产品执行，计算机程序产品例如是具有存储在其上/内的指令的存储介质(媒介)或计算机可读存储介质(媒介)，这些指令可用于对处理系统进行编程以执行本文陈述的任何特征。存储介质(例如存储器204)可以包括但不限于：任何类型的盘(包括软盘、光盘、DVD、CD-ROM、微驱动器和磁光盘)、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存器件、磁卡或光卡、纳米系统(包括分子存储器IC)或适于存储指令和/或数据的任何类型的媒介或器件。
存储在任何一个机器可读介质(媒介)上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、设备驱动器、操作系统和执行环境/容器。
本文所述的通信系统(例如，通信系统206)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送也称为电磁信号的RF信号。通信系统的RF电路将电信号与电磁信号相互转换，并经由电磁信号与通信网络和其他通信装置进行通信。RF电路可选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、内存等。通信系统可选地与网络通信，例如因特网(也称为万维网(WWW))、内联网和/或无线网络、例如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)，并且可选地与其他设备通过无线通信来进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 102.11a、IEEE102.11ac、IEEE 102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE 102.11n)、因特网协议上语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，因特网消息接入协议(IMAP)和/或邮局协议(POP))、即时消息传递(例如，可扩展消息传递和呈现协议(XMPP))、即时消息与呈现扩展的会话初始协议(SIMPLE)、即时消息和状态信息服务(IMPS))和/或短消息服务(SMS)或任何其他合适的通信协议，包括在本文档的提交日期尚未开发的通信协议。
尽管上面已经描述了本发明的各种实施例，但是应当理解，它们仅仅是作为示例而不是限制来呈现的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
在本文所述的各种实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如各种所述实施例的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
如本文所使用的，术语“如果”可以被解释为表示“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，这取决于上下文。同样，“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”的表述可以解释为表示“一旦确定”或“响应于确定”或“根据确定”或“一旦检测到”或“响应于检测到”所述先决条件为真，这取决于上下文。
已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是显而易见的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。

Claims (45)

1.一种用于使光学装置相对于图像传感器移动以使图像聚焦的方法，所述方法包括：
当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；
获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；
确定所述第一对比度变化率是否满足第一阈值标准；
根据确定结果将所述光学装置从所述第一位置移动到下一位置；以及
重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述下一位置时获取。
2.根据权利要求1所述的方法，其中所述第二对比度变化率使用针对所述第二图像获得的第二对比度值来确定。
3.根据权利要求1所述的方法，其中根据确定结果将所述光学装置从所述第一位置移动到所述下一位置还包括：
根据所述第一对比度变化率满足所述第一阈值标准的确定：
确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第一步长，将所述光学装置从所述第一位置移动到所述下一位置；以及
根据所述第一对比度变化率不满足所述第一阈值标准的确定：
确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第二步长，将所述光学装置从所述第一位置移动到所述下一位置。
4.根据权利要求1所述的方法，其中确定所述第一对比度变化率满足所述第一阈值标准包括：将所述第一对比度变化率与第一阈值梯度值进行比较。
5.根据权利要求4所述的方法，其中当所述第一对比度变化率超过第一阈值梯度值时，所述第一对比度变化率满足所述第一阈值标准。
6.根据权利要求4所述的方法，其中确定所述第二对比度变化率满足所述第二阈值标准包括：将所述第二对比度变化率与第二阈值梯度值进行比较，其中所述第二阈值梯度值小于所述第一阈值梯度值。
7.根据权利要求3所述的方法，其中确定所述第一步长和所述第二步长中的至少一个包括：
基于包括所述第一对比度值在内的多个对比度值生成曲线；
确定所述光学装置相对于所述图像传感器的位置，所述曲线在所述位置处具有峰值；以及
使用所确定的所述光学装置相对于所述图像传感器的所述曲线具有峰值的位置，来确定所述第一步长。
8.根据权利要求7所述的方法，其中在重复操作的至少一次迭代中，所述曲线是贝塞尔曲线。
9.根据权利要求8所述的方法，其中所述贝塞尔曲线是三次贝塞尔曲线。
10.根据权利要求7所述的方法，其中在重复操作的至少一次迭代中，使用非线性最小二乘法分析确定所述曲线。
11.根据权利要求1所述的方法，其中所述第一对比度值使用来自所述第一图像的至少一个亮度梯度值来确定，其中各亮度梯度值是所述第一图像的一部分上的亮度梯度。
12.根据权利要求11所述的方法，其中所述第一对比度值使用来自所述第一图像的多个亮度梯度值的平均值来确定。
13.根据权利要求1所述的方法，其中所述第一对比度变化率是指示从先前图像到当前图像的对比度值的变化率的梯度值。
14.根据权利要求13所述的方法，其中：
对比度值差是所述第一对比度值与先前图像的对比度值之差；
距离差是捕获所述第一图像的所述光学装置与所述图像传感器之间的第一距离和捕获所述先前图像的所述光学装置与所述图像传感器之间的先前距离之差；以及
所述对比度值的变化率是所述对比度值差除以所述距离差。
15.根据权利要求1所述的方法，还包括：响应于确定所述第二对比度变化率满足所述第二阈值标准，将滤波器应用于多个获得的对比度值以生成过滤后的曲线。
16.根据权利要求15所述的方法，其中所述滤波器是低通滤波器。
17.根据权利要求16所述的方法，其中所述低通滤波器是一维高斯滤波器。
18.根据权利要求15所述的方法，还包括：
确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足结束标准，以及
响应于确定所述过滤后的曲线不满足所述结束标准：
将所述光学装置初始化为处于相对于所述图像传感器的初始位置；以及
重复上述操作。
19.根据权利要求18所述的方法，其中确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足所述结束标准包括：确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线的梯度是否满足第三阈值标准。
20.一种无人机，包括：
动力系统；
成像装置，包括图像传感器和光学装置；以及
一个或多个处理器；
所述一个或多个处理器被配置为：
当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；
获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；
确定所述第一对比度变化率是否满足第一阈值标准；
根据确定结果将所述光学装置从所述第一位置移动到下一位置；以及
重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述下一位置时获取。
21.根据权利要求20所述的无人机，其中所述第二对比度变化率使用针对所述第二图像获得的第二对比度值来确定。
22.根据权利要求20所述的无人机，其中根据确定结果将所述光学装置从所述第一位置移动到所述下一位置还包括：
根据所述第一对比度变化率满足所述第一阈值标准的确定：
确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第一步长，将所述光学装置从所述第一位置移动到所述下一位置；以及
根据所述第一对比度变化率不满足所述第一阈值标准的确定：
确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第二步长，将所述光学装置从所述第一位置移动到所述下一位置。
23.根据权利要求20所述的无人机，还包括深度传感器，其中由所述深度传感器生成的数据被用于确定所述光学装置与所述图像传感器之间的初始化距离。
24.根据权利要求22所述的无人机，其中确定所述第一步长和所述第二步长中的至少一个包括：
基于包括所述第一对比度值在内的多个对比度值生成曲线；
确定所述光学装置相对于所述图像传感器的位置，所述曲线在所述位置处具有峰值；以及
使用所确定的所述光学装置相对于所述图像传感器的所述曲线具有峰值的位置，来确定所述第一步长。
25.根据权利要求24所述的无人机，其中在重复操作的至少一次迭代中，所述曲线是贝塞尔曲线。
26.根据权利要求20所述的无人机，其中所述第一对比度值使用来自所述第一图像的至少一个亮度梯度值来确定，其中各亮度梯度值是所述第一图像的一部分上的亮度梯度。
27.根据权利要求20所述的无人机，其中所述第一对比度变化率是指示从先前图像到当前图像的对比度值的变化率的梯度值。
28.根据权利要求27所述的无人机，其中：
对比度值差是所述第一对比度值与先前图像的对比度值之差；
距离差是捕获所述第一图像的所述光学装置与所述图像传感器之间的第一距离和捕获所述先前图像的所述光学装置与所述图像传感器之间的先前距离之差；以及
所述对比度值的变化率是所述对比度值差除以所述距离差。
29.根据权利要求20所述的无人机，其中所述一个或多个处理器还被配置为：响应于确定所述第二对比度变化率满足所述第二阈值标准，将滤波器应用于多个获得的对比度值以生成过滤后的曲线。
30.根据权利要求29所述的无人机，其中所述滤波器是低通滤波器。
31.根据权利要求29所述的无人机，其中所述一个或多个处理器还被配置为：
确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足结束标准，以及
响应于确定所述过滤后的曲线不满足所述结束标准：
将所述光学装置初始化为处于相对于所述图像传感器的初始位置；以及
重复上述操作。
32.根据权利要求31所述的无人机，其中确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足所述结束标准包括：确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线的梯度是否满足第三阈值标准。
33.一种用于使光学装置相对于图像传感器移动以使图像聚焦的系统，所述系统包括：
一个或多个处理器；以及
成像装置，包括所述图像传感器和所述光学装置；
所述一个或多个处理器被配置为：
当所述光学装置处于相对于所述图像传感器的第一位置时，由所述图像传感器获取第一图像；
获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；
确定所述第一对比度变化率是否满足第一阈值标准；
根据确定结果将所述光学装置从所述第一位置移动到下一位置；
重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述下一位置时获取。
34.根据权利要求33所述的系统，其中所述第二对比度变化率使用针对所述第二图像获得的第二对比度值来确定。
35.根据权利要求33所述的系统，其中根据确定结果将所述光学装置从所述第一位置移动到所述下一位置包括：
根据所述第一对比度变化率满足所述第一阈值标准的确定：
确定第一步长，其中所述第一步长大于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第一步长，将所述光学装置从所述第一位置移动到所述下一位置；以及
根据所述第一对比度变化率不满足所述第一阈值标准的确定：
确定第二步长，其中所述第二步长小于用于将所述光学装置移动到所述第一位置的先前步长，以及
根据所述第二步长，将所述光学装置从所述第一位置移动到所述下一位置。
36.根据权利要求35所述的系统，其中确定所述第一步长和所述第二步长中的至少一个包括：
基于包括所述第一对比度值在内的多个对比度值生成曲线；
确定所述光学装置相对于所述图像传感器的位置，所述曲线在所述位置处具有峰值；以及
使用所确定的所述光学装置相对于所述图像传感器的所述曲线具有峰值的位置，来确定所述第一步长。
37.根据权利要求36所述的系统，其中在重复操作的至少一次迭代中，所述曲线是贝塞尔曲线。
38.根据权利要求33所述的系统，其中所述第一对比度值使用来自所述第一图像的至少一个亮度梯度值来确定，其中各亮度梯度值是所述第一图像的一部分上的亮度梯度。
39.根据权利要求33所述的系统，其中所述第一对比度变化率是指示从先前图像到当前图像的对比度值的变化率的梯度值。
40.根据权利要求39所述的系统，其中：
对比度值差是所述第一对比度值与先前图像的对比度值之差；
距离差是捕获所述第一图像的所述光学装置与所述图像传感器之间的第一距离和捕获所述先前图像的所述光学装置与所述图像传感器之间的先前距离之差；以及
所述对比度值的变化率是所述对比度值差除以所述距离差。
41.根据权利要求33所述的系统，其中所述一个或多个处理器还被配置为：响应于确定所述第二对比度变化率满足所述第二阈值标准，将滤波器应用于多个获得的对比度值以生成过滤后的曲线。
42.根据权利要求41所述的系统，其中所述滤波器是低通滤波器。
43.根据权利要求41所述的系统，其中所述一个或多个处理器还被配置为：
确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足结束标准，以及
响应于确定所述过滤后的曲线不满足所述结束标准：
将所述光学装置初始化为处于相对于所述图像传感器的初始位置；以及
重复上述操作。
44.根据权利要求43所述的系统，其中确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线是否满足所述结束标准包括：确定所述光学装置相对于所述图像传感器的当前位置处的所述过滤后的曲线的梯度是否满足第三阈值标准。
45.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括在被执行时使成像装置执行以下操作的指令：
当光学装置处于相对于图像传感器的第一位置时，由所述图像传感器获取第一图像；
获得所述第一位置处的所述第一图像的第一对比度值和第一对比度变化率；
确定所述第一对比度变化率是否满足第一阈值标准；
根据确定结果将所述光学装置从所述第一位置移动到下一位置；以及
重复上述操作，直到第二图像的第二对比度变化率满足第二阈值标准，其中所述第二图像在所述光学装置处于所述下一位置时获取。
CN201680082952.XA 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦 Expired - Fee Related CN108780261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182650.4A CN112312018B (zh) 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/079506 WO2017177465A1 (en) 2016-04-15 2016-04-15 Contrast detection autofocus using adaptive step

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011182650.4A Division CN112312018B (zh) 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦

Publications (2)

Publication Number Publication Date
CN108780261A CN108780261A (zh) 2018-11-09
CN108780261B true CN108780261B (zh) 2020-11-17

Family

ID=60041285

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011182650.4A Active CN112312018B (zh) 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦
CN201680082952.XA Expired - Fee Related CN108780261B (zh) 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011182650.4A Active CN112312018B (zh) 2016-04-15 2016-04-15 使用自适应步长的对比度检测自动聚焦

Country Status (3)

Country Link
US (3) US10798286B2 (zh)
CN (2) CN112312018B (zh)
WO (1) WO2017177465A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212008A1 (ja) * 2017-05-16 2018-11-22 富士フイルム株式会社 撮像装置及び画像合成装置
JP6565072B2 (ja) * 2017-10-30 2019-08-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、レンズ装置、飛行体、制御方法、及びプログラム
JP6798072B2 (ja) * 2019-04-24 2020-12-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、移動体、制御方法、及びプログラム
CN110381261B (zh) * 2019-08-29 2020-11-03 重庆紫光华山智安科技有限公司 聚焦方法、装置、计算机可读存储介质及电子设备
WO2021080524A1 (en) * 2019-10-23 2021-04-29 Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ Passive and adaptive focus optimization method for an optical system
CN112525909A (zh) * 2020-12-03 2021-03-19 湖南伊鸿健康科技有限公司 一种电子显微镜的自动对焦方法
CN114354630A (zh) * 2022-01-07 2022-04-15 京东方科技集团股份有限公司 一种图像获取系统、方法及显示面板加工设备
CN114544004A (zh) * 2022-02-25 2022-05-27 浙江天铂云科光电股份有限公司 一种用于红外热像仪的自动聚焦方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1917585A (zh) * 2005-06-29 2007-02-21 卡西欧计算机株式会社 摄影装置以及自动聚焦控制方法
CN1926852A (zh) * 2004-08-04 2007-03-07 卡西欧计算机株式会社 显示调焦信息的照相设备
JP2008228185A (ja) * 2007-03-15 2008-09-25 Fujifilm Corp 撮像装置
CN101907815A (zh) * 2009-06-05 2010-12-08 佳能株式会社 摄像设备及其控制方法
CN101924880A (zh) * 2009-06-15 2010-12-22 卡西欧计算机株式会社 具有自动对焦功能的拍摄装置
EP2648401A1 (en) * 2010-12-01 2013-10-09 NEC CASIO Mobile Communications, Ltd. Mobile terminal, image processing method and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005086A (en) * 1988-03-04 1991-04-02 Sony Corporation Focus control apparatus having two focusing speeds
US5070408A (en) * 1989-05-19 1991-12-03 Sony Corporation Focusing apparatus and digital filters for use therewith
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
TWI324015B (en) * 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
US8958009B2 (en) * 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
CN102629978B (zh) * 2012-03-26 2014-08-06 深圳英飞拓科技股份有限公司 一种通过自动聚焦来检测靶面平整度的高清网络半球
CN103235397B (zh) * 2013-04-28 2016-05-25 华为技术有限公司 一种自动对焦方法及设备
JP2016118634A (ja) * 2014-12-19 2016-06-30 オリンパス株式会社 撮影装置及び撮影方法
US9826156B1 (en) * 2015-06-16 2017-11-21 Amazon Technologies, Inc. Determining camera auto-focus settings
WO2016203692A1 (ja) * 2015-06-18 2016-12-22 ソニー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926852A (zh) * 2004-08-04 2007-03-07 卡西欧计算机株式会社 显示调焦信息的照相设备
CN1917585A (zh) * 2005-06-29 2007-02-21 卡西欧计算机株式会社 摄影装置以及自动聚焦控制方法
JP2008228185A (ja) * 2007-03-15 2008-09-25 Fujifilm Corp 撮像装置
CN101907815A (zh) * 2009-06-05 2010-12-08 佳能株式会社 摄像设备及其控制方法
CN101924880A (zh) * 2009-06-15 2010-12-22 卡西欧计算机株式会社 具有自动对焦功能的拍摄装置
EP2648401A1 (en) * 2010-12-01 2013-10-09 NEC CASIO Mobile Communications, Ltd. Mobile terminal, image processing method and program

Also Published As

Publication number Publication date
CN112312018A (zh) 2021-02-02
US20210006728A1 (en) 2021-01-07
US10944897B2 (en) 2021-03-09
WO2017177465A1 (en) 2017-10-19
US20210211581A1 (en) 2021-07-08
US10798286B2 (en) 2020-10-06
US20190014265A1 (en) 2019-01-10
CN112312018B (zh) 2022-05-17
CN108780261A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108780261B (zh) 使用自适应步长的对比度检测自动聚焦
US11019255B2 (en) Depth imaging system and method of rendering a processed image to include in-focus and out-of-focus regions of one or more objects based on user selection of an object
US10930000B2 (en) Method and system for detecting and tracking objects using characteristic points
CN109891351B (zh) 基于图像的对象检测和对应的移动调整操纵的方法和系统
US20210227146A1 (en) Autofocus initialization based on target detection
US11049261B2 (en) Method and system for creating video abstraction from image data captured by a movable object
US10853969B2 (en) Method and system for detecting obstructive object at projected locations within images
US11320817B2 (en) Target-based image exposure adjustment
EP3516860A1 (en) Image processing in an unmanned autonomous vehicle
US20210392299A1 (en) Method and system for handling image data
US11130593B2 (en) Optical path length adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201117

CF01 Termination of patent right due to non-payment of annual fee