CN108780262A - 基于目标检测的自动对焦初始化 - Google Patents

基于目标检测的自动对焦初始化 Download PDF

Info

Publication number
CN108780262A
CN108780262A CN201680083610.XA CN201680083610A CN108780262A CN 108780262 A CN108780262 A CN 108780262A CN 201680083610 A CN201680083610 A CN 201680083610A CN 108780262 A CN108780262 A CN 108780262A
Authority
CN
China
Prior art keywords
depth
imaging device
optical device
sensor
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680083610.XA
Other languages
English (en)
Other versions
CN108780262B (zh
Inventor
俞利富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108780262A publication Critical patent/CN108780262A/zh
Application granted granted Critical
Publication of CN108780262B publication Critical patent/CN108780262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

系统、方法和/或装置用于相对于图像传感器移动光学器件以对焦图像。装置经由一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值。所述一组深度测量值的各深度测量值指示从成像装置到物体的距离。一个或多个朝向传感器确定成像装置在预定坐标系统内的朝向信息。所述方法还包括基于所述深度测量值组和所述朝向信息来估计成像装置和所述物体之间的物距。

Description

基于目标检测的自动对焦初始化
技术领域
所公开的实施例总体上涉及对焦图像，更具体地但不排他地涉及基于要成像的物体的位置调整成像装置内的光学器件的位置。
背景技术
诸如无人飞行器(UAV)的可移动物体通常配备有各种类型的传感器。例如，UAV可以使用深度传感器以进行例如避障和/或目标检测。固定在UAV上的朝向传感器可以用于例如成像和/或飞行控制目的。可移动物体可以包括诸如相机的成像装置，其在可移动物体运行时捕获图像。自动对焦技术广泛用于各种相机，用于调整装置的光学系统以提供对焦图像输出。由于UAV经常相对于图像主体运动，因此快速自动对焦过程对于连接到UAV的相机而言特别有利。
发明内容
需要一种使用可移动物体传感器数据来初始化光学器件相对于图像传感器的距离的系统和方法。这样的系统和方法可选地补充或取代用于将光学器件移动到相对于图像传感器的初始位置的常规方法。根据本申请的一些实施例的光学器件的精心选择的初始位置可以显著减少将包括所述光学器件的成像装置对焦在期望目标上并拍摄所述目标的图片所花费的时间。当成像装置被承载在诸如UAV、机器人、载运工具等的可移动物体上时，该特征是非常重要的。
根据一些实施例，一种用于相对于成像装置内的图像传感器移动光学器件的方法包括：由一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值。所述一组深度测量值的各深度测量值指示从成像装置到物体的距离。一个或多个朝向传感器确定成像装置在预定坐标系统内的朝向信息。所述方法还包括：基于所述一组深度测量值和所述朝向信息来估计所述成像装置与所述物体之间的物距，并根据所估计的成像装置与物体之间的物距和光学器件的焦距来将所述光学器件从第一位置移动到第二位置。在一些实施例中，基于所估计的物距和光学器件的焦距来确定像距。光学器件根据所确定的像距从第一位置移动到第二位置。
根据一些实施例，一种无人飞行器(UAV)包括：推进系统；一个或多个深度传感器；一个或多个朝向传感器；包括图像传感器和光学器件的成像装置；以及连接到所述推进系统、所述一个或多个深度传感器、所述一个或多个朝向传感器和所述成像装置的一个或多个处理器。所述一个或多个处理器被配置为：由所述一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值。所述一组深度测量值的各深度测量值指示从成像装置到物体的距离。所述一个或多个朝向传感器确定成像装置在预定坐标系统内的朝向信息。所述一个或多个传感器还被配置为：基于所述一组深度测量值和所述朝向信息来估计所述成像装置与所述物体之间的物距，并根据所估计的成像装置与物体之间的物距和光学器件的焦距来将所述光学器件从第一位置移动到第二位置。在一些实施例中，基于所估计的物距和光学器件的焦距来确定像距。光学器件根据所确定的像距从第一位置移动到第二位置。
根据一些实施例，一种用于在成像装置中相对于图像传感器移动光学器件的系统包括：一个或多个深度传感器；一个或多个朝向传感器；包括图像传感器和光学器件的成像装置；以及连接到所述一个或多个深度传感器、所述一个或多个朝向传感器和所述成像装置的一个或多个处理器。所述一个或多个处理器被配置为：由所述一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值。所述一组深度测量值的各深度测量值指示从成像装置到物体的距离。所述一个或多个朝向传感器确定成像装置在预定坐标系统内的朝向信息。所述一个或多个传感器还被配置为：基于所述一组深度测量值和所述朝向信息来估计所述成像装置与所述物体之间的物距，并根据所估计的成像装置与物体之间的物距和光学器件的焦距来将所述光学器件从第一位置移动到第二位置。在一些实施例中，基于所估计的物距和光学器件的焦距来确定像距。光学器件根据所确定的像距从第一位置移动到第二位置。
根据一些实施例，一种计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，其中所述指令在被执行时使装置：由所述一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值。所述一组深度测量值的各深度测量值指示从成像装置到物体的距离。所述一个或多个朝向传感器确定成像装置在预定坐标系统内的朝向信息。所述一个或多个程序还包括指令，其中所述指令在被执行时引起所述装置：基于所述一组深度测量值和所述朝向信息来估计所述成像装置与所述物体之间的物距，并根据所估计的成像装置与物体之间的物距和光学器件的焦距来将所述光学器件从第一位置移动到第二位置。在一些实施例中，基于所估计的物距和光学器件的焦距来确定像距。光学器件根据所确定的像距从第一位置移动到第二位置。
附图说明
图1示出了根据一些实施例的可移动物体环境。
图2示出了根据一些实施例的可移动物体。
图3示出了根据一些实施例的可移动物体的感测系统。
图4示出了根据一些实施例的由可移动物体的深度传感器获得的一组深度测量值。
图5示出了成像装置的光学器件与远方物体之间的物距。
图6示出了根据一些实施例的在空间坐标系的情境下的一组深度测量值。
图7示出了根据一些实施例的用于确定物距的估计值的变量。
图8A示出了根据一些实施例的光学器件与图像传感器相距第一距离的成像装置。
图8B示出了根据一些实施例的光学器件与图像传感器相距第二距离的成像装置。
图9A-9C是示出了根据一些实施例的用于相对于图像传感器移动光学器件的方法的流程图。
具体实施方式
现将详细参照实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对各种所述实施例的透彻理解。然而，本领域技术人员将理解可以在无需这些特定细节的情况下实践各种所述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免不必要地使实施例的方面模糊不清。
以下描述使用无人飞行器(UAV)作为可移动物体的示例。UAV包括例如固定机翼的飞行器和旋转机翼的飞行器，诸如，直升机、四轴飞行器以及具有其他数量和/或配置的旋翼的飞行器。本领域技术人员显而易见可知的是其他类型的可移动物体可以代替下文所述的UAV。
这里描述与针对诸如UAV的可移动物体的光学调整有关的技术。配备有提供深度测量数据和/或朝向数据的传感器的UAV或其它装置可以利用传感器数据来快速确定光学器件相对于成像装置中的图像传感器的初始位置，从而加快实现成像装置对焦的速度。
图1示出了根据一些实施例的可移动物体环境100。可移动物体环境100包括可移动物体102。在一些实施例中，可移动物体102包括载体104和/或负载106。
在一些实施例中，载体104被用于将负载106连接到可移动物体102。在一些实施例中，载体104包括用于将负载106与可移动物体102的移动和/或移动机构114的移动相隔离的元件(例如，云台和/或减震元件)。在一些实施例中，载体104包括用于控制负载106相对于可移动物体102的移动的元件。
在一些实施例中，负载106被连接(例如，刚性地连接)到可移动物体102(例如，经由载体104连接)，使得负载106相对于可移动物体102保持基本静止。例如，载体104被连接到负载106，使得负载不能相对于可移动物体102移动。在一些实施例中，负载106被直接安装到可移动物体102，而不需要载体104。在一些实施例中，负载106部分地或完全地位于可移动物体102内。
在一些实施例中，控制单元108与可移动物体102通信，例如以向可移动物体102提供控制指令和/或显示从可移动物体102接收到的信息。尽管控制单元108通常是便携式(例如，手持式)设备，但是控制单元108不需要是便携式的。在一些实施例中，控制单元108是专用控制装置(例如，针对可移动物体102)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风、便携式通信装置(例如，移动电话)和/或其组合。
在一些实施例中，控制单元108的输入装置接收用户输入以控制可移动物体102、载体104、负载106和/或其组件的各方面。这些方面包括例如朝向、位置、朝向、速度、加速度、导航和/或跟踪。例如，用户将控制单元108的输入装置的位置(例如，输入装置的组件的位置)手动设置到与用于控制可移动物体102的输入(例如，预定输入)相对应的位置。在一些实施例中，输入装置由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，控制单元108的输入装置用于输入针对可移动物体102的飞行模式，例如，根据预定导航路径的自动驾驶或导航。
在一些实施例中，控制单元108的显示器显示由可移动物体感测系统210、存储器204和/或可移动物体102的另一系统生成的信息。例如，显示器显示关于可移动物体102、载体104和/或负载106的信息，诸如可移动物体102的位置、朝向、朝向、移动特性和/或可移动物体102与另一物体(例如，目标和/或障碍物)之间的距离。在一些实施例中，由控制单元108的显示器显示的信息包括由成像装置302(图3)捕获的图像、跟踪数据(例如，应用于目标的表示的图形跟踪指示符)和/或传送到可移动物体102的控制数据的指示。在一些实施例中，当从可移动物体102接收信息时和/或当获取图像数据时，基本实时地显示由控制单元108的显示器显示的信息。在一些实施例中，控制单元108的显示器是触摸屏显示器。
在一些实施例中，可移动物体环境100包括计算装置110。计算装置110例如是服务器计算机、云服务器、台式计算机、膝上型计算机、平板电脑或另一便携式电子装置(例如，移动电话)。在一些实施例中，计算装置110是与可移动物体102和/或控制单元108进行通信(例如，无线地)的基站。在一些实施例中，计算装置110提供数据存储、数据检索和/或数据处理操作，例如以降低可移动物体102和/或控制单元108的处理能力要求和/或数据存储要求。例如，计算装置110可通信地连接到数据库和/或计算装置110包括数据库。在一些实施例中，可以使用计算装置110代替控制单元108或除了控制单元108之外，使用计算装置110以执行关于控制单元108所描述的任何操作。
在一些实施例中，可移动物体102例如经由无线通信112与控制单元108和/或计算装置110进行通信。在一些实施例中，可移动物体102从控制单元108和/或计算装置110接收信息。例如，由可移动物体102接收的信息包括例如用于控制可移动物体102的控制指令。在一些实施例中，可移动物体102向控制单元108和/或计算装置110发送信息。例如，由可移动物体102发送的信息包括例如由可移动物体102捕获的图像和/或视频。
在一些实施例中，经由网络(例如，因特网116)和/或如蜂窝塔118的无线信号发射器(例如，远程无线信号发射器)发送计算装置110、控制单元108和/或可移动物体102之间的通信。在一些实施例中，卫星(未示出)是因特网116的组件，和/或是除了蜂窝塔118之外或代替蜂窝塔118使用的。
在一些实施例中，在计算装置110、控制单元108和/或可移动物体102之间传送的信息包括控制指令。控制指令包括例如用于控制可移动物体102的导航参数(诸如，位置、朝向、朝向和/或可移动物体102、载体104和/或负载106的一个或多个移动特性)的导航指令。在一些实施例中，控制指令包括引导一个或多个移动机构114的移动的指令。例如，控制指令用于控制UAV的飞行。
在一些实施例中，控制指令包括用于控制载体104的操作(例如，移动)的信息。例如，控制指令用于控制载体104的致动结构，以便引起负载106相对可移动物体102的角度移动和/或线性移动。在一些实施例中，控制指令以多达六个自由度来调节载体104相对于可移动物体102的移动。
在一些实施例中，控制指令被用于调整负载106的一个或多个操作参数。例如，控制指令包括用于调整光学参数(例如，成像装置302的光学参数)的指令。在一些实施例中，控制指令包括多个指令，用于调整成像属性和/或图像装置功能，诸如调整图像传感器304与光学器件306(图3)之间的距离；捕获图像；启动/停止视频捕获；打开或关闭成像装置302；调整成像模式(例如，捕捉静止图像或捕捉视频)；调整立体成像系统的左右组件之间的距离；和/或调整载体104、负载106和/或成像装置302的位置、朝向和/或移动(例如，平移速率、平移距离)。
在一些实施例中，当可移动物体102接收到控制指令时，控制指令改变可移动物体102的参数和/或由可移动物体102的存储器204(图2)存储。
图2示出了根据一些实施例的示例性可移动物体102。可移动物体102通常包括一个或多个处理器202、存储器204、通信系统206、可移动物体感测系统210以及用于将这些组件互连的一个或多个通信总线208。
在一些实施例中，可移动物体102是UAV并且包括用于支持飞行和/或飞行控制的组件。在一些实施例中，可移动物体102包括具有一个或多个网络或其他通信接口(例如，通过其接收飞行控制指令)的通信系统206，一个或多个移动机构114和/或一个或多个可移动物体致动器212(例如，响应于所接收的控制指令而引起移动机构114的移动)。尽管可移动物体102被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。
在一些实施例中，可移动物体102包括移动机构114(例如，推进机构)。尽管为了便于参考而使用复数术语“移动机构”，但是“移动机构114”指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个旋翼)。移动机构114包括一个或多个移动机构类型，例如旋翼、螺旋桨、叶片、发动机、电机、车轮、车轴、磁体、喷嘴等。移动机构114在例如顶部、底部、前部、后部和/或侧部与可移动物体102相连接。在一些实施例中，单个可移动物体102的移动机构114包括相同类型的多个移动机构。在一些实施例中，单个可移动物体102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用诸如支撑元件(例如驱动轴)和/或其它致动元件(例如，可移动物体致动器212)的任何合适装置，来与可移动物体102相连接。例如，可移动物体致动器212从处理器202接收控制信号(例如，经由控制总线208)，该控制信号激活可移动物体致动器212以引起移动机构114的移动。例如，处理器202包括向可移动物体致动器212提供控制信号的电子调速控制器。
在一些实施例中，移动机构114使可移动物体102能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体102的任何水平移动(例如，无需沿着跑道行进)。在一些实施例中，移动机构114可操作地允许可移动物体102以特定位置和/或朝向悬停在空中。在一些实施例中，移动机构114中的一个或多个可独立于其他移动机构114中的一个或多个来控制。例如，当可移动物体102是四旋翼机时，四旋翼机的每个旋翼都可独立于四旋翼机的其他旋翼进行控制。在一些实施例中，多个移动机构114被配置为用于同时移动。
在一些实施例中，移动机构114包括为可移动物体102提供升力和/或推力的多个旋翼。致动多个旋翼，以向可移动物体102提供例如垂直起飞、垂直着陆和悬停的能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，而一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋翼的数量等于逆时针旋翼的数量。在一些实施例中，每个旋翼的旋转速率可以独立地变化，以便例如控制由每个旋翼产生的升力和/或推力，从而调节可移动物体102的空间部署、速度和/或加速度(例如，相对于最多三个平移度和/或最多三个旋转度)。
在一些实施例中，存储器204存储在本文被统称为“元件”的一个或多个指令、程序(例如，指令集)、模块、控制系统和/或数据结构。关于存储器204描述的一个或多个元件可选地由控制单元108、计算装置110和/或另一装置存储。在一些实施例中，成像装置302包括存储关于存储器204描述的一个或多个参数的存储器。
在一些实施例中，存储器204存储包括一个或多个系统设置的(例如，如由制造商、管理员和/或用户配置的)控制系统配置。例如，可移动物体102的识别信息被存储为系统配置的系统设置。在一些实施例中，控制系统配置包括针对成像装置302的配置。针对成像装置302的配置存储多个参数，诸如，位置(例如，光学器件306相对于图像传感器304的位置)、缩放水平和/或对焦参数(例如，对焦量、选择自动对焦或手动对焦和/或调整图像中的自动对焦目标)。由成像装置配置存储的成像属性参数包括例如图像分辨率、图像大小(例如，图像宽度和/或高度)、长宽比、像素数、质量、焦距、景深、曝光时间、快门速度和/或白平衡。在一些实施例中，响应于控制指令(例如，由处理器202生成和/或由可移动物体102从控制单元108和/或计算装置110接收)来更新由成像装置配置存储的参数。在一些实施例中，响应于从可移动物体感测系统210和/或成像装置302接收到的信息来更新由成像装置配置存储的参数。
在一些实施例中，控制系统执行成像装置调整。成像装置调整模块存储例如用于调整图像传感器304与成像装置302的光学器件306之间的距离的指令，例如用于控制成像装置致动器308的指令。在一些实施例中，用于执行成像装置调整的一个或多个指令被存储在存储器204中。
在一些实施例中，控制系统执行自动对焦操作。例如，当装置根据图像分析确定焦点水平已经下降到焦点水平阈值以下时，响应于确定可移动物体102和/或图像对象(例如，目标或远程物体)已经移动超过阈值距离，和/或响应于用户输入，可以例如周期性地执行自动对焦操作。在一些实施例中，用户输入(例如，在控制单元108和/或计算装置110处接收的)启动和/或调整自动对焦模式。在一些实施例中，用户输入指示为了自动对焦操作而使用和/或优先化的一个或多个区域(例如，在由成像装置302捕获的图像中，诸如由控制单元108和/或计算装置110显示的图像)。在一些实施例中，自动对焦模块根据由像距确定模块确定的像距值生成用于相对于图像传感器304移动光学器件306的控制指令。在一些实施例中，用于执行自动对焦操作的一个或多个指令被存储在存储器204中。
在一些实施例中，控制系统执行像距确定，例如，以根据这里描述的操作来确定物距和/或像距。例如，像距确定模块使用来自可移动物体的一个或多个深度传感器和一个或多个朝向传感器的传感器数据来确定像距，并根据所确定的像距生成用于相对于图像传感器304移动光学器件306的控制指令。在一些实施例中，用于执行像距确定的一个或多个指令被存储在存储器204中。
上述标识的控制系统、模块或程序(即，指令集)不需要作为单独的软件程序、过程或模块来实施，因此可以在各种实施例中组合或重新排列这些模块的各种子集，并将其存储在存储器204中。在一些实施例中，控制系统可以包括以上标识的模块和数据结构的子集。此外，存储器204可以存储以上没有描述的附加模块和数据结构。在一些实施例中，存储在存储器204的程序、模块和数据结构或存储器204的非暂时性计算机可读存储介质提供用于实现下面描述的方法中的各个操作的指令。在一些实施例中，这些模块中的一些或全部可以实现为包含部分或全部模块功能的专用硬件电路。可以由可移动物体102的一个或多个处理器202执行一个或多个上述元件。在一些实施例中，一个或多个上述标识的模块被存储在远离可移动物体的装置的一个或多个存储装置上(诸如控制单元108、计算装置110和/或成像装置302的存储器)和/或由远离可移动物体102的装置的一个或多个处理器(诸如控制单元108、计算装置110和/或成像装置302的处理器)执行。
通信系统206支持例如经由无线信号112与控制单元108和/或计算装置110进行通信。通信系统206包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得仅由可移动物体102从控制单元108和/或计算装置110接收数据，反之亦然。在一些实施例中，通信是双向通信，使得在可移动物体102与控制单元108和/或计算装置110之间的两个方向上传输数据。在一些实施例中，可移动物体102、控制单元108和/或计算装置110连接到因特网116或其它电信网络，例如使得由可移动物体102、控制单元108和/或计算装置110生成的数据被传送到服务器以用于数据存储和/或数据检索(例如，用于由网站显示)。
在一些实施例中，可移动物体102的感测系统210包括一个或多个传感器。在一些实施例中，可移动物体感测系统210的一个或多个传感器安装到可移动物体102的外部、位于其中或以其他方式与之相连接。在一些实施例中，可移动物体感测系统210的一个或多个传感器是载体104、负载106和/或成像装置302的组件和/或连接到载体104、负载106和/或成像装置302。在本文将感测操作描述为由可移动物体感测系统210执行的情况下，可以理解，除了可移动物体感测系统210的一个或多个传感器之外和/或代替可移动物体感测系统210的一个或多个传感器，这样的操作可选地由载体104、负载106和/或成像装置302的一个或多个传感器来执行。
图3示出了根据一些实施例的可移动物体102的感测系统210。可移动物体感测系统210包括成像装置302、深度传感器310和/或朝向传感器312。
可移动物体感测系统210产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，诸如视频)。
在一些实施例中，可移动物体感测系统210包括成像装置302(诸如，相机)。在一些实施例中，成像装置302是负载106或是负载106的组件。成像装置302包括图像传感器304和光学器件306。在一些实施例中，光学器件306和/或成像装置302由成像装置致动器308驱动。
在一些实施例中，可移动物体感测系统210包括多个图像传感器304、光学器件306和/或成像装置致动器308。例如，可移动物体102包括一对成像装置302(例如，左侧成像装置和右侧成像装置)，用于立体成像。
图像传感器304例如是检测诸如可见光、红外光和/或紫外光的光的传感器。在一些实施例中，图像传感器304包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS，Live MOS)技术的有源像素传感器。
光学器件306影响到达图像传感器304的光的对焦。例如，光学器件306是包括多个透镜(例如，复合透镜)的透镜或器件。透镜例如是具有曲面的材料，其产生透镜特性，例如使光线会聚(例如，在焦距处)和/或发散。
成像装置致动器308例如是诸如液压、气动、电、热、磁和/或机械电机的电机。在一些实施例中，成像装置致动器308相对于成像装置302的图像传感器304沿着一个或多个轴线平移光学器件306。在一些实施例中，成像装置致动器308根据由处理器(例如，处理器202)发送的信号来移动光学器件306。
在一些实施例中，可移动物体感测系统210包括一个或多个红外传感器。在一些实施例中，用于测量从可移动物体102到物体或表面的距离的距离测量系统包括一个或多个红外传感器，例如用于立体成像和/或距离确定的左侧红外传感器和右侧红外传感器。
在一些实施例中，可移动物体感测系统210包括一个或多个声学换能器。例如，声学检测系统包括音频输出换能器(例如，扬声器)和音频输入换能器(例如，诸如抛物线麦克风的麦克风)。在一些实施例中，麦克风和扬声器被用作声纳系统的组件。例如使用声纳系统来提供可移动物体102的周围环境的三维地图。在一些实施例中，一个或多个声学换能器被配置为接收和/或发射超声频率波。
在一些实施例中，深度传感器310包括例如一个或多个压力传感器(诸如，z轴上的声学换能器)、一个或多个红外传感器、一个或多个超声传感器、一个或多个雷达传感器、一个或多个立体相机、一个或多个飞行时间(ToF)相机和/或一个或多个图像传感器。例如，深度传感器310包括用于立体成像的一对成像装置302(例如，左侧成像装置和右侧成像装置)，用于立体成像红外成像的一对红外传感器和/或用于立体声纳感测的一对压力传感器。深度传感器310被用于例如确定从可移动物体102到另一物体(诸如目标、障碍物和/或地形)的距离。
在一些实施例中，可移动物体感测系统210包括一个或多个全球定位系统(GPS)传感器、运动传感器(例如，加速度计)、惯性传感器(例如惯性测量单元(IMU))、罗盘系统、一个或多个接近传感器(例如，红外传感器)和/或天气传感器。可移动物体102的朝向可以由可移动物体感测系统210来确定。在一些实施例中，朝向传感器312包括例如用于检测成像装置302和/或可移动物体102的朝向的加速度计、磁力计、一个或多个电位计、一个或多个霍尔传感器和/或陀螺仪。在一些实施例中，成像装置302的朝向由内置在支撑成像装置302的云台中的IMU确定。
在一些实施例中，由可移动物体感测系统210的一个或多个传感器产生的感测数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息被传输到控制单元108和/或计算装置110(例如，经由通信系统206)。在一些实施例中，存储器204存储由可移动物体感测系统210的一个或多个传感器产生的数据和/或使用来自可移动物体感测系统210的一个或多个传感器的感测数据确定的信息。
在一些实施例中，可移动物体102、控制单元108和/或计算装置110使用由感测系统210的传感器生成的感测数据来确定信息，诸如可移动物体102的位置(例如，经由一个或多个GPS传感器的输出)、可移动物体102的朝向(例如，经由朝向传感器312的输出)、可移动物体102的移动特性(例如，角速度、角加速度、平移速度、平移加速度和/或沿着一个或多个轴的运动方向)和/或可移动物体102与潜在障碍物的接近度(例如，经由一个或多个深度传感器310的输出)、图像主体、目标、天气状况、地理特征的位置和/或人造结构的位置。
图4示出了根据一些实施例的由可移动物体102的深度传感器310获得的一组深度测量值。在一些实施例中，深度传感器310包括沿着空间坐标系的x轴(例如，如在402处所示的轴线所定义的)朝向的第一深度传感器310x、沿着空间坐标系的y轴朝向的第二深度传感器310y以及沿着空间坐标系的z轴朝向的第三深度传感器310z。第一深度传感器310x获取对从可移动物体102沿着x轴到表面(例如，远方物体404的表面)的距离加以指示的深度测量值hx。第二深度传感器310y获取对从可移动物体102沿着y轴到表面的距离加以指示的深度测量值hy。第三深度传感器310z获取对从可移动物体102沿着z轴到表面的距离加以指示的深度测量值hz。
图5示出了成像装置302的光学器件306与远方物体404之间的物距ho。在图5的说明性示例中，成像装置302是负载106(或其组件)。朝向传感器312输出成像装置302和/或可移动物体102在预定义空间坐标系402内的朝向信息。例如，成像装置302的朝向信息指示光学器件306的中心轴线的朝向。光学器件306的中心轴线例如是从光学器件306的中心远离成像装置302(例如，与光学器件306和图像传感器304之间的路径相反的方向)投射的轴。对图5中的物距ho加以指示的虚线还示出了光学器件306的中心轴线。
图6在空间坐标系402的情境下示出了hx、hy、hz和ho。在一些实施例中，为了确定物距ho的估计值，使用等式(1)：
h0＝hz-(hz-hx-(hy-hx)*sinA1)*sinC (1)
图7示出了角度∠A1和∠C。角度∠C是ho和hz之间的角度。使用来自朝向传感器312的朝向信息来确定角度∠C。角度∠A1是hol和hx之间的角度，其中ho1是hx在XY平面上的投影。使用来自朝向传感器312的朝向信息来确定角度∠A1。
等式(1)的结果被用于确定像距dimage。在一些实施例中，当确定dimage时，相对于图像传感器304移动光学器件306，使得光学器件306与图像传感器304之间的距离等于dimage。例如，图像装置致动器308根据从例如处理器202接收的信号来移动光学器件306和/或图像传感器304。在各种情况下，将光学器件304与图像装置306之间的距离调整为初始距离dimage减少了执行自动对焦过程所需的时间量。
在一些实施例中，使用等式(2)来确定像距dimage：
其中f是光学器件306的焦距，而ho是等式(1)的结果(其近似等于光学器件306与远方物体404之间的距离)。
图8A示出了成像装置302，其中光学器件306与远方物体404相距距离ho并且与图像传感器304相距第一距离doriginal。当确定像距dimage时，光学器件306从距图像传感器304的第一距离doriginal被移动到距图像传感器304的第二距离dimage。
图8B示出了成像装置302，其中光学器件306已经从距图像传感器304为距离doriginal的原始位置移动到(例如，沿着由箭头802指示的路径)距图像传感器304为所确定的像距dimage。
图9A-9C是示出了根据一些实施例的用于相对于图像传感器304移动光学器件306的方法900的流程图。在诸如可移动物体102、成像装置302、控制单元108和/或计算装置110的装置处执行方法900。例如，在一些实施例中，用于执行方法900的指令被存储在存储器204中并由处理器202执行。
所述装置(902)通过一个或多个深度传感器310获取预定义空间坐标系402内的一组深度测量值。例如，该装置分别使用深度传感器310x、310y、310z来获取一组深度测量值hx、hy、hz，如图4中所示。所述一组深度测量值的各深度测量值指示从成像装置302到物体的距离。例如，深度测量值hx、hy、hz的各个深度测量值指示从成像装置302到例如远方物体404的距离。
所述装置(904)通过一个或多个朝向传感器312确定预定义空间坐标系402内的成像装置302的朝向信息。
所述装置基于一组深度测量值(例如，hx、hy、hz)和朝向信息，估计(906)成像装置302和物体(例如，远方物体404)之间的物距ho。例如，该装置使用等式(1)来估计物距ho。在一些实施例中，两个测量值hx、hy之一是用于估计物距的可选项(例如，当物体位于预定义空间坐标系402的两个水平轴之一上时)。
所述装置根据所估计的成像装置与物体之间的物距以及光学器件的焦距，将光学器件306从第一位置移动(908)至第二位置。在一些实施例中，所述装置基于所估计的物距ho和光学器件的焦距f来确定像距dimage。例如，该装置使用等式(2)来确定像距dimage。光学器件306从第一位置移动到像距为dimage的第二位置。例如，如图8A-8B所示，该装置将光学器件306沿着由箭头802指示的路径从第一位置移动到第二位置，在第一位置处，光学器件306距图像传感器304的距离为doriginal，在第二位置处，光学器件306距图像传感器304的距离为dimage。
在一些实施例中，所述一个或多个深度传感器包括(912)：第一深度传感器，具有沿着第一轴线的第一朝向(例如，如图4所示的深度传感器310x)；第二深度传感器，具有沿着与第一轴线正交的第二轴线的第二朝向(例如，如图4所示的深度传感器310y)；以及第三深度传感器，具有沿着与第一轴线和第二轴线正交的第三轴线的第三朝向(例如，如图4所示的深度传感器310z)。
在一些实施例中，估计光学器件306与物体(例如，远方物体404)之间的物距ho包括(914)：使用朝向信息(例如，朝向传感器312的输出)来确定光学器件306的中心轴线(例如，对应于图5中的ho所示的线的轴线)和空间坐标系的第一轴线(例如，由轴线402所示的空间坐标系的z轴)之间的第一角度。例如，第一角度是在ho和z轴之间的∠C，如图7所示。在一些实施例中，估计光学器件306与物体(例如，远方物体404)之间的物距ho还包括(914)：使用朝向信息(例如，朝向传感器312的输出)确定第二角度。在一些实施例中，所述第二角度是光学器件306的中心轴线与空间坐标系的第二轴线(例如，空间坐标系402的x轴)之间的角度，其中所述光学器件306的中心轴线投影在由空间坐标系402的第二轴线和第三轴线限定的平面上(例如，ho1是中心轴线ho在由空间坐标系402的x轴和y轴定义的X-Y平面上的投影)。例如，第二角度是在ho1与x轴之间的∠A1，如图7所示。在一些实施例中，估计光学器件306与物体(例如，远方物体404)之间的物距ho还包括(914)：基于第一角度∠C、第二角度∠A1和一组深度测量值hx、hy、hz，估计物距ho。例如，等式(1)被用来估计物距ho。
在一些实施例中，在将光学器件移动到第二位置之后(例如，在光学器件306沿着由图8B中的箭头802所示的路径移动之后)，装置(916)根据自动对焦操作将光学器件306从第二位置移动到第三位置。在一些实施例中，当光学器件306处于第一位置时(例如，当光学器件306距图像传感器304为距离doriginal时，如图8A所示)，当光学器件306处于第二位置时(例如，当光学器件306距图像传感器304为距离dimage时，如图8B所示)，和/或当光学器件306处于第三位置时，成像装置捕获图像。在一些实施例中，来自一个或多个捕获图像的数据(例如，对比度梯度数据)被用于自动对焦操作。
在一些实施例中，自动对焦操作是对比度自动对焦操作(918)。例如，该装置基于由成像装置302捕获的图像的对比度梯度，来确定光学器件306相对图像传感器304移动的方向和/或移动量，以获取峰值对比度梯度。
在一些实施例中，使用相位检测自动对焦或其他自动对焦操作来确定光学器件306相对于成像装置304的第三位置和后续位置。
在一些实施例中，一个或多个深度传感器310(例如，如图4所示的310x、310y、310z)包括(920)至少一个压力传感器。在一些实施例中，所述至少一个压力传感器(922)是超声传感器。
在一些实施例中，一个或多个朝向传感器312包括(924)至少一个加速度计。例如，朝向传感器312是提供可用于确定三维朝向矢量的输出的加速度计。
在一些实施例中，通过一个或多个深度传感器310获取一组深度测量值(例如，深度测量值hx、hy、hz)包括：(926)由信号发生器(例如，扬声器)生成信号(例如，诸如超声信号的声学信号)；以及由一个或多个深度传感器(例如，麦克风)检测(928)物体(例如，远方物体404)对信号的反射。
可以使用硬件、软件、固件或其组合，或在硬件、软件、固件或其组合的帮助下，来执行本发明的许多特征。因此，可以使用处理系统来实现本发明的特征。示例性处理系统(例如，处理器202)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理器、物理处理器、数字信号处理器、协处理器、网络处理器、音频处理器、加密处理器等。
本发明的特征可以使用或借助于计算机程序产品来实现，诸如存储有指令的存储介质(或多个介质)或计算机可读介质(或多个介质)，其中可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质(例如(例如存储器204)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或设备。
存储在任何机器可读介质(介质)上的本发明的特征可以结合到用于控制处理系统的硬件以及用于支持处理系统使通过利用本发明的结果与其他结构进行交互的软件和/或固件中。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
这里所指的通信系统(例如，通信系统206)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送RF信号，也称为电磁信号。通信系统的RF电路将电信号转换成电磁信号/从电磁信号转换层电信号，并且经由电磁信号与通信网络和其他通信设备通信。RF电路可选地包括用于执行这些功能的公知电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、存储器等。通信系统可选地通过无线通信与互联网(诸如也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及其他设备进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任一种，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE102.11a、IEEE102.11ac、IEEE102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE 102.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息传递和存在协议(XMPP)、用于即时消息的会话发起协议和存在利用扩展(SIMPLE)、即时消息和存在服务(IMPS))和/或短消息服务(SMS)、诸如FASST或DESST的扩频技术或者任何其他合适的通信协议，包括在本文件的提交日期之前尚未开发的通信协议。
尽管上面已经描述了本发明各种实施例，但是应当理解，它们是作为示例而不是限制来呈现的。本领域普通技术人员应该理解的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在示出指定功能及其关系的性能的功能构建块的辅助下，描述了本发明。为了描述方便，本文通常任意定义这些功能构造框架的边界。只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此任何这样的替代边界都在本发明的范围和精神之内。
本文的各种所述实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如本文提供的本公开的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解，术语“包括”、“包括了”、“包含”和/或“包含了”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
如本文所使用的，取决于上下文，术语“如果”可以被解释为意指“当……时”或“在……时”或“响应于确定”或“根据确定”或“响应于检测”，所陈述的先决条件是真的。类似地，取决于上下文，短语“如果确定[所陈述的先决条件是真的]”或“如果[所陈述的先决条件是真的]”或“当[所陈述的先决条件是真的]时”可以解释为表示“在确定……时”或“响应于确定”或“根据确定”或“在检测到”或“响应于检测到”所陈述的先决条件为真时。
已经呈现了本发明的上述说明，用于说明和描述的目的。不是旨在是穷尽性的或将公开的当前形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的。修改和变化包括公开特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明以及具有适合于预期特定用途的各种修改的各种实施例。旨在由以下权利要求及其等同物来定义本发明的范围。

Claims (28)

1.一种用于相对于成像装置内的图像传感器移动光学器件的方法，所述方法包括：
由一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值，其中该组深度测量值的各深度测量值指示预定义空间坐标系内从成像装置到物体的距离；
由一个或多个朝向传感器确定成像装置在预定义空间坐标系内的朝向信息；
基于该组深度测量值和所述朝向信息来估计成像装置和所述物体之间的物距；以及
根据所估计的成像装置与物体之间的物距以及光学器件的焦距，将光学器件从第一位置移动至第二位置。
2.根据权利要求1所述的方法，其中，所述一个或多个深度传感器包括以下至少一个：
第一深度传感器，所述第一深度传感器具有沿第一轴线的第一朝向；
第二深度传感器，所述第二深度传感器具有沿与第一轴线正交的第二轴线的第二朝向；以及
第三深度传感器，所述第三深度传感器具有沿与第一轴线和第二轴线正交的第三轴线的第三朝向。
3.根据权利要求2所述的方法，其中，估计所述成像装置和所述物体之间的物距包括：
使用所述朝向信息确定所述光学器件的中心轴线和空间坐标系的第一轴线之间的第一角度；
使用所述朝向信息确定第二角度，其中所述第二角度是以下轴线之间的夹角：
被投影在由空间坐标系的第二轴线和第三轴线定义的平面上的光学器件的中心轴线；以及
空间坐标系的第二轴线；以及
基于所述第一角度、所述第二角度和该组深度测量值，估计所述物距。
4.根据权利要求1所述的方法，还包括：在将光学器件移动至第二位置之后，根据自动对焦操作，将所述光学器件从第二位置移动至第三位置。
5.根据权利要求4所述的方法，其中，所述自动对焦操作是对比度自动对焦操作。
6.根据权利要求1所述的方法，其中，所述一个或多个深度传感器包括以下至少一个：压力传感器、红外传感器、超声传感器、立体相机和飞行时间相机。
7.根据权利要求6所述的方法，其中，所述至少一个压力传感器是超声传感器。
8.根据权利要求1所述的方法，其中，由所述一个或多个深度传感器获取一组深度测量值包括：
由信号发生器生成信号；以及
由所述一个或多个深度传感器检测所述物体对所述信号的反射。
9.根据权利要求1所述的方法，其中，所述一个或多个朝向传感器包括加速度计、磁力计、电位计、霍尔传感器和陀螺仪中的至少一个。
10.一种无人飞行器UAV，包括：
推进系统；
一个或多个深度传感器；
一个或多个朝向传感器；
成像装置，包括图像传感器和光学器件；以及
一个或多个处理器，所述一个或多个处理器与所述推进系统、所述一个或多个深度传感器、所述一个或多个朝向传感器以及所述成像装置耦合；
所述一个或多个处理器被配置为：
由所述一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值，其中该组深度测量值的各深度测量值指示从成像装置到物体的距离；
由一个或多个朝向传感器确定成像装置在预定义空间坐标系内的朝向信息；
基于该组深度测量值和所述朝向信息来估计成像装置和所述物体之间的物距；以及
根据所估计的成像装置与物体之间的物距以及光学器件的焦距，将光学器件从第一位置移动至第二位置。
11.根据权利要求10所述的UAV，其中，所述一个或多个深度传感器包括以下至少一个：
第一深度传感器，所述第一深度传感器具有沿第一轴线的第一朝向；
第二深度传感器，所述第二深度传感器具有沿与第一轴线正交的第二轴线的第二朝向；以及
第三深度传感器，所述第三深度传感器具有沿与第一轴线和第二轴线正交的第三轴线的第三朝向。
12.根据权利要求11所述的UAV，其中，估计所述成像装置和所述物体之间的物距包括：
使用所述朝向信息确定所述光学器件的中心轴线和空间坐标系的第一轴线之间的第一角度；
使用所述朝向信息确定第二角度，其中所述第二角度是以下轴线之间的夹角：
被投影在由空间坐标系的第二轴线和第三轴线定义的平面上的光学器件的中心轴线；以及
空间坐标系的第二轴线；以及
基于所述第一角度、所述第二角度和该组深度测量值，估计所述物距。
13.根据权利要求10所述的UAV，其中，所述一个或多个处理器被配置为：
在将光学器件移动至第二位置之后，根据自动对焦操作，将所述光学器件从第二位置移动至第三位置。
14.根据权利要求13所述的UAV，其中，所述自动对焦操作是对比度自动对焦操作。
15.根据权利要求10所述的UAV，其中，所述一个或多个深度传感器包括以下至少一个：压力传感器、红外传感器、超声传感器、立体相机和飞行时间相机。
16.根据权利要求15所述的UAV，其中，所述至少一个压力传感器是超声传感器。
17.根据权利要求10所述的UAV，其中，由所述一个或多个深度传感器获取一组深度测量值包括：
由信号发生器生成信号；以及
由所述一个或多个深度传感器检测所述物体对所述信号的反射。
18.根据权利要求10所述的UAV，其中，所述一个或多个朝向传感器包括加速度计、磁力计、电位计、霍尔传感器和陀螺仪中的至少一个。
19.一种用于相对于成像装置内的图像传感器移动光学器件的系统，所述系统包括：
一个或多个深度传感器；
一个或多个朝向传感器；
成像装置，包括图像传感器和光学器件；以及
一个或多个处理器，所述一个或多个处理器与所述一个或多个深度传感器、所述一个或多个朝向传感器以及所述成像装置耦合；
所述一个或多个处理器被配置为：
由所述一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值，其中该组深度测量值的各深度测量值指示从成像装置到物体的距离；
由一个或多个朝向传感器确定成像装置在预定义空间坐标系内的朝向信息；
基于该组深度测量值和所述朝向信息来估计成像装置和所述物体之间的物距；以及
根据所估计的成像装置与物体之间的物距以及光学器件的焦距，将光学器件从第一位置移动至第二位置。
20.根据权利要求19所述的系统，其中，所述一个或多个深度传感器包括以下至少一个：
第一深度传感器，所述第一深度传感器具有沿第一轴线的第一朝向；
第二深度传感器，所述第二深度传感器具有沿与第一轴线正交的第二轴线的第二朝向；以及
第三深度传感器，所述第三深度传感器具有沿与第一轴线和第二轴线正交的第三轴线的第三朝向。
21.根据权利要求18所述的系统，其中，估计所述成像装置和所述物体之间的物距包括：
使用所述朝向信息确定所述光学器件的中心轴线和空间坐标系的第一轴线之间的第一角度；
使用所述朝向信息确定第二角度，其中所述第二角度是以下轴线之间的夹角：
被投影在由空间坐标系的第二轴线和第三轴线定义的平面上的光学器件的中心轴线；以及
空间坐标系的第二轴线；以及
基于所述第一角度、所述第二角度和该组深度测量值，估计所述物距。
22.根据权利要求19所述的系统，其中，所述一个或多个处理器被配置为：在将光学器件移动至第二位置之后，根据自动对焦操作，将所述光学器件从第二位置移动至第三位置。
23.根据权利要求22所述的系统，其中，所述自动对焦操作是对比度自动对焦操作。
24.根据权利要求19所述的系统，其中，所述一个或多个深度传感器包括以下至少一个：压力传感器、红外传感器、超声传感器、立体相机和飞行时间相机。
25.根据权利要求24所述的系统，其中，所述至少一个压力传感器是超声传感器。
26.根据权利要求19所述的系统，其中，由所述一个或多个深度传感器获取一组深度测量值包括：
由信号发生器生成信号；以及
由所述一个或多个深度传感器检测所述物体对所述信号的反射。
27.根据权利要求19所述的系统，其中，所述一个或多个朝向传感器包括加速度计、磁力计、电位计、霍尔传感器和陀螺仪中的至少一个。
28.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其中所述指令在被执行时使装置：
由一个或多个深度传感器获取预定义空间坐标系内的一组深度测量值，其中该组深度测量值的各深度测量值指示从成像装置到物体的距离；
由一个或多个朝向传感器确定成像装置在预定义空间坐标系内的朝向信息；
基于该组深度测量值和所述朝向信息来估计成像装置和所述物体之间的物距；以及
根据所估计的成像装置与物体之间的物距以及光学器件的焦距，将光学器件从第一位置移动至第二位置。
CN201680083610.XA 2016-05-19 2016-05-19 一种相对于成像装置内的图像传感器移动光学器件的方法和装置 Active CN108780262B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/082689 WO2017197630A1 (en) 2016-05-19 2016-05-19 Autofocus initialization based on target detection

Publications (2)

Publication Number Publication Date
CN108780262A true CN108780262A (zh) 2018-11-09
CN108780262B CN108780262B (zh) 2021-05-28

Family

ID=60324575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083610.XA Active CN108780262B (zh) 2016-05-19 2016-05-19 一种相对于成像装置内的图像传感器移动光学器件的方法和装置

Country Status (3)

Country Link
US (2) US10958822B2 (zh)
CN (1) CN108780262B (zh)
WO (1) WO2017197630A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213480A (zh) * 2019-04-30 2019-09-06 华为技术有限公司 一种对焦方法及电子设备
WO2020147622A1 (zh) * 2019-01-15 2020-07-23 深圳市光鉴科技有限公司 光投射系统和方法
CN112154371A (zh) * 2019-04-23 2020-12-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序
CN113853518A (zh) * 2019-01-10 2021-12-28 6超越6视觉有限公司 确定镜片的一个或多个参数的装置、系统和方法
US11422262B2 (en) 2019-01-15 2022-08-23 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019133342A1 (en) * 2017-12-29 2019-07-04 PlusAI Corp Method and system for stereo based vehicle pose estimation
WO2019217624A1 (en) * 2018-05-11 2019-11-14 Cubic Corporation Tactical engagement simulation (tes) ground-based air defense platform
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
CN112995516B (zh) * 2019-05-30 2022-07-29 深圳市道通智能航空技术股份有限公司 一种对焦方法、装置、航拍相机及无人飞行器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329494A (zh) * 2007-06-22 2008-12-24 卡西欧计算机株式会社 照相机装置和自动聚焦控制方法
CN101344460A (zh) * 2007-08-10 2009-01-14 上海海事大学 水下机器人传感器故障诊断方法及系统
CN102809969A (zh) * 2011-06-03 2012-12-05 鸿富锦精密工业（深圳）有限公司 无人飞行载具控制系统及方法
US20150264337A1 (en) * 2013-03-15 2015-09-17 Pelican Imaging Corporation Autofocus System for a Conventional Camera That Uses Depth Information from an Array Camera
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN105335959A (zh) * 2014-08-15 2016-02-17 格科微电子（上海）有限公司 成像装置快速对焦方法及其设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JPWO2015012360A1 (ja) * 2013-07-26 2017-03-02 三菱電機株式会社 監視カメラ、映像セキュリティシステム及び旋回型監視カメラ
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US20160131867A1 (en) * 2014-11-06 2016-05-12 Ocutech, Inc. Automatic focusing optical assembly, system and method
US10121080B2 (en) * 2015-01-15 2018-11-06 vClick3d, Inc. Systems and methods for controlling the recording, storing and transmitting of video surveillance content
WO2016137624A1 (en) * 2015-02-24 2016-09-01 Rambus Inc. Depth measurement using a phase grating
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329494A (zh) * 2007-06-22 2008-12-24 卡西欧计算机株式会社 照相机装置和自动聚焦控制方法
CN101344460A (zh) * 2007-08-10 2009-01-14 上海海事大学 水下机器人传感器故障诊断方法及系统
CN102809969A (zh) * 2011-06-03 2012-12-05 鸿富锦精密工业（深圳）有限公司 无人飞行载具控制系统及方法
US20150264337A1 (en) * 2013-03-15 2015-09-17 Pelican Imaging Corporation Autofocus System for a Conventional Camera That Uses Depth Information from an Array Camera
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN105335959A (zh) * 2014-08-15 2016-02-17 格科微电子（上海）有限公司 成像装置快速对焦方法及其设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113853518A (zh) * 2019-01-10 2021-12-28 6超越6视觉有限公司 确定镜片的一个或多个参数的装置、系统和方法
WO2020147622A1 (zh) * 2019-01-15 2020-07-23 深圳市光鉴科技有限公司 光投射系统和方法
US11422262B2 (en) 2019-01-15 2022-08-23 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN112154371A (zh) * 2019-04-23 2020-12-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序
CN110213480A (zh) * 2019-04-30 2019-09-06 华为技术有限公司 一种对焦方法及电子设备

Also Published As

Publication number Publication date
CN108780262B (zh) 2021-05-28
US10958822B2 (en) 2021-03-23
US20190082113A1 (en) 2019-03-14
US20210227146A1 (en) 2021-07-22
WO2017197630A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN108780262A (zh) 基于目标检测的自动对焦初始化
US10930000B2 (en) Method and system for detecting and tracking objects using characteristic points
CN108886572B (zh) 调整图像焦点的方法和系统
US11049261B2 (en) Method and system for creating video abstraction from image data captured by a movable object
US20190212751A1 (en) Method and system for operating a movable object to avoid obstacles
US11320817B2 (en) Target-based image exposure adjustment
US10944897B2 (en) Contrast detection autofocus using adaptive step
JP6852851B2 (ja) 画像処理方法及び移動体を制御するシステム
US11095870B1 (en) Calibration of cameras on unmanned aerial vehicles using human joints
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
EP3631595B1 (en) Method and system for operating a movable platform using ray-casting mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant