CN111226154A - 自动对焦相机和系统 - Google Patents

自动对焦相机和系统 Download PDF

Info

Publication number
CN111226154A
CN111226154A CN201880067862.2A CN201880067862A CN111226154A CN 111226154 A CN111226154 A CN 111226154A CN 201880067862 A CN201880067862 A CN 201880067862A CN 111226154 A CN111226154 A CN 111226154A
Authority
CN
China
Prior art keywords
distance
camera
interest
region
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880067862.2A
Other languages
English (en)
Other versions
CN111226154B (zh
Inventor
周游
严嘉祺
许文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111226154A publication Critical patent/CN111226154A/zh
Application granted granted Critical
Publication of CN111226154B publication Critical patent/CN111226154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于使相机对焦的设备和方法。例如，可以将设备与相机耦接以用于使该相机对焦。该设备包括视觉传感器(104)，该视觉传感器与处理器耦接并且被配置为捕捉视图。该处理器被配置为接收对视图中感兴趣区域的选择。该设备还包括距离测量单元(58)，该距离测量单元(58)与处理器耦接并且被配置为测量到感兴趣区域的距离以用于调整相机的焦点。

Description

自动对焦相机和系统
版权公告
本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
技术领域
本公开总体上涉及具有快速自动对焦和自动对焦跟踪能力的相机和系统。
背景技术
相机发现在许多环境(包括例如，监视系统、体育运动、无人飞行器(UAV)等)中使用。无论是拍摄清晰图像或是故意模糊的图像，都必须将相机调整到正确的焦点。如今，大多数相机都包括若干相对于彼此可以移动的镜头或镜头组，从而提供自动对焦。
存在几种常见的自动对焦技术。例如，相机可以包括用于测量到物体的距离并且基于所测量的距离自动对焦在该物体上的装置。距离测量装置可以包括红外光或激光发射器以及感测红外光或激光的光传感器。飞行时间(TOF)(即从发射器发出光的时间到传感器感测到光的时间)反映了装置与物体之间的距离。一些距离测量装置也可以利用超声波代替光。利用测量的距离，相机中的控制器(例如，计算机)可以向驱动和移动镜头以实现对焦的电机发送信号。
一些相机采用相位检测方法来调整焦点。镜子将物体的图像反射到两个相位传感器上，并且计算机比较传感器感测到的两个反射图像。当两个反射图像相同时发生对焦。
自动对焦的另一种方法被称为对比度检测，它涉及对比度的检测和寻找提供最佳对比度的镜头位置。随着镜头或镜头组的移动，从而改变焦点，相机拍摄物体的图像，并且与相机关联的计算机分析这些图像，并比较连续图像之间的对比度。连续图像之间的对比度的增加表明镜头正朝着正确的方向移动以改善对焦，并且生成具有最高对比度的图像的镜头位置提供了最佳对焦。
每种方法都有优点和缺点。对比度检测需要随着镜头前后移动而分析许多图像，因此比较慢。距离测量和相位检测方法都花费更少的时间。但是，距离测量方法只能确定从相机到视图中最近物体的距离，而当想要拍摄对焦于视图中更远物体的照片时，该方法将失败。相位检测方法可以相当快速地实现精确对焦，但是需要复杂且昂贵的相机结构，因为相机必须包括多个自动对焦传感器，每个自动对焦传感器都包括其自己的镜头和光电探测器。另外，自动对焦传感器的数量限制了视图中要对焦的区域数量。例如，两个自动对焦传感器意味着相机只能对焦在图像的一部分上。增加焦点的数量将进一步提高相机的价格。
许多相机将这些自动对焦方法组合。典型的组合包括将距离测量方法或相位检测方法作为第一步，以使相机快速进入焦点范围，然后进行对比度检测以细调焦点。
这些自动对焦方法在拍摄静态照片时效果很好，但在移动环境中效果不佳，在移动环境中，不同距离的物体随着时间移动。特别是在拍摄视频时，相机必须随着物体的移动实时调整和跟踪其焦点。在这种情况下，仍然需要手动对焦。
因此，需要对于适用于各种环境的快速、精确和廉价的自动对焦和对焦跟踪技术。
发明内容
根据本公开的实施例，提供了一种用于使相机对焦的设备。该设备包括视觉传感器，该视觉传感器与处理器耦接并且被配置为捕捉视图。该处理器被配置为接收对视图中感兴趣区域的选择。该设备还包括距离测量单元，该距离测量单元与处理器耦接并且被配置为测量到感兴趣区域的距离以用于调整相机的焦点。
还提供了一种用于使相机对焦的方法。首先，视觉传感器捕捉视图。然后，选择捕捉的视图中的感兴趣区域。距离测量单元测量感兴趣区域与其自身的距离。并且根据所测量的距离来调整相机的焦点。
还提供了一种可移动物体，其包括相机、包括视觉传感器和距离测量单元的辅助对焦装置、以及处理器。处理器被配置为使视觉传感器捕捉视图，接收对感兴趣区域的选择，使距离测量单元测量到感兴趣区域的距离，并基于所测量的距离来引起对相机焦点的调整。
应当理解，前面的一般描述和下文的详细描述都仅是示例性和解释性的，并不限于如权利要求所限定的本发明。
附图说明
图1示出了根据本公开的实施例配置的示例性可移动物体。
图2A示出了根据本公开的实施例配置的示例性终端。
图2B示出了根据本公开的实施例配置的另一示例性终端。
图3示出了根据本公开的实施例配置的示例性片上系统控制器。
图4示出了根据本公开的实施例配置的示例性辅助对焦装置。
图5示出了根据本公开的实施例的示例性自动对焦过程的流程图。
图6A和6B示出了根据本公开的实施例的示例性对焦技术。
图7示出了根据本公开的实施例的另一示例性自动对焦过程的流程图。
具体实施方式
下面的详细描述参考附图。只要有可能，相同的附图标记指代相同或相似的部分。虽然本文描述了若干说明性的实施例，但可以有修改、调整以及其他实现。例如，可以对附图所示的部件进行替换、添加或修改。因此，下面的详细描述不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
根据本公开的实施例，提供了相机或相机系统，其可以快速地并且自动地对焦在一个或多个物体或区域上，以拍摄照片或拍摄视频。除了拍摄静态图像外，这些相机还可以用于体育运动、监视系统、无人飞行器(UAV)等，其中，物体和相机中的一个或多个可以移动。相机可以安装在其他装置上，例如，汽车、UAV、自行车、头盔等，或者安装在人身上，或者安装在手持装置上以握在手中。
作为示例，图1示出了可移动物体10，其可以被配置为在环境内移动或行进。可移动物体10可以是UAV或被配置为在合适的介质(例如，表面、空气、水、轨道、空间、地下等)上或内行进的任何其他合适的物体、装置、机构、系统或机器。可移动物体10也可以是其他类型的可移动物体(例如，带轮物体、航海物体、机车物体、其他空中物体等)。如本文所使用的，术语UAV指代被配置为自动地(例如，经由电子控制系统)和/或通过场外人员手动地操作和/或控制的航空装置。
可移动物体10包括一个或多个推进装置12，并且可以被配置为携带搭载物14。搭载物14可以通过载体16与可移动物体10连接或附接，该载体可以允许搭载物14和可移动物体10之间的一度或若干度的相对移动。搭载物14也可以无需载体16直接安装在可移动物体10上。可移动物体10还包括与其他部件通信的感测系统18、通信系统20和控制器22。
可移动物体10可以包括位于各种位置处(例如，可移动物体10的顶部、侧面、前面、后面、和/或底部)的用于推进和操纵可移动物体10的一个或多个(例如，1、2、3、4、5、10、15、20个等)推进装置12。推进装置12是可操作以产生用于维持受控飞行的力的装置或系统。推进装置12可以共享电源或者可以各自单独地包括电源或可操作地连接到电源，该电源例如是电机(例如，电动机、液压电机、气动电机等)、发动机(例如，内燃机、涡轮发动机等)、电池组等或其组合。每个推进装置12还可以包括可驱动地连接到电源并且被配置为参与生成用于维持受控飞行的力的一个或多个旋转部件24。例如，旋转部件24可以包括旋翼、螺旋桨、叶片、喷嘴等，其可以由轴、轮轴、轮、液压系统、气动系统或被配置为从电源传送电力的其他部件或系统来驱动。推进装置12和/或旋转部件24可以相对于彼此和/或相对于可移动物体10是可调整的(例如，可倾斜的)。或者，推进装置12和旋转部件24可以相对于彼此和/或相对于可移动物体10具有固定朝向。在一些实施例中，每个推进装置12可以是相同类型的。在一些实施例中，推进装置12可以是多种不同类型的。在一些实施例中，所有推进装置12可以被协同控制(例如，全部以相同的速度和/或角度)。在其他实施例中，一个或多个推进装置可以例如关于速度和/或角度被单独控制。
推进装置12可以被配置为沿着一个或多个垂直和水平方向推进可移动物体10并允许可移动物体10以一个或多个轴为中心旋转。亦即，推进装置12可以被配置为提供升力和/或推力以建立和维持可移动物体10的平移和旋转运动。例如，推进装置12可以被配置为使得可移动物体10能够实现并维持期望的高度、为沿所有方向的运动提供推力、并且提供对可移动物体10的操纵。在一些实施例中，推进装置12可以使可移动物体10能够执行垂直起飞和着陆(即，在没有水平推力的情况下起飞和着陆)。在其他实施例中，可移动物体10可以需要恒定的最小水平推力来实现并维持飞行。推进装置12可以被配置为实现可移动物体10沿着多个轴和/或在多个轴周围运动。
搭载物14包括传感装置19。传感装置19可以包括用于采集或生成数据或信息的装置，所述数据或信息例如是测量、跟踪和捕捉目标(例如，照片或视频拍摄的对象、风景、主题等)的图像或视频。传感装置19可以包括被配置为收集可以用于生成图像的数据的成像装置。成像装置可以包括相机、摄像机、红外成像装置、紫外成像装置、x射线装置、超声成像装置、雷达装置等。传感装置19还可以或替代地包括用于捕捉音频数据的装置，例如麦克风或超声检测器。传感装置19还可以或替代地包括用于捕捉视觉、音频和/或电磁信号的其他适合的传感器。
载体16可以包括被配置为保持搭载物14和/或允许该搭载物14相对于可移动物体10被调整(例如，旋转)的一个或多个装置。例如，载体16可以是云台。载体16可以被配置为允许搭载物14围绕一个或多个轴旋转，如下所述。在一些实施例中，载体16可以被配置为允许搭载物14围绕每个轴线旋转360°，以允许对搭载物14的视角的较大控制。在其他实施例中，载体16可以将搭载物14绕其一个或多个轴旋转的范围限制为小于360°(例如，≤270°、≤210°、≤180°、≤120°、≤90°、≤45°、≤30°、≤15°等)。
载体16可以包括框架部件26、一个或多个致动器构件28以及一个或多个载体传感器30。框架部件26可以被配置为将搭载物14耦接到可移动物体10，并且在一些实施例中，允许搭载物14相对于可移动物体10移动。在一些实施例中，框架部件26可以包括相对于彼此可移动的一个或多个子框架或部件。致动器构件28被配置为相对于彼此驱动框架部件的部件以提供搭载物14相对于可移动物体10的水平和/或旋转运动。在其他实施例中，致动器构件28可以被配置为直接作用在搭载物14上，以引起搭载物14相对于框架部件26和可移动物体10的运动。致动器构件28可以是或可以包括适合的致动器和/或力传递部件。例如，致动器构件28可以包括电动机，其被配置为结合轴、轮轴、轨道、带、链、齿轮和/或其他部件向框架部件26和/或搭载物14的部件提供线性或旋转运动。
载体传感器30可以包括被配置为测量、感测、检测或确定载体16和/或搭载物14的状态信息的装置。状态信息可以包括位置信息(例如，相对位置、朝向、高度、线位移、角位移等)、速度信息(例如，线速度、角速度等)、加速度信息(例如，线性加速度、角加速度等)和/或与载体16或搭载物14独立地或相对于可移动物体10的移动控制有关的其他信息。载体传感器30可以包括一种或多种类型的适合的传感器，例如，电位计、光学传感器、视觉传感器、磁传感器、运动或旋转传感器(例如，陀螺仪、加速度计、惯性传感器等)。载体传感器30可以与载体16的各种部件(例如，框架部件26或致动器构件28的部件)或可移动物体10相关联或附接到这些部件。载体传感器30可以被配置为经由有线或无线连接(例如，RFID、蓝牙、Wi-Fi、无线电、蜂窝电话等)与控制器22传送数据和信息。由载体传感器30生成并向控制器22传送的数据和信息可以由控制器22用于进行进一步处理，例如，用于确定可移动物体10和/或目标的状态信息。
载体16可以经由一个或多个减震元件耦接到可移动物体10，该一个或多个减震元件被配置为降低或消除从可移动物体10到搭载物14的不期望的震动或其他力传递。减震元件可以是有源的、无源的或混合的(即，具有有源和无源特性)。减震元件可以由任何适合的材料或材料组合形成，包括固体、液体和气体。可压缩或可变形材料(例如，橡胶、弹簧、胶体、泡沫)和/或其他材料可以用作减震元件。减震元件可以用于将搭载物14与可移动物体10隔离和/或耗散从可移动物体10到搭载物14的力传播。减震元件还可以包括被配置为提供减震效果的机构或装置，例如活塞、弹簧、液压装置、气动装置、缓冲器、震动吸收器和/或其他装置或其组合。
感测系统18可以包括与可移动装置10的一个或多个部件或其他系统相关联的一个或多个传感器。例如，感测系统18可以包括用于确定与可移动物体10和/或目标相关的位置信息、速度信息和加速度信息的传感器。在一些实施例中，感测系统18还可以包括载体传感器30。感测系统18的部件可以被配置为生成可以用于(例如，由控制器22或另一装置处理)确定与可移动物体10、其部件和/或其目标有关的附加信息的数据和信息。感测系统18可以包括用于感测可移动物体10的移动的一个或多个方面的一个或多个传感器。例如，感测系统18可以包括与如上所述的搭载物14相关联的传感设备和/或附加传感设备，比如，用于定位系统(例如，GPS、格洛纳斯、伽利略、北斗、GAGAN、RTK等)的接收器、运动传感器、惯性传感器(例如，IMU传感器、MIMU传感器等)、近距离传感器、图像传感器等。感测系统18还可以包括传感器，被配置为提供与周围环境有关的数据或信息，例如天气信息(例如，温度、气压、湿度等)、照明条件(例如，光源频率)、空气成分或附近的障碍物(例如，物体、建筑物、人、其他车辆等)。
通信系统20可以被配置用于在控制器22与机外实体(如，终端32、智能电话、或另一适合的实体)之间实现数据、信息、命令和/或其他类型的信号的传送。通信系统20可以包括被配置为发送和/或接收信号的一个或多个部件，例如，被配置为执行单向或双向通信的接收机、发射机或收发器。通信系统20的部件可以被配置为经由一个或多个通信网络(例如，无线电、蜂窝、蓝牙、Wi-Fi、RFID和/或可用于发送指示数据、信息、命令的信号和/或其他信号的其他类型的通信网络)与机外实体进行通信。例如，通信系统20可以被配置为在用于在飞行期间提供用于控制可移动物体10的输入的装置(例如，控制终端(“终端”)32)实现通信。
控制器22可以被配置为与可移动物体10上的各种装置(例如，通信系统20和感测系统18)通信。控制器22还可以与定位系统(例如，全球导航卫星系统或GNSS)(未示出)通信，以接收指示可移动物体10的位置的数据。控制器22可以与各种其他类型的装置通信，包括气压计、惯性测量单元(IMU)、应答器等，以获得可移动物体10的定位信息和速度信息。控制器22还可以向一个或多个电子速度控制器(ESC)(未示出)提供控制信号(例如，以脉冲或脉冲宽度调制信号的形式)，该电子速度控制器可以被配置为控制一个或多个推进装置12。控制器22因此可以通过控制一个或多个电子速度控制器来控制可移动物体10的移动。
终端32可以被配置为接收输入，例如，来自用户的输入(即，用户输入)，并向控制器22传送指示该输入的信号。终端32可以被配置为接收输入并生成指示一种或多种类型的信息的相应信号，例如，用于移动或操纵可移动装置10(例如，经由推进装置12)、搭载物14和/或载体16的控制数据(例如，信号)。终端32还可以被配置为从可移动物体10接收数据和信息，例如，由搭载物14收集的数据或与搭载物14相关联的数据，以及与例如位置数据、速度数据、加速度数据、传感数据有关的操作数据、以及与可移动物体10、其部件和/或其周围环境有关的其他数据和信息。终端32可以是具有被配置为控制飞行参数的物理杆、扳手、开关和/或按钮的远程控件，或者可以是或包括具有用于相同目的的虚拟控件的触摸屏装置(例如，智能电话或平板电脑)，并且可以在智能电话或平板电脑上采用应用，或其组合。
在一些实施例中，终端32可以包括智能眼镜。如本文所使用的，智能眼镜可以包括任何可穿戴计算机眼镜或者能够向穿戴者所看的图像或场景提供附加信息的其他可穿戴物品。智能眼镜可以包括光学头戴式显示器(OHMD)或具有透明的平视显示器(HUD)或增强现实(AR)覆盖的嵌入式无线眼镜，其具有对投影的数字图像进行反射以及允许用户看穿它或者利用它更好地看的能力。智能眼镜可以用作例如经由蜂窝技术或Wi-Fi从可移动物体10接收的图像、视频和其他数据或信息的前端显示器。在一些实施例中，智能眼镜还可以经由自然语言语音命令和/或使用智能眼镜上的触摸按钮来控制可移动物体10。
在图2A和图2B所示的示例中，终端32可以包括通信装置34，该通信装置34促进终端32与其他实体(例如，可移动物体10或另一终端32)之间的信息通信。通信装置34可以包括被配置为发送和/或接收信号的天线或其他装置。终端32还可以包括一个或多个输入装置36，该输入装置36被配置为从用户接收输入，以用于与可移动物体10进行通信。图2A示出了具有输入装置36的终端32的一个示例性实施例，该输入装置36具有多个输入装置，例如，扳手38和40、按钮42以及用于从用户接收一个或多个输入的触发件44。终端32的每个输入装置可以被配置为生成可传输到控制器22且控制器22可使用的输入信号作为输入用于进行处理。除了飞行控制输入之外，终端32还可以用于例如可以经由按钮42和/或触发件44来接收其他信息(例如手动控制设置、自动控制设置、控制辅助设置等)的用户输入。应当理解的是，终端32可以包括其他或附加输入装置，例如，按钮、开关、拨轮、扳手、触发件、触摸板、触摸屏、软键、鼠标、键盘、语音识别装置和/或其他类型的输入装置。应当理解的是，用于终端(例如，终端32)的输入装置的不同组合或布局是可能的，并且在本公开的范围内。
如图2B的备选实施例中所示，终端32还可以包括显示装置46，其被配置为向用户显示信息和/或从用户接收信息。例如，终端32可以被配置为从可移动物体10接收信号，该信号可以指示与可移动物体10的移动有关的信息或数据和/或通过可移动物体10(例如，结合搭载物14)捕捉的数据(例如，成像数据)。在一些实施例中，显示装置46可以是多功能显示装置，其被配置为在多功能屏幕48上显示信息以及经由多功能屏幕48接收用户输入。例如，在一个实施例中，显示装置46可以被配置为经由多功能屏幕48接收一个或多个用户输入。在另一个实施例中，多功能屏幕48可以构成用于接收用户输入的唯一的输入装置。
在一些实施例中，终端32可以是或包括用于接收一个或多个用户输入的交互式图形界面。即，终端32可以提供图形用户界面(GUI)和/或包括输入装置36的一个或多个图形版本，用于接收用户输入。终端32和/或输入装置36的图形版本可以显示在显示装置(例如，显示装置46)或者多功能屏幕(例如，多功能屏幕48)上，并且可以包括图形特征，例如交互图形特征(例如，图形按钮、文本框、下拉菜单、交互图像等)。例如，在一些实施例中，终端32可以包括输入扳手38和40、按钮42和触发件44的图形表示，其可以被显示在多功能屏幕48上并被配置为经由多功能屏幕48接收用户输入。在一些实施例中，终端32可以被配置为经由图形输入装置(例如，输入装置36的图形版本)接收所有的用户输入。终端32可以被配置为结合计算机应用(例如，“app”)生成输入装置36的图形版本，以在用于在任何适合的电子装置(例如，蜂窝电话、平板等)的显示装置或多功能屏幕上提供交互界面以接收用户输入。
在一些实施例中，显示装置(例如，46)可以显示从可移动物体10接收的图像，并且包括用于用户识别或选择用户感兴趣的图像的一部分的交互设备。例如，显示装置46可以包括触摸屏，使得用户可以通过触摸触摸屏的相应部分来识别或选择感兴趣的部分。
在一些实施例中，显示装置46可以是终端32的整体部件。即，显示装置46可以附接或固定到终端32。在其他实施例中，显示装置可以连接到终端32(或从终端32断开连接)。即，终端32可以被配置为可电连接到显示装置46(例如，经由连接端口或无线通信链路)和/或否则可经由安装装置50(例如，通过钳、夹、扣、钩、粘)或其他类型的安装装置连接到终端32。
在一些实施例中，终端32可以被配置为与可配置用于控制可移动物体10的移动和/或其他操作方面的电子装置通信。例如，显示装置46可以是电子装置的显示部件，该电子装置例如是蜂窝电话、平板电脑、个人数字助理、膝上型计算机或其他装置。以此方式，用户能够将其他电子装置的功能包含在控制可移动物体10的方面中，这可以允许更加灵活且可适配的控制方案。例如，终端32可以被配置为与具有存储器和至少一个处理器的电子装置进行通信，并且可以用于经由与该电子装置相关联的输入装置向用户提供输入(例如，多功能显示器、按钮、所存储的app、基于web的应用等)。终端32和电子装置之间的通信还可以被配置为允许软件更新包和/或其他信息被接收并且然后被传输到控制器22(例如，经由通信系统20)，如图1所示。
尽管未在图中示出，远程控件可以包括其他形式的控制装置(例如，头盔、护目镜或其他装置)，其允许用户输入并将用户输入传送给可移动物体10以用于控制其移动，以及视觉子系统104的显示视图(例如，车载相机捕捉的图像)。
图3示出了被实现为片上系统(SoC)控制器300的示例性控制器22，其可以包括耦接以与视觉子系统104通信的飞行控制子系统102。视觉子系统104可以被配置为检测和可视化(例如，使用计算机视觉)UAV周围的物体。飞行控制子系统102可以从视觉子系统104接收信息，并利用该信息来确定飞行路线(或对现有的飞行路线进行调整)。例如，基于从视觉子系统104接收到的信息，飞行控制子系统102可以决定是停留在现有的飞行路径上，还是改变飞行路径以跟踪视觉子系统104所识别的物体，或者改变飞行路径(例如，覆盖从操作者接收到的命令)以避免视觉子系统104检测到的障碍物。
可以设想的是，视觉子系统104可以利用各种类型的仪器和/或技术来检测UAV周围的物体。例如，在一些实施例中，视觉子系统104可以与超声传感器120通信，该超声传感器120被配置为检测UAV周围的物体并测量该UAV与检测到的物体之间的距离。视觉子系统104也可以与其他类型的传感器通信，包括飞行时间(TOF)传感器122、雷达(例如，包括毫米波雷达)、声纳、激光雷达、气压计等。
视觉子系统104可以被耦接以与成像子系统106通信。成像子系统106可以被配置为使用一个或多个成像装置(例如，相机)124来获得图像和/或视频镜头。视觉子系统104可以利用该图像或视频镜头来生成UAV周围环境的视觉表示。可以设想的是，这样的视觉表示可以用于各种目的。例如，在一些实施例中，视觉子系统104可以使用一个或多个图像识别或计算机视觉过程来处理该视觉表示以检测可识别的物体。视觉子系统104可以向飞行控制子系统102报告以这种方式识别的物体，使得飞行控制子系统102可以确定是否调整UAV的飞行路径。在另一示例中，视觉子系统104可以向远程操作者提供(例如，发送)该视觉表示，使得该远程操作者可以可视化UAV周围的环境，就像该操作者位于该UAV上一样。在又一示例中，该视觉表示可以被记录在位于UAV上的数据存储装置中。
在一些实施例中，飞行控制子系统102、视觉子系统104、成像子系统106和成像装置124可以被配置为参考公共时间信号进行操作。在一些实施例中，飞行控制子系统102可以被配置为向视觉子系统104、成像子系统106和成像装置124中的一个或多个提供同步(SYNC)信号。飞行控制子系统102可以使用SYNC信号来控制成像装置124的曝光(或记录)时间，可以确定在发送SYNC信号时的元数据(例如，位置、高度、航向、温度等)，并且可以相应地为元数据添加时间戳。然后，视觉子系统104可以基于该时间戳将元数据与捕捉的图像或视频镜头相关联。
在一些实施例中，由成像装置124捕捉的图像或视频镜头可以是可能需要进一步处理的数据格式。例如，从图像传感器获得的数据可能需要在生成其视觉表示之前被转换成可显示的格式。在一些实施例中，成像子系统106可以将捕捉的镜头处理成正确的格式。备选地或附加地，成像装置124或视觉子系统104可以包括一个或多个处理器，该处理器被配置为将捕捉的图像或视频镜头处理成合适的格式以用于生成视觉表示。
视觉子系统104可以利用该图像或视频镜头来检测UAV周围的物体，并向飞行控制子系统102报告有关检测到的物体的信息。视觉子系统104可以使用最初用于捕捉的镜头的相同时间戳来为该报告添加时间戳。以这种方式，飞行控制子系统102能够确定在给定时间处可移动物体10周围的环境是什么样的，并且如果有需要，相应地调整飞行路径。飞行控制子系统102还可以基于时间戳将从其他装置(例如，定位系统112)接收的位置数据与从视觉子系统104接收的图像数据进行交叉引用，以用于更好地调整飞行路径。
控制器300还可以包括控制云台(例如，载体16)的云台控制子系统108。云台控制子系统108可以与其他子系统(例如，飞行控制子系统102和/或成像子系统106)通信。例如，如果成像子系统106需要获取围绕可移动物体10的环境的360°全景，则云台控制子系统108可以控制云台以特定的旋转速度绕垂直轴旋转。在另一示例中，如果飞行控制子系统102接收(例如，来自用户或操作者的)命令以获取特定位置的图像或视频镜头，则飞行控制子系统102可以指示云台控制子系统108旋转云台，从而使安装在云台上的装置(例如，传感装置19)指向该特定位置。在一些实施例中，飞行控制子系统102可以与定位系统(例如，GPS、GLONASS、伽利略、北斗、GAGAN、RTK等)通信以定位特定位置，并且可以使用位置数据来控制云台的旋转。
在一些实施例中，飞行控制子系统102、视觉子系统104、成像子系统106和云台控制子系统108可以被封装在一起以形成单个片上系统控制器300的块(或核心)。备选地，这些子系统可以被封装和/或被分组在多个芯片中。
根据本公开的实施例，可移动物体可以具有可调焦点的主相机和辅助对焦模块，该辅助对焦模块促进主相机的对焦。辅助对焦模块可以采用更快的对焦技术之一(例如，距离测量或相位检测)以确定主相机的适当焦距。一旦确定了适当焦距，可移动物体的控制器就可以控制主相机相应地调整其焦点。如下所述，与主相机分离的辅助对焦模块可以允许与现有的主相机一起使用而无需进行修改，提高自动对焦的速度并提供极大的灵活性。
参照附图，传感装置19(图1)可以包括具有可调焦点的主相机(例如，图3中的成像装置124)，被配置为捕捉一个或多个图像和视频。同时，感测系统18(图1)可以包括辅助对焦模块，该辅助对焦模块促进传感装置19中的相机的自动对焦。图4示出了一个这样的示例，其中，可以将传感装置19设置为具有可调焦点的主相机52，并且感测系统18可以包括辅助对焦装置54。辅助对焦装置54可以包括例如视觉传感器56(例如，相机)和距离测量单元58。距离测量单元58可以包括定向源，该定向源朝着物体发射红外激光脉冲或期望频率的任何其他激光脉冲或光束，并接收从物体反射的光束，并基于飞行时间来确定距离。
辅助对焦装置54可以被嵌入或附接到相机52。备选地，辅助对焦装置54可以是与成像系统协作用于测量距离的独立装置。在所示的示例中，主相机52和辅助对焦装置54可以分别独立地安装在载体16和可移动物体10上。在备选实施例中，主相机52和辅助对焦装置54可以通过支撑结构(例如，云台)安装在同一载体或结构上。主相机52和辅助对焦装置54的安装可以提供相对于彼此的位置或朝向的相对改变。备选地，主相机52和辅助对焦装置54可以安装在单独的云台上，其可以或可以不为它们各自的移动提供相同的自由度。可以将其他视觉传感器56和距离测量单元58设置在同一安装结构(例如，云台)上或设置在单独的安装结构上。
根据本公开的实施例的远程控件可以由例如以上结合图2A和图2B描述的远程控件32组成。当显示器包括在远程控件或单独的装置(例如，计算机或智能电话)中时，此类显示器可以显示由主相机或视觉传感器拍摄的图像，这些图像是从可移动物体无线向远程控件发送的。当视觉传感器56包括相机时，主相机或视觉传感器都可以在显示器上提供第一人称视图(FPV)，以供用户控制可移动物体。
根据本发明的实施例，辅助对焦装置54可以帮助确定主相机52的焦点。例如，距离测量单元58可以测量到物体的距离，并且主相机52可以根据所测量的距离来调整其焦点。在一些实施例中，视觉传感器56可以捕捉可移动物体10的周围的视图或图像。可移动物体10的视觉子系统104可以检测该视图或图像内的物体。然后，距离测量单元58可以测量到被检测物体的距离。备选地，可以向终端32发送捕捉的视图或图像以显示给用户或操作者。用户可以通过终端32上的控件来识别感兴趣的物体，该控件可以向可移动物体10发送用户的标识。然后，距离测量单元58可以测量到由用户识别的物体的距离。一方面，通过单独的部件(例如，分别通过辅助对焦装置和通过主相机52)执行焦点的确定和焦点的调整可以允许主相机52将其焦点调整为落在相机视图之外的物体上，从而与传统的自动对焦方法相比，具有更大的灵活性。视觉传感器56还可以跟踪检测到的或识别出的物体，使得距离测量单元58继续测量到该物体的距离，并且当该物体移入或移出主相机52的视图时，主相机52的焦点保持在该物体上。取决于应用，检测到或识别出的物体可以是任何感兴趣的物体，例如，静止的物体(例如，树木)或运动的物体(例如，车辆或人或甚至是人脸的一部分)。
现在参考图5，图5示出了根据本公开的实施例的自动对焦过程500的步骤。为了说明而非限制的目的，过程500可以由在控制器300和/或可移动物体10中执行的软件来执行。
在步骤502中，可以识别感兴趣区域。在由辅助自动对焦装置中的视觉传感器捕捉的视图或图像中，该感兴趣区域可以是物体，例如，树、地标、人或人脸。感兴趣区域的识别可以通过在远程终端上的视图或图像的显示器上的物体检测或用户指定来实现。感兴趣区域也可以通过预定来识别，例如，由控制器300设置。
在步骤503中，可以跟踪感兴趣区域。跟踪感兴趣区域可以通过图像处理以识别视觉传感器56的视图中的感兴趣区域的移动、或者通过用户查看这种移动并在终端32上执行相应的控制来自动实现。
在步骤504中，基于对测量的跟踪，可以调整辅助对焦装置54以准备进行距离测量。例如，如果距离测量单元58包括定向源(例如，激光或超声发生器)，则可以基于感兴趣区域在视觉传感器56的视图中的位置，首先将该定向源调节或调整为面向感兴趣区域。如果距离测量单元58在辅助对焦装置54内可移动，则可以通过距离测量单元58的受控移动来实现定向源的调整。如果距离测量单元58不可移动，但是辅助对焦装置54在可移动物体10内可移动，则可以通过控制辅助对焦装置54的移动来实现定向源的调整。如果既不允许距离测量单元58在辅助对焦装置54内移动，也不允许辅助对焦装置54在可移动物体10内移动，则可以通过例如控制可移动物体10的推进装置12来控制可移动物体10的移动来实现定向源的调整，以相对于六个自由度(例如，沿其坐标轴的三个平移方向和围绕其坐标轴的三个旋转方向)调整可移动物体10的空间布置、速度和/或加速度，以使可移动物体10自动跟踪目标。如果这些部件中的一个以上可以相对彼此移动，则可以使用其受控移动的组合来实现定向源的所需调节或调整。
一旦将定向源调整为面对感兴趣区域，就可以在步骤505中基于例如飞行时间来测量距离。特别地，可以基于光束在感兴趣区域和辅助对焦装置之间来回传播的总时间和发射波(例如，光、红外信号或超声波)的速度来计算从辅助对焦装置54/主相机52到感兴趣区域的距离。
可以根据需要重复步骤504和505。例如，在步骤505中的距离测量之后，可以再次执行步骤504以细调辅助对焦装置54以更好地使其朝向感兴趣区域，此后可以再次执行步骤505以实现更好的测量精度，等等。
在步骤506中，可以确定感兴趣区域相对于主相机52的距离和位置。特别地，如下面详细讨论的，感兴趣区域相对于辅助对焦装置54的位置以及辅助对焦装置54相对于主相机52的位置或姿势可以用来进行这种确定。这样的确定可以在控制器22中执行，或者可以分布在位于辅助对焦装置、主相机52和/或可移动物体10的其他位置内的多个处理器中。
在步骤507中，可以基于所确定的感兴趣区域的相对距离和位置来调整相机52的焦点。在一方面中，相机52可以包括用于自动调整其自身焦点的机构。例如，相机52可以包括基于感兴趣区域的距离和位置来调整镜头位置的软件控件。在其他方面，控制器22可以控制相机52以调整焦点。
作为示例，图6A和图6B示出了对感兴趣区域(例如，目标物体PT)与辅助对焦装置54之间的相对距离和位置的确定。在所示示例中，视觉传感器56可以包括位于点D1的相机，并且距离测量单元58可以包括位于点D2的激光器。距离测量单元58可以将激光点投射在目标物体PT上或附近的PL处，并且可以测量来往PL的飞行时间。图6B示出了视觉传感器56的相机的示例性视图。如由相机中的传感器检测到的，激光点PL对应于相机视图中的点OL。相机视图的中心(或主点)OC对应于物体平面中的点PC。由用户识别的目标物体PT对应于视图中的点OT。
如图6A和图6B所示，视觉传感器56中的相机和距离测量单元58可以彼此移位，并且不一定要彼此平行；以及激光点PL与视图的中心PC或目标物体的位置PT不一致。因此，距离z的测量可能无法准确反映到目标物体PT的距离，在这种情况下，辅助对焦装置54可能需要调整自身或距离测量单元58以将激光对焦在目标物体上以获得更准确的测量。这种调整需要基于相机和距离测量单元58的位置关系。
在一方面，可以通过比较激光点PL、视觉传感器的视图中心PC、目标物体PT的相对位置和/或它们在相机传感器捕捉的图像上的对应位置(即，像素坐标)来实现将激光对焦在目标物体上的调整。主点OC(对应于PC)的像素坐标(u0，v0)是已知的。投影在传感器上的目标物体PT的像素坐标(uT，vT)也是已知的，因为用户识别传感器图像上的目标物体。
可以使用激光与视觉传感器之间的位置关系来找到激光点PL的像素坐标(uL，vL)。由于激光点仅测量无量纲距离z，PL最初可能在激光本身的框架中表示为三维坐标
Figure BDA0002455195020000171
为便于描述，上标(例如，
Figure BDA0002455195020000172
右上角的字母z)指示定义参数的坐标系或参考系。当上标具有两个字母时，该参数描述由各个字母指示的两个坐标系或参考系之间的关系。在视觉传感器的角度，即，在由视觉传感器的位置和朝向定义的坐标系中，激光点PL的三维坐标
Figure BDA0002455195020000173
可以表示为
Figure BDA0002455195020000174
的转换：
Figure BDA0002455195020000175
其中，RVL是描述在距离z处从激光框架到视觉传感器框架的旋转关系的矩阵；以及TVL是描述两个框架之间的转换关系的矩阵，也在距离z处。
可以基于可移动物体10已知的激光器和辅助对焦装置54的相机的相对位置来确定RVL和TVL。因为RVL和TVL描述了在距离z处激光器和相机之间的转换，这两个矩阵必定取决于距离z并且随距离z变化。
当相机(在视觉传感器中)捕捉图像时，从相机传感器的视点将空间中的实点投影为虚点。实点的坐标和虚点的坐标通过相机的固有矩阵K相关：
Figure BDA0002455195020000181
其中，αx＝fmx，αy＝fmy，f是相机焦距，mx和my是沿x和y轴的缩放因子，γ是x和y轴之间的偏斜参数，并且(u0，v0)是主点OC的坐标。因此，从相机的传感器通过其镜头观察的虚点的位置
Figure BDA0002455195020000182
可以表示为：
Figure BDA0002455195020000183
在由视觉传感器的相机内部的传感器捕捉的图像上，对应点为：
Figure BDA0002455195020000184
一旦确定了激光点在图像上的位置，就可以确定激光点与目标物体的位置之间的差Δ：
Figure BDA0002455195020000185
如果辅助对焦装置54的相机通过跟踪感兴趣物体或区域调整其视图，以使目标物体位于相机视图的中心，则OT和OC一致，并且
Figure BDA0002455195020000186
在某些方面，使相机跟踪目标物体并调整自身以将目标物体保持在其中心可以简化将激光朝向或对焦在目标物体上的调整，特别是在激光最初投射在距目标物体一距离的区域中的情况下。
然后，激光点和目标物体位置之间的差Δ可以用于通过在x和y两个方向上旋转来调整激光以对焦在用户选择的物体上：
Figure BDA0002455195020000187
其中，和
Figure BDA0002455195020000189
是x和y方向上的旋转角度，w和h是相机传感器感测到的图像尺寸的宽度和高度，并且FoVx和FoVy是x和y方向上的视场。例如，如果相机传感器的对角线视场为FoV，则
Figure BDA0002455195020000191
Figure BDA0002455195020000192
如上所述，转换矩阵RVL和TVL取决于距离z，以及将激光点对焦在感兴趣区域上的调整可能会影响距离z的测量。因此，距离测量单元58可以在调整之后执行另一测量以获得更精确的距离z的值。在更新测量之后，可以基于所描述的方法进行进一步的细调。该测量调整周期可以重复几次以获得令人满意的精度。
由于可移动物体10及其各种部件可能会集体运动和/或相对于彼此运动，并且目标物体也可能正在移动，因此距离测量可能受到由此类移动引起的干扰或噪音的影响。根据本公开的实施例，多个距离测量可以随着时间重复并且组合以获得对距离更精确的确定。这种处理(或数据融合)的示例可以是例如取平均、滤波或其他方式。可以使用公知滤波器，例如，卡尔曼滤波器、巴特沃思滤波器、或其他滤波器。
作为示例，可以将卡尔曼滤波器应用于距离测量以减少噪声的影响。如本领域中已知的，卡尔曼滤波器是递归滤波器，其基于观察来提供对变量状态的预测。例如，可移动物体的状态可以用两个观察值定义，即，物体的位置x(三维矢量)和速度
Figure BDA0002455195020000193
(x随时间变化的导数)。状态空间X可以用两个组合在一起的观察值来定义：
Figure BDA0002455195020000194
时间k处的状态空间Xk可以基于牛顿运动定律根据时间k-1处的状态空间Xk-1预测：
Xk＝FXk-1+Gak (10)
其中，
Figure BDA0002455195020000195
并且
Figure BDA0002455195020000196
此处，ak是在时间k-1和时间k之间物体的加速度，其可能是由不受控制的力或干扰(例如，风、在湿滑的路面上打滑等)引起的。作为基于牛顿运动定律的精确预测的噪声，ak被假设具有平均值为0并且标准偏差为σa的正态(高斯)分布(即，ak～N(0，σa))。
除预测过程中的噪声外，当观察或测量状态空间X时，可能会引入更多的噪声，从而在时间k处的测量Z为：
Zk＝HXk+εk (11)
其中，H是表示状态空间X与被测量的变量或观察值之间关系的测量矩阵。εk表示测量噪声，其也被假设具有平均值为0并且标准偏差为σk的正态分布(即，εk～N(0，σk))。
基于测量Zk，可以对Xk进行最佳估计。对Xk的最佳估计被认为是在时间k处状态空间的值，并且也可以用于与公式(10)结合来预测下一时间k+1处的状态空间。卡尔曼滤波器使用协方差矩阵P来反映状态空间的预测精度和最佳估计。时间k-1处的协方差矩阵与其他信息(例如，测量Zk(由公式(11)计算)和Xk的预测(由公式(10)计算))结合使用，以找到Xk的最佳估计。像状态空间一样，基于时间k处的可用信息(即，测量Zk-1、Xk-1的最佳估计、时间k-1处的协方差矩阵和假设的噪声水平)，对时间k处的协方差矩阵Pk|k-1进行预测。在时间k处进行测量后，将协方差矩阵更新为Pk|k，然后可以将其用于确定Xk的最佳估计并预测下一时间k+1处的协方差矩阵Pk+1|k。
因此，随着时间推移的更多观察，状态空间和协方差矩阵不断更新，自动校正可能的错误累积。噪声被均衡而不是被累积。状态空间的预测以及基于预测和测量的当前状态空间的最佳估计变得更加准确。
根据本公开的实施例，卡尔曼滤波器可以用于以相对精确的方式估计目标物体的位置。如上述示例中所示，由于可移动物体和目标物体的运动遵循牛顿运动定律，因此可以应用等式(9)和(10)。为了找出目标物体与主相机的距离，可以测量或观察两个变量，例如，目标物体在传感器的图像上的像素坐标(uT，vT)，以及辅助对焦装置的相机参考系中目标物体的位置
Figure BDA0002455195020000201
Figure BDA0002455195020000202
Figure BDA0002455195020000203
Figure BDA0002455195020000211
在公式(12-1)和(12-2)中：
RVW是描述从世界坐标系到视觉传感器的参考系的旋转关系的矩阵；
Figure BDA0002455195020000212
是目标物体在世界坐标系中的位置；
Figure BDA0002455195020000213
是视觉传感器在世界坐标系中的位置；
δk是在像素坐标的观察中在时间k处的噪声；
RVI是描述从惯性测量单元(IMU)的参考系到视觉传感器的参考系的旋转关系的矩阵；
RIW是描述从世界坐标系到IMU参考系的旋转关系的矩阵；
Figure BDA0002455195020000214
是IMU在世界坐标系中的位置；
RWI是描述从IMU参考系到世界坐标系的旋转关系的矩阵；
Figure BDA0002455195020000215
是视觉传感器在IMU参考系中的位置(
Figure BDA0002455195020000216
可以与IMU参考系和视觉传感器参考系之间的转换矩阵TVI相同)；
Figure BDA0002455195020000217
是目标物体在视觉传感器参考系中的位置；以及
γk是在目标物体在视觉传感器参考系中的三维位置的观察中在时间k处的噪声。
观察或测量中的噪声遵循正态(或高斯)分布，即，δk～N(0，σ)和γk～N(0，σk)，其中，σ和σk分别是像素坐标和目标物体的3-D位置的观察中的标准偏差，并且σ2和
Figure BDA0002455195020000218
分别表示对应的变量。
卡尔曼滤波器的初始状态可以通过多次初始测量来配置，例如，
Figure BDA0002455195020000219
其中，x0是在时间0处对物体位置的几次测量的平均值。
可以将协方差矩阵初始化为
Figure BDA00024551950200002110
可以基于应用需要选择B的值。较大的值B赋予较早测量更大的权重，而较小的值B赋予较晚测量更大的权重。
通过滤波，可以可靠地确定目标物体
Figure BDA00024551950200002111
在相机参照系中的位置。然后，可以确定目标物体
Figure BDA00024551950200002112
在主相机参考系中的位置：
Figure BDA00024551950200002113
其中，RMV是表示从视觉传感器到主相机52的旋转关系的矩阵，并且TMV是描述从视觉传感器到主相机52的平移关系的矩阵。
一旦确定了目标物体在主相机参照系中的位置，就可以确定所需的对焦深度d。根据本公开的实施例，主相机可以对焦在目标物体上。备选地，无论目标物体是否在视野内，主相机都可以将对焦于所需的深度d。例如，深度d可以根据目标物体的三维位置
Figure BDA0002455195020000221
确定为：
Figure BDA0002455195020000222
或者
Figure BDA0002455195020000223
其中，
Figure BDA0002455195020000224
是由
Figure BDA0002455195020000225
表示的矢量长度。
Figure BDA0002455195020000226
指示
Figure BDA0002455195020000227
的第三分量，即，z分量。
图7示出了根据本公开的实施例的另一示例性自动对焦过程700。为了说明而非限制的目的，过程700可以由在控制器300和/或可移动物体10中执行的软件来执行。
在步骤701中，可以识别感兴趣区域。在由辅助自动对焦装置中的视觉传感器捕捉的视图或图像中，该感兴趣区域可以是物体，例如，树、地标、人或人脸。在步骤701-1处，感兴趣区域的识别可以通过在远程终端上的视图或图像的显示器上的物体检测或用户指定来实现。一旦用户选择了感兴趣区域，控制器300或可移动物体10在步骤701-2处识别出所识别的目标区域，并激活跟踪算法以在701-3处跟踪目标。
在步骤702处，通过跟踪算法，相同的目标或感兴趣区域将保持选中或跟踪。
在步骤703处，调整辅助对焦装置以准备进行距离测量。例如，如果距离测量单元58包括定向源(例如，激光或超声发生器)，则在步骤703-1处，可以基于感兴趣区域在传感器视图或在视觉传感器56的视图中的位置，首先将该定向源调节或调整为面向感兴趣区域。该调整计算或考虑了辅助对焦装置的传感器参数和/或主相机的姿势。
在由距离测量单元进行距离测量之后，可以在步骤703-2处对辅助对焦装置进行细调。并且可以重复进行细调直到数据收敛为止，其后在步骤704处可以执行数据融合以减少干扰或噪声的影响。
一旦测量了从辅助对焦设备到目标物体或区域的距离，在步骤705处，基于主相机和辅助对焦装置之间的位置关系，将目标物体或区域的参数转换为主相机的坐标系。在步骤706处，在主相机的坐标系中计算目标物体或区域的景深(DOF)。
基于所计算的景深，可以确定焦距，然后在步骤707处，可以调整主相机的焦点。
应当理解的是，所公开的实施例不必将其应用限于在以下描述中阐述和/或在附图和/或示例中示出的构造细节和部件布置。所公开的实施例能够变化，或者能够以各种方式被实践或执行。
对于本领域技术人员将显而易见的是，可以对所公开的装置和系统进行各种修改和变型。通过考虑所公开的装置和系统的规范和实践，其他实施例对于本领域技术人员将是显而易见的。旨在将说明书和示例仅视为示例性的，其真实范围由所附权利要求及其等同物指示。

Claims (54)

1.一种可操作地与第一相机耦接以使所述第一相机对焦的设备，包括：
视觉传感器，与处理器耦接并且被配置为捕捉视图，所述处理器被配置为接收对所述视图中感兴趣区域的选择；以及
距离测量单元，与所述处理器耦接并且被配置为测量到所述感兴趣区域的距离以调整所述第一相机的焦点。
2.根据权利要求1所述的设备，其中，所述视觉传感器包括第二相机。
3.根据权利要求1所述的设备，其中，所述设备相对于所述第一相机是可移动的。
4.根据权利要求1所述的设备，其中，所述距离测量单元相对于所述第一相机是可移动的。
5.根据权利要求1所述的设备，其中，所述设备被安装在与所述第一相机相同的物体上。
6.根据权利要求1所述的设备，其中，所述视觉传感器、所述距离测量单元和所述第一相机相对于彼此都是可移动的。
7.根据权利要求1所述的设备，其中，所述设备被安装在无人飞行器UAV上。
8.根据权利要求1所述的设备，其中，所述距离测量单元基于飞行时间来测量所述距离。
9.根据权利要求8所述的设备，其中，所述距离测量单元使用激光来测量所述距离。
10.根据权利要求8所述的设备，其中，所述距离测量单元使用超声波来测量所述距离。
11.根据权利要求1所述的设备，其中，所述处理器从用户接收对所述感兴趣区域的选择。
12.根据权利要求1所述的设备，其中，所述距离测量单元多于一次地测量所述距离。
13.根据权利要求12所述的设备，其中，所述处理器被配置为：处理距离测量以减少噪声的影响。
14.根据权利要求13所述的设备，其中，所述处理器使用卡尔曼滤波器来处理所述距离测量。
15.根据权利要求1所述的设备，其中，所述处理器被配置为：基于所测量的距离来引起对所述设备的调整。
16.根据权利要求15所述的设备，其中，所述处理器被配置为：引起对所述设备的调整，以使所述距离测量单元朝向所述感兴趣区域。
17.根据权利要求16所述的设备，其中，所述处理器被配置为：使所述距离测量单元在对所述设备的调整之后重复距离测量。
18.根据权利要求1所述的设备，其中，所述视觉传感器被配置为跟踪所述感兴趣区域。
19.根据权利要求18所述的设备，其中，所述视觉传感器跟踪所述感兴趣区域，使得所述感兴趣区域保持在所述视图的中心。
20.根据权利要求1所述的设备，其中，所述处理器被配置为：基于所测量的距离使所述第一相机对焦，无论所述感兴趣区域是否在所述相机的视图中。
21.根据权利要求1所述的设备，其中，所述处理器被配置为：使所述相机对焦在所述感兴趣区域上。
22.一种用于使相机对焦的方法，包括：
通过视觉传感器捕捉视图；
接收对所捕捉的视图中的感兴趣区域的选择；
测量所述感兴趣区域与距离测量单元的距离；以及
基于所测量的距离来调整所述相机的焦点。
23.根据权利要求22所述的方法，其中，所述测量包括：基于飞行时间来测量所述距离。
24.根据权利要求22所述的方法，其中，所述测量包括：使用激光来测量所述距离。
25.根据权利要求22所述的方法，其中，所述测量包括：使用超声波来测量所述距离。
26.根据权利要求22所述的方法，其中，所述接收包括：从用户接收对所述感兴趣区域的选择。
27.根据权利要求22所述的方法，还包括：朝所述感兴趣区域调整所述距离测量单元。
28.根据权利要求27所述的方法，还包括：在调整所述距离测量装置之后，重复所述距离的测量。
29.根据权利要求22所述的方法，还包括：重复所述距离的测量，并且处理多个测量以减少噪声的影响。
30.根据权利要求22所述的方法，其中，处理所述多个测量包括：使用卡尔曼滤波器对所述测量进行滤波。
31.根据权利要求22所述的方法，还包括：调整所述视觉传感器，以跟踪所述感兴趣区域。
32.根据权利要求31所述的方法，其中，调整所述视觉传感器包括：调整所述视觉传感器，以将所述感兴趣区域保持在所述视图的中心。
33.根据权利要求22所述的方法，其中，调整所述相机的焦点包括：基于所测量的距离来调整所述相机的焦点，无论所述感兴趣区域是否在所述相机的视图中。
34.根据权利要求22所述的方法，其中，调整所述相机的焦点包括：调整所述相机以对焦在所述感兴趣区域上。
35.根据权利要求22所述的方法，其中，调整所述相机的焦点包括：基于所测量的距离和所述相机与所述距离测量单元之间的位置关系，确定所述感兴趣区域的深度。
36.一种可移动物体，包括：
第一相机；
辅助对焦装置，包括视觉传感器和距离测量单元；以及
处理器，被配置为：
使所述视觉传感器捕捉视图，
接收对感兴趣区域的选择，
使所述距离测量单元测量到所述感兴趣区域的距离，以及
基于所测量的距离引起对所述相机的焦点的调整。
37.根据权利要求36所述的可移动物体，其中，所述可移动物体是无人飞行器。
38.根据权利要求36所述的可移动物体，其中，所述辅助对焦装置相对于所述第一相机是可移动的。
39.根据权利要求36所述的可移动物体，其中，所述距离测量单元相对于所述第一相机是可移动的。
40.根据权利要求36所述的可移动物体，其中，所述视觉传感器、所述距离测量单元和所述第一相机相对于彼此都是可移动的。
41.根据权利要求36所述的可移动物体，其中，所述视觉传感器包括第二相机。
42.根据权利要求36所述的可移动物体，其中，所述距离测量单元基于飞行时间来测量所述距离。
43.根据权利要求36所述的可移动物体，其中，所述距离测量单元包括激光器。
44.根据权利要求36所述的可移动物体，其中，所述距离测量单元包括超声波发生器。
45.根据权利要求36所述的可移动物体，其中，所述处理器从用户接收对所述感兴趣区域的选择。
46.根据权利要求36所述的可移动物体，其中，所述处理器被配置为：处理距离测量以减少噪声的影响。
47.根据权利要求36所述的可移动物体，其中，所述处理器使用卡尔曼滤波器来处理所述距离测量。
48.根据权利要求36所述的可移动物体，其中，所述处理器被配置为：基于所测量的距离引起对所述距离测量单元的调整，以使所述距离测量单元朝向所述感兴趣区域。
49.根据权利要求48所述的可移动物体，其中，所述处理器被配置为：使所述距离测量单元在对所述距离测量单元的调整之后重复距离测量。
50.根据权利要求48所述的可移动物体，其中，所述视觉传感器被配置为跟踪所述感兴趣区域。
51.根据权利要求36所述的可移动物体，其中，所述视觉传感器跟踪所述感兴趣区域，使得所述感兴趣区域保持在所述视图的中心。
52.根据权利要求36所述的可移动物体，其中，所述处理器被配置为：基于所测量的距离使所述相机对焦，无论所述感兴趣区域是否在所述第一相机的视图中。
53.根据权利要求36所述的可移动物体，其中，所述处理器被配置为：基于所测量的距离、以及基于所述第一相机与所述距离测量单元之间的位置关系或所述第一相机与所述辅助对焦装置之间的位置关系来确定所述感兴趣区域的深度。
54.根据权利要求36所述的可移动物体，其中，所述处理器被配置为：使所述第一相机对焦在所述感兴趣区域上。
CN201880067862.2A 2018-09-26 2018-09-26 自动对焦相机和系统 Active CN111226154B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/107749 WO2020061857A1 (en) 2018-09-26 2018-09-26 Autofocusing camera and systems

Publications (2)

Publication Number Publication Date
CN111226154A true CN111226154A (zh) 2020-06-02
CN111226154B CN111226154B (zh) 2023-02-21

Family

ID=69953216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067862.2A Active CN111226154B (zh) 2018-09-26 2018-09-26 自动对焦相机和系统

Country Status (3)

Country Link
US (2) US11310412B2 (zh)
CN (1) CN111226154B (zh)
WO (1) WO2020061857A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543284A (zh) * 2020-11-27 2021-03-23 维沃移动通信有限公司 对焦系统、方法及装置
WO2021249245A1 (zh) * 2020-06-08 2021-12-16 深圳市大疆创新科技有限公司 装置、摄像装置、摄像系统及移动体
WO2022147703A1 (zh) * 2021-01-07 2022-07-14 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN111226154B (zh) * 2018-09-26 2023-02-21 深圳市大疆创新科技有限公司 自动对焦相机和系统
US11523043B2 (en) * 2020-10-12 2022-12-06 Apple Inc. Camera autofocus using time-of-flight assistance

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1152724A (zh) * 1994-12-08 1997-06-25 三星航空产业株式会社 自动聚焦操作显示装置及方法
US20130077946A1 (en) * 2011-09-22 2013-03-28 Sony Corporation Imaging apparatus and control method of imaging apparatus
CN105549299A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106657794A (zh) * 2017-01-16 2017-05-10 广东容祺智能科技有限公司 一种可自动变焦机载云台系统
US20170219693A1 (en) * 2013-11-30 2017-08-03 Bae Systems Information & Electronic Systems Integration Inc. Laser detection and image fusion system and method
WO2017184056A1 (en) * 2016-04-18 2017-10-26 Moonlightning Industries Ab Focus pulling with distance information from a secondary camera system
CN206650793U (zh) * 2016-09-29 2017-11-17 意法半导体(R&D)有限公司 图像投影设备
CN107431745A (zh) * 2015-03-31 2017-12-01 高通股份有限公司 双相机自动聚焦
US20180025498A1 (en) * 2016-07-21 2018-01-25 Gopro, Inc. Subject Tracking Systems for a Movable Imaging System
CN108141522A (zh) * 2015-11-30 2018-06-08 深圳市大疆创新科技有限公司 成像系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187516A (en) * 1989-10-20 1993-02-16 Asahi Kogaku Kogyo Kabushiki Kaisha Device for indicating distance measuring zone of camera
US6327437B1 (en) * 2000-01-28 2001-12-04 Eastman Kodak Company Verifying camera having focus indicator and method
US8581981B2 (en) * 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle
JP6391694B2 (ja) * 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
CN108351574B (zh) * 2015-10-20 2020-12-22 深圳市大疆创新科技有限公司 用于设置相机参数的系统、方法和装置
CN108139799B (zh) * 2016-04-22 2022-01-14 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的系统和方法
CN112367513B (zh) * 2016-05-06 2022-06-17 深圳市大疆创新科技有限公司 导航系统和用于感测环境的方法
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
WO2019100330A1 (zh) * 2017-11-24 2019-05-31 深圳市大疆创新科技有限公司 云台相机的镜头装置、云台相机及无人机
JP6630939B2 (ja) * 2018-04-26 2020-01-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN111226154B (zh) * 2018-09-26 2023-02-21 深圳市大疆创新科技有限公司 自动对焦相机和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1152724A (zh) * 1994-12-08 1997-06-25 三星航空产业株式会社 自动聚焦操作显示装置及方法
US20130077946A1 (en) * 2011-09-22 2013-03-28 Sony Corporation Imaging apparatus and control method of imaging apparatus
CN103024259A (zh) * 2011-09-22 2013-04-03 索尼公司 成像设备和成像设备的控制方法
US20170219693A1 (en) * 2013-11-30 2017-08-03 Bae Systems Information & Electronic Systems Integration Inc. Laser detection and image fusion system and method
CN107431745A (zh) * 2015-03-31 2017-12-01 高通股份有限公司 双相机自动聚焦
CN108141522A (zh) * 2015-11-30 2018-06-08 深圳市大疆创新科技有限公司 成像系统和方法
CN105549299A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
WO2017184056A1 (en) * 2016-04-18 2017-10-26 Moonlightning Industries Ab Focus pulling with distance information from a secondary camera system
CN109076164A (zh) * 2016-04-18 2018-12-21 月光产业股份有限公司 借助于来自辅助相机系统的距离信息进行焦点拉动
US20180025498A1 (en) * 2016-07-21 2018-01-25 Gopro, Inc. Subject Tracking Systems for a Movable Imaging System
CN206650793U (zh) * 2016-09-29 2017-11-17 意法半导体(R&D)有限公司 图像投影设备
CN106657794A (zh) * 2017-01-16 2017-05-10 广东容祺智能科技有限公司 一种可自动变焦机载云台系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249245A1 (zh) * 2020-06-08 2021-12-16 深圳市大疆创新科技有限公司 装置、摄像装置、摄像系统及移动体
CN114600024A (zh) * 2020-06-08 2022-06-07 深圳市大疆创新科技有限公司 装置、摄像装置、摄像系统及移动体
CN112543284A (zh) * 2020-11-27 2021-03-23 维沃移动通信有限公司 对焦系统、方法及装置
WO2022147703A1 (zh) * 2021-01-07 2022-07-14 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111226154B (zh) 2023-02-21
US11310412B2 (en) 2022-04-19
WO2020061857A1 (en) 2020-04-02
US20200267323A1 (en) 2020-08-20
US20220210335A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
CN111226154B (zh) 自动对焦相机和系统
US11283986B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11263761B2 (en) Systems and methods for visual target tracking
US11797009B2 (en) Unmanned aerial image capture platform
US11649052B2 (en) System and method for providing autonomous photography and videography
US20210192764A1 (en) Method and system for detecting and tracking objects using characteristic points
CN109470158B (zh) 影像处理装置及测距装置
WO2017071143A1 (en) Systems and methods for uav path planning and control
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
CN113824885B (zh) 用于光程调节的系统、方法和相关无人机
US12007763B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant