CN112292712A - 装置、摄像装置、移动体、方法以及程序 - Google Patents

装置、摄像装置、移动体、方法以及程序 Download PDF

Info

Publication number
CN112292712A
CN112292712A CN202080003348.XA CN202080003348A CN112292712A CN 112292712 A CN112292712 A CN 112292712A CN 202080003348 A CN202080003348 A CN 202080003348A CN 112292712 A CN112292712 A CN 112292712A
Authority
CN
China
Prior art keywords
image
positional relationship
image pickup
focus lens
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080003348.XA
Other languages
English (en)
Inventor
高宫诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
SZ DJI Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112292712A publication Critical patent/CN112292712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)

Abstract

有时根据被摄体的不同，被摄体距离的检测精度下降。提供一种装置，其包括构成如下的电路：根据摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及摄像面和聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第一预测值；根据摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像所包含的第三图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第二预测值；根据第一预测值和第二预测值之差，确定表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的目标值。

Description

装置、摄像装置、移动体、方法以及程序
技术领域
本发明涉及一种装置、摄像装置、移动体、方法以及程序。
背景技术
记载有用DFD方式测量被摄体距离的技术。
[现有技术文献]
[专利文献]
[专利文献1]日本特开2013-242617号公报
发明内容
有时根据被摄体的不同，被摄体距离的检测精度下降。
本发明的一个方面所涉及的装置包括一种电路，该基于电路构成为：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及摄像面和聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量。电路构成为：根据第一图像的模糊量和第二图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第一预测值。电路构成为：获取摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像所包含的第三图像的模糊量。电路构成为：根据第二图像的模糊量和第三图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第二预测值。电路构成为：根据第一预测值和第二预测值之差，确定表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的目标值。
第一位置关系、第二位置关系以及第三位置关系可以分别表示聚焦镜头相对于摄像面的位置。第一预测值可以表示对焦于被摄体时的聚焦镜头相对于摄像面的第一目标位置。第二预测值可以表示对焦于被摄体时的聚焦镜头相对于摄像面的第二目标位置。电路可以构成为：使用第一目标位置和第二目标位置之差，确定表示对焦于被摄体时的聚焦镜头相对于摄像面的目标位置的目标值。
将根据第一位置关系和第二位置关系的至少一个确定的聚焦镜头的位置设定为第一基准位置，将根据第二位置关系和第三位置关系的至少一个确定的聚焦镜头的位置设定为第二基准位置，电路可以构成为：使用相对于第一基准位置和第二基准位置之差的第一目标位置和第二目标位置之差，确定表示对焦于被摄体时的聚焦镜头相对于的摄像面的目标位置的目标值。
电路可以构成为：计算出相对于第一基准位置和第二基准位置之差的第一目标位置和第二目标位置之差的比率作为变化信息。电路可以构成为：通过将第二目标位置除以比率来计算出第二目标位置的校正值。电路可以构成为：计算出相对于第二基准位置的校正值所表示的位置作为目标值。
电路可以构成为：根据目标值执行摄像装置的对焦控制。
电路可以构成为：获取第一图像的模糊量和第二图像的模糊量。电路可以构成为：根据第一图像的模糊量和第二图像的模糊量获取第一预测值。电路可以构成为：当第一预测值的可靠值大于等于预先设定的第一值时，根据第一预测值执行摄像装置的对焦控制。电路可以构成为：当第一预测值的可靠值低于预先设定的第一值时，获取第三图像的模糊量，根据第二图像的模糊量和第三图像的模糊量获取第二预测值，并根据目标值执行摄像装置的对焦控制。
电路可以构成为：当第一预测值的可靠值低于比第一值更低的第二值时，不获取第三图像，并不进行根据第一预测值的摄像装置的对焦控制。电路可以构成为：当第一预测值的可靠值低于第一值并且大于等于第二值时，获取第三图像的模糊量，根据第二图像的模糊量和第三图像的模糊量获取第二预测值，并根据目标值执行摄像装置的对焦控制。
本发明的一个方面所涉及的装置包括一种电路，该基于电路构成为：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及摄像面和聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量。电路可以构成为：根据第一图像的模糊量和第二图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第一预测值。电路可以构成为：获取摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像中包含的第三图像的模糊量以及摄像面和聚焦镜头处于第四位置关系的状态下拍摄的第四摄像图像中包含的第四图像的模糊量。电路可以构成为：根据第三图像的模糊量和第四图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第二预测值。电路可以构成为根据第一预测值和第二预测值之差，确定表示对焦于被摄体时摄像面和聚焦镜头之间的位置关系的目标值。
根据本发明的一个方面所涉及的摄像装置可以包括上述装置和具有摄像面的图像传感器。
本发明的一个方面所涉及的摄像系统可以包括上述摄像装置以及以可控制所述摄像装置的姿势的方式进行支撑的支撑机构。
本发明的一个方面所涉及的移动体可以搭载上述的摄像装置进行移动。
本发明的一个方面所涉及的方法包括：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及摄像面和聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量。方法可以包括：根据第一图像的模糊量和第二图像的模糊量获取第一预测值，该第一预测值表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系。方法可以包括：获取摄像装置的摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三图像中包含的第三图像的模糊量。方法可以包括：根据第二图像的模糊量和第三图像的模糊量获取第二预测值，该第二预测值表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系。该方法可以包括：根据第一预测值和第二预测值之差，确定表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的目标值。
本发明的一个方面所涉及的程序可以是用于使计算机执行上述方法的程序。
根据本发明的一个方面，有时可以抑制根据被摄体的不同导致被摄体距离的检测精度降低的情形。
此外，上述发明内容未列举本发明的必要的全部特征。此外，这些特征组的子组合也可以构成发明。
附图说明
图1是表示摄像装置100的外观立体图的一个示例的图。
图2是示出摄像装置100的功能块的图。
图3示出表示图像的模糊量(Cost)和聚焦镜头的位置之间的关系的曲线的一个示例。
图4是表示BDAF方式中的距离计算过程的一个示例的流程图。
图5是说明被摄体距离的计算过程的图。
图6示出对于不同被摄体的DFD运算值和散焦量的关系。
图7示出根据摄像控制部110进行的两次DFD运算的对焦控制的原理。
图8是表示摄像控制部110执行的对焦控制的处理过程的流程图。
图9示出无人驾驶航空器(UAV)的一个示例。
图10示出整体或部分地体现本发明的多个方面的计算机1200的一个示例。
具体实施方式
以下，通过发明的实施方式来说明本发明，但是以下的实施方式并不限定权利要求书所涉及的发明。此外，实施方式中所说明的所有特征组合对于发明的解决方案未必是必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人则不会提出异议。但是，在除此以外的情况下，保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行存储的任意有形设备。其结果是，其上存储有指令的计算机可读介质包括一种包括指令的产品，该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例，可以包括floppy(注册商标)disk软盘、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(注册商标)光盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk(注册商标)、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图或框图所指定操作的手段。处理器的示例包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1是示出本实施方式所涉及的摄像装置100的外观立体图的一个示例的图。图2是示出本实施方式所涉及的摄像装置100的功能块的图。
摄像装置100包括摄像部102及镜头部200。摄像部102包括图像传感器120、摄像控制部110、存储器130、指示部162以及显示部160。
图像传感器120可以由CCD或CMOS构成。图像传感器120通过镜头部200所具有的镜头210接收光。图像传感器120将由镜头210摄像的光学图像的图像数据输出至摄像控制部110。
摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。存储器130可以是计算机可读记录介质，也可以包括诸如SRAM、DRAM、EPROM、EEPROM和USB存储器等闪存中的至少一种。摄像控制部110与电路对应。存储器130存储摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置于摄像装置100的壳体内部。存储器130可以设置成可从摄像装置100的壳体上拆卸下来。
指示部162是从用户处接受对摄像装置100的指示的用户界面。显示部160显示由图像传感器120摄像、由摄像控制部110处理的图像、摄像装置100的各种设置信息等。显示部160可以由触控面板组成。
摄像控制部110对镜头部200及图像传感器120进行控制。例如，摄像控制部110控制镜头210的焦点的位置、焦点距离。摄像控制部110根据表示来自用户的指示的信息，将控制指令输出到镜头部200所包括的镜头控制部220，从而对镜头部200进行控制。
镜头部200具有一个以上的镜头210、镜头驱动部212、镜头控制部220以及存储器222。在本实施方式中，将一个以上的镜头210统称为“镜头210”。镜头210可以包括聚焦镜头和变焦镜头。镜头210包括的镜头中的至少一部分或全部被布置为可沿着镜头210的光轴移动。镜头部200可以是可拆卸地设于摄像部102的可更换镜头。
镜头驱动部212使镜头210中的至少一部分或全部沿着镜头210的光轴移动。镜头控制部220根据来自摄像部102的镜头控制指令，驱动镜头驱动部212，使镜头210整体或镜头210所包含的变焦镜头或聚焦镜头沿光轴方向移动，从而执行变焦操作或聚焦操作中的至少一个。镜头控制指令例如是变焦控制指令以及聚焦控制指令等。
镜头驱动部212可包括使多个镜头210的至少一部分或全部沿光轴方向移动的音圈电机(VCM)。镜头驱动部212可包括DC电机、空心杯电机或超声波电机等电动机。镜头驱动部212可将来自电动机的动力经由凸轮环、导轴等机构部件传递给多个镜头210的至少一部分或全部，使镜头210的至少一部分或全部沿光轴移动。
存储器222存储通过镜头驱动部212进行移动的聚焦镜头、变焦镜头用的控制值。存储器222可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。
摄像控制部110根据通过指示部162等获取的表示用户指示的信息，通过向图像传感器120输出控制指令，对图像传感器120实施包括摄像操作控制在内的控制。摄像控制部110获取由图像传感器120拍摄的图像。摄像控制部110对从图像传感器120获取的图像实施图像处理并存储在存储器130中。
对本实施方式中的摄像控制部110的操作进行说明。摄像控制部110获取摄像装置100的摄像面和聚焦镜头处在第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量、以及摄像面和聚焦镜头处在第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量。摄像控制部110根据第一图像的模糊量和第二图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第一预测值。摄像控制部110获取摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像中包含的第三图像的模糊量。摄像控制部110根据第二图像的模糊量和第三图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第二预测值。摄像控制部110根据第一预测值和第二预测值之差，确定表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的目标值。
第一位置关系、第二位置关系以及第三位置关系可以分别表示聚焦镜头相对于摄像面的位置。第一预测值可以表示对焦于被摄体时的聚焦镜头相对于摄像面的第一目标位置。第二预测值可以表示对焦于被摄体时的聚焦镜头相对于摄像面的第二目标位置。在这种情况下，摄像控制部110可以使用第一目标位置和第二目标位置之差，确定表示对焦于被摄体时的聚焦镜头相对于摄像面的目标位置的目标值。
摄像控制部110将根据第一位置关系和第二位置关系的至少一个确定的聚焦镜头的位置设为第一基准位置，将根据第二位置关系和第三位置关系的至少一个确定的聚焦镜头的位置设为第二基准位置，摄像控制部110使用相对于第一基准位置和第二基准位置之差的第一目标位置和第二目标位置之差，确定表示对焦于被摄体时的聚焦镜头相对于的摄像面的目标位置的目标值。
摄像控制部110可以计算出第一目标位置和第二目标位置之差与第一基准位置和第二基准位置之差的比率作为变化信息。摄像控制部110可以通过将第二目标位置除以该比率来计算出第二目标位置的校正值。摄像控制部110可以计算出相对于第二基准位置的校正值所表示的位置作为目标值。摄像控制部110可以根据目标值，执行摄像装置100的对焦控制。
摄像控制部110可以获取第一图像的模糊量和第二图像的模糊量。摄像控制部110可以根据第一图像的模糊量和第二图像的模糊量获取第一预测值。当第一预测值的可靠值大于等于预先设定的第一值时，摄像控制部110可以根据第一预测值执行摄像装置100的对焦控制。当第一预测值的可靠值低于预先设定的第一值时，摄像控制部110获取第三图像的模糊量，根据第二图像的模糊量和第三图像的模糊量获取第二预测值，并根据目标值执行摄像装置100的对焦控制。
当第一预测值的可靠值低于比第一值更低的第二值时，摄像控制部110不获取第三图像，并不进行根据第一预测值的摄像装置100的对焦控制。当第一预测值的可靠值低于第一预测值并且大于等于第二值时，摄像控制部110获取第三图像的模糊量，根据第二图像的模糊量和第三图像的模糊量获取第二预测值，并且根据目标值执行摄像装置100的对焦控制。
另外，摄像控制部110可以获取摄像装置100的摄像面和聚焦镜头在处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量、以及摄像面和聚焦镜头在处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量。摄像控制部110可以根据第一图像的模糊量和第二图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第一预测值。摄像控制部110可以获取摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像中包含的第三图像的模糊量以及摄像面和聚焦镜头处于第四位置关系的状态下拍摄的第四摄像图像中包含的第四图像的模糊量。摄像控制部110可以根据第三图像的模糊量和第四图像的模糊量，获取表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的第二预测值。摄像控制部110可以根据第一预测值和第二预测值之差，确定表示对焦于被摄体时的摄像面和聚焦镜头之间的位置关系的目标值。
对摄像装置100执行的AF方式进行说明。为了执行AF处理，摄像装置100确定从镜头210到被摄体的距离(被摄体距离)。作为用于确定被摄体距离的方式，存在以下方式：通过使聚焦镜头移动，根据在聚焦镜头和图像传感器120的受光面的位置关系不同的状态下拍摄到的多个图像的模糊量来确定。在此，将使用该方式的AF称为模糊检测自动聚焦(Bokeh Detection Auto Foucus：BDAF)方式。具体来说，在BDAF中，进行DFD(Depth FromDefocus)运算来进行AF。
例如，图像的模糊量(Cost)可以采用高斯函数由以下公式(1)来表示。在式(1)中，x表示水平方向上的像素位置。σ表示标准偏差值。
【式1】
Figure BDA0002839568660000091
图3示出表示图像的模糊量(Cost)和聚焦镜头的位置的关系的曲线的一个示例。C1是聚焦镜头位于x1时得到的图像模糊量。C2是聚焦镜头位于x2时得到的图像模糊量。通过将聚焦镜头对准镜头位置x0，可以将对焦于被摄体，其中，镜头位置x0对应于考虑镜头210的光学特性而根据散焦量C1及量C2确定的曲线500的极小点502。
图4是表示BDAF方式中的距离计算过程的一个示例的流程图。摄像控制部110在镜头210和图像传感器120的摄像面处于第一位置关系的状态下，拍摄第一图像并存储在存储器130中。摄像控制部110通过在光轴方向上移动镜头210，使镜头210与摄像面处于第二位置关系的状态，通过摄像装置100拍摄第二图像，并存储在存储器130中(S201)。例如，摄像控制部110通过沿光轴方向移动聚焦镜头，将镜头210与摄像面的位置关系从第一位置关系变更为第二位置关系。镜头的移动量可以为例如10μm左右。
然后，摄像控制部110将第一图像分割为多个区域(S202)。摄像控制部110可以对第一图像内的每个像素计算特征量，将具有类似的特征量的像素组作为一个区域而将第一图像分割为多个区域。摄像控制部110也可以将第一图像中被设定为AF处理框的范围的像素组分割为多个区域。摄像控制部110将第二图像分割为与第一图像的多个区域对应的多个区域。摄像控制部110根据第一图像的多个区域的各个模糊量和第二图像的多个区域的各自的模糊量，按多个区域计算到与多个区域的每一个所包含的物体对应的被摄体的距离(S203)。
另外，改变镜头210与图像传感器120的摄像面的位置关系的方法并不限于使镜头210具备的聚焦镜头移动这一方法。例如，摄像控制部110可以使镜头210整体沿光轴方向移动。摄像控制部110可以使图像传感器120的摄像面沿光轴方向移动。摄像控制部110可以使镜头210所具备的至少一部分镜头以及图像传感器120的摄像面都沿光轴方向移动。摄像控制部110可以采用任意方法，只要光学地改变镜头210的焦点与图像传感器120的摄像面的相对位置关系即可。
将参照图5进一步说明被摄体距离的计算过程。将从镜头L的主点到被摄体510(物面)的距离设为A，将从镜头L的主点到来自被摄体510的光束成像的位置(像面)的距离设为B，将镜头L的焦距设为F。在这种情况下，可以根据镜头公式用以下式(2)来表示距离A、距离B及焦距F之间的关系。
【式2】
Figure BDA0002839568660000101
焦距F由镜头L所具备的各镜头的位置确定。因此，如果可以确定根据被摄体510的光束成像的距离B，则能够采用式(2)来确定从镜头L的主点到被摄体510的距离A。
这里，假设通过将图像传感器的摄像面向镜头L侧移动，改变了镜头L与摄像面的位置关系。如图5所示，如果在距离镜头L的主点的距离D1的位置或距离镜头L的主点的距离D2的位置处存在摄像面，则投影在摄像面上的被摄体510的像会产生模糊。根据投影在摄像面上的被摄体510的像的模糊大小(弥散圆512和514)计算出被摄体510成像的位置，由此可以确定距离B，并且可以进一步确定距离A。也就是说，考虑到模糊的大小(模糊量)与摄像面和摄像位置成比例，从模糊量的差可以确定摄像位置。
这里，距摄像面距离D1的位置的像I1以及距离摄像面距离D2的位置的像I2的各个图像模糊。关于像I1，设点像分布函数(Point Spread Function)为PSF1，被摄体像为Id1，则像I1通过卷积运算可以用下式(3)表示。
【式3】
I1＝PSF1*Id1…(3)
像I2也通过PSF2的卷积运算同样表示。将被摄体像的傅里叶变换设为f，将点像分布函数PSF1以及PSF2进行傅里叶变换后的光学传递函数(Optical Transfer Function)设为OTF1以及OTF2，如下式(4)所示，获得比值。
【式4】
Figure BDA0002839568660000111
式(4)所示的值C相当于距镜头L的主点距离D1的位置的像以及距镜头L的主点距离D2的位置的像的各个模糊量的变化量，即，值C相当于距镜头L的主点距离D1的位置的像和从镜头L的主点距离D2的位置的像的模糊量的差。
在图5中，对通过将摄像面向镜头L侧移动，改变了镜头L与摄像面的位置关系的情况进行了说明。通过使聚焦镜头相对于摄像面移动，从而改变镜头L的焦点的位置和摄像面的位置关系，也会产生模糊量的差异。在本实施方式中，主要通过使聚焦镜头相对于摄像面移动而获取模糊量不同的图像，根据获取的图像进行DFD运算，获取表示散焦量的DFD运算值，根据DFD运算值计算出用于对焦于被摄体的聚焦镜头的位置的目标值。
图6表示对于不同被摄体的DFD运算值和散焦量的关系。图表610、图表620以及图表630的横轴是散焦量，纵轴是DFD运算值。散焦量和DFD运算值的单位为fδ。图表610、图表620以及图表630的圆形标记分别表示通过基于改变聚焦镜头的位置得到的两个图像的DFD运算得到的一个DFD运算值。图表610、图表620以及图表630的实线表示DFD运算的理想值。
图表610表示对于以特定的物体A为被摄体的图像的DFD运算值和实际的散焦量的关系。图表620表示对于以与物体A不同的特定物体B为被摄体的图像的DFD运算值和散焦量的关系。图表630表示对于以与物体A和物体B不同的特定的物体C为被摄体的图像的DFD运算值和散焦量的关系。另外，将根据实际拍摄的图像判断为处于最对焦状态时的数据点作为图表610、图表620以及图表630的图表的原点。
图表650表示的是对于物体A的图像的DFD运算值的理想值的偏差。图表660表示的是对于物体B的图像的DFD运算值的理想值的偏差。图表670表示的是对于物体C的图像的DFD运算值的理想值的偏差。
物体A、物体B和物体C中，物体A是物体自身的对比度最高的物体，物体C是物体自身的对比度最低的物体。物体C例如为云。从图表610、图表620、图表630、图表650、图表660以及图表670可以看出，关于物体A的图像，DFD运算值的误差极小，即使在散焦量较大的情况下，DFD运算值的精度也很高。另一方面，关于物体C的图像，DFD运算值的误差比较大，特别是散焦量越大，DFD运算值的精度就越低。这样一来，根据作为被摄体的物体不同，DFD运算值相对于散焦量的变化量的变化量有时会比DFD运算的理想值小。另外，根据作为被摄体的物体不同，有时会导致偏离DFD运算的理想值。
图7表示基于摄像控制部110进行的两次DFD运算的对焦控制的原理。图表710的纵轴是DFD运算值，横轴是散焦量。图表710是表示在图6的图表630中用于对焦控制的两个数据点711和数据点712的图。图表720以对应于散焦量的镜头脉冲数为单位对图表710的数据进行了表达。镜头脉冲数表示为进行对焦控制而提供给驱动镜头210的步进电机的脉冲数。镜头脉冲数表示镜头210相对于光轴方向的预定基准点的位置。
在图7中，数据点711表示通过第一DFD运算得到的DFD运算值和镜头脉冲数。数据点712表示通过第二DFD运算得到的DFD运算值和镜头脉冲数。镜头脉冲数表示为了拍摄用于各个DFD运算的图像时的镜头位置的基准位置。在一次DFD运算中，由于使用了在镜头位置不同的状态下拍摄的两个图像，因此将拍摄一次DFD运算中使用的图像时的镜头位置的平均值作为镜头基准位置。另外，通过DFD运算得到的DFD运算值表示在其基准位置的散焦量。DFD运算值表示从其基准位置到对焦状态的镜头210的目标移动量。
摄像控制部110通过使镜头基准位置彼此不同来执行第一DFD运算和第二DFD运算。摄像控制部110计算出DFD运算值相对于镜头基准位置的变化量的变化量。这个值表示连接数据点711和数据点712的直线722的斜率。通过将第二DFD运算值除以直线722的斜率值，校正第二DFD运算值而使镜头210移动。由此，摄像控制部110与不校正第二DFD运算值的情况相比，能够更接近对焦状态(镜头脉冲数2000)。
使用具体的数值来说明摄像控制部110的操作。摄像控制部110在镜头位置相互不同的状态下对三个图像即图像P1、图像P2及图像P3进行摄像，使用三个图像即图像P1、图像P2及图像P3进行两次DFD运算。具体而言，摄像控制部110基于图像P1和P2进行第一DFD运算，基于图像P2和P3进行第二DFD运算。
拍摄到图像P1时的镜头位置为LensP1，拍摄到图像P2时的镜头位置为LensP2，拍摄到图像P3时的镜头位置为LensP3。具体来说，LensP1＝1160，LensP2＝1440，LensP3＝1720。
将通过基于图像P1和P2的第一DFD运算获取的第一DFD运算值设定为DFD1。具体而言，设为DFD1＝-514。如果LensP1和LensP2的平均值设为DFDLensP1，则镜头基准位置DFDLensP1为1300。图7的图表720的数据点711表示坐标(DFDLensP1，DFD1)。
基于图像P2和P3的第二DFD运算值设为DFD2。具体而言，设为DFD2＝-311。如果LensP2和LensP3的平均值为DFDLensP2，则DFDLensP2＝1580。图7的图表720的数据点712表示(DFDLensP2，DFD2)。
首先，仅基于第二DFD运算的镜头210的目标位置(Peak2)通过下式计算。
Peak2＝DFDLensP2-DFD2
由此，得到Peak2＝1580-(-311)＝1891。在图7中，由于成为对焦状态的镜头位置是2000，因此产生了-109脉冲的误差。因此，即使将镜头210的位置移动到Peak2，也可能成为与被摄体不充分聚焦的状态。
接着，对摄像控制部110的对焦控制进行说明。摄像控制部110通过下式计算出通过数据点711和数据点712的直线722的斜率slope。
slope＝(DFD2-DFD1)/(DFDLensP2-DFDLensP1)...(5)
由此，可获取slope＝0.725。
摄像控制部110使用slope的值，通过如下式般校正DFD2，计算出镜头210的目标位置PeakCorrection。
PeakCorrection＝DFDLensP2-DFD2/slope
由此，PeakCorrection＝1580(-311)/0.725＝2009。由于成为对焦状态的镜头位置为2000，所以误差为9脉冲。由此可知，与仅基于第二DFD运算计算出的Peak2相比，误差可以控制在1/10以下。
图8是表示摄像控制部110执行的对焦控制的处理过程的流程图。摄像控制部110并行执行对焦控制处理800以及DFD处理850，其中前者通过用于对焦控制的算法实施，而后者通过用于DFD运算的算法实施。
首先，在对焦控制处理800中，摄像控制部110在当前的镜头位置使图像传感器120摄像，获取第一图像的图像数据(S802)。摄像控制部110在DFD处理850中，将第一图像的图像数据加工成DFD运算所需的信息(S852)。
摄像控制部110在对焦控制处理800中，以预先设定的移动量使镜头210的聚焦镜头的位置(S804)移动，使图像传感器120摄像，获取第二图像的图像数据(S806)。摄像控制部110在DFD处理850中，将第二图像的图像数据加工成DFD运算所需的信息，基于第一图像和第二图像的数据进行第一DFD运算，计算出作为DFD运算值的当前的散焦量和DFD运算值的可靠性值(S852)。摄像控制部110基于通过第一DFD运算得到的DFD运算值来计算出聚焦镜头的移动量(S854)。摄像控制部110可以基于图像内的被摄体的模糊量来计算DFD运算值的可靠性值。摄像控制部110例如可以基于式(1)表示的图像的模糊量(Cost)，计算DFD运算值的可靠性值。摄像控制部110可以使模糊量越小，可靠性值越小。
在S856中，摄像控制部110将通过第一DFD运算获取的可靠性值与第一阈值和低于第一阈值的第二阈值进行比较。摄像控制部110可以将通过第一DFD运算获取的可靠性值与第一阈值或低于第一阈值的第二阈值进行比较。具体而言，如果通过第一DFD运算获取的可靠性值大于等于第一阈值，则摄像控制部110将处理转移至S812，并将镜头位置驱动至DFD运算值表示的镜头目标位置。如果通过第一DFD运算得到的可靠性值比预先设定的第一阈值低，并且大于等于第二阈值，则将处理前进到S808，使镜头位置移动。另外，当在S808中使镜头移动时，考虑由S852计算出的DFD运算值，摄像控制部110可以确定聚焦镜头的移动量不超过对焦位置。另外，摄像控制部110将第二图像的图像数据加工成DFD运算所需的信息(S858)。
通过第一DFD运算得到的可靠性值低于第二阈值时，停止BDAF方式的对焦控制。在停止了BDAF方式的对焦控制的情况下，摄像控制部110可以使用对比度AF等BDAF以外的方法进行对焦控制。如果摄像装置100处于拍摄动态图像过程中，则当停止了BDAF方式的对焦控制时，摄像控制部110可以使镜头210处于无限远对焦状态。当摄像装置100要拍摄静止图像时，若停止了BDAF方式的对焦控制，则摄像控制部110可以向用户通知对焦错误。
在S808中移动了聚焦镜头之后，摄像控制部110使图像传感器120摄像，获取第三图像的图像数据(S810)。在DFD处理850中，摄像控制部110将第三图像的图像数据加工成DFD运算所需的信息，基于第二图像和第三图像的数据进行第二DFD运算，计算出作为DFD运算值的当前散焦量和DFD运算值的可靠性值(S858)。摄像控制部110基于通过S852的第一DFD运算得到的DFD运算值、通过S858的第二DFD运算得到的DFD运算值、以及对第一图像、第二图像以及第三图像分别进行拍摄时的镜头位置，根据式(5)计算出slope，利用slope校正DFD运算值，计算聚焦镜头的移动量(S860)。
摄像控制部110判断通过第二DFD运算计算出的可靠性值是否大于等于第二阈值(S862)。当通过第二DFD运算计算出的可靠性值低于第二阈值时，摄像控制部110停止BDAF方式的对焦控制。当通过第二DFD运算获取的可靠性值大于等于第二阈值时，摄像控制部110将处理移至S812，并且根据由S860计算出的移动量来移动聚焦镜头(S812)。另外，摄像控制部110将第三图像的图像数据加工成DFD运算所需的信息(S864)。
在S812中移动了镜头后，摄像控制部110使图像传感器120摄像，获取对焦确认用图像的图像数据(S814)。在DFD处理850中，摄像控制部110基于第三图像及对焦确认用图像的图像数据进行DFD运算，计算作为DFD运算值得到的当前的散焦量和DFD运算的可靠性值(S864)。摄像控制部110基于由S864的DFD运算得到的DFD运算值表示的聚焦量和DFD运算的可靠性值判断是否处于与被摄体聚焦的状态(S866)，当判断为处于对焦状态时，完成BDAF方式的AF操作，当判断为不处于对焦状态时，将处理移动到S812，将聚焦镜头移动到由S864的DFD运算得到的DFD运算值表示的目标位置。之后，反复进行聚焦镜头的移动、DFD运算用的图像拍摄、DFD运算、对焦判断的操作，直到判断为处于聚焦状态为止。
如上所述，摄像控制部110基于通过第一DFD运算得到的DFD运算值和通过第二DFD运算得到的DFD运算值之差，计算出聚焦镜头的移动量。由此，即使在以DFD运算灵敏度低的物体作为被摄体的情况下，也能够高精度地进行AF操作。
另外，在以上的说明中，为了进行两次DFD运算，进行了三次摄像。但是，为了进行两次DFD运算，也可以进行四次摄像。例如，可以基于镜头位置不同的第一图像和第二图像执行第一DFD运算，并基于镜头位置不同的第三图像和第四图像执行第二DFD运算。
另外，在以上的说明中，是使用两次DFD运算的结果计算出slope。但是，也可以使用三次以上的DFD运算的结果计算出slope。
上述摄像装置100可以搭载于移动体上。摄像装置100还可以搭载于如图9所示的无人驾驶航空器(UAV)上。UAV10可以包括UAV主体20、万向节50、多个摄像装置60及摄像装置100。万向节50及摄像装置100为摄像系统的一个示例。UAV10为由推进部推进的移动体的一个示例。除UAV之外，移动体的概念还包括在空中移动的其他飞机等飞行体、在地面上移动的车辆、在水上移动的船舶等。
UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20使用例如四个旋翼来使UAV10飞行。旋翼的数量不限于四个。另外，UAV10也可以是没有旋翼的固定翼机。
摄像装置100是为对包含在所期望的摄像范围内的被摄体进行拍摄的摄像用相机。万向节50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如，万向节50使用致动器以俯仰轴为中心可旋转地支撑摄像装置100。万向节50使用致动器进一步分别以滚转轴和偏航轴为中心可旋转地支撑摄像装置100。万向节50可通过使摄像装置100以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转，来改变摄像装置100的姿势。
多个摄像装置60是为了控制UAV10的飞行而对UAV10的周围进行拍摄的传感用相机。两个摄像装置60可以设置于UAV10的机头、即正面。并且，其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对，起到立体相机的作用。可以根据由多个摄像装置60所拍摄的图像来生成UAV10周围的三维空间数据。UAV10所包括的摄像装置60的数量不限于四个。UAV10包括至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV10通信，以远程操作UAV10。远程操作装置300可以与UAV10进行无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10的高度上升的指示信息。指示信息可以表示UAV10应该位于的高度。UAV10进行移动，以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接受上升指令的期间上升。在UAV10的高度已达到上限高度时，即使接受上升指令，也可以限制UAV10上升。
图10示出可全部或部分地体现本发明的多个方面的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。例如，安装在计算机1200上的程序能够使计算机1200作为摄像控制部110而起作用。或者，该程序能够使计算机1200执行相关操作或者相关一个或多个“部”的功能。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU1212执行，以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
本实施方式的计算机1200包括CPU1212以及RAM1214，它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM1230。CPU1212按照ROM1230及RAM1214内存储的程序而工作，从而控制各单元。
通信接口1222通过网络与其他电子装置通信。硬盘驱动器可以存储计算机1200内的CPU1212所使用的程序及数据。ROM1230在其中存储运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM1230中，并通过CPU1212执行。这些程序中记述的信息处理由计算机1200读取，并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机1200的使用而实现信息的操作或者处理来构成装置或方法。
例如，当在计算机1200和外部装置之间执行通信时，CPU1212可执行加载在RAM1214中的通信程序，并且基于通信程序中描述的处理，指令通信接口1222进行通信处理。通信接口1222在CPU1212的控制下，读取存储在RAM1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外，CPU1212可以使RAM1214读取USB存储器等外部记录介质所存储的文件或数据库的全部或者需要的部分，并对RAM1214上的数据执行各种类型的处理。接着，CPU1212可以将处理过的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息存储在记录介质中，并接受信息处理。对于从RAM1214读取的数据，CPU1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理，并将结果写回到RAM1214中。此外，CPU1212可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中存储具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时，CPU1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内存储的第二属性的属性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以存储在计算机1200上或者计算机1200附近的计算机可读存储介质上。另外，连接到专用通信网络或因特网的服务器系统中提供的诸如硬盘或RAM之类的记录介质可以用作计算机可读存储介质，从而可以经由网络将程序提供给计算机1200。
以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的操作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。
【符号说明】
10 UAV
20 UAV主体
50 万向节
60 摄像装置
100 摄像装置
102 摄像部
110 摄像控制部
120 图像传感器
130 存储器
152 镜头驱动部
160 显示部
162 指示部
200 镜头部
210 镜头
212 镜头驱动部
220 镜头控制部
222 存储器
300 远程操作装置
500 曲线
502 极小点
510 被摄体
512 弥散圆
610、620、630、650、660、670 图表
710 图表
711 数据点
712 数据点
720 图表
722 直线
800 对焦控制处理
850 DFD处理
1200 计算机
1210 主机控制器
1212 CPU
1214 RAM
1220 输入/输出控制器
1222 通信接口
1230 ROM

Claims (13)

1.一种装置，其特征在于，包括一种电路，所述基于电路构成为：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及所述摄像面和所述聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量；
根据所述第一图像的模糊量和所述第二图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第一预测值；
获取所述摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像所包含的第三图像的模糊量；
根据所述第二图像的模糊量和所述第三图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第二预测值；
根据所述第一预测值和所述第二预测值之差，确定表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的目标值。
2.根据权利要求1所述的装置，其特征在于，
所述第一位置关系、所述第二位置关系以及所述第三位置关系分别表示所述聚焦镜头相对于所述摄像面的位置，
所述第一预测值表示对焦于被摄体时的所述聚焦镜头相对于所述摄像面的第一目标位置，
所述第二预测值表示对焦于被摄体时的所述聚焦镜头相对于所述摄像面的第二目标位置，
所述电路构成为：使用所述第一目标位置和所述第二目标位置之差，确定表示对焦于被摄体时的所述聚焦镜头相对于所述摄像面的目标位置的所述目标值。
3.根据权利要求2所述的装置，其特征在于，
将根据所述第一位置关系和所述第二位置关系的至少一个确定的所述聚焦镜头的位置设定为第一基准位置，将根据所述第二位置关系和所述第三位置关系的至少一个确定的所述聚焦镜头的位置设定为第二基准位置，所述电路构成为：使用相对于所述第一基准位置和所述第二基准位置之差的所述第一目标位置和所述第二目标位置之差，确定表示对焦于被摄体时的所述聚焦镜头相对于所述摄像面的目标位置的所述目标值。
4.根据权利要求3所述的装置，其特征在于，所述基于电路构成为：
计算出相对于所述第一基准位置和所述第二基准位置之差的所述第一目标位置和所述第二目标位置之差的比率作为变化信息，
通过将所述第二目标位置除以所述比率来计算出所述第二目标位置的校正值，
计算出相对于所述第二基准位置的所述校正值所表示的位置作为所述目标值。
5.根据权利要求1至4中任一项所述的装置，其特征在于，
所述电路构成为：根据所述目标值，执行所述摄像装置的对焦控制。
6.根据权利要求5所述的装置，其特征在于，所述基于电路构成为：
获取所述第一图像的模糊量和所述第二图像的模糊量；
根据所述第一图像的模糊量和所述第二图像的模糊量获取所述第一预测值；
当所述第一预测值的可靠值大于等于预先设定的第一值时，根据所述第一预测值执行所述摄像装置的对焦控制；
当所述第一预测值的可靠值低于所述预先设定的第一值时，获取所述第三图像的模糊量，根据所述第二图像的模糊量和所述第三图像的模糊量获取所述第二预测值，并根据所述目标值执行所述摄像装置的对焦控制。
7.根据权利要求6所述的装置，其特征在于，所述基于电路构成为：
当所述第一预测值的可靠值低于比所述第一值更低的第二值时，不获取所述第三图像，并不进行根据所述第一预测值的所述摄像装置的对焦控制；
当所述第一预测值的可靠值低于所述第一值并且大于等于所述第二值时，获取所述第三图像的模糊量，根据所述第二图像的模糊量和所述第三图像的模糊量获取所述第二预测值，并根据所述目标值执行所述摄像装置的对焦控制。
8.一种装置，其特征在于，包括一种电路，所述基于电路构成为：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及所述摄像面和所述聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量；
根据所述第一图像的模糊量和所述第二图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第一预测值；
获取在所述摄像面和所述聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像中包含的第三图像的模糊量以及所述摄像面和所述聚焦镜头处于第四位置关系的状态下拍摄的第四摄像图像中包含的第四图像的模糊量；
根据所述第三图像的模糊量和所述第四图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第二预测值；
根据所述第一预测值和所述第二预测值之差，确定表示对焦于被摄体时所述摄像面和所述聚焦镜头之间的位置关系的目标值。
9.一种摄像装置，其特征在于，包括：根据权利要求1至4以及8中任一项所述的装置；以及
具备所述摄像面的图像传感器。
10.一种摄像系统，其特征在于，包括：根据权利要求9所述的摄像装置；以及
以可控制所述摄像装置的姿势的方式进行支撑的支撑机构。
11.一种移动体，其特征在于，其搭载根据权利要求9所述的摄像装置并进行移动。
12.一种方法，其特征在于，包括：获取摄像装置的摄像面和聚焦镜头处于第一位置关系的状态下拍摄的第一摄像图像中包含的第一图像的模糊量以及所述摄像面和所述聚焦镜头处于第二位置关系的状态下拍摄的第二摄像图像中包含的第二图像的模糊量；
根据所述第一图像的模糊量和所述第二图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第一预测值；
获取摄像装置的摄像面和聚焦镜头处于第三位置关系的状态下拍摄的第三摄像图像中包含的第三图像的模糊量；
根据所述第二图像的模糊量和所述第三图像的模糊量，获取表示对焦于被摄体时的所述摄像面和所述聚焦镜头之间的位置关系的第二预测值；
根据所述第一预测值和所述第二预测值之差，确定表示对焦于被摄体时所述摄像面和所述聚焦镜头之间的位置关系的目标值。
13.一种程序，其是用于使计算机执行根据权利要求12所述的方法的程序。
CN202080003348.XA 2019-07-23 2020-07-21 装置、摄像装置、移动体、方法以及程序 Pending CN112292712A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-135369 2019-07-23
JP2019135369A JP6874251B2 (ja) 2019-07-23 2019-07-23 装置、撮像装置、移動体、方法、及びプログラム
PCT/CN2020/103227 WO2021013143A1 (zh) 2019-07-23 2020-07-21 装置、摄像装置、移动体、方法以及程序

Publications (1)

Publication Number Publication Date
CN112292712A true CN112292712A (zh) 2021-01-29

Family

ID=74193272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003348.XA Pending CN112292712A (zh) 2019-07-23 2020-07-21 装置、摄像装置、移动体、方法以及程序

Country Status (3)

Country Link
JP (1) JP6874251B2 (zh)
CN (1) CN112292712A (zh)
WO (1) WO2021013143A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213340A1 (zh) * 2021-04-09 2022-10-13 深圳市大疆创新科技有限公司 对焦方法、拍摄设备、拍摄系统以及可读存储介质
CN113191349B (zh) * 2021-05-31 2022-06-24 浙江大华技术股份有限公司 聚焦电机的控制方法、装置、存储介质及电子装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178553B2 (ja) * 2009-01-27 2013-04-10 オリンパス株式会社 撮像装置
JP2013044844A (ja) * 2011-08-23 2013-03-04 Panasonic Corp 画像処理装置および画像処理方法
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
JP2016218225A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 撮像装置およびその制御方法
JP2017228913A (ja) * 2016-06-22 2017-12-28 オリンパス株式会社 撮像装置
CN106707658B (zh) * 2016-12-09 2022-06-10 东莞佩斯讯光电技术有限公司 能修正因镜头倾斜造成的影像模糊的方法及系统
WO2018185939A1 (ja) * 2017-04-07 2018-10-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム

Also Published As

Publication number Publication date
JP6874251B2 (ja) 2021-05-19
WO2021013143A1 (zh) 2021-01-28
JP2021018376A (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
JP2020012878A (ja) 制御装置、移動体、制御方法、及びプログラム
CN112292712A (zh) 装置、摄像装置、移动体、方法以及程序
US20210105411A1 (en) Determination device, photographing system, movable body, composite system, determination method, and program
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
CN112335227A (zh) 控制装置、摄像系统、控制方法以及程序
JP6543875B2 (ja) 制御装置、撮像装置、飛行体、制御方法、プログラム
WO2018185940A1 (ja) 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP6768997B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2021031833A1 (zh) 控制装置、摄像系统、控制方法以及程序
US11066182B2 (en) Control apparatus, camera apparatus, flying object, control method and program
CN111357271B (zh) 控制装置、移动体、控制方法
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
CN112313941A (zh) 控制装置、摄像装置、控制方法以及程序
CN111226170A (zh) 控制装置、移动体、控制方法以及程序
CN111213369B (zh) 控制装置、方法、摄像装置、移动体以及计算机可读存储介质
WO2021204020A1 (zh) 装置、摄像装置、摄像系统、移动体、方法以及程序
CN112313574B (zh) 控制装置、摄像装置、摄像系统、控制方法以及程序
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6413170B1 (ja) 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム
CN114586336A (zh) 控制装置、摄像装置、控制方法以及程序
CN111615663A (zh) 控制装置、摄像装置、摄像系统、移动体、控制方法以及程序
CN112136317A (zh) 控制装置、摄像装置、控制方法以及程序
CN112136316A (zh) 控制装置、摄像装置、移动体、控制方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination