CN112313574B - 控制装置、摄像装置、摄像系统、控制方法以及程序 - Google Patents

控制装置、摄像装置、摄像系统、控制方法以及程序 Download PDF

Info

Publication number
CN112313574B
CN112313574B CN202080003308.5A CN202080003308A CN112313574B CN 112313574 B CN112313574 B CN 112313574B CN 202080003308 A CN202080003308 A CN 202080003308A CN 112313574 B CN112313574 B CN 112313574B
Authority
CN
China
Prior art keywords
region
image
control
image pickup
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202080003308.5A
Other languages
English (en)
Other versions
CN112313574A (zh
Inventor
陆海龙
朱玲龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112313574A publication Critical patent/CN112313574A/zh
Application granted granted Critical
Publication of CN112313574B publication Critical patent/CN112313574B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Accessories Of Cameras (AREA)

Abstract

若从图像中看丢被摄体,则在从图像中再次检测到被摄体之前不能无法AF区域,因此AF处理需要时间。有时会在不存在被摄体的AF区域直接执行AF处理。提供一种控制装置,其可以包括如下构成为电路:针对由摄像装置拍摄的图像内的多个区域的各个区域,导出表示对焦状态的值,并且基于多个值中表示最接近对焦状态的值,来执行摄像装置的对焦控制。

Description

控制装置、摄像装置、摄像系统、控制方法以及程序
技术领域
本发明涉及一种控制装置、摄像装置、摄像系统、控制方法以及程序。
背景技术
在专利文献1中记载了根据被摄体位置、被摄体移动距离以及被摄体速度来设置AF区域的大小。
现有技术文献
专利文献
专利文献1日本专利文献特开第2019-20544号公报
发明内容
发明所要解决的技术问题
然而,若从图像中看丢被摄体,则在从图像中再次检测到被摄体之前不能无法AF区域,因此AF处理需要时间。有时会在不存在被摄体的AF区域直接执行AF处理。
用于解决技术问题的技术手段
本发明的一个方面所涉及的控制装置可以包括以下构成的电路:针对由摄像装置拍摄的图像内的多个区域的各个区域,导出表示对焦状态的值,并且基于多个值中表示最接近对焦状态的值,来执行摄像装置的对焦控制。
电路可以构成为:基于摄像装置拍摄的图像来确定满足预设条件的被摄体,执行对焦控制以对焦于被摄体,然后针对包含被摄体所位于的第一区域的多个区域的各个区域,导出值。
摄像装置可以安装在以可控制摄像装置的姿势的方式进行支撑的支撑机构。通过支撑机构对摄像装置的姿势进行控制,可以使被摄体位于第一区域。
电路可以构成为:基于支撑机构的控制信息,补正表示最接近对焦状态的值,并且基于补正后的值来执行对焦控制。
电路可以构成为:基于由摄像装置拍摄的图像确定的被摄体的位置与多个区域中表示最接近对焦状态的值所对应的区域之间的位置关系,补正表示最接近对焦状态的值,并基于补正后的值执行对焦控制。
电路可以构成为:通过相位差方式的自动聚焦控制来执行对焦控制。
多个区域中至少两个区域可部分重叠。
多个区域可以包括:图像内的预设第一区域、位于第一区域的第一方向的第二区域、位于第一区域的与第一方向相反的第二方向的第三区域、位于第二区域的第一方向的第四区域、位于第三区域的第二方向的第五区域、位于第一区域的第三方向的第六区域、位于第二区域的与第三方向相反的第四方向的第七区域以及位于第三区域的第四方向的第八区域。
第二区域可以与第一区域和第四区域部分重叠。第三区域可以与第一区域和第五区域部分重叠。
第一区域可以是图像中央区域。
本发明的一个方面所涉及的摄像装置可以包括上述控制装置、由控制装置控制的聚焦镜头以及拍摄图像的图像传感器。
本发明的一个方面所涉及的摄像系统可以包括上述摄像装置以及以可控制摄像装置的姿势的方式进行支撑的支撑机构。
本发明的一个方面所涉及的控制方法可以包括:针对摄像装置拍摄的图像内的多个区域的各个区域,导出表示对焦状态的值的阶段。控制方法可以包括:基于多个值中表示最接近对焦状态的值,执行摄像装置的对焦控制的阶段。
本发明的一个方面所涉及的程序可以是一种用于使计算机作为上述控制装置发挥作用的程序。
根据本发明的一个方面,能够更恰当地执行摄像装置的对焦控制。
另外,上述本发明的内容中没有穷举本发明的所有必要的特征。另外,这些特征群的子集也可形成发明。
附图说明
图1示出了摄像系统的外观立体图。
图2示出了摄像系统的功能块的示意图。
图3A是用于说明跟踪模式下的PDAF的图。
图3B是用于说明跟踪模式下的PDAF的图。
图3C是用于说明跟踪模式下的PDAF的图。
图3D是用于说明跟踪模式下的PDAF的图。
图3E是用于说明跟踪模式下的PDAF的图。
图4是用于说明被摄体的检测和相位差数据导出的图。
图5是示出导出散焦量的多个区域的一个示例的图。
图6是用于说明基于多个区域的散焦量的PDAF的图。
图7是示出各个区域的散焦量的时间性变化的一个示例的图。
图8是示出利用摄像控制部进行对焦控制过程的一个示例的流程图。
图9是用于说明基于支撑机构的控制信息补正散焦量的的图。
图10是示出摄像系统的其他方式的示意图。
图11是示出无人驾驶航空器及远程操作装置的外观的一个示例的图。
图12是示出硬件配置的一个示例的图。
符号说明
10 摄像系统
100 摄像装置
110 摄像控制部
120 图像传感器
130 存储器
150 镜头控制部
152 镜头驱动部
154 镜头
200 支撑机构
201 滚转轴驱动机构
202 俯仰轴驱动机构
203 偏航轴驱动机构
204 基部
210 姿势控制部
212 角速度传感器
214 加速度传感器
300 握持部
301 操作接口
302 显示部
400 智能手机
1000 UAV
1200 计算机
1210 主机控制器
1212 CPU
1214 RAM
1220 输入/输出控制器
1222 通信接口
1230 ROM
具体实施方式
以下,通过发明的实施方式来对本发明进行说明,但是以下的实施方式并不限定权利要求书所涉及的发明。此外,实施方式中所说明的所有特征组合对于发明的解决方案未必是必须的。对本领域普通技术人员来说,显然可以对以下实施方式加以各种变更或改良。从权利要求书的记载可知,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
在权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制,著作权人就无法异议。但是,在除此以外的情况下,保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述,这里,方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储元件等。
计算机可读介质可以包括能够存储由合适设备执行的指令的任何有形设备。其结果是,其上存储有指令的计算机可读介质包括一种包括指令的产品,该指令可被执行以创建用于执行流程图或框图所确定的操作的手段。作为计算机可读介质的示例,可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。计算机可读介质的更具体示例可以包括软盘floppy(注册商标)disk、软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、蓝光(注册商标)盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk(注册商标)、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令,以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例,包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1是示出了本实施方式所涉及的摄像系统10的外观立体图。摄像系统10包括摄像装置100、支撑机构200及握持部300。支撑机构200使用致动器分别以滚转轴、俯仰轴和偏航轴为中心可旋转地支撑摄像装置100。支撑机构200可通过使摄像装置100以滚转轴、俯仰轴和偏航轴中的至少一个为中心旋转,来变更或保持摄像装置100的姿势。支撑机构200包括滚转轴驱动机构201、俯仰轴驱动机构202以及偏航轴驱动机构203。支撑机构200还包括固定偏航轴驱动机构203的基部204。握持部300固定在基部204上。握持部300包括操作接口301和显示部302。摄像装置100固定在俯仰轴驱动机构202上。
操作接口301从用户接收用于操作摄像装置100和支撑机构200的命令。操作接口301可以包含指示由摄像装置100拍摄或录像的快门/录像按钮。操作接口301可以包含电源/功能按钮,用于指示接通或关断摄像系统10的电源以及在摄像装置100的静态图像摄影模式或动态图像摄影模式之间切换。
显示部302可以显示由摄像装置100拍摄的图像。显示部302可以显示用于操作摄像装置100和支撑机构200的菜单画面。显示部302可以是触摸屏显示器,其可接收用于操作摄像装置100和支撑机构200的命令。
用户手握握持部300,通过摄像装置100拍摄静态图像或者动态图像。摄像装置100执行对焦控制。摄像装置100可以执行对比度自动聚焦(对比度AF)、相位差AF、像面相位差AF等。摄像装置100可以通过由摄像装置100拍摄的至少两个图像的模糊度预测聚焦镜头的对焦位置来执行对焦控制。
图2是示出摄像系统10的功能块的图。摄像装置100包括摄像控制部110、图像传感器120、存储器130、镜头控制部150、镜头驱动部152以及多个镜头154。
图像传感器120可以由CCD或CMOS构成。图像传感器120将通过多个镜头154成像的光学图像的图像数据输出至摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器、片上系统(SOC,System-on-a-chip)等构成。摄像控制部110是电路的一个示例。摄像控制部110可以根据来自握持部300的摄像装置100的操作指令来控制摄像装置100。
存储器130可以为计算机可读记录介质,可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器130储存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置于摄像装置100的壳体内部。握持部300可以包括用于保存由摄像装置100拍摄到的图像数据的其它存储器。握持部300可以具有能够从握持部300的壳体拆卸存储器的槽。
多个镜头154可以起到变焦镜头(zoom lens)、可变焦距镜头(varifocal lens)及聚焦镜头的作用。多个镜头154中的至少一部分或全部被配置为能够沿着光轴移动。镜头控制部150按照来自摄像控制部110的镜头控制命令来驱动镜头驱动部152,使一个或者多个镜头154沿光轴方向移动。镜头控制命令例如为变焦控制命令及聚焦控制命令。镜头驱动部152可以包括沿着光轴方向移动的多个镜头154的至少一部分或全部的音圈电机(VCM)。镜头驱动部152可以包含DC电动机、无芯电动机或超声波电动机等电动机。镜头驱动部152将来自电动机的动力经由凸轮环、导轴等的机构部件传递到多个镜头154的至少一部分或全部,使多个镜头154的至少一部分或全部沿着光轴移动。
摄像装置100还包括姿势控制部210、角速度传感器212和加速度传感器214。角速度传感器212检测摄像装置100的角速度。角速度传感器212检测围绕摄像装置100的滚转轴、俯仰轴和偏航轴的各个角速度。姿势控制部210从角速度传感器212获取关于摄像装置100的角速度的角速度信息。角速度信息可以表示围绕摄像装置100的滚转轴、俯仰轴和偏航轴的各个角速度。姿势控制部210从加速度传感器214获取与摄像装置100的加速度相关的加速度信息。加速度信息可以表示摄像装置100振动的大小的振动水平。加速度信息可以表示摄像装置100的滚转轴、俯仰轴和偏航轴在各自的方向上的加速度。
角速度传感器212和加速度传感器214可以设置在容纳图像传感器120和镜头154等的壳体内。本实施方式中,关于摄像装置100和支撑机构200构成为一体的形态进行说明。然而,支撑机构200可以包括可拆卸地固定摄像装置100的基座。这种情况下,角速度传感器212和加速度传感器214可以设置在诸如基座的摄像装置100的壳体外部。
姿势控制部210基于角速度信息和加速度信息,控制支撑机构200以保持或改变摄像装置100的姿势。姿势控制部210根据用于控制摄像装置100的姿势的支撑机构200的动作模式,来控制支撑机构200以保持或改变摄像装置100的姿势。
动作模式包括使支撑机构200的滚转轴驱动机构201、俯仰轴驱动机构202以及偏航轴驱动机构203中的至少一个动作,以使得摄像装置100的姿势的变化跟踪支撑机构200的基部204的姿势的变化的模式。动作模式包括使支撑机构200的滚转轴驱动机构201、俯仰轴驱动机构202以及偏航轴驱动机构203分别动作,以使得摄像装置100的姿势的变化跟踪支撑机构200的基部204的姿势的变化的模式。动作模式包括支撑机构200的俯仰轴驱动机构202以及偏航轴驱动机构203的分别动作,以使得摄像装置100的姿势变化跟踪支撑机构200的基部204姿势的变化的模式。动作模式包括仅使偏航轴驱动机构203动作,以使得摄像装置100的姿势的变化跟踪支撑机构200的基部204的姿势的变化的模式。
动作模式可以包括FPV(First Person View:第一人称主视角)模式和固定模式,在FPV模式中,使支撑机构200动作以使得摄像装置100的姿势的变化跟踪支撑机构200的基部204的姿势的变化,在固定模式中,使支撑机构200动作以使得保持摄像装置100的姿势。
FPV模式是用于使滚转轴驱动机构201、俯仰轴驱动机构202以及偏航轴驱动机构203中的至少一个动作,以使得摄像装置100的姿势的变化跟踪支撑机构200的基部204的姿势的变化的模式。固定模式是用于使滚转轴驱动机构201、俯仰轴驱动机构202以及偏航轴驱动机构203中的至少一个动作,以保持摄像装置100的当前姿势。
动作模式包括跟踪模式,在跟踪模式中使支撑机构200动作,以控制摄像装置100的姿势,使得满足预设条件的被摄体位于摄像装置100拍摄的图像中的预设第一区域中。例如,姿势控制部210可以使支撑机构200动作来控制摄像装置100的姿势,使得脸部位于在摄像装置100拍摄的图像中的中央区域。
在跟踪模式中,摄像控制部110执行对焦控制,以使得被摄体对焦在由摄像装置100拍摄的图像中的预设的第一区域中。摄像控制部110例如以像面相位差的方式执行自动聚焦控制。即,摄像控制部110执行PDAF(Phase Detection Auto Focus:相位自动对焦)。
图像传感器120可以具有像面相位差检测用的多对像素。摄像控制部110可以从来自多对像素输出的多对图像信号导出相位差数据(PD数据)。摄像控制部110可以根据相位差数据来确定散焦量和聚焦镜头的移动方向。摄像控制部110可以按照确定的散焦量和聚焦镜头的移动方向来移动聚焦镜头,由此来执行对焦控制。
在跟踪模式下拍摄动态图像时,摄像控制部110从构成动态图像的帧中检测满足预设条件的被摄体,导出包括检测出的被摄体的第一区域的相位差数据。摄像控制部110根据相位差数据来确定散焦量和聚焦镜头的移动方向,并且基于确定的散焦量和聚焦镜头的移动方向来移动聚焦镜头,从而执行对焦控制。
如图3A所示,摄像控制部110从由图像传感器120拍摄的图像160检测满足预设条件的被摄体170。摄像控制部110将检测到被摄体170的区域162设置为导出相位差数据的对象的区域。
如图3B中所示,摄像控制部110从包含在设置区域中的用于像面相位差检测的至少一对像素中获取至少一对图像信号。摄像控制部110从至少一对图像信号导出相位差数据。摄像控制部110基于相位差数据执行PDAF。即,摄像控制部110根据相位差数据来确定散焦量和聚焦镜头的移动方向,并且根据确定的散焦量和聚焦镜头的移动方向来移动聚焦镜头。
在此,即使在摄像系统10以跟踪模式操作的情况下,由于被摄体170移动,或者用户改变摄像装置100的拍摄方向,姿势控制部210暂时不能跟踪被摄体170。例如,如图3C所示,存在被摄体170移动到图像160的区域162之外的情况。这种情况下,当基于区域162中的相位差数据的散焦量和聚焦镜头的移动方向移动聚焦镜头时,区域162内不存在被摄体170,而对焦于区域162中的背景等。即,导致没有对焦在图像160内的被摄体170上。
然后,如图3D所示,摄像控制部110从图像160中检测出被摄体170,并且将区域162设置到图像160中对应于被摄体170的位置。继而,如图3E所示,摄像控制部110根据基于在新区域162中的相位差数据的散焦量和聚焦镜头的移动方向来移动聚焦镜头。借此,可以对焦在区域162内的被摄体170上。
然而,上述处理会造成摄像装置100拍摄的图像160内的被摄体170暂时模糊。在摄像装置100拍摄的动态图像中,会产生被摄体170暂时模糊的时段。
如图4所示,平行进行设置基于检测被摄体的区域162和导出已设置区域162中的相位差数据。因此,在基于移动后的被摄体的检测而设置区域162之前导出的区域162的相位差数据可能没有适当地反映出被摄体170的散焦量。
因而,在本实施方式中,即使被摄体170在图像160内移动,也维持与被摄体170的对焦状态。
摄像控制部110针对摄像装置100拍摄的图像内的多个区域的各个区域,导出散焦量,并且基于多个散焦量中表示最接近对焦状态的值的散焦量,来执行摄像装置100的对焦控制。这里,散焦量是表示对焦状态的值的一个例子。表示最接近对焦状态的值的散焦量例如可以是表示多个散焦量中的最小值的散焦量。
多个区域中的至少两个区域可部分重叠。多个区域可以包括:图像160内预设的第一区域、位于第一区域的第一方向的第二区域、位于第一区域的与第一方向相反的第二方向的第三区域、位于第二区域的第一方向的第四区域、位于第三区域的第二方向的第五区域、位于第一区域的第三方向的第六区域、位于第二区域的与所述第三方向相反的第四方向上的第七区域和位于第三区域的所述第四方向上的第八区域。第二区域可以与第一区域以及第四区域部分重叠。第三区域可以与第一区域以及第五区域部分重叠。
如图5所示,摄像控制部110可以设置区域162、区域1621、区域1622、区域1623、区域1624、区域1625、区域1626和区域1627作为多个区域。区域162是图像160内的中央区域。区域162是第一区域的一个例子。
例如,区域162是在跟踪模式下满足预设条件的被摄体应位于的预设的第一区域(C区域)。例如,第一区域是图像160内的中央区域。姿势控制部210使支撑机构200动作以控制摄像装置100的姿势,使得被摄体位于第一区域中。第一区域可以是要对焦的被摄体所处的区域,其可以是与对焦框对应的区域。摄像控制部110也可以将与预览图像重叠的第一区域作为对焦框显示在显示部302中。摄像控制部110可以在预览图像上不重叠第一区域以外的区域显示在显示部302中。即,摄像控制部110仅将可以在预览图像上重叠的第一区域作为对焦框显示在显示部302中,此外,摄像控制部110可以在预览图像上重叠多个区域的各个区域显示在显示部302上。摄像控制部110可以为了与第一区域能够区分识别而以线的粗细或颜色不同的方式使其他区域与第一区域一同与预览图像上叠加地显示于显示部302。
区域1621是在区域162的左侧,与区域162的左半部分的区域重叠的区域(CL区域)。区域1622是在区域1621的左侧,与区域1621的左半部分的区域重叠的区域(CLL区域)。区域1623是区域1621的下侧区域(CDL)。区域1624是在区域162的右侧,与区域162的右半部分的区域重叠的区域(CR区域)区域1625是区域1624的左侧,与区域1624的右半部分的区域重叠的区域(CRR区域)。区域1626是区域1624的下侧区域(CDR区域)。区域1627是区域162的上侧区域(CU区域)。
如图6所示,摄像控制部110检测图像160中的被摄体170。摄像控制部110执行对焦控制以便对焦在图像160中的被摄体170上。摄像控制部110执行像面相位差AF以便对焦在图像160中的被摄体170上。
姿势控制部210控制摄像装置100的姿势,以使被摄体170位于图像160中预设的第一区域即区域162中。摄像控制部110将区域162作为基准位置,在区域162周围追加设置导出散焦量的至少一个区域。摄像控制部110设置区域162、区域1621、区域1622、区域1623、区域1624、区域1625、区域1626和区域1627。
摄像控制部110对多个区域的各个区域,导出散焦量。摄像控制部110根据多个区域各自的散焦量中最小的散焦量使聚焦镜头移动。即,摄像控制部110除了被摄体170应位于的预设区域外,还针对该区域周围的区域导出散焦量,并且根据这些区域中最小的散焦量来移动聚焦镜头。从而,即使被摄体170从被摄体170应位于的预设区域移动,也可以对焦在被摄体170上。
由摄像控制部110设置的多个区域也可以不是图5所示的8个区域。多个区域可以是至少两个区域。区域的数量可以根据摄像装置100的像面相位差AF可设置的区域的数量来设置。
图7是示出了C区域、CR区域、CRR区域、CL区域以及CLL区域的散焦量y的时间性变化的一个例子。如图7所示,当散焦量改变时,摄像控制部110在第一时段中根据C域的散焦量来移动聚焦镜头。摄像控制部110在第二时段中根据CR区域的散焦量来移动聚焦镜头。摄像控制部110在第三时段中按照CRR区域的散焦量来移动聚焦镜头。摄像控制部110在第四时段中根据CR区域的散焦量来移动聚焦镜头。
图8是示出利用摄像控制部110进行对焦控制过程的一个示例的流程图。
摄像控制部110根据用户经由操作接口301发出的指令,将摄像系统10设置为跟踪模式(S100)。摄像控制部110从图像传感器120拍摄的图像来检测满足预设条件的被摄体,例如表示脸部条件的被摄体(S102)。
摄像控制部110将包括跟踪模式下预设的第一区域在内的多个区域,设置为导出散焦量的区域。姿势控制部210使支撑机构200动作以控制摄像装置100的姿势,以使检测到的被摄体位于第一区域(S104)。摄像控制部110根据包含检测到的被摄体的区域的散焦量来执行对焦控制。
接着,在姿势控制部210控制支撑机构200以跟踪被摄体期间,摄像控制部110导出设置的多个区域中的各个的散焦量(S106)。摄像控制部110确定多个散焦量中最小的散焦量(S108)。摄像控制部110按照确定的散焦量执行对焦控制(S110)。
如果跟踪模式未结束,姿势控制部210则使支撑机构200动作以使被摄体位于第一区域,以控制摄像装置100的姿势。摄像控制部110继续步骤S106以后的处理。
如上所述,根据本实施方式,即使被摄体暂时偏离被摄体应当位于的区域,也能够维持与被摄体的对焦状态。
另外,假设期望的被摄体存在于多个区域各自的散焦量中最小的散焦量对应的区域中,摄像控制部110执行对焦控制。然而,期望的被摄体不一定存在于最小散焦量的区域中。
因此,如图9所示,摄像控制部110可以基于支撑机构200的控制信息补正最小散焦量,并且基于补正的散焦量执行对焦控制。在摄像系统10以跟踪模式的方式进行操作的情况下,支撑机构200进行动作以使被摄体位于第一区域中。摄像控制部110根据支撑机构200的控制信息来确定被摄体的位置。如果包含确定的被摄体的位置的区域与最小散焦量对应的区域之间的差异小的话,则被摄体位于最小散焦量对应的区域中的可能性较高。另一方面,如果包含确定的被摄体的位置的区域与最小散焦量对应的区域之间的差异较大的话,则被摄体位于最小散焦量对应的区域中的可能性不高。即,差异越小,最小散焦量的可靠性越高。
摄像控制部110可以基于从摄像装置100拍摄的图像确定的被摄体的位置与多个区域中最小的散焦量对应的区域之间的位置关系,来补正最小散焦量,并基于补正后的散焦量执行对焦控制。
摄像控制部110可以导出表示从第一区域到与最小散焦量对应的区域的移动量和移动方向的向量与根据支撑机构200的控制信息来确定的表示摄像装置100拍摄的图像的移动量和移动方向的向量之间的差,并且基于差补正最小散焦量。摄像控制部110可以补正散焦量,以使差越大,最小散焦量越小,即,差异越大,聚焦镜头的移动量越小。
因此,能够在最小散焦量的可靠性低的情况下,防止摄像控制部110超出需要程度地移动聚焦镜头。
另外,在本实施方式中,对摄像控制部110通过像面相位差AF执行对焦控制的示例进行了说明。然而,摄像控制部110也可以执行相位差AF、对比度AF等的对焦控制。例如,在对比度AF的情况下,摄像控制部110可以针对包含被摄体应位于的预设的第一区域在内的多个区域的各个区域,导出对比度值,并根据最接近对焦状态的值,即最大对比度值执行对焦控制。
图10是示出摄像系统10的其他方式的示意图。如图10所示,摄像系统10可以在握持部300的侧旁固定包括智能手机400等的显示器的移动终端的状态下使用。
上述这样的摄像装置100也可以搭载在移动体上。摄像装置100也可以搭载在图11所示的无人驾驶航空器(UAV)上。UAV1000可以包括UAV主体20、万向节50、多个摄像装置60以及摄像装置100。万向节50及摄像装置100为摄像系统的一个示例。UAV1000为由推进部推进的移动体的一个示例。移动体是指不仅包括UAV,还包含在空中移动的其他的飞机等飞行体、在地面移动的车辆、在水上移动的船舶等的概念。
UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV1000飞行。UAV本体20例如采用四个旋转翼,使UAV1000飞行。旋翼的数量不限于四个。另外,UAV1000也可以是没有旋翼的固定翼机。
摄像装置100为对包含在所期望的摄像范围内的被摄体进行摄像的摄像用相机。万向节50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如,万向节50使用致动器以俯仰轴为中心可旋转地支撑摄像装置100。万向节50使用致动器进一步分别以滚转轴和偏航轴为中心可旋转地支撑摄像装置100。万向节50可通过使摄像装置100以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转,来变更摄像装置100的姿势。
多个摄像装置60是为了控制UAV1000的飞行而对UAV1000的周围进行拍摄的传感用相机。两个摄像装置60可以设置于UAV1000的机头、即正面。并且,其它两个摄像装置60可以设置于UAV1000的底面。正面侧的两个摄像装置60可以成对,起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对,起到立体相机的作用。可以根据由多个摄像装置60所拍摄的图像来生成UAV1000周围的三维空间数据。UAV1000所包括的摄像装置60的数量不限于四个。UAV1000包括至少一个摄像装置60即可。UAV1000也可以在UAV1000的机头、机尾、侧面、底面及顶面分别包括至少一个摄像装置60。摄像装置60中可设置的视角可大于摄像装置100中可设置的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置600与UAV1000通信,对UAV1000进行远程操作。远程操作装置600可以与UAV1000进行无线通信。远程操作装置600向UAV1000发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV1000的移动有关的各种指令的指示信息。指示信息包括例如使UAV1000的高度上升的指示信息。指示信息可以表示UAV1000应该位于的高度。UAV1000进行移动,以位于从远程操作装置600接收的指示信息所表示的高度。指示信息可以包括使UAV1000上升的上升指令。UAV1000在接受上升指令的期间上升。在UAV1000的高度已达到上限高度时,即使接受上升指令,也可以限制UAV1000上升。
图12表示可整体或部分地体现本发明的多个方面的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者,该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU1212执行,以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
本实施方式的计算机1200包括CPU1212和RAM1214,它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元,它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM1230。CPU1212根据存储在ROM1230和RAM1214中的程序进行操作,从而控制各单元。
通信接口1222经由网络与其他电子设备通信。硬盘驱动器可以存储计算机1200内的CPU1212所使用的程序及数据。ROM1230在其中存储运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM1230中,并通过CPU1212执行。这些程序中记述的信息处理由计算机1200读取,并引起程序与上述各种类型的硬件资源之间的协作。可以随着计算机1200的使用而实现信息的操作或者处理,从而构成装置或方法。
例如,当在计算机1200和外部设备之间执行通信时,CPU1212可以执行加载在RAM1214中的通信程序,并且基于通信程序中描述的处理,命令通信接口1222进行通信处理。在CPU1212的控制下,通信接口1222读取存储在诸如RAM1214或USB存储器之类的记录介质中所提供的发送缓冲区中的发送数据,并将读取的发送数据发送到网络,或者将从网络接收的接收数据写入记录介质上所提供的接收缓冲区等。
另外,CPU1212可以使RAM1214读取存储在诸如USB存储器等外部记录介质中的文件或数据库的全部或必要部分,并对RAM1214上的数据执行各种类型的处理。接着,CPU1212可以将处理过的数据写回到外部记录介质中。
诸如各种类型的程序、数据、表格和数据库的各种类型的信息可以存储在记录介质中并且接受信息处理。对于从RAM1214读取的数据,CPU1212可执行在本公开的各处所描述的、包括由程序的指令序列所指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理,并将结果写回到RAM1214中。此外,CPU1212可以检索记录介质内的文件、数据库等中的信息。例如,在记录介质中存储具有分别与第二属性的属性值建立了关联的第一属性的属性值的多个条目时,CPU1212可以从相关多个条目中检索出与指定第一属性的属性值的条件相匹配的条目,并读取该条目内存储的第二属性的属性值,从而获取与满足预设条件的第一属性相关联的第二属性的属性值。
上述程序或软件模块可以存储在计算机1200上或计算机1200附近的计算机可读存储介质上。此外,连接到专用通信网络或因特网的服务器系统中提供的诸如硬盘或RAM之类的记录介质可以用作计算机可读存储介质,从而可以经由网络将程序提供给计算机1200。
以上使用实施方式对本发明进行了说明,但是本发明的技术范围并不限于上述实施方式所记载的范围。对本领域普通技术人员来说,显然可以对上述实施方式加以各种变更或改良。从权利要求书的记载可知,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
应该注意的是,权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序,只要没有特别明示“在...之前”、“事先”等,且只要前面处理的输出并不用在后面的处理中,则可以任意顺序实现。关于权利要求书、说明书以及附图中的操作流程,为方便起见而使用“首先”、“接着”等进行了说明,但并不意味着必须按照这样的顺序实施。

Claims (13)

1.一种控制装置,其特征在于,包括以下构成的电路:针对摄像装置拍摄的图像内的多个区域的各个区域,导出表示对焦状态的值,并且基于多个所述值中表示最接近对焦状态的值,来执行所述摄像装置的对焦控制;
所述摄像装置安装在以可控制所述摄像装置的姿势的方式进行支撑的支撑机构;
所述电路构成为:基于所述支撑机构的控制信息,补正表示最接近所述对焦状态的值,并基于经补正的所述值执行对焦控制。
2.根据权利要求1所述的控制装置,其特征在于,
所述电路构成为:基于所述摄像装置拍摄的图像,确定满足预设条件的被摄体,执行对焦控制以对焦于所述被摄体,然后针对包含所述被摄体所位于的第一区域的所述多个区域的各个区域,导出所述值。
3.根据权利要求2所述的控制装置,其特征在于,所述支撑机构控制所述摄像装置的姿势,从而使所述被摄体位于所述第一区域。
4.根据权利要求3所述的控制装置,其特征在于,所述电路构成为:基于由所述摄像装置拍摄的图像确定的被摄体的位置与所述多个区域中的表示所述最接近对焦状态的值对应的区域之间的位置关系,补正表示所述最接近对焦状态的值,并基于补正后的值,执行所述对焦控制。
5.根据权利要求1所述的控制装置,其特征在于,所述电路构成为通过相位差方式的自动聚焦控制来执行所述对焦控制。
6.根据权利要求1所述的控制装置,其特征在于,所述多个区域中的至少两个区域可部分重叠。
7.根据权利要求1所述的控制装置,其特征在于,所述多个区域包括所述图像内的预设的第一区域、位于所述第一区域的第一方向的第二区域、位于所述第一区域的与所述第一方向相反的第二方向的第三区域、位于所述第二区域的所述第一方向的第四区域、位于所述第三区域的所述第二方向的第五区域、位于所述第一区域的第三方向的第六区域、位于所述第二区域的与所述第三方向相反的第四方向的第七区域和位于所述第三区域的所述第四方向的第八区域。
8.根据权利要求7所述的控制装置,其特征在于,所述第二区域与所述第一区域及所述第四区域部分重叠,
所述第三区域与所述第一区域及所述第五区域部分重叠。
9.根据权利要求7所述的控制装置,其特征在于,所述第一区域在所述 图像的中央区域。
10.一种摄像装置,其特征在于,其包括:根据权利要求1至9中任意一项所述的控制装置;
由所述控制装置控制的聚焦镜头;以及
拍摄所述图像的图像传感器。
11.一种摄像系统,其特征在于,其包括:根据权利要求10所述的摄像装置;以及
以可控制所述摄像装置的姿势的方式进行支撑的支撑机构。
12.一种摄像方法,其特征在于,其包括:针对摄像装置拍摄的图像内的多个区域的各个区域,导出表示对焦状态的值的阶段;以及
基于多个所述值中表示最接近对焦状态的值,执行所述摄像装置的对焦控制的阶段;
所述摄像装置安装在以可控制所述摄像装置的姿势的方式进行支撑的支撑机构;
所述方法还包括:基于所述支撑机构的控制信息,补正表示最接近所述对焦状态的值,并基于经补正的所述值执行对焦控制。
13.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序用于使计算机作为根据权利要求1至8中任意一项所述的控制装置而发挥功能。
CN202080003308.5A 2019-06-04 2020-05-28 控制装置、摄像装置、摄像系统、控制方法以及程序 Expired - Fee Related CN112313574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-104122 2019-06-04
JP2019104122A JP6743337B1 (ja) 2019-06-04 2019-06-04 制御装置、撮像装置、撮像システム、制御方法、及びプログラム
PCT/CN2020/092927 WO2020244440A1 (zh) 2019-06-04 2020-05-28 控制装置、摄像装置、摄像系统、控制方法以及程序

Publications (2)

Publication Number Publication Date
CN112313574A CN112313574A (zh) 2021-02-02
CN112313574B true CN112313574B (zh) 2022-04-05

Family

ID=72047850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003308.5A Expired - Fee Related CN112313574B (zh) 2019-06-04 2020-05-28 控制装置、摄像装置、摄像系统、控制方法以及程序

Country Status (4)

Country Link
US (1) US20210281766A1 (zh)
JP (1) JP6743337B1 (zh)
CN (1) CN112313574B (zh)
WO (1) WO2020244440A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288982A (ja) * 1992-04-09 1993-11-05 Olympus Optical Co Ltd 注視点選択装置
CN1731269A (zh) * 2004-08-05 2006-02-08 松下电器产业株式会社 摄像装置
CN101656830A (zh) * 2008-08-20 2010-02-24 佳能株式会社 图像处理装置及图像处理方法
CN102244728A (zh) * 2010-05-10 2011-11-16 卡西欧计算机株式会社 被摄体跟踪装置及被摄体跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129554A (ja) * 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP2010054586A (ja) * 2008-08-26 2010-03-11 Nikon Corp 焦点調節装置、撮像装置
JP5879736B2 (ja) * 2011-04-21 2016-03-08 株式会社ニコン 画像追尾装置および撮像装置
JP2012093775A (ja) * 2011-12-14 2012-05-17 Nikon Corp 焦点検出装置および撮像装置
JP6234144B2 (ja) * 2013-10-02 2017-11-22 オリンパス株式会社 焦点検出装置および焦点検出方法
JP6825203B2 (ja) * 2015-12-01 2021-02-03 株式会社ニコン 結像制御装置およびカメラ
JP2017198943A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 撮像装置および撮像装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288982A (ja) * 1992-04-09 1993-11-05 Olympus Optical Co Ltd 注視点選択装置
CN1731269A (zh) * 2004-08-05 2006-02-08 松下电器产业株式会社 摄像装置
CN101656830A (zh) * 2008-08-20 2010-02-24 佳能株式会社 图像处理装置及图像处理方法
CN102244728A (zh) * 2010-05-10 2011-11-16 卡西欧计算机株式会社 被摄体跟踪装置及被摄体跟踪方法

Also Published As

Publication number Publication date
JP6743337B1 (ja) 2020-08-19
WO2020244440A1 (zh) 2020-12-10
JP2020198561A (ja) 2020-12-10
US20210281766A1 (en) 2021-09-09
CN112313574A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
CN111630838B (zh) 确定装置、摄像装置、摄像系统、移动体、确定方法以及程序
CN112292712A (zh) 装置、摄像装置、移动体、方法以及程序
CN112335227A (zh) 控制装置、摄像系统、控制方法以及程序
CN112313574B (zh) 控制装置、摄像装置、摄像系统、控制方法以及程序
CN111264055A (zh) 确定装置、摄像系统、移动体、合成系统、确定方法以及程序
US20220046177A1 (en) Control device, camera device, movable object, control method, and program
CN111357271B (zh) 控制装置、移动体、控制方法
CN111602385B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
JP2019083390A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN112313941A (zh) 控制装置、摄像装置、控制方法以及程序
CN110770667A (zh) 控制装置、移动体、控制方法以及程序
CN112335222A (zh) 控制装置、摄像系统、移动体、控制方法以及程序
CN111226170A (zh) 控制装置、移动体、控制方法以及程序
CN111213369B (zh) 控制装置、方法、摄像装置、移动体以及计算机可读存储介质
JP7003357B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP7043706B2 (ja) 制御装置、撮像システム、制御方法、及びプログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN114600024A (zh) 装置、摄像装置、摄像系统及移动体
CN112313943A (zh) 装置、摄像装置、移动体、方法以及程序
CN112204947A (zh) 图像处理装置、摄像装置、无人驾驶航空器、图像处理方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220405