CN109844634B - 控制装置、摄像装置、飞行体、控制方法以及程序 - Google Patents

Abstract

一种对具备变焦镜头和聚焦镜头的镜头装置(200)进行控制的控制装置(110)，具备：在表示变焦镜头位置的变焦位置发生变化时，确定用于维持对于与镜头装置(200)的距离不变的被摄体的对焦状态的、表示聚焦镜头的位置的聚焦位置的第一变化量(412，422)的第一确定部(112)；以及确定用于维持对于与镜头装置(200)的距离变化的被摄体的对焦状态的聚焦位置的第二变化量(414，424)的第二确定部(112)；基于第一变化量(412，422)和第二变化量(414，424)来控制聚焦位置的控制部(116)。具有第一确定部(112)、第二确定部(112)以及控制部(116)的控制装置(110)能够抑制变焦跟踪的精度的降低。

Description

控制装置、摄像装置、飞行体、控制方法以及程序

技术领域

本发明涉及一种控制装置、摄像装置、飞行体、控制方法以及程序。

背景技术

专利文献1中公开了一种镜头装置，其为了校正伴随变焦镜头移动的焦点偏移，而进行使聚焦镜头移动的变焦跟踪控制。

专利文献1：日本特开2016-224096号公报

上述变焦跟踪控制的前提为，从摄像装置到被摄体的距离固定。然而，此距离并非总是固定的，有时变焦跟踪的精度会降低。

发明内容

本发明的一个方式所涉及的控制装置，其对具备变焦镜头和聚焦镜头的镜头装置进行控制。控制装置可以具备第一确定部，其在表示变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与镜头装置的距离不变的被摄体的对焦状态的、表示聚焦镜头的位置的聚焦位置的第一变化量。控制装置可以具备第二确定部，其确定用于维持对于与镜头装置的距离变化的被摄体的对焦状态的聚焦位置的第二变化量。控制装置可以具备控制部，其基于第一变化量和第二变化量来控制聚焦位置。

根据用于使变焦镜头从第一变焦位置移动至第二变焦位置的指令，第一确定部可以确定变焦镜头从第一变焦位置移动至第二变焦位置时的第一变化量。根据该指令，第二确定部可以基于变焦镜头移动至第二变焦位置之前摄像的多个图像，来确定第二变化量。

第二确定部可以基于包括变焦镜头处于第一变焦位置时摄像的第一图像和在第一图像之前摄像的第二图像的多个图像，来确定第二变化量。

第二确定部可以基于第一图像确定表示从镜头装置到被摄体的距离的第一距离，基于第二图像确定表示从镜头装置到被摄体的距离的第二距离，并基于第一距离和第二距离，来确定第二变化量。

第二确定部可以基于第一距离与第二距离之间的差，来确定第二变化量。

第一确定部可以基于表示用于维持对于与镜头装置的距离不变的被摄体的对焦状态的表示聚焦镜头的位置的聚焦位置与变焦镜头的变焦位置的关系的信息，来确定第一变化量。

在镜头装置不满足预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在镜头装置满足预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。

在不满足从镜头装置到地面的距离在预先决定的距离以上这一预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在满足从镜头装置到地面的距离在预先决定的距离以上这一预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。

在不满足从镜头装置到地面的距离在预先决定的距离以上、并且镜头装置的摄像方向包括预先决定的方向的成分这一预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在满足从镜头装置到地面的距离在预先决定的距离以上、并且镜头装置的摄像方向包括预先决定的方向的成分这一预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。预先决定的方向可以为竖直方向。

在不满足从镜头装置到被摄体的距离在预先决定的距离以上这一预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在满足从镜头装置到被摄体的距离在预先决定的距离以上这一预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。

在不满足镜头装置以预先决定的摄影模式动作这一预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在满足镜头装置以预先决定的摄影模式动作这一预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。

镜头装置可以搭载在飞行体上。在不满足飞行体在飞行过程中这一预先决定的摄像条件时，控制部可以基于第一变化量和第二变化量来控制聚焦位置。在满足飞行体在飞行过程中这一预先决定的摄像条件时，控制部可以不基于第二变化量而基于第一变化量来控制聚焦位置。

本发明的一个方式所涉及的摄像装置，其具备上述控制装置和镜头装置。

本发明的一个方式所涉及的飞行体，其具备上述摄像装置进行飞行。飞行体可以具备可旋转地支持摄像装置的支持机构。

本发明的一个方式所涉及的控制方法，其对具备变焦镜头和聚焦镜头的镜头装置进行控制。控制方法可以具备在表示变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与镜头装置的距离不变的被摄体的对焦状态的、表示聚焦镜头的位置的聚焦位置的第一变化量的阶段。控制方法可以具备确定用于维持对于与镜头装置的距离变化的被摄体的对焦状态的聚焦位置的第二变化量的阶段。控制方法可以具备基于第一变化量和第二变化量来控制聚焦位置的阶段。

本发明的一个方式所涉及的程序，其为用于使计算机对具备变焦镜头及聚焦镜头的镜头装置进行控制的程序。程序可以使计算机执行在表示变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与镜头装置的距离不变的被摄体的对焦状态的、表示聚焦镜头的位置的聚焦位置的第一变化量的阶段。程序可以使计算机执行确定用于维持对于与镜头装置的距离变化的被摄体的对焦状态的聚焦位置的第二变化量的阶段。程序可以使计算机执行基于第一变化量和第二变化量来控制聚焦位置的阶段。

根据本发明的一个方式，在从镜头装置到被摄体的距离发生了变化时，能够抑制变焦跟踪的精度的降低。

此外，上述的发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以成为发明。

附图说明

图1是示出无人飞行器及远程操作装置的外观的一个示例的图。

图2是示出无人飞行器的功能块的一个示例的图。

图3是示出变焦跟踪曲线的一个示例的图。

图4是示出摄像装置的变焦控制顺序的一个示例的流程图。

图5是示出基于到被摄体的距离的变化的聚焦位置的第二变化量的导出顺序的一个示例的流程图。

图6是用于对镜头部的光学系统中的被摄体距离、焦点距离等进行说明的图。

图7是用于对镜头部的光学系统中的被摄体距离、焦点距离等进行说明的图。

图8是示出基于变焦位置的变化的聚焦位置的第一变化量的导出顺序的一个示例的流程图。

图9是用于对基于变焦跟踪曲线的聚焦位置的确定顺序进行说明的图。

图10是用于对由变焦跟踪控制引起的聚焦位置的变化情况进行说明的图。

图11是用于对硬件构成的一个示例进行说明的图。

符号说明

10 UAV

20 UAV主体

30 UAV控制部

32 内存

36 通信接口

40 推进部

41 GPS接收器

42 惯性测量装置

43 磁罗盘

44 气压高度计

45 温度传感器

46 湿度传感器

50 云台

60 摄像装置

100 摄像装置

102 摄像部

110 摄像控制部

112 确定部

114 变焦位置控制部

116 聚焦位置控制部

120 图像传感器

130 内存

200 镜头部

210 镜头

212 镜头驱动部

214 位置传感器

220 镜头控制部

222 内存

300 远程操作装置

1200 计算机

1210 主机控制器

1212 CPU

1214 RAM

1220 输入/输出控制器

1222 通信接口

1230 ROM

具体实施方式

以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的组合并非全部是发明的解决方案所必须的。

以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的组合并非全部是发明的解决方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的记载即可明白，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。

权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人就无法异议。但是，在除此以外的情况下，保留一切的著作权。

本发明的各种实施方式可参照流程图及框图而记载，这里的框可表示(1)操作执行的过程的阶段、或(2)具有执行操作的作用的装置的“部”。确定的阶段及“部”可利用可编程电路及/或处理器进行安装。专用电路可包含数字及/或模拟硬件电路。可包含集成电路(IC)及/或离散电路。可编程电路可包含可重构硬件电路。可重构硬件电路可包含逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器要素等。

计算机可读介质可包含能储存通过适当的设备而执行的指令的任意的有形设备。结果，内部具有所储存的指令的计算机可读介质成为具备包括可执行的指令的产品，该可执行的指令用于形成用以执行流程图或框图中确定的操作的手段。作为计算机可读介质的示例，可包括电子存储介质、磁性存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例，可包含软(floppy，登记商标)盘、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、微型光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。

计算机可读指令可包含一个或多个编程语言的任意组合中所描述的源代码或对象代码的任一种。源代码或对象代码包含现有的过程性编程语言。现有的过程性编程语言可为汇编程序指令、指令集架构(ISA)指令、机器指令、机器依存指令、微代码、固件指令、状态设定数据、或Smalltalk、JAVA(登记商标)、C++等面向对象编程语言及“C”编程语言或同样的编程语言。计算机可读指令可由本地提供或通过局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、特殊用途的计算机、或其他可编程的数据处理装置的处理器或可编程电路。处理器或可编程电路可执行计算机可读指令以形成用于执行流程图或框图中确定的操作的手段。作为处理器的示例，包含计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。

图1是示出无人飞行器(UAV)10和远程操作装置300的外观的一个示例的图。UAV10具备UAV主体20、云台50、多个摄像装置60、以及摄像装置100。云台50和摄像装置100为摄像系统的一个示例。UAV10为在空中移动的飞行体的一个示例。飞行体的概念除UAV以外还包括在空中移动的其它飞行器、飞艇、直升机等。

UAV主体20具备多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20例如使用四个旋翼来使UAV10飞行。旋翼的数量不限于四个。此外，UAV10也可以为不具有旋翼的固定翼机。

摄像装置100为对期望的摄像范围内包含的被摄体进行摄像的摄像用相机。云台50可旋转地支持摄像装置100。云台50为支持机构的一个示例。例如，云台50利用致动器使摄像装置100可以俯仰轴旋转地对其进行支持。云台50利用致动器使摄像装置100还能分别以横滚轴及偏航轴为中心旋转地对其进行支持。云台50可以通过使摄像装置100以偏航轴、俯仰轴和横滚轴中的至少一个为中心旋转，从而变更摄像装置100的姿势。

多个摄像装置60是为了控制UAV10的飞行而对UAV10周围进行摄像的传感用相机。两个摄像装置60可以设置于UAV10的机头即正面。并且，其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对，起到所谓立体相机的作用。底面侧的两个摄像装置60也可以成对，起到立体相机的作用。可以基于由多个摄像装置60摄像的图像，来生成UAV10周围的三维空间数据。UAV10所具备的摄像装置60的数量不限于四个。UAV10只要具备至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可以比摄像装置100中可设定的视角更大。摄像装置60可以具有定焦镜头或鱼眼镜头。

远程操作装置300与UAV10通信，从而远程操作UAV10。远程操作装置300可以与UAV10无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10的高度上升的指示信息。指示信息可以表示UAV10应该位于的高度。UAV10移动以位于从远程操作装置300接收的指示信息所示出的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接受上升指令的期间上升。在UAV10的高度已达到上限高度时，即使接受上升指令，UAV10也可以限制上升。

图2示出UAV10的功能块的一个示例。UAV10具备UAV控制部30、内存32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、云台50、摄像装置60和摄像装置100。

通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。内存32储存UAV控制部30对推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、云台50、摄像装置60和摄像装置100进行控制所需的程序等。内存32可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM和USB存储器等闪存中的至少一个。内存32可以设置于UAV主体20的内部。可以设置成可从UAV主体20中拆卸下来。

UAV控制部30按照储存在内存32中的程序来控制UAV10的飞行和摄像。UAV控制部30可以由CPU或MPU等微处理器、MCU等微控制器等构成。UAV控制部30按照通过通信接口36从远程操作装置300接收到的指令来控制UAV10的飞行和摄像。推进部40推进UAV10。推进部40具有多个旋翼和使多个旋翼旋转的多个驱动马达。推进部40按照来自UAV控制部30的指令，通过多个驱动马达使多个旋翼旋转，从而使UAV10飞行。

GPS接收器41接收表示从多个GPS卫星发送的时刻的多个信号。GPS接收器41基于接收到的多个信号来计算出GPS接收器41的位置(纬度和经度)、即UAV10的位置(纬度和经度)。IMU42检测UAV10的姿势。IMU42检测UAV10的前后、左右及上下的三轴方向的加速度和俯仰轴、横滚轴以及偏航轴的三轴方向的角速度，作为UAV10的姿势。磁罗盘43检测UAV10的机头的方位。气压高度计44检测UAV10的飞行高度。气压高度计44检测UAV10周围的气压，并将检测到的气压换算为高度，来检测高度。温度传感器45检测UAV10周围的温度。湿度传感器46检测UAV10周围的湿度。

摄像装置100具备摄像部102和镜头部200。镜头部200为镜头装置的一个示例。摄像部102具有图像传感器120、摄像控制部110和内存130。图像传感器120可以由CCD或CMOS构成。图像传感器120将通过多个镜头210成像的光学图像的图像数据输出至摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自UAV控制部30的摄像装置100的动作指令来控制摄像装置100。内存130可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM和USB存储器等闪存中的至少一个。内存130储存摄像控制部110对图像传感器120等进行控制所需的程序等。内存130可以设置于摄像装置100的壳体的内部。内存130可以设置成可从摄像设备100的壳体中拆卸下来。

镜头部200具有多个镜头210、多个镜头驱动部212和镜头控制部220。多个镜头210可以起到变焦镜头、可变焦距镜头和聚焦镜头的作用。多个镜头210中的至少一部分或全部被配置为能够沿着光轴移动。镜头部200可以为能够相对于摄像部102拆装地设置的可换镜头。镜头驱动部212通过凸轮环等机构部件使多个镜头210中的至少一部分或全部沿着光轴移动。镜头驱动部212可以包括致动器。致动器可以包括步进马达。镜头控制部220按照来自摄像部102的镜头控制指令来驱动镜头驱动部212，通过机构部件使一个或多个镜头210沿着光轴方向移动。镜头控制指令例如为变焦控制指令和聚焦控制指令。

镜头部200进一步具有内存222和位置传感器214。镜头控制部220根据来自摄像部102的镜头动作指令，通过镜头驱动部212来控制镜头210向光轴方向的移动。镜头控制部220根据来自摄像部102的镜头动作指令，通过镜头驱动部212来控制镜头210向光轴方向的移动。镜头210的一部分或全部沿着光轴移动。镜头控制部220通过使镜头210中的至少一个沿着光轴移动，来执行变焦动作和聚焦动作中的至少一个。位置传感器214检测镜头210的位置。位置传感器214可以检测当前的变焦位置或聚焦位置。

镜头驱动部212可以包括抖动校正机构。镜头控制部220可以通过抖动校正机构来使镜头210在沿着光轴的方向或垂直于光轴的方向上移动，从而执行抖动校正。镜头驱动部212可以由步进马达驱动抖动校正机构，以执行抖动校正。另外，抖动校正机构可以由步进马达驱动，以使图像传感器120在沿着光轴的方向或垂直于光轴的方向上移动，从而执行抖动校正。

内存222存储通过镜头驱动部212而移动的多个镜头210的控制值。内存222可以包括SRAM、DRAM、EPROM、EEPROM和USB存储器等闪存中的至少一个。

这样构成的摄像装置100具有所谓变焦跟踪功能。变焦跟踪功能为如下功能，在表示变焦镜头的位置的变焦位置发生变化时，为了维持对于与摄像装置100的距离不变的被摄体的对焦状态，根据变焦位置的变化使表示聚焦镜头的位置的聚焦位置发生变化。变焦跟踪例如通过使聚焦镜头移动至按照图3所示的与被摄体距离对应的变焦跟踪曲线来确定的与目标变焦位置对应的目标聚焦位置来执行。变焦跟踪曲线为表示用于维持对于与镜头部200的距离不变的被摄体的对焦状态的表示聚焦镜头的位置的聚焦位置与变焦镜头的变焦位置的关系的信息的一个示例。该信息由镜头部200的光学系统的特性来决定，例如可以储存于内存222。

例如，在被摄体存在于无穷远端的情况下，在镜头部200的光学系统从变焦位置(1)和聚焦位置(1)的状态变更为变焦位置(2)的状态时，摄像装置100按照变焦跟踪曲线400确定与变焦位置(2)对应的聚焦位置(2)。摄像装置100基于变焦位置(1)和变焦位置(2)导出变焦位置的变化量，并基于聚焦位置(1)和聚焦位置(2)导出聚焦位置的变化量。然后，摄像装置100基于各变化量来控制变焦位置和聚焦位置。

上述那样的变焦跟踪的前提是：在将变焦镜头移动到期望的变焦位置的过程中，从镜头部200到被摄体的距离固定。然而，该距离可能会在变焦位置变化的期间发生变化。例如，在摄像装置100搭载于UAV10等飞行体的情况下，由于在飞行体的飞行过程中的飞行体或被摄体的位置的变化，变焦跟踪的精度可能会降低。因此，根据本实施方式，即使在从镜头部200到被摄体的距离发生变化时，也会抑制变焦跟踪的精度的降低。

摄像控制部110具有确定部112、变焦位置控制部114和聚焦位置控制部116。确定部112在表示变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与镜头部200的距离不变的被摄体的对焦状态的、表示聚焦镜头的位置的聚焦位置的第一变化量。确定部112确定用于维持对于与镜头部200的距离变化的被摄体的对焦状态的聚焦位置的第二变化量。确定部112为第一确定部和第二确定部的一个示例。变焦位置也可以未必直接表示构成变焦镜头的至少一个镜头在光轴方向上的物理位置。例如，在为了使变焦镜头移动而使用凸轮机构时，变焦位置也可以为与凸轮部件的位移位置相当的值。此外，在使用圆柱形凸轮来移动变焦镜头时，变焦位置也可以为与圆柱形凸轮的旋转角度相当的值。聚焦位置也可以未必直接表示构成变焦镜头的至少一个镜头在光轴方向上的物理位置。例如，变焦位置也可以为与从用于驱动驱动机构的步进马达从基准旋转位置开始的步数相当的值，该驱动机构用于使聚焦镜头在光轴方向上移动。

根据用于使变焦镜头从第一变焦位置移动至第二变焦位置的指令，确定部112确定变焦镜头从第一变焦位置移动至第二变焦位置时的第一变化量。确定部112进一步基于变焦镜头移动至第二变焦位置之前摄像的多个图像，来确定第二变化量。确定部112可以基于包括变焦镜头处于第一变焦位置时摄像的第一图像和在第一图像之前摄像的第二图像的多个图像，来确定第二变化量。确定部112可以基于第一图像来确定表示从镜头部200到被摄体的距离的第一距离。确定部112可以基于第二图像来确定表示从镜头部200到被摄体的距离的第二距离。确定部112可以基于第一距离和第二距离来确定第二变化量。确定部112可以基于第一距离与第二距离之间的差，来确定第二变化量。

聚焦位置控制部116基于第一变化量和第二变化量来控制聚焦位置。变焦位置控制部114根据用于使变焦镜头从第一变焦位置移动至第二变焦位置的指令，来控制变焦镜头的位置。

在变焦跟踪中，聚焦位置控制部116除了根据基于变焦镜头的位置变化而确定的第一变化量之外，还根据基于到被摄体的距离变化而确定的第二变化量，来控制聚焦位置。由此，即使在到被摄体的距离发生变化的情况下，摄像控制部110也能够控制良好地执行变焦跟踪。在变焦镜头从第一变焦位置移动至第二变焦位置之前，确定部112至少基于在第一变焦位置摄像的第一图像和在第一图像之前摄像的第二图像，来确定到被摄体的距离的变化量。确定部112基于该变化量，在变焦镜头移动至第二变焦位置之前，确定聚焦位置的第二变化量。聚焦位置控制部116在变焦镜头从第一变焦位置移动至第二变焦位置的期间，除了根据基于变焦镜头的位置变化的第一变化量之外，还能根据基于到被摄体的距离变化的第二变化量，来控制聚焦镜头的位置。因此，即使在到被摄体的距离发生变化的情况下，也能够抑制变焦跟踪的精度的降低。

在此，例如当从镜头部200到被摄体的距离比较长时，即使到被摄体的距离发生变化，也几乎不会影响变焦跟踪的精度。即，根据摄像装置100的摄像条件，有时也不一定需要根据基于到被摄体的距离变化的第二变化量来进行变焦跟踪。因此，在摄像装置100不满足预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量来控制聚焦位置。另一方面，在镜头装置满足预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。

在不满足从镜头部200到地面的距离在预先决定的距离以上这一预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量来控制聚焦位置。在满足从镜头部200到地面的距离在预先决定的距离以上这一预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。从镜头部200到地面的距离例如可以基于来自设置于UAV主体20或摄像装置100中的红外线传感器的信号来确定。红外线传感器可以以使红外线沿竖直方向向下发射的方式设置在例如UAV主体20上。红外线传感器可以基于发射的红外线的反射光来检测从红外线传感器到反射面的距离，将该距离作为从镜头部200到地面的距离。

在不满足从镜头部200到地面的距离在预先决定的距离以上、并且镜头部200的摄像方向包括预先决定的方向的成分这一预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量，来控制聚焦位置。在满足从镜头部200到地面的距离在预先决定的距离以上、并且镜头部200的摄像方向包括预先决定的方向的成分这一预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。预先决定的方向可以为摄像装置100能够对地面方向进行摄像的方向，例如可以为竖直方向向下。例如，摄像装置100搭载于UAV10，在UAV10的飞行过程中，通过空中摄影来对地表进行摄影。在这种情况下，到被摄体的距离长，因此即使到被摄体的距离发生变化，也几乎不会影响变焦跟踪的精度。因此，在满足上述那样的条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。另一方面，即使镜头部200的摄像方向包括例如竖直方向的成分，在摄像装置100对距离比较短的被摄体进行摄影时，到被摄体的距离的变化也可能会影响变焦跟踪的精度。例如，在使UAV10飞行、且摄像装置100进行肖像摄影时，到被摄体的距离的变化可能会影响变焦跟踪的精度。因此，在这样的条件下进行摄影时，聚焦位置控制部116也可以基于第一变化量和第二变化量来控制聚焦位置。

在不满足摄像装置100以预先决定的摄影模式动作这一预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量来控制聚焦位置。在满足以预先决定的摄影模式动作这一预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。例如，在摄像装置100以除了肖像模式等假定到被摄体距离较短的场景的预先决定的摄影模式之外的摄影模式动作时，聚焦位置控制部116可以判断为不满足预先决定的摄像条件，而基于第一变化量和第二变化量来控制聚焦位置。预先决定的摄影模式可以为，对即使到被摄体的距离发生变化也几乎不会影响变焦跟踪的精度的场景进行摄影的任意的摄影模式。

在不满足从镜头部200到被摄体的距离在预先决定的距离以上这一预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量，来控制聚焦位置。在满足从镜头部200到被摄体的距离在预先决定的距离以上这一预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。

在不满足UAV10在飞行过程中这一预先决定的摄像条件时，聚焦位置控制部116可以基于第一变化量和第二变化量，来控制聚焦位置。在满足UAV10在飞行过程中这一预先决定的摄像条件时，聚焦位置控制部116可以不基于第二变化量而基于第一变化量来控制聚焦位置。

如上所述，在即使到被摄体的距离发生变化、也几乎不会影响变焦跟踪的精度的情况下，不根据基于到被摄体的距离变化的第二变化量进行变焦跟踪。由此，能够减小变焦跟踪控制中的处理负担。

图4是示出摄像装置100的变焦控制顺序的一个示例的流程图。摄像控制部110接收基于用户操作使变焦镜头移动的变焦指令(S100)。摄像控制部110根据该变焦指令，开始变焦跟踪动作。进一步地，摄像控制部110判定是否满足可以无需考虑到被摄体的距离的变化而进行变焦跟踪动作的预先决定的摄像条件(S102)。在不满足预先决定的摄像条件时，摄像控制部110判断为应该考虑到被摄体的距离的变化来执行变焦跟踪动作。然后，摄像控制部110从已摄像的图像中导出主被摄体的区域的变化量(S104)。摄像控制部110首先从图像中确定主被摄体的区域。例如，摄像控制部110可以将存在于图像的中心的被摄体判断为主被摄体，来确定主被摄体的区域。摄像控制部110也可以将在预先决定的期间内动作最大的被摄体判断为主被摄体，来确定主被摄体的区域。摄像控制部110可以将在第一时间点摄像的图像的主被摄体的区域与在第一时间点之前的第二时间点摄像的图像的主被摄体的区域之间的差分，作为主被摄体的区域的变化量导出。

接着，摄像控制部110判定该变化量是否在预先决定的阈值以上(S106)。如果该变化量小于预先决定的阈值，则摄像控制部110判断为到被摄体的距离的变化对变焦跟踪的精度的影响小，并返回步骤S102。如果该变化量在预先决定的阈值以上，则摄像控制部110判断为到被摄体的距离的变化有可能影响变焦跟踪的精度，并导出聚焦位置的第二变化量(S108)。

当变焦跟踪动作开始时，摄像控制部110保持当前的变焦位置(S110)。摄像控制部110可以从镜头控制部220获取表示由位置传感器214检测到的变焦镜头的当前的变焦位置的信息，并将该变焦位置保持为当前的变焦位置。进一步地，摄像控制部110基于变焦指令来导出目标变焦位置(S112)。摄像控制部110可以将由变焦指令示出的变焦位置确定为目标变焦位置。摄像控制部110可以根据由变焦指令示出的变焦镜头的移动量和当前的变焦位置，来确定目标变焦位置。

接着，摄像控制部110基于变焦位置的变化，来导出与要移动的聚焦镜头的移动量相当的聚焦位置的第一变化量(S114)。聚焦位置控制部116决定聚焦位置的变化量(S116)。在导出第二变化量的情况下，聚焦位置控制部116可以通过将第二变化量加到第一变化量上，来决定聚焦位置的变化量。在未导出第二变化量的情况下，聚焦位置控制部116可以将第一变化量决定为聚焦位置的变化量。或者，聚焦位置控制部116可以将第一变化量和第二变化量中的一方决定为聚焦位置的变化量，之后，聚焦位置控制部116可以将第一变化量和第二变化量中的另一方决定为聚焦位置的变化量。聚焦位置控制部116通过镜头控制部220，基于所决定的变化量来驱动聚焦镜头(S118)。聚焦位置控制部116可以基于第一变化量和第二变化量，将聚焦镜头的聚焦位置一次性改变为期望的聚焦位置。或者，聚焦位置控制部116可以在先基于第一变化量和第二变化量中的一方改变聚焦镜头的聚焦位置后，进一步基于第一变化量和第二变化量中的另一方来改变聚焦镜头的聚焦位置。即，聚焦位置控制部116也可以基于第一变化量和第二变化量，将聚焦镜头的聚焦位置阶段性地改变为期望的聚焦位置。

另一方面，变焦位置控制部114根据当前的变焦位置和目标变焦位置，来决定变焦位置的变化量(S120)。变焦位置控制部114通过镜头控制部220，基于所决定的变焦位置的变化量来驱动变焦镜头(S122)。

摄像控制部110判定变焦位置是否已经到达按照变焦指令确定的最终变焦位置(S124)。如果变焦位置没有到达按照变焦指令确定的最终变焦位置，则摄像控制部110重复步骤S110以后的处理。另一方面，如果已经到达最终变焦位置，则摄像控制部110结束处理。

图5是示出基于到被摄体的距离的变化的聚焦位置的第二变化量的导出顺序的一个示例的流程图。图6和图7是用于对镜头部200的光学系统中的被摄体距离L1、焦点距离f等进行说明的图。

确定部112对于在以前帧中摄像的图像确定像面上的被摄体尺寸y1。如图6所示，确定部112确定通过镜头210成像的像面上的被摄体502的尺寸(S200)。确定部112导出以前帧的图像倍率α1(S202)。图像倍率α1基于以前帧中的变焦位置和聚焦位置唯一地导出。确定部112可以基于表示变焦位置和聚焦位置与图像倍率的关系的预先决定的信息，来导出图像倍率α1(＝IM1：设计值图像倍率)。

进一步地，确定部112导出被摄体距离L1和实际的被摄体尺寸Y(S204)。确定部112可以按照式L1＝f/IM1，来导出被摄体距离L1。进一步地，确定部112可以按照式Y＝y1×L1/f，来导出被摄体尺寸Y。

随后，如图7所示，确定部112对于在当前帧中摄像的图像确定通过镜头210成像的像面上的被摄体504的被摄体尺寸y2(S206)。确定部112基于当前帧中的变焦位置和聚焦位置，来导出当前帧中的图像倍率α2(＝IM2：设计值图像倍率)(S208)。进一步地，确定部112导出被摄体距离L2和实际的被摄体尺寸Y(S210)。确定部112可以按照式L2＝f/IM2，来导出被摄体距离L2。确定部112可以按照式Y＝y2×L2/f，来导出被摄体尺寸Y。

确定部112导出被摄体距离L的变化量ΔL(S212)。确定部112可以按照式ΔL＝L1-L2，来导出变化量ΔL。进一步地，确定部112可以导出像面变化量Δx。确定部112可以按照式Δx＝L1(1-(IM1/IM2))×IM2²，来导出像面变化量Δx。确定部112可以基于像面变化量Δx，来导出聚焦位置的第二变化量。确定部112可以通过将像面变化量Δx乘以预先决定的系数K，来导出聚焦位置的第二变化量。系数K是为相对于像面位置变化的聚焦位置变换而预先决定的系数。

确定部112可以基于在当前帧中摄像的图像和在以前帧中摄像的至少一个图像，来预测在第二变焦位置摄像的未来帧的图像中的被摄体的位置，并根据该预测导出聚焦位置的第二变化量。

图8是示出基于变焦位置的变化的聚焦位置的第一变化量的导出顺序的一个示例的流程图。

确定部112获取当前的变焦位置(S300)。确定部112可以通过镜头控制部220来获取变焦镜头的当前的变焦位置。确定部112获取当前的聚焦位置(S302)。确定部112可以通过镜头控制部220来获取聚焦镜头的当前的聚焦位置。确定部112导出当前的变焦位置处的驱动范围(S304)。如图9所示，确定部112可以确定与无穷远端的变焦跟踪曲线400上的当前的变焦位置对应的聚焦位置、和与最近端的变焦跟踪曲线402上的当前的变焦位置对应的聚焦位置之间的驱动范围404。进一步地，确定部112导出聚焦位置相对于当前的变焦位置处的驱动范围的比率(S306)。确定部112导出例如图9所示的驱动范围404中的比率b/a。

进一步地，确定部112基于变焦指令导出目标变焦位置(S308)。确定部112导出目标变焦位置处的驱动范围(S310)。确定部112导出例如图9所示的目标变焦值中的驱动范围406。确定部112根据目标变焦位置处的比率和驱动范围导出目标聚焦位置。确定部112可以根据例如图9所示的比率b/a和驱动范围406导出目标聚焦位置。确定部112根据当前的聚焦位置和目标聚焦位置导出聚焦位置的第一变化量(S314)。

确定部112可以根据与到预先定义的被摄体的至少两个距离对应的变焦跟踪曲线，导出与到当前的被摄体的距离对应的变焦跟踪曲线。进一步地，确定部112可以根据导出的变焦跟踪曲线，导出到被摄体的距离不变时的目标聚焦位置。

例如，如图10所示，变焦镜头从第一变焦位置移动至第二变焦位置。在这种情况下，确定部112按照由第一变焦位置和当前的焦聚焦位置确定的变焦跟踪曲线401，确定临时聚焦位置(1)，并确定第一变化量412。然而，实际上有时到被摄体的距离已变化。因此，确定部112基于到被摄体的距离的变化量，确定聚焦位置的第二变化量414。确定部112可以基于在第一变焦位置摄像的第一图像和在第一图像之前摄像的第二图像，确定到被摄体的距离的变化量，并确定聚焦位置的第二变化量414。在变焦镜头从第一位置移动至第二位置的期间，聚焦位置控制部116使聚焦镜头移动将第一变化量412和第二变化量414加起来的变化量416，移动至第一聚焦位置。在变焦镜头从第一位置移动至第二位置的期间，聚焦位置控制部116可以使聚焦镜头一次性移动变化量416。此外，在从第一变焦位置移动至第二变焦位置的期间，聚焦位置控制部116可以在使聚焦镜头移动第一变化量412后，进一步使聚焦镜头移动第二变化量414。

进一步地，变焦镜头从第二变焦位置移动至第三变焦位置。在这种情况下，确定部112按照变焦跟踪曲线402，确定临时聚焦位置(2)，并确定第一变化量422。进一步地，确定部112基于到被摄体的距离的变化量，确定聚焦位置的第二变化量424。在从第二变焦位置移动至第三变焦位置的期间，聚焦位置控制部116可以使聚焦镜头移动将第一变化量422和第二变化量424加起来的变化量426，使聚焦镜头移动至第二聚焦位置。通过将第一变化量422和第二变化量424加起来一次性移动聚焦镜头，能够减小聚焦镜头的移动量。另外，在从第二变焦位置移动至第三变焦位置的期间，聚焦位置控制部116可以通过在使聚焦镜头移动第一变化量422后、使聚焦镜头移动第二变化量424，从而使聚焦镜头移动至第二聚焦位置。

根据本实施方式所涉及的摄像装置100，即使在从镜头部200到被摄体的距离发生变化的情况下，也能够基于到被摄体的距离的变化量，在变焦跟踪过程中调整聚焦位置，因此能够抑制变焦跟踪精度的降低。

图11示出表示整体地或部分地具体实现本发明的多个方式的计算机1200的一例。计算机1200中安装的程序能使计算机1200作为本发明的实施方式所涉及的装置的相关操作或该装置的一个或多个“部”而发挥功能。或者，该程序能使计算机1200执行该操作或该一个或多个“部”。该程序能使计算机1200执行本发明的实施方式所涉及的过程或该过程的阶段。这种程序为了使计算机1200执行本说明书中记载的流程图及框图的框中的若干个或全部所相关的确定的操作，可由CPU1212执行。

本实施方式中的计算机1200包含CPU1212及RAM1214，CPU1212及RAM1214通过主机控制器1210彼此连接。计算机1200还包含通信接口1222、输入/输出单元，通信接口1222与输入/输出单元经由输入/输出控制器1220而连接于主机控制器1210。计算机1200还包含ROM1230。CPU1212按照ROM1230及RAM1214内储存的程序进行动作，由此控制各单元。

通信接口1222通过网络而与其他电子设备进行通信。硬盘驱动器可储存供计算机1200内的CPU1212使用的程序及数据。ROM1230中储存激活化时由计算机1200执行的引导程序等及/或依赖于计算机1200硬件的程序。可通过CR-ROM、USB存储器或IC卡等计算机可读记录介质或网络提供程序。程序被安装于也为计算机可读记录介质的示例的RAM1214或ROM1230中且由CPU1212执行。这些程序内描述的信息处理被计算机1200读取，使程序与所述各种类型的硬件资源之间实现协作。装置或方法可通过利用计算机1200实现信息的操作或处理来构成。

例如，当在计算机1200及外部设备之间执行通信时，CPU1212可执行RAM1214上载入的通信程序，根据通信程序中描述的处理，命令通信接口1222进行通信处理。通信接口1222在CPU1212的控制下，读取RAM1214或USB存储器等记录介质内所提供的发送缓冲区中储存的发送数据，将读取的发送数据发送到网络，或将通过网络接收的接收数据写入到记录介质上所提供的接收缓冲区等内。

而且，CPU1212可将USB存储器等外部记录介质中储存的全部或需要的一部分文件或数据库读取到RAM1214中，且对RAM1214上的数据执行各种类型的处理。接着，CPU1212可将经过处理的数据回写到外部记录介质内。

各种类型的程序、数据、表格及数据库等各种类型的信息可储存在记录介质中，并接受信息处理。CPU1212可对于从RAM1214读取的数据执行各种类型的处理，且将结果回写到RAM1214内，所述各种类型的处理包含本公开中随处记载的、由程序的指令序列所指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等。而且，CPU1212可检索记录介质内的文件、数据库等中的信息。例如，当记录介质内储存分别具有与第二属性的属性值相关的第一属性的属性值的多个条目时，CPU1212可从该多个条目中检索出第一属性的属性值所指定的与条件一致的条目，读取该条目内储存的第二属性的属性值，由此获取满足预先确定的条件的与第一属性相关的第二属性的属性值。

上文说明的程序或软件模块可储存在计算机1200上或计算机1200近旁的计算机可读存储介质中。而且，连接于专用通信网络或互联网的服务器系统内所提供的硬盘或RAM等记录介质可用作计算机可读存储介质，这样，程序可通过网络提供给计算机1200。

要注意的是，权利要求书、说明书、以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤、以及阶段等各项处理的执行顺序，只要没有特别明示“在…之前”、“事先”等，而且只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书以及说明书附图中的动作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。

以上通过实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所记载的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的记载即可明白，加以了这样的变更或改良的方式也都可包含在本发明的技术范围之内。

要注意的是，权利要求书、说明书、以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤、以及阶段等各项处理的执行顺序，只要没有特别明示“在…之前”、“事先”等，而且只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书以及说明书附图中的动作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。

Claims (15)

1.一种控制装置，其对具备变焦镜头和聚焦镜头的镜头装置进行控制，其具备：

第一确定部，其在表示所述变焦镜头的位置的变焦位置发生变化时，为了维持对于与所述镜头装置的距离不变的被摄体的对焦状态、确定表示所述聚焦镜头的位置的聚焦位置的第一变化量；

第二确定部，其为了维持对于与所述镜头装置的距离变化的被摄体的对焦状态，确定所述聚焦位置的第二变化量；以及

控制部，其基于所述第一变化量和所述第二变化量来控制所述聚焦位置；

其中，根据用于使所述变焦镜头从第一变焦位置移动至第二变焦位置的指令，

所述第二确定部基于所述变焦镜头移动至所述第二变焦位置之前摄像的多个图像，来确定所述第二变化量；

所述控制部，在所述镜头装置不满足预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在所述镜头装置满足预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置；

所述预先决定的摄像条件包括从所述镜头装置到所述被摄体的距离在预先决定的距离以上。

2.如权利要求1所述的控制装置，其中，

所述第一确定部确定所述变焦镜头从所述第一变焦位置移动至所述第二变焦位置时的所述第一变化量。

3.如权利要求2所述的控制装置，其中，

所述第二确定部基于包括所述变焦镜头处于所述第一变焦位置时摄像的第一图像和在所述第一图像之前摄像的第二图像的所述多个图像，来确定所述第二变化量。

4.如权利要求3所述的控制装置，其中，

所述第二确定部基于所述第一图像确定表示从所述镜头装置到所述被摄体的距离的第一距离，基于所述第二图像确定表示从所述镜头装置到所述被摄体的距离的第二距离，并基于所述第一距离和所述第二距离，来确定所述第二变化量。

5.如权利要求4所述的控制装置，其中，

所述第二确定部基于所述第一距离与所述第二距离的差，来确定所述第二变化量。

6.如权利要求1所述的控制装置，其中，

所述第一确定部，基于表示用于维持对于与所述镜头装置的距离不变的被摄体的对焦状态的表示所述聚焦镜头的位置的聚焦位置与所述变焦镜头的变焦位置的关系的信息，来确定所述第一变化量。

7.如权利要求1所述的控制装置，其中，

所述控制部，在不满足从所述镜头装置到地面的距离在预先决定的距离以上这一所述预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在满足从所述镜头装置到地面的距离在预先决定的距离以上这一所述预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置。

8.如权利要求1所述的控制装置，其中，

所述控制部，在不满足从所述镜头装置到地面的距离在预先决定的距离以上、并且所述镜头装置的摄像方向包括预先决定的方向的成分这一所述预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在满足从所述镜头装置到地面的距离在预先决定的距离以上、并且所述镜头装置的摄像方向包括预先决定的方向的成分这一所述预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置。

9.如权利要求1所述的控制装置，其中，

所述控制部，在不满足所述镜头装置以预先决定的摄影模式动作这一所述预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在满足所述镜头装置以所述预先决定的摄影模式动作这一所述预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置。

10.如权利要求1所述的控制装置，其中，

所述镜头装置搭载在飞行体上，

所述控制部在不满足所述飞行体在飞行过程中这一所述预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在满足所述飞行体在飞行过程中这一所述预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置。

11.一种摄像装置，其具备：

权利要求1至10中任一项所述的控制装置；以及

所述镜头装置。

12.一种飞行体，其具备权利要求11所述的摄像装置进行飞行。

13.如权利要求12所述的飞行体，其中，

其进一步具备可旋转地支持所述摄像装置的支持机构。

14.一种控制方法，其是对具备变焦镜头和聚焦镜头的镜头装置进行控制的控制方法，其具备以下阶段：

在表示所述变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与所述镜头装置的距离不变的被摄体的对焦状态的、表示所述聚焦镜头位置的聚焦位置的第一变化量的阶段；

确定用于维持对于与所述镜头装置的距离变化的被摄体的对焦状态的所述聚焦位置的第二变化量的阶段；以及

基于所述第一变化量和所述第二变化量来控制所述聚焦位置的阶段；

其中，根据用于使所述变焦镜头从第一变焦位置移动至第二变焦位置的指令，

基于所述变焦镜头移动至所述第二变焦位置之前摄像的多个图像，来确定所述第二变化量；

在所述镜头装置不满足预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在所述镜头装置满足预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置；

所述预先决定的摄像条件包括从所述镜头装置到所述被摄体的距离在预先决定的距离以上。

15.一种计算机，所述计算机包括对具备变焦镜头和聚焦镜头的镜头装置进行控制的程序，所述程序用于使所述计算机执行以下阶段：

在表示所述变焦镜头的位置的变焦位置发生变化时，确定用于维持对于与所述镜头装置的距离不变的被摄体的对焦状态的、表示所述聚焦镜头的位置的聚焦位置的第一变化量的阶段；

确定用于维持对于与所述镜头装置的距离变化的被摄体的对焦状态的所述聚焦位置的第二变化量的阶段；以及

基于所述第一变化量和所述第二变化量来控制所述聚焦位置的阶段；

其中，根据用于使所述变焦镜头从第一变焦位置移动至第二变焦位置的指令，

基于所述变焦镜头移动至所述第二变焦位置之前摄像的多个图像，来确定所述第二变化量；

在所述镜头装置不满足预先决定的摄像条件时，基于所述第一变化量和所述第二变化量来控制所述聚焦位置，在所述镜头装置满足预先决定的摄像条件时，不基于所述第二变化量而基于所述第一变化量来控制所述聚焦位置；

所述预先决定的摄像条件包括从所述镜头装置到所述被摄体的距离在预先决定的距离以上。

Images