CN112637479A - 控制设备、摄像设备、控制方法和存储介质 - Google Patents

控制设备、摄像设备、控制方法和存储介质 Download PDF

Info

Publication number
CN112637479A
CN112637479A CN202011016392.2A CN202011016392A CN112637479A CN 112637479 A CN112637479 A CN 112637479A CN 202011016392 A CN202011016392 A CN 202011016392A CN 112637479 A CN112637479 A CN 112637479A
Authority
CN
China
Prior art keywords
focus
control
control unit
regions
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011016392.2A
Other languages
English (en)
Other versions
CN112637479B (zh
Inventor
川崎谅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112637479A publication Critical patent/CN112637479A/zh
Application granted granted Critical
Publication of CN112637479B publication Critical patent/CN112637479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明提供一种控制设备、摄像设备、控制方法和存储介质。该控制设备包括:获取单元,其被配置为获取针对图像中的多个区域中的各区域的对比度评价值;以及控制单元,其被配置为基于所述对比度评价值来检测针对所述多个区域中的各区域的调焦透镜的聚焦位置。所述控制单元基于所述对比度评价值来确定所述调焦透镜是否接近所述多个区域中的各区域的聚焦位置。所述控制单元基于确定结果来确定所述调焦透镜的驱动方向。在检测所述多个区域中的一个区域的聚焦位置的情况下,所述控制单元基于所述多个区域中的除该一个区域之外的其它区域的对比度评价值来确定所述调焦透镜的驱动方向。

Description

控制设备、摄像设备、控制方法和存储介质
技术领域
本发明涉及包括调焦机构的摄像设备,更具体地,涉及用于检测多个聚焦位置的调焦控制。
背景技术
近年来,已经在诸如安全性等的各种应用以及诸如工厂车道等的各种地方安装了摄像设备。需要这样的摄像设备以获取深景深的图像。已知一种称为沙姆(Scheimpflug)原理的技术,该技术通过旋转摄像面(进行倾斜控制)以使摄像面相对于与用于拍摄被摄体的摄像光轴系统垂直的摄像光轴面倾斜来调整焦平面,从而加深摄像场景的景深。
日本特开(“JP”)2003-75716公开了一种摄像设备,该摄像设备基于对比度评价值来检测针对多个被摄体中的各被摄体的聚焦位置,并确定调焦位置和倾斜控制量以聚焦于多个被摄体。JP 2001-116980描述了一种摄像设备,该摄像设备存储使针对多个被摄体中的各被摄体的对比度评价值最大化的调焦位置,并且检测针对多个被摄体中的各被摄体的聚焦位置。
然而,在JP 2003-75716和JP 2001-116980中公开的各摄像设备中,当针对多个被摄体中的各被摄体检测聚焦位置时,调焦透镜的驱动量可能增加,因此可能花费时间。
发明内容
本发明提供一种控制设备、摄像设备、控制方法和存储介质,其各自可以高速检测针对多个被摄体中的各被摄体的聚焦位置。
作为本发明的一个方面的控制设备包括:获取单元,其被配置为获取针对图像中的多个区域中的各区域的对比度评价值;以及控制单元,其被配置为基于所述对比度评价值来检测针对所述多个区域中的各区域的调焦透镜的聚焦位置,其特征在于,所述控制单元基于所述对比度评价值来确定所述调焦透镜是否接近所述多个区域中的各区域的聚焦位置,其中,所述控制单元基于确定结果来确定所述调焦透镜的驱动方向,以及其中,在检测到所述多个区域中的一个区域的聚焦位置的情况下,所述控制单元基于所述多个区域中的除该一个区域之外的其它区域的对比度评价值来确定所述调焦透镜的驱动方向。
作为本发明的一个方面的一种摄像设备包括:图像传感器;以及上述的控制设备。
作为本发明的一个方面的一种控制方法包括:获取步骤,其被配置为获取针对图像中的多个区域中的各区域的对比度评价值;以及控制步骤,其被配置为基于所述对比度评价值来检测针对所述多个区域中的各区域的调焦透镜的聚焦位置,其特征在于,所述控制步骤基于所述对比度评价值来确定所述调焦透镜是否接近所述多个区域中的各区域的聚焦位置,其中,所述控制步骤基于确定结果来确定所述调焦透镜的驱动方向,以及其中,在检测到所述多个区域中的一个区域的聚焦位置的情况下,所述控制步骤基于所述多个区域中的除该一个区域之外的其它区域的对比度评价值来确定所述调焦透镜的驱动方向。
作为本发明的一个方面的一种非暂时性计算机可读存储介质存储有使计算机执行上述的控制方法的计算机程序。
包括上述控制设备的摄像设备、与该控制设备相对应的控制方法以及存储使计算机能够执行该控制方法的计算机程序的存储介质也构成本发明的其它方面。
通过以下参考附图对典型实施例的描述,本发明的其它特征将变得明显。
附图说明
图1是示出根据各实施例的摄像设备的框图。
图2A至2C是示出根据各实施例的倾斜控制的说明图。
图3是示出根据各实施例的调焦控制和倾斜控制的说明图。
图4是示出根据各实施例的存在三个被摄体时的调焦控制和倾斜控制的说明图。
图5是示出根据第一实施例的调焦控制和倾斜控制的流程图。
图6是示出根据第一实施例的聚焦位置检测处理的说明图。
图7是示出根据第一实施例的聚焦位置检测处理的流程图。
图8是示出根据第二实施例的聚焦位置检测处理的说明图。
图9是示出根据第二实施例的聚焦位置检测处理的流程图。
图10是示出根据第三实施例的调焦控制和倾斜控制的流程图。
图11是示出根据第三实施例的调焦控制和倾斜控制的说明图。
具体实施方式
现在参考附图,将给出根据本发明的各实施例的描述。
首先,参考图1说明根据各实施例的摄像设备的结构。图1是示出摄像设备100的框图。变焦透镜101被配置为通过在光轴方向上移动来改变焦距。调焦透镜102被配置为通过在光轴方向上移动来进行调焦控制。光圈单元103被配置为调整光量。摄像光学系统包括变焦透镜101、调焦透镜102和光圈单元103。在本实施例中,摄像设备100包括一体地配置成的摄像光学系统和摄像设备主体。然而,本实施例不限于此,并且也可适用于包括摄像设备主体和可装卸地安装到该摄像设备主体的摄像光学系统的摄像系统。
通过摄像光学系统的光经由带通滤波器(BPF)104和滤色器105在图像传感器106上形成图像。带通滤波器104可被配置为相对于摄像光学系统的光路可前后移动。图像传感器106是CMOS传感器或CCD传感器,并且被配置为光电转换光学图像作为由摄像光学系统形成的被摄体图像,并且输出模拟电信号作为摄像信号。AGC 107被配置为调整从图像传感器106输出的模拟电信号的增益。AD转换器108被配置为将模拟电信号转换为数字信号(数字摄像信号)并将其输出到照相机信号处理器109。照相机信号处理器109被配置为对数字摄像信号进行各种图像处理并生成图像信号。通信器110被配置为将图像信号输出到通过有线或无线通信连接到摄像设备100的监视设备111,从外部设备接收命令,并且将诸如命令等的控制信号输出到摄像设备100中的倾斜/调焦控制器115。
作为获取单元的焦点评价值计算器112被配置为针对要作为对象的各被摄体区域(对象区域)从AD转换器108或照相机信号处理器109接收RGB像素值或亮度值,并且获取与特定频率的对比度有关的评价值(以下也称为对比度评价值)。也就是说,焦点评价值计算器112被配置为获取图像中的多个区域(以下也称为多个被摄体区域)的各个对比度评价值。除了对比度评价值之外,焦点评价值计算器112还可以获取基于相位差等的距离信息。被摄体判断器113被配置为根据来自照相机信号处理器109的结果从拍摄画面检测被摄体,并输出被摄体信息。被摄体判断器113还可以判断用户设置或预设置的被摄体,例如可以判断人和汽车。
倾斜/调焦驱动量计算器114被配置为接收来自焦点评价值计算器112的评价值和来自被摄体判断器113的被摄体信息。倾斜/调焦驱动量计算器114被配置为通过使用评价值、被摄体信息以及来自倾斜/调焦控制器115的倾斜角度和调焦位置来计算与场景相对应的最佳倾斜角度和调焦位置。
倾斜/调焦控制器115被配置为基于所计算出的倾斜角度和调焦位置来控制倾斜角度和调焦位置。此外,倾斜/调焦控制器115被配置为根据来自通信器110的指示通过自动调焦(AF)或手动调焦(MF)来控制调焦(进行调焦控制)。此外,倾斜/调焦控制器115被配置为从图像传感器驱动器116和调焦驱动器117接收图像传感器106和调焦透镜102的当前位置,并且将当前位置发送到倾斜/调焦驱动量计算器114。倾斜/调焦控制器115被配置为基于由倾斜/调焦驱动量计算器114计算出的倾斜角度和调焦位置,将驱动位置发送到图像传感器驱动器116和调焦驱动器117。在本实施例中,倾斜/调焦驱动量计算器114和倾斜/调焦控制器115构成控制单元,该控制单元基于对比度评价值来检测多个区域中的各区域的聚焦位置。
图像传感器驱动器116被配置为根据由倾斜/调焦控制器115发送的倾斜角度来使图像传感器106倾斜。通常,用于使图像传感器106倾斜的旋转轴位于摄像画面的中心,并且图像传感器106围绕该旋转轴倾斜。然而,本实施例不限于此。调焦驱动器117被配置为根据由倾斜/调焦控制器115发送的焦点设置位置来控制调焦透镜102的位置。
接着,将参考图2A至2C描述倾斜控制(倾斜摄像)。图2A至2C是示出倾斜控制的说明图。图2A示出光学系统(摄像光学系统)的主面和图像传感器106彼此平行的状态。被摄体距离L处于聚焦,并且其焦平面与光学系统和图像传感器106各自平行。图2B示出图像传感器106从图2A所示的状态围绕图像传感器旋转轴旋转并进行倾斜控制的状态。当进行倾斜控制时,基于沙姆原理,焦平面也围绕与图像传感器旋转轴相对应的焦平面旋转轴旋转。因此,变得可以在特定平面上聚焦于近距离至远距离的所有被摄体。沙姆原理是当光学系统的主面和图像传感器106的摄像面在一条直线上相交时、焦平面也在该同一条直线上相交的原理。当焦距为f、被摄体距离为L、并且俯角为α时,根据沙姆原理通过以下表达式(1)计算倾斜角度b。
b=tan-1(f/(L tanα)) (1)
图2C示出图像包括被摄体X(第一被摄体区域)和被摄体Y(第二被摄体区域)的场景。在这种情况下,如图2C所示,期望控制焦平面使得各被摄体的各面部聚焦。因此,不仅需要控制倾斜而且需要控制焦点。最佳焦平面(即,最佳倾斜角度和调焦位置)对于各被摄体是不同的,并且用户难以手动调整焦平面。
将参考图3描述根据被摄体计算最佳倾斜角度和调焦位置的方法的示例。图3是示出调焦控制和倾斜控制的说明图。与图2C同样地,作为要成为对象的被摄体,存在被摄体X和被摄体Y。调焦透镜102的当前倾斜角度和位置具有如图3上部所示的位置关系。在图3中,x是聚焦在被摄体X上所需的焦平面上的校正量,并且y是聚焦在被摄体Y上所需的焦平面上的校正量。假设从图像传感器106上的倾斜轴到各被摄体的距离对于被摄体X是k1[μm]并且对于被摄体Y是k2[μm]。当同时聚焦在被摄体X和Y的倾斜角度是α[°]并且在焦平面上的调焦校正量是β时,以下表达式(2)和(3)成立。
x-β=k1×tanα+β (2)
y=k2×tanα-β (3)
通过求解表达式(2)和表达式(3)的并联方程,可以如以下表达式(4)和(5)所表示的那样计算倾斜角度α和调焦校正量β。
Figure BDA0002699216100000061
Figure BDA0002699216100000062
可以通过将调焦校正量β除以调焦透镜102的灵敏度来单纯地计算调焦控制量。可以通过根据调焦透镜102的灵敏度求解高次方程或多项式方程来精确地计算调焦控制量。然而,可以在主旨的范围内对本实施例的计算方法进行各种修改和改变。
接着,将参考图4说明图像包括3个或更多个被摄体(被摄体区域)的情况。图4是当存在三个被摄体时的调焦控制和倾斜控制的说明图。如图4所示,当存在从近距离到远距离定位的三个被摄体A、B和C(或者存在三个或更多个被摄体)时,可能不能聚焦在所有被摄体A、B和C上。将给出可能的控制方法的描述,其中,a[μm]、b[μm]和c[μm]分别表示被摄体A、B和C在焦平面上的偏移量。
第一方法是进行调焦控制和倾斜控制以使偏移量a[μm]、b[μm]和c[μm]的最大值最小化的方法。根据该方法,可以在图6所示的场景中最小化被摄体模糊。第二方法是计算被判断为要聚焦的量(即,深度)并将偏移量a[μm]、b[μm]和c[μm]控制在该深度内的方法。该深度是由图像传感器106的每个像素的单元间距和光圈值所确定的值。当FΔ表示深度时,可以获取以下表达式(6)、(7)和(8)。
FΔ≥k1’×γ+β (6)
FΔ≥k2’×γ+β (7)
FΔ≥k3’×γ-β (8)
当偏移量a[μm]、b[μm]和c[μm]在深度内时,用户不会识别出失焦,因此不必如在第一方法中进行的那样进行用于最小化偏移量a[μm]、b[μm]和c[μm]的各最大值的控制。可以进行如下的控制:首先进行第二方法,并且如果摄像对象的被摄体不在深度内,则通过第一方法确定偏移量。通常,用于倾斜控制的深度在远距离侧比在近距离侧更深,因此,当进行倾斜控制或调焦控制时,近距离被摄体可被视为优先。在下文中,将在各实施例中给出具体描述。
第一实施例
将给出由根据第一实施例的摄像设备100执行的处理的描述。图5是示出本实施例中的调焦控制和倾斜控制(主处理)的流程图。图5中的各步骤主要由倾斜/调焦驱动量计算器114或倾斜/调焦控制器115执行。
首先,在步骤S501中,倾斜/调焦控制器115设置多个被摄体。通过面部检测或自动检测等自动设置多个被摄体,或者由用户指定多个被摄体。随后,在步骤S502中,倾斜/调焦控制器115检测步骤S501中设置的多个被摄体中的各被摄体的聚焦位置。该处理的详情将在后面描述。
随后,在步骤S503中,倾斜/调焦驱动量计算器114基于在步骤S502中检测到的聚焦位置,计算针对各被摄体的焦平面上的校正量。这些校正量对应于图3中的x和y以及图4中的a、b和c。例如,可以通过将调焦透镜102的当前位置与聚焦位置之间的差乘以调焦透镜102的灵敏度来计算校正量。随后,在步骤S504中,倾斜/调焦驱动量计算器114根据上述方法来计算用于聚焦在各被摄体的调焦校正量和倾斜角度。随后,在步骤S505中,倾斜/调焦控制器115基于在步骤S504中计算出的调焦校正量和倾斜角度来控制调焦驱动器117和图像传感器驱动器116。
接着,将参考图6说明各被摄体的聚焦位置检测处理(步骤S502)的概要。图6是示出聚焦位置检测处理的说明图。在图6的上部,横轴表示调焦位置,并且纵轴表示对比度评价值。
图6示出当对如图4所示的不同距离处的三个被摄体A、B和C进行摄像时的各调焦位置的各对比度评价值。聚焦位置分别被设置为P1、P2和P3,并且要检测它们全部。为了以更高速度检测聚焦位置P1、P2和P3,重要的是无浪费地进行调焦扫描。调焦扫描是指移动调焦透镜、获取对比度评价值并判断聚焦位置。基于在调焦驱动期间的对比度评价值的变化,判断是否正在接近聚焦位置(即,聚焦方向)。具体地,当对比度评价值增加时,判断为正方向,并且当对比度评价值降低时,判断为反方向。倾斜/调焦控制器115基于聚焦方向的检测结果来确定调焦扫描方向。调焦扫描方向是调焦透镜移动的方向。
将基于从调焦位置P0起进行聚焦位置检测的情况的调焦扫描示例(图6中的下部)来给出说明。首先,在预定方向(这里为近端侧)上从调焦位置P0起开始调焦扫描。此时,作为聚焦方向,对于被摄体A和被摄体B判断为正方向,并且对于被摄体C判断为反方向。如果存在被判断为在正方向上的被摄体,则扫描方向不反转。也就是说,不改变调焦透镜的驱动方向。当通过聚焦位置P2时,检测到被摄体B的评价值的峰值,并且将聚焦位置P2存储为被摄体B的聚焦位置。由于检测到被摄体B的聚焦位置,因此在随后的处理中不进行聚焦方向的判断(或者将忽略检测结果)。
随后,由于被摄体A的聚焦方向为正方向,因此扫描方向不反转。也就是说,不改变调焦透镜的驱动方向。当通过聚焦位置P1时,检测到被摄体A的评价值的峰值,并且将聚焦位置P1存储为被摄体A的聚焦位置。由于检测到被摄体A的聚焦位置,因此在随后的处理中不进行聚焦方向的判断(或者将忽略检测结果),
此时,不存在聚焦方向为正方向的被摄体,因此扫描方向反转。也就是说,改变调焦透镜的驱动方向。过去的调焦扫描表示在P0和P1之间不存在被摄体C的聚焦位置。因此,进行跳过驱动直到调焦位置P0,并且在无限远方向上从调焦位置P0起开始调焦扫描以缩短调焦扫描时间。当通过聚焦位置P3时,检测到被摄体C的峰值,并且将聚焦位置P3存储为被摄体C的聚焦位置。检测到所有被摄体的聚焦位置,并且终止调焦扫描。
接着,将参考图7详细描述聚焦位置检测处理(步骤S502)。图7是示出聚焦位置检测处理的流程图。图7中的各步骤主要由倾斜/调焦控制器115或调焦驱动器117执行。
首先,在步骤S701中,倾斜/调焦控制器115将当前调焦位置存储为调焦扫描开始位置。随后在步骤S702中,倾斜/调焦控制器115控制调焦驱动器117以沿任意方向开始调焦扫描。调焦扫描驱动速度变得越快,焦点检测精度变得越低,并且调焦扫描驱动速度变得越慢,焦点检测精度变得越高。调焦扫描速度可以是可变的。例如,如果判断为靠近被摄体的聚焦位置(即,被摄体的对比度评价值高),则驱动变慢,并且如果判断为没有靠近任何被摄体的任何聚焦位置(即,被摄体的所有对比度评价值都为低),则驱动变快。由此,可以实现高速聚焦位置检测时间和高聚焦位置检测精度这两者。
随后在步骤S703中,倾斜/调焦控制器115判断在步骤S501中设置的各被摄体的聚焦方向。如上所述,对于对比度评价值增加的被摄体,聚焦方向被判断为正方向。另一方面,对于对比度评价值降低的被摄体,聚焦方向被判断为反方向。
随后在步骤S704中,倾斜/调焦控制器115判断在未检测到聚焦位置的被摄体中的任何聚焦位置是否被检测到。如果检测到任何聚焦位置,则处理进入步骤S705。在步骤S705中,倾斜/调焦控制器115将所检测到的聚焦位置存储为被摄体的聚焦位置。随后在步骤S706中,倾斜/调焦控制器115判断是否针对在步骤S501中设置的所有被摄体完成了聚焦位置检测。如果针对所有被摄体完成了聚焦位置检测,则处理进入步骤S707。在步骤S707中,倾斜/调焦控制器115停止调焦扫描并终止聚焦位置检测处理。
另一方面,如果在步骤S704中没有检测到聚焦位置中的任一个,或者如果在步骤S706中未针对所有被摄体完成聚焦位置检测,则处理进入步骤S708。在步骤S708中,倾斜/调焦控制器115判断扫描方向。更具体地,倾斜/调焦控制器115判断未检测到聚焦位置的被摄体的所有聚焦方向是否是反方向。如果被摄体的所有聚焦方向都是反方向,则处理进入步骤S709。在步骤S709中,倾斜/调焦控制器115停止调焦扫描。随后在步骤S710中,倾斜/调焦控制器115控制调焦驱动器117以反转扫描方向。随后在步骤S711中,倾斜/调焦控制器115控制调焦驱动器117以进行跳过驱动直到步骤S701中存储的调焦扫描开始位置,并返回到步骤S701。另一方面,如果在步骤S708中聚焦方向中的任一个是正方向,则倾斜/调焦控制器115不反转扫描方向并且继续调焦扫描。
本实施例可以通过基于多个被摄体的对比度评价值进行调焦控制来高速进行聚焦检测。因此,可以加快用于聚焦在多个被摄体上的倾斜控制和调焦控制。
第二实施例
接着,将给出对第二实施例中的摄像设备100执行的处理的描述。本实施例涉及在焦点评价值计算器112同样不仅获取对比度评价值而且还获取基于相位差等的距离信息的结构中的步骤S502中的针对各被摄体的聚焦位置检测处理。在本实施例中,将省略与第一实施例的描述相同的描述。
将参考图8描述针对各被摄体的聚焦位置检测处理(步骤S502)的概要。图8是示出聚焦位置检测处理的说明图。图8的上部示出近端为0且无限远端为120的调焦位置。当如图4所示拍摄具有不同距离的三个被摄体A、B和C时,可以通过获取基于相位差等获取到的与各被摄体有关的距离信息以及通过使用透镜设计信息(凸轮数据)来计算要聚焦在各被摄体上的调焦位置。在图8中,作为示例,假设被摄体A在调焦位置30处,被摄体B在调焦位置50处,并且被摄体C在调焦位置100处。这些调焦位置各自不用作各被摄体的聚焦位置检测结果,这是因为,根据距离信息的获取方法和摄像环境,精度可能会降低。因此,使用对比度评价值进行调焦扫描,使得始终可以以高精度检测到聚焦位置。倾斜/调焦控制器115在调焦扫描期间根据基于距离信息所计算出的各被摄体的调焦位置来确定扫描开始方向。
图8的中部示出当从调焦位置10处的调焦扫描开始位置S1、调焦位置60处的S2和调焦位置70处的S3开始调焦扫描时的调焦驱动示例。图8的下部的表示出针对各调焦扫描开始位置S1、S2和S3到达各被摄体的调焦驱动量(即,当前调焦位置和针对各被摄体的调焦位置之间的差)、扫描开始方向和聚焦位置的检测顺序。从作为最大调焦驱动量变小的方向的扫描开始方向开始驱动以扫描最短路径。当扫描开始位置为S1时,所有被摄体A、B和C都处于无限远方向,因此扫描从无限远方向开始。当扫描开始位置为S2时,与用以在无限远方向上到达最大调焦驱动量的被摄体C的调焦驱动量相比,用以在近端方向上到达最大调焦驱动量的被摄体A的调焦驱动量更小,因而扫描从近端方向开始。当扫描开始位置为S3时,与用以在近端方向上到达最大调焦驱动量的被摄体A的调焦驱动量相比,用以在无限远方向上到达最大调焦驱动量的被摄体C的调焦驱动量更小,因而扫描从无限远方向开始。因此,当扫描开始位置为S1时,以被摄体A、B和C的顺序检测聚焦位置;当扫描开始位置为S2时,以被摄体B、A和C的顺序检测聚焦位置;以及当扫描开始位置为S3时,以被摄体C、B和A的顺序检测聚焦位置。
接着,将参考图9给出聚焦位置检测处理(步骤S502)的描述。图9是示出聚焦位置检测处理的流程图。图9中的各步骤主要由倾斜/调焦驱动量计算器114、倾斜/调焦控制器115或调焦驱动器117执行。
首先,在步骤S901中,倾斜/调焦驱动量计算器114基于由焦点评价值计算器112针对各被摄体所获取的距离信息来获取各聚焦位置。随后在步骤S902中,倾斜/调焦控制器115基于在步骤S901中计算出的针对各被摄体的调焦位置来确定如上所述的调焦扫描开始位置。图9中的后续处理与参考图7描述的第一实施例中的处理相同。
除了第一实施例之外,本实施例还根据基于相位差等的距离信息来确定调焦扫描方向,从而可以实现更快的焦点检测。因此,可以加快用于聚焦在多个被摄体上的倾斜控制和调焦控制。
第三实施例
接着,将描述由第三实施例中的摄像设备100执行的处理。在本实施例中,将省略对与第一实施例或第二实施例相同的处理的描述。
图10是示出本实施例中的调焦控制和倾斜控制(主要处理)的流程图。图10中的各步骤主要由倾斜/调焦驱动量计算器114或倾斜/调焦控制器115执行。
首先,在步骤S1001中,倾斜/调焦控制器115设置多个被摄体。倾斜/调焦驱动量计算器114获取与多个被摄体中的各被摄体有关的距离信息。随后在步骤S1002中,倾斜/调焦驱动量计算器114基于在步骤S1001中获取的与多个被摄体中的各被摄体有关的各距离信息来获取各聚焦位置。随后在步骤S1003中,倾斜/调焦驱动量计算器114基于在步骤S1002中获取的聚焦位置来计算针对各被摄体的焦平面上的校正量。
随后在步骤S1004中,倾斜/调焦驱动量计算器114计算用于聚焦在各被摄体上的调焦校正量和倾斜角度。随后在步骤S1005中,倾斜/调焦控制器115基于在步骤S1004中计算出的调焦校正量和倾斜角度来控制调焦驱动器117和图像传感器驱动器116。
此时,为了聚焦在多个被摄体上,已经执行了一次调焦和倾斜校正。然而,如上所述,基于在步骤S1002中获取的距离信息的聚焦位置可能不是高度精确的,并且该校正可能是不充分的。因此,在随后的处理中,基于对比度评价值进行校正(也称为第二校正)。
随后在步骤S1006中,倾斜/调焦控制器115进行与第一实施例(图7)或第二实施例(图9)中所描述的流程的处理同样的处理,并且针对各被摄体检测聚焦位置。这里,在倾斜控制之后(即在图像传感器106倾斜的状态下)进行调焦扫描,但是可以在流程中通过与如上所述同样的处理来检测聚焦位置。
随后,在步骤S1007中,倾斜/调焦驱动量计算器114基于在步骤S1006中检测到的聚焦位置,来计算针对各被摄体的焦平面上的校正量。随后在步骤S1008中,倾斜/调焦驱动量计算器114计算用于聚焦在各被摄体上的调焦校正量和倾斜角度。
这里,参考图11,将说明倾斜控制之后(即图像传感器倾斜的状态)的计算的示例。图11是示出调焦控制和倾斜控制的说明图。在图11中,如图3所示的被摄体,存在被摄体X和被摄体Y作为对象被摄体。当前倾斜角度和调焦透镜102的位置具有图11所示的位置关系。与图3不同,图像传感器106已经以倾斜角度α[°]倾斜。x'表示聚焦在被摄体X上所需的焦平面上的校正量,以及y'表示聚焦在被摄体Y上所需的焦平面上的校正量,这些校正量是分别在步骤S1007中计算出的。通过获取倾斜之前(即,当倾斜角度为α=0[°]时)的焦平面上的校正量x和y,可以计算出与上述相同的调焦校正量和倾斜角度。使用以下表达式(9)和(10)来计算校正量x和y。
x=k1×tanα+x′…(9)
y=k2×tanα-y′…(10)
随后在步骤S1009中,倾斜/调焦控制器115基于在步骤S1008中计算出的调焦校正量和倾斜角度来控制调焦驱动器117和图像传感器驱动器116。
本实施例首先基于使用距离信息的多个被摄体的焦点检测结果来进行用于聚焦在多个被摄体上的倾斜控制和调焦控制。之后,本实施例基于通过调焦扫描的聚焦位置检测结果,进行用于聚焦在多个被摄体上的倾斜控制和调焦控制。在本实施例中,由于预先进行倾斜控制和调焦控制,因而可以减小调焦扫描范围。因此,可以加快用于聚焦在多个被摄体上的倾斜控制和调焦控制。
如上所述,在各实施例中,控制设备(摄像设备100)包括获取单元(焦点评价值计算器112)和控制单元(倾斜/调焦驱动量计算器114、倾斜/调焦控制器115)。获取单元获取图像中的多个区域(至少两个被摄体区域)中的各区域的对比度评价值。控制单元基于各对比度评价值来检测多个区域中的各区域的各聚焦位置。控制单元基于各对比度评价值来确定多个区域中的各区域的各聚焦方向,并基于聚焦方向来确定调焦驱动方向。当检测到多个区域中的一个区域的聚焦位置时,控制单元基于多个区域中的除该一个区域之外的其它区域的聚焦方向来确定调焦驱动方向。
控制单元可以从多个区域中确定检测到聚焦位置的对象区域,并且可以针对该对象区域确定聚焦方向。控制单元可以从多个区域中确定未检测到聚焦位置的区域作为对象区域。获取单元可以获取与多个区域中的各区域有关的距离信息,并且控制单元可以基于距离信息来检测针对多个区域中的各区域的各聚焦位置。控制单元可以基于距离信息来确定对象区域的聚焦位置的检测顺序。控制单元可以基于距离信息来确定聚焦方向。
如果对象区域的所有相应的聚焦方向都与调焦驱动方向相反,则控制单元可以反转调焦驱动方向。控制单元可以执行第一调焦控制和第二调焦控制。当在第一调焦控制中反转调焦驱动方向时,控制单元停止第一调焦控制。控制单元进行第二调焦控制直到以下位置其中之一的附近:第一调焦控制开始的位置、前次反转调焦透镜的驱动方向的位置、以及针对对象区域的第一调焦控制中输出最大焦点评价值的位置。控制单元可以以比第一调焦控制的第一调焦驱动速度更快的第二调焦驱动速度来进行第二调焦控制。控制单元可以在第一调焦控制期间基于焦点评价值来确定第一调焦驱动速度。如果在第一调焦控制中对象区域的焦点评价值其中至少之一大于预定阈值,则控制单元可以降低第一调焦驱动速度。当在第一调焦控制中对象区域的所有焦点评价值均小于预定阈值时,控制单元可以提高第一调焦驱动速度。
控制单元可以根据基于距离信息所检测到的聚焦位置来计算调焦驱动量,并且可以从最大调焦驱动量小的方向开始调焦控制。控制单元可以根据基于距离信息所检测到的聚焦位置来进行倾斜控制和调焦控制,之后可以根据基于对比度评价值所检测到的聚焦位置来进行倾斜控制和调焦控制。控制单元可以基于聚焦位置来计算针对倾斜驱动单元和调焦驱动单元各自的校正量。控制单元基于校正量使用倾斜驱动单元和调焦驱动单元来进行倾斜控制和调焦控制。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
各实施例可以提供各自可以高速检测多个被摄体的聚焦位置的控制设备、摄像设备、控制方法和存储介质。
虽然已经参考典型实施例描述了本发明,但是应当理解,本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。

Claims (18)

1.一种控制设备,包括:
获取单元,其被配置为获取针对图像中的多个区域中的各区域的对比度评价值;以及
控制单元,其被配置为基于所述对比度评价值来检测针对所述多个区域中的各区域的调焦透镜的聚焦位置,
其特征在于,
所述控制单元基于所述对比度评价值来确定所述调焦透镜是否接近所述多个区域中的各区域的聚焦位置,
其中,所述控制单元基于确定结果来确定所述调焦透镜的驱动方向,以及
其中,在检测到所述多个区域中的一个区域的聚焦位置的情况下,所述控制单元基于所述多个区域中的除该一个区域之外的其它区域的对比度评价值来确定所述调焦透镜的驱动方向。
2.根据权利要求1所述的控制设备,
其中,所述控制单元从所述多个区域中确定用以检测聚焦位置的对象区域,并确定所述调焦透镜是否接近所述对象区域的聚焦位置。
3.根据权利要求2所述的控制设备,
其中,所述控制单元从所述多个区域中将未检测到聚焦位置的区域确定为所述对象区域。
4.根据权利要求2所述的控制设备,
其中,所述获取单元获取与所述多个区域中的各区域有关的距离信息,以及
其中,所述控制单元基于所述距离信息来检测所述多个区域中的各区域的聚焦位置。
5.根据权利要求4所述的控制设备,
其中,所述控制单元基于所述距离信息来确定所述对象区域的聚焦位置的检测顺序。
6.根据权利要求4所述的控制设备,
其中,所述控制单元基于所述距离信息来确定所述调焦透镜是否接近所述聚焦位置。
7.根据权利要求2所述的控制设备,
其中,在沿各对象区域的各对比度评价值均降低的方向驱动所述调焦透镜的情况下,所述控制单元使所述调焦透镜的驱动方向反转。
8.根据权利要求2所述的控制设备,
其中,所述控制单元执行第一调焦控制和第二调焦控制,以及
其中,在所述第一调焦控制中使所述调焦透镜的驱动方向反转的情况下,所述控制单元停止所述第一调焦控制,并进行所述第二调焦控制直到所述第一调焦控制开始的位置、前次反转所述调焦透镜的驱动方向的位置以及针对所述对象区域的所述第一调焦控制中输出最大焦点评价值的位置其中之一的附近。
9.根据权利要求8所述的控制设备,
其中,所述控制单元以所述调焦透镜的第一驱动速度进行所述第一调焦控制,并且以比所述调焦透镜的第一驱动速度更快的第二驱动速度进行所述第二调焦控制。
10.根据权利要求9所述的控制设备,
其中,所述控制单元在所述第一调焦控制期间基于所述焦点评价值来确定所述调焦透镜的第一驱动速度。
11.根据权利要求9所述的控制设备,
其中,在所述第一调焦控制期间一个对象区域的至少一个焦点评价值大于预定阈值的情况下,所述控制单元减慢所述调焦透镜的第一驱动速度。
12.根据权利要求9所述的控制设备,
其中,在所述第一调焦控制期间各对象区域的各焦点评价值均小于预定阈值的情况下,所述控制单元增大所述调焦透镜的第一驱动速度。
13.根据权利要求4所述的控制设备,
其中,所述控制单元根据基于所述距离信息所检测到的聚焦位置来计算所述调焦透镜的驱动量,以及
其中,所述控制单元从所述调焦透镜的驱动量的最大值较小的方向开始调焦控制。
14.根据权利要求4所述的控制设备,
其中,所述控制单元根据基于所述距离信息所检测到的聚焦位置来进行倾斜控制和调焦控制,然后根据基于所述对比度评价值所检测到的聚焦位置来同时进行所述倾斜控制和所述调焦控制。
15.根据权利要求1至14中任一项所述的控制设备,
其中,所述控制单元基于所述聚焦位置来计算针对倾斜驱动单元和调焦驱动单元各自的校正量,以及
其中,所述控制单元基于所述校正量使用所述倾斜驱动单元和所述调焦驱动单元来进行倾斜控制和调焦控制。
16.一种摄像设备,包括:
图像传感器;以及
根据权利要求1至15中任一项所述的控制设备。
17.一种控制方法,包括:
获取步骤,其被配置为获取针对图像中的多个区域中的各区域的对比度评价值;以及
控制步骤,其被配置为基于所述对比度评价值来检测针对所述多个区域中的各区域的调焦透镜的聚焦位置,
其特征在于,
所述控制步骤基于所述对比度评价值来确定所述调焦透镜是否接近所述多个区域中的各区域的聚焦位置,
其中,所述控制步骤基于确定结果来确定所述调焦透镜的驱动方向,以及
其中,在检测到所述多个区域中的一个区域的聚焦位置的情况下,所述控制步骤基于所述多个区域中的除该一个区域之外的其它区域的对比度评价值来确定所述调焦透镜的驱动方向。
18.一种非暂时性计算机可读存储介质,其存储有使计算机执行根据权利要求17所述的控制方法的计算机程序。
CN202011016392.2A 2019-09-24 2020-09-24 控制设备、摄像设备、控制方法和存储介质 Active CN112637479B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-173317 2019-09-24
JP2019173317A JP7336330B2 (ja) 2019-09-24 2019-09-24 制御装置、撮像装置、制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
CN112637479A true CN112637479A (zh) 2021-04-09
CN112637479B CN112637479B (zh) 2023-11-07

Family

ID=72615708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016392.2A Active CN112637479B (zh) 2019-09-24 2020-09-24 控制设备、摄像设备、控制方法和存储介质

Country Status (4)

Country Link
US (1) US11190675B2 (zh)
EP (1) EP3799417A1 (zh)
JP (1) JP7336330B2 (zh)
CN (1) CN112637479B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271159B2 (ja) * 2018-12-14 2023-05-11 キヤノン株式会社 制御装置、撮像装置、レンズ装置、プログラム、および制御装置の制御方法
JP7471799B2 (ja) * 2019-11-12 2024-04-22 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
EP3968624B1 (en) 2020-09-14 2023-11-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
US20220345633A1 (en) * 2021-04-21 2022-10-27 Canon Kabushiki Kaisha Image pickup apparatus, control method, and memory medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11190864A (ja) * 1997-12-25 1999-07-13 Canon Inc アオリ機構付き撮像装置、方法、及び記憶媒体
CN103430073A (zh) * 2011-03-31 2013-12-04 富士胶片株式会社 摄像装置、摄像装置的控制方法及程序
CN105684421A (zh) * 2013-10-01 2016-06-15 株式会社尼康 电子设备
US20170272658A1 (en) * 2016-03-16 2017-09-21 Ricoh Imaging Company, Ltd. Photographing apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794417A (en) * 1985-10-04 1988-12-27 Canon Kabushiki Kaisha Photographing apparatus
JP3050563B2 (ja) * 1989-11-16 2000-06-12 オリンパス光学工業株式会社 撮像装置
JPH08186757A (ja) * 1994-12-28 1996-07-16 Canon Inc 電子カメラ
JP4331314B2 (ja) 1999-04-12 2009-09-16 オリンパス株式会社 一眼レフレックスタイプの電子的撮影装置
JP4081806B2 (ja) 1999-10-18 2008-04-30 富士フイルム株式会社 自動焦点カメラ及び撮影方法
JP2003075716A (ja) 2001-09-06 2003-03-12 Nikon Corp 撮像装置
JP2003295042A (ja) 2002-03-29 2003-10-15 Nikon Gijutsu Kobo:Kk カメラ
KR101700359B1 (ko) 2010-01-07 2017-02-13 삼성전자주식회사 고속다점af기준을 지원하는 디지털 촬영장치 및 방법
US8934766B2 (en) * 2010-05-25 2015-01-13 Canon Kabushiki Kaisha Image pickup apparatus
GB2482290A (en) * 2010-07-26 2012-02-01 St Microelectronics Res & Dev Autofocus method using tilted focal plane
JP2012128021A (ja) 2010-12-13 2012-07-05 Canon Inc 焦点調節装置、撮像装置、及び制御方法
JP2017129613A (ja) 2016-01-18 2017-07-27 オリンパス株式会社 焦点調節装置及び焦点調節方法
JP6838417B2 (ja) 2016-03-16 2021-03-03 リコーイメージング株式会社 撮影装置
JP6675917B2 (ja) 2016-04-19 2020-04-08 オリンパス株式会社 撮像装置及び撮像方法
JP7073125B2 (ja) 2018-02-01 2022-05-23 キヤノン株式会社 撮像装置及びその制御方法
JP6790318B2 (ja) * 2018-06-19 2020-11-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機、制御方法、及びプログラム
US11381731B2 (en) 2019-03-15 2022-07-05 Canon Kabushiki Kaisha Imaging apparatus, imaging control method, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11190864A (ja) * 1997-12-25 1999-07-13 Canon Inc アオリ機構付き撮像装置、方法、及び記憶媒体
CN103430073A (zh) * 2011-03-31 2013-12-04 富士胶片株式会社 摄像装置、摄像装置的控制方法及程序
CN105684421A (zh) * 2013-10-01 2016-06-15 株式会社尼康 电子设备
US20170272658A1 (en) * 2016-03-16 2017-09-21 Ricoh Imaging Company, Ltd. Photographing apparatus

Also Published As

Publication number Publication date
EP3799417A1 (en) 2021-03-31
US11190675B2 (en) 2021-11-30
CN112637479B (zh) 2023-11-07
JP7336330B2 (ja) 2023-08-31
US20210092302A1 (en) 2021-03-25
JP2021051159A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
CN112637479B (zh) 控制设备、摄像设备、控制方法和存储介质
CN112449107B (zh) 控制设备、控制方法和存储介质
CN109729262B (zh) 透镜控制设备和方法以及包括透镜控制设备的摄像设备
CN111698417B (zh) 摄像设备、摄像控制方法和存储介质
CN111200706B (zh) 摄像设备
CN111614890B (zh) 摄像设备、摄像设备的控制方法和存储介质
TWI515470B (zh) 使用多鏡頭的自動對焦系統及其方法
US11582394B2 (en) Control apparatus, control method, and storage medium for providing tilt control
JP2008275890A (ja) レンズ交換式デジタルカメラ
JP7471799B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
CN114567725B (zh) 具备事件相机的摄像装置
JP2021067704A (ja) 撮像装置
JP2014160186A (ja) 焦点検出装置及び撮像装置
US11678072B2 (en) Control apparatus, image pickup apparatus, control method, and storage medium
US12003854B2 (en) Imaging device, storage medium, and method of controlling imaging device
US20220272274A1 (en) Imaging device, storage medium, and method of controlling imaging device
KR20240010421A (ko) 촬상 장치, 제어 방법, 및 컴퓨터 프로그램
CN115225809A (zh) 摄像设备、控制方法和存储介质
JP2016018176A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant