CN111447358B

CN111447358B - 摄像设备

Info

Publication number: CN111447358B
Application number: CN202010053059.2A
Authority: CN
Inventors: 川崎谅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-01-17
Filing date: 2020-01-17
Publication date: 2021-09-28
Anticipated expiration: 2040-01-17
Also published as: CN111447358A; US11159711B2; US20200236290A1; EP3684046B1; EP3684046A1

Abstract

一种摄像设备，包括：控制器，其被配置为进行倾斜控制，在倾斜控制中，使图像传感器相对于与摄像光学系统的光轴垂直的面以转动轴为中心倾斜；焦点位置确定器，其被配置为确定调焦透镜的位置；第一区域检测器，其被配置为检测拍摄图像中的与转动轴相对应的第一区域；以及第二区域检测器，其被配置为检测作为通过倾斜控制所要聚焦的区域的第二区域，其中，焦点位置确定器将第一区域与第二区域重叠的第三区域确定为倾斜控制之前的焦点位置，以及其中，在调整调焦透镜的位置使得第三区域处于聚焦之后，控制器进行倾斜控制。

Description

摄像设备

技术区域

本发明涉及进行倾斜控制和调焦控制的摄像设备，并且更特别地涉及调焦控制。

背景技术

近年来，为了安全的目的已在诸如站台和停车场等的各种场所安装了照相机。除了安全应用之外，照相机所拍摄到的图像还用于工厂生产线中的产品管理。在这样的各种应用中，存在用于获得具有深景深的图像的需求。然而，存在根据诸如透镜性能、视角和光圈等的摄像条件不能获得深的景深的情况。例如，在从天花板上所安装的网络照相机拍摄道路、路人或汽车的深场景中，存在摄像区域的一部分处于聚焦的情况。通常，存在用以通过缩小光圈来加深景深的方法，但在低照度下，在许多情况中，通过打开光圈来增加光量，并且通过缩短快门速度并打开光圈来维持光量，以减少被摄体的模糊。结果，在这些条件下，景深变浅，并且存在如下情况：在整个摄像区域失焦的状态下拍摄图像。

为了解决这样的问题，通常已知有被称为Scheimpflug原理的技术，在该原理中，通过使摄像面转动使得该摄像面相对于摄像光轴面倾斜(以下称为倾斜控制)来调整焦平面，并且加深摄像场景的景深，其中该摄像光轴面与用于拍摄被摄体的图像的摄像光轴系统垂直。由于焦平面以摄像面的转动轴为中心改变，因此需要在倾斜控制中预先针对与转动轴重叠的被摄体调整焦点。

日本特开2010-130633公开了通过基于倾斜信息、被摄体距离信息和焦距计算倾斜角度来进行倾斜控制的摄像设备。日本特开2017-173802公开了用于使用基于多个焦点检测区域的焦点偏移量所计算出的倾斜角度来进行倾斜控制的技术。

然而，在日本特开2010-130633和日本特开2017-173802所公开的摄像设备中，用户需要根据被摄体的位置来调整焦点，并且这非常麻烦。另外，在未与摄像面的转动轴重叠的被摄体被聚焦的情况下，即使进行倾斜控制，也不能获得期望的景深扩展效果。

发明内容

本发明提供能够容易地进行适合于倾斜控制的焦点调整的摄像设备。

根据本发明的一方面的一种摄像设备，包括：控制器，其被配置为进行倾斜控制，其中在所述倾斜控制中，使图像传感器相对于与摄像光学系统的光轴垂直的面以转动轴为中心倾斜；焦点位置确定器，其被配置为确定调焦透镜的位置；第一区域检测器，其被配置为检测拍摄图像中的与所述转动轴相对应的第一区域；以及第二区域检测器，其被配置为检测作为通过所述倾斜控制所要聚焦的区域的第二区域，其中，所述焦点位置确定器将所述第一区域与所述第二区域重叠的第三区域确定为所述倾斜控制之前的焦点位置，以及其中，在调整所述调焦透镜的位置使得所述第三区域处于聚焦之后，所述控制器进行所述倾斜控制。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出根据本发明的第一实施例和第二实施例的摄像设备的结构示例的框图。

图2A和2B是倾斜摄像的说明图。

图3示出拍摄图像的示例。

图4是拍摄图像中的各区域的说明图。

图5是根据第一实施例的摄像设备所执行的主处理的流程图。

图6是倾斜焦点区域检测处理的流程图。

图7A～图7C是倾斜焦点区域检测的说明图。

图8是根据第二实施例的摄像设备所执行的主处理的流程图。

图9是最佳焦点区域检测处理的流程图。

图10是最佳焦点区域检测的说明图。

图11是根据第三实施例的摄像设备所执行的主处理的流程图。

图12是根据第四实施例的摄像设备所执行的主处理的流程图。

图13A和图13B示出用户所指定的倾斜焦点区域的示例。

具体实施方式

以下将参考附图来说明本发明的实施例。

(总体结构)

图1示出根据本发明实施例的摄像设备100的结构。摄像光学系统包括：变焦透镜101，其沿光轴方向移动以改变焦距；调焦透镜102，其沿光轴方向移动以进行焦点调整；以及光圈单元103，用于调整光量。穿过了摄像光学系统的光经由带通滤波器(以下称为BPF)104和滤色器105在图像传感器106上形成作为光学图像的被摄体图像。

一些BPF 104相对于摄像光学系统的光路可移动。被摄体图像由图像传感器106进行光电转换。从图像传感器106输出的模拟电信号(摄像信号)由AGC 107进行增益调整，由A/D转换器108转换成数字信号，然后被输入至照相机信号处理器109。

照相机信号处理器109对数字摄像信号进行各种图像处理以生成图像信号。该图像信号经由通信器110被输出至通过有线或无线通信连接至摄像设备的监控监视器设备111。通信器110接收到来自外部的命令，并且将诸如命令等的控制信号输出至摄像设备中的倾斜/变焦/调焦控制器115(控制器、焦点位置确定器)。

评价值计算器112针对图像中所设置的各个评价框，从A/D转换器108或照相机信号处理器109接收RGB的像素值或亮度值。然后，计算与倾斜控制或AF控制中所使用的特定频率的对比度有关的评价值(以下称为对比度评价值)。倾斜焦点区域检测器(第二区域检测器)113基于评价值计算器112所获得的各评价框的对比度评价值来检测通过倾斜控制所要聚焦的区域(以下称为倾斜焦点区域(第二区域))。

焦点区域检测器(第三区域检测器、第四区域检测器)114基于倾斜焦点区域检测器113所检测到的倾斜焦点区域和转动轴区域检测器(第一区域检测器)119所检测到的图像传感器的转动轴区域(第一区域)，来检测焦点区域(第三区域)。

倾斜/变焦/调焦控制器115基于来自通信器110的指示，针对图像传感器驱动器116(转动器)、调焦驱动器117和变焦驱动器118分别指示倾斜角度设置位置、变焦设置位置和焦点设置位置。这里，基于焦点区域检测器114所检测到的焦点区域来确定倾斜控制之前的焦点设置位置。

图像传感器驱动器116基于从倾斜/变焦/调焦控制器115指示的倾斜角度设置位置来使图像传感器106倾斜。在多数情况下，如图3所示，图像传感器106倾斜所围绕的图像传感器转动轴位于拍摄图像的中心，并且图像传感器106以图像传感器转动轴为中心倾斜。

调焦驱动器117基于从倾斜/变焦/调焦控制器115指示的焦点设置位置来控制调焦透镜102的位置。变焦驱动器118基于从倾斜/变焦/调焦控制器115指示的变焦设置位置来控制变焦透镜101的位置。

将参考图2A和2B来说明倾斜控制。图2A示出光学系统与图像传感器平行的状态。调整焦点，使得被摄体距离L处于聚焦，并且焦平面与光学系统和图像传感器平行。图2B示出通过从图2A的状态起使图像传感器以图像传感器转动轴为中心转动来进行倾斜控制的状态。在进行倾斜控制时，基于Scheimpflug原理，焦平面也以与图像传感器转动轴相对应的焦平面转动轴为中心转动，使得关于特定平面从短距离到长距离的所有被摄体都可以被聚焦。Scheimpflug原理是在光学系统的主面和图像传感器的摄像面相交于一条直线时、焦平面也相交在同一直线上的原理。假定焦距为f、被摄体距离为L并且俯角为α，则基于Scheimpflug原理，通过以下的等式(1)来计算倾斜角b。

b＝tan^-1(f/(Ltanα)) (1)

注意，即使通过使摄像光学系统转动而不是使图像传感器转动来进行倾斜控制，也可以获得相同的效果。

将说明倾斜控制中的焦点调整。

从图2A和2B可以看出，为了通过倾斜控制聚焦于期望平面，需要调整焦点，使得该平面在与图像传感器转动轴相对应的区域(以下称为图像传感器转动轴区域(第一区域))中处于聚焦。将参考图3和图4来更详细地说明该情况。图3示出拍摄图像的示例，并且图4示出图3中的各区域。区域401是图像传感器转动轴区域，并且是以图像传感器转动轴作为中心线的具有预定宽度的区域。区域402是倾斜焦点区域。此时，将作为图像传感器转动轴区域401和倾斜焦点区域402的区域403设置为焦点区域。通过进行焦点调整使得该焦点区域403处于聚焦，可以通过倾斜控制来聚焦于倾斜焦点区域402。另一方面，如果对除焦点区域403以外的区域进行焦点调整，则即使进行倾斜控制也不能使倾斜焦点区域402聚焦，因而用户不能获得令人满意的结果。

注意，图3中的拍摄图像是示例，并且焦点调整区域实际上根据摄像场景和图像传感器转动轴的位置而不同。因此，为了确定地进行倾斜控制中的焦点调整，需要向用户呈现焦点区域，或者需要摄像设备自动地检测焦点区域并进行焦点调整。

第一实施例

以下将说明根据第一实施例的摄像设备所执行的处理。

图5是示出本实施例中的主处理的流程图。

<步骤S501>

在步骤S501中，获取图像传感器转动轴区域。图像传感器转动轴区域是如图4的区域401所示的以图像传感器转动轴为中心线的具有预定宽度的区域，并且是预先设置的。

<步骤S502>

在步骤S502中，检测倾斜焦点区域。后面将说明检测方法。

<步骤S503>

在步骤S503中，获取焦点区域。焦点区域是如图4的区域403所示的、图像传感器转动轴区域和倾斜焦点区域。

<步骤S504>

在步骤S504中，判断步骤S503中所获取到的焦点区域是否存在。在该焦点区域存在的情况下，处理进入步骤S505。在该焦点区域不存在的情况下，处理进入步骤S506。

<步骤S505>

在步骤S505中，在步骤S504中焦点区域存在的情况下，进行AF控制，使得该焦点区域处于聚焦。

<步骤S506>

在步骤S506中，在步骤S504中焦点区域不存在的情况下，禁止倾斜控制。这是因为，在焦点区域不存在的情况下，不能正确地进行用于将焦平面调整到倾斜焦点区域的焦点调整，并且通过进行倾斜控制可能获得非预期的焦平面。这里，禁止倾斜控制作为在焦点区域不存在的情况下的处理。然而，例如，可以向用户发送通知，或者可以调整摄像视角使得焦点区域存在。可选地，还可以通过将倾斜焦点区域中的距图像传感器转动轴区域最近的区域设置为焦点区域，来粗略地进行焦点调整。

接着，将参考图6的流程图来说明倾斜焦点区域检测(步骤S502)的处理。

<步骤S601>

在步骤S601中，将拍摄图像分割成多个个体区域。作为示例，图7A示出通过将图3的拍摄图像分割成64个个体区域所获得的图像。个体区域包括单个像素或者多个像素的集合。

<步骤S602>

在步骤S602中，获取各个体区域的被摄体距离信息。图7B示出图7A中的被摄体距离信息，并且表示浓度越高、被摄体距离越远。可以通过在驱动调焦透镜102的同时针对各个体区域获取对比度评价值、并且检测评价值达到峰值的最佳焦点位置来估计被摄体距离信息。然而，被摄体距离信息的获取方法不限于基于最佳焦点位置的估计，并且可以使用例如测距传感器来获取。

<步骤S603>

在步骤S603中，基于步骤S602中所获得的各个体区域中的被摄体距离信息来进行用于检测倾斜焦点区域的判断。由于倾斜焦点区域是图2B中的焦平面，因此可以认为在倾斜焦点区域中被摄体距离从前侧向后侧逐渐增大。因此，可以通过以下操作来检测倾斜焦点区域：针对个体区域的各列从底部的个体区域向顶部的个体区域顺次比较被摄体距离，并且判断相邻的一对个体区域中的上侧个体区域的被摄体距离相对于下侧个体区域的被摄体距离是否大于或等于预定距离(即，相邻的一对个体区域的被摄体距离信息之间的差是否大于或等于预定值)(以下称为被摄体距离判断)。将使用列A作为示例来说明针对一列的被摄体距离判断。由于在列A的第八行和高一行的第七行中、第七行中的被摄体距离更长，因此然后，在随后的步骤S604中，将列A的第八行检测为倾斜焦点区域。接着，处理进入第七行和第六行中的被摄体距离判断。在以此方式重复被摄体距离判断的情况下，第六行和第五行中的被摄体距离判断给出相等的被摄体距离。在此情况下，由于存在三维被摄体(拍摄图像300中的树)，因此第六行和第五行未被检测为倾斜焦点区域。之后，在直到第一行的被摄体距离判断中，被摄体距离相同的区域继续，因而未检测到倾斜焦点区域。结果，在列A中，第八行和第七行被检测为倾斜焦点区域。在针对其它个体区域列进行与上述相同的处理时，如图7C所示检测到倾斜焦点区域。也就是说，倾斜焦点区域是个体区域中的被摄体距离信息在与图像传感器转动轴垂直的方向上连续改变的区域。更准确地说，在与图像传感器转动轴垂直的方向上从最低的个体区域起顺次获取到被摄体距离信息的情况下，如果相邻的一对个体区域的被摄体距离信息之间的差大于或等于预定值，则该对个体区域中的下侧个体区域对应于倾斜焦点区域。

在这里所示的示例中，考虑了俯仰方向上的倾斜控制，并且进行上侧个体区域和下侧个体区域之间的被摄体距离判断，但在平摇方向上的倾斜控制的情况下，针对个体区域的各行，判断相邻的左侧个体区域和右侧个体区域之间的被摄体距离。

<步骤S604>

在步骤S604中，基于步骤S603中的被摄体距离判断来检测倾斜焦点区域。

在上述的第一实施例中，摄像设备根据摄像场景来自动检测焦点区域并进行焦点调整。由此，可以容易地进行适合于倾斜控制的焦点调整，并且在随后的倾斜控制中可以获得期望的景深扩展效果。

第二实施例

以下将说明根据第二实施例的摄像设备所执行的处理。注意，与第一实施例中的处理相同的处理由相同的附图标记表示，并且省略了对这些处理的说明。

图8是示出本实施例中的主处理的流程图。

<步骤S801>

在步骤S801中，在步骤S504中焦点区域存在的情况下，从该焦点区域中检测最佳焦点区域(第四区域)，其中该最佳焦点区域(第四区域)是在随后的AF控制中聚焦精度相对较高的区域。后面将说明检测方法。

<步骤S802>

在步骤S802中，进行AF控制，使得步骤S801中所检测到的最佳焦点区域处于聚焦。

接着，将参考图9的流程图来说明用于从焦点区域中检测最佳焦点区域的处理(步骤S801)。

<步骤S901>

在步骤S901中，将焦点区域分割成多个个体区域。作为示例，图10示出图4所示的区域403被分割成四个个体区域。

<步骤S902>

在步骤S902中，获取各个体区域的对比度评价值(对比度信息)和亮度信息。

<步骤S903>

在步骤S903中，基于步骤S902中所获取到的亮度信息，检测曝光过度或曝光不足的个体区域，并且排除这些个体区域。这是因为，如果对曝光过度区域或曝光不足区域进行AF控制，则聚焦精度有可能受损。

<步骤S904>

在步骤S904中，从排除曝光过度区域和曝光不足区域的个体区域中，将具有步骤S902中所获取到的最高对比度评价值的个体区域检测为最佳焦点区域。例如，在图10中，由于个体区域A和C包括道路上的许多白线，因此个体区域A和C的对比度评价值高，并且由于个体区域D不包括道路上的白线，因此个体区域D的对比度评价值低。在这种情况下，通过将个体区域A或C检测为最佳焦点位置，可以提高随后的AF控制的聚焦精度。

在上述的第二实施例中，摄像设备根据摄像场景来自动检测焦点区域并进行焦点调整。与第一实施例相比，存在通过检测对比度评价值高的区域来提高通过AF的聚焦精度的效果。由此，可以容易地进行适合于倾斜控制的焦点调整，并且在随后的倾斜控制中可以获得期望的景深扩展效果。注意，这里所述的最佳焦点区域检测是代表示例，并且可以添加除对比度评价值和亮度信息以外的与AF聚焦精度有关的要素(噪声信息、诸如运动物体的有无等的运动信息)。此外，这里，假定为对比度AF，并且其它AF方法中的检测方法不限于此。

第三实施例

以下将参考图11的流程图来说明根据第三实施例的摄像设备所执行的处理。注意，与第一实施例和第二实施例中的处理相同的处理由相同的附图标记表示，并且省略了对这些处理的说明。

<步骤S1101>

在步骤S1101中，将步骤S501中所获取到的图像传感器转动轴区域显示在诸如监控监视器设备111等的用户界面(UI)(显示单元)上。这是因为，向用户指示倾斜控制中的焦点调整区域，由此防止了焦点调整错误，并因而防止了通过倾斜控制不能获得期望的景深扩展效果这一失败。尽管这里显示图像传感器转动轴区域，但结合第一实施例和第二实施例，可以显示步骤S502中所检测到的倾斜焦点区域、步骤S503中所检测到的焦点区域、或步骤S801中所检测到的最佳焦点区域。

<步骤S1102>

在步骤S1102中，用户设置焦点区域。具体地，在用户从步骤S1101中所显示的图像传感器转动轴区域中选择期望的倾斜焦点区域的情况下，设置适于倾斜控制的焦点区域。

<步骤S1103>

在步骤S1103中，进行AF控制，使得用户在步骤S1102中设置的焦点区域处于聚焦。

在上述的第三实施例中，向用户呈现倾斜控制中的焦点调整所用的区域。由此，可以可靠地进行适合于倾斜控制的焦点调整，并且在随后的倾斜控制中可以获得期望的景深扩展效果。

第四实施例

以下将参考图12的流程图来说明根据第四实施例的摄像设备所执行的处理。注意，与第一实施例、第二实施例和第三实施例中的处理相同的处理由相同的附图标记表示，并且省略了对这些处理的说明。

图12是示出本实施例中的主处理的流程图。

<步骤S1201>

在步骤S1201中，用户使用区域指定器来指定倾斜焦点区域。倾斜焦点区域的指定经由诸如监控监视器设备111等的用户界面(UI)(显示单元)来进行。例如，倾斜焦点区域被显示为具有多个顶点的多边形(图13A)。可以根据用户操作(诸如点击或拖动等)来设置多边形的初始位置和大小。通过将多边形的顶点布置在任意位置处，可以自由地指定倾斜焦点区域(图13B)。

在上述的第四实施例中，用户任意指定倾斜焦点区域。根据所指定的倾斜焦点区域，摄像设备自动检测焦点区域并进行焦点调整。由此，可以可靠地进行适合于倾斜控制的焦点调整，并且在随后的倾斜控制中可以获得期望的景深扩展效果。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种摄像设备，包括：

控制器，其被配置为进行倾斜控制，其中在所述倾斜控制中，使图像传感器相对于与摄像光学系统的光轴垂直的面以转动轴为中心倾斜；

焦点位置确定器，其被配置为确定调焦透镜的位置；

第一区域检测器，其被配置为检测拍摄图像中的与所述转动轴相对应的第一区域；以及

第二区域检测器，其被配置为检测作为通过所述倾斜控制所要聚焦的区域的第二区域，

其特征在于，所述焦点位置确定器将所述第一区域与所述第二区域重叠的第三区域确定为所述倾斜控制之前的焦点位置，以及

其特征在于，在调整所述调焦透镜的位置使得所述第三区域处于聚焦之后，所述控制器进行所述倾斜控制。

2.根据权利要求1所述的摄像设备，还包括：

第三区域检测器，其被配置为检测所述第三区域。

3.根据权利要求1所述的摄像设备，其特征在于，

所述第一区域是以所述转动轴为中心线的具有预定宽度的区域。

4.根据权利要求1所述的摄像设备，其特征在于，

在所述拍摄图像被分割成多个个体区域的情况下，所述第二区域检测器基于所述个体区域至少之一中的被摄体距离信息来检测所述第二区域。

5.根据权利要求4所述的摄像设备，其特征在于，

所述个体区域由单个像素构成或者由多个像素的集合构成。

6.根据权利要求4所述的摄像设备，其特征在于，

所述第二区域检测器将所述个体区域中的被摄体距离信息在与所述转动轴垂直的方向上连续地改变的区域检测为所述第二区域。

7.根据权利要求4所述的摄像设备，其特征在于，

所述第二区域检测器在与所述转动轴垂直的方向上从底部的个体区域起顺次获取所述被摄体距离信息，并且在相邻的一对个体区域的被摄体距离信息之间的差大于或等于预定值的情况下，将该相邻的一对个体区域中的下侧个体区域检测为所述第二区域。

8.根据权利要求2所述的摄像设备，还包括：

第四区域检测器，其被配置为检测第四区域，

其特征在于，所述第四区域检测器基于对比度信息、亮度信息、噪声信息和运动信息至少之一来从所述第三区域中检测所述第四区域。

9.根据权利要求8所述的摄像设备，其特征在于，

所述第四区域检测器将所述第三区域分割成多个个体区域，并且基于对比度信息、亮度信息、噪声信息和运动信息至少之一来从所述第三区域中检测所述第四区域。

10.根据权利要求2所述的摄像设备，其特征在于，

在所述第三区域检测器未检测到所述第三区域的情况下，所述控制器执行以下操作至少之一：禁止所述倾斜控制；通知用户；将所述第二区域中的距所述第一区域最近的区域设置为所述第三区域；以及调整摄像视角使得能够检测到所述第三区域。

11.根据权利要求8所述的摄像设备，还包括：

显示单元，其被配置为显示所述第一区域、所述第二区域、所述第三区域和所述第四区域至少之一，

其特征在于，所述焦点位置确定器调整所述调焦透镜在所述显示单元所显示的区域中的位置。

12.根据权利要求1所述的摄像设备，还包括：

区域指定器，其被配置用于由用户指定区域，其中所述第二区域检测器基于用户使用所述区域指定器所指定的区域来检测所述第二区域。

13.根据权利要求12所述的摄像设备，其特征在于，

用户使用所述区域指定器所指定的区域由多个顶点构成。

14.根据权利要求12所述的摄像设备，其特征在于，用户使用所述区域指定器所指定的区域被设置成包括用户所指定的点或线。

15.根据权利要求13所述的摄像设备，其特征在于，用户使用所述区域指定器所指定的区域的多个顶点至少之一能够布置在任意位置处。

16.根据权利要求1至15中任一项所述的摄像设备，还包括：

转动器，其被配置为使所述图像传感器以所述转动轴为中心转动。