CN108429873B9 - 焦点检测设备和摄像设备 - Google Patents

焦点检测设备和摄像设备 Download PDF

Info

Publication number
CN108429873B9
CN108429873B9 CN201810150361.2A CN201810150361A CN108429873B9 CN 108429873 B9 CN108429873 B9 CN 108429873B9 CN 201810150361 A CN201810150361 A CN 201810150361A CN 108429873 B9 CN108429873 B9 CN 108429873B9
Authority
CN
China
Prior art keywords
focus detection
image signals
pair
parallax image
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810150361.2A
Other languages
English (en)
Other versions
CN108429873B (zh
CN108429873A (zh
Inventor
瓦田昌大
石井宏和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108429873A publication Critical patent/CN108429873A/zh
Publication of CN108429873B publication Critical patent/CN108429873B/zh
Application granted granted Critical
Publication of CN108429873B9 publication Critical patent/CN108429873B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明涉及一种焦点检测设备和摄像设备。所述焦点检测设备包括：判断单元，其被配置为判断一对视差图像信号中所包含的噪声的影响程度；以及获取单元，其被配置为基于所述一对视差图像信号之间的相关计算来获取与所述一对视差图像信号之间的相位差有关的信息。所述获取单元基于所述判断单元的判断结果来从具有不同频率特性的多个滤波器中选择用于获取与所述相位差有关的信息的滤波器，并且将通过基于应用到所选择滤波器的所述一对视差图像信号的相关计算而获取到的与所述相位差有关的信息作为焦点检测结果进行输出。

Description

焦点检测设备和摄像设备
技术领域
本发明涉及使用相位差检测方法的焦点检测设备和摄像设备。
背景技术
作为基于相位差检测方法的焦点检测方法，传统上，来自被摄体图像的光束在出射光瞳面上被分割，并且分割得到的光束分别会聚到二维图像传感器中的一对像素列上。基于在该一对像素列中进行光电转换后的图像信号之间的相位差来进行焦点检测。
日本特开2014-89260论述了使用在各像素中形成微透镜的二维图像传感器来进行基于相位差检测方法的焦点检测的摄像设备。在这种摄像设备中，各像素包括用于对通过光瞳分割所获得的一个图像进行光电转换的光电二极管A、用于对另一图像进行光电转换的光电二极管B、以及用于暂时保持来自光电二极管A和B的电荷的浮动扩散区域。如下所述控制从光电二极管A和B向浮动扩散区域的电荷传送。首先，仅对来自光电二极管A的电荷进行传送和电压转换，以获得光瞳分割后的图像信号其中之一(以下将该图像信号称为“A图像信号”)。随后，在没有重置浮动扩散区域的情况下，将来自光电二极管B的电荷传送至浮动扩散区域并进行电压转换，以获得光瞳分割之前的图像信号(以下称为“A+B图像信号”)。
与光瞳分割后的另一图像入射到的光电二极管B相对应的图像信号(以下将该图像信号称为“B图像信号”)是通过从A+B图像信号中减去A图像信号而电气获得的。如以上所述作为一对图像信号所获得的A图像信号和B图像信号是视差图像信号。因此，可以通过利用已知的相关计算技术计算A图像信号和B图像信号之间的相位差来检测被摄体的焦点位置。此外，使用A+B图像信号来生成摄像设备所拍摄到的图像。这样，日本特开2014-89260中所论述的摄像设备能够通过仅执行两次读取操作来获取A图像、B图像和A+B图像这三种图像信号。因此，读取操作的速度提高。另外，由于A+B图像信号是通过在浮动扩散区域中混合电荷所生成的，因此光瞳分割之前的图像信号(A+B图像信号)的噪声低于用于通过在读出A图像信号和B图像信号之后将A图像信号和B图像信号相加的方法所获得的噪声。然而，仍期望对视差图像信号中所包含的噪声的影响进行适当校正。
发明内容
根据至少一个实施例，一种摄像设备，包括：判断单元，其被配置为判断一对视差图像信号中所包含的噪声的影响程度；以及获取单元，其被配置为基于所述一对视差图像信号之间的相关计算，来获取与所述一对视差图像信号之间的相位差有关的信息，其中，所述获取单元基于所述判断单元的判断结果来从具有不同频率特性的多个滤波器中选择用于获取与所述相位差有关的信息的滤波器，并且将通过基于应用到所选择滤波器的所述一对视差图像信号的相关计算而获取到的与所述相位差有关的信息作为焦点检测结果进行输出。
根据至少一个实施例，一种摄像设备，包括：图像传感器，其被配置为通过对来自摄像光学系统的光进行光电转换来获得一对视差图像信号；以及焦点检测设备，包括：判断单元，其被配置为判断所述一对视差图像信号中所包含的噪声的影响程度；以及获取单元，其被配置为基于所述一对视差图像信号之间的相关计算来获取与所述一对视差图像信号之间的相位差有关的信息，其中，所述获取单元基于所述判断单元的判断结果来从具有不同频率特性的多个滤波器中选择用于获取与所述相位差有关的信息的滤波器，并且将通过基于应用到所选择滤波器的所述一对视差图像信号的相关计算而获取到的与所述相位差有关的信息作为焦点检测结果进行输出。
通过以下参考附图对典型实施例的说明，本发明的其它特征和优点将变得明显。
附图说明
图1是示出作为根据第一典型实施例的摄像设备的示例的数字照相机的示意结构的框图。
图2是示出根据第一典型实施例的用于对焦点检测像素列进行处理的数字滤波器的特性示例的图。
图3A和3B是各自示出图像传感器的结构的示意图。
图4A示出图像传感器的像素的电路结构，以及图4B示出驱动时序图。
图5示出用于说明图像信号中出现的噪声的输出的图案被摄体。
图6B和6C是分别示出针对图案被摄体的来自第一焦点检测像素列和第二焦点检测像素列的图像信号的图，以及图6A是示出第一焦点检测像素列和第二焦点检测像素列的相加信号的图。
图7B和7C是分别示出在存在噪声污染的情况下来自第一焦点检测像素列和第二焦点检测像素列的图像信号的图，以及图7A是示出噪声污染减少的第一焦点检测像素列和第二焦点检测像素列的相加信号的图。
图8A、8B和8C是各自示出针对各相位偏移量的第一子像素列和第二子像素列之间的相关性的图。
图9是示出根据第一典型实施例的数字照相机的焦点检测操作的流程图。
图10是示出根据第一典型实施例的用于判断噪声的影响程度的处理的流程图。
图11是示出根据第二典型实施例的用于判断噪声的影响程度的处理的流程图。
图12是示出根据第二典型实施例的图像信号的锐度(Sharpness)和散焦量之间的关系的图。
具体实施方式
以下将参考附图来详细说明典型实施例。在典型实施例中，将根据本发明的焦点检测设备应用于镜头可更换的数字单镜头反光(SLR)照相机。然而，根据本发明的焦点检测设备还可应用于配备有能够生成基于相位差检测方法的焦点检测所使用的信号的图像传感器或者连接至该图像传感器的任何电子摄像处理装置。电子摄像装置的示例包括非镜头可更换型数字照相机、摄像机、配备有照相机的蜂窝电话、用于处理从照相机获取到的图像的个人计算机、游戏机以及甚至配备有照相机或连接至照相机的家用电器。
根据以下所述的典型实施例的焦点检测设备是用于进行基于像面相位差方法的焦点检测并且判断一对视差图像信号中所包含的噪声的影响程度的焦点检测设备。另外，焦点检测设备获取与通过基于一对视差图像信号的相关计算所获得的图像偏移量有关的信息。对这些视差图像信号进行基于该判断结果所选择的带通滤波处理。例如，在判断为噪声的影响大的情况下，选择不易受噪声影响并且使相对较低频带信号通过的带通滤波器。另一方面，在判断为噪声的影响小的情况下，选择能够以高精度进行焦点检测并且使相对较高频带信号通过的带通滤波器。因而，可以进行噪声的影响降低的焦点检测。
数字照相机系统的结构
图1是示出作为根据本发明的第一典型实施例的摄像设备的示例的数字照相机系统的示意结构的框图。
参考图1，数字照相机系统包括镜头单元100和照相机单元200。镜头单元100经由安装单元(未示出)的镜头安装机构可拆卸地安装至照相机单元200。该安装单元设置有电触点单元108。电触点单元108包括通信总线所用的端子，这使得镜头单元100和照相机单元200能够彼此通信。
镜头单元100包括透镜组101和用于控制入射光线的光圈102。透镜组101构成摄像光学系统并且包括调焦透镜和变焦透镜。镜头单元100还包括透镜驱动单元103，其中该透镜驱动单元103包括驱动系统和驱动系统控制单元。该驱动系统包括用于对透镜组101进行变焦或调焦的步进马达。透镜驱动单元103和驱动系统构成焦点调节单元。镜头单元100还包括光圈控制单元104和光学信息记录单元106。光圈控制单元104控制光圈102的开口。光学信息记录单元106记录透镜组101的变焦或调焦的各种光学设计值以及光圈的值。透镜驱动单元103、光圈控制单元104和光学信息记录单元106各自连接至镜头控制器105，其中该镜头控制器105包括用于控制镜头单元100的整体操作的中央处理单元(CPU)。镜头单元100还包括透镜位置检测单元107，其中该透镜位置检测单元107用于例如通过获取透镜驱动单元103中所包括的步进马达的相位波形来检测透镜的位置信息。
照相机单元200经由电触点单元108与镜头单元100进行通信，以发送用于控制透镜组101的变焦或调焦以及光圈102的开口的控制请求并且接收控制结果。照相机单元200包括用于向照相机单元200输入操作的操作开关214。操作开关214包括两级行程型开关。第一级开关(SW1)是用于使用所拍摄到的图像信号开始诸如测光和焦点检测等的摄像准备操作的开关。第二级开关(SW2)是用于使摄像单元213开始诸如电荷累积和电荷读取等的摄像操作以获取静止图像的开关。
摄像单元213包括图像传感器、A/D转换器和用于进行显像计算的处理器。图像传感器包括各自包含光电转换单元的多个像素。A/D转换器将从图像传感器输出的电气信号转换成作为数字数据的图像信号。入射光线经由透镜组101和光圈102被引导至图像传感器。摄像单元213通过对入射的被摄体图像进行光电转换来进行显像计算，以获得拍摄图像数据。作为图像传感器，可以使用电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。A/D转换器可以并入图像传感器中。在本说明书中，这里所使用的表述“像素输出与图像信号相对应的电气信号”还可被简单地表示为“像素输出图像信号”。图像传感器中所包括的像素中的至少一部分像素可以输出焦点检测要使用的图像信号。图像传感器所获得的焦点检测所用的图像信号被暂时存储在与照相机控制器215相连接的存储器216中。存储器216中暂时存储的一对视差图像信号(以下还将该一对视差图像信号简称为一对图像信号)被发送至与照相机控制器215相连接的像素相加单元217。
像素相加单元217将从位置对应的像素获得的图像信号与一对图像信号相加，直到相加计数器218计数得到的次数达到预定次数为止。要加上图像信号的一对图像信号被发送至相关性计算单元219。相关性计算单元219是连接至照相机控制器215的相关量获取单元，并且通过执行相关计算来计算针对一对图像信号的各相位偏移量的相关量(利用一对图像信号之间的差来表示)。连接至照相机控制器215的相关量相加单元220将所计算出的相关量相加，直到相加计数器218计数得到的次数达到预定次数为止。相加得到的相关量被发送至相位差检测单元221以获得示出最高相关性的相位差。如信号处理领域内的技术人员应当理解，术语“相关性”是指作为变量的函数的两个信号的相似度的度量(例如，一个信号相对于另一信号的位移)。因而，在本发明和说明书中使用术语“相位差”的情况下，除非另外说明，否则该术语“相位差”表示构成视差图像信号的两个图像之间的相关性最高的相位差(表示相关量的最小值的相位差)。
散焦量获取单元222基于相位差检测单元221所获取到的相位差和镜头单元100的光学特性来利用已知的方法获取散焦量。所获取到的散焦量被发送至散焦量相加单元223，并且对该散焦量进行相加，直到相加计数器218计数得到的次数达到预定次数为止。
照相机控制器215经由电触点单元108来向镜头控制器105发送控制信息以及从镜头控制器105接收控制信息，并且基于散焦量获取单元222或散焦量相加单元223所计算出的散焦量来控制透镜组101的焦点位置。
根据本典型实施例的数字照相机包括显示单元224和操作单元225。显示单元224显示摄像单元213所拍摄到的被摄体图像以及各种操作状态。操作单元225将摄像单元213的操作切换为实时取景模式或运动图像记录模式。将摄像单元213所拍摄到的静止图像或运动图像按预定数据格式记录在记录单元226上。
照相机单元200还包括像素相减单元227和用于对图像信号进行一维带通滤波(BPF)的BPF处理单元228。像素相减单元227从摄像单元213接收两个图像信号并且从一个图像信号中减去另一图像信号。BPF处理单元228包括用于使预定的空间频率特性透过的第一滤波器和示出与第一滤波器相比更低的频带作为特性的第二滤波器。图2示出第一滤波器和第二滤波器的空间频率特性的示例。
在图2中，利用实线来表示第一滤波器的空间频率特性，以及利用虚线来表示第二滤波器的空间频率特性。图2中的“Ny”表示一对焦点检测像素列的奈奎斯特频率。第一滤波器的空间频率特性在频率f1处具有最大振幅。第二滤波器的空间频率在比频率f1低的频率f2处具有最大振幅。因此，可以看出，第二滤波器是使与第一滤波器相比更低的频率范围内的信号透过的带通滤波器。另外，在进行滤波操作之后，BPF处理单元228对第一滤波器和第二滤波器的最大振幅进行归一化运算。因此，第一滤波器和第二滤波器的最大振幅的值都为“1”。
照相机单元200还包括用于仅暂时存储相关性计算单元219所计算出的针对各相位差的两组相关量的存储区域。此外，照相机单元200包括相关量差计算单元229，其中该相关量差计算单元229用于计算两组相关量之间的任意相位偏移量的相关量差。相关量差计算单元229连同照相机控制器215一起用作用于判断一对视差图像信号中所包含的噪声的影响程度的判断单元。
接着，将参考图3A和3B以及图4A和4B来说明摄像单元213中所包括的图像传感器的结构。
图3A是示出如从入射光侧所观看到的图像传感器的受光面的示意图。图像传感器的各像素包括第一子像素S1和第二子像素S2。在出射光瞳面上发生分割后的一对光线分别入射到第一子像素S1和第二子像素S2上。通过出射光瞳700的第一光瞳区域710的光束入射到第一子像素S1上，并且通过该出射光瞳的第二光瞳区域720的光束入射到第二子像素S2上。在第一子像素S1和第二子像素S2各自的前面配置有用于会聚光的微透镜ML。各像素包括一组第一子像素S1、第二子像素S2和微透镜ML。在图像传感器的受光面上配置有水平方向上的h个像素和垂直方向上的v个像素。可以使用来自第一子像素S1和第二子像素S2的图像信号来进行焦点检测，并且可以使用来自单位像素的图像信号来进行摄像。构成同一像素的第一子像素和第二子像素可被称为一对子像素。通过同一微透镜ML的光束分别入射到一对子像素上。
图3B是图3A所示的各像素的截面图。从光入射侧(图3B的上侧)起，微透镜ML、构成用于配置微透镜ML的平面的平滑层701、遮光层702(702a、702b)以及第一光电二极管703a和第二光电二极管703b按该顺序依次形成。通过出射光瞳700的第一光瞳区域710的光束A入射到第一光电二极管703a上，并且通过第二光瞳区域720的光束B入射到第二光电二极管703b上。遮光层702是为了防止不想要的斜的光线入射到第一焦点检测像素S1的光电转换区域703a和第二焦点检测像素S2的光电转换区域703b而配置的。利用这种像素结构，摄像光学系统的光瞳呈对称分割，并且可以获得分别与分割后的光束相对应的图像信号。
接着，将参考图4A来说明图像传感器的各像素的电路结构。像素300包括第一光电二极管301A、第二光电二极管301B、第一传送开关302A、第二传送开关302B和浮动扩散区域303。单位像素300还包括放大单元304、重置开关305和选择开关306。像素300还包括共通电源VDD 308。第一光电二极管301A和第一传送开关302A构成第一子像素S1，并且第二光电二极管301B和第二传送开关302B构成第二子像素S2。
第一光电二极管301A和第二光电二极管301B将通过了同一微透镜ML并且分别入射到第一光电二极管301A和第二光电二极管301B上的光线光电转换成相应的电气信号。第一传送开关302A和第二传送开关302B控制将第一光电二极管301A和第二光电二极管301B所生成的电荷选择性地传送至共通的浮动扩散区域303。第一传送开关302A和第二传送开关302B分别由第一传送脉冲信号PTXA和第二传送脉冲信号PTXB来控制。浮动扩散区域303暂时保持从第一光电二极管301A和第二光电二极管301B传送来的电荷，并且将所保持的电荷转换成电压信号。包括源极跟随器MOS晶体管的放大单元304放大基于浮动扩散区域303中所保持的电荷的电压信号，并且将放大后的电压信号输出为像素信号。重置开关305将浮动扩散区域303的电位重置为基准电位VDD。重置开关305由重置脉冲信号PRES来控制。选择开关306控制从放大单元304向垂直输出线307的像素信号的输出。选择开关306由垂直选择脉冲信号PSEL来控制。
接着，将参考图4B所示的驱动时序图来说明用于驱动图4A所示的单位像素300的电路的操作。首先，在时刻t1～时刻t2的时间段内，第一光电二极管301A和第二光电二极管301B被重置。在时刻t2处，第一光电二极管301A和第二光电二极管301B开始累积电荷。在基于期望的曝光量在所需的时间段内进行了电荷累积之后，在时刻t3处，选择开关306接通。在时刻t4处，浮动扩散区域303的重置状态解除。在时刻t5～时刻t6的时间段内，第一传送开关302A接通以将第一光电二极管301A的电荷传送至浮动扩散区域303。在时刻t6处，第一光电二极管301A中所累积的电荷被读出到浮动扩散区域303。在读出这些电荷时，将与电位的变化相对应的电压信号作为第一焦点检测像素信号经由放大单元304和选择开关306输出至垂直输出线307。在时刻t7～时刻t8的时间段内，第一传送开关302A和第二传送开关302B接通。结果，第一光电二极管301A和第二光电二极管301B的电荷被同时传送至浮动扩散区域303。在时刻t8处，所传送的电荷被读出到浮动扩散区域303。在读出这些电荷时，将与电位的变化相对应的电压信号作为第一焦点检测像素信号和第二焦点检测像素信号的相加信号经由放大单元304和选择开关306输出至垂直输出线307。在时刻t9处，浮动扩散区域303被重置。
针对各单位像素顺次执行上述操作，然后用于读出从第一子像素的像素列获取到的图像信号、以及从第一子像素的像素列和第二子像素的像素列获取到的图像信号的相加信号的操作完成。
将如上所述读出的从第一子像素的像素列获取到的图像信号以及从第一子像素的像素列和第二子像素的像素列获取到的图像信号的相加信号输入至像素相减单元227，并且电气生成从第二子像素的像素列获取到的图像信号。在本说明书中，将从第一子像素的像素列获取到的图像信号称为A图像信号，将从第二子像素的像素列获取到的图像信号称为B图像信号，以及将从第一子像素的像素列和第二子像素的像素列获取到的图像信号称为A+B图像信号。如本典型实施例所述，即使在B图像信号实际是间接地获得的、而不是单独读出B图像信号的情况下，B图像信号也被视为是从第二子像素或第二光电二极管301B获得的。
相位差和散焦量之间的关系
通过相关计算所获取到的构成一对视差图像信号的两个图像之间的相位差(还被称为图像偏移量)与散焦量存在比例关系，并且随着相位差增大，散焦量单调地增加。相位差的方向与散焦量的方向(最近侧/无限侧)相对应。在本发明和说明书中，除非另外说明，否则这里所述的术语“一对视差图像信号之间的相位差”是指一对视差图像信号之间的相关性最高(即，相关量取最小值)时的相位差。可以利用已知方法将相位差转换成散焦量。另外，可以基于散焦量以及透镜组101的倍率关系来计算到被摄体的距离。
通过光瞳分割所获得的图像信号其中之一的噪声污染对其它图像信号 的影响
接着，将说明在第一子像素列或第二子像素列中存在噪声污染的情况下的图像信号和相关量。
图5示出为了便于说明而利用简单的图形图案表示的图案被摄体1300。图案被摄体1300包括灰色部分1301和白色部分1302。图5示出为了便于说明而标注的焦点检测所使用的像素列区域(所谓的焦点检测区域)1303。
图6B是示出针对图5所示的图案被摄体1300的A图像信号的图。图6C是示出针对图案被摄体1300的B图像信号的图。图6A是示出针对图案被摄体1300的A+B图像信号的图。假定在透镜组101的聚焦状态下在A图像信号和B图像信号之间不存在相位差。
图6A是示出作为相加信号的A+B图像信号的图。利用Y2来表示水平方向上的X坐标之间的区间X0～X1和X2～X3中的低亮度的灰色部分1301的图像信号输出。利用Y4来表示区间X1～X2中的高亮度的白色部分1302的图像信号输出。即使在不存在入射光量的状态下，也由于在摄像单元213中产生的暗电流的影响因而加上恒定的信号值，由此利用OB来表示信号电平。
图6B是示出A图像信号的图，以及图6C是示出B图像信号的图。在图6B和6C中，利用Y1来表示水平方向上的X坐标之间的区间X0～X1和X2～X3中的低亮度的灰色部分1301的图像信号输出。利用Y3来表示X坐标之间的区间X1～X2中的高亮度的白色部分1302的图像信号输出。图像信号输出Y1是图像信号输出Y2和OB之间的中间值。图像信号输出Y3是图像信号输出Y4和OB之间的中间值。
图7C是示出在图6B所示的A图像信号和图6A所示的A+B图像信号中发生由独立噪声引起的污染的情况下的B图像信号的图。
在根据本典型实施例的摄像单元213中，在浮动扩散区域303中，用于仅对第一子像素列的电荷进行电压转换的定时与用于对第一子像素列和第二子像素列的相加信号的电荷进行电压转换的定时有所不同。因此，添加至第一子像素列的电荷的噪声不必与添加至相加信号的电荷的噪声一致。由于该原因，图7A～7C示出在各信号中存在由独立噪声引起的污染的情况。
利用(图7A所示的)噪声ΔNAB来示意性地表示A+B图像信号中的污染噪声。利用(图7B所示的)噪声ΔNA来示意性地表示A图像信号中的污染噪声。利用(图7C所示的)噪声ΔNB来示意性地表示B图像信号中的污染噪声。在这种情况下，B图像信号(图7C)是通过从A+B图像信号(图7A)中电气地减去A图像信号(图7B)所获得的。因而，B图像信号(B+ΔNB)是通过以下的公式1所表示的信号。
B+ΔNB＝(A+B+ΔNAB)-(A+ΔNA)＝B+ΔNAB-ΔNA
因而，NB＝ΔNAB-ΔNA(公式1)
A：基于第一光电二极管所生成的电荷的信号(通过从A图像信号中消除噪声所获得的信号)
B：基于第二光电二极管所生成的电荷的信号(通过从B图像信号中消除噪声所获得的信号)
ΔNAB：叠加在相加信号上的噪声
ΔNA：叠加在A图像信号上的噪声
ΔNB：叠加在B图像信号上的噪声
如从图7B和图7C之间的比较可以看出，噪声ΔNA和噪声ΔNB是以信号输出电平的正方向和负方向发生反转的方式生成的，并且与不存在噪声污染的图6B和6C的配置相比，图像信号之间的相关性降低。
图8A、8B和8C各自示出通过对一对视差图像信号进行相关计算所获得的相关性曲线。图8A示出图6A～6C所示的A图像信号和B图像信号各自的相关性曲线。图8A是横轴表示相位偏移量并且纵轴表示相关量(两个图像之间的差)的图。在图8A中，透镜组101处于聚焦状态，因而在相位偏移量为0(在两个图像之间不存在差异)的情况下，相关量是最小值C1。
图8B是图7A～7C所示的A图像信号和B图像信号各自的相关性曲线。在图8B中，由于在A图像信号和B图像信号中存在含有噪声ΔNA和噪声ΔNB的污染，因此在相位偏移量跨值0的值±P的范围内，相关量增加(相关性大于C1)。在相位偏移量的值为±P的情况下，相关量为C2。然而，在相位偏移量为0的位置处，相关量比C2增大了与ΔCN相等的量并且达到相关值C3。在获得了这种相关量的情况下，尽管必须判断为在相位偏移量为0的情况下相关性最高，但实际判断为在相位偏移量为-P或+P的情况下相关性最高，使得发生误差。在相关量中发生这种误差可能会导致焦点检测的精度下降和/或在焦点检测期间发生“振荡”。
图8C是示出在相位偏移量为–P～+P及其附近的范围内图8A和8B所示的相关量之间的差的图。在计算相关量之间的差时，作为由于噪声污染因而相关量增加的结果，在相位偏移量为0处获得极大值。在噪声污染的量增加的情况下，相关性劣化，并且与相位偏移量0相对应的位置处的相关量(即，值C3)增大。因而，由噪声污染的有无之间的差异所引起的相关量差ΔCN增大。因此，确定由视差图像信号中的噪声污染的有无之间的差异引起的相关量的差是有利的。
<数字照相机系统的操作>
图9是示出根据本典型实施例的数字照相机系统的焦点检测操作的流程图。该操作是以照相机控制器215控制各单元的方式实现的。
在根据本典型实施例的数字照相机系统中，在电源接通之后，操作模式自动设置为实时取景模式，并且在利用摄像单元213连续地拍摄图像的同时生成A图像信号和A+B图像信号。另外，将基于A+B图像信号的被摄体图像显示在显示单元224上。
首先，按下操作开关214的第一级开关SW1，并且发出焦点检测指示以开始焦点检测操作。
在步骤S1901中，获取A图像信号和B图像信号。在该步骤中，将A图像信号和A+B图像信号从摄像单元213传送至像素相减单元227。A图像信号和B图像信号还可被称为两个图像。像素相减单元227从A+B图像信号中电气地减去A图像信号，由此获取到B图像信号。因而，获取到彼此独立的A图像信号和B图像信号。在该获取之后，处理进入步骤S1902。
在步骤S1902中，独立地对两个图像进行用于抑制各种信号电平变化(诸如由黑电平校正或摄像光学系统引起的周围照明的减少等)的校正处理。信号电平的变化是由于来自被摄体图像的光线在出射光瞳面上发生分割并且不同角度的光线分别入射到第一子像素S1和第二子像素S2的像素列上而引起的。在该校正处理之后，处理进入步骤S1903。
在步骤S1903中，判断以上参考图7A～7C和图8A～8C所述的噪声对相关计算的影响的程度。将参考图10来详细说明该判断处理。
在图10中，在步骤S2001中，BPF处理单元228对一对焦点检测像素列进行第一滤波处理，并且将处理结果输出至相关性计算单元219。在该输出之后，处理进入步骤S2002。
在步骤S2002中，相关性计算单元219使用步骤S2001中所获取到的经过了滤波处理的一对焦点检测像素列来进行相关计算，并且计算针对各相位差的相关量(第一相关量)。将所计算出的第一相关量输出至相关量差计算单元229。在该输出之后，处理进入步骤S2003。
在步骤S2003中，BPF处理单元228对一对焦点检测像素列进行示出与第一滤波器相比更低的频率特性的第二滤波处理，并且将处理结果输出至相关性计算单元219。在该输出之后，处理进入步骤S2004。
在步骤S2004中，相关性计算单元219对步骤S2003中所获取到的经过了滤波处理的一对焦点检测像素列进行相关计算，并且计算针对各相位差的相关量(第二相关量)。将所计算出的第二相关量输出至相关量差计算单元229。在输出第二相关量之后，处理进入步骤S2005。由于第二相关量是通过使用与第一相关量相比更低的频率范围内的信号的相关计算所计算出的，因此获得了与第一相关量相比噪声的影响更低的相关量。
在步骤S2005中，相关量差计算单元229在相位差0处计算第一相关量和第二相关量之间的相关量差，并且判断计算结果是否等于或大于第一阈值。另外，相关量差计算单元229在包括相位差0的预定相位差偏移量范围内计算第一相关量和第二相关量之间的差，并且判断在相位差0处是否可以获得极大值。如果相位差0处的相关量差等于或大于第一阈值并且为极大值(步骤S2005中为“是”)，则处理进入步骤S2006。否则(步骤S2005中为“否”)，处理进入步骤S2007。
在步骤S2006中，如以上参考图7A～7C和图8A～8C所述，照相机控制器215判断为在与相位差0相对应的位置附近出现的相关噪声的影响程度等于或高于预定程度并且两个图像之间的相关性大幅下降，并且子例程操作终止。
另一方面，在步骤S2007中，照相机控制器215判断为在与相位差0相对应的位置附近出现的相关噪声的影响程度低于预定程度并且两个图像之间的相关性的下降小。因而，子例程操作终止。
再次参考图9的流程图，在步骤S1904中，照相机控制器215基于步骤S1903中所获得的判断结果来判断是否满足用于对噪声采取对策的条件。在步骤S1903中，如果噪声的影响程度等于或高于预定程度(步骤S2005中为“是”)，则处理进入步骤S1905。另一方面，在步骤S1903中，如果判断为噪声的影响程度低于预定程度(步骤S2005中为“否”)，则处理进入步骤S1906。
在步骤S1905中，相位差检测单元221基于第二相关量来获取构成一对视差图像信号的两个图像之间的示出最高相关量的相位差，从而减轻焦点检测中的噪声的影响。第二相关量是由示出与第一滤波器相比更低范围的空间频率特性的第二滤波器所计算出的。在获取到相位差之后，处理进入步骤S1907。
在噪声对焦点检测的影响小的情况下，在获取到相位差之后，处理进入步骤S1906。因此，在步骤S1906中，基于由示出更高范围的空间频率特性的第一滤波器计算出的第一相关量来获取构成一对视差图像信号的两个图像之间的具有最高相关量的相位差，从而在尽可能多地保持被摄体图像的边缘成分的同时提高相位差的检测精度。在获取到相位差之后，处理进入步骤S1907。更具体地，在步骤S1904～S1906中，根据步骤S1903中的与噪声的影响程度有关的判断结果来从第一滤波器和第二滤波器中选择用于获取相位差的带通滤波器。
在步骤S1907中，散焦量获取单元222基于步骤S1905或S1906中所获取到的相位差以及镜头单元100的光学特性来利用已知的方法获取散焦量。将所获取到的散焦量发送至散焦量相加单元223，并且对该散焦量进行预定次数的相加，同时利用相加计数器218对该次数进行计数。进行相加处理以抑制相位差检测的偏差。在该相加之后，处理进入步骤S1908。
在步骤S1908中，基于散焦量相加单元223所计算出的并且从焦点检测设备输出的散焦量来控制透镜组101的焦点位置，由此进行焦点调节。
上述操作使得能够判断相关噪声对焦点检测的影响程度。另外，使用该判断结果来选择适当的滤波器，使得可以进行相关噪声的影响降低的焦点检测。
第一典型实施例的变形例
现在将说明步骤S1903的变形例。根据第一典型实施例，在步骤S1903中，通过使用具有不同的空间频率特性的第一滤波器和第二滤波器，基于第一相关量和第二相关量之间的差的大小并且基于极大值的位置来判断噪声的影响程度。然而，作为判断噪声的影响程度所基于的信息，可以添加各种信息。
例如，可以添加一对视差图像信号的强度。具体地，可以添加与构成一对视差图像信号的两个图像至少之一的图像信号的最大值或平均值是否等于或小于第二阈值有关的判断。可以将该判断添加至步骤S2005的判断。可以仅在与相位偏移量0相对应的位置处的校正量差等于或大于第一阈值且为极大值、并且一对视差图像信号的强度等于或小于第二阈值的情况下，判断为噪声的影响大。在图像信号电平高并且噪声的影响程度相对较低的条件下，在第一相关量和第二相关量之间的差由于具有高频率特性的被摄体进入因而增大的情况下，添加这种操作可以降低误判断为噪声影响大的可能性。
代替一对视差图像信号的强度，可以使用记录所用的图像信号(基于A+B图像信号的信号)的强度作为判断噪声的影响程度所基于的信息。在本说明书和本发明中，将图像传感器所获取到的拍摄图像信号(诸如一对视差图像信号和记录所用的图像信号等)称为拍摄图像信号，并且将基于相加信号的信号称为摄像用信号。
可以基于摄像单元213中所包括的图像传感器的电荷累积时间以及光圈102的光圈值来获取顶点值处的曝光值(EV)，并且可以仅在EV等于或小于第三阈值的情况下，判断为噪声的影响大。
另外，可以仅在ISO等于或大于第四阈值的情况下，判断为噪声的影响大。
接着，将说明步骤S2005的变形例。根据第一典型实施例，在步骤S2005中，判断在相位差0处的相关量差是否大于或等于预定阈值。然而，诸如ΔCN等的逆波形噪声不仅在与相位差0相对应的位置处出现，而且分布在以相位差0为中心的相位偏移量–P～+P的范围内。由于该原因，代替在相位差0处计算第一相关量和第二相关量之间的差，可以在以相位差0为中心的预定相位偏移量范围内计算相关量差。如上所述的操作使得能够进行与噪声的影响是否大有关的更精确判断。另外，可以使用相位差0附近的相关量差来代替相位差0处的相关量差。
此外，在第一典型实施例中，在步骤S1905或S1906中基于步骤S1903中所计算出的相关量来获取相位差，然而作为代替，在步骤S1905或S1906中可以再次执行相关计算。尽管通过该操作运算量增加，但可以使用与步骤S1903中所使用的第一滤波器和第二滤波器不同的滤波器来获取相位差。因此，可以选择适合噪声的检测的滤波器(第一滤波器和第二滤波器)以及适合获取相位差的滤波器(被称为第三滤波器和第四滤波器的步骤S1905和S1906中所使用的滤波器)。另外，在设置第一相关量和第二相关量之间的差的多个阈值的情况下，可以分三个以上的阶段评价噪声的影响程度，以根据评价结果来从三个以上的带通滤波器中选择要用于获取相位差的滤波器。
在步骤S1907中，根据两个图像之间的相位差来获取散焦量，然而作为代替，可以根据该相位差来获取使透镜直接移动到聚焦位置所需的驱动量(移动长度、脉冲数等)。将根据相位差所获取到的信息(诸如相位差、散焦量和使透镜移动到聚焦位置所需的驱动量等)称为与相位差有关的信息。
以下将参考图11来说明第二典型实施例。在第一典型实施例中，使用第一相关量和第二相关量之间的差来判断噪声的影响程度，并且在判断为噪声的影响大的情况下，使用具有相对较低的频率特性的带通滤波器来获取相位差。
第二典型实施例与第一典型实施例的不同之处在于：基于与被摄体的对比度有关的信息和与图像信号中的噪声污染有关的信息来判断噪声的影响。换句话说，根据第二典型实施例的数字照相机系统的结构以及(与图9所示的流程图相对应的)焦点检测操作与第一典型实施例相同，并且根据第二典型实施例的步骤S1903中的子例程不同于第一典型实施例的步骤S1903中的子例程。图11示出根据第二实施例的步骤S1903中的子例程的流程图。
在步骤S2101～S2104中，与根据第一典型实施例的步骤S2001～S2004相同，分别对一对图像信号进行第一滤波处理和第二滤波处理，以获取第一相关量和第二相关量。在本典型实施例中，在步骤S1903中，可以在无需使用第一相关量和第二相关量的情况下判断噪声的影响程度，因而可以省略该步骤。
在步骤S2105中，获取用于评价一对图像信号的对比度的对比度评价值作为与被摄体的对比度有关的信息。在本情况下，计算作为图像信号的最大值(峰值(peak value))和最小值(谷值(bottom value))之间的差的波形振幅PB作为评价值其中之一。获取A图像信号和B图像信号的振幅PB，并且使用这些振幅的平均值作为一对图像信号的平均PB。可以仅获取A图像信号和B图像信号其中之一的振幅PB，并且可以使用所获取到的振幅作为一对图像信号的振幅PB。此外，在步骤S2105中，通过以下的公式来计算表示图像的锐度的评价值作为对比度评价值其中之一。
Figure BDA0001579751340000191
其中：ak表示焦点检测所用的子像素列信号(即，A图像或B图像)，并且n表示子像素列中的像素数。作为示例，图12示出高频率被摄体(实线)和低频率被摄体(虚线)中的锐度和散焦量之间的关系。图12示出：随着散焦量减小(模糊减少)，被摄体图像变得锐化，使得图像信号的锐度增大。这表示：与高频率被摄体相比，即使在低频率被摄体的散焦量变小的情况下，图像信号的锐度也不会增大。在一对图像信号中的噪声污染的量相同的情况下，随着图像信号的波形振幅PB变大、或者随着信号的图像锐度变高，噪声的影响降低。
在下一步骤S2106中，计算用于评价与图像信号中的噪声污染有关的信息的噪声评价值。在这种情况下，将作为光电二极管的噪声成分的诸如暗电流噪声和光子散粒噪声等的图像传感器输出值、以及作为摄像条件的诸如累积时间和ISO感光度等的可以与增益相关联的各种设置参数转换成表格或公式。基于该表格或公式中所设置的系数来计算噪声评价值Noise。作为简单的计算，通过以下的公式来计算根据光子散粒噪声和ISO感光度的噪声评价值。
Figure BDA0001579751340000201
其中：ISOGain表示示出与ISO感光度的值相对应的增益量的值，并且Peak表示图像信号的最大值。尽管在以上公式中没有描述，但例如，可以在表格中列出根据针对各列的垂直读出线的特性之间的差异而产生的固定模式的噪声成分。该表格可以是预先针对各成分作为与焦点检测信号的输出值相对应的值而测量到的，从而用来进行计算。
在后续的步骤S2107和S2108中，基于步骤S2105和步骤S2106中分别获取到的对比度评价值和噪声评价值来判断噪声的影响程度。在步骤S2107中，判断噪声评价值Noise和作为对比度评价值其中之一的图像信号的波形振幅PB之间的比(Noise/PB)是否小于第五阈值。如果该比小于第五阈值(步骤S2107中为“是”)，则处理进入步骤S2108。另一方面，如果在步骤S2107中该比等于或大于第五阈值(步骤S2107中为“否”)，则处理进入步骤S2109，并且判断为噪声对相关计算的影响程度大。
在步骤S2108中，判断噪声评价值Noise和焦点检测信号的图像Sharpness之间的比(Noise/Sharpness)是否小于第六阈值。如果该比小于第六阈值(步骤S2108中为“是”)，则处理进入步骤S2110，并且判断为噪声对相关计算的影响程度小。另一方面，如果在步骤S2108中判断为该比等于或大于第六阈值(步骤S2108中为“否”)，则处理进入步骤S2109，并且判断为噪声对相关计算的影响大，因而子例程操作终止。在处理进入步骤S2109的情况下，判断为噪声对相关计算的影响大。然后，子例程操作终止，并且处理返回至图9的流程图。在处理进入步骤S2109的情况下，处理进入步骤S1905，并且在处理包括步骤S2110的情况下，处理进入步骤S1906。步骤S1904及其后续步骤与第一典型实施例的相同。基于步骤S1903中的判断结果，选择是否通过基于应用到第一滤波器或第二滤波器的图像信号的相关计算来获取两个图像之间的相位差。然而，在通过步骤S1903的子例程没有获取到第一相关量和第二相关量的情况下，将基于步骤S1903的判断结果所选择的带通滤波器应用于一对图像信号，并且通过使用由所选择的滤波器进行处理后的一对图像信号的相关计算来获取两个图像之间的相位差。可选地，可以在步骤S1903结束之前对一对图像信号进行第一滤波处理和第二滤波处理。在这种情况下，基于步骤S1903中的判断结果来选择应用于图像信号的滤波器其中之一以执行相关计算。在本发明和说明书中，这里假定同样在选择了应用到不同滤波器的信号的情况下认为选择了滤波器。
通过如上所述的操作，可以判断噪声对焦点检测的影响程度。另外，通过使用判断结果来选择适当的滤波器，可以进行相关噪声的影响降低的焦点检测。在第一典型实施例中，基于对相关噪声的影响进行估计的结果来判断相关噪声的影响程度，而在第二典型实施例中，基于噪声的大小来判断相关噪声的影响程度。第一典型实施例和第二典型实施例可以根据场景而选择性地用在数字照相机系统中。各场景可以通过用户切换模式来判别。
第二典型实施例的变形例
现在将说明步骤S1903的变形例。根据第二典型实施例，在步骤S1903中，获取与噪声有关的信息(噪声评价值Noise)和与图像信号的对比度有关的信息(波形振幅PB、Sharpness)，并且基于这两者之间的比的大小来判断噪声的影响程度(步骤S2105～S2110)。代替使用个别方法，可以使用以下的简单方法。即，针对各ISO感光度，对波形振幅PB设置阈值。如果波形振幅PB小于阈值，则判断为噪声的影响大，以及如果波形振幅PB等于或大于阈值，则判断为噪声的影响小。可以将针对各ISO感光度所设置的波形振幅PB的阈值转换成表格并进行存储。利用该方法，可以仅参考波形振幅PB来判断噪声的影响程度，并且可以基于判断结果来选择滤波器。即使在通过使用针对与对比度有关的信息和与噪声有关的信息中的任一信息所设置的阈值来判断噪声的影响程度的情况下，也认为基于与噪声有关的信息和与对比度有关的信息来判断噪声的影响程度。
与噪声有关的信息的示例包括作为光电二极管的噪声成分的诸如暗电流噪声和光子散粒噪声等的图像传感器输出值、以及作为摄像条件的累积时间和ISO感光度。噪声评价值可以使用从上述的信息中所选择的多个信息来设置，或者可以使用仅一个信息(例如，ISO感光度)来设置。
另外，可以根据表示被摄体是否易受噪声影响的信息来选择滤波器。通常，人物的面部等是包括具有高空间频率的部分和具有极低空间频率的部分的被摄体，并且该被摄体在具有低空间频率的部分中极易受到噪声影响。因此，除根据本典型实施例的结构外还包括用于检测视角内所存在的面部的位置、大小和检测可靠性等的单元的焦点检测设备可以根据面部检测信息和摄像条件来选择滤波器。具体地，如果作为摄像条件的ISO感光度等于或高于预定值、并且检测到面部的区域和焦点检测区域彼此叠加，则判断为噪声的影响程度大并且选择具有相对较低的频率特性的滤波器。
将说明根据第一典型实施例和第二典型实施例的图像传感器的变形例。如以上参考图3A所述，图像传感器具有如下的结构：各单位像素包括一组第一焦点检测像素S1、第二焦点检测像素S2和微透镜ML，并且配置有水平方向上的h个像素和垂直方向上的v个像素。然而，图像传感器的结构不限于该结构，并且单位像素和在出射光瞳面上没有发生分割的正常像素可以共存。即使在该结构中，也可以获得与上述有利效果相同的有利效果。
以上所述的典型实施例仅是代表示例。可以在没有背离所附权利要求书的范围的情况下对这些典型实施例进行各种修改和改变。
因此，可以提供能够在降低噪声的影响的同时进行焦点检测的焦点检测设备。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，这里所述的发明概念不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (19)

1.一种焦点检测设备，包括：
判断单元，其被配置为判断一对视差图像信号中所包含的噪声对焦点检测的影响程度；以及
获取单元，其被配置为基于所述一对视差图像信号之间的相关计算，来获取与所述一对视差图像信号之间的相位差有关的信息，
其中，所述获取单元基于所述判断单元的判断结果来从具有不同频率特性的多个滤波器中选择用于获取与所述相位差有关的信息的滤波器，并且将通过基于应用到所选择的滤波器的所述一对视差图像信号的相关计算而获取到的与所述相位差有关的信息作为焦点检测结果进行输出，
其中，在所述判断单元判断为所述噪声对焦点检测的影响程度等于或大于预定程度的情况下，所述获取单元选择第一滤波器作为用于获取与所述相位差有关的信息的滤波器，
其中，在所述判断单元判断为所述噪声对焦点检测的影响程度小于所述预定程度的情况下，所述获取单元选择第二滤波器作为用于获取与所述相位差有关的信息的滤波器，
其中，所述第二滤波器被配置为使比所述第一滤波器所透过的频率成分高的频率成分透过。
2.根据权利要求1所述的焦点检测设备，其中，所述判断单元根据通过基于使用第三滤波器的所述一对视差图像信号的相关计算所获取到的第三相关量和通过基于使用第四滤波器的所述一对视差图像信号的相关计算所获取到的第四相关量之间的差，来判断所述噪声对焦点检测的影响程度，其中所述第四滤波器被配置为使比所述第三滤波器所透过的频率成分低的频率成分透过。
3.根据权利要求1所述的焦点检测设备，其中，所述判断单元根据通过基于使用所述第一滤波器的所述一对视差图像信号的相关计算所获取到的第一相关量和通过基于使用所述第二滤波器的所述一对视差图像信号的相关计算所获取到的第二相关量之间的差，来判断所述噪声对焦点检测的影响程度。
4.根据权利要求2所述的焦点检测设备，其中，所述判断单元使用与构成所述一对视差图像信号的信号中的至少一个信号的强度有关的信息，来判断所述噪声对焦点检测的影响程度。
5.根据权利要求4所述的焦点检测设备，其中，与所述信号中的所述至少一个信号的强度有关的信息是所述信号的强度的最大值和所述信号的强度的平均值至少之一。
6.根据权利要求1所述的焦点检测设备，其中，所述判断单元基于与所述一对视差图像信号的对比度有关的信息和与噪声有关的信息，来判断所述一对视差图像信号中所包含的噪声对焦点检测的影响程度。
7.根据权利要求6所述的焦点检测设备，其中，与所述对比度有关的信息是构成所述一对视差图像信号的图像信号中的至少一个图像信号的振幅和锐度至少之一。
8.根据权利要求6所述的焦点检测设备，其中，与噪声有关的信息是由用于获取所述一对视差图像信号的图像传感器引起的噪声成分和应用到所述一对视差图像信号的增益成分的设置值至少之一。
9.根据权利要求8所述的焦点检测设备，其中，所述增益成分的设置值是获取所述一对视差图像信号时的累积电荷的累积时间和感光度至少之一。
10.根据权利要求6所述的焦点检测设备，其中，所述判断单元通过将基于与所述一对视差图像信号的对比度有关的信息所获取到的评价值和基于与所述一对视差图像信号中的噪声有关的信息所确定的阈值进行比较，来判断所述噪声对焦点检测的影响程度。
11.根据权利要求10所述的焦点检测设备，其中，
在所述评价值大于所述阈值的情况下，所述判断单元判断为所述噪声对焦点检测的影响程度等于或低于预定值，以及
在所述评价值等于或小于所述阈值的情况下，所述判断单元判断为所述噪声对焦点检测的影响程度高于所述预定值。
12.根据权利要求1所述的焦点检测设备，其中，所述获取单元通过对所述一对视差图像信号进行使用所选择的滤波器的滤波处理，来获取应用到所选择的滤波器的所述一对视差图像信号。
13.根据权利要求1所述的焦点检测设备，其中，所述获取单元通过对所述一对视差图像信号进行使用多个滤波器的滤波处理来获取应用到所述多个滤波器的多对视差图像信号，并且通过从所述多对视差图像信号中选择应用到所选择的滤波器的一对视差图像信号并执行基于所选择的一对视差图像信号的相关计算，来获取与所述相位差有关的信息。
14.根据权利要求1所述的焦点检测设备，其中，
所述获取单元通过对所述一对视差图像信号进行使用多个滤波器的滤波处理，来获取应用到所述多个滤波器的多对视差图像信号，
所述获取单元通过基于所述多对视差图像信号的相关计算来获取与所述相位差有关的多个信息，以及
所述获取单元通过利用基于应用到所选择的滤波器的一对视差图像信号的相关计算从与所述相位差有关的所述多个信息中选择与所述相位差有关的信息，来获取与所述相位差有关的信息。
15.根据权利要求1所述的焦点检测设备，其中，所述判断单元使用摄像时的感光度来获取所述一对视差图像信号，从而判断所述噪声对焦点检测的影响程度。
16.根据权利要求1所述的焦点检测设备，其中，所述判断单元使用摄像时的曝光值即EV来获取所述一对视差图像信号，从而判断所述噪声对焦点检测的影响程度。
17.根据权利要求1所述的焦点检测设备，其中，所述一对视差图像信号是基于通过对来自摄像光学系统的光进行光电转换所生成的信号。
18.根据权利要求1所述的焦点检测设备，其中，与所述相位差有关的信息是散焦量以及使摄像光学系统中所包括的透镜移动到聚焦位置所需的驱动量至少之一。
19.一种摄像设备，包括：
图像传感器，其被配置为通过对来自摄像光学系统的光进行光电转换来获得一对视差图像信号；以及
焦点检测设备，包括：
判断单元，其被配置为判断所述一对视差图像信号中所包含的噪声对焦点检测的影响程度；以及
获取单元，其被配置为基于所述一对视差图像信号之间的相关计算来获取与所述一对视差图像信号之间的相位差有关的信息，
其中，所述获取单元基于所述判断单元的判断结果来从具有不同频率特性的多个滤波器中选择用于获取与所述相位差有关的信息的滤波器，并且将通过基于应用到所选择的滤波器的所述一对视差图像信号的相关计算而获取到的与所述相位差有关的信息作为焦点检测结果进行输出，
其中，在所述判断单元判断为所述噪声对焦点检测的影响程度等于或大于预定程度的情况下，所述获取单元选择第一滤波器作为用于获取与所述相位差有关的信息的滤波器，
其中，在所述判断单元判断为所述噪声对焦点检测的影响程度小于所述预定程度的情况下，所述获取单元选择第二滤波器作为用于获取与所述相位差有关的信息的滤波器，
其中，所述第二滤波器被配置为使比所述第一滤波器所透过的频率成分高的频率成分透过。
CN201810150361.2A 2017-02-14 2018-02-13 焦点检测设备和摄像设备 Active CN108429873B9 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-025380 2017-02-14
JP2017025380A JP6873729B2 (ja) 2017-02-14 2017-02-14 焦点検出装置、および撮像装置

Publications (3)

Publication Number Publication Date
CN108429873A CN108429873A (zh) 2018-08-21
CN108429873B CN108429873B (zh) 2021-04-16
CN108429873B9 true CN108429873B9 (zh) 2021-11-02

Family

ID=63105543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150361.2A Active CN108429873B9 (zh) 2017-02-14 2018-02-13 焦点检测设备和摄像设备

Country Status (3)

Country Link
US (1) US10462352B2 (zh)
JP (1) JP6873729B2 (zh)
CN (1) CN108429873B9 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018160172A1 (en) * 2017-02-28 2018-09-07 Bae Systems Lmaging Solutions Inc. AUTOFOCUS SYSTEM FOR CMOS lMAGING SENSORS
JP7299711B2 (ja) * 2019-01-30 2023-06-28 キヤノン株式会社 光電変換装置及びその駆動方法
JP2021162829A (ja) * 2020-04-03 2021-10-11 キヤノン株式会社 焦点検出装置、撮像装置および焦点検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837959A (zh) * 2012-11-21 2014-06-04 佳能株式会社 焦点检测设备、焦点检测方法及摄像设备
CN105593737A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 焦点检测装置和焦点检测方法
CN105683707A (zh) * 2013-10-23 2016-06-15 奥林巴斯株式会社 摄像装置和相位差检测方法
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145559A (ja) * 2010-01-15 2011-07-28 Canon Inc 撮像装置
US8593509B2 (en) * 2010-03-24 2013-11-26 Fujifilm Corporation Three-dimensional imaging device and viewpoint image restoration method
JP6222915B2 (ja) 2012-10-29 2017-11-01 キヤノン株式会社 撮像装置、撮像装置の駆動方法、プログラム及び記録媒体
JP6171110B2 (ja) * 2014-11-18 2017-07-26 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837959A (zh) * 2012-11-21 2014-06-04 佳能株式会社 焦点检测设备、焦点检测方法及摄像设备
CN105593737A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 焦点检测装置和焦点检测方法
CN105683707A (zh) * 2013-10-23 2016-06-15 奥林巴斯株式会社 摄像装置和相位差检测方法
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction

Also Published As

Publication number Publication date
CN108429873B (zh) 2021-04-16
CN108429873A (zh) 2018-08-21
JP2018132613A (ja) 2018-08-23
US20180234618A1 (en) 2018-08-16
JP6873729B2 (ja) 2021-05-19
US10462352B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
JP5507764B2 (ja) 撮像装置
US9602713B2 (en) Imaging apparatus and method for controlling the same
US10015376B2 (en) Imaging apparatus with phase difference focus detection and method for controlling same
CN102169276A (zh) 摄像装置和自动焦点调节方法
JP5753371B2 (ja) 撮像装置およびその制御方法
CN108429873B9 (zh) 焦点检测设备和摄像设备
US9832360B2 (en) Image capturing apparatus and method of controlling the same
JP6381274B2 (ja) 撮像装置、その制御方法、および制御プログラム
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
US10630882B2 (en) Image pickup apparatus having function of correcting defocusing and method for controlling the same
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
JP6941011B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6171110B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2015014788A (ja) 測距装置、撮像装置及び測距装置の制御方法
JP6594048B2 (ja) 撮像装置及びその制御方法
JP2008015353A (ja) 撮像装置
JP6467289B2 (ja) 撮像装置およびその制御方法
JP2018005161A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2020057017A (ja) 撮像装置及びその制御方法
JP2015015704A (ja) 測距装置、撮像装置及び測距装置の制御方法
JP7171265B2 (ja) 撮像装置およびその制御方法
JP7005313B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
KR101981438B1 (ko) 촬상 장치
WO2020017641A1 (ja) 焦点検出装置、撮像装置、及び、交換レンズ
JP2020067489A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Claims

Correct: Claims submitted on March 15, 2021

False: Claims submitted on September 7, 2020

Number: 16-02

Page: ??

Volume: 37

CI03 Correction of invention patent