CN104104849A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN104104849A
CN104104849A CN201410143658.8A CN201410143658A CN104104849A CN 104104849 A CN104104849 A CN 104104849A CN 201410143658 A CN201410143658 A CN 201410143658A CN 104104849 A CN104104849 A CN 104104849A
Authority
CN
China
Prior art keywords
photoelectric conversion
conversion part
picture signal
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410143658.8A
Other languages
English (en)
Other versions
CN104104849B (zh
Inventor
上田晓彦
渡边友美
中村隼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201710224569.XA priority Critical patent/CN107249097B/zh
Publication of CN104104849A publication Critical patent/CN104104849A/zh
Application granted granted Critical
Publication of CN104104849B publication Critical patent/CN104104849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及一种摄像设备及其控制方法。所述摄像设备包括：摄像元件，其具有多个像素，所述多个像素各自包括至少两个光电转换部；读出单元，用于读出第一图像信号以及通过将所述第一图像信号和第二图像信号相加所获得的相加信号；相减单元，用于从所述相加信号中减去所述第一图像信号；焦点检测单元，用于基于所述第一图像信号和所述第二图像信号来检测焦点状态；以及限制单元，用于将第一光电转换部的输出和第二光电转换部的输出抑制成不超过预定阈值，其中，所述限制单元抑制针对不同的颜色滤波器的所述第一光电转换部和所述第二光电转换部的输出。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种具有自动调焦功能的摄像设备。
背景技术
传统上，已知有如下技术，其中该技术在包括摄像光学系统和摄像元件的摄像设备中通过使用采用相位差检测方法的焦点检测方法来以高速和高精度进行焦点检测。在使用相位差检测方法的焦点检测技术中，光瞳分割单元将从摄像光学系统出射的光束分割为至少两个区域，并且对各区域的光束进行光电转换以获得两个图像的一对焦点检测信号串。根据两个信号串之间的相对图像偏移量来检测预定焦点面的焦点偏移量、即散焦量。在使用相位差检测方法的焦点检测中，在对焦状态下，两个图像的信号串的强度彼此一致，并且相对图像偏移量也应当为零。然而，由于摄像光学系统引起的焦点检测光束的渐晕以及摄像光学系统的各种像差，使得两个图像的一致度劣化，从而导致焦点检测误差。由于渐晕和各种像差，因而散焦量与两个图像间的相对图像偏移量之间的比例关系劣化。因此，为了高精度地进行焦点检测，需要消除误差。还已经提出了基于此目的的技术。
另一方面，已经提出了如下技术，其中在该技术中，使用二维CMOS传感器等作为摄像元件，以在该传感器上配置相位差检测用的焦点检测像素。摄像像素和焦点检测像素配置在同一平面上。因此，当摄像像素处于对焦状态时，焦点检测像素也处于对焦状态。由于该原因，原则上，在对焦状态下，相位差检测用的两个图像之间不会发生相对图像偏移，因此也几乎不会产生误差。然而，由于焦点检测像素包括两个光电转换部，因此用于读出累积像素信号的电路是复杂的。在日本特开2008-103885中描述了抑制用于读出像素信号的电路的复杂性的方法。
在日本特开2008-103885描述的技术中，各自包括两个光电转换部的多个焦点检测像素分别输出通过将来自两个光电转换部的输出信号相加所获得的信号。
然而，根据日本特开2008-103885，当可从焦点检测像素输出的值过大(饱和)时，由于焦点检测像素的两个光电转换部之间的电荷的泄漏而导致串扰(crosstalk)的发生。该串扰使得输出信号包括除通过对来自摄像光学系统的光束进行光电转换所获得的信号以外的信号，由此导致无法进行正确的焦点检测。
发明内容
本发明是考虑到以上问题而提出的，并且即使包括能够检测相位差的摄像元件的摄像设备具有饱和像素，也抑制了无法进行焦点检测的可能性。
根据本发明的第一方面，提供一种摄像设备，包括：摄像元件，其具有多个像素，所述多个像素各自包括包含第一光电转换部和第二光电转换部的至少两个光电转换部、以及预定颜色的颜色滤波器，其中所述第一光电转换部用于接收穿过摄像光学系统的光瞳区域的一部分的光，以及所述第二光电转换部用于接收穿过所述摄像光学系统的光瞳区域的不同部分的光；读出单元，用于从所述摄像元件中读出从所述第一光电转换部获得的第一图像信号以及通过将从所述第一光电转换部获得的所述第一图像信号和从所述第二光电转换部获得的第二图像信号相加所获得的相加信号；相减单元，用于通过从所述相加信号中减去所述第一图像信号来获得所述第二图像信号；焦点检测单元，用于基于所述第一图像信号和所述第二图像信号来检测所述摄像光学系统的焦点状态；以及限制单元，用于将所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过预定阈值，其中，所述限制单元对于所述第一图像信号和所述第二图像信号，将针对不同的颜色滤波器的所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过所述预定阈值。
根据本发明的第二方面，提供一种摄像设备的控制方法，所述摄像设备包括具有多个像素的摄像元件，所述多个像素各自包括包含第一光电转换部和第二光电转换部的至少两个光电转换部、以及预定颜色的颜色滤波器，其中所述第一光电转换部用于接收穿过摄像光学系统的光瞳区域的一部分的光，以及所述第二光电转换部用于接收穿过所述摄像光学系统的光瞳区域的不同部分的光，所述控制方法包括以下步骤：读出步骤，用于从所述摄像元件中读出从所述第一光电转换部获得的第一图像信号以及通过将从所述第一光电转换部获得的所述第一图像信号和从所述第二光电转换部获得的第二图像信号相加所获得的相加信号；相减步骤，用于通过从所述相加信号中减去所述第一图像信号来获得所述第二图像信号；焦点检测步骤，用于基于所述第一图像信号和所述第二图像信号来检测所述摄像光学系统的焦点状态；以及限制步骤，用于将所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过预定阈值，其中，在所述限制步骤中，对于所述第一图像信号和所述第二图像信号，将针对不同的颜色滤波器的所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过所述预定阈值。
根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明的实施例的摄像设备的结构的框图；
图2是示出根据实施例的摄像元件的像素的阵列的图；
图3是示出根据实施例的摄像元件的电路图；
图4是示出根据实施例的摄像光学系统的光学原理的图；
图5A～5D是各自用于说明入射光量和输出信号之间的关系的图；
图6A～6D是各自用于说明根据实施例的像素和输出信号之间的关系的图；以及
图7是示出根据实施例的摄像设备的操作的流程图。
具体实施方式
以下将参考附图详细说明本发明的实施例。
图1是示出根据本发明的实施例的摄像设备的结构的框图。图1示出电子照相机，其中该电子照相机集成了摄像光学系统和具有摄像元件的照相机本体，并且能够记录运动图像和静止图像。参照图1，附图标记101表示第一透镜组，其设置在用于形成被摄体图像的摄像光学系统的前端，并且被保持为能够沿光轴移动；附图标记102表示光圈，其调整开口直径从而调整摄像时的光量，并且也用作拍摄静止图像时的曝光时间调整快门；附图标记103表示第二透镜组。光圈102和第二透镜组103一体地沿着光轴被驱动，并且与第一透镜组101的移动操作连动地，提供变倍作用(变焦功能)。附图标记105表示第三透镜组，其通过沿光轴移动来进行焦点调整；并且附图标记106表示光学低通滤波器，其是用于减少所拍摄图像的伪色和摩尔纹的光学元件。
附图标记107表示摄像元件，其包括能够进行焦点检测的像素并且由CMOS传感器及其外围电路组成。使用二维单CCD颜色传感器作为摄像元件107，其中在该二维单CCD颜色传感器中，配置有水平方向上的M个像素×垂直方向上的N个像素的光接收像素、以及片上拜尔排列的原色马赛克滤波器。摄像元件107的各像素包括颜色滤波器以及多个光电转换部。
附图标记111表示变焦致动器，其通过手动或利用该致动器使凸轮筒(未示出)转动以经由第三透镜组105沿光轴驱动第一透镜组101，来进行变倍操作；附图标记112表示光圈致动器，其控制光圈102的开口直径并调整摄像用的光量，并且还控制拍摄静止图像时的曝光时间；并且附图标记114表示调焦致动器，其沿着光轴驱动第三透镜组105以调整焦点。
附图标记121表示CPU，其包括运算单元、ROM、RAM、A/D转换器、D/A转换器、以及通信接口电路，用于对照相机本体进行各种控制。另外，基于存储在ROM中的预定程序，CPU121驱动照相机的各种电路，并且执行调焦控制(AF)、摄像、图像处理以及记录等的一系列操作。
附图标记122表示摄像元件驱动电路，其控制摄像元件107的摄像操作并且对所获得的图像信号进行A/D转换以将转换得到的图像信号发送到CPU121；附图标记123表示图像处理电路，其对摄像元件107所获得的图像进行诸如颜色插值、γ转换和图像压缩等的处理；并且附图标记124表示用作焦点检测单元的相位差计算处理电路，其通过使用从摄像元件107的各像素的两个光电转换部所获得的信号作为AF用A图像信号和AF用B图像信号，利用相关计算来获得A图像和B图像之间的图像偏移量，从而计算焦点偏移量(焦点状态)。此外，附图标记125表示调焦驱动电路，其基于焦点检测结果来进行调焦致动器114的驱动控制以沿光轴驱动第三透镜组105，从而进行焦点调整；附图标记126表示光圈驱动电路，其进行光圈致动器112的驱动控制，从而控制光圈102的开口；并且附图标记127表示变焦驱动电路，其根据用户的变焦操作来驱动变焦致动器111。
附图标记128表示限制单元，用于将A图像信号和B图像信号的相加信号抑制为不超过预定阈值；并且附图标记129表示控制单元，用于在限制单元128中A图像信号和B图像信号的相加信号超过预定阈值的情况下，通过控制该限制单元来生成A图像和(A+B)图像。
附图标记131表示诸如LCD等的显示单元，其显示与照相机的摄像模式有关的信息、摄像时的预览图像、拍摄后的确认图像、以及焦点检测时的对焦状态显示图像；附图标记132表示操作单元，其由电源开关、摄像开始开关、变焦操作开关和摄像模式选择开关等构成；并且附图标记133表示可拆卸的闪速存储器，其记录包括运动图像和静止图像的所拍摄图像。
图2是示出根据本发明的实施例的摄像元件107的像素的阵列的图。图2示出从摄像光学系统侧观察二维CMOS区域传感器的垂直(Y)方向的6行和水平(X)方向的8列的范围的情况下的状态。颜色滤波器采用拜尔排列。针对奇数行的像素，从左起顺次交替地设置绿色和红色的颜色滤波器。此外，针对偶数行的像素，从左起顺次交替地设置蓝色和绿色的颜色滤波器。圆211i表示片上微透镜。片上微透镜内所配置的多个矩形分别表示光电转换部，其中该光电转换部被分割为用于接收穿过摄像光学系统的光瞳区域的一部分的光的第一光电转换部211a以及用于接收穿过摄像光学系统的光瞳区域的另一部分的光的第二光电转换部211b。
在本实施例中，所有像素中的各像素的光电转换部在X方向上分割为两个区域。对于各分割后的区域的光电转换信号，可以针对各颜色滤波器独立地从第一光电转换部211a中读出信号，但无法独立地从第二光电转换部211b中读出信号。通过从对第一光电转换部和第二光电转换部的输出相加之后所读出的信号中减去第一光电转换部211a的信号，来计算第二光电转换部211b的信号。
来自第一光电转换部211a和第二光电转换部211b的信号不仅可以用于以(稍后所述的)方法来进行采用相位差检测方法的焦点检测，而且还可以用于产生由具有视差信息的多个图像所形成的3D(3维)图像。另一方面，使用通过将分割后的光电转换部的输出相加所获得的信息作为通常的所拍摄图像。
现在将描述进行使用相位差检测方法的焦点检测时的像素信号。在本实施例中，图2的微透镜211i和分割后的光电转换部211a和211b对从摄像光学系统出射的光束进行光瞳分割。假设将通过在配置于一行上的预定范围内的多个像素211中使来自光电转换部211a的输出连结在一起所构成的图像设置为作为第一图像的A图像，并且将通过在同样的像素中使来自光电转换部211b的输出连结在一起所构成的图像设置为作为第二图像的B图像。在这种情况下，利用相关计算检测以这种方式所生成的作为第一图像的A图像和作为第二图像的B图像之间的相对图像偏移量，这使得可以检测预定区域的焦点偏移量、即散焦量。
图3是示出根据本实施例的摄像元件107的读出电路的结构的图。附图标记151表示水平扫描电路；并且附图标记153表示垂直扫描电路。水平扫描线152a和152b以及垂直扫描线154a和154b被排列在各个像素之间的边界部分。信号从各个光电转换部经由这些扫描线而被读出到外部。
注意，根据本实施例的摄像元件107具有两种类型的读出模式。第一读出模式被称为全像素读出模式，该模式用来拍摄高分辨率的静止图像。在这种情况下，从所有的像素中读出信号。第二读出模式被称为间隔剔除读出模式，该模式用来仅记录运动图像或显示预览图像。在这种情况下，由于所需的像素数小于总像素数，因而该设备仅从X方向和Y方向上以预定比率间隔剔除像素组之后所剩余的像素中读出信号。
对于通常的摄像用图像，仅需读出(A+B)图像。然而，为了在多个距离测量区域中检测相位差，读出A图像信号和B图像信号，并且通过相关计算来检测A图像和B图像之间的图像偏移量，从而计算散焦量。
图4是用于说明摄像光学系统的出射光瞳面和与图像高度0相对应的部分(即，图像面的中央)附近所配置的摄像元件107的光电转换部之间的共轭关系的图。摄像元件内的光电转换部211a和211b以及摄像光学系统的出射光瞳面被设计成通过片上微透镜具有共轭关系。通常，摄像光学系统的出射光瞳与配置有光量调整用的虹膜光圈的平面几乎一致。另一方面，根据本实施例的摄像光学系统是具有变倍功能的变焦透镜。如果进行了变倍操作，则某些光学类型的摄像光学系统的大小或相对于出射光瞳的图像面的距离会发生改变。图4示出摄像光学系统的焦距与广角端和远摄端之间的中间位置(即，“中间”)相对应的状态。这种状态下的出射光瞳距离由Zmid表示。在假设该距离是标准的出射光瞳距离Znorm的情况下，设计片上微透镜的形状。
参照图4，附图标记101表示第一透镜组；附图标记101b表示用于保持第一透镜组的镜筒构件；附图标记105表示第三透镜组；附图标记105b表示用于保持第三透镜组的镜筒构件；附图标记102表示光圈；附图标记102a表示开口板，用于限定全光圈状态下的开口直径；并且附图标记102b表示光圈叶片，用于调整光圈缩小状态下的开口直径。注意，在从图像面观察时，示出了用于限制穿过摄像光学系统的光束的构件101b、102a、102b和105b作为光学虚像。另外，如上所述，光圈102附近的合成开口被定义为透镜的出射光瞳，并且相对于图像面的距离被定义为Zmid。
像素211从最下层起顺次包括：光电转换部211a和211b、配线层211e～211g、颜色滤波器211h、以及片上微透镜211i。片上微透镜211i将光电转换部211a和211b投影在摄像光学系统的出射光瞳面上。投影图像由EP1a和EP1b表示。
在光圈102处于全光圈状态(例如，F2.8)的情况下，穿过摄像光学系统的光束的最外侧部分由L(F2.8)表示。投影图像EP1a和EP1b没有被光圈开口遮光。另一方面，在光圈102处于光圈缩小状态(例如，F5.6)的情况下，穿过摄像光学系统的光束的最外侧部分由L(F5.6)表示。投影图像EP1a和EP1b的外侧被光圈开口遮光。注意，在图像面的中央，投影图像EP1a和EP1b的遮光状态相对于光轴对称，并且光电转换部211a和211b所接收到的光量相等。
接着将说明在本实施例的光电转换部的输出值超过上限值(饱和)时所采取的措施。各像素的各光电转换部从穿过摄像光学系统的光束接收光量，并且通过光电转换输出与该光量相对应的信号。然而，在光量大的高亮度被摄体的情况下，超过了光电转换部211a和211b中可累积的光量的上限值，这引起针对邻接的光电转换部的电荷的泄漏，从而导致串扰。在根据光电转换部211a所生成的A图像信号和根据光电转换部211b所生成的B图像信号之间发生串扰，这导致A图像信号与B图像信号之间的图像偏移量误差。因此，在通过利用相关计算检测图像偏移量所获得的散焦量中存在误差，由此使得无法将期望的被摄体设置成对焦状态。
在本实施例中，在生成B图像信号的过程中，通过从(A+B)图像信号中减去A图像信号来生成B图像信号。针对图像信号，设置可输出的上限值。在本实施例中，针对A图像、B图像和(A+B)图像的图像信号，设置相同的上限值。当A图像的图像信号达到可输出的上限值时，(A+B)图像的输出信号也达到上限值。结果，(A+B)图像信号和A图像信号也达到了上限值。也就是说，当A图像信号取上限值时，(A+B)图像信号取相同的上限值，并且通过从(A+B)图像信号中减去A图像信号来生成B图像信号，从而输出0。在这种情况下，A图像信号取上限值，而B图像信号取0，这导致生成错误的图像信号。因此，即使通过相关计算来检测A图像和B图像之间的图像偏移量以计算散焦量，也无法将所期望的被摄体设置成对焦状态。此外，即使A图像信号没有达到上限值，在(A+B)图像处于饱和状态的情况下，在生成B图像时也会丢失图像信号。在这种情况下，即使通过相关计算根据A图像和B图像之间的图像偏移量来计算散焦量，也无法将所期望的被摄体设置成对焦状态。
如上所述，为了即使在各像素饱和的情况下也将高亮度被摄体设置成对焦状态，有必要控制图像信号，以使得A图像信号和(A+B)图像信号都没有达到上限值。在本实施例中，设置了用于将A图像信号和B图像信号抑制为不超过预定阈值的限制单元128并且设置了用于控制该限制单元128的控制单元129，从而将图像信号控制成不会达到上限值。
在本实施例中，由于通过将奇数行的绿色(下文称为G1)和红色(下文称为R)的颜色滤波器的像素值以及偶数行的蓝色(下文称为B)和绿色(下文称为G2)的颜色滤波器的像素值相加来将A图像信号转换为亮度信号，因而针对各个G1、R、B和G2设置阈值。利用该配置，即使特定颜色G1、R、B或G2的值达到上限值，限制单元128也设置阈值，并且控制单元129将各图像信号抑制为不超过该阈值。
对于B图像信号，限制单元128针对其亮度信号设置阈值。这样做的原因如下。也就是说，针对各个G1、R、B和G2生成B图像的处理等同于针对各个G1、R、B和G2临时存储A图像和(A+B)图像中的每一个并且生成B图像的G1、R、B和G2的处理。用于存储信号的电路和用于生成信号的电路等的规模变大。因此，根据A图像和(A+B)图像的亮度信号生成B图像的信号。由于该原因，对于B图像，限制单元128针对其亮度信号设置阈值，并且控制单元129将该亮度信号抑制为不超过该阈值。
将参考图5A～7来说明用于将来自本实施例的各光电转换部的信号控制为不超过上限值的饱和度判断方法。图5A～5D各自示出来自摄像光学系统的入射光量以及摄像元件的输出信号。横轴表示入射光量，并且纵轴表示输出信号。实线表示(A+B)图像，虚线表示A图像，并且点划线表示B图像。图6A～6D各自示出处于对焦状态的实际信号的例子。横轴表示任意行的像素，并且纵轴表示输出信号。图7是示出根据本实施例的操作的流程图。
图5A示出没有进行饱和度判断的情况，并且图5B示出进行了饱和度判断的情况。在实际信号的情况下，图6A示出没有进行饱和度判断的情况，并且图6B示出进行了饱和度判断的情况。在图5A的入射光量小的0～A1的区间中，由于即使对入射光量进行光电转换、各像素信号也没有达到上限值(直到A1的区域)，因而可以输出反映入射光量的A图像信号和B图像信号这两者。在图5A的A1之后的入射光量大的区间中，当(A+B)图像信号超过上限值时，由于B图像是通过从(A+B)图像中减去A图像而生成的，因而B图像自身的信号降低。也就是说，在本实施例中，各个图像信号的上限值相等。因此，当A图像信号超过上限值的1/2时，B图像信号由于A图像的影响而开始降低。也就是说，当A图像信号超过上限值的1/2时，B图像信号由于A图像信号的影响而降低。换句话说，随着A图像信号的增加，B图像信号也应该增加。然而，在A图像信号超过上限值之后，B图像信号随着A图像信号的增加而降低。也就是说，B图像信号以不期望的方式反向改变。结果，如图6A所示，A图像和B图像之间的图像一致度极度劣化。如上所述，即使进行相关计算，图像一致度也劣化，因而所计算出的散焦量不正确，由此使得无法将所期望的被摄体设置成对焦状态。
将参考图5B说明进行饱和度判断的情况。图5B假设A图像和B图像的图像信号取相同的值。限制单元128将如下值设置为阈值，并且控制单元129将图像信号控制为不超过该阈值，其中该值将A图像的图像信号的输出设置为上限值的1/2。利用该配置，A图像和B图像的图像信号都等于或小于上限值的1/2，因此(A+B)图像的图像信号不会达到上限值。如上所述，如图6B所示，进行饱和度判断使得能够在不会降低处于对焦状态的A图像和B图像之间的图像一致度的情况下进行相关计算，从而计算出正确的散焦量。
在摄像元件的周边部、即图像高度大的区域中，出射光瞳的直径由于摄像光学系统的遮光(渐晕)而变小。像素的所接收到的光量降低，并且两个光电转换部的所接收到的光量变得不相等。随着光圈的开口直径的降低，所接收到的光量的不均匀性变得显著。如上所述，一个像素的两个光电转换部211a和211b的所接收到的光量可能彼此不同。将参考图5C、5D、6C和图6D来说明作为来自两个光电转换部211a和211b的信号的A图像信号和B图像信号的值彼此不同时的饱和度判断。
图5C表示没有针对B图像而是针对A图像进行饱和度判断的情况，并且图5D表示针对A图像和B图像这两者进行饱和度判断的情况。图5C和5D各自示出B图像信号大于A图像信号的情况。即使A图像信号等于或小于上限值的1/2，B图像信号也可能已超过上限值的1/2，因此(A+B)图像的信号可能超过上限值。由于B图像信号是通过从(A+B)图像信号中减去A图像信号而生成的，因此由于(A+B)图像信号已超过上限值而不期望地将伪信号输出至B图像信号。结果，如图6C所示，A图像和B图像之间的图像一致度极度劣化，因而无法通过相关计算根据图像偏移量来计算正确的散焦量。
在本实施例中，如图5D所示，还针对B图像信号设置阈值。更具体地，设置阈值，以使得B图像信号等于或小于上限值的1/2。通过针对B图像信号设置阈值，避免了仅B图像信号超过上限值的1/2的情形。这使得可以在防止发生A图像信号和B图像信号其中之一超过上限值的1/2而造成由于(A+B)图像信号的饱和所引起的伪信号混入B图像信号的情况的同时，生成B图像信号。结果，如图6D所示，可以在不会降低A图像和B图像之间的图像一致度的情况下通过相关计算根据A图像和B图像之间的图像偏移量来计算散焦量，从而使得像素处于饱和的高亮度被摄体进入对焦状态。
将参考图7所示的流程图来说明根据本实施例的操作。该处理在步骤S101中开始。在步骤S102中，读出来自摄像元件107的信号，并且处理进入步骤S103。在步骤S103中，生成A图像信号的R、G1、B和G2信号，并且处理进入步骤S104。在步骤S105中，针对A图像的输出R、G1、B和G2信号分别判断信号输出是否超过阈值。如果没有超过阈值，则处理进入步骤S107；否则，处理进入步骤S106。在步骤S106中，将超过阈值的A图像信号设置为等于或小于该阈值的预定值，并且针对下一行的A图像的R、G1、B和G2信号等同地进行饱和度判断。在所有的A图像信号或预定AF框内的A图像信号的饱和度判断完成时，在步骤S107中终止饱和度判断，并且处理进入步骤S108。在步骤S108中，将A图像的所有R、G1、B和G2信号相加以生成亮度信号，并且处理进入步骤S109。在步骤S109中，通过将A图像的亮度信号和B图像的亮度信号相加来生成(A+B)图像的亮度信号，并且处理进入步骤S110。在步骤S110中，为了开始B图像信号的饱和度判断，通过从(A+B)图像的亮度信号中减去A图像的亮度信号来生成B图像的亮度信号。在步骤S112中，判断B图像的亮度信号是否超过阈值。如果没有超过阈值，则处理进入步骤S114；否则，处理进入步骤S113。在步骤S113中，将B图像的亮度信号设置为等于或小于阈值的预定值，并且针对下一行的B图像亮度信号进行饱和度判断。在所有的B图像信号或AF框内的B图像信号的饱和度判断完成时，处理进入步骤S114，并在步骤S115中结束。
如上所述，在将(A+B)图像信号转换成亮度信号之后，生成B图像，并且对B图像的亮度信号进行饱和度判断。尽管可以对B图像的R、G1、B和G2信号进行饱和度判断，但需要用于存储这些信号的附加存储器，由此增大了电路规模。如本实施例那样，通过将(A+B)图像和B图像各自的R、G1、B和G2信号相加以获得相应的亮度信号、并且使用B图像的亮度信号对该B图像进行饱和度判断，可以减小电路规模并且计算期望的散焦量。上述过程使得能够通过相关计算根据A图像和B图像之间的图像偏移量来计算散焦量。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (4)

1.一种摄像设备，包括：
摄像元件，其具有多个像素，所述多个像素各自包括包含第一光电转换部和第二光电转换部的至少两个光电转换部、以及预定颜色的颜色滤波器，其中所述第一光电转换部用于接收穿过摄像光学系统的光瞳区域的一部分的光，以及所述第二光电转换部用于接收穿过所述摄像光学系统的光瞳区域的不同部分的光；
读出单元，用于从所述摄像元件中读出从所述第一光电转换部获得的第一图像信号以及通过将从所述第一光电转换部获得的所述第一图像信号和从所述第二光电转换部获得的第二图像信号相加所获得的相加信号；
相减单元，用于通过从所述相加信号中减去所述第一图像信号来获得所述第二图像信号；
焦点检测单元，用于基于所述第一图像信号和所述第二图像信号来检测所述摄像光学系统的焦点状态；以及
限制单元，用于将所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过预定阈值，
其中，所述限制单元对于所述第一图像信号和所述第二图像信号，将针对不同的颜色滤波器的所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过所述预定阈值。
2.根据权利要求1所述的摄像设备，其中，所述限制单元对于所述第一图像信号，将针对红色、绿色和蓝色的颜色滤波器至少之一的所述第一光电转换部的输出抑制成不超过所述预定阈值。
3.根据权利要求1所述的摄像设备，其中，所述限制单元对于所述第二图像信号，将通过使与红色、绿色和蓝色的颜色滤波器相对应的所述第二光电转换部的信号相加所获得的信号抑制成不超过所述预定阈值。
4.一种摄像设备的控制方法，所述摄像设备包括具有多个像素的摄像元件，所述多个像素各自包括包含第一光电转换部和第二光电转换部的至少两个光电转换部、以及预定颜色的颜色滤波器，其中所述第一光电转换部用于接收穿过摄像光学系统的光瞳区域的一部分的光，以及所述第二光电转换部用于接收穿过所述摄像光学系统的光瞳区域的不同部分的光，所述控制方法包括以下步骤：
读出步骤，用于从所述摄像元件中读出从所述第一光电转换部获得的第一图像信号以及通过将从所述第一光电转换部获得的所述第一图像信号和从所述第二光电转换部获得的第二图像信号相加所获得的相加信号；
相减步骤，用于通过从所述相加信号中减去所述第一图像信号来获得所述第二图像信号；
焦点检测步骤，用于基于所述第一图像信号和所述第二图像信号来检测所述摄像光学系统的焦点状态；以及
限制步骤，用于将所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过预定阈值，
其中，在所述限制步骤中，对于所述第一图像信号和所述第二图像信号，将针对不同的颜色滤波器的所述第一光电转换部的输出和所述第二光电转换部的输出抑制成不超过所述预定阈值。
CN201410143658.8A 2013-04-10 2014-04-10 摄像设备及其控制方法 Active CN104104849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710224569.XA CN107249097B (zh) 2013-04-10 2014-04-10 摄像设备及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013082499A JP6317548B2 (ja) 2013-04-10 2013-04-10 撮像装置及びその制御方法
JP2013-082499 2013-04-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710224569.XA Division CN107249097B (zh) 2013-04-10 2014-04-10 摄像设备及其控制方法

Publications (2)

Publication Number Publication Date
CN104104849A true CN104104849A (zh) 2014-10-15
CN104104849B CN104104849B (zh) 2017-07-28

Family

ID=51672626

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410143658.8A Active CN104104849B (zh) 2013-04-10 2014-04-10 摄像设备及其控制方法
CN201710224569.XA Active CN107249097B (zh) 2013-04-10 2014-04-10 摄像设备及其控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710224569.XA Active CN107249097B (zh) 2013-04-10 2014-04-10 摄像设备及其控制方法

Country Status (4)

Country Link
US (2) US9313469B2 (zh)
JP (1) JP6317548B2 (zh)
KR (1) KR20140122667A (zh)
CN (2) CN104104849B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973206A (zh) * 2017-04-28 2017-07-21 广东欧珀移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
CN107666571A (zh) * 2016-07-29 2018-02-06 佳能株式会社 具有焦点检测技术的摄像设备及其控制方法和存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6116301B2 (ja) * 2013-03-21 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
JP6234054B2 (ja) * 2013-04-25 2017-11-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
KR102028124B1 (ko) * 2013-05-24 2019-10-02 삼성전자주식회사 위상차 초점검출 가능한 촬상소자
WO2014206427A1 (en) 2013-06-26 2014-12-31 Xigen Inflammation Ltd. New use of cell-permeable peptide inhibitors of the jnk signal transduction pathway for the treatment of various diseases
WO2015197097A1 (en) 2014-06-26 2015-12-30 Xigen Inflammation Ltd. New use for jnk inhibitor molecules for treatment of various diseases
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6600170B2 (ja) * 2014-07-07 2019-10-30 キヤノン株式会社 撮像素子及びその制御方法並びに撮像装置
JP6530593B2 (ja) * 2014-08-11 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法、記憶媒体
CN107003500B (zh) * 2014-11-18 2019-11-12 富士胶片株式会社 对焦控制装置、对焦控制方法、镜头装置、摄像装置
JP6478600B2 (ja) * 2014-12-04 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP6437344B2 (ja) * 2015-02-25 2018-12-12 ルネサスエレクトロニクス株式会社 半導体装置
EP3098638B1 (en) * 2015-05-29 2022-05-11 Phase One A/S Adaptive autofocusing system
JP6532411B2 (ja) * 2016-01-14 2019-06-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP6700973B2 (ja) * 2016-05-24 2020-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP7038050B2 (ja) * 2016-07-06 2022-03-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、補正方法、および電子装置
JP7005313B2 (ja) * 2017-11-21 2022-01-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7023701B2 (ja) * 2017-12-18 2022-02-22 キヤノン株式会社 撮像装置およびプログラム
JP7009219B2 (ja) * 2018-01-10 2022-01-25 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
TW202018927A (zh) * 2018-06-15 2020-05-16 日商索尼股份有限公司 固體攝像元件、固體攝像裝置、電子機器及固體攝像元件之製造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182478A1 (en) * 2007-07-03 2010-07-22 Yasuhiro Sawada Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program
US20110199506A1 (en) * 2008-11-11 2011-08-18 Canon Kabushiki Kaisha Focus detection apparatus and control method therefor
CN102177456A (zh) * 2008-10-10 2011-09-07 佳能株式会社 摄像设备
CN102472881A (zh) * 2009-07-07 2012-05-23 佳能株式会社 焦点检测设备
CN102833472A (zh) * 2011-06-15 2012-12-19 佳能株式会社 摄像设备及其控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01306809A (ja) 1988-06-03 1989-12-11 Canon Inc 焦点調節装置
JP3260820B2 (ja) * 1992-06-08 2002-02-25 オリンパス光学工業株式会社 焦点検出装置
JPH06311417A (ja) 1993-04-23 1994-11-04 Nippon Philips Kk 焦点制御装置
JP3700219B2 (ja) * 1995-11-08 2005-09-28 株式会社ニコン 焦点検出装置、および焦点検出装置の調整方法
JP4908668B2 (ja) * 2000-04-19 2012-04-04 キヤノン株式会社 焦点検出装置
JP4867566B2 (ja) 2006-10-18 2012-02-01 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
JP5147645B2 (ja) * 2008-10-30 2013-02-20 キヤノン株式会社 撮像装置
JP5075795B2 (ja) 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置
JP2011221253A (ja) * 2010-04-08 2011-11-04 Sony Corp 撮像装置、固体撮像素子、撮像方法およびプログラム
WO2011158567A1 (ja) * 2010-06-18 2011-12-22 富士フイルム株式会社 固体撮像素子及びデジタルカメラ
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
JP5742313B2 (ja) * 2011-03-10 2015-07-01 株式会社ニコン 撮像装置
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182478A1 (en) * 2007-07-03 2010-07-22 Yasuhiro Sawada Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program
CN102177456A (zh) * 2008-10-10 2011-09-07 佳能株式会社 摄像设备
US20110199506A1 (en) * 2008-11-11 2011-08-18 Canon Kabushiki Kaisha Focus detection apparatus and control method therefor
CN102472881A (zh) * 2009-07-07 2012-05-23 佳能株式会社 焦点检测设备
CN102833472A (zh) * 2011-06-15 2012-12-19 佳能株式会社 摄像设备及其控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666571A (zh) * 2016-07-29 2018-02-06 佳能株式会社 具有焦点检测技术的摄像设备及其控制方法和存储介质
CN107666571B (zh) * 2016-07-29 2020-06-09 佳能株式会社 具有焦点检测技术的摄像设备及其控制方法和存储介质
CN106973206A (zh) * 2017-04-28 2017-07-21 广东欧珀移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
WO2018196698A1 (zh) * 2017-04-28 2018-11-01 Oppo广东移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
CN106973206B (zh) * 2017-04-28 2020-06-05 Oppo广东移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
US11082605B2 (en) 2017-04-28 2021-08-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of photography processing for camera module, terminal, using same and storage medium implementing same

Also Published As

Publication number Publication date
CN104104849B (zh) 2017-07-28
JP6317548B2 (ja) 2018-04-25
US9313469B2 (en) 2016-04-12
CN107249097A (zh) 2017-10-13
US9742984B2 (en) 2017-08-22
JP2014206564A (ja) 2014-10-30
US20140307134A1 (en) 2014-10-16
CN107249097B (zh) 2020-04-07
US20160191789A1 (en) 2016-06-30
KR20140122667A (ko) 2014-10-20

Similar Documents

Publication Publication Date Title
CN104104849A (zh) 摄像设备及其控制方法
US8730373B2 (en) Image forming apparatus
KR101362241B1 (ko) 촬상장치
JP5917207B2 (ja) 焦点調節装置
US20120092545A1 (en) Focus detection apparatus
US8736742B2 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
JP2012003080A (ja) 撮像装置
JP4983271B2 (ja) 撮像装置
CN103843318A (zh) 摄像设备及其控制方法
CN104508531A (zh) 拍摄元件和拍摄装置
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP2012252280A (ja) 撮像装置
JP2017032646A (ja) 撮像装置及びその制御方法
US20190007599A1 (en) Image sensor and image-capturing device
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP6929511B2 (ja) 撮像素子、及び、撮像装置
JP7019442B2 (ja) 撮像装置およびその制御方法
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP2017223763A (ja) 撮像装置
US9591204B2 (en) Focus detecting unit, focus detecting method, image pickup apparatus, and image pickup system
JP6234097B2 (ja) 撮像装置およびその制御方法
JP2020003686A (ja) 焦点検出装置、撮像装置および交換レンズ装置
JP2018026604A (ja) 撮像装置および撮像装置システム
JP2018031931A (ja) 焦点検出装置
JP2002090619A (ja) 焦点検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant