CN109474781B - 摄像装置、摄像装置的控制方法、记录介质 - Google Patents

摄像装置、摄像装置的控制方法、记录介质 Download PDF

Info

Publication number
CN109474781B
CN109474781B CN201811041790.2A CN201811041790A CN109474781B CN 109474781 B CN109474781 B CN 109474781B CN 201811041790 A CN201811041790 A CN 201811041790A CN 109474781 B CN109474781 B CN 109474781B
Authority
CN
China
Prior art keywords
image
focus detection
pixel
image pickup
pixel signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811041790.2A
Other languages
English (en)
Other versions
CN109474781A (zh
Inventor
畠山陵
岛田义尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109474781A publication Critical patent/CN109474781A/zh
Application granted granted Critical
Publication of CN109474781B publication Critical patent/CN109474781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

提供摄像装置、摄像装置的控制方法、记录介质,能够根据用途适当得到高画质的图像用像素信号和高画质的焦点检测用像素信号。摄像装置具有:像素部(22)等,其将图像用像素分割成生成光电转换信号的多个焦点检测用像素,根据光电转换信号生成图像用像素信号和焦点检测用像素信号;以及元件控制部(29)等,其对像素部(22)等进行控制,以使得在某个帧中进行生成并读出一对焦点检测用像素信号双方的第1读出,在另一个帧中进行第2读出,该第2读出是指生成一对焦点检测用像素信号中的一方,并且,对光电转换信号进行相加而生成图像用像素信号,读出所生成的一个焦点检测用像素信号和图像用像素信号。

Description

摄像装置、摄像装置的控制方法、记录介质
技术领域
本发明涉及将与微透镜对应的图像用像素分割成多个焦点检测用像素的摄像装置、摄像装置的控制方法、记录摄像装置的控制程序的计算机可读取的非暂时性记录介质。
背景技术
以往提出了如下的摄像元件并已经产品化:将与微透镜对应的图像用像素分割成多个焦点检测用像素,以使得能够利用摄像元件单体取得相位差检测用的信息。
例如,在日本特开2014-216866号公报中记载了如下的摄像装置:具有一个微透镜的一个像素具有2个光电转换部,在第1写入处理中,将从像素的1个光电转换部提供的信号写入第1电容,在第2写入处理中,将对从2个光电转换部提供的信号进行相加后的信号写入第2电容,将相加后的信号用于摄像信号,将第1信号以及相加后的信号与第1信号的差分信号用于焦点检测。
在上述日本特开2014-216866号公报所记载的技术中,能够得到高画质的信号作为图像用像素信号,但是,关于焦点检测用像素信号,需要对包含噪声成分的2个信号进行差分运算,因此,与图像用像素信号相比,S/N降低。并且,在相加信号达到数字限幅的电平(数字信号的最大值)以后,即使进行差分运算也无法对焦点检测用像素信号进行复原,因此,焦点检测用像素信号的动态范围变窄。
发明内容
本发明的目的在于,提供能够根据用途适当得到高画质的图像用像素信号和高画质的焦点检测用像素信号的摄像装置、摄像装置的控制方法、记录摄像装置的控制程序的计算机可读取的非暂时性记录介质。
本发明的一个方式的摄像装置具有:摄像部,其具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,该多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号;以及控制部,其对所述摄像部进行控制,使得在某个帧中进行第1读出,在另一个帧中进行第2读出,其中,该第1读出是值根据所述光电转换信号生成并读出第1光瞳分割方向上的一对所述焦点检测用像素信号双方,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且对一个图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
本发明的另一个方式的摄像装置的控制方法是如下方法:该摄像装置具有摄像部,该摄像部具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,这多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号,其中,对所述摄像部进行控制,使得在某个帧中进行第1读出,在另一个帧中进行第2读出,其中,该第1读出是指根据所述光电转换信号生成并读出第1光瞳分割方向上的一对所述焦点检测用像素信号双方,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且,对一个图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
本发明的又一个方式的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质是记录如下的摄像装置的控制程序的记录介质:该摄像装置具有摄像部,该摄像部具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,这多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号,其中,对所述摄像部进行控制,以使得在某个帧中进行根据所述光电转换信号生成第1光瞳分割方向上的一对所述焦点检测用像素信号双方并读出的第1读出,在另一个帧中进行第2读出,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且,对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
附图说明
图1是示出本发明的实施方式1中的摄像装置的结构的框图。
图2是示出上述实施方式1中的摄像元件的结构的框图。
图3是示出上述实施方式1中在一个微透镜中配置2个或4个光电二极管的像素构造的例子的图表。
图4是示出上述实施方式1中的4PD像素构造的像素的结构例的电路图。
图5是示出上述实施方式1中进行焦点检测用像素优先模式中的电子快门动作时的摄像元件的驱动例的时序图。
图6是示出上述实施方式1中进行焦点检测用像素优先模式中的像素信号读出时的摄像元件的驱动例的时序图。
图7是示出上述实施方式1中进行图像用像素优先模式中的电子快门动作时的摄像元件的驱动的第1例的时序图。
图8是示出上述实施方式1中进行图像用像素优先模式中的电子快门动作时的摄像元件的驱动的第2例的时序图。
图9是示出上述实施方式1中进行图像用像素优先模式中的像素信号读出时的摄像元件的驱动例的时序图。
图10是示出上述实施方式1中进行仅图像模式中的电子快门动作时的摄像元件的驱动例的时序图。
图11是示出上述实施方式1中进行仅图像模式中的像素信号读出时的摄像元件的驱动例的时序图。
图12是示出上述实施方式1中对位于像素部的中央部的4PD像素构造的像素照射的光的状况的图。
图13是示出上述实施方式1中对位于像素部的周边部的4PD像素构造的像素照射的光的状况的图。
图14是用于说明上述实施方式1的焦点检测用像素优先模式中取得的显示/记录用的像素信号的动态范围的时序图。
图15是用于说明上述实施方式1的图像用像素优先模式中取得的显示/记录用的像素信号的动态范围的时序图。
图16是用于说明上述实施方式1的焦点检测用像素优先模式中取得的焦点检测用的像素信号的动态范围的时序图。
图17是用于说明上述实施方式1的图像用像素优先模式中取得的焦点检测用的像素信号的动态范围的时序图。
图18是用于说明上述实施方式1的焦点检测用像素优先模式、图像用像素优先模式、仅图像模式中分别取得的显示/记录用的像素信号和焦点检测用的像素信号的S/N和动态范围中的优劣的图表。
图19是上述实施方式1中根据焦点检测用数据的需要/不需要、以及使焦点检测用像素和图像用像素中的哪个像素优先对按照哪个时序图驱动摄像元件进行分类的图表。
图20是示出上述实施方式1中的摄像装置的作用的流程图。
图21是示出上述实施方式1的图20中的步骤S4的AF用处理的内容的流程图。
图22是示出上述实施方式1的图20中的步骤S5的静态图像用处理的内容的流程图。
图23是示出上述实施方式1中按照每1帧交替进行焦点检测用像素优先模式的摄像元件的动作和图像用像素优先模式的摄像元件的动作的例子的时序图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图23示出本发明的实施方式1,图1是示出摄像装置的结构的框图。
如图1所示,摄像装置1具有摄像镜头2、快门3、摄像元件4、数据总线5、存储器6、焦点检测用减法部7、焦点检测用信号处理部8、图像信号用加法部9、图像信号处理部10、显示部11、记录部12、输入接口(输入接口)13、系统控制部14,具有作为所谓照相机的功能。
摄像镜头2是用于使被摄体的光学像成像在摄像元件4上的摄影光学系统。该摄像镜头2具有用于调节对焦位置的对焦镜头、以及控制穿过摄像镜头2的光束的范围的光学光圈,例如构成为焦距可变的变焦镜头。通过系统控制部14的驱动控制对摄像镜头2的对焦位置、光学光圈的开口直径(光圈值)和焦距进行变更。
快门3控制来自摄像镜头2的光束到达摄像元件4的时间,例如成为焦平面快门等使快门幕帘行动的结构的机械快门。通过系统控制部14对该快门3的开闭动作进行驱动控制。
摄像元件4包含在摄像部中,具有呈二维状排列多个图像用像素的像素部22(参照图2)。图像用像素成为对应于微透镜L(参照图3)而分割成多个焦点检测用像素的结构。这里,焦点检测用像素对穿过将摄影光学系统即摄像镜头2的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换,生成光电转换信号。这样,可以说在像素部22中呈二维状排列多个焦点检测用像素。
而且,摄像元件4根据系统控制部14的控制,如上所述对通过快门3而由摄像镜头2成像的被摄体的光学像进行光电转换,生成多个光电转换信号。
这种摄像元件4例如构成为具有原色拜耳排列的滤色器的单板式CMOS摄像元件,但是,当然不限于该结构。
而且,本实施方式的摄像元件4根据系统控制部14的控制,能够通过进行第1读出的焦点检测用像素优先模式(单纯读出方式)、进行第2读出的图像用像素优先模式(减法读出方式)、进行第3读出的仅图像模式(无相位差信息读出方式)进行动作。
举出一个图像用像素例如被分割成2个焦点检测用像素A、B的情况作为例子时,在焦点检测用像素优先模式(单纯读出方式)中,通过第1读出,从摄像元件4分别输出一对焦点检测用像素信号A、B。并且,在图像用像素优先模式(减法读出方式)中,通过第2读出,从摄像元件4输出一对焦点检测用像素信号A、B中的任意一方(这里例如设为焦点检测用像素信号A)和对一对焦点检测用像素信号A、B进行相加后的图像用像素信号(A+B)。进而,在仅图像模式(无相位差信息读出方式)中,通过第3读出,仅输出对一对焦点检测用像素信号A、B进行相加后的图像用像素信号(A+B),不输出焦点检测用像素信号A、B中的任意一方。
数据总线5是用于从摄像装置1内的某个场所向另外的场所转送各种数据和控制信号的转送路径。本实施方式中的数据总线5与摄像元件4、存储器6、焦点检测用减法部7、焦点检测用信号处理部8、图像信号用加法部9、图像信号处理部10、显示部11、记录部12、输入接口13、系统控制部14连接。
存储器6是暂时存储由摄像元件4生成的像素信号的存储部,例如由DRAM(动态随机存取存储器)等构成。该存储器6还用作摄像装置1内的各部例如进行图像处理或焦点检测等各种处理时的工作存储器或图像的缓冲存储器。
焦点检测用减法部7在进行了上述减法读出方式的第2读出时,从图像用像素信号中减去一对焦点检测用像素信号中的一方,由此生成一对焦点检测用像素信号中的另一方(或者可以说“对另一方进行复原”)。在上述单纯读出方式的第1读出中,能够将从摄像元件4输出的焦点检测用像素信号A、B直接用于相位差检测,与此相对,在减法读出方式的第2读出中,进行相位差检测所需要的焦点检测用像素信号(上述例子中的焦点检测用像素信号B)不足。因此,焦点检测用减法部7例如进行{(A+B)-A}的减法,由此对焦点检测用像素信号B进行复原。
焦点检测用信号处理部8根据单纯读出方式中从摄像元件4输出的一对焦点检测用像素信号双方、或者减法读出方式中从摄像元件4输出的一对焦点检测用像素信号中的一方和由焦点检测用减法部7复原的一对焦点检测用像素信号中的另一方,进行像面相位差检测。
并且,本实施方式中的焦点检测用信号处理部8除了能够进行基于焦点检测用像素信号的相位差检测方式的焦点检测(相位差AF)以外,还能够进行基于图像用像素信号的对比度的焦点检测(对比度AF)。
而且,焦点检测用信号处理部8根据焦点检测的结果,计算用于向合焦位置移动摄像镜头2的对焦位置的镜头控制参数。而且,焦点检测用信号处理部8对焦点检测用像素信号进行运算,例如,能够计算3D信息、深度图或深度校正信息等,在计算出它们的情况下,向图像信号处理部10发送其结果。
图像信号用加法部9在进行了上述单纯读出方式的第1读出时,根据需要,对一对焦点检测用像素信号双方进行相加,生成图像用像素信号。具体而言,图像信号用加法部9对单纯读出方式中从摄像元件4输出的焦点检测用像素信号(上述例子中的A、B)进行相加,由此对图像用像素信号(A+B)进行复原。
图像信号处理部10对减法读出方式或无相位差信息读出方式中从摄像元件4输出的图像用像素信号、或者单纯读出方式中从摄像元件4输出且由图像信号用加法部9复原的图像用像素信号进行图像处理,生成显示用和/或记录用的图像(例如用于显示在显示部11中的图像、用于记录在记录部12中的图像等)。
该图像信号处理部10针对图像用像素信号,例如进行OB减法、白平衡(WB)增益、去马赛克、噪声降低、颜色转换、伽马转换、放大缩小等图像处理(包含所谓显影处理)。另外,在记录部12中记录静态图像或动态图像时或从记录部12读出静态图像或动态图像时的数据压缩/数据解压缩可以通过该图像信号处理部10进行,也可以设置专用的压缩解压缩部来进行。
显示部11是显示图像、并且显示摄像装置1的各种信息的显示装置。该显示部11例如具有LCD面板或有机电致发光(有机EL)显示器等器件。作为显示部11的具体配置和结构,举出电子实时取景器(EVF)、摄像装置1的背面面板、与摄像装置1无线连接的便携器件的显示装置等。因此,显示部11不限于摄像装置1固有的结构。
记录部12是非易失地记录由多个像素信号构成的图像数据(静态图像数据、动态图像数据等)的记录部,例如由内置于摄像装置1主体内的闪存或能够相对于摄像装置1主体拆装的存储卡等构成。因此,记录部12不限于摄像装置1固有的结构。
输入接口13用于对该摄像装置1进行各种操作输入。输入接口13例如包含用于接通/断开摄像装置1的电源的电源按钮、用于指示图像的拍摄开始的例如释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置1的设定等的菜单按钮、项目的选择操作中使用的十字键或选择项目的确定操作中使用的OK按钮等操作按钮等。
这里,在能够使用菜单按钮或十字键、OK按钮等设定的项目中,例如包含拍摄模式(静态图像拍摄模式、动态图像拍摄模式等)、记录模式(JPEG记录、RAW+JPEG记录等)、再现模式等。
而且,在输入接口13中,作为功能按钮,包含用于选择AF用处理的第1按钮、用于选择静态图像用处理的第2按钮、用于选择动态图像用处理的第3按钮(参照后述图20)。另外,在第1~第3按钮都断开的情况下,选择实时取景(LV)用处理。
对输入接口13进行操作后,与操作内容对应的信号被输出到系统控制部14。
另外,作为输入接口13的具体配置和结构,举出配设在照相机主体的外包装上的按钮和开关类、或者设置在显示部11的背面面板的显示面中的触摸面板、用于进行远程操作的遥控释放装置或便携器件等。因此,输入接口13也不限于摄像装置1固有的结构。
系统控制部14例如构成为包含CPU,是对摄像装置1内的各部进行总括控制的控制部。
系统控制部14按照规定的处理程序(包含摄像程序),执行与来自输入接口13的操作输入对应的各种的顺序。这里,处理程序可以非易失地存储在系统控制部14内,也可以构成为非易失地存储在存储器6中并由系统控制部14读入。
例如,系统控制部14根据由焦点检测用信号处理部8计算出的镜头控制参数,对摄像镜头2的对焦镜头进行控制,根据系统控制部14内进行的曝光运算的结果进行摄像镜头2的光圈和快门3的控制,对摄像元件4进行控制,使其进行摄像并输出像素信号。并且,系统控制部14还进行在显示部11中显示各种信息的控制、以及针对记录部12记录或读出数据的控制等。
接着,图2是示出摄像元件4的结构的框图。
摄像部具有分割成多个焦点检测用像素的图像用像素,根据通过焦点检测用像素对光束进行光电转换而生成的光电转换信号,生成图像用像素信号和焦点检测用像素信号,如上所述包含摄像元件4。
在图2所示的例子中,摄像元件4具有垂直扫描部21、像素部22、模拟处理部23、ADC处理部24、存储器部25、水平扫描部26、输出部27、输入部28、元件控制部29。
图像用像素(进而,焦点检测用像素)排列在像素部22中,垂直扫描部21~输出部27中的至少一部分和元件控制部29等基于光电转换信号生成图像用像素信号和焦点检测用像素信号。
另外,在图2中,示出摄像元件4不仅具有垂直扫描部21和像素部22、还具有模拟处理部23~元件控制部29的结构例,但是不限于此,例如也可以将模拟处理部23~元件控制部29中的一方以上配置在摄像元件4的外部。
如上所述,像素部22是呈二维状(例如垂直方向(列方向)和水平方向(行方向))排列图像用像素(进而,焦点检测用像素)的像素阵列部。
这里,图3是示出在一个微透镜L中配置2个或4个光电二极管PD的像素构造的例子的图表。
作为图像用像素的构造,在该图3中例示针对一个微透镜L配置2个光电二极管PD的2PD像素构造以及针对一个微透镜L配置4个光电二极管PD的4PD像素构造。
像素构成为在从物体侧朝向像侧的层叠方向上依次配设微透镜L、滤色器F、光电二极管PD。这里,微透镜L通过聚集光来增加到达图像用像素的光量,实质上增大图像用像素的开口率。并且,关于滤色器F,例如在原色拜耳排列的滤色器的情况下,根据其像素位置配设R滤色器、G滤色器或B滤色器中的任意一方。
这里,在图3所示的2PD像素构造的情况下,在一个微透镜L的成像范围内配设2个光电二极管PD。关于2个光电二极管PD,在用于检测水平方向的相位差的情况下左右进行二分割,在用于检测垂直方向的相位差的情况下上下进行二分割。由此,构成2个焦点检测用像素a、b。
另一方面,在图3所示的4PD像素构造的情况下,在一个微透镜L的成像范围内配设4个光电二极管PD。4个光电二极管PD上下左右进行四分割(即4个光电二极管PD分别配置在左上、左下、右上、右下的位置),以使得能够检测水平方向和垂直方向的相位差。由此,构成4个焦点检测用像素a、b、c、d。
并且,下面,举出像素部22的全部像素是4PD像素构造的情况作为例子来进行说明(但是,不妨碍像素部22的一部分像素成为4PD像素构造或2PD像素构造)。这里,在像素部22的全部像素是4PD像素构造的情况下,从各光电二极管PD输出的像素信号是焦点检测用像素信号。
进而,在通过后述图4的电路结构对光电二极管PD的输出进行垂直2像素相加的情况下、即计算图3中的(a+b)和(c+d)的情况下,成为用于检测(纵线检测)水平方向的相位差的焦点检测用像素信号。
而且,在同样对光电二极管PD的输出进行水平2像素相加的情况下、即计算图3中的(a+c)和(b+d)的情况下,成为用于检测(横线检测)垂直方向的相位差的焦点检测用像素信号。
在图3所示的4PD像素构造的情况下,纵线检测用的焦点检测用像素信号和横线检测用的焦点检测用像素信号中的一方成为第1光瞳分割方向上的一对焦点检测用像素信号,另一方成为第2光瞳分割方向上的一对焦点检测用像素信号。
而且,在同样对光电二极管PD的输出进行4像素相加的情况下、即计算图3中的(a+b+c+d)的情况下,成为图像用像素信号。
垂直扫描部21是依次选择像素部22的像素的水平方向的排列(行)而在垂直方向上进行扫描的电路。该垂直扫描部21选择特定的行,进行位于选择出的行中的各像素的复位和转送,由此对像素的电荷蓄积时间(曝光时间)进行控制。
模拟处理部23是对从像素部22读出的模拟像素信号进行模拟信号处理的电路。该模拟处理部23例如包含对像素信号进行放大的前置放大器、从像素信号中降低复位噪声的相关双采样(CDS)电路等。
模拟数字转换处理部(ADC处理部)24将从模拟处理部23输出的模拟像素信号转换为数字像素信号。该ADC处理部24例如采用以列ADC为代表的、利用每列的模拟数字转换器(ADC)对从像素部22读出的像素信号进行AD转换的结构。
存储器部25通过暂时保持由ADC处理部24转换后的像素信号的易失性存储器电路等构成。
水平扫描部26从存储器部25中按照列顺序读出像素信号(图像用像素信号和焦点检测用像素信号)。
输出部27排列由水平扫描部26读出的像素信号并生成像素信号列,将其转换为串行信号或差动信号等输出信号形式并进行输出。另外,该输出部27或上述ADC处理部24等还作为进行增感处理(与所设定的ISO感光度对应的信号放大处理)的增感部发挥功能。
输入部28从系统控制部14接收与摄像元件4的控制有关的同步信号、基准时钟、动作设定的信息等。
元件控制部29根据经由输入部28接收到的同步信号和基准时钟,对摄像元件4内的各块进行控制,具有读出方法选择部30。
读出方法选择部30根据经由输入部28接收到的动作设定的信息(例如静态图像拍摄、动态图像拍摄、实时取景、AF等照相机模式),选择并设定来自摄像元件4的读出(上述第1读出(单纯读出方式)、第2读出(减法读出方式)、第3读出(无相位差信息读出方式)等)。元件控制部29根据由读出方法选择部30设定的读出方式,对摄像元件4内的各部进行控制。这样,通过元件控制部29和图1所示的系统控制部14等构成对摄像部的读出进行控制的控制部。
控制部对摄像部(在图2所示的结构例中相当于摄像元件4)进行控制,以使得在某个帧中进行第1读出,在另一个帧中进行第2读出。并且,控制部对摄像部进行控制,以使得在又一个帧中进行第3读出。
如上所述,第1读出是指根据光电转换信号生成第1光瞳分割方向上的一对焦点检测用像素信号双方,并读出该一对焦点检测用像素信号双方。
并且,第2读出是指根据光电转换信号生成第2光瞳分割方向上的一对焦点检测用像素信号中的一方,并且,对一个图像用像素内生成的全部光电转换信号进行相加而生成图像用像素信号,读出所生成的一个焦点检测用像素信号和图像用像素信号。
进而,第3读出是指对一个图像用像素内生成的全部光电转换信号进行相加而生成图像用像素信号,仅读出所生成的图像用像素信号。
接着,图4是示出4PD像素构造的像素的结构例的电路图。
在4PD像素构造的像素中,在与一个微透镜L对应的位置配置4个光电二极管PD1~PD4,具体而言,在微透镜L的形成光学像的范围内的左上、左下、右上、右下位置分别配置4个光电二极管PD1~PD4。
在4个光电二极管PD1~PD4上分别连接有作为开关发挥功能的晶体管Tr1~Tr4,从垂直扫描部21分别施加控制信号TX1~TX4,由此分别控制晶体管Tr1~Tr4的导通/截止。
各晶体管Tr1~Tr4与浮动扩散部FD连接,与导通的晶体管Tr对应的光电二极管PD的信号电荷被转送到浮动扩散部FD。
并且,在各晶体管Tr1~Tr4与浮动扩散部FD之间连接有作为开关发挥功能的晶体管Tr5的一端,晶体管Tr5的另一端与电源电压VDD连接。而且,通过对晶体管Tr5施加复位信号RES,控制电源电压VDD侧和浮动扩散部FD侧的导通/截止。根据这种结构,通过使晶体管Tr5导通,进行浮动扩散部FD的复位。并且,在使晶体管Tr1~Tr4导通的状态下,进一步使晶体管Tr5导通,由此进行光电二极管PD1~PD4的复位。
浮动扩散部FD经由作为开关发挥功能的晶体管Tr6以及与电源电压VDD连接且作为放大部发挥功能的晶体管Tr7而与输出端子OUT连接。
通过对晶体管Tr6施加选择信号SEL,浮动扩散部FD的电压值通过晶体管Tr7对而被放大,并从输出端子OUT被读出。
接着,参照图5和图6对第1读出(焦点检测用像素优先模式)的时序图(1)进行说明。
图5是示出进行焦点检测用像素优先模式中的电子快门动作时的摄像元件4的驱动例的时序图。另外,图5(和后述图6~图11)中的定时t1~t10表示一个时序图内的定时的前后关系,即使在不同时序图中记载了表示定时的相同记号(例如t1),也不表示相同时刻。
在定时t2使复位信号RES导通(作为开关发挥功能的晶体管Tr1~Tr6中的、除了明确示出导通的晶体管以外截止。以下同样。)后,对浮动扩散部FD进行复位。在定时t4使复位信号RES截止之前,进行该复位信号RES的导通。
在定时t3使控制信号TX1、TX2导通后,在该时点,由于复位信号RES导通,因此,进一步对光电二极管PD1、PD2的信号电荷进行复位。
在定时t4使复位信号RES截止后,在定时t7使复位信号RES导通后,再次对浮动扩散部FD进行复位。在定时t9使复位信号RES截止之前,进行该复位信号RES的导通。
在定时t8使控制信号TX3、TX4导通后,在该时点,由于复位信号RES导通,因此,进一步对光电二极管PD3、PD4的信号电荷进行复位。
并且,在该图5所示的流程中,不进行从光电二极管PD1~PD4朝向浮动扩散部FD的电荷转送,因此,在定时t2以后,浮动扩散部FD保持复位电荷(时序图中记载为RES)。
接着,图6是示出进行焦点检测用像素优先模式中的像素信号读出时的摄像元件4的驱动例的时序图。该图6示出从图5所示的电子快门的动作起经过了曝光时间(对应于所谓快门速度)后进行的像素信号的读出动作。
在定时t1使复位信号RES导通后,对浮动扩散部FD进行复位。然后,浮动扩散部FD保持复位电荷(RES)。
在定时t2使选择信号SEL导通后,浮动扩散部FD中蓄积的复位电荷(RES)的电压通过晶体管Tr7被放大,从输出端子OUT被读出。
在定时t3使控制信号TX1、TX2导通后,光电二极管PD1的信号电荷(设该信号电荷为PD1)和光电二极管PD2的信号电荷(设该信号电荷为PD2)被转送到浮动扩散部FD。由此,浮动扩散部FD保持电荷(PD12+RES(另外PD12=PD1+PD2))。
在定时t4使选择信号SEL导通后,如上所述从输出端子OUT读出浮动扩散部FD中蓄积的电荷(PD12+RES)的电压。通过模拟处理部23的CDS电路,使用在定时t2读出的复位电压去除在该定时t4读出的电压中包含的复位电压(复位噪声)(以后省略说明,但是,同样地去除复位噪声)。
然后,在定时t6使复位信号RES导通后,对浮动扩散部FD进行复位。然后,浮动扩散部FD保持复位电荷(RES)。
在定时t7使选择信号SEL导通后,从输出端子OUT读出浮动扩散部FD中蓄积的复位电荷(RES)的电压。
在定时t8使控制信号TX3、TX4导通后,光电二极管PD3的信号电荷(设该信号电荷为PD3)和光电二极管PD4的信号电荷(设该信号电荷为PD4)被转送到浮动扩散部FD。由此,浮动扩散部FD保持电荷(PD34+RES(另外PD34=PD3+PD4))。
在定时t9使选择信号SEL导通后,从输出端子OUT读出浮动扩散部FD中蓄积的电荷(PD34+RES)的电压。
接着,参照(图7或图8)和图9对第2读出(图像用像素优先模式)的时序图(2)进行说明。
图7是示出进行图像用像素优先模式中的电子快门动作时的摄像元件4的驱动的第1例的时序图。在图7~图11中,适当省略与图5或图6相同的部分,下面更加简洁地进行说明。
在定时t7使复位信号RES导通,在定时t9使导通的复位信号RES截止。然后,在复位信号RES导通的定时t8使控制信号TX1~TX4导通,对光电二极管PD1~PD4的信号电荷进行复位。
图8是示出进行图像用像素优先模式中的电子快门动作时的摄像元件4的驱动的第2例的时序图。如后面参照图9说明的那样,在图像用像素优先模式中的像素信号读出中,进行定时t3的光电二极管PD1、PD2的信号电荷的读出以及定时t8的光电二极管PD1~PD4的信号电荷的读出。因此,在该图8的电子快门动作中,以定时t3和定时t8这2次进行电子快门动作中的光电二极管PD1~PD4的复位,由此,电源电压VDD的变动恒定(稳定)。
即,在定时t2使复位信号RES导通,在定时t4使导通的复位信号RES截止。然后,在复位信号RES导通的定时t3使控制信号TX1~TX4导通,对光电二极管PD1~PD4的信号电荷进行复位。
进而,在定时t7使复位信号RES导通,在定时t9使导通的复位信号RES截止。然后,在复位信号RES导通的定时t8使控制信号TX1~TX4导通,对光电二极管PD1~PD4的信号电荷进行复位。
图9是示出进行图像用像素优先模式中的像素信号读出时的摄像元件4的驱动例的时序图。
在定时t1使复位信号RES导通并对浮动扩散部FD进行复位,在定时t2读出复位电荷(RES)的电压。
在定时t3将光电二极管PD1、PD2的信号电荷转送到浮动扩散部FD,在定时t4读出电荷(PD12+RES)的电压。
然后,在定时t8将光电二极管PD1~PD4的信号电荷转送到浮动扩散部FD,在定时t9读出电荷(PD1234+RES(另外PD1234=PD1+PD2+PD3+PD4))的电压。
另外,在进行图9所示的动作的情况下,在定时t3读出的电荷和在定时t8读出的电荷的曝光时间不同。但是,该曝光时间的差远远小于实际的曝光时间(例如1/30秒~1/1000秒等),因此,可以认为几乎不存在实质影响。
进而,参照图10和图11对第3读出(仅图像模式)的时序图(3)进行说明。
图10是示出进行仅图像模式中的电子快门动作时的摄像元件4的驱动例的时序图。
在定时t2使复位信号RES导通,在定时t4使导通的复位信号RES截止。然后,在复位信号RES导通的定时t3使控制信号TX1~TX4导通,对光电二极管PD1~PD4的信号电荷进行复位。
图11是示出进行仅图像模式中的像素信号读出时的摄像元件4的驱动例的时序图。
在定时t1使复位信号RES导通并对浮动扩散部FD进行复位,在定时t2读出复位电荷(RES)的电压。
在定时t3将光电二极管PD1~PD4的信号电荷转送到浮动扩散部FD,在定时t4读出电荷(PD1234+RES)的电压。
在进行图10所示的电子快门动作且进行图11所示的像素信号读出的仅图像模式(第3读出)中,能够取得图像用像素信号,但是,无法取得焦点检测用像素信号(但是,进行一次读出即可)。
与此相对,在进行图5所示的电子快门动作且进行图6所示的像素信号读出的焦点检测用像素优先模式(第1读出)、以及进行图7或图8所示的电子快门动作且进行图9所示的像素信号读出的图像用像素优先模式(第2读出)中,通过使用焦点检测用减法部7或图像信号用加法部9,能够取得图像用像素信号和焦点检测用像素信号双方(但是,需要进行2次读出)。
因此,对焦点检测用像素优先模式和图像用像素优先模式的、针对图像用像素信号和焦点检测用像素信号的噪声和动态范围的优劣进行说明。
首先,在焦点检测用像素优先模式中,针对所读出的焦点检测用像素信号PD12、PD34,产生以下的数学式1和数学式2所示的标准偏差的噪声。
[数学式1]
Figure BDA0001792291810000151
[数学式2]
Figure BDA0001792291810000152
而且,焦点检测用像素优先模式中的图像用像素信号PD1234是通过图像信号用加法部9对PD12和PD34进行相加而取得的,因此,计算出的图像用像素信号PD1234的噪声的标准偏差如以下的数学式3所示。另外,对计算出的噪声的标准偏差σ标注撇儿,设为σ’(以下同样)。
[数学式3]
Figure BDA0001792291810000153
这里,数学式3所表示的各量如以下的数学式4所示。
[数学式4]
Figure BDA0001792291810000154
另一方面,在图像用像素优先模式中,从摄像元件4输出图像用像素信号PD1234,因此,图像用像素信号PD1234的噪声的标准偏差如以下的数学式5所示。
[数学式5]
Figure BDA0001792291810000161
因此,对数学式3的右边和数学式5的右边进行比较可知(而且,可以认为标准偏差σ和带撇儿的标准偏差σ’是大致相同的电平),关于图像用像素信号PD1234中包含的噪声的量,图像用像素优先模式下的该噪声的量小于焦点检测用像素优先模式下的该噪声的量,从噪声的观点(S/N的观点)来看,图像用像素优先模式优良。
另一方面,在焦点检测用像素优先模式中,从摄像元件4输出焦点检测用像素信号PD12、PD34,因此,焦点检测用像素信号PD12、PD34的噪声的标准偏差如上述数学式1和数学式2所示。
与此相对,图像用像素优先模式中的焦点检测用像素信号PD34是通过图像信号用加法部9从图像用像素信号PD1234中减去焦点检测用像素信号PD12而取得的,因此,计算出的焦点检测用像素信号PD34的噪声的标准偏差如以下的数学式6所示。
[数学式6]
Figure BDA0001792291810000162
因此,对数学式2的右边和数学式6的右边进行比较可知,关于焦点检测用像素信号PD34中包含的噪声的量,焦点检测用像素优先模式下的该噪声的量小于图像用像素优先模式下的该噪声的量,从噪声的观点(S/N的观点)来看,焦点检测用像素优先模式优良。
接着,图12是示出对位于像素部22的中央部的4PD像素构造的像素照射的光的状况的图,图13是示出对位于像素部22的周边部的4PD像素构造的像素照射的光的状况的图。另外,图12和图13中的阴影部分示出被照射光的部分的例子。
在一般的摄影光学系统的情况下,像素部22的中央部成为摄像镜头2的光轴正交交叉的部分。而且,通过摄像镜头2和微透镜L使光束呈圆形会聚,如图12所示,针对4个光电二极管PD(a、b、c、d)均匀地分配光。
另一方面,在像素部22的周边部,来自摄像镜头2的光倾斜入射,如图13所示,有时光束呈与圆形不同的形状(该形状依赖于摄像镜头2的光学特性和微透镜L的光学特性)会聚。此时,对4个光电二极管PD(a、b、c、d)分配的光有时不均匀。
具体而言,在图13所示的例子中,对4个光电二极管分配的光量成为d>(b,c)>a。因此,当强光入射时,首先,焦点检测用像素d中蓄积的电荷饱和而溢出。
因此,在摄像元件4中,采用如下的构造(基于公知技术的构造):通过使划分一个图像用像素内的多个焦点检测用像素彼此的势垒低于划分多个图像用像素彼此的势垒,从而使一个图像用像素内的某个焦点检测用像素中溢出的电荷移动到同一图像用像素内的另一个焦点检测用像素。由此,能够防止从图像用像素溢出电荷,能够抑制图像的周边部的像素值的降低。
参照图14和图15对由这种结构的摄像元件4取得的显示/记录用的像素信号的动态范围进行说明。
图14是用于说明焦点检测用像素优先模式中取得的显示/记录用的像素信号的动态范围的时序图。
在进行图5所示的电子快门动作且进行图6所示的像素信号读出的焦点检测用像素优先模式中,在光电二极管PD1、PD2的曝光期间和光电二极管PD3、PD4的曝光期间中产生开始定时的偏移和结束定时的偏移。
图14所示的X期间是示出图5的定时t3和定时t8的偏移的期间,图14所示的Y期间是共同的曝光期间,图14所示的Z期间是示出图6的定时t3和定时t8的偏移的期间。
而且,即使在X期间内入射强光而使光电二极管PD1、PD2的电荷溢出到光电二极管PD3、PD4,由于在X期间结束的时点对光电二极管PD3、PD4进行复位,因此,光电二极管PD3、PD4的电荷也缺失。
同样,即使在Z期间内入射强光而使光电二极管PD3、PD4的电荷溢出到光电二极管PD1、PD2,由于在Y期间结束的时点已经读出光电二极管PD1、PD2的电荷,因此,也无助于同一帧的图像(进而,由于在开始下一帧的曝光之前对光电二极管PD1、PD2进行复位,因此,结果为电荷缺失。)。
因此,有时由于电荷的缺失而使图像的亮度降低,(由于缺失特定颜色的电荷)在图像中产生着色。
图15是用于说明图像用像素优先模式中取得的显示/记录用的像素信号的动态范围的时序图。
相对于上述焦点检测用像素优先模式,在进行图7或图8所示的电子快门动作且进行图9所示的像素信号读出的图像用像素优先模式中,一个图像用像素内的全部光电二极管PD1~PD4在图7或图8的定时t8一起开始曝光,因此,曝光开始定时不会产生偏移。
并且,图像用像素的曝光结束定时成为图9的定时t8,因此,在图像用像素中不会产生焦点检测用像素优先模式那样的电荷的缺失。
因此,从显示/记录用的像素信号的动态范围的观点来看,与焦点检测用像素优先模式相比,图像用像素优先模式优良。
接着,参照图16和图17对由摄像元件4取得的焦点检测用的像素信号的动态范围进行说明。
这里,例如考虑如下情况:利用上述ADC处理部24或输出部27等(根据较高设定的ISO感光度)对像素信号进行增感处理(也可以是模拟信号放大、数字信号放大中的任意一方),由此,与焦点检测用像素的光电二极管PD饱和的电平(光电二极管PD中能够蓄积的电荷的最大量)相比,焦点检测用像素信号的数字值的上限电平(数字限幅电平(数字信号的最大值),例如12比特信号中的值“4095”)较低。
首先,图16是用于说明焦点检测用像素优先模式中取得的焦点检测用的像素信号的动态范围的时序图。
当设每单位时间入射到像素的光量恒定时,根据曝光时间t的增加,像素信号值单调增加。在焦点检测用像素优先模式中,例如为了输出PD12和PD34,在PD12和PD34中的任意一方先进行数字限幅之前(例如在12比特信号的情况下,PD12和PD34中的任意一方先达到4095的值之前(在图16的例子中,由于PD12>PD34,因此,是在PD12达到4095的值之前)),PD12和PD34保持与曝光量对应的信号值。
另一方面,图17是用于说明图像用像素优先模式中取得的焦点检测用的像素信号的动态范围的时序图。
在图像用像素优先模式中,例如虽然输出PD1234和PD12,但是,信号值存在PD1234>PD12的关系。因此,仅在PD1234进行数字限幅之前,PD1234能够保持与曝光量对应的信号值。当PD1234进行数字限幅后,即使进行了PD34=PD1234-PD12的计算,如图17所示,也无法得到与曝光量对应的正确的信号值PD34。
而且,一般情况下,认为即使PD1234进行数字限幅,PD12和PD34也不进行数字限幅。
因此,从焦点检测用的像素信号的动态范围的观点来看,与图像用像素优先模式相比,焦点检测用像素优先模式优良。
图18是用于说明焦点检测用像素优先模式(时序图(1))、图像用像素优先模式(时序图(2))、仅图像模式(时序图(3))中分别取得的显示/记录用的像素信号和焦点检测用的像素信号的S/N和动态范围的优劣的图表。在该图18中,利用“○”表示优良的情况,利用“△”表示与优良的情况相比为恶劣的情况,利用“-”表示不存在该问题的情况。
如图18所示,在S/N和动态范围(图18中记载为“D范围”)中的任意一方中,关于焦点检测用的像素信号,焦点检测用像素优先模式(时序图(1))优于图像用像素优先模式(时序图(2)),关于显示/记录用的像素信号,图像用像素优先模式(时序图(2))优于焦点检测用像素优先模式(时序图(1))。并且,在仅图像模式(时序图(3))中,显示/记录用的像素信号优良,但是未取得焦点检测用的像素信号。
图19是根据焦点检测用数据的需要/不需要、以及使焦点检测用像素和图像用像素中的哪一方优先而对按照哪个时序图驱动摄像元件4进行分类的图表。
如上所述,第1读出的时序图(1)示出图5和图6,第2读出的时序图(2)示出(图7或图8)和图9,第3读出的时序图(3)示出图10和图11。
控制部(元件控制部29和系统控制部14)在不需要焦点检测用像素信号的情况下对摄像部(这里例如为摄像元件4)进行控制,以使得进行第3读出。并且,在需要焦点检测用像素信号的情况下,如下所述。即,控制部在焦点检测用像素信号优先于图像用像素信号的情况下,对摄像部进行控制,以使得进行第1读出,在图像用像素信号优先于焦点检测用像素信号的情况下,对摄像部进行控制,以使得进行第2读出。
具体而言,如图19所示,例如在静态图像拍摄等不需要焦点检测用数据(焦点检测用像素信号)的情况下,选择并使用时序图(3)(仅图像模式)。
并且,在需要焦点检测用数据(焦点检测用像素信号)的情况下,根据使焦点检测用像素信号优先还是使图像用像素信号优先,选择并使用的时序图不同。
即,在使焦点检测用像素信号优先的情况下(例如不需要显示用或记录用的图像、仅需要焦点检测用像素信号的情况下等),选择并使用时序图(1)(焦点检测用像素优先模式)。由此,在焦点检测用像素优先模式中,不会如存在图17说明的那样由于数字限幅而无法对焦点检测用像素信号中的一方进行复原,能够得到宽动态范围的焦点检测用像素信号。
并且,在使图像用像素信号优先的情况下(例如实时取景或动态图像拍摄等需要焦点检测用像素信号、但是使图像的画质优先的情况下),选择并使用时序图(2)(图像用像素优先模式)。由此,在图像用像素优先模式中,显示图像和记录图像的S/N较高,不会产生X期间和Z期间中的电荷缺失,因此,能够得到宽动态范围的图像。
在照相机模式为静态图像拍摄模式、动态图像拍摄模式、实时取景模式、AF模式中的任意一方的情况下,都共同地应用该图19所示的选择方法。
图20是示出摄像装置1的作用的流程图。根据系统控制部14的控制,通过摄像装置1进行该图20和后述图21、图22的各动作。
开始该处理后,判定输入接口13的第1按钮是否接通(步骤S1)。
这里,在判定为第1按钮断开的情况下,判定输入接口13的第2按钮是否接通(步骤S2)。
进而,在判定为第2按钮断开的情况下,判定输入接口13的第3按钮是否接通(步骤S3)。
然后,在步骤S1中判定为第1按钮接通的情况下,进行后面参照图21说明的AF用处理(步骤S4)。
并且,在步骤S2中判定为第2按钮接通的情况下,进行后面参照图22说明的静态图像用处理(步骤S5)。
进而,在步骤S3中判定为第3按钮接通的情况下,进行与后述图22的处理大致相同的动态图像用处理(步骤S6)。
另一方面,在步骤S3中判定为第3按钮断开的情况下,除了不需要记录处理这点以外,进行与后述图22的处理大致相同的实时取景(LV)用处理(步骤S7)。
然后,进行步骤S4~S7中的任意一个处理后,返回步骤S1的处理。
图21是示出图20中的步骤S4的AF用处理的内容的流程图。
开始该处理后,判定是否需要焦点检测用数据(步骤S11)。
这里,在判定为需要焦点检测用数据的情况下,判定使图像用像素信号优先还是使焦点检测用像素信号优先(步骤S12)。
在判定为使图像用像素信号优先的情况下,根据来自系统控制部14的指令,元件控制部29的读出方法选择部30选择并设定(图7或图8)和图9所示的时序图(2)的动作(第2读出)(步骤S13)。
然后,根据所设定的时序图(2)进行曝光(步骤S14),进行像素信号的读出(步骤S15)。
如上所述,所读出的像素信号例如是PD1234和PD12,因此,通过焦点检测用减法部7进行PD34=PD1234-PD12的焦点检测用减法处理(步骤S16)。
并且,在步骤S12中判定为使焦点检测用像素信号优先的情况下,根据来自系统控制部14的指令,元件控制部29的读出方法选择部30选择并设定图5和图6所示的时序图(1)的动作(第1读出)(步骤S17)。
然后,根据所设定的时序图(1)进行曝光(步骤S18),进行像素信号的读出(步骤S19)。
这里,例如,除了相位差AF以外,还存在进行对比度AF的情况等,因此,判定是否取得对比度(步骤S20)。
在判定为不取得对比度的情况下,进一步判定是否显示帧图像(步骤S21)。
然后,在步骤S20中判定为取得对比度的情况下、或在步骤S21中判定为显示帧图像的情况下,需要图像用像素信号,因此,进行图像信号用加法处理(步骤S22)。即,如上所述,所读出的像素信号例如是PD12和PD34,因此,通过图像信号用加法部9进行PD1234=PD12+PD34的加法处理。
另一方面,在步骤S11中判定为不需要焦点检测用数据的情况下,根据来自系统控制部14的指令,元件控制部29的读出方法选择部30选择并设定图10和图11所示的时序图(3)的动作(第3读出)(步骤S23)。
然后,根据所设定的时序图(3)进行曝光(步骤S24),进行像素信号的读出(步骤S25)。
在判定为进行步骤S16的处理、步骤S22的处理、步骤S25的处理中的任意一方、或在步骤S21中判定为不显示帧图像的情况下,焦点检测用信号处理部8根据焦点检测用像素信号(例如PD12和PD34)进行相位差AF检测,或者根据图像用像素信号(例如PD1234)计算对比度,进行对比度AF检测(步骤S26)。
接着,判定是否显示帧图像(步骤S27)。
这里,在判定为显示帧图像的情况下,图像信号处理部10根据图像用像素信号(例如PD1234)进行图像信号处理(步骤S28),进行在显示部11中显示图像的处理(步骤S29)。
在进行该步骤S29后、或在步骤S27中判定为不显示帧图像的情况下,从该处理返回图20所示的处理。
图22是示出图20中的步骤S5的静态图像用处理的内容的流程图。
在该静态图像用处理中,在步骤S11中判定为不需要焦点检测用数据的情况下,进行步骤S23~S25的处理,在步骤S12中判定为使图像用像素信号优先的情况下,进行步骤S13~S16的处理,在步骤S12中判定为使焦点检测用像素信号优先的情况下,进行步骤S17~S19的处理,这与上述AF用处理相同。
但是,在静态图像用处理中,需要图像用像素信号,因此,不进行步骤S20和步骤S21的判定,根据步骤S19中读出的像素信号,在步骤S22中进行图像信号用加法处理。
进行步骤S16或步骤S22的处理后,在步骤S26中进行焦点检测用信号处理,然后进入步骤S28的处理,但是,在进行步骤S25的处理后,跳过步骤S26的处理,加热步骤S28的处理。图21是AF用处理,因此,即使不需要焦点检测用像素信号,在进行步骤S25的处理后,也进行步骤S26,进行对比度AF。与此相对,图22是静态图像用处理,因此,跳过步骤S26的焦点检测用信号处理。
然后,进行步骤S28的图像信号处理后,在步骤S29中进行在显示部11中显示图像的处理,进而进行在记录部12中记录图像的处理(步骤S30)。进行该步骤S30的处理后,从该处理返回图20所示的处理。
另外,关于图20的步骤S6中的动态图像用处理,例如以帧单位进行与该图22所示的静态图像用处理大致相同的处理。并且,关于图20的步骤S7中的LV用处理,同样以帧单位进行与该图22所示的静态图像用处理大致相同的处理,但是,在实时取景中不需要图像的记录,因此跳过步骤S30。
图23是示出按照每1帧交替进行焦点检测用像素优先模式的摄像元件4的动作和图像用像素优先模式的摄像元件4的动作的例子的时序图。
在实际的摄像装置1的动作中,在进行实时取景的过程中也进行自动对焦。该图23示出这种实用的摄像元件4的动作例。
在进行所谓滚动快门的动作时,与垂直同步信号VD同步地进行第1行的像素信号的读出,然后,按照每行(或者也可以按照多行)依次进行读出。然后,针对任意行,在从读出时点起追溯曝光时间的时点进行电子快门动作。
这里,例如在以120fps的帧率(即8.3ms的时间间隔)取得实时取景图像的情况下,将垂直同步信号VD设定为240fps(即4.2ms的时间间隔),与垂直同步信号VD同步地交替进行实时取景图像的读出和焦点检测用像素信号的读出。
具体而言,与某个垂直同步信号VD同步地,按照图6所示的时序图(1),读出用于进行水平方向的相位差检测(纵线检测)的一对焦点检测用像素信号(例如PD12和PD34)(图23中记载为RL(右左))。此时,在从读出起追溯曝光时间的时点,按照图5所示的时序图(1)进行电子快门动作。
接着,与下一个垂直同步信号VD同步地,按照基于图9的时序图(2)(但是,在图9的定时t3,代替使控制信号TX1、TX2导通而使控制信号TX1、TX3导通),读出用于进行垂直方向的相位差检测(横线检测)的一对焦点检测用像素信号中的一方(例如PD13)和图像用像素信号(例如PD1234)(图23中记载为TB(上下))。此时,在从读出起追溯曝光时间的时点,按照图7或图8所示的时序图(2)进行电子快门动作。再然后,通过焦点检测用减法部7进行PD24=PD1234-PD13的焦点检测用减法处理,对横线检测所需要的一对焦点检测用像素信号中的另一方PD24进行复原。
然后,同样,交替进行水平方向的相位差检测用的一对焦点检测用像素信号双方的读出、以及垂直方向的相位差检测用的一对焦点检测用像素信号中的一方和图像用像素信号的读出。
另外,也可以代替上述处理而交替进行垂直方向的相位差检测用的一对焦点检测用像素信号双方的读出、以及水平方向的相位差检测用的一对焦点检测用像素信号中的一方和图像用像素信号的读出。
这样,控制部即系统控制部14和元件控制部29对摄像部进行控制,以使得按照每1帧交替进行第1读出和第2读出。进而,在图23所示的例子中,第1读出中的第1光瞳分割方向和第2读出中的第2光瞳分割方向成为不同方向(但是,也可以设第1光瞳分割方向和第2光瞳分割方向为相同方向)。另外,为了得到不同光瞳分割方向的焦点检测用像素信号,图像用像素需要分割成3个以上(优选为4个以上)的焦点检测用像素。
并且,也可以将4种以上的焦点检测用像素信号分成2个以上的帧进行输出。举出一例,将4个帧作为基本周期,在第1帧中读出图像用像素和从左上朝向右下方向的一对焦点检测用像素中的一方,在第2帧中读出水平方向的一对焦点检测用像素,在第3帧中读出图像用像素和从左下朝向右上方向的一对焦点检测用像素中的一方,在第4帧中读出水平方向的一对焦点检测用像素等。此时,使图像用像素信号优先的帧基于时序图(2)进行读出,使焦点检测用像素信号优先的帧基于时序图(1)进行读出。
通过进行上述图23所示的处理,不仅能够在进行实时取景的过程中进行焦点检测,进而,能够进行纵线检测和横线检测双方(或者进一步是不同方向的检测),因此,能够提高焦点检测的精度。
另外,在上述中,作为将图像用像素分割成焦点检测用像素信号的方法,主要举出左右分割和上下分割(能够实现双方的上下左右四分割)等,但是,也可以在倾斜方向上进行分割,分割数可以大于4(但是,如上所述也可以是2~4的分割数),不限于上述例子。
并且,在对由光电二极管PD生成的像素信号进行RAW记录的情况下,也同样能够应用上述时序图(1)~(3)的使用方法。
根据这种实施方式1,在某个帧中进行生成一对焦点检测用像素信号双方并读出的第1读出,在另一个帧中进行生成一对焦点检测用像素信号中的一方和图像用像素信号并读出的第2读出,因此,通过进行第1读出,能够得到S/N较高且动态范围较宽的焦点检测用像素信号,通过进行第2读出,能够得到S/N较高且动态范围较宽的图像用像素信号,能够根据用途进行区分使用。
并且,在使焦点检测用像素信号优先的情况下进行第1读出,在使图像用像素信号优先的情况下进行第2读出,由此,能够根据用途适当得到高画质的图像用像素信号和高画质的焦点检测用像素信号。
进而,通过进行仅读出图像用像素信号的第3读出,能够仅得到高画质的图像用像素信号。通过在不需要焦点检测用像素信号的情况下进行该第3读出,能够减少摄像装置的负荷和消耗电力,能够缩短读出时间。并且,在第1读出和第2读出中针对一个图像用像素进行2次读出,与此相对,在第3读出中针对一个图像用像素进行一次读出即可,因此,能够加快所谓滚动快门的幕帘速度。由此,能够减轻高速移动的物体的失真,能够得到更高品质的帧图像。
而且,例如如图23所示,控制部按照每1帧交替进行第1读出和第2读出,由此,能够交替得到高画质的焦点检测用像素信号和高画质的图像用像素信号。由此,例如能够进行动态图像拍摄或实时取景等中的高画质的帧图像的取得和高精度的相位差检测双方。此时,通过使第1读出中的第1光瞳分割方向和第2读出中的第2光瞳分割方向为不同方向,能够检测多个不同方向的相位差,能够进一步提高焦点检测的精度。
而且,在进行了第1读出时,对一对焦点检测用像素信号双方进行相加而生成图像用像素信号,由此,在高画质的焦点检测用像素信号的基础上,还能够得到某种程度的画质的图像用像素信号。
另一方面,在进行了第2读出时,从图像用像素信号中减去一对焦点检测用像素信号中的一方而生成一对焦点检测用像素信号中的另一方,由此,在高画质的图像用像素信号的基础上,还能够得到某种程度的画质的焦点检测用像素信号。
另外,上述各部的处理可以由构成为硬件的一个以上的处理器进行。例如,各部可以是分别构成为电子电路的处理器,也可以是由FPGA(Field Programmable Gate Array)等集成电路构成的处理器中的各电路部。或者,也可以是由一个以上的CPU构成的处理器读入并执行记录介质中记录的处理程序,由此执行作为各部的功能。
并且,上述主要说明了摄像装置,但是,也可以是如上所述控制摄像装置的控制方法,还可以是用于使计算机执行与摄像装置相同的处理的处理程序、记录该处理程序的计算机可读取的非暂时性记录介质等。

Claims (24)

1.一种摄像装置,其特征在于,所述摄像装置具有:
摄像部,其具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,该多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号;以及
控制部,其对所述摄像部进行控制,使得在某个帧中进行第1读出,在另一个帧中进行第2读出,其中,该第1读出是指根据所述光电转换信号生成并读出第1光瞳分割方向上的一对所述焦点检测用像素信号双方,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
2.根据权利要求1所述的摄像装置,其特征在于,
所述控制部在所述焦点检测用像素信号优先于所述图像用像素信号的情况下,对所述摄像部进行控制,使得进行所述第1读出,在所述图像用像素信号优先于所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第2读出。
3.根据权利要求1所述的摄像装置,其特征在于,
所述控制部对所述摄像部进行控制,使得在又一个帧中进行第3读出,该第3读出是指对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,仅读出所生成的所述图像用像素信号。
4.根据权利要求3所述的摄像装置,其特征在于,
所述控制部在不需要所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第3读出。
5.根据权利要求1所述的摄像装置,其特征在于,
所述控制部对所述摄像部进行控制,使得针对不同的帧交替进行所述第1读出和所述第2读出。
6.根据权利要求5所述的摄像装置,其特征在于,
所述图像用像素被分割成3个以上的所述焦点检测用像素,
所述第1光瞳分割方向和所述第2光瞳分割方向是不同方向。
7.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有图像信号用加法部,当进行了所述第1读出时,该图像信号用加法部对一对所述焦点检测用像素信号双方进行相加而生成所述图像用像素信号。
8.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有焦点检测用减法部,当进行了所述第2读出时,该焦点检测用减法部从所述图像用像素信号中减去一对所述焦点检测用像素信号中的一方,由此生成一对所述焦点检测用像素信号中的另一方。
9.一种摄像装置的控制方法,该摄像装置具有摄像部,该摄像部具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,该多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号,其特征在于,
对所述摄像部进行控制,使得在某个帧中进行第1读出,在另一个帧中进行第2读出,其中,该第1读出是指根据所述光电转换信号生成并读出第1光瞳分割方向上的一对所述焦点检测用像素信号双方,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且,对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
10.根据权利要求9所述的摄像装置的控制方法,其特征在于,
在所述焦点检测用像素信号优先于所述图像用像素信号的情况下,对所述摄像部进行控制,使得进行所述第1读出,在所述图像用像素信号优先于所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第2读出。
11.根据权利要求9所述的摄像装置的控制方法,其特征在于,
对所述摄像部进行控制,使得在又一个帧中进行第3读出,该第3读出是指对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,仅读出所生成的所述图像用像素信号。
12.根据权利要求11所述的摄像装置的控制方法,其特征在于,
在不需要所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第3读出。
13.根据权利要求9所述的摄像装置的控制方法,其特征在于,
对所述摄像部进行控制,以使得针对不同的帧交替进行所述第1读出和所述第2读出。
14.根据权利要求13所述的摄像装置的控制方法,其特征在于,
所述图像用像素被分割成3个以上的所述焦点检测用像素,
所述第1光瞳分割方向和所述第2光瞳分割方向是不同方向。
15.根据权利要求9所述的摄像装置的控制方法,其特征在于,
当进行了所述第1读出时,对一对所述焦点检测用像素信号双方进行相加而生成所述图像用像素信号。
16.根据权利要求9所述的摄像装置的控制方法,其特征在于,
当进行了所述第2读出时,从所述图像用像素信号中减去一对所述焦点检测用像素信号中的一方,由此生成一对所述焦点检测用像素信号中的另一方。
17.一种记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,该摄像装置具有摄像部,该摄像部具有与微透镜对应的图像用像素,所述图像用像素被分割成多个焦点检测用像素,该多个焦点检测用像素对穿过将摄影光学系统的出射光瞳分割成多个光瞳后的区域的光束分别进行光电转换而生成光电转换信号,所述摄像部根据所述光电转换信号生成图像用像素信号和焦点检测用像素信号,其特征在于,该控制程序使计算机执行以下处理,
对所述摄像部进行控制,使得在某个帧中进行第1读出,在另一个帧中进行第2读出,其中,该第1读出是指根据所述光电转换信号生成并读出第1光瞳分割方向上的一对所述焦点检测用像素信号双方,该第2读出是指根据所述光电转换信号生成第2光瞳分割方向上的一对所述焦点检测用像素信号中的一方,并且,对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,读出所生成的一个所述焦点检测用像素信号和所述图像用像素信号。
18.根据权利要求17所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
在所述焦点检测用像素信号优先于所述图像用像素信号的情况下,对所述摄像部进行控制,使得进行所述第1读出,在所述图像用像素信号优先于所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第2读出。
19.根据权利要求17所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
对所述摄像部进行控制,使得在又一个帧中进行第3读出,该第3读出是指对一个所述图像用像素内生成的全部所述光电转换信号进行相加而生成所述图像用像素信号,仅读出所生成的所述图像用像素信号。
20.根据权利要求19所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
在不需要所述焦点检测用像素信号的情况下,对所述摄像部进行控制,使得进行所述第3读出。
21.根据权利要求17所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
对所述摄像部进行控制,以使得针对不同的帧交替进行所述第1读出和所述第2读出。
22.根据权利要求21所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
所述图像用像素被分割成3个以上的所述焦点检测用像素,
所述第1光瞳分割方向和所述第2光瞳分割方向是不同方向。
23.根据权利要求17所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
当进行了所述第1读出时,对一对所述焦点检测用像素信号双方进行相加而生成所述图像用像素信号。
24.根据权利要求17所述的记录摄像装置的控制程序的计算机可读取的非暂时性记录介质,其特征在于,
当进行了所述第2读出时,从所述图像用像素信号中减去一对所述焦点检测用像素信号中的一方,由此生成一对所述焦点检测用像素信号中的另一方。
CN201811041790.2A 2017-09-08 2018-09-07 摄像装置、摄像装置的控制方法、记录介质 Active CN109474781B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017173211A JP6947590B2 (ja) 2017-09-08 2017-09-08 撮像装置、撮像装置の制御方法
JP2017-173211 2017-09-08

Publications (2)

Publication Number Publication Date
CN109474781A CN109474781A (zh) 2019-03-15
CN109474781B true CN109474781B (zh) 2020-09-15

Family

ID=65632033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811041790.2A Active CN109474781B (zh) 2017-09-08 2018-09-07 摄像装置、摄像装置的控制方法、记录介质

Country Status (3)

Country Link
US (1) US10645320B2 (zh)
JP (1) JP6947590B2 (zh)
CN (1) CN109474781B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117729A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 이미지 센서
WO2021163824A1 (zh) * 2020-02-17 2021-08-26 深圳市汇顶科技股份有限公司 图像信号处理方法以及相关图像传感系统及电子装置
JPWO2021241015A1 (zh) * 2020-05-25 2021-12-02
US20230217126A1 (en) * 2020-05-25 2023-07-06 Sony Group Corporation Imaging apparatus, imaging method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888914B2 (ja) * 2011-09-22 2016-03-22 キヤノン株式会社 撮像装置およびその制御方法
JP5542249B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP5860168B2 (ja) * 2012-12-21 2016-02-16 富士フイルム株式会社 固体撮像装置
JP6271842B2 (ja) * 2013-02-18 2018-01-31 キヤノン株式会社 測距装置、測距方法、および撮像装置
JP5886781B2 (ja) * 2013-03-26 2016-03-16 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6234054B2 (ja) 2013-04-25 2017-11-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
WO2015045785A1 (ja) * 2013-09-30 2015-04-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6381274B2 (ja) * 2014-05-07 2018-08-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6482186B2 (ja) * 2014-05-23 2019-03-13 キヤノン株式会社 撮像装置及びその駆動方法
JP6522919B2 (ja) * 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
JP6478600B2 (ja) * 2014-12-04 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP6600458B2 (ja) * 2014-12-25 2019-10-30 オリンパス株式会社 撮像素子、焦点検出装置及び焦点検出方法
JP6553881B2 (ja) * 2015-02-05 2019-07-31 キヤノン株式会社 画像処理装置
JP6442362B2 (ja) * 2015-05-29 2018-12-19 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP6700751B2 (ja) * 2015-11-30 2020-05-27 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP6727814B2 (ja) * 2016-01-14 2020-07-22 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2017195584A (ja) * 2016-04-22 2017-10-26 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP2019050486A (ja) 2019-03-28
CN109474781A (zh) 2019-03-15
US20190082131A1 (en) 2019-03-14
JP6947590B2 (ja) 2021-10-13
US10645320B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
JP6039165B2 (ja) 撮像素子及び撮像装置
RU2609540C2 (ru) Устройство захвата изображения и способ управления устройством захвата изображения
JP6476065B2 (ja) 撮像装置及び撮像装置の制御方法
JP5835996B2 (ja) 撮像装置
CN109474781B (zh) 摄像装置、摄像装置的控制方法、记录介质
JP6944846B2 (ja) 撮像装置、撮像装置の制御方法
JP2010147816A (ja) 撮像装置及びその制御方法
US10003734B2 (en) Image capturing apparatus and control method of image sensor
CN109997352B (zh) 摄像装置、相机以及摄像方法
US10812704B2 (en) Focus detection device, method and storage medium, for controlling image sensor operations
JP2009284328A (ja) 撮像装置
JP5452269B2 (ja) 撮像装置
JP2012004818A (ja) 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP6594048B2 (ja) 撮像装置及びその制御方法
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2011182321A (ja) 固体撮像装置、駆動方法、および撮像装置
JP2010171856A (ja) 撮像装置
JP2008118378A (ja) 撮影装置及びその駆動方法
JP2020136810A (ja) 撮像装置、撮像システムおよび撮像装置の制御方法
JP2014057196A (ja) 撮像装置
JP2012257043A (ja) 撮像装置および撮像方法
JP2018133600A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP5424767B2 (ja) 撮像装置
JP2016225848A (ja) 撮像装置及び撮像素子の制御方法
JP2022044285A (ja) 検出装置および検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant