CN103369241A - 摄像设备和信号处理方法 - Google Patents

摄像设备和信号处理方法 Download PDF

Info

Publication number
CN103369241A
CN103369241A CN2013101089412A CN201310108941A CN103369241A CN 103369241 A CN103369241 A CN 103369241A CN 2013101089412 A CN2013101089412 A CN 2013101089412A CN 201310108941 A CN201310108941 A CN 201310108941A CN 103369241 A CN103369241 A CN 103369241A
Authority
CN
China
Prior art keywords
pixel
focus detection
signal
picture element
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101089412A
Other languages
English (en)
Other versions
CN103369241B (zh
Inventor
上田敏治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103369241A publication Critical patent/CN103369241A/zh
Application granted granted Critical
Publication of CN103369241B publication Critical patent/CN103369241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

本发明提供一种摄像设备和信号处理方法。摄像设备(100)包括：摄像元件(101)，其包括多个摄像像素和多个焦点检测像素，其中，所述摄像像素用于对由来自摄像光学系统的光束形成的图像进行光电转换，所述焦点检测像素用于对由来自所述摄像光学系统的光束的分割光束形成的图像进行光电转换；以及DSP(103)，用于对来自所述摄像元件(101)的像素信号进行阴影校正，其中，所述摄像元件(101)通过对来自所述多个摄像像素的信号进行相加来生成第一像素信号，并且在对来自所述多个焦点检测像素的信号不进行相加的情况下生成第二像素信号，以及DSP(103)使用相互不同的校正数据，对所述第一像素信号和所述第二像素信号进行所述阴影校正。

Description

摄像设备和信号处理方法
技术领域
本发明涉及一种包括具有摄像像素和焦点检测像素的摄像元件的摄像设备。
背景技术
以前，在使用诸如CMOS传感器等的摄像元件的摄像设备中，通过进行预定校正处理来减少拍摄图像时所生成的暗环境下的阴影(偏移量)。日本特开2003-333434公开了使用在通过对在暗环境下所拍摄的图像进行投影计算而获得的一维校正数据，来在显影处理时进行水平暗阴影校正。
为了提高摄像设备的性能，已知这样一种结构，该结构通过向摄像元件提供相位差检测功能而不需要专用AF传感器，从而实现高速相位差AF。日本特开2010-20055公开了一种包括具有普通像素(摄像像素)和焦点检测像素的摄像元件的摄像设备。该摄像设备具有诸如电子取景器模式或运动图片拍摄模式等的、用于相加读取多个摄像像素的输出的相加读出模式。日本特开2010-20055公开了一种具有下面的模式的摄像设备，其中，该模式用于对摄像像素进行相加处理，并且在包含焦点检测像素时，在不进行相加处理的情况下(利用非相加处理)仅读取焦点检测像素。
然而，当在一个帧中混合有使用不同驱动模式所读取的诸如摄像像素(相加像素)和焦点检测像素(非相加像素)等的像素时，由于电路结构等的影响而生成不同的特性。例如，当在摄像元件内存在进行相加处理的电路时，在要相加的像素之间设置诸如晶体管等的开关元件。另一方面，由于对焦点检测像素的输出不进行相加处理(非相加)，所以在焦点检测像素之间不设置任何开关元件。因此，根据每一开关各自的阈值的变化的影响，阴影(偏移量)在相加时和非相加时之间有所不同。此外，由于焦点检测像素进行光瞳分割，所以配线层所生成的开口不同于普通像素的开口。因此，在配线容量上发生差异，并且偏移量在普通像素和焦点检测像素之间有所不同。因此，即使在对普通像素(摄像像素)的输出进行阴影校正(偏移校正)时，对于焦点检测像素的输出也不一定适当，因此图像质量可能劣化。
发明内容
本发明提供一种对具有摄像像素和焦点检测像素的摄像元件的像素输出进行适当阴影校正以减少图像质量的劣化的摄像设备和信号处理方法。
作为本发明的一个方面的摄像设备，其包括：摄像元件，其包括多个摄像像素和多个焦点检测像素，其中，所述摄像像素用于对由来自摄像光学系统的光束形成的图像进行光电转换，所述焦点检测像素用于对由来自所述摄像光学系统的光束的分割光束形成的图像进行光电转换；以及信号处理器，用于对来自所述摄像元件的像素信号进行阴影校正，其中，所述摄像元件通过对来自所述多个摄像像素的信号进行相加来生成第一像素信号，并且在对来自所述焦点检测像素的信号不进行相加的情况下生成第二像素信号，以及其中，所述信号处理器使用相互不同的校正数据，对所述第一像素信号和所述第二像素信号进行所述阴影校正。
作为本发明的另一方面的信号处理方法，其用于处理来自包括多个摄像像素和多个焦点检测像素的摄像元件的像素信号，其中，所述摄像像素用于对由来自摄像光学系统的光束形成的图像进行光电转换，所述焦点检测像素用于对由来自所述摄像光学系统的光束的分割光束形成的图像进行光电转换，所述信号处理方法包括以下步骤：通过对来自所述多个摄像像素的信号进行相加来生成第一像素信号，并且在对来自所述焦点检测像素的信号不进行相加的情况下生成第二像素信号；以及使用相互不同的校正数据，对所述第一像素信号和所述第二像素信号进行所述阴影校正。
通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将显而易见。
附图说明
图1是实施例1中的摄像设备的框图。
图2是实施例1中的摄像元件的框图。
图3是实施例1中的摄像元件的像素配置图。
图4A和4B是实施例1中的摄像元件的开口区域中的像素配置图。
图5A～5C是用于说明实施例1中的摄像元件的相加读出的图。
图6是示出实施例1中的摄像设备的运动图片显示驱动的流程图。
图7是示出实施例1中的摄像设备的运动图片驱动的流程图。
图8是实施例1中的DSP的阴影校正部的电路结构图。
图9是示出实施例1中的阴影校正的流程图。
图10A～10C是示出实施例1中的摄像元件的图像输出(校正之前和之后的图像输出)的图。
图11是实施例2中的摄像元件的像素配置图。
图12A～12E是示出实施例2中的摄像元件的图像输出(校正之前和之后的图像输出)的图。
图13是示出实施例2中的阴影校正的流程图。
图14A和14B是示出实施例2中的暗环境下的焦点检测图像的输出(校正之前和之后的图像输出)的图。
图15是示出实施例1中的DSP的操作的框图。
图16是示出实施例2中的DSP的操作的框图。
图17是示出实施例3中的DSP的操作的框图。
图18是示出实施例3中的暗环境下的焦点检测图像的输出(校正之前和之后的图像输出)的图。
具体实施方式
下面参考附图说明本发明的典型实施例。在各附图中，以相同附图标记表示相同元件，并且省略对其的重复说明。
实施例1
首先，参考图1，说明本发明实施例1中的摄像设备(照相机)的结构和操作。图1是本实施例中的摄像设备100的框图。附图标记101表示诸如CMOS传感器等的摄像元件。摄像元件101包括多个摄像像素和多个焦点检测像素，其中，摄像像素用于对通过来自摄像光学系统(镜头设备)的光束所形成的图像进行光电转换，焦点检测像素用于对从来自摄像光学系统的光束所分割的光束所形成的图像进行光电转换。如后面所述，摄像元件101通过对来自该多个摄像像素的信号进行相加而生成第一像素信号，并且还在不对来自焦点检测像素的信号进行相加的情况下生成第二像素信号。附图标记102表示将从摄像元件101输出的信号(模拟信号)转换成数字信号的A/D转换器。
附图标记103表示作为对从A/D转换器102输出的数据进行各种校正处理和显影处理的信号处理器的DSP(数字信号处理器)。DSP103还对诸如ROM106和RAM107等的各种类型的存储器、以及用于将图像数据写入存储介质108的处理进行控制。特别地，在本实施例中，DSP103对来自摄像元件101的图像信号进行阴影校正。在这种情况下，DSP103对第一像素信号和第二像素信号使用相互不同的校正数据进行阴影校正。
附图标记104表示由CPU105控制的、用于向摄像元件101、A/D转换器102和DSP103提供控制信号的时序生成电路。附图标记105表示对DSP103和时序生成电路104进行控制、并且还对各部(未示出)的照相机功能进行控制的CPU。CPU105连接至电源开关109(电源SW)、快门开关110(SW1)、快门开关111(SW2)和模式拨盘112等，并且CPU105根据各部的状态进行处理。附图标记106表示存储摄像设备100的控制程序和各种类型的校正数据的ROM(存储器)。附图标记107表示临时存储DSP103所处理的图像数据和校正数据的RAM(存储器)。将在本实施例的步骤中所获得的各种类型的校正数据预先存储在ROM106中，其中，在拍摄图像时将这些校正数据展开至RAM107以用于对图像数据的校正。附图标记108表示经由连接器(未示出)与摄像设备100连接的、用于存储拍摄图像的存储介质。
附图标记109表示使摄像设备100工作的电源开关(电源SW)。附图标记110表示指示开始摄像操作的快门开关(SW1)。附图标记111表示指示开始进行用于经由A/D转换器102和DSP103将从摄像元件101读取的信号写入存储介质108的连续摄像操作的快门开关(SW2)。附图标记112表示选择摄像设备100的工作模式的模式拨盘。
接着参考图2，说明摄像元件101的结构和操作。图2是示出用于说明下述读出操作所需的最少配置的、摄像元件101的框图，并且省略像素复位信号等。
在图2中，附图标记201表示光电转换部(以下，在一些情况下，被称为“PDmn”，其中，符号m(m＝0，1，……，m－1)表示X方向上的地址，并且符号n(n＝0，1，……，n－1)表示Y方向上的地址)。光电转换部201包括光电二极管、像素放大器和复位开关等。通过二维配置m×n个光电转换部201形成摄像元件101。在图2中，为了避免复杂，仅向左上处的光电转换部PD00～PD03添加表示光电转换部201的符号。添加给相应光电转换部201的各符号R、G和B均表示颜色滤波器，并且通过所谓的Bayer阵列配置本实施例的颜色滤波器。
附图标记202表示用于选择光电转换部201的输出的开关，其中该输出是通过垂直扫描电路210针对各行来选择的。附图标记203表示作为各垂直输出线上所配置的光电转换部201的像素放大器(未示出)的负载的恒流源。附图标记204表示临时存储光电转换部201的输出的线存储器，其存储通过垂直扫描电路210所选择的一个行的光电转换部201的输出。作为线存储器204，通常使用电容器。
附图标记205表示对水平方向上的多个像素的信号电荷进行相加的相加部。通过输入给ADD端子和AF端子的两个控制信号来控制相加部205，并且相加部205在进行下述相加读出的情况下，对水平方向上的像素的信号电荷进行相加。相加部205的ADD端子是切换相加和非相加的信号的输入端子。当向ADD端子输入低电平(L电平)的控制信号时，选择非相加。另一方面，当向ADD端子输入高电平(H电平)的控制信号时，选择相加。相加部205的AF端子是在通过非相加而选择性地读取摄像元件101中所包括的焦点检测像素(焦点检测像素组)时所使用的输入端子。类似于水平扫描电路208，相加部205用作选择要输出的像素的信号电荷的选择器。
附图标记206表示顺序输出存储在线存储器204中的光电转换部201的输出的开关(H0～Hm-1)。当水平扫描电路208顺次扫描开关206(H0～Hm-1)时，读取光电转换的一个行的输出。附图标记207表示连接至水平输出线HOL、并且将水平输出线HOL复位至电压VHRST的开关，其中，通过信号HRST来控制该开关。附图标记208表示顺次扫描存储在线存储器204中的光电转换部201的输出以将其输出给水平输出线HOL的水平扫描电路。水平扫描电路208还用作根据CPU105的控制来选择所需像素的选择器。
在水平扫描电路208中，PHST端子是水平扫描电路208的数据输入端子。PH1端子和PH2端子均是移位时钟输入端子。通过将PH1端子改变成H电平，设置输入给PHST端子的数据。然后，通过将PH2端子改变成H电平，锁存输入给PHST端子的数据。当向PH1端子和PH2端子各自输入移位时钟时，顺次移位PHST端子的输入信号来驱动水平扫描电路208，因此，可以顺次接通开关206(H0～Hm-1)。
水平扫描电路208的SKIP端子是控制输入端子，其中，在进行后述的间隔剔除读出和相加读出时，该端子进行水平扫描电路208的设置。当将SKIP端子设置成H电平时，以预定间隔(例如，如H2、H5、H8、……)跳过水平扫描电路208的扫描，并且可以在对像素输出进行间隔剔除的情况下进行读取。此外，与SKIP端子并排设置AF端子，可以通过使得跳过的周期不同，来进行像素输出的读出。下面将详细说明读出操作。附图标记209表示从水平输出线HOL顺次输出的像素信号的缓冲放大器。
附图标记210表示垂直扫描电路。垂直扫描电路210对输出信号V0～Vn-1顺次进行扫描，以选择光电转换部201的开关202。类似于水平扫描电路208，通过数据输入端子PVST(未示出)、移位时钟输入端子PV1和PV2(未示出)、以及用于设置间隔剔除读出的SKIP端子(未示出)来控制垂直扫描电路210。由于垂直扫描电路210的操作与水平扫描电路208的操作相同，因而省略对其的详细说明。另外，为了简化说明，省略对垂直方向上的相加功能的说明。
接着参考图3、4A和4B，说明摄像元件101的像素配置。图3是摄像元件101的像素配置图。在图3中，灰色所表示的区域是作为用作基准区域的光学黑体区域的遮光区域。其它区域是开口区域(校正区域)。在光学黑体区域中，将画面的上部分称为作为垂直基准区域的VOB部(垂直光学黑体区域)，并且将画面的左侧称为HOB部(水平光学黑体区域)。
垂直方向上的VOB部(垂直光学黑体区域)的一部分构成用于计算水平阴影数据的计算区域。在本实施例中，参考该计算区域的输出，读取摄像元件101的输出，并且还计算水平阴影校正的量。为了可以进行下述相加操作，将该计算区域分成通过与仅包括普通像素(摄像像素)的行相对应的第一驱动模式、以及与包括焦点检测像素的行相对应的第二和第三驱动模式而驱动的区域。然后，在读取从开口区域开始的校正区域时，进行水平阴影校正计算，并且输出结果。在此期间，不管是计算区域还是校正区域，都连续进行摄像元件101的读出操作。在开口区域中，存在所有像素由普通像素(摄像像素)构成的开口区域(a)和在普通像素中部分配置焦点检测像素的开口区域(b)。
图4A和4B是摄像元件101的开口区域中的像素配置图。本实施例的像素配置大体具有2×2Bayer阵列。另外，在本实施例的像素配置中，12×6像素模式是基本单位，并且在该像素模式中配置一对焦点检测像素SHA和SHB。然而，本实施例不局限于此，并且本实施例还可应用于具有其它基本单位的像素模式。图4A示出作为仅由普通像素(摄像像素)所构成的区域的、图3的开口区域(a)。另一方面，图4B示出图3的开口区域(b)。在开口区域(b)中，在地址(0，10)处设置作为对于利用相位差检测方法的焦点检测所使用的基准像素的SHA像素(焦点检测像素)，并且在地址(9，3)处设置作为对于利用相位差检测方法的焦点检测所使用的参考像素的SHB像素(焦点检测像素)。
利用相位差检测方法的焦点检测需要基准像素和参考像素这两个焦点检测像素。通过重复配置12×6像素模式(基本单位)以使得总共m×n个像素构成本实施例的摄像元件101。此外，在本实施例的摄像元件101中，以使得对于12×6像素模式，将这对基准像素(SHA像素)和参考像素(SHB像素)配置成相互远离。因此，在本实施例的摄像元件101中，对于12×6像素模式(基本单位)设置最小数量的焦点检测像素。因此，提高了摄像像素的分布密度，并且可以防止图像质量的劣化。
接着参考图5A～5C，说明本实施例的相加读出。图5A～5C是用于说明相加读出的图，示意性示出图4A和4B所示的像素配置中最初被读取的V0行和V3行这两个行的读出。在各附图中，上面的配置对应于像素部，并且下面的配置对应于读出像素输出。
首先，为了进行相加读出，在进行像素信号的读出之前，设置水平扫描电路208的SKIP端子和相加部205的ADD端子处于H电平，并且设置AF端子处于H电平。接着，垂直扫描电路210选择V0行以将作为V0行的像素输出的H0～Hm-1的像素信号传送给线存储器204。然后，相加部205根据ADD端子和AF端子的设置，相加像素信号。在这种情况下，基本上针对三个像素单位来相加具有相同颜色的像素信号。
图5A示出图4A中的区域A的V0和V3行。区域A是所有像素都是普通像素(摄像像素)的区域，并且将通过针对所有像素而相加具有相同颜色的三个像素所获得的信号输出到摄像元件101外部。在本实施例中，将该情况下的驱动模式称为第一驱动模式。另一方面，图5B示出图4B的区域B中的V0行。区域B包括普通像素以及焦点检测像素SHA，并且在要相加的所有像素都是普通像素时，相加三个像素以获得信号，而另一方面，当在三个像素中包括焦点检测像素SHA时，在不相加这些像素的情况下输出信号。在图5B中，在H6、H8和H10列中，H6和H8列是普通像素，并且H10列是焦点检测像素SHA。因此，不相加从这些像素所获得的信号。
然后，通过PH1端子和PH2端子的传送脉冲来顺次扫描输入给水平扫描电路208的PHST端子的数据，以驱动水平扫描电路208。在这种情况下，水平扫描电路208根据SKIP端子和AF端子的设置，按照H3、H4、H9、H10、……的顺序扫描开关206。当要相加的所有像素都是普通像素时，经由缓冲放大器209输出普通像素的相加信号。另一方面，当在要相加的像素中包括焦点检测像素时，在不相加来自这些像素的信号的情况下，仅输出焦点检测像素的信号。将这种情况下的驱动模式称为第二驱动模式。
当完成V0行的读出时，垂直扫描电路210进行隔行扫描以选择V3行，并且将作为V3行的像素输出的H0～Hm-1的像素信号传送给线存储器204。在这种情况下，相加部205根据相加部205的ADD端子和AF端子的设置，相加预定像素信号。
类似地，图5C示出图4B的区域C中的V3行。区域C包括普通像素以及焦点检测像素SHB，在要相加的所有像素都是普通像素时，通过相加三个像素来获得信号，而另一方面，在三个像素中包括焦点检测像素SHB时，在不相加这些像素的情况下输出信号。在图5C中，在H7、H9和H11列中，H7和H11列是普通像素，并且H9列是焦点检测像素SHB。因此，不相加从H7、H9和H11列的像素所获得的信号。
然后，通过PH1端子和PH2端子的传送脉冲来顺次扫描输入给水平扫描电路208的PHST端子的数据，以驱动水平扫描电路208。在这种情况下，水平扫描电路208根据SKIP端子和AF端子的设置，按照H3、H4、H9和H10的顺序扫描开关206。当要相加的所有像素都是普通像素(摄像像素)时，经由缓冲放大器209输出普通像素的相加信号。另一方面，当在要相加的像素中包括焦点检测像素时，在不相加来自这些像素的信号的情况下，仅输出焦点检测像素的信号。将这种情况下的驱动模式称为第三驱动模式。
下面，类似地，在垂直扫描电路210和水平扫描电路208进行隔行扫描时，进行摄像元件101的相加读出。在本实施例中，作为缺陷像素来校正焦点检测像素，因此，可以减少生成图像时的图像质量的劣化。换句话说，在相加读出模式下，CPU105对与焦点检测像素相对应的普通像素(摄像像素)进行补偿。因此，在本实施例中，在图4B所示的开口区域(b)中，对于V0行读取H10列处的焦点检测像素，并且对于V3行读取H9列处的焦点检测像素。结果，根据本实施例的结构，在相加读出时可以进行相位差AF。使用与图5A的相同的第一驱动模式驱动图3所示的VOB部的计算区域(a)，使用与图5B的相同的第二驱动模式驱动计算区域(b)，并且使用与图5C的相同的第三驱动模式驱动计算区域(c)。
接着参考图6，说明摄像设备100的电子取景器的驱动。图6是示出电子取景器驱动(运动图片显示驱动)的流程图。本实施例的运动图片显示驱动是参考图3、4A、4B和5A～5C所述在相加模式(相加读出模式)下所进行的、同时进行摄像和焦点检测的驱动。基于摄像设备100的CPU105的指示来进行图6所示的各步骤。
首先，在图6的步骤S201，CPU105判断使摄像设备100工作的电源开关109(电源SW)是否处于ON。当电源开关109处于OFF时，CPU105待机直到接通电源开关109为止。另一方面，当电源开关109处于ON时，流程进入步骤S202。在步骤S202，CPU105判断模式拨盘112是否被设置成运动图片显示模式。当模式拨盘112被设置成运动图片显示模式时，流程进入步骤S204。另一方面，当模式拨盘112被设置成任何其它模式时，流程进入步骤S203。在步骤S203，CPU105根据所选择的模式进行处理(选择处理)，然后流程返回至步骤S201。
当在步骤S202选择了运动图片显示模式时，在步骤S204，CPU105进行运动图片驱动。下面详细说明运动图片驱动。随后，在步骤S205，CPU105将通过运动图片驱动所获得的图像显示在诸如TFT等的显示单元(未示出)上。随后，在步骤S206，CPU105进行调焦操作。换句话说，CPU105使用基于在运动图片驱动过程中所获得的焦点检测像素的像素输出所计算出的测距信息，来驱动未示出的透镜(摄像镜头)。在完成透镜的驱动之后，流程返回至步骤S201。
接着参考图7，详细说明图6的步骤S204的运动图片驱动的操作。可以与各操作并行进行实际序列，但是为了方便说明，假定各操作是时间序列操作。基于CPU105的指示进行图7的各步骤。
首先，在步骤S301，去除摄像元件101中所累积的电荷(电荷清除操作)。随后，在步骤S302，开始摄像元件101的电荷累积。在开始电荷累积之后，流程进入步骤S303，并且CPU105判断曝光是否结束。当曝光没有结束时，CPU105待机直到曝光结束为止。另一方面，当曝光结束时，流程进入步骤S304。在步骤S304，CPU105开始摄像元件101的图像信号的读出。在使用参考图3、4A、4B和5A～5C所述的驱动模式读取图像信号时，进行该驱动从而获得普通像素的相加像素输出和非相加(间隔剔除)像素输出。此外，CPU105在开始信号读出的同时，在步骤S305进行阴影校正(暗阴影校正)。下面详细说明暗阴影校正。
随后，在步骤S306，CPU105(DSP103)基于进行了暗阴影校正的焦点检测像素SHA和SHB的输出，进行相位差焦点检测(焦点检测计算)。在这种情况下，与整个图像处理并行，CPU105(DSP103)生成通过仅选择焦点检测像素SHA和SHB的输出所获得的焦点检测图像(A图像和B图像)，以进行众所周知的相位差焦点检测。随后，在步骤S307，CPU105判断是否完成了摄像元件101的图像信号的读出。当没有完成图像信号的读出时，CPU105待机直到完成图像信号的读出为止。另一方面，当完成了摄像元件101的图像信号的读出时，结束图7的一系列处理以返回至主处理(图6)。
在本实施例中，进行摄像元件101的水平方向上的一维暗阴影校正。换句话说，为了在拍摄图像时利用图像自身进行校正数据的计算和校正，基于摄像元件101的VOB部(垂直光学黑体部)的输出，计算水平方向上的一维暗阴影校正值。然后，使用该计算结果作为校正数据。
接着参考图15，说明本实施例的DSP103的操作。图15是示出DSP103的操作的框图。在图15中，附图标记1031表示对从摄像元件101所读取的图像信号进行阴影校正的阴影校正部。附图标记1032表示焦点检测计算器，其在进行阴影校正之后仅收集来自焦点检测像素的输出以通过众所周知的相位差方法进行焦点检测计算。将通过焦点检测计算器1032所计算出的结果输出给CPU105。
附图标记1033表示摄像校正部，其在阴影校正之后对像素输出(摄像像素和焦点检测像素的输出)进行诸如缺陷校正等的各种类型的校正。附图标记1034表示显影处理器，其在通过摄像校正部1033进行各种类型的校正之后进行图像信号的显影处理。将显影处理器1034的输出作为图像数据写入存储介质108。由于通过图像校正部1033进行焦点检测像素的缺陷校正，所以可以减少由焦点检测像素所导致的图像质量的劣化。
接着参考图8，说明用于实现DSP103的阴影校正部1031的电路结构。图8是阴影校正部1031的电路结构图。附图标记501表示阴影校正部1031的输入端子，并且将通过A/D转换器102转换后的数字信号(像素输出)输入给输入端子501。附图标记502表示SRAM，其存储与各列相对应的校正值，并且具有大于或等于摄像元件101的像素的列的数量的存储容量。在本实施例中，由于存在多个驱动模式，所以SRAM502针对各模式具有大于或等于摄像元件101的像素的列的数量的存储容量。
附图标记503表示存储器控制器，其根据要计算并校正的像素输出的定时来选择存储在SRAM502中的地址以读取和写入数据(进行数据的R/W控制)。使用控制摄像元件101的水平同步信号和垂直同步信号作为基准定时，根据摄像元件101的读取定时期间的计算区域和校正区域的设置，来进行存储器控制器503的操作。
附图标记504表示加法器，其将摄像元件101的当前输出值相加至存储在SRAM502中的、与当前所读取的像素的输出相对应的地址中的数据以对计算区域的各列进行积分计算。附图标记505表示1/N乘法器，其将计算区域的各列的垂直方向上的所有像素的积分结果除以所设置的平均像素数量，即SRAM502的特定地址所存储的积分像素的数量，以计算各列的平均值。为了简化电路，可以通过将各列的积分行数量限制成2的幂，来通过位移位进行替代。
附图标记506表示针对摄像元件101的开口区域的输出而对各像素进行相减处理的相减电路。相减电路506对于从摄像元件101输出的数据，减去与水平同步信号同步从1/N乘法器505所输出的、与各列相对应的水平阴影校正数据。结果，通过输出端子507输出阴影校正部1031的输出数据作为校正输出，其中，该输出数据的暗的部分的输出大体等于0、并且在水平方向上是平坦的。将该校正输出传送给DSP103的其它块。
接着参考图9，说明阴影校正部1031的操作。图9是示出图7的步骤S305的阴影校正的流程图。实际上，在开始图7的步骤S304的图像信号的读出的同时，开始该流程。
当开始图7的步骤S304时，在图9的步骤S401，在读取图像信号之前，复位存储在SRAM502中的所有内容。然后，从ROM106或RAM107等读取诸如在各部中要设置的计算区域和校正区域的坐标等的数据，以将其设置给各寄存器(区域设置)。在完成区域设置之后，从摄像元件101的左上开始图像信号的读出。
随后，在步骤S402，阴影校正部1031判断所读取的像素数据(图像信号)是否是图3的计算区域(a)的图像数据。当该像素数据是计算区域(a)的像素数据时，在步骤S403，阴影校正部1031对各列进行积分处理。在积分处理中，在读取存储在SRAM502中的、与所读取的像素数据在水平方向上的位置相对应的地址的内容之后，进行相加处理，并且将相加结果作为存储数据1存储在SRAM502中的相同地址中。该情况下的地址是存储与第一驱动模式数据相对应的数据(存储数据1)所使用的预定地址。首先，在计算区域的头行中，由于处于复位了SRAM502的内容的状态，所以要相加的值是“0”，并且将所读取的像素数据原样存储在SRAM502中。因此，当完成了计算区域的头行中的像素数据的读出时，将头行中的数据原样存储在SRAM502中。
随后，在步骤S404，阴影校正部1031判断所读取的像素数据是否是图3的计算区域(b)的像素数据。当该像素数据不是计算区域(b)的像素数据时，流程返回至步骤S403，并且读取计算区域(a)中的下一行的像素数据。类似于头行的情况，读取存储在SRAM502中的与水平方向上的读取位置相对应的地址中的值，以相加所读取的像素数据，并且将相加结果再次存储在SRAM502中。在步骤S404的向计算区域(b)的移动的阶段重复进行类似的处理，结束计算区域(a)的读出。在这种情况下，将计算区域(a)的各列的所有行的像素输出的相加结果，存储在SRAM502中的所存储的地址中。
另一方面，当在步骤S404所读取的像素数据是图3的计算区域(b)的像素数据时，流程进入步骤S405，并且类似于步骤S403，对各列进行积分处理，并且将结果存储为存储数据2。在这种情况下，SRAM502中的地址是用于存储与第二驱动模式数据相对应的数据(存储数据2)的预定地址。
随后，在步骤S406，阴影校正部1031判断所读取的像素数据是否是图3的计算区域(c)的像素数据。当该像素数据不是计算区域(c)的像素数据时，流程返回至步骤S405，并且读取计算区域(b)中的下一行的像素数据。类似于前一行的情况，读取存储在SRAM502中的与水平方向上的读取位置相对应的地址中的值，以与所读取的像素数据相加，然后将相加结果再次存储在SRAM502中。在步骤S406的向计算区域(c)的移动的阶段重复进行类似的处理，结束计算区域(b)的读出。在这种情况下，将计算区域(b)的各列的所有行的像素输出的相加结果，存储在SRAM502中所存储的地址中。
另一方面，当判断为在步骤S406所读取的像素数据是图3的计算区域(c)的像素数据时，流程进入步骤S407。在步骤S407，类似于步骤S403或S405，对各列进行积分处理，并且将结果存储为存储数据3。在这种情况下，SRAM502中的地址是存储与第三驱动模式数据相对应的数据(存储数据3)所使用的预定地址。
随后，在步骤S408，阴影校正部1031判断是否结束了计算区域的像素数据的读出。当没有结束计算区域中的像素数据的读出时，流程返回至步骤S407，并且读取计算区域(c)中的下一行的像素数据。类似于前一行的像素数据，读取存储在SRAM502中的与水平方向上的读取位置相对应的地址中的值，以与所读取的像素数据相加，然后将相加结果再次存储在SRAM502中。在步骤S408中结束计算区域的阶段，重复进行类似的处理，结束计算区域(c)的读出，并且将计算区域(c)的各列的所有行的像素输出的相加结果，存储在SRAM502中所存储的地址中。
另一方面，在步骤S408，当结束计算区域的像素数据的读出时，流程进入步骤S409，并且阴影校正部1031判断是否是对开口区域(a)的区域A中的像素数据的读出。当是区域A中的像素数据的读出时，流程进入步骤S410。在步骤S410，阴影校正部1031读取存储在SRAM502中的、与在步骤S403所读取的各像素数据的水平方向上的位置相对应的地址中的数据(存储数据1)。然后，1/N乘法器505将其转换成各列的平均值，并且相减电路506进行相减处理。阴影校正部1031输出该结果作为校正输出。因此，阴影校正部1031使用存储数据1来校正区域A的像素数据。
另一方面，当在步骤S409判断为读出不是区域A的像素数据的读出时，在步骤S411，判断读出是否是开口区域(b)的区域B中的像素数据的读出。当是区域B的像素数据的读出时，流程进入步骤S412，并且读取存储在SRAM502中的、与在步骤S405所读取的各像素数据的水平方向上的位置相对应的地址中的数据(存储数据2)。然后，1/N乘法器505将其转换成各列的平均值，并且相减电路506进行相减处理。阴影校正部1031输出该结果作为校正输出。因此，阴影校正部1031使用存储数据2来校正区域B的像素数据。
另一方面，当在步骤S411判断为读出不是区域B的像素数据的读出时，在步骤S413，判断读出是否是开口区域(b)的区域C中的像素数据的读出。当是区域C的像素数据的读出时，流程进入步骤S414，并且读取存储在SRAM502中的、与在步骤S407所读取的各像素数据的水平方向上的位置相对应的地址中的数据(存储数据3)。然后，1/N乘法器505将其转换成各列的平均值，并且相减电路506进行相减处理。阴影校正部1031输出该结果作为校正输出。因此，阴影校正部1031使用存储数据3来校正区域C的像素数据。
另一方面，当在步骤S413判断为不是区域C的像素数据的读出时，在步骤S415，判断是否结束了像素数据的读出。作为该判断的结果，当没有结束像素数据的读出时，流程返回至步骤S409。换句话说，由于结束了计算区域的读出，所以只要所读取的像素数据是校正区域，就重复进行使用存储数据1～3中的任一个的校正。然后，作为步骤S415的判断的结果，当结束了像素数据的读出时，结束图9的阴影校正处理。根据本实施例的阴影校正处理(信号处理方法)，可以有效校正在VOB部中的计算区域中根据驱动模式的不同所生成的各列的平均值的偏差。
因此，本实施例的摄像元件101包括作为遮光区域的基准区域(计算区域)和开口区域。基准区域包括多个摄像像素和多个焦点检测像素各自中的一部分。在基准区域中，DSP103计算用于来自摄像像素的信号(第一像素信号)的第一校正数据(存储数据1)和用于来自焦点检测像素的信号(第二像素信号)的第二校正数据(存储数据2)。然后，DSP103使用第一校正数据对来自开口区域的第一像素信号、并且使用第二校正数据对来自开口区域的第二像素信号进行阴影校正。焦点检测计算器1032使用通过对第二像素信号进行阴影校正所获得的信号，进行焦点检测。
接着参考图10A～10C，说明本实施例的阴影校正处理的效果。图10A～10C是用于说明阴影校正处理的效果的图，并且图10A示出在进行阴影校正之前的暗时(暗环境下)的图像输出，图10B示出区域A、B和C的阴影图像，并且图10C示出在进行阴影校正之后的暗环境下的图像输出。
图10A所示的图像输出对应于设置有计算区域(a)～(c)、以及开口区域(a)和(b)的图11的像素配置。图10A所示的图像输出包含水平方向上的阴影。因此，在VOB部中的计算区域(a)～(c)中计算水平方向上的校正数据(阴影校正值)。图10B是分别作为区域A、B和C的阴影校正数据所使用的、在计算区域(a)～(c)中所计算出的数据。
在使用图10B的阴影校正数据对图10A所示的图像输出进行阴影校正处理时，可以获得图10C所示的图像数据。换句话说，使用在计算区域(a)～(c)中所获得的校正数据，在作为校正区域的开口区域(a)和(b)中进行相减处理，因此，可以获得校正了校正区域的水平方向上的阴影的平坦的图像输出。
本实施例的摄像设备在一个帧中以具有多个模式的驱动模式工作，并且在摄像元件的垂直基准区域(VOB部)中，包括通过第一驱动模式驱动的区域(计算区域(a))、以及分别通过第二驱动模式和第三驱动模式驱动的区域(计算区域(b)和(c))。该摄像设备获得进行阴影校正所使用的数据以对校正区域(开口区域)的数据进行校正。结果，即使在以相互不同的驱动模式来操作校正区域(开口区域)时，也进行适当的阴影校正，因此，可以防止图像质量的劣化。
实施例2
接着说明本发明实施例2的摄像设备。实施例1的摄像设备包括在垂直基准区域(VOB部)中以多个驱动模式驱动的区域。在这一结构中，摄像设备获得与这多个驱动模式中的每一个相对应的校正数据。然而，当采用如实施例1所述的结构时，在SRAM502中，至少需要确保存储用于与各行相对应的各驱动模式的数据的区域。因此，存储区域增大。另一方面，本实施例提供一种以小的存储区域减少图像质量的劣化的摄像设备。
本实施例的摄像设备包括通过第一驱动模式所获得的校正数据(或者，该摄像设备获得如实施例1所述的校正数据)，并且对于通过第二和第三驱动模式所驱动的各区域，预先包括与通过第一驱动模式所获得的数据的差数据。本实施例的摄像设备的基本结构与实施例1的摄像设备的相同。
首先，参考图11，说明本实施例的摄像元件101的像素配置。图11是摄像元件101的像素配置图。在图11所示的像素配置中，在VOB部(垂直光学黑体区域)中，仅设置通过对仅存在普通像素(摄像像素)的行所使用的第一驱动模式所驱动的区域(计算区域(a))。其它结构与参考图3所述的实施例1的像素配置的相同，因此省略详细说明。根据本实施例的结构，与实施例1的摄像元件相比，通过在VOB部中仅设置通过第一驱动模式所驱动的计算区域(a)，还可以减小芯片面积。
接着参考图16，说明本实施例的DSP103a的操作。图16是示出DSP103a的操作的框图。在图16中，附图标记2031表示对从摄像元件101读取的图像信号进行阴影校正的阴影校正部(第一阴影校正部)。阴影校正部2031的基本操作与图15的阴影校正部1031的相同。然而，在本实施例中，用于获得校正数据的区域仅是如图11所示的计算区域(a)。阴影校正部2031进行阴影校正，然后相互并行地输出焦点检测像素和普通像素(摄像像素)的信号。
附图标记2032表示焦点检测像素差偏移部(第二阴影校正部)。焦点检测像素差偏移部2032仅收集在阴影校正部2031进行阴影校正之后来自焦点检测像素的输出。然后，焦点检测像素差偏移部2032将通过阴影校正部2031的校正所生成的普通像素和焦点检测像素之间的差数据当作为偏移量，以获得校正图像。在本实施例中，将该差数据预先存储在ROM106中。附图标记2033表示焦点检测计算器，其使用经由焦点检测像素差偏移部2032校正了阴影(偏移)的焦点检测像素的输出，通过相位差方法进行焦点检测计算。将通过焦点检测计算器2033所计算出的结果输出给CPU105。
附图标记2034表示摄像校正部，其对进行了阴影校正的像素输出(摄像像素和焦点检测像素的输出)进行诸如缺陷校正等的各种类型的校正。附图标记2035表示显影处理器，其在通过摄像校正部2034进行各种类型的校正之后，对图像信号进行显影处理。将显影处理器2035的输出作为图像数据写入存储介质108中。由于通过摄像校正部2034进行焦点检测像素的缺陷校正，可以减少由焦点检测像素所导致的图像质量的劣化。
接着参考图12A～12E，说明本实施例的阴影校正处理的效果。图12A～12E是用于说明阴影校正处理的效果的图。图12A示出在进行阴影校正之前的暗环境下的图像输出，图12B示出区域A、B和C的阴影图像，并且图12C示出在进行阴影校正之后的暗环境下的图像输出。图12D示出区域B和区域A(区域B-A)之间的阴影的差、以及区域C和区域A(区域C-A)之间的阴影的差。图12E示出作为差数据所获得的A图像数据和B图像数据。
如图12A所示，对于在水平方向上包含阴影的图像输出，在VOB部中的计算区域(a)中计算水平方向上的校正值。在图12B中，区域A的阴影相当于计算区域(a)中的计算结果。使用区域A的数据作为开口区域(区域A、B和C)的图像阴影校正数据。
图12C是通过使用区域A的阴影数据(计算区域(a)的计算结果)对开口部进行相减处理、并且进行校正处理而获得的图像。如图12C所示，在所有开口区域(校正区域)中校正区域A的水平方向上的阴影，因此，可以针对进行与第一驱动模式的操作相同的操作(相加操作)的区域进行作为平坦的暗图像的输出。然而，对于区域B和C中的焦点检测像素的输出，生成阴影的校正的残余量。对于阴影的校正的残余量，如参考图5A～5C所述，由于在随后阶段，通过将焦点检测像素当作为缺陷像素进行校正，所以不会产生图像质量劣化的影响。
图12D示出在通过使用区域A的阴影数据(计算区域(a)的计算结果)进行阴影校正时在区域B和C中所生成的校正的残余量。图12E示出通过收集图12D中的区域B-A和C-A中的与非相加像素(焦点检测像素)相对应的位置的差数据所获得的图像(A图像数据和B图像数据)。如下所述，使用图12E的A图像数据作为仅用于区域B的焦点检测像素SHA的校正值，并且使用图12E的B图像数据作为仅用于区域C的焦点检测像素SHB的校正值。
在本实施例中，将图12E的A图像数据预先存储在ROM106中，作为用于通过收集焦点检测像素SHA所形成的焦点检测图像A(A图像)的校正数据(存储数据21)。此外，将图12E的B图像数据预先存储在ROM106中，作为用于通过收集焦点检测像素SHB所形成的焦点检测图像B(B图像)的校正数据(存储数据22)。在本实施例中，还针对区域B和C，去除通过与用于区域A的相同的驱动而操作的区域的数据，因此可以减少数据的量。
除图7的步骤S305以外，本实施例的操作与参考图6和7所述的序列相同。因此，对于与图7的步骤S305相对应的步骤S305a，参考图13，说明本实施例的阴影校正。图13是本实施例的阴影校正的流程图。实际上在图7的步骤S304的摄像信号的读出的同时，开始图13的操作序列。
首先，在图7的步骤S304，开始摄像元件101的读出。同时，在图13的步骤S501，在进行摄像元件101的读出之前，对存储在SRAM502中的所有内容进行复位。另外，从ROM106和RAM107等读取诸如在各部中要设置的计算区域和校正区域的坐标等的数据，以将其设置给各寄存器。然后，从摄像元件101的左上开始读出。
随后，在步骤S502，阴影校正部2031判断所读取的像素数据是否是图11的计算区域(a)的数据。当所读取的数据是计算区域(a)的数据时，在步骤S503，对各列进行积分处理。在积分处理中，在读取存储在SRAM502中的、与所读取的像素数据在水平方向上的位置相对应的地址的内容之后，进行相加处理，并且将该相加结果再次存储在SRAM502中的相同地址中。该情况下的地址是存储与第一驱动模式数据相对应的数据(存储数据1)所使用的预定地址。
首先，在计算区域的头行中，由于处于复位了SRAM502的内容的状态下，所以要相加的值为“0”，并且将所读取的像素数据原样存储在SRAM502中。因此，当完成计算区域的头行中的像素数据的读出时，将头行中的数据原样存储在SRAM502中。
随后，在步骤S504，阴影校正部2031判断计算区域中的像素数据的读出是否结束。当计算区域的像素数据的读出没有结束时，流程返回至步骤S502，并且读取计算区域(a)中的下一行中的像素数据。类似于头行中的像素数据，读取存储在SRAM502中的与水平方向上的读取位置相对应的地址中的值，以将所读取的像素数据相加至该值，并且将相加结果存储在SRAM502中。在步骤S504的结束计算区域的阶段，重复进行类似的处理，结束计算区域(a)的读出。在这种情况下，将计算区域(a)的各列的所有行的像素输出的相加结果，存储在SRAM502中所存储的地址中。
另一方面，在步骤S504，当计算区域的像素数据的读出没有结束时，流程进入步骤S505，并且阴影校正部2031判断是否是开口区域(校正区域)的像素数据的读出。当是开口区域的读出时，流程进入步骤S506，并且阴影校正部2031读取存储在SRAM502中的、与在步骤S503所读取的各像素数据的水平方向上的位置相对应的地址中的数据(存储数据1)。然后，1/N乘法器505将其转换成各列的平均值，并且相减电路506进行相减处理。通过输出端子507输出这样所获得的信号作为校正输出。
另一方面，在步骤S505，当不是开口区域的像素数据的读出时，流程进入步骤S507，并且阴影校正部2031判断像素数据的读出是否结束。当像素数据的读出没有结束时，流程返回至步骤S505。换句话说，由于计算区域的读出结束，所以只要所读取的像素数据是开口区域(校正区域)，就重复进行使用存储数据1的校正。另一方面，当在步骤S507结束像素数据的读出时，结束阴影校正处理。
在本实施例中，利用使用第一驱动模式的校正数据(存储数据1)校正开口区域的所有区域A～C。因此，在结束了参考图13所述的阴影校正的阶段，如图12C所示，对于在区域B和C中驱动模式不同的部分，即，尤其作为非相加像素的焦点检测像素SHA和SHB的输出，校正不充分。然而，对于图像生成，如参考图5A～5C所述，由于作为缺陷像素对焦点检测像素进行众所周知的校正，所以不会产生图像质量劣化的影响。
另一方面，在进入图7的步骤S306时，基于进行了图13的阴影校正的图像，生成通过收集焦点检测像素的输出所形成的焦点检测图像(A和B图像)。在图7的步骤S306，对于所生成的焦点检测图像(A和B图像)，分别使用如参考图12A～12E所述的预先存储的阴影差数据(存储数据21和22)，进行差分处理。然后，进行相位差焦点检测计算。
接着参考图14A和14B，说明本实施例的暗环境下的焦点检测图像的输出。图14A和14B示出暗环境下的焦点检测图像的输出。图14A是通过收集焦点检测像素SHA所获得的焦点检测图像A(A图像)，并且在左侧，示出在进行区域A中的阴影校正之后、并且在进行使用阴影差数据(存储数据21)的校正(相减处理)之前所获得的图像输出。在图14A的右侧，示出在进行使用阴影差数据(存储数据21)的校正(相减处理)之后所获得的图像输出。类似地，图14B是通过收集焦点检测像素SHB所获得的焦点检测图像B(B图像)，并且在左侧，示出在进行区域A中的阴影校正之后、并且在进行使用阴影差数据(存储数据22)的校正(相减处理)之前所获得的图像输出。在图14B的右侧，示出在进行使用阴影差数据(存储数据22)的校正(相减处理)之后所获得的图像输出。结果，焦点检测图像(A和B图像)的阴影也可以处于平坦状态。
因此，本实施例的摄像元件101包括遮光基准区域(计算区域)和开口区域，并且基准区域仅包括多个摄像像素中的一部分。DSP103a(信号处理器)针对来自基准区域中的摄像像素的信号(第一像素信号)计算第一校正数据(存储数据1)。然后，DSP103a的阴影校正部2031(第一阴影校正部)使用第一校正数据，对来自开口区域的第一像素信号和第二像素信号进行阴影校正。另外，DSP103a的焦点检测像素差偏移部2032(第二阴影校正部)使用预先存储的差数据(存储数据21和22)，针对来自焦点检测像素的信号(第二像素信号)，校正阴影校正的残余量。进行上述校正处理，可以校正存在于在VOB部中的计算区域中的、根据驱动模式的不同所生成的各列的平均值的偏差。
根据本实施例，简化基准区域(VOB部)的结构，此外，可以在减少诸如SRAM等的存储区域的情况下，适当校正从普通像素(摄像像素)和焦点检测像素所获得的像素数据。在本实施例中，由于说明了焦点检测像素的配置根据行而有所不同的情况，所以使用第一至第三驱动模式的三种类型的驱动模式，但是本实施例不局限于此。例如，当将摄像元件配置成将焦点检测像素SHA和SHB配置在同一行时，作为驱动模式，使用两种类型的驱动模式，即，对于普通像素所使用的第一驱动模式和对于包括焦点检测像素的情况所使用的第二驱动模式。即使在这种情况下，根据本实施例，也可以进行适当校正。在本实施例中，作为使用不同于用于普通像素的驱动模式的驱动模式的情况，作为例子，说明焦点检测像素，但是本实施例不局限于此。例如，当由于存在对于温度检测等所使用的特殊像素，因而在一个帧中包括多个模式时，本实施例也是有效的。
实施例3
接着说明本发明的实施例3的摄像设备。在实施例1和2中，类似于用于普通像素的阴影，在一维的水平方向上还进行用于焦点检测像素的校正。结果，阴影(偏移)在整个画面上大体恒定，但是通过一个像素单位进行近距离观察时，由于各像素的特性移位，稍微保留偏移移位。考虑到进行焦点检测，希望提高精度以使得还可以减少一个像素单位的轻微移位(偏移移位)。在本实施例中，分别进行普通像素和焦点检测像素的阴影校正(偏移校正)，尤其提高焦点检测像素的按照一个像素的校正性能。本实施例的摄像设备的结构和操作大体上与实施例2的相同，因此省略与其有关的说明。
参考图17，说明本实施例的DSP103b的操作。图17是示出DSP103b的操作的框图。在将图像输入进DSP103b的阶段，DSP103b将图像分成整个图像(普通像素和焦点检测像素)的图像输出、以及仅焦点检测像素的图像输出。然后，DSP103b对这些图像输出进行并行处理。特别地，对于所有像素(普通像素和焦点检测像素)的像素输出(图像输出)，通过普通像素阴影校正部3031(第一阴影校正部)、摄像校正部3032和显影处理器3033进行图像生成处理。另一方面，对于仅来自焦点检测像素的图像输出，通过焦点检测像素偏移校正部3034(第二阴影校正部)和焦点检测计算器3035进行焦点检测处理。
附图标记3031表示对从摄像元件101读取的信号进行阴影校正的普通像素阴影校正部。普通像素阴影校正部3031的基本操作与图16的阴影校正部2031的相同。附图标记3032表示对在阴影校正之后所获得的图像输出(普通像素和焦点检测像素的输出)，进行诸如缺陷校正等的各种类型的校正的摄像校正部。摄像校正部3032进行焦点检测像素的缺陷校正，以防止由焦点检测像素所导致的图像质量的劣化。附图标记3033表示在通过摄像校正部3032进行校正之后进行显影处理的显影处理器。将显影处理器3033的输出写入存储介质108。
附图标记3034表示焦点检测像素偏移校正部，其仅选择性地输入存在于预定坐标处的焦点检测像素，并且读取预先存储在ROM106中的焦点检测像素的像素单位的偏移数据，以使用该偏移数据进行校正处理。因此，可以校正各像素的偏移(阴影)，并且与如实施例1或2所述的用于各列的校正相比，可以高精度地获得焦点检测像素的输出。附图标记3035表示焦点检测计算器，其使用通过焦点检测像素偏移校正部3034进行了偏移校正的焦点检测像素的输出，进行众所周知的相位差焦点检测计算。将通过焦点检测计算器3035所获得的结果输出给CPU105。
接着参考图18，说明本实施例的暗环境下的焦点检测图像的输出。图18示出暗环境下的焦点检测图像的输出。图18的左侧是作为进行校正(相减处理)之前所输出的图像的、通过收集焦点检测像素SHA所获得的焦点检测图像(A图像)。将该图像输出预先存储在ROM106中作为像素单位的偏移数据(存储数据31)。图18的右侧是在使用偏移数据(存储数据31)进行校正(相减处理)之后所获得的图像输出。因此，焦点检测图像(A和B图像)的阴影也可以处于平坦状态。由于对通过收集焦点检测像素SHB所获得的焦点检测图像(B图像)的处理与A图像的情况下的相同，所以省略对该处理的说明。另外，分别存储用于焦点检测图像(B图像)的偏移数据(存储数据32)，并且在校正B图像时使用存储数据32。
因此，本实施例的摄像元件101包括遮光基准区域(计算区域)和开口区域，并且在基准区域中仅包括多个摄像像素中的一部分。DSP103b(信号处理器)针对来自基准区域中的摄像像素的信号(第一像素信号)计算第一校正数据(存储数据1)。然后，DSP103b的普通像素阴影校正部3031(第一阴影校正部)使用第一校正数据，对来自开口区域的第一像素信号进行阴影校正。DSP103b的焦点检测像素偏移校正部3034(第二阴影校正部)使用针对多个焦点检测像素中的每一个焦点检测像素所预先存储的校正数据(存储数据31和32)，对第二像素信号进行阴影校正。
根据本实施例，针对普通像素(摄像像素)和特殊像素(焦点检测像素)各自的输出，使用不同的偏移数据进行校正，从而可以提高提取焦点检测像素的信号成分的精度。在本实施例中，由于可以以像素为单位减少焦点检测像素的基准偏移，所以无需使用多个驱动模式。在本实施例中，为了便于说明，说明了暗环境下的阴影(偏移)，但是本实施例不局限于此。例如，本实施例还可应用于对由光所生成的阴影的校正。
根据上述各实施例，通过针对来自具有摄像像素和焦点检测像素的摄像元件的像素输出进行适当阴影校正，可以提供一种减少图像质量的劣化的摄像设备和信号处理方法。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
例如，在上述各实施例中，说明了焦点检测像素作为特殊像素，但是还可以将各实施例应用于对于诸如温度检测或光源检测等的、不同于作为普通像素的摄像像素的用途的用途所使用的其它特殊像素。

Claims (6)

1.一种摄像设备，包括：
摄像元件，其包括多个摄像像素和多个焦点检测像素，其中，所述摄像像素用于对由来自摄像光学系统的光束形成的图像进行光电转换，所述焦点检测像素用于对由来自所述摄像光学系统的光束的分割光束形成的图像进行光电转换；以及
信号处理器，用于对来自所述摄像元件的像素信号进行阴影校正，
其中，所述摄像元件通过对来自所述多个摄像像素的信号进行相加来生成第一像素信号，并且在对来自所述焦点检测像素的信号不进行相加的情况下生成第二像素信号，以及
其中，所述信号处理器使用相互不同的校正数据，对所述第一像素信号和所述第二像素信号进行所述阴影校正。
2.根据权利要求1所述的摄像设备，其中，
所述摄像元件包括开口区域和遮光的基准区域，并且所述基准区域包括所述多个摄像像素和所述多个焦点检测像素各自的一部分，
其中，所述信号处理器在所述基准区域中计算针对所述第一像素信号的第一校正数据和针对所述第二像素信号的第二校正数据，而且使用所述第一校正数据对来自所述开口区域的所述第一像素信号进行所述阴影校正，并且使用所述第二校正数据对来自所述开口区域的所述第二像素信号进行所述阴影校正。
3.根据权利要求1所述的摄像设备，其中，
所述摄像元件包括开口区域和遮光的基准区域，并且所述基准区域仅包括所述多个摄像像素的一部分，
其中，所述信号处理器包括：
第一阴影校正部，用于在所述基准区域中计算针对所述第一像素信号的第一校正数据，并且使用所述第一校正数据对来自所述开口区域的所述第一像素信号和所述第二像素信号进行所述阴影校正；以及
第二阴影校正部，用于使用预先存储的差数据，针对所述第二像素信号校正所述阴影校正的残余量。
4.根据权利要求1所述的摄像设备，其中，
所述摄像元件包括开口区域和遮光的基准区域，并且所述基准区域仅包括所述多个摄像像素的一部分，
其中，所述信号处理器包括：
第一阴影校正部，用于在所述基准区域中计算针对所述第一像素信号的第一校正数据，并且使用所述第一校正数据对来自所述开口区域的所述第一像素信号进行所述阴影校正；以及
第二阴影校正部，用于使用针对所述多个焦点检测像素中的各个焦点检测像素所预先存储的校正数据，对所述第二像素信号进行所述阴影校正。
5.根据权利要求1～4中任一项所述的摄像设备，其中，所述信号处理器使用通过对所述第二像素信号进行所述阴影校正所获得的信号，进行焦点检测。
6.一种信号处理方法，其用于处理来自包括多个摄像像素和多个焦点检测像素的摄像元件的像素信号，其中，所述摄像像素用于对由来自摄像光学系统的光束形成的图像进行光电转换，所述焦点检测像素用于对由来自所述摄像光学系统的光束的分割光束形成的图像进行光电转换，所述信号处理方法包括以下步骤：
通过对来自所述多个摄像像素的信号进行相加来生成第一像素信号，并且在对来自所述焦点检测像素的信号不进行相加的情况下生成第二像素信号；以及
使用相互不同的校正数据，对所述第一像素信号和所述第二像素信号进行所述阴影校正。
CN201310108941.2A 2012-03-30 2013-03-29 摄像设备和信号处理方法 Active CN103369241B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-081787 2012-03-30
JP2012081787A JP6016412B2 (ja) 2012-03-30 2012-03-30 撮像装置および信号処理方法

Publications (2)

Publication Number Publication Date
CN103369241A true CN103369241A (zh) 2013-10-23
CN103369241B CN103369241B (zh) 2016-12-28

Family

ID=49234492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310108941.2A Active CN103369241B (zh) 2012-03-30 2013-03-29 摄像设备和信号处理方法

Country Status (3)

Country Link
US (2) US9065988B2 (zh)
JP (1) JP6016412B2 (zh)
CN (1) CN103369241B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187738A (zh) * 2014-06-18 2015-12-23 奥林巴斯株式会社 摄像元件、摄像装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法
US9826174B2 (en) * 2013-03-26 2017-11-21 Samsung Electronics Co., Ltd Image processing apparatus and method
US9402041B2 (en) 2013-07-11 2016-07-26 Canon Kabushiki Kaisha Solid-state image sensor and imaging apparatus using same
CN104683653B (zh) * 2013-11-30 2018-12-14 南宁富桂精密工业有限公司 时钟信号产生电路及视频信号处理电路
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.
JP6483354B2 (ja) * 2014-06-05 2019-03-13 オリンパス株式会社 撮像装置および撮像方法
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法
JP6529109B2 (ja) * 2014-11-26 2019-06-12 オリンパス株式会社 撮像装置、画像処理方法
DE112016004211T5 (de) * 2015-09-16 2018-06-14 Canon Kabushiki Kaisha Bildsensor und Bildaufnahmevorrichtung
US20160373664A1 (en) * 2015-10-27 2016-12-22 Mediatek Inc. Methods And Apparatus of Processing Image And Additional Information From Image Sensor
JP6650779B2 (ja) * 2016-02-19 2020-02-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP6727017B2 (ja) * 2016-04-21 2020-07-22 キヤノン株式会社 撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法
JP6947590B2 (ja) * 2017-09-08 2021-10-13 オリンパス株式会社 撮像装置、撮像装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630110A (zh) * 2008-07-17 2010-01-20 佳能株式会社 相位差检测装置、摄像设备和相位差检测方法
US20100045849A1 (en) * 2008-08-25 2010-02-25 Canon Kabushiki Kaisha Image sensing apparatus, image sensing system and focus detection method
CN101971610A (zh) * 2008-03-11 2011-02-09 佳能株式会社 摄像设备和图像处理方法
CN102090053A (zh) * 2008-07-10 2011-06-08 佳能株式会社 摄像设备及其控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
JP2003333434A (ja) 2002-05-17 2003-11-21 Canon Inc 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
JP2005277618A (ja) * 2004-03-24 2005-10-06 Casio Comput Co Ltd 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP4946059B2 (ja) * 2006-01-11 2012-06-06 株式会社ニコン 撮像装置
JP5322561B2 (ja) * 2008-09-25 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
JP2010091943A (ja) * 2008-10-10 2010-04-22 Canon Inc 撮像装置
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
JP5437781B2 (ja) * 2009-12-09 2014-03-12 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置
JP5664270B2 (ja) * 2011-01-21 2015-02-04 ソニー株式会社 撮像素子および撮像装置
KR101853817B1 (ko) * 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971610A (zh) * 2008-03-11 2011-02-09 佳能株式会社 摄像设备和图像处理方法
CN102090053A (zh) * 2008-07-10 2011-06-08 佳能株式会社 摄像设备及其控制方法
CN101630110A (zh) * 2008-07-17 2010-01-20 佳能株式会社 相位差检测装置、摄像设备和相位差检测方法
US20100045849A1 (en) * 2008-08-25 2010-02-25 Canon Kabushiki Kaisha Image sensing apparatus, image sensing system and focus detection method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187738A (zh) * 2014-06-18 2015-12-23 奥林巴斯株式会社 摄像元件、摄像装置
CN105187738B (zh) * 2014-06-18 2019-03-19 奥林巴斯株式会社 摄像元件、摄像装置

Also Published As

Publication number Publication date
JP2013211770A (ja) 2013-10-10
US20130258155A1 (en) 2013-10-03
CN103369241B (zh) 2016-12-28
US20150249799A1 (en) 2015-09-03
JP6016412B2 (ja) 2016-10-26
US9065988B2 (en) 2015-06-23
US9432606B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
CN103369241A (zh) 摄像设备和信号处理方法
JP5739640B2 (ja) 撮像素子及び撮像装置
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
CN102870404B (zh) 摄像设备及其暗电流校正方法
US9781366B2 (en) Image sensing system and method of driving the same
CN103491310B (zh) 图像捕获装置及其控制方法
CN104010128A (zh) 摄像设备及其控制方法
KR20130026393A (ko) 고체촬상장치 및 그 구동방법
CN103139494B (zh) 摄像装置
JP6872956B2 (ja) 撮像システム及び撮像システムの制御方法
CN1917655A (zh) 图像摄取装置以及缺陷像素校正装置和方法
CN106664350A (zh) 用于与成像传感器帧同步的相机致动器驱动器模式控制的方法和装置
JP4793059B2 (ja) 撮像装置及び撮像システム
JP5657184B2 (ja) 撮像装置及び信号処理方法
CN1694507B (zh) 箝位电平调节设备，电子照相机，和图像处理设备
US20080278613A1 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
CN101931745B (zh) 数字相机装置
CN100426524C (zh) 信号处理装置
JP6579782B2 (ja) 撮像装置
JP5222068B2 (ja) 撮像装置
US7920191B2 (en) Image capturing apparatus in which pixel charge signals are divided and output in a different order than an arrangement of pixels on an image capturing element and then rearranged and stored in a same order as the arrangement of the pixels on the image capturing element, and method thereof
CN105407299A (zh) 摄像装置及控制摄像装置的方法
JP6590055B2 (ja) 撮像装置
JP6167473B2 (ja) 撮像装置
JP2021090134A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant