CN107819979B - 摄像元件、摄像装置 - Google Patents

摄像元件、摄像装置 Download PDF

Info

Publication number
CN107819979B
CN107819979B CN201710669622.7A CN201710669622A CN107819979B CN 107819979 B CN107819979 B CN 107819979B CN 201710669622 A CN201710669622 A CN 201710669622A CN 107819979 B CN107819979 B CN 107819979B
Authority
CN
China
Prior art keywords
pixel
phase difference
pixels
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710669622.7A
Other languages
English (en)
Other versions
CN107819979A (zh
Inventor
岛田义尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107819979A publication Critical patent/CN107819979A/zh
Application granted granted Critical
Publication of CN107819979B publication Critical patent/CN107819979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors

Abstract

摄像元件、摄像装置。本发明提供一种能够减轻包含相位差像素的第一像素区域与不包含输出有效的相位差像素信号的像素的第二像素区域之间的色彩平衡的差异的摄像元件等。摄像元件具有:第一像素区域,其包含图像用像素和相位差像素;以及第二像素区域,其包含图像用像素,并且不包含输出有效的相位差像素信号的像素,第一像素区域的多个相位差像素的一部分配置于拜耳排列中的形成G滤光器的常规位置处,并且另一部分配置于形成G以外的滤光器的非常规位置处,第二像素区域内的滤光器的基本配置图案(P2)与第一像素区域(R1)内的滤光器的基本配置图案相同。

Description

摄像元件、摄像装置
技术领域
本发明涉及包含图像用像素和相位差像素,并且在每个像素位置上形成有多个种类的滤光器中的任意一种滤光器的摄像元件、摄像装置。
背景技术
近年来,在配置为二维状的图像用像素中,离散地配置用于生成焦点检测用的相位差像素信号的相位差像素的摄像元件已被实用化和商品化。
这里,相位差像素通过对通常的图像用像素的开口的一部分进行遮光,从而禁止来自特定方向的光线的射入而允许来自其他特定方向的光线的射入,由此对相位差信息进行检测。
这样的相位差像素配置于被称作所谓的AF区的区域内。
例如,在日本特开2014-230020号公报中记载有如下内容:在具有拜耳排列的滤色器的摄像元件中,具有包含相位差像素的相位差像素配置区域和不包含相位差像素的通常区域。
而且,近年来处于如下倾向:为了在更大的范围内进行焦点检测而将相位差像素的配置区域扩大到摄像元件的整个摄像区域内的更大范围,并且为了提高焦点检测的精度而使相位差像素相对于图像用像素的配置比例较大提升(提高相位差像素的配置密度)(例如,8个像素中1个相位差像素的比例等)。
但是,如上所述,由于相位差像素容许特定方向的入射光而禁止其他特定方向的入射光,因此即使在整个摄像区域的周缘部配置相位差像素,也会发生例如光线射入右侧开口的相位差像素但因产生晕影而光线不射入左侧开口的(即右侧被遮光的)相位差像素(或者入射量较少)等情况。由于焦点检测例如只有在聚齐了右侧开口的相位差像素的像素信号和左侧开口的相位差像素的像素信号时才能够被执行,因此有时在摄像区域的周缘部无法获取有效的相位差像素信号。因此,即使扩大了相位差像素的配置区域,整个摄像区域也通常被分成上述的通常区域和相位差像素配置区域。
可是,由于相位差像素与通常的彩色像素不同而无需对颜色成分进行分离,因此为了获得尽可能高的检测灵敏度,采用有效地获取亮度成分的滤光器结构。在数字照相机等摄像装置中广泛使用的配置有原色拜耳排列的滤色器的单板摄像元件的情况下,例如,对于相位差像素配置作为亮度相当成分的绿色(G)的滤光器。
但是,在如上述那样增大相位差像素的配置比例的情况下,若将所有的相位差像素例如配置于拜耳排列中的绿色(G)像素的位置上,则图像用的G像素的数量会不足而造成画质降低。
对此,可以考虑在考察图像用的红色(Rr:为了与右侧开口的相位差像素R进行区分而记为Rr)像素、绿色(G)像素、蓝色(Bb:为了与下侧开口的相位差像素B进行区分而记为Bb)像素的个数的比例的同时将相位差像素配置于拜耳排列中的G像素以外(Rr像素或Bb像素)的位置处。
例如,在本发明的实施方式的图5中,像素的右侧或左侧被遮光的纵线检测用的相位差像素L、R配置于拜耳排列中的与G像素对应的位置处,而像素的上侧或下侧被遮光的横线检测用的相位差像素B、T配置于拜耳排列中的与蓝色(Bb)像素对应的位置处。
但是,由于在将相位差像素配置于拜耳排列中的G像素以外的位置上的情况下,从上述的检测灵敏度的观点来看也不希望在相位差像素处设置红色(Rr)滤光器或蓝色(Bb)滤光器,因此在将相位差像素配置于拜耳排列中的本应配置Rr滤光器或Bb滤光器的位置上的情况下,设置G滤光器来代替Rr滤光器或Bb滤光器,从而在包含相位差像素的相位差像素配置区域内采用与通常的拜耳排列不同的特殊的滤光器配置图案。
与此相对,由于在不包含相位差像素的通常区域内直接采用通常的拜耳排列,因此在通常区域和相位差像素配置区域中,滤光器的配置图案不同。在这种情况下,会产生如下的问题。
这里,参照本发明的实施方式的图7、图8以及图9对所产生的问题进行说明。
首先,例如图7所示那样按G滤光器、Rr滤光器、Bb滤光器的顺序进行对于摄像元件形成原色滤光器Rr、G、Bb的工序。
这里,如图8的图表的以往栏所示,首先,在形成G滤光器的阶段中,在通常区域和相位差像素配置区域中都形成滤光器厚度均匀的G滤光器。
接下来,当形成Rr滤光器时,由于形成于相位差像素配置区域的G滤光器的比例比形成于通常区域的G滤光器的比例高,因此在对相位差像素配置区域和通常区域涂覆含Rr色素的感光性树脂时,会受到G滤光器的密度在相位差像素配置区域和通常区域中的差异的影响,例如使得相位差像素区域的Rr像素的滤光器厚度大于通常区域的Rr像素的滤光器厚度。
并且,当形成Bb滤光器时,由于形成于相位差像素配置区域的G滤光器和Rr滤光器的比例比形成于通常区域的G滤光器和Rr滤光器的比例高,因此在对相位差像素配置区域和通常区域涂覆含Bb色素的感光性树脂时,会受到G滤光器的密度在相位差像素配置区域和通常区域中的差异的影响,例如使得相位差像素区域的Bb像素的滤光器厚度大于通常区域的Bb像素的滤光器厚度。
这样,相位差像素配置区域与通常区域相比,例如Rr滤光器和Bb滤光器的滤光器厚度较厚。在这种情况下,由于光的透射率会随着滤光器变厚而相应减小,因此相位差像素配置区域与通常区域相比,虽然Gr像素信号和Gb像素信号的信号值相同,但Rr像素信号和Bb像素信号的信号值较低。其结果是,相位差像素配置区域与通常区域相比亮度略微减小并且例如带有绿色的色调(参照图9的现有栏中的色调/亮度级差一栏)。
因此,在相位差像素配置区域和通常区域中,具有在色调(和亮度)上产生级差的问题。
并且,相位差像素的像素位置上的图像用像素信号由相邻的图像用像素的图像用像素信号插值而求得,该相邻的图像用像素具有与相位差像素的像素位置上的拜耳排列的滤色器相同颜色的滤色器。此时,插值像素信号是通过多个像素的算术平均(与摄影图像的特征对应的加权平均等)来求出的,而由于算术平均的处理简单来说相应于平坦化的处理,因此像图9的以往栏中的噪声感一栏所示那样,关于由光电二极管产生的暗电流散粒噪声、光散粒噪声、读出电路的复位噪声等随机噪声的噪声量,与通常区域的情况下相比,在通过对相位差像素的像素位置上的图像用像素信号进行插值而求出的相位差像素配置区域更小,即,在通常区域和相位差像素配置区域中噪声感不同。
发明内容
本发明的目的在于提供能够降低包含相位差像素的第一像素区域与不包含输出有效的相位差像素信号的像素的第二像素区域之间的色彩平衡的差异的摄像元件、摄像装置。
简单来说,本发明的一个方面的摄像元件在配置为二维状的多个像素上分别形成有分光特性不同的多个种类的滤光器中的任一种滤光器,其中,该摄像元件具有:第一像素区域,其包含分别生成并输出图像用像素信号的多个图像用像素和分别生成并输出相位差像素信号的多个相位差像素;以及第二像素区域,其包含分别生成并输出图像用像素信号的多个图像用像素,并且不包含输出有效的相位差像素信号的像素,上述第一像素区域的上述多个图像用像素按照规定配置图案而配置有上述多个种类的滤光器,上述多个相位差像素都形成有上述多个种类的滤光器中的第一种类的滤光器,关于该多个相位差像素,该多个相位差像素的一部分配置于常规位置处,该多个相位差像素的另一部分配置于非常规位置处,其中,该常规位置是在所有的相位差像素上形成上述多种滤光器中的第一种类的滤光器而对于该相位差像素的位置应用上述规定配置图案的情况下的形成上述第一种类的滤光器的位置,该非常规位置是形成与上述第一种类的滤光器不同种类的滤光器的位置,上述第二像素区域的滤光器的基本配置图案与上述第一像素区域的滤光器的基本配置图案相同。
本发明的另一个方面的摄像装置具有:上述摄像元件;以及焦点检测信号处理电路,其根据由上述摄像元件输出的相位差像素信号来进行焦点检测,上述摄像元件的上述第二像素区域除了包含上述多个图像用像素之外,还包含分别生成并输出无效的相位差像素信号的多个相位差像素,上述焦点检测信号处理电路不使用来自上述第二像素区域的上述无效的相位差像素信号而仅使用来自上述第一像素区域的上述相位差像素信号进行焦点检测。
附图说明
图1是示出本发明的第一实施方式的摄像装置的结构的框图。
图2是示出上述第一实施方式的摄像元件的结构的概要的图。
图3是示出上述第一实施方式的摄像元件中的相位差像素的结构例的图。
图4是示出在上述第一实施方式中作为对图像用像素配置的滤光器的规定配置图案PO的拜耳排列的图。
图5是示出上述第一实施方式中的第一像素区域的像素结构和形成于像素的滤光器的基本配置图案P1的图。
图6是示出上述第一实施方式中的第二像素区域的像素结构和形成于像素的滤光器的基本配置图案P2的图。
图7是示出上述第一实施方式的摄像元件的晶载(on-chip)滤色器制造工艺的流程图。
图8是将上述第一实施方式与以往进行对比来示出通过图7的晶载滤色器制造工艺形成的各色滤光器的厚度的图表。
图9是与以往对比地示出上述第一实施方式中的色调/亮度级差的改善状况和噪声感的改善状况的图表。
图10是用于说明在上述第一实施方式中通过Mix处理而从第一像素区域输出的混合像素信号的图。
图11是用于说明在上述第一实施方式中通过Mix处理而从第二像素区域输出的混合像素信号的图。
图12是用于说明在上述第一实施方式中进行像素混合读出时的输出信号的状况的时序图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
【第一实施方式】
图1至图12示出了本发明的第一实施方式,图1是示出摄像装置的结构的框图。另外,在该图1中示出了摄像装置例如构成为数字照相机的例子,但摄像装置并不限定于数字照相机,能够广泛地应用于数字摄像机、带摄影功能的电话装置等具有摄影功能的各种装置。
如图1所示,该摄像装置具有镜头1、摄像元件2、图像处理部3、AF(自动对焦)评价值运算部4、显示部5、抖动检测部7、抖动校正部8、曝光控制部9、对焦控制部10、照相机操作部11、以及照相机控制部12。另外,在图1中还记载了存储卡6,但由于该存储卡6构成为相对于摄像装置能够装卸,因此不是摄像装置所固有的结构也行。
镜头1是将被摄体的光学像成像于摄像元件2的摄像区域的摄像光学系统。该镜头1具有用于对焦点位置进行调节来进行调焦的对焦透镜和用于控制所通过的光束的范围的光圈,并且,在本实施方中具有抖动校正功能。
摄像元件2对由镜头1成像的被摄体的光学像进行光电转换并作为图像信号输出。该摄像元件2如在后文中详细说明的那样具有用于构成图像信号的图像用像素,并且还具有焦点检测用的相位差像素。另外,在本实施方式中,摄像元件2构成为能够在与镜头1的摄影光轴垂直的面内移动,并且该摄像元件2具有抖动校正功能。另外,摄像元件2能够进行Mix读出,该Mix读出是对涉及同一种类的滤光器的多个像素信号进行像素混合处理(Mix处理)并读出。
图像处理部3对根据从摄像元件2的图像用像素输出的图像用像素信号而构成的图像信号进行各种图像处理,生成显示用或记录用的图像信号。
AF评价值运算部4根据从摄像元件2输出的像素信号来计算表示合焦状态的AF评价值并输出给照相机控制部12。具体而言,AF评价值运算部4根据从摄像元件2的相位差像素读出的相位差像素信号来计算相位差并作为AF评价值输出。另外,AF评价值运算部4还可以根据从摄像元件2输出的图像信号来计算对比度值并作为AF评价值输出(即,除了进行相位差AF之外还可以进行对比度AF)。
显示部5根据由图像处理部3进行了显示用的图像处理后的信号来显示图像。该显示部5进行实时取景显示、紧接摄影之后的静态图像显示、记录完毕的静态图像再现显示、动态图像录像中显示以及动态图像再现显示等,并且显示与该摄像装置相关的各种信息等。这里,在进行实时取景时或动态图像记录时,为了确保帧频,例如进行上述的Mix读出。
存储卡6是用于保存由图像处理部3进行了记录用的图像处理后的信号(静态图像信号、动态图像信号等)的记录介质。
抖动检测部7构成为具有加速度传感器或角速度传感器等,且该抖动检测部7对该摄像装置的抖动进行检测并输出给照相机控制部12。
抖动校正部8根据照相机控制部12的控制以抵消检测出的抖动的方式使镜头1和摄像元件2中的至少一方移动,从而减轻成像于摄像元件2的摄像区域上的光学被摄体像所受到的抖动的影响。
曝光控制部9根据由照相机控制部12确定的快门速度(曝光时间),在该照相机控制部12的控制下对摄像元件2的元件快门进行控制而使摄像元件2取得图像。并且,曝光控制部9还根据由照相机控制部12确定的光圈值来进行包含于镜头1的光圈的控制等。这里,快门速度和光圈值由照相机控制部12使用根据从摄像元件2输出的图像信号而计算出的测光数据和由照相机操作部11设定的(或者由照相机控制部12自动设定的)ISO感光度等,例如根据遵循APEX体系的程序线图等来确定。另外,曝光控制部9将摄像元件2的驱动信息输出给照相机控制部12。
对焦控制部10驱动镜头1以对焦点位置进行调节。即,对焦控制部10根据从AF评价值运算部4接收到AF评价值的照相机控制部12的控制来驱动镜头1中包含的对焦透镜,使成像于摄像元件2的被摄体像达到合焦。另外,对焦控制部10将透镜位置等透镜驱动信息输出给照相机控制部12。
这样,AF评价值运算部4、照相机控制部12以及对焦控制部10构成了根据从摄像元件2输出的相位差像素信号来进行焦点检测的焦点检测信号处理电路。
照相机操作部11是用于进行针对该摄像装置的各种操作输入的操作部。在该照相机操作部11中包含有用于使摄像装置的电源接通/断开的电源开关、用于指示输入静态图像摄影或动态图像摄影等的释放按钮、用于设定静态图像摄影模式、动态图像摄影模式、实时取景模式以及静态图像/动态图像再现模式等的模式按钮等操作部件。
照相机控制部12根据来自对焦控制部10的透镜驱动信息、来自AF评价值运算部4的AF评价值、来自曝光控制部9的摄像元件2的驱动信息、来自图像处理部3的处理信息、来自抖动检测部7的抖动信息以及来自照相机操作部11的操作输入等对包含图像处理部3、存储卡6、抖动校正部8、曝光控制部9以及对焦控制部10等的该摄像装置整体进行控制。
接下来,图2是示出摄像元件2的结构的概要的图。另外,该图2所示的各电路要素的配置以适当地概念化的方式被记载,未必与实际的配置一致。
摄像元件2具有像素部21。另外,摄像元件2具有控制电路22、垂直扫描电路23、水平读出电路24以及DAC(数字/模拟转换器)25来作为元件控制部。并且,摄像元件2具有列并行AD转换器26、水平信号线27以及读放电路(sense amplifier circuit)28来作为图像信号输出部。
首先,像素部21是呈二维状地配置有多个生成与曝光量对应的信号电荷的像素31的摄像区域,作为更具体的二维状配置,例如采用矩阵状的排列。而且,该像素部21中的像素31在行方向上的排列被称为“行”或“线”等,在列方向上的排列被称为“列”。另外,行方向也被称为水平方向,列方向也被称为垂直方向等。
像素部21中排列的像素31按照每一行连接有控制信号线32,按照每一列连接有垂直信号线33。
该像素部21例如在中央部设置有第一像素区域R1,并且在该第一像素区域R1的外周侧设置有第二像素区域R2。
第一像素区域R1包含分别生成并输出图像用像素信号的多个图像用像素和分别生成并输出相位差像素信号的多个相位差像素。
另外,第二像素区域R2包含分别生成并输出图像用像素信号的多个图像用像素,并且不包含输出有效的相位差像素信号的像素。这里,所谓不包含输出有效的相位差像素信号的像素,如在后文详细说明的那样指的是由于在第二像素区域R2内未设置相位差像素因而不输出相位差像素信号自身或虽然在第二像素区域R2内设置有相位差像素,但由第二像素区域R2的相位差像素生成的信号是不适用于焦点检测的信号(无效的相位差像素信号)中的任一种意思。
垂直扫描电路23由移位寄存器等构成,连接有每一行的控制信号线32,能够按照每行独立地输出发给像素部21的控制信号。
列并行AD转换器26具有与多个垂直信号线33分别连接的多个ADC(模拟/数字转换器)34。由于所有的ADC 34能够同时动作,因此经由任意数量的垂直信号线33而同时传送的模拟信号同时被转换为数字信号。而且,列并行AD转换器26对从像素31经由垂直信号线33而按照每列输出的像素信号例如进行噪声去除或放大等信号处理,并且进行将模拟的像素信号转换为数字信号的处理。
DAC 25将控制电路22为了控制列并行AD转换器26而输出的数字信号(计数信号)转换为模拟信号(电压值以固定的斜率相对于时间变化的斜坡电压信号)。
水平读出电路24例如由移位寄存器构成,依次选择列并行AD转换器26的与要读出像素信号的像素列相关的ADC 34,通过将像素信号从列并行AD转换器26依次输出给水平信号线27来读出像素信号。
另外,例如控制电路22、垂直扫描电路23、水平读出电路24以及列并行AD转换器26通过适当的结构(例如,包含缓冲器或加法电路等的结构)而构成像素混合读出电路。这里,像素混合读出电路生成混合像素信号并读出,该混合像素信号中混合了形成有同一种类的滤光器的相邻的多个像素的像素信号。另外,这里采用由控制电路22、垂直扫描电路23、水平读出电路24以及列并行AD转换器26兼作像素混合读出电路的结构,但当然也可以另行设置专用的像素混合读出电路。
读出放大器电路28对输出给水平信号线27的像素信号进行放大等信号处理。
控制电路22是如下的控制部,其根据曝光控制部9的控制而生成作为动作的基准的时钟信号、垂直同步信号VD(参照图12)以及水平同步信号HD(参照图12)等控制信号,从而对上述的垂直扫描电路23、水平读出电路24、DAC 25以及列并行AD转换器26等进行控制。
接下来,图3是示出摄像元件2中的相位差像素的结构例的图。另外,该图3示出了从正面观察像素部21时的状况,当将从镜头1观察时的字符“F”作为被摄体时,该字符“F”的光学像被镜头1反转,而在图3所示那样的上下左右方向上成像。另外,图3的x方向表示水平(Horizontal)方向,y方向表示垂直(Vertical)方向。
本实施方式的摄像元件2在像素部21中设置有纵线检测用的相位差像素和横线检测用的相位差像素。
这里,纵线检测用的相位差像素的组以成对的方式包含像素的右侧被遮光部SH遮光且左侧为开口部OP的相位差像素L的组、以及像素的左侧被遮光部SH遮光且右侧为开口部OP的相位差像素R的组。而且,由相位差像素L组的像素信号获得的纵线在水平方向上的成像位置与由相位差像素R组的像素信号获得的该纵线在水平方向上的成像位置之差作为相位差而被检测。
另外,横线检测用的相位差像素的组以成对的方式包含像素的上侧被遮光部SH遮光且下侧为开口部OP的相位差像素B的组、以及像素的下侧被遮光部SH遮光且上侧为开口部OP的相位差像素T的组。而且,由相位差像素B组的像素信号获得的横线在垂直方向上的成像位置与由相位差像素T组的像素信号获得的该横线在垂直方向上的成像位置之差作为相位差而被检测。
图4是示出作为对图像用像素配置的滤光器的规定配置图案P0的拜耳排列的图。
本实施方式的摄像元件2在配置为二维状的多个像素31上分别形成有分光特性不同的多个种类的滤光器中的任意一种滤光器。这里,本实施方式中的分光特性不同的多个种类的滤光器是红色(Rr)滤光器、绿色(G)滤光器和蓝色(Bb)滤光器这三种滤色器。但是,滤光器并不限定于这三种滤色器,也可以包含更多种类的滤色器,还可以是滤色器以外的滤光器。例如,作为分光特性不同的滤光器的种类,也可以包含透明(W)滤光器、红外线透射(IR)滤光器等各种滤光器。
而且,在本实施方式的摄像元件2上排列的多个像素31基本都形成有原色拜耳排列的滤光器,但如后文参照图5和图6进行说明的那样,对于若干像素31形成有作为原色拜耳排列的例外的滤光器。
众所周知,该原色拜耳排列为如下结构:以2×2像素排列为基础,在2×2像素排列的两个对角位置处配置绿色(G)滤光器,在剩余的两个对角位置中的一处配置红色(Rr)滤光器,在另一处配置蓝色(Bb)滤光器。
而且,将形成有红色(Rr)滤光器的像素称为Rr像素,将形成有蓝色(Bb)滤光器的像素称为Bb像素,将与Rr像素同一行排列的形成有绿色(G)滤光器的像素称为Gr像素,将与Bb像素同一行排列的形成有绿色(G)滤光器的像素称为Gb像素。如上所述,称为Rr像素是为了与右侧开口的相位差像素R进行区分,称为Bb像素是为了与下侧开口的相位差像素B进行区分。另外,称为Gr像素和Gb像素是为了区分与Rr像素位于同一行还是与Bb像素位于同一行。
在本实施方式中,将该图4所示那样的滤光器的配置图案作为规定配置图案P0。但是,规定配置图案P0并不限定于图4所示那样的配置图案,例如也可以是补色系的配置图案,作为排列也可以采用其他排列方式。
图5是示出第一像素区域R1中的像素结构和形成于像素上的滤光器的基本配置图案P1的图。另外,在图5(和后述的图6、图10、图11)中,将用于表示像素位置的x方向和y方向的相对地址附加在像素排列的下方和左方示出。
第一像素区域R1是将图5所示那样的基本配置图案P1没有间隙地铺满区域内而构成的。
另外,所谓基本配置图案是如果没有间隙地铺满该基本配置图案则能够构成整个相应区域的滤光器图案的配置图案,是指不存在比基本配置图案更小的配置图案的最小配置图案。
首先,第一像素区域R1的多个图像用像素Bb、Gb、Gr、Rr按照图4所示的规定配置图案P0而配置有多个种类的滤光器。
另一方面,第一像素区域R1的多个相位差像素R、L、T、B全部形成有作为多个种类的滤光器中的第一种类的滤光器的G滤光器。
这里,将把规定配置图案P0应用于相位差像素的位置上的情况下的形成有第一种类的滤光器(这里是G滤光器)的位置称为常规位置,将形成有与第一种类的滤光器(同样是G滤光器)不同种类的滤光器的位置称为非常规位置。
此时,多个相位差像素的一部分配置于常规位置处,多个相位差像素的另一部分配置于非常规位置处。例如,纵线检测用的相位差像素和横线检测用的相位差像素中的一方全部配置于常规位置处,而另一方全部配置于非常规位置处。
更具体地说,在图5所示的例子中,相位差像素R、L、T、B中的纵线检测用的相位差像素R、L全部配置于相当于Gr像素的位置即常规位置处,横线检测用的相位差像素T、B全部配置于相当于Bb像素的位置即非常规位置处。
接下来,图6是示出第二像素区域R2中的像素结构和形成于像素上的滤光器的基本配置图案P2的图。
第二像素区域R2的滤光器的基本配置图案P2构成为与第一像素区域R1的滤光器的基本配置图案P1相同。
但是,即使滤光器配置相同,由于第二像素区域R2不包含形成有遮光部SH的相位差像素,因此图5所示的第一像素区域R1的像素配置中的与相位差像素R、L、T、B相当的位置在图4所示的第二像素区域R2的像素配置中为绿色(G)像素。另外,配置于与相位差像素R、L、T、B相当的位置上的绿色像素在图6和后述的图11中不管与Rr像素和Bb像素中的哪一方位于同一行都记为G像素。
这样,在图6所示的例子中,由于在第二像素区域R2不包含相位差像素,因此第二像素区域R2当然不包含输出有效的相位差像素信号的像素。
但是,即使使第二像素区域R2的像素结构与图5所示那样的第一像素区域R1的像素结构相同,从而在第二像素区域R2内包含相位差像素,也会当作不从第二像素区域R2输出有效的相位差像素信号。这是基于如下原因。
即,相位差像素为如下构造:通过设置遮光部SH从而容许特定方向的入射光而禁止其他特定方向的入射光。因此,即使在位于像素部21的周缘部的第二像素区域R2中配置有相位差像素,也会发生例如光线射入相位差像素R但因产生晕影而光线不会射入相位差像素L(或者入射量较少)等现象。在这种情况下,在第二像素区域R2中,无法进行使相位差像素R组和相位差像素L组成对的相位差检测,因此当作不输出有效的相位差像素信号。
即,将在整个像素部21中设置相位差像素的情况下,获得有效的相位差像素信号的最大区域设为第一像素区域R1,将不能获得有效的相位差像素信号的区域设为第二像素区域R2。由此,能够尽可能大地确保可进行相位差检测的区域(所谓的AF区域)。
这样,第二像素区域R2除了多个图像用像素之外还可以包含分别生成无效的相位差像素信号的多个相位差像素。在这种情况下,作为焦点检测信号处理电路的AF评价值运算部4、照相机控制部12以及对焦控制部10不使用来自第二像素区域R2的无效的相位差像素信号而仅使用来自第一像素区域R1的相位差像素信号来进行焦点检测。
另外,在上述的图5和图6所示的例子中,使第二像素区域R2的滤光器的基本配置图案P2与第一像素区域R1的滤光器的基本配置图案P1相同,但只要使第二像素区域R2中的各种类的滤光器的比例与第一像素区域R1中的各种类的滤光器的比例相同,就能够获得一定程度的级差校正(参照后述的图9等)的效果。
图7是示出针对摄像元件2的晶载滤色器制造工序的流程图,图8是将本第一实施方式和与以往进行对比而示出通过图7的晶载滤色器制造工序形成的各色滤光器的厚度的图表。
图7所示的晶载滤色器制造工序作为摄像元件2的制造工艺的一部分而被实施,是针对完成了制作摄像元件2的像素31和图2所示的各电路等的扩散工序后的晶片进行的。
当进入该图7所示的处理时,首先,在像素部21的整个表面上涂覆含G色素的感光性树脂(光致抗蚀剂)(步骤S1)。
然后,将G滤光器用的光掩模重叠在像素部21上进行照射紫外线等光的曝光,从而对光掩模的图案进行转印(步骤S2)。
然后,将晶片浸泡在显影液中进行显影,在去除多余的光致抗蚀剂部分之后用纯水进行清洗,由此,形成仅有G滤光器的滤光器图案(步骤S3)。
此时,如图8的图表的本实施方式栏的G滤光器形成后栏所示那样,在第一像素区域R1和第二像素区域R2中形成的G滤光器的滤光器厚度相同。而且,在该时刻,与以往相比在本实施方式的滤光器厚度上未产生差异(参照图8的图表的以往栏的G滤光器形成后栏)。
接着,在像素部21的整个表面上涂覆含Rr色素的感光性树脂(光致抗蚀剂)(步骤S4)。
然后,将Rr滤光器用的光掩模重叠在像素部21上进行照射紫外线等光的曝光,从而对光掩模的图案进行转印(步骤S5)。
然后,将晶片浸泡在显影液中进行显影,在去除多余的光致抗蚀剂部分之后用纯水进行清洗,由此,形成除了具有G滤光器之外还具有Rr滤光器的滤光器图案(步骤S6)。
在以往,相位差像素配置区域中的形成有G滤光器的像素数的比例比通常区域中的形成有G滤光器的像素数的比例多。因此,相位差像素配置区域与通常区域相比,在未形成有G滤光器的像素上集聚有含Rr色素的光致抗蚀剂,形成于相位差像素配置区域的Rr滤光器的滤光器厚度例如比形成于通常区域的Rr滤光器的滤光器厚度厚(参照图8的图表的以往栏的Rr滤光器形成后栏)。
与此相对,在本实施方式的情况下,第一像素区域R1中的形成有G滤光器的像素数的比例与第二像素区域R2中的形成有G滤光器的像素数的比例相同。因此,如图8的图表的本实施方式栏的Rr滤光器形成后栏所示那样,在第一像素区域R1和第二像素区域R2中形成的Rr滤光器的滤光器厚度相同(另外,虽然Rr滤光器的滤光器厚度与G滤光器的滤光器厚度不同,但由于这是一般的倾向因此没有问题。另外,通过调整所涂覆的感光性树脂的量也能够调整滤光器厚度)。
然后,在像素部21的整个表面上涂覆含Bb色素的感光性树脂(光致抗蚀剂)(步骤S7)。
然后,将Bb滤光器用的光掩模重叠在像素部21上进行照射紫外线等光的曝光,从而对光掩模的图案进行转印(步骤S8)。
然后,将晶片浸泡在显影液中进行显影,在去除多余的光致抗蚀剂部分之后用纯水进行清洗,由此,形成具有G滤光器、Rr滤光器以及Bb滤光器的滤光器图案(步骤S9)。
此时也与Rr滤光器的情况相同,在以往,形成于相位差像素配置区域内的Bb滤光器的滤光器厚度例如比形成于通常区域内的Bb滤光器的滤光器厚度厚,而在本实施方式的情况下,在第一像素区域R1和第二像素区域R2中形成的Bb滤光器的滤光器厚度相同(参照图8的图表的本实施方式栏和以往栏的Bb滤光器形成后栏)。
这样,在结束了步骤S9的处理之后,从该晶载滤色器制造工序返回到摄像元件2的制造工序,并转移到之后的工序例如晶载微透镜制造工序等。
图9是与以往对比示出色调/亮度级差的改善状况和噪声感的改善状况的图表。
如上所述,在以往,相位差像素配置区域(在图9的色调/亮度级差栏中用标号R1’来表示)与通常区域(在图9的色调/亮度级差栏中用标号R2’来表示)相比,由于Rr滤光器和Bb滤光器的厚度例如较厚,因此相位差像素配置区域与通常区域相比亮度略微降低并且例如带有绿色的色调。与此相对,在本实施方式中,由于在第一像素区域R1和第二像素区域R2中在各色的滤光器厚度上未产生差异,因此在色调和亮度上都不产生以往那样的级差。
另外,在以往,根据相邻的图像用像素的像素值对相位差像素配置区域的相位差像素的像素值进行插值,然而插值处理是通过与摄影图像的特征对应的加权平均等算术平均来进行的,对应于平坦化的处理,因此如图9的以往栏中的噪声感一栏所示那样,关于由暗电流噪声代表的随机噪声的噪声量,在通常区域R2’中比在相位差像素配置区域R1’中的更小,即在通常区域R2’和相位差像素配置区域R1’中噪声感不同。
与此相对,在本实施方式中,关于第二像素区域R2的与第一像素区域R1中配置有相位差像素的位置对应的位置的像素,不论该像素是相位差像素还是图像用像素都与第一像素区域R1同样地进行插值处理。由此,如图9的本实施方式栏的噪声感一栏所示那样,能够使第一像素区域R1和第二像素区域R2的噪声感为相同的级别。并且,由于能够不对第一像素区域R1和第二像素区域R2进行区分而应用相同的插值处理,因此处理也变得简单。
可是,作为从摄像元件2进行的读出,除了进行静态图像用的全像素读出之外,如上述那样还进行动态图像用或实时取景图像用的作为像素相加读出的Mix读出。具体而言,该Mix处理为多个像素的像素值的算术平均的处理。
在本实施方式中,按照以下的规则(1)~(4)进行该Mix读出。
(1)在Mix处理中引入配置于第一像素区域R1的常规位置上的相位差像素。
(2)在Mix处理中不引入配置于第一像素区域R1的非常规位置上的相位差像素。
(3)关于第二像素区域R2中的与第一像素区域R1的相位差像素对应的位置的像素,不论该像素是相位差像素还是图像用像素,都应用上述的规则(1)和规则(2)。另外,在像素部21中存在OB区域的情况下,对于OB区域也同样地应用规则(1)和规则(2)。
(4)在对数字信号进行Mix处理的情况下,将进行算术平均时的加减乘除各运算中的除法放在各运算的最后进行、即在各运算的最后进行伴随除法而发生的小数点以下的四舍五入。
这里,不仅从配置于常规位置上的相位差像素获取的相位差像素信号是包含较多亮度成分的亮度相当信号,要对常规位置的相位差像素信号进行Mix处理的其他图像用像素信号也是亮度相当信号。与此相对,从配置于非常规位置上的相位差像素获取的相位差像素信号是亮度相当信号,但要对非常规位置的相位差像素信号进行Mix处理的其他图像用像素信号成为包含较多色差成分的色差相当信号。
因此,对常规位置的相位差像素信号进行Mix处理也只是亮度相当信号之间的Mix处理,而对非常规位置的相位差像素信号进行Mix处理则会成为亮度相当信号和色差相当信号的Mix处理。
并且,通常主要承担色差信息的Bb像素和Rr像素信息与主要承担亮度信息的Gr、Gb信息相比,即使空间内的信息量较少,也不太能由人眼看出差异。
因此,对常规位置的相位差像素信号应用(1),对非常规位置的相位差像素信号应用(2)。
具体而言,根据上述的规则(1),在Mix处理的对象像素位置上包含有规定配置图案P0中的配置于与Gr像素对应的位置处的相位差像素(在图5的例子中是相位差像素R、L)的情况下,引入到Mix处理中。
另外,根据上述的规则(2),在Mix处理的对象像素位置上包含有规定配置图案P0中的配置于与Bb像素对应的位置处的相位差像素(在图5的例子中是相位差像素T、B)的情况下,不引入到Mix处理中。
并且,上述的规则(3)如下:通过在第一像素区域R1和第二像素区域R2中在对应的像素位置处应用相同的处理,从而即使在Mix处理图像中,也不会产生参照图9所说明的那样的噪声感的级差。这里,在第二像素区域R2的配置于与第一像素区域R1的非常规位置的相位差像素对应的位置上的像素是图像用像素的情况下,以往会将像素信号引入到Mix处理中。因此,对第二像素区域R2的图像用像素应用规则(2)与以往相比是新的处理。
而且,通过应用规则(3),不需要使Mix处理在第一像素区域R1和第二像素区域R2(进而在OB区域中)中不同,因此不需要判定Mix处理的对象像素是包含于第一像素区域R1和第二像素区域R2中(或OB区域)中的哪一方并根据判定结果对处理进行分支等,因此能够简化处理。
这里,参照图10对规则(1)和规则(2)的应用例进行说明。图10是用于说明通过Mix处理而从第一像素区域R1输出的混合像素信号的图。另外,用(x,y)来表示像素在x方向和y方向上的相对地址。
如下面的公式1~公式4所示那样从该图10所示的像素排列的像素信号中获得进行了V2/2H2/2Mix读出的情况下的像素信号Gr_mix、Rr_mix、Gb_mix、Bb_mix,其中该V2/2H2/2Mix读出是进行具有同一种类的滤光器的各像素中的水平方向两个像素中的两个像素和垂直方向两个像素中的两个像素的加算。
【公式1】
Gr_mix={R(0,0)+Gr(2,0)+Gr(0,2)+Gr(2,2)}/4
【公式2】
Rr_mix={Rr(1,0)+Rr(3,0)+Rr(1,2)+Rr(3,2)}/4
【公式3】
Gb_mix={Gb(1,1)+Gb(3,1)+Gb(1,3)+Gb(3,3)}/4
【公式4】
Bb_mix={Bb(0,1)+Bb(0,3)+Bb(2,3)}/3
即,如公式1所示,根据规则(1),与Gr(0,0)的位置对应的R(0,0)被引入至Mix处理中。这样,像素混合读出电路对配置于第一像素区域R1的常规位置上的相位差像素的相位差像素信号和与相位差像素相邻的形成有第一种类的滤光器(具体例子是G滤光器)的图像用像素的图像用像素信号进行混合而生成混合像素信号。
另外,如上所述,由于相位差像素的开口的一部分被遮光部SH遮光,从而使得开口部OP的开口面积小于图像用像素的开口面积,因此相位差像素信号的信号值低于图像用像素信号的信号值。因此,包含相位差像素信号的混合像素信号的像素值低于不包含相位差像素信号的混合像素信号的像素值。并且,在来自焦点未对准的被摄体的光射入相位差像素的情况下,有时会产生基于与图像用像素之间的相位差异的几何图案。因此,例如通过由图像处理部3进行公知的校正处理来对这样的像素值的降低或几何图案的产生进行校正。
另外,如公式4所示,根据规则(2),与Bb(2,1)的位置对应的G(2,1)被从Mix处理中排除。这样,像素混合读出电路在不引入配置于第一像素区域R1的非常规位置上的相位差像素的相位差像素信号的情况下生成混合像素信号。
接下来,参照图11对规则(3)的应用例进行说明。这里,图11是用于说明通过Mix处理而从第二像素区域R2输出的混合像素信号的图。
与上述同样地如下面的公式5~公式8所示那样获得进行了具有同一种类的滤光器的各像素的V2/2H2/2Mix读出的情况下的像素信号Gr_mix、Rr_mix、Gb_mix、Bb_mix。
【公式5】
Gr_mix={G(0,0)+Gr(2,0)+Gr(0,2)+Gr(2,2)}/4
【公式6】
Rr_mix={Rr(1,0)+Rr(3,0)+Rr(1,2)+Rr(3,2)}/4
【公式7】
Gb_mix={Gb(1,1)+Gb(3,1)+Gb(1,3)+Gb(3,3)}/4
【公式8】
Bb_mix={Bb(0,1)+Bb(0,3)+Bb(2,3)}/3
即,如公式5所示,根据基于规则(3)而应用的规则(1),与Gr(0,0)的位置对应的G(0,0)被引入到Mix处理中。
另外,如公式8所示,根据基于规则(3)而应用的规则(2),与Bb(2,1)的位置对应的G(2,1)被从Mix处理中排除。这样,像素混合读出电路在不引入配置于第二像素区域R2的非常规位置上的像素的像素信号的情况下生成混合像素信号。
接下来,规则(4)是用于在对数字信号进行Mix处理时,在所给定的位精度的范围内尽可能地减小运算误差的规则。因此,在模拟信号的阶段进行Mix处理的情况下,不需要考虑该规则(4)。
首先,像素值是按10位进行A/D转换而得到的,当进行与Mix处理的除法关联的运算(具体而言,当进行算术平均时,产生×(1/3)、×(1/4)、×(1/5)等运算)时,确保了小数12位的运算精度。
具体而言,在小数12位的表达中,1/3为1365/4096=0.333252,1/4为1024/4096=0.25,1/5为819/4096=0.199951。
(例1)如下所述对三个像素的像素值是389、254、162的情况下的三像素平均进行计算。
三像素平均=(389+254+162)×1365/4096=805×0.333252=268
(例2)如下所述对四个像素的像素值是389、254、162、92的情况下的四像素平均进行计算。
四像素平均=(389+254+162+92)×1024/4096=897×0.25=224
(例3)如下所述对五个像素的像素值是389、254、162、92、111的情况下的五像素平均进行计算。
五像素平均=(389+254+162+92+111)×819/4096=1008×0.199951=202
在例1至例3中的任意一例中,小数点以下的四舍五入在包含其他运算在内的整个运算的最后进行。从将运算误差抑制为最小限度的观点而言优选采用这样的处理步骤。
通过采用按照规则(4)的运算方法能够获得所需精度的运算结果,而不需要较高的运算位精度或不必具有高度的运算功能。
另外,Mix处理后的像素信号(混合像素信号)在公式1~3、5~7中作为四像素平均而进行计算,在公式4、8中作为三像素平均而进行计算。这里,由于公式4和公式8是相同的运算式,因此若仅考虑公式4,则公式4可改写为下面的公式4’。
【公式4’】
Bb_mix=[{Bb(0,1)+Bb(0,3)+Bb(2,3)}/4]×(4/3)
关于该公式4’,在进行与通常的Mix处理同样地对像素值进行相加后除以4的处理的情况下,少了一个像素的像素信号而使得信号值降低,因此可以理解为像素混合读出电路对进行了通常的Mix处理后的混合像素信号进行4/3倍的增益提升而进行校正。
这样,像素混合读出电路对混合像素信号进行增益提升,以对不引入配置于非常规位置上的像素的像素信号而生成的混合像素信号的信号值的降低进行补偿。
另外,公式4还可以被改写为下面的公式4”。
【公式4”】
Bb_mix=
[Bb(0,1)+{Bb(0,1)+Bb(0,3)+Bb(2,3)}/12+Bb(0,3)+Bb(2,3)]/4
该公式4”可被理解为:像素混合读出电路对缺少的Bb(2,1)的位置的像素值进行插值而生成{Bb(0,1)+Bb(0,3)+Bb(2,3)}/12的插值像素信号,并引入插值像素信号而生成混合像素信号。
这样,像素混合读出电路根据在应用了规定配置图案P0的情况下,形成有与非常规位置相应的种类的滤光器的与非常规位置相邻的图像用像素的图像用像素信号而生成非常规位置的插值像素信号,并引入插值像素信号而生成混合像素信号。
另外,并不限于将使用公式4”所示的方法生成的插值像素信号用于混合像素信号的生成,例如,当然还可以将使用位于周边的Bb像素的像素值生成的插值像素信号用于混合像素信号的生成。这样,用于混合像素信号的生成的插值像素信号的生成方法并不限定于特定的方法。
接下来,图12是用于说明进行像素混合读出时的输出信号的状况的时序图。另外,该图12示出了进行滚动曝光和滚动读出的情况下的例子。
当摄像元件2以任意的读出模式进行动作时通过对照相机操作部11进行操作等而指示了向Mix读出模式的变更时,在照相机控制部12的控制下,由曝光控制部9对摄像元件2在与垂直同步信号VD同步的定时T1设定向Mix读出模式的变更。另外,与垂直同步信号VD同步的定时T2、T3等在此后也同样地成为用于变更感光度设定或快门速度设定的定时。
并且,在从垂直同步信号VD的上升定时回溯曝光时间Texp的时刻例如从上端的行朝向下端的行而依次开始滚动曝光。因此,在对Mix读出模式设定的定时T1的时刻,由于在一部分的像素中已经开始了曝光,因此在曝光途中进行了模式变更的相应帧为不当帧,不被用于帧图像的生成。
而且,从不当帧的下一帧起输出Mix读出模式的图像数据。在滚动读出中,与水平同步信号HD同步地逐行读出像素信号。在图12的最下部示出了在1HD中输出的像素信号的状况。
如图12的最下部所示,在一行的读出中,首先,从第一像素区域R1和第二像素区域R2中依次读出进行Mix处理后的混合像素信号,在一行的混合像素信号全部被读出之后,从位于该行上的第一像素区域R1的相位差像素中读出相位差像素信号。如上所述,由于未从第二像素区域R2输出有效的相位差像素信号,因此仅从第一像素区域R1读出相位差像素信号。
这样,像素混合读出电路从第一像素区域R1和第二像素区域R2读出混合像素信号,而仅从第一像素区域R1读出相位差像素信号。
根据这样的第一实施方式,由于不仅在第一像素区域R1的常规位置上还在非常规位置上也配置相位差像素,因此能够提高相位差像素的配置密度,从而提高了焦点检测精度。而且,与相位差像素仅配置于常规位置上的情况相比,可防止形成有第一种类的滤光器(例如G滤光器)的图像用像素的数量大幅减少,从而能够抑制整个图像的分辨率降低。
并且,由于使第二像素区域R2的滤光器的基本配置图案P2与第一像素区域R1的滤光器的基本配置图案P1相同,因此能够降低包含相位差像素的第一像素区域与不包含输出有效的相位差像素信号的像素的第二像素区域之间的色彩平衡的差异。
另外,由于从第一像素区域R1和第二像素区域R2读出混合像素信号,而仅从第一像素区域R1读出相位差像素信号,因此能够进行Mix读出,并且在进行Mix读出时可以省去从第二像素区域R2读出无效的相位差像素信号。
而且,在构成为第二像素区域R2不包含相位差像素的情况下,能够从第二像素区域R2的与第一像素区域R1中的相位差像素的位置对应的像素位置处获取图像用像素信号。
此外,由于构成为包含纵线检测用的相位差像素和横线检测用的相位差像素,因此不论被摄体图案是水平方向还是垂直方向都能够进行焦点检测。此时,由于将纵线检测用的相位差像素和横线检测用的相位差像素中的一方全部配置于常规位置处,而将另一方全部配置于非常规位置处,因此能够抑制来自配置有第一种类的滤光器(例如,G滤光器)的像素的图像用像素信号的减少,由此能够抑制图像的分辨率降低。
另外,由于通过对配置于第一像素区域R1的常规位置上的相位差像素的相位差像素信号和与相位差像素相邻的形成有第一种类的滤光器的图像用像素的图像用像素信号进行混合而生成混合像素信号,因此能够获得使用了包含亮度相当成分在内的相位差像素信号的混合像素信号,从而能够提高图像的分辨率。
并且,由于以不引入配置于第一像素区域R1的非常规位置上的相位差像素的相位差像素信号的方式生成混合像素信号,因此能够抑制来自焦点未对准的被摄体的光射入相位差像素的情况下的几何图案的产生。
同样地,由于以不引入配置于第二像素区域R2的非常规位置上的像素的像素信号的方式生成混合像素信号,因此对于第二像素区域R2也能够与上述的第一像素区域R1的情况同样地抑制几何图案的产生。
而且,根据在应用了规定配置图案P0的情况下形成有与非常规位置相应的种类的滤光器、并与非常规位置相邻的图像用像素的图像用像素信号,生成非常规位置的插值像素信号,并引入插值像素信号而生成混合像素信号,从而能够抑制混合像素信号的像素值的降低。
另一方面,在以对不引入配置于非常规位置上的像素的像素信号而生成的混合像素信号的信号值的降低进行补偿的方式对混合像素信号进行增益提升的情况下,也能够抑制混合像素信号的像素值的降低。
另外,在以除了包含多个图像用像素之外还包含分别生成无效的相位差像素信号的多个相位差像素的方式构成第二像素区域R2的情况下,能够在不对第一像素区域R1和第二像素区域R2进行区分的情况下制造摄像元件2。
而且,在第二像素区域R2包含有生成并输出无效的相位差像素信号的相位差像素的情况下,由于AF评价值运算部4、照相机控制部12以及对焦控制部10等焦点检测信号处理电路不使用来自第二像素区域R2的无效的相位差像素信号而仅使用来自第一像素区域R1的相位差像素信号进行焦点检测,因此能够进行误差较小的准确的焦点检测。
另外,上述的各部分也可以构成为电路。而且,只要能够实现相同的功能,则可以作为单一的电路而安装任意的电路,也可以作为组合多个电路而成的结构而安装任意的电路。并且,任意的电路不限于构成为用于实现作为目的的功能的专用电路,也可以是通过使通用电路执行处理程序来实现作为目的的功能的结构。
另外,在上述内容中主要对摄像元件和摄像装置进行了说明,但本发明也可以是使摄像元件和摄像装置如上所述进行工作的工作方法,还可以是用于使计算机进行与摄像装置相同的处理的处理程序或用于使计算机控制摄像元件的处理程序、或者记录该处理程序的可由计算机读取的非一时性的记录介质等。

Claims (11)

1.一种摄像元件,所述摄像元件在配置为二维状的多个像素上分别形成有分光特性不同的多个种类的滤光器中的任一种滤光器,其特征在于,该摄像元件具有:
第一像素区域,其包含分别生成并输出图像用像素信号的多个图像用像素和分别生成并输出相位差像素信号的多个相位差像素;以及
第二像素区域,其包含分别生成并输出图像用像素信号的多个图像用像素,并且不包含输出有效的相位差像素信号的像素,
上述第一像素区域的上述多个图像用像素按照规定配置图案而配置有上述多个种类的滤光器,
上述多个相位差像素在所有的相位差像素上形成上述多个种类的滤光器中的第一种类的滤光器,
上述多个相位差像素的一部分配置于常规位置处,该常规位置是在对于该相位差像素的位置应用上述规定配置图案的情况下的形成上述第一种类的滤光器的位置,并且上述多个相位差像素的另一部分配置于非常规位置处,该非常规位置是形成与上述第一种类的滤光器不同种类的滤光器的位置,
上述第二像素区域的滤光器的基本配置图案与上述第一像素区域的滤光器的基本配置图案相同,上述基本配置图案是如果没有间隙地铺满所述基本配置图案则能够构成整个相应区域的滤光器图案的配置图案。
2.根据权利要求1所述的摄像元件,其特征在于,
该摄像元件还具有像素混合读出电路,该像素混合读出电路生成并读出将形成有相同种类的滤光器的相邻的多个像素的像素信号混合而得到的混合像素信号,
上述像素混合读出电路从上述第一像素区域和上述第二像素区域读出上述混合像素信号,并且仅从上述第一像素区域读出上述相位差像素信号。
3.根据权利要求1或2所述的摄像元件,其特征在于,
上述第二像素区域不包含上述相位差像素。
4.根据权利要求1或2所述的摄像元件,其特征在于,
上述相位差像素包含像素的右侧或左侧被遮光的纵线检测用的相位差像素和像素的上侧或下侧被遮光的横线检测用的相位差像素,
上述纵线检测用的相位差像素和上述横线检测用的相位差像素中的一方全部配置于上述常规位置处,另一方全部配置于上述非常规位置处。
5.根据权利要求2所述的摄像元件,其特征在于,
上述像素混合读出电路对配置于上述第一像素区域的上述常规位置上的相位差像素的相位差像素信号和与该相位差像素相邻的形成有上述第一种类的滤光器的图像用像素的图像用像素信号进行混合而生成上述混合像素信号。
6.根据权利要求2所述的摄像元件,其特征在于,
上述像素混合读出电路以不引入配置于上述第一像素区域的上述非常规位置上的相位差像素的相位差像素信号的方式生成上述混合像素信号。
7.根据权利要求6所述的摄像元件,其特征在于,
上述像素混合读出电路以不引入配置于上述第二像素区域的上述非常规位置上的像素的像素信号的方式生成上述混合像素信号。
8.根据权利要求6或7所述的摄像元件,其特征在于,
上述像素混合读出电路根据在应用了上述规定配置图案的情况下形成有与上述非常规位置相应的种类的滤光器的、与该非常规位置相邻的图像用像素的图像用像素信号而生成该非常规位置的插值像素信号,并引入该插值像素信号而生成上述混合像素信号。
9.根据权利要求6或7所述的摄像元件,其特征在于,
上述像素混合读出电路对以不引入配置于上述非常规位置上的像素的像素信号的方式生成的混合像素信号进行增益提升,以对该混合像素信号的信号值的降低进行补偿。
10.根据权利要求2所述的摄像元件,其特征在于,
上述第二像素区域除了包含上述多个图像用像素之外,还包含分别生成无效的相位差像素信号的多个相位差像素。
11.一种摄像装置,其特征在于,该摄像装置具有:
权利要求1所述的摄像元件;以及
焦点检测信号处理电路,其根据由上述摄像元件输出的相位差像素信号来进行焦点检测,
上述摄像元件的上述第二像素区域除了包含上述多个图像用像素之外,还包含分别生成并输出无效的相位差像素信号的多个相位差像素,
上述焦点检测信号处理电路不使用来自上述第二像素区域的上述无效的相位差像素信号而仅使用来自上述第一像素区域的上述相位差像素信号进行焦点检测。
CN201710669622.7A 2016-09-14 2017-08-08 摄像元件、摄像装置 Active CN107819979B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-179354 2016-09-14
JP2016179354A JP2018046394A (ja) 2016-09-14 2016-09-14 撮像素子、撮像装置

Publications (2)

Publication Number Publication Date
CN107819979A CN107819979A (zh) 2018-03-20
CN107819979B true CN107819979B (zh) 2020-06-30

Family

ID=61561066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710669622.7A Active CN107819979B (zh) 2016-09-14 2017-08-08 摄像元件、摄像装置

Country Status (3)

Country Link
US (1) US10063767B2 (zh)
JP (1) JP2018046394A (zh)
CN (1) CN107819979B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103444183A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像程序
CN103444184A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103597811A (zh) * 2011-06-09 2014-02-19 富士胶片株式会社 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
CN104184937A (zh) * 2013-05-21 2014-12-03 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2015194226A1 (ja) * 2014-06-19 2015-12-23 オリンパス株式会社 撮像素子
CN105338263A (zh) * 2014-08-04 2016-02-17 Lg伊诺特有限公司 图像传感器和包括该图像传感器的图像拾取设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016015430A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
KR102593800B1 (ko) * 2014-12-18 2023-10-25 소니그룹주식회사 고체 촬상 소자, 및 전자 장치
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103444183A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像程序
CN103444184A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103597811A (zh) * 2011-06-09 2014-02-19 富士胶片株式会社 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
CN104184937A (zh) * 2013-05-21 2014-12-03 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2015194226A1 (ja) * 2014-06-19 2015-12-23 オリンパス株式会社 撮像素子
CN105338263A (zh) * 2014-08-04 2016-02-17 Lg伊诺特有限公司 图像传感器和包括该图像传感器的图像拾取设备

Also Published As

Publication number Publication date
US20180077338A1 (en) 2018-03-15
CN107819979A (zh) 2018-03-20
JP2018046394A (ja) 2018-03-22
US10063767B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
KR101469400B1 (ko) 화상 센서 및 화상 촬상 장치
JP4292426B2 (ja) 撮像装置および撮像データ補正方法
CN103444185B (zh) 彩色摄像元件及摄像装置
US10630920B2 (en) Image processing apparatus
JP5361535B2 (ja) 撮像装置
CN103444183B (zh) 彩色摄像元件及摄像装置
CN103460703B (zh) 彩色摄像元件及摄像装置
JPH10336686A (ja) 撮像装置
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP2015076476A (ja) 固体撮像装置およびその製造方法、並びに電子機器
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
KR101817655B1 (ko) 삼차원 영상 촬영 장치 및 방법
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
CN103460702B (zh) 彩色摄像元件及摄像装置
CN107819979B (zh) 摄像元件、摄像装置
CN110169054B (zh) 摄像装置、摄像方法
JP2017098790A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2014165785A (ja) 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
JP4682070B2 (ja) 画像信号処理装置
JP2022105820A (ja) 受光素子、撮像装置及び補正処理方法
JP2007088640A (ja) 固体撮像装置及び画像信号処理方法
JP2011199426A (ja) 固体撮像素子、撮像装置、及びスミア補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant