CN103444183B - 彩色摄像元件及摄像装置 - Google Patents
彩色摄像元件及摄像装置 Download PDFInfo
- Publication number
- CN103444183B CN103444183B CN201180069495.8A CN201180069495A CN103444183B CN 103444183 B CN103444183 B CN 103444183B CN 201180069495 A CN201180069495 A CN 201180069495A CN 103444183 B CN103444183 B CN 103444183B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- pixel
- phase difference
- difference detection
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 133
- 238000010586 diagram Methods 0.000 claims description 72
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 241001062009 Indigofera Species 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract 7
- 238000000034 method Methods 0.000 description 70
- 239000003086 colorant Substances 0.000 description 22
- 210000003128 head Anatomy 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 8
- 230000004075 alteration Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/04—Optical or mechanical part supplementary adjustable parts
- G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Abstract
本发明提供能够提高相位差检测用像素的插值精度的彩色摄像元件及摄像装置。摄像元件(14)具有:滤色器(30),重复配置有将第一排列图案和第二排列图案点对称地配置而得到的基本排列图案,在第一排列图案中,第一滤光片配置在3×3像素的正方排列的四角及中央的像素上,第二滤光片配置在正方排列的垂直方向上的中央的行上,第三滤光片配置在正方排列的水平方向上的中央的行上,第二排列图案中的第一滤光片的配置与第一排列图案相同,且将第一排列图案中的第二滤光片的配置与第三滤光片的配置进行了对换;及相位差检测用像素,配置在构成基本排列图案的两组第一排列图案及第二排列图案中的至少一组图案的中央位置所对应的像素上。
Description
技术领域
本发明涉及一种彩色摄像元件、摄像装置及摄像程序,特别涉及一种包括相位差检测用像素的彩色摄像元件、摄像装置及摄像程序。
背景技术
在数码相机等摄像装置所搭载的固体摄像元件中,为了提高AF(自动对焦)性能,存在将形成于固体摄像元件受光面上的多个像素中的部分像素作为相位差检测用像素的技术(例如参照专利文献1~7)。
相位差检测用像素例如如下述专利文献1~7所述,由成对的搭载有同色滤光片的相邻两个像素构成,设有与设于普通像素的遮光膜开口相比分别较小的遮光膜开口。而且,设于成对的一个相位差检测用像素上的遮光膜开口向离开另一个相位差检测用像素的方向(例如左侧)偏心地设置,另一个相位差检测用像素的遮光膜开口向相反方向(例如右侧)偏心地设置。
在通过摄像装置进行AF动作时,从固体摄像元件的相位差检测用像素读出信号,根据遮光膜开口向右侧偏心的像素的检测信号和向左侧偏心的像素的检测信号求出焦点的偏移量,并调整摄影镜头的焦点位置。
该AF动作中,相位差检测用像素越多则精度越高,但存在以下问题:在对普通的被摄体图像进行真拍摄时,相位差检测用像素的遮光膜开口狭小、灵敏度低,因此无法与普通像素一样进行处理。
因此,在从总像素读出信号并生成被摄体图像时,需要对相位差检测用像素的检测信号进行与普通像素的灵敏度同等程度的增益校正,或者将相位差检测用像素作为缺陷像素处理,利用周围的普通像素的检测信号进行插值运算校正。
专利文献1:日本特开2000-156823号公报
专利文献2:日本特开2007-155929号公报
专利文献3:日本特开2009-89144号公报
专利文献4:日本特开2009-105682号公报
专利文献5:日本特开2010-66494号公报
专利文献6:日本特开2008-312073号公报
专利文献7:日本专利第3592147号公报
发明内容
发明要解决的问题
在对相位差检测用像素利用周围的普通像素的检测信号进行插值运算校正的情况下,有时根据相位差检测用像素的位置而使插值精度恶化,从而使画质恶化。
本发明为了解决上述问题而作出,其目的在于提供一种能够提高相位差检测用像素的插值精度的彩色摄像元件、摄像装置及摄像程序。
用于解决问题的方法
为了解决上述问题,技术方案1的彩色摄像元件的特征在于,具有:摄像元件,包括排列于水平方向及垂直方向上的多个光电转换元件;滤色器,设于由上述多个光电转换元件构成的多个像素上,并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案,上述第一排列图案中,与最有助于获得亮度信号的第一颜色对应的第一滤光片配置在3×3像素的正方排列的四角及中央的像素上,与不同于上述第一颜色的第二颜色对应的第二滤光片配置在上述正方排列的上述垂直方向上的中央的行上,与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片配置在上述正方排列的上述水平方向上的中央的行上,上述第二排列图案中的上述第一滤光片的配置与第一排列图案相同,且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换;及相位差检测用像素,配置在构成上述基本排列图案的两组上述第一排列图案及上述第二排列图案中的至少一组图案的中央位置所对应的上述像素上。
根据本发明,构成为具有相位差检测用像素,该相位差检测用像素配置在构成基本排列图案的两组第一排列图案及第二排列图案中的至少一组图案的中央位置所对应的像素上,因此能够提高相位差检测用像素的插值精度。
此外,如技术方案2所述,也可以构成为,在上述相位差检测用像素上设置遮光单元,该遮光单元包括对该像素的部分区域进行遮光而使光透过其他区域的第一遮光膜或对该像素的一部分进行遮光而使光透过与上述第一遮光膜的透过区域成对的区域的第二遮光膜。
并且,如技术方案3所述,也可以构成为,上述遮光单元中的上述第一遮光膜对像素的水平方向的左半部分区域进行遮光,上述第二遮光膜对像素的水平方向的右半部分区域进行遮光。
并且,如技术方案4所述,也可以构成为,上述相位差检测用像素分别设置在两组上述第一排列图案及上述第二排列图案的中央位置所对应的像素上,并且,在上述摄像元件的至少规定区域内在所有上述基本排列图案中配置于上述中央位置所对应的像素上。
并且,如技术方案5所述,也可以构成为,上述相位差检测用像素分别设置在两组上述第一排列图案及上述第二排列图案的中央位置所对应的像素上,并且,配置有上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
并且,如技术方案6所述,也可以构成为,在将两组上述第一排列图案及上述第二排列图案作为垂直方向上的两组的情况下,上述相位差检测用像素设置在该垂直方向上的两组中的一组上述第一排列图案及上述第二排列图案的中央位置所对应的像素上,并且,配置有上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
并且,如技术方案7所述,也可以构成为,上述相位差检测用像素设置在上述基本排列图案的一个对角上所配置的两个上述第一排列图案及另一个对角上所配置的两个上述第二排列图案中的、任一对角上所配置的两个排列图案的中央位置所对应的像素上,并且,在上述摄像元件的至少规定区域内在所有基本排列图案中配置于上述中央位置所对应的像素上。
并且,如技术方案8所述,也可以构成为,上述相位差检测用像素设置在上述基本排列图案的一个对角上所配置的两个上述第一排列图案及另一个对角上所配置的两个上述第二排列图案中的、任一对角上所配置的两个排列图案的中央位置所对应的像素上,并且,配置有上述相位差检测用像素的上述基本排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述基本排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
并且,如技术方案9所述,也可以构成为,上述第一遮光膜沿着上述水平方向配置而得到的排列行与上述第二遮光膜沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
并且,如技术方案10所述,也可以构成为,按照上述第一遮光膜及上述第二遮光膜的顺序在上述水平方向上交替配置而得到的排列行与按照上述第二遮光膜及上述第一遮光膜的顺序在上述水平方向上配置而得到的排列行在上述垂直方向上交替配置。
并且,如技术方案11所述,也可以构成为,上述第一颜色是绿(G)色,上述第二颜色是红(R)色,上述第三颜色是蓝(B)色,配置上述遮光单元使得上述第一遮光膜的上述水平方向上的左侧像素及上述第二遮光膜的上述水平方向上的右侧像素为上述红(R)色像素。
并且,如技术方案12所述,也可以构成为,上述第一颜色是绿(G)色,上述第二颜色是红(R)色及蓝(B)色中的一种颜色,上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
技术方案13所述的发明的摄像装置的特征在于,具有:上述技术方案1~12中任一项所述的彩色摄像元件;驱动单元,驱动上述彩色摄像元件以从上述相位差检测用像素读出相位差检测用像素数据;及焦点调节单元,基于上述相位差检测用像素数据进行焦点调节。
技术方案14所述的发明的摄像装置的特征在于,具有:上述技术方案5、6、8中任一项所述的彩色摄像元件;驱动单元,驱动上述彩色摄像元件以从上述相位差检测用像素读出相位差检测用像素数据并且从上述相位差检测用像素以外的普通像素读出动画制作用像素数据;焦点调节单元,基于上述相位差检测用像素数据进行焦点调节;及制作单元,基于上述动画制作用像素数据来制作动画数据。
并且,技术方案15所述的发明的摄像装置的特征在于,具有:上述技术方案1~12中任一项所述的彩色摄像元件;驱动单元,驱动上述彩色摄像元件以读出在上述基本排列图案的中央配置有2×2的第一滤光片的方向判别用像素的像素数据;检测单元,基于从上述方向判别用像素读出的像素数据,检测亮度的相关方向;及插值单元,基于检测出的上述相关方向,对各像素,根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值。
并且,技术方案16的摄像程序是用于使计算机作为构成技术方案13~15中任一项所述的摄像装置的各单元而发挥功能的摄像程序。
发明效果
根据本发明,具有能够提高相位差检测用像素的插值精度的效果。
附图说明
图1是摄像装置的概略框图。
图2是本发明所涉及的滤色器的构成图。
图3是表示第一实施方式所涉及的遮光部的配置的图。
图4是由控制部执行的处理的流程图。
图5是表示将第一实施方式的彩色摄像元件的滤色器排列中含有的6×6像素的基本排列图案分割成3×3像素的A排列和B排列、并配置它们的情况的图。
图6是用于说明亮度的相关方向的判别方法和去马赛克算法处理时的像素插值方法的图。
图7A是用于说明倾斜的高频图像入射到彩色摄像元件时的相关方向的判别方法的图。
图7B是用于说明倾斜的高频图像入射到彩色摄像元件时的相关方向的判别方法的图。
图8A是用于说明遮光膜的配置图案的图。
图8B是用于说明遮光膜的配置图案的图。
图9是表示第二实施方式所涉及的遮光部的配置的图。
图10是表示第三实施方式所涉及的遮光部的配置的图。
图11是表示第四实施方式所涉及的遮光部的配置的图。
图12是表示第四实施方式所涉及的遮光部的配置的图。
图13是表示第五实施方式所涉及的遮光部的配置的图。
图14是表示第五实施方式所涉及的遮光部的配置的图。
图15是用于说明相位差检测用像素的变形例的图。
图16是用于说明滤色器中含有的基本排列图案的概念的图。
图17是用于说明利用平均值校正对相位差检测用像素的像素数据进行校正时的图。
具体实施方式
以下,参照附图说明本发明的实施方式。
(第一实施方式)
图1表示本实施方式所涉及的摄像装置10的概略框图。摄像装置10构成为,包括光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
光学系统12构成为,例如包括由多个光学镜头组成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像元件、例如CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等摄像元件上配置有滤色器的结构的所谓单板式摄像元件。
图2表示本实施方式所涉及的滤色器30的一部分。此外,像素数作为一例是(4896×3264)像素,纵横比是3:2,但像素数及纵横比不限于此。如该图所示,滤色器30是重复配置有将第一排列图案A和第二排列图案B点对称地配置而得到的6×6像素的基本排列图案C的滤色器,上述第一排列图案A中,与最有助于获得亮度信号的G(绿)对应的第一滤光片G(以下称为G滤光片)配置在3×3像素的正方排列的四角及中央的像素上,与R(红)对应的第二滤光片R(以下称为R滤光片)配置在正方排列的垂直方向上的中央的行上,与B(蓝)对应的第三滤光片B(以下称为B滤光片)配置在正方排列的水平方向上的中央的行上,上述第二排列图案B中的滤光片G的配置与第一排列图案A相同,且将第一排列图案A中的R滤光片的配置和B滤光片的配置进行了对换。
即,滤色器30具有下述特征(1)、(2)、(3)、(4)及(5)。
[特征(1)]
图2所示的滤色器30包括由6×6像素所对应的正方排列图案构成的基本排列图案C,该基本排列图案C在水平方向及垂直方向上重复配置。即,该滤色器排列中,R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。
由于R滤光片、G滤光片、B滤光片如此以规定的周期性排列,因此在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理等时,能够按照重复图案进行处理。
并且,在以基本排列图案C为单位进行间拔处理而缩小图像的情况下,间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同,能够使用通用的处理电路。
[特征(2)]
图2所示的滤色器30中,与最有助于获得亮度信号的颜色(在本实施方式中是G色)对应的G滤光片配置在滤色器排列的水平、垂直及倾斜方向上的各行内。
与亮度系像素对应的G滤光片配置在滤色器排列的水平、垂直及倾斜方向上的各行内,因此不管高频方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。
[特征(3)]
图2所示的滤色器30中,与上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)对应的R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内。
R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内,因此能够抑制莫尔条纹(伪色)的产生。由此,能够设置成不将用于抑制伪色产生的光学低通滤波器配置在从光学系统的入射面到摄像面的光路上。并且,即使在适用光学低通滤波器的情况下,也能够适用用于防止伪色产生的切断高频成分的作用较弱的装置,因而能够避免有损分辨率。
如图2所示,还可知基本排列图案C是由虚线框围成的3×3像素的第一排列图案A和由单点划线框围成的3×3像素的第二排列图案B在水平、垂直方向上交替排列而得到的排列。
第一排列图案A及第二排列图案B中,作为亮度系像素的G滤光片分别配置在四角和中央,配置在两条对角线上。并且,第一排列图案A中,B滤光片隔着中央的G滤光片而在水平方向上排列,R滤光片隔着中央的G滤光片而在垂直方向上排列,另一方面,第二排列图案B中,R滤光片隔着中央的G滤光片而在水平方向上排列,B滤光片隔着中央的G滤光片而在垂直方向上排列。即,第一排列图案A和第二排列图案B中,R滤光片和B滤光片的位置关系相反,而其他配置相同。
并且,第一排列图案A和第二排列图案B的四角的G滤光片如图16所示,通过第一排列图案A和第二排列图案B在水平、垂直方向上交替配置,形成与2×2像素对应的正方排列的G滤光片。
[特征(4)]
图2所示的滤色器30包括与由G滤光片构成的2×2像素对应的正方排列。
如图5所示,取出由G滤光片构成的2×2像素,通过求出水平方向上的G像素的像素值之差的绝对值、垂直方向上的G像素的像素值之差的绝对值、倾斜方向(右上倾斜、左上倾斜)上的G像素的像素值之差的绝对值,能够判断水平方向、垂直方向及倾斜方向中的差的绝对值小的方向存在相关性。
即,根据该滤色器排列,使用最小像素间隔的G像素的信息,能够判别水平方向、垂直方向及倾斜方向中的相关性高的方向。该方向判别结果能够用于根据周围像素进行插值的处理(去马赛克算法处理)。
[特征(5)]
图2所示的滤色器30的基本排列图案C相对于该基本排列图案C的中心(四个G滤光片的中心)形成点对称。并且,如图2所示,基本排列图案C内的第一排列图案A及第二排列图案B也分别相对于中心的G滤光片形成点对称。
通过这样的对称性,能够减小或简化后段的处理电路的电路规模。
如图16所示,在基本排列图案C中,水平方向上的第一至第六行中的第一及第三行的滤色器排列是GRGGBG,第二行的滤色器排列是BGBRGR,第四及第六行的滤色器排列是GBGGRG,第五行的滤色器排列是RGRBGB。
现在,在图16中,若将基本排列图案C在水平方向及垂直方向上分别移位一个像素而得到的基本排列图案设为C’,分别移位两个像素而得到的基本排列图案设为C”,则即使在水平方向及垂直方向上重复配置这些基本排列图案C’、C”,也会形成相同的滤色器排列。
即,通过在水平方向及垂直方向上重复配置基本排列图案,使能够构成图13所示的滤色器排列的基本排列图案存在多个。在本实施方式中,为了便于说明,将基本排列图案为点对称的基本排列图案C称为基本排列图案。
摄像装置10进行所谓相位差方式的AF控制,因此摄像元件14以将相位差检测用像素预先规定而得到的图案进行配置。在该相位差检测用像素上,如图3所示,形成有遮光部40,该遮光部40包括对水平方向上的左半部分像素进行遮光的遮光膜40A及对水平方向上的右半部分像素进行遮光的遮光膜40B。在相位差AF控制中,基于设置有遮光膜40A的相位差检测用像素的像素数据和设置有遮光膜40B的相位差检测用像素的像素数据来检测相位的偏移量,并基于该偏移量调整摄影镜头的焦点位置。
在本实施方式中,该遮光部40如图3所示,分别设置在两组第一排列图案A及第二排列图案B的中央的相位差检测用像素上,且相对于所有基本排列图案C配置。例如,在将水平方向的位置设为X、将垂直方向的位置设为Y而用(X,Y)表示像素位置的情况下,在图3中,在左上的基本排列图案C的(2,2)的相位差检测用像素上设置有遮光膜40A,在(5,5)的相位差检测用像素上设置有遮光膜40B。并且,在(5,2)的相位差检测用像素上设置有遮光膜40A,在(2,5)的相位差检测用像素上设置有遮光膜40B。这样一来,以基本排列图案C的对角上的第一排列图案A及第二排列图案B为一对,在两组第一排列图案A及第二排列图案B的中央的相位差检测用像素上分别形成有遮光膜40A及遮光膜40B。这样的基本排列图案C在水平方向及垂直方向上并排配置。此外,在图3中,在所有基本排列图案C上设置有遮光部40,但不限于此,也可以仅设置在摄像元件的部分规定区域内的基本排列图案C上。这一点在以下实施方式中也相同。
这样一来,将第一排列图案A及第二排列图案B的配置有G滤光片的中央的像素作为相位差检测用像素,在该像素上配置遮光膜40A或遮光膜40B。并且,在该相位差检测用像素的周围,配置有四个G滤光片。在此,在将相位差检测用像素的像素数据作为图像使用的情况下,相位差检测用像素的像素数据需要根据周围的像素进行插值,在周围配置有四个G滤光片。因此,例如在进行相位差AF控制并拍摄动画的情况下或静止图像摄影中,能够提高插值的精度。
摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双采样处理、A/D转换处理等预先规定的处理,并作为像素数据输出到图像处理部20。
图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即,对全部像素,根据周围像素的像素数据来对所对应的颜色以外的颜色的像素数据进行插值,生成全部像素的R、G、B像素数据。并且,对所生成的R、G、B像素数据实施所谓YC转换处理,生成亮度数据Y、色差数据Cr、Cb。并且,进行缩放处理,将这些信号缩放成与摄影模式对应的大小。
驱动部22根据来自控制部24的指示,进行从摄像元件14读出摄像信号的读出驱动等。
控制部24根据摄影模式等,集中控制驱动部22及图像处理部20等。详细情况后述,控制部24对驱动部22发出指示以通过与摄影模式对应的读出方法读出摄像信号,或者对图像处理部20发出指示以进行与摄影模式对应的图像处理。
需要根据摄影模式而间拔并读出来自摄像元件14的摄像信号,因此控制部24指示驱动部22以通过所指示的与摄影模式对应的间拔方法进行间拔并读出摄像信号。
作为摄影模式,包括拍摄静止图像的静止图像模式及HD动画模式、实时取景动画模式(实时取景显示模式)等动画模式,其中,上述HD动画模式中,对拍摄到的图像进行间拔,生成较高分辨率的HD(高清)动画数据,并记录于未图示的存储卡等记录介质;上述实时取景动画模式中,对拍摄到的图像进行间拔,并将较低分辨率的实时取景动画输出到未图示的显示部。
接着,作为本实施方式的作用,参照图4所示的流程图,对由控制部24执行的处理进行说明。
此外,图4所示的处理在被指示以执行与摄影模式对应的摄影的情况下执行。
首先,在步骤100中,指示驱动部22以通过与摄影模式对应的间拔方法读出像素数据。
例如,在HD动画模式、实时取景动画模式等动画模式的情况下,进行相位差AF控制并生成动画数据,因此读出设置有遮光膜40A及遮光膜40B的至少部分相位差检测用像素,即在图3中垂直方向上的第(3n+2)(n=0、1、2、……)行中的至少部分包括遮光膜40A及遮光膜40B的行,基于该行的像素数据进行相位差AF控制,并且读出除此以外的行、即普通像素行的至少一部分行,来制作动画数据。在制作该动画数据时,对相位差检测用像素根据其周围的普通像素的像素数据进行插值。
如图3所示,相位差检测用像素配置在第一排列图案A及第二排列图案B的配置有G滤光片的中央的像素上,其周围配置有四个G滤光片。因此,例如在进行相位差AF控制并拍摄动画时或静止图像摄影中,在根据周围像素对相位差检测用像素的像素数据进行插值的情况下,能够提高插值的精度。并且,配置在相位差检测用像素上的滤光片是与对人眼敏感的G对应的滤光片,因此能够提高相位差AF控制的精度。
在步骤102中,指示图像处理部20以执行与摄影模式对应的图像处理(去马赛克算法处理及YC转换处理)及缩放处理。
接着,说明图像处理部20的去马赛克算法处理电路的处理内容。
摄像元件14是单板式的彩色摄像元件,因此其输出图像是RAW图像(马赛克图像),需要通过根据周围像素对丢失颜色的像素进行插值的处理(去马赛克算法处理)来获得多通道图像。此时,产生问题的是高频的图像信号的重现特性。
并且,如图3所示,滤色器30在基本排列图案C的中央配置有2×2的G滤光片,该像素不是相位差检测用像素,而是普通像素。
因此,在本实施方式中,在计算从马赛克图像提取的去马赛克算法处理的对象像素的像素位置上的其他颜色的像素值时,基于配置有上述2×2的G滤光片的普通像素即G像素的像素数据,判别亮度的相关方向,通过使用在方向判别了的相关方向上存在的其他颜色的像素的像素值,高精度地推定其他颜色的像素的像素值,抑制高频部的伪色的产生。以下具体进行说明。
如图5所示,从自摄像元件14输出的马赛克图像中取出与G滤光片对应的2×2像素的G像素,在将各G像素的像素值按照从左上到右下的顺序设为G1、G2、G3、G4的情况下,去马赛克算法处理电路中含有的方向判别电路算出各方向的差的绝对值。
即,垂直方向的差的绝对值是(|G1-G3|+|G2-G4|)/2,水平方向的差的绝对值是(|G1-G2|+|G3-G4|)/2,右上倾斜方向的差的绝对值是|G2-G3|,左上倾斜方向的差的绝对值是(|G1-G4|。
方向判别电路判别在这四个相关绝对值中取最小的差的绝对值的方向上具有相关性(相关方向)。
现在,如图6所示,为了使3×3像素的B排列(参照图2)位于中央,在从马赛克图像提取出5×5像素的局部区域的情况下,在四角配置有2×2像素的G像素。因此,在将上述局部区域内的A排列的3×3像素作为去马赛克算法处理的对象像素的情况下,求出四角的各方向的相关绝对值的总和(或者平均值),将各方向的相关绝对值的总和(或平均值)中取最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。
并且,当输入了图7A所示的图案的情况下(黑为0,白为255),图7B所示的四角的2×2像素的G像素的像素值的垂直方向的差的绝对值的总和变为|0-255|×8=2040,水平方向的差的绝对值的总和也变为|0-255|×8=2040。另一方面,右上倾斜方向的差的绝对值的总和变为|255-255|×2+|0-0|×2=0,左上倾斜方向的差的绝对值的总和变为|0-0|×2+|255-255|×2=0。因此,差的绝对值的总和变得最小的方向是右上倾斜方向和左上倾斜方向这两个方向,在图7A的图案的情况是倾斜的最大频率的输入,因此采用任一倾斜方向都不会有问题。
如上所述,根据彼此相邻的2×2像素的G像素判别相关方向,因此能够通过最小像素间隔来判别相关方向。即,能够不受高频的影响而高精度地判别相关方向。
接着,说明通过图像处理部20的去马赛克算法处理电路对RGB的马赛克图像进行去马赛克算法处理的方法。
若判别出去马赛克算法处理的对象像素的相关方向,则在去马赛克算法处理电路算出去马赛克算法处理的对象像素的像素位置上的其他颜色的像素值时,使用上述判别出的相关方向上存在的其他颜色的像素的像素值。
如图3所示,在水平方向及垂直方向上存在R像素、G像素、B像素的所有颜色的像素,因此当判别出在水平方向或垂直方向上存在相关方向时,获取水平方向或垂直方向上存在的、对象像素的附近的其他颜色的像素的像素值。并且,将对所获取的一个像素的像素值或多个像素的像素值进行插值而得到的值作为对象像素的像素位置上的其他颜色的像素值。
例如,在判别出相关方向是水平方向的情况下,在图6中,G22的像素的像素位置上的R像素值通过将R12或R32的像素值直接作为像素值或者通过根据R12及R32的像素值进行插值来决定。
同样,G22的像素的像素位置上的B像素值通过将B02或B42的像素值直接作为像素值或者通过根据B02及B42的像素值进行插值来决定。
并且,B02的像素的像素位置上的R像素值通过将R12的像素值直接作为像素值或者通过根据R12及R32的像素值进行插值来决定。
而且,B02的像素的像素位置上的G的像素值通过将G22的像素值直接作为像素值或通过从位于与相邻的BG排列的相同水平位置上的G像素的像素值和G22的像素值插值来决定。
此外,在判别出相关方向是垂直方向的情况下,也与上述一样,能够使用在垂直方向上存在的其他颜色的像素值。
并且,滤色器30的滤色器排列在以3×3像素的A排列的G像素为中心的倾斜方向(对角方向)上只存在G像素,因此当判别出相关方向是G像素连续的倾斜方向时,通过算出G像素值的附近的R、B像素的像素值的色差,对对象像素的像素值进行插值,算出其他颜色的像素值。
如图6所示,在根据方向判别结果判别为左倾斜上存在相关方向的情况下,在G11的像素的插值方向上不存在R、B像素。因此,利用G11的像素的附近的R12、B21的像素的像素值R12、B21和这些像素的像素位置上的G像素值G12’、G21’的色差,对G11的像素值G11进行插值,算出G11像素的像素位置上的R、B的像素值R11’、B11’。
具体而言,通过以下的式子进行插值。
R11’=G11+(R12-G12’)……(a)
B11’=G11+(B21-G21’)……(b)
在上述式子(a)及(b)中,G12’=G01,G21’=G10。即,像素值G12’、G21’是通过左倾斜方向的方向判别所推定出的R12、B21的像素的像素位置上的G的像素值。
同样,G22的像素的像素位置的R、B像素的像素值R22’、B22’,利用其附近的R12、R32的像素和B21、B23的像素的各像素位置的色差,对G22的像素值G22进行插值,算出G22的像素的像素位置上的R、B的像素值R22’、B22’。
具体而言,通过以下的式子进行插值。
R22’=G22+{(R12+R32)/2-(G12’+G32’)/2}……(c)
B22’=G22+{(B21+B23)/2-(G21’+G23’)/2}……(d)
此外,G32’=G43,G23’=G34。
如上所述,当3×3像素(B排列)的所有像素的去马赛克算法处理结束时,对相邻的3×3像素(A排列)的对象像素进行与上述一样的处理(方向判别和去马赛克算法处理),以3×3像素为单位移动并反复进行。
如上所述,在彩色摄像元件14的滤色器排列的情况下,在去马赛克算法处理的对象像素是G像素而计算该像素位置上的R、B的像素值时,在倾斜方向上只存在G像素,根据滤色器排列,可认为还存在以下情况:在去马赛克算法处理的对象像素是R像素而计算该像素位置上的G、B的像素值时,在倾斜方向上不存在G像素或B像素;在去马赛克算法处理的对象像素是B像素而计算该像素位置上的G、R的像素值时,在倾斜方向上不存在G像素或R像素。
在这种情况下,与上述式子(a)~(d)一样,能够通过算出RGB的像素值的附近像素的像素值的色差,对对象像素的像素值进行插值,并算出其他颜色的像素值。
当总结通过附近像素的色差对对象像素的像素值进行插值并算出其他颜色的像素值的方法时,如下所述。
在去马赛克算法处理的对象像素是G像素、其像素值是G、通过方向判别电路判别出的相关方向上不存在R或B像素的情况下,当将上述G像素的附近的R、B像素的像素值作为R、B,将这些像素的像素位置上的G的像素值作为GR、GB时,通过下式算出上述对象像素的位置上的R、B像素的像素值RG、BG。
RG=G+(R-GR),BG=G+(B-GB)……(1)
该式(1)相当于上述式子(a)、(b)。
同样,在去马赛克算法处理的对象像素是R像素、其像素值是R、通过方向判别电路判别出的相关方向上不存在G或B像素的情况下,当将上述R像素的附近的G、B像素的像素值作为G、B,将这些像素的像素位置上的R的像素值作为RG、RB时,通过下式算出上述对象像素的位置上的G、B像素的像素值GR、BR。
GR=R+(G-RG),BR=R+(B-RB)……(2)
并且,在去马赛克算法处理的对象像素是B像素、其像素值是B、通过方向判别电路判别出的相关方向上不存在G或R像素的情况下,当将上述B像素的附近的G、R像素的像素值作为G、R,将这些像素的像素位置上的B的像素值作为BG、BR时,通过下式算出上述对象像素的位置上的G、R像素的像素值GB、RB。
GB=B+(G-BG),RB=B+(R-BR)……(3)
此外,不限于上述式子(1)~(3),在去马赛克算法处理的对象像素附近存在多个颜色与要进行插值求出的颜色相同的像素的情况下,与式子(c)~(d)一样,也可以使用多个像素的平均色差来进行插值。
并且,在本实施方式中,对去马赛克算法处理的对象像素,在判别出的相关方向上不存在其他颜色的像素的情况下,通过附近的其他颜色的像素的色差对对象像素的像素值进行插值并算出其他颜色的像素值,但不限于此,也可以通过附近的其他颜色的像素的色比来对对象像素的像素值进行插值,算出其他颜色的像素值。
通过附近像素的色比来对对象像素的像素值进行插值并算出其他颜色的像素值的方法的具体例如下所示。
在去马赛克算法处理的对象像素是G像素、其像素值是G、通过方向判别电路判别出的相关方向上不存在R或B像素的情况下,当将上述G像素的附近的R、B像素的像素值作为R、B,将这些像素的像素位置上的G的像素值作为GR、GB时,通过下式算出上述对象像素的位置上的R、B像素的像素值RG、BG。
RG=G×(R/GR),BG=G×(B/GB)……(4)
同样,在去马赛克算法处理的对象像素是R像素、其像素值是R、通过方向判别电路判别出的相关方向上不存在G或B像素的情况下,当将上述R像素的附近的G、B像素的像素值作为G、B,将这些像素的像素位置上的R的像素值作为RG、RB时,通过下式算出上述对象像素的位置上的G、B像素的像素值GR、BR。
GR=R×(G/RG),BR=R×(B/RB)……(5)
并且,在去马赛克算法处理的对象像素是B像素、其像素值是B、通过方向判别电路判别出的相关方向上不存在G或R像素的情况下,当将上述B像素的附近的G、R像素的像素值作为G、R,将这些像素的像素位置上的B的像素值作为BG、BR时,通过下式算出上述对象像素的位置上的G、R像素的像素值GB、RB。
GB=B×(G/BG),RB=B×(R/BR)……(6)
并且,在水平、垂直及倾斜(右上、左上)方向上相邻的G像素的像素值之差的绝对值分别相等的情况(差的绝对值在所有方向上是0或基本是0的情况)下,方向判别电路判别为不存在相关方向。在这种情况下,去马赛克算法处理的对象像素的像素位置上的其他颜色的像素值使用在该像素位置附近存在的其他颜色的像素的像素值。
此外,控制部24能够由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。在这种情况下,能够将上述处理的处理程序预先存储到例如非易失性ROM中,由CPU将它们读入并执行。
并且,在本实施方式中,如图3、图8A所示,说明了遮光膜40A沿水平方向配置而得到的排列行与遮光膜40B沿水平方向配置而得到的排列行在垂直方向上交替配置的情况,但如图8B所示,也可以构成为:按照遮光膜40A及遮光膜40B的顺序在水平方向上交替配置而得到的排列行与按照遮光膜40B及遮光膜40A的顺序在水平方向上交替配置而得到的排列行在垂直方向上交替配置。此外,在图8中,仅示出了相位差检测用像素。在图8B所示的配置的情况下,遮光膜40A及遮光膜40B均倾斜地配置,因此在拍摄包括例如斜线在内的被摄体的情况下,能够高精度地使焦点对准。这一点在以下实施方式中也相同。
(第二实施方式)
接着说明本发明的第二实施方式。此外,对与第一实施方式相同的部分标以相同的附图标记,省略其详细说明。
图9表示本实施方式所涉及的遮光膜40A、40B的配置。本实施方式与第一实施方式的不同点在于遮光膜40A、40B的配置。
如图9所示,在本实施方式中,遮光部40分别设置在构成基本排列图案C的两组第一排列图案A及第二排列图案B的中央的相位差检测用像素上,并且,配置有遮光部40的第一排列图案A及第二排列图案B沿着水平方向配置而得到的排列行与未配置遮光部40的第一排列图案A及第二排列图案B沿着水平方向配置而得到的排列行在垂直方向上交替配置。即,在图9的例子中,在垂直方向上,在第(2n+1)个基本排列图案C的行上配置遮光膜40A、40B,在第(2n+2)个基本排列图案C的行上未配置遮光膜40A、40B。
在这种情况下,在摄影模式是动画模式的情况下,控制部24读出在垂直方向上的第(2n+1)个基本排列图案C的行上配置有遮光膜40A、40B的相位差检测用像素的像素数据,进行相位差AF控制,并且读出垂直方向上的第(2n+2)个基本排列图案C的行的普通像素的像素数据,制作动画数据。
这样一来,在本实施方式中,相位差检测用像素的像素数据仅用于相位差AF控制,而不用于动画数据的制作,因此无需根据周围像素进行插值。并且,动画数据根据普通像素的像素数据来制作。因此,与将相位差检测用像素用于动画数据的制作的情况相比,能够提高相位差AF控制的处理速度。并且,与进行插值并制作动画数据的情况相比,能够提高动画数据制作的处理速度。
(第三实施方式)
接着,说明本发明的第三实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,省略其详细说明。
图10表示本实施方式所涉及的遮光膜40A、40B的配置。本实施方式与第一实施方式的不同点在于遮光膜40A、40B的配置。关于间拔驱动,与第二实施方式相同。
如图10所示,在本实施方式中,遮光部40设置在构成基本排列图案C的垂直方向上的两组第一排列图案A及第二排列图案B中的一组第一排列图案A及第二排列图案B的中央的相位差检测用像素上,并且,配置有遮光部40的第一排列图案A及第二排列图案B沿着水平方向配置而得到的排列行与未配置遮光部40的第一排列图案A及第二排列图案B沿着水平方向配置而得到的排列行在垂直方向上交替配置。即,在图10的例子中,在垂直方向上,在第(2n+1)个基本排列图案C的行上配置遮光膜40A、40B,在第(2n+2)个基本排列图案C的行上未配置遮光膜40A、40B。并且,在水平方向上,每隔六个像素而配置有遮光膜40A、40B。即,在水平方向上,在第(6m+2)(m=0、1、2、……)行上配置有遮光膜40A、40B。
因此,与第二实施方式相比,在相位差检测用像素的周围普通像素增加,因此能够提高插值精度,提高画质。
(第四实施方式)
接着,说明本发明的第四实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,省略其详细说明。
图11表示本实施方式所涉及的遮光膜40A、40B的配置。本实施方式与上述实施方式的不同点在于遮光膜40A、40B的配置。关于间拔驱动,与第一实施方式相同。
如图11所示,在本实施方式中,遮光部40设置在基本排列图案C的一个对角上所配置的两个第一排列图案A的中央的相位差检测用像素上,且相对于所有基本排列图案配置。
在这种情况下,在动画模式中,在进行相位差AF控制并显示动画数据等的情况下,对于相位差检测用像素,根据周围像素进行插值并制作动画数据。
然而,在水平方向上相邻的像素中,有时来自相邻像素的光进入而发生混色。相对于此,在本实施方式中,如图11所示,与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素均是B像素。因此,能够抵消混色的影响,相比于与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素不相同的情况,能够提高画质。
此外,如图12所示,也可以构成为:遮光部40设置在基本排列图案C的另一个对角上所配置的两个第二排列图案B的中央的相位差检测用像素上,且相对于所有基本排列图案配置。在这种情况下,与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素均是R像素。特别是R的波长易到达相邻的像素,因此能够有效地防止混色,提高画质。
(第五实施方式)
接着,说明本发明的第五实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,省略其详细说明。
图13表示本实施方式所涉及的遮光膜40A、40B的配置。本实施方式与上述实施方式的不同点在于遮光膜40A、40B的配置。关于间拔驱动,与第二、第三实施方式相同。
如图13所示,在本实施方式中,遮光部40设置在基本排列图案C的一个对角上所配置的两个第一排列图案A的中央的相位差检测用像素上,并且,配置有遮光部40的基本排列图案C沿着水平方向配置而得到的排列行与未配置遮光部40的基本排列图案C沿着水平方向配置而得到的排列行在垂直方向上交替配置。
这样一来,在本实施方式中,与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素均是B像素。因此,能够抵消混色的影响,相比于与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素不相同的情况,能够提高画质。
并且,在摄影模式是动画模式的情况下,控制部24读出在垂直方向上的第(2n+1)个基本排列图案C的行上配置有遮光膜40A、40B的相位差检测用像素的像素数据,进行相位差AF控制,并且读出垂直方向上的第(2n+2)个基本排列图案C的行的普通像素的像素数据,制作动画数据。
这样一来,相位差检测用像素的像素数据仅用于相位差AF控制,而不用于动画数据的制作,因此无需根据周围像素进行插值。并且,动画数据根据普通像素的像素数据制作。因此,与将相位差检测用像素用于动画数据的制作的情况相比,能够提高相位差AF控制的处理速度。并且,与进行插值并制作动画数据的情况相比,能够提高动画数据制作的处理速度。
此外,如图14所示,也可以构成为:遮光部40设置在另一对角上所配置的两个第二排列图案B的中央的相位差检测用像素上,并且,配置有遮光部40的基本排列图案C沿着水平方向配置而得到的排列行与未配置遮光部40的基本排列图案C沿着水平方向配置而得到的排列行在垂直方向上交替配置。
在这种情况下,与设置有遮光膜40A的相位差检测用像素的设置有遮光膜40A的一侧在水平方向上相邻的像素和与设置有遮光膜40B的相位差检测用像素的设置有遮光膜40B的一侧在水平方向上相邻的像素均是R像素。特别是R的波长易到达相邻的像素,因此能够更有效地防止混色,提高画质。
并且,在上述各实施方式中,说明了RGB三原色的滤色器的滤色器排列,但滤色器的种类不限于此。
并且,在上述各实施方式中,说明了在相位差检测用像素上设置有对水平方向的左半部分像素进行遮光的遮光膜40A及对水平方向的右半部分像素进行遮光的遮光膜40B的结构,但遮光的区域不限于此,只要是遮光膜40A对相位差检测用像素的部分区域进行遮光而使光透过其他区域、遮光膜40B对相位差检测用像素的一部分进行遮光而使光透过与透光膜40A透过的区域成对的区域即可。
并且,在上述各实施方式中,说明了在相位差检测用像素上设置有遮光膜的结构,但不限于此,通过设为例如日本特愿2009-227338号所述的结构,也可以形成相位差检测用像素。即,摄像元件由顶部微透镜、内部微透镜及同一形状的受光元件构成,并构成为,包括:第一像素D1,接受通过摄影镜头光瞳的整个区域的光线;第二像素D2,仅接受通过摄影镜头光瞳的一半区域的一部分的光线;及第三像素D3,仅接受通过摄影镜头光瞳的一半区域的一部分且与第二像素D2不同的区域的光线。并且,如图11所示,对于第二像素D2、第三像素D3,将直径小于第一像素D1的顶部微透镜L1的顶部微透镜L2、L3相对于内部微透镜的光轴向各自不同的方向偏移而分别配置。并且,顶部微透镜与受光元件偏移地配置。由此,能够将第二像素D2、第三像素D3作为相位差检测用像素来形成。本发明也能够适用于这样的结构中。而且,根据摄像元件的结构,也可以是不设置内部透镜的形态。并且,作为相位差像素的结构,不限于上述结构,只要能够进行光瞳分割就可以替代。
(第六实施方式)
接着,说明本发明的第六实施方式。
相位差检测用像素与普通像素相比灵敏度低等,其特性不同,因此在将相位差检测用像素的像素数据作为静止图像、动画图像的图像数据来使用的情况下,需要校正相位差检测用像素的像素数据。因此,在本实施方式中,说明相位差检测用像素的像素数据的校正方法。
作为校正方法,公知有平均值校正及增益校正这两种方法,且可以使用任一方法。平均值校正是对相位差检测用像素的周围的普通像素的像素值进行平均而将其作为相位差检测用像素的像素数据的方法。另一方面,增益校正是通过对相位差检测用像素的像素数据乘以与普通像素和相位差检测用像素的电平差相当的规定的增益来提升相位差检测用像素的像素数据的方法。
以下,具体说明以平均值校正来校正相位差检测用像素的像素数据的情况。
图17表示以A排列及B排列的中央的G像素为中心的3×3像素内的G像素的配置。在该图中,中心的G像素是G1,其周围的G像素从左上起按照顺时针分别是G2、G3、G4、G5。
如图3、9~14所示,相位差检测用像素在图17中均配置在G1像素上。
因此,在将相位差检测用像素即G1像素的像素数据作为图像数据使用的情况下,将其周围的普通像素即G2、G3、G4、G5各像素的像素数据的平均值作为G1像素的像素数据。
如上所述,基于周围的普通像素的像素数据对相位差检测用像素的像素数据进行平均值校正。
此外,根据摄影图像的内容,有时进行增益校正及平均值校正的某一个而获得良好图像的情况是不同的。因此,可以根据摄影图像的内容来分别使用增益校正和平均值校正。
附图标记
10 摄像装置
12 光学系统
14 摄像元件
16 摄像处理部
20 图像处理部
22 驱动部
24 控制部
30 滤色器
40 遮光部
40A、40B 遮光膜
Claims (15)
1.一种彩色摄像元件,具有:
摄像元件,包括排列于水平方向及垂直方向上的多个光电转换元件;
滤色器,设于由上述多个光电转换元件构成的多个像素上,并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案,其中所述第一排列图案中,与最有助于获得亮度信号的第一颜色对应的第一滤光片配置在3×3像素的正方排列的四角及中央的像素上,与不同于上述第一颜色的第二颜色对应的第二滤光片配置在上述正方排列的上述垂直方向上的中央的行上,与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片配置在上述正方排列的上述水平方向上的中央的行上,所述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同,且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换;及
相位差检测用像素,配置在构成上述基本排列图案的两组上述第一排列图案及上述第二排列图案中的至少一组图案的中央位置所对应的上述像素上。
2.根据权利要求1所述的彩色摄像元件,其中,
在上述相位差检测用像素设置遮光单元,上述遮光单元包括对该像素的部分区域进行遮光而使光透过其他区域的第一遮光膜或对该像素的一部分进行遮光而使光透过与上述第一遮光膜的透过区域成对的区域的第二遮光膜。
3.根据权利要求2所述的彩色摄像元件,其中,
上述遮光单元中的上述第一遮光膜对像素的水平方向的左半部分区域进行遮光,上述第二遮光膜对像素的水平方向的右半部分区域进行遮光。
4.根据权利要求1所述的彩色摄像元件,其中,
上述相位差检测用像素分别设置在两组上述第一排列图案及上述第二排列图案的中央位置所对应的像素上,并且,在上述摄像元件的至少规定区域内在所有上述基本排列图案中配置于上述中央位置所对应的像素上。
5.根据权利要求1所述的彩色摄像元件,其中,
上述相位差检测用像素分别设置在两组上述第一排列图案及上述第二排列图案的与中央位置对应的像素上,并且,配置有上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
6.根据权利要求1所述的彩色摄像元件,其中,
在将两组上述第一排列图案及上述第二排列图案作为垂直方向上的两组的情况下,上述相位差检测用像素设置在该垂直方向上的两组中的一组上述第一排列图案及上述第二排列图案的中央位置所对应的像素上,并且,配置有上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述第一排列图案及上述第二排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
7.根据权利要求1所述的彩色摄像元件,其中,
上述相位差检测用像素设置在上述基本排列图案的一个对角上所配置的两个上述第一排列图案及另一个对角上所配置的两个上述第二排列图案中的、任一对角上所配置的两个排列图案的中央位置所对应的像素上,并且,在上述摄像元件的至少规定区域内在所有基本排列图案中配置于上述中央位置所对应的像素上。
8.根据权利要求1所述的彩色摄像元件,其中,
上述相位差检测用像素设置在上述基本排列图案的一个对角上所配置的两个上述第一排列图案及另一个对角上所配置的两个上述第二排列图案中的、任一对角上所配置的两个排列图案的中央位置所对应的像素上,并且,配置有上述相位差检测用像素的上述基本排列图案沿着上述水平方向配置而得到的排列行与未配置上述相位差检测用像素的上述基本排列图案沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
9.根据权利要求2~8中任一项所述的彩色摄像元件,其中,
上述第一遮光膜沿着上述水平方向配置而得到的排列行与上述第二遮光膜沿着上述水平方向配置而得到的排列行在上述垂直方向上交替配置。
10.根据权利要求2~8中任一项所述的彩色摄像元件,其中,
按照上述第一遮光膜及上述第二遮光膜的顺序在上述水平方向上交替配置而得到的排列行与按照上述第二遮光膜及上述第一遮光膜的顺序在上述水平方向上交替配置而得到的排列行在上述垂直方向上交替配置。
11.根据权利要求3所述的彩色摄像元件,其中,
上述第一颜色是绿(G)色,上述第二颜色是红(R)色,上述第三颜色是蓝(B)色,
配置上述遮光单元使得上述第一遮光膜的上述水平方向上的左侧像素及上述第二遮光膜的上述水平方向上的右侧像素为上述红(R)色像素。
12.根据权利要求1所述的彩色摄像元件,其中,
上述第一颜色是绿(G)色,上述第二颜色是红(R)色及蓝(B)色中的一种颜色,上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
13.一种摄像装置,具有:
上述权利要求1所述的彩色摄像元件;
驱动单元,驱动上述彩色摄像元件以从上述相位差检测用像素读出相位差检测用像素数据;及
焦点调节单元,基于上述相位差检测用像素数据进行焦点调节。
14.一种摄像装置,具有:
上述权利要求5、6、8中任一项所述的彩色摄像元件;
驱动单元,驱动上述彩色摄像元件以从上述相位差检测用像素读出相位差检测用像素数据并且从上述相位差检测用像素以外的普通像素读出动画制作用像素数据;
焦点调节单元,基于上述相位差检测用像素数据进行焦点调节;及
制作单元,基于上述动画制作用像素数据来制作动画数据。
15.一种摄像装置,具有:
上述权利要求1~8中任一项所述的彩色摄像元件;
驱动单元,驱动上述彩色摄像元件以读出在上述基本排列图案的中央配置有2×2的第一滤光片的方向判别用像素的像素数据;
检测单元,基于从上述方向判别用像素读出的像素数据,检测亮度的相关方向;及
插值单元,基于检测出的上述相关方向,对各像素,根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-066629 | 2011-03-24 | ||
JP2011066629 | 2011-03-24 | ||
JP2011-163308 | 2011-07-26 | ||
JP2011163308 | 2011-07-26 | ||
PCT/JP2011/067546 WO2012127699A1 (ja) | 2011-03-24 | 2011-07-29 | カラー撮像素子、撮像装置、及び撮像プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103444183A CN103444183A (zh) | 2013-12-11 |
CN103444183B true CN103444183B (zh) | 2015-01-28 |
Family
ID=46878890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180069495.8A Expired - Fee Related CN103444183B (zh) | 2011-03-24 | 2011-07-29 | 彩色摄像元件及摄像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8723991B2 (zh) |
EP (1) | EP2690873A4 (zh) |
JP (1) | JP5547338B2 (zh) |
CN (1) | CN103444183B (zh) |
WO (1) | WO2012127699A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103460703B (zh) * | 2011-03-24 | 2015-03-11 | 富士胶片株式会社 | 彩色摄像元件及摄像装置 |
CN104429061B (zh) * | 2012-07-06 | 2016-04-13 | 富士胶片株式会社 | 彩色摄像元件和摄像装置 |
JP5777825B2 (ja) * | 2012-12-05 | 2015-09-09 | 富士フイルム株式会社 | 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体 |
CN104838646B (zh) * | 2012-12-07 | 2016-11-23 | 富士胶片株式会社 | 图像处理装置、图像处理方法、程序及记录介质 |
JP6630058B2 (ja) * | 2014-06-16 | 2020-01-15 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及び、プログラム |
JP6364259B2 (ja) * | 2014-07-02 | 2018-07-25 | オリンパス株式会社 | 撮像装置、画像処理方法、及び画像処理プログラム |
KR102346622B1 (ko) * | 2014-08-04 | 2022-01-04 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
KR102269600B1 (ko) * | 2014-08-05 | 2021-06-25 | 삼성전자주식회사 | 위상차 포커스 검출 가능한 촬상소자 |
JP2018046394A (ja) * | 2016-09-14 | 2018-03-22 | オリンパス株式会社 | 撮像素子、撮像装置 |
US10366674B1 (en) * | 2016-12-27 | 2019-07-30 | Facebook Technologies, Llc | Display calibration in electronic displays |
US11245878B2 (en) * | 2019-02-28 | 2022-02-08 | Qualcomm Incorporated | Quad color filter array image sensor with aperture simulation and phase detection |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243407A (ja) * | 1997-02-27 | 1998-09-11 | Olympus Optical Co Ltd | 画像信号処理装置及び画像入力処理装置 |
JP2009089144A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 電子カメラ |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0823543A (ja) | 1994-07-07 | 1996-01-23 | Canon Inc | 撮像装置 |
JPH0823542A (ja) | 1994-07-11 | 1996-01-23 | Canon Inc | 撮像装置 |
EP0930789B1 (en) | 1998-01-20 | 2005-03-23 | Hewlett-Packard Company, A Delaware Corporation | Colour image pickup device |
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
US6707937B1 (en) * | 2000-07-14 | 2004-03-16 | Agilent Technologies, Inc. | Interpolation of edge portions of a digital image |
EP2381688B1 (en) | 2001-01-09 | 2014-06-25 | Sony Corporation | Image pick up device |
JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
JP4385282B2 (ja) | 2003-10-31 | 2009-12-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP4797606B2 (ja) | 2005-12-01 | 2011-10-19 | 株式会社ニコン | 撮像装置 |
US7821553B2 (en) | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
JP4662883B2 (ja) | 2006-05-15 | 2011-03-30 | 富士フイルム株式会社 | 二次元カラー固体撮像素子 |
US7701496B2 (en) * | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
JP5082528B2 (ja) | 2007-03-23 | 2012-11-28 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
JP5040458B2 (ja) | 2007-06-16 | 2012-10-03 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
CN101821657B (zh) * | 2007-08-06 | 2013-08-07 | 佳能株式会社 | 摄像设备 |
JP5092685B2 (ja) | 2007-10-23 | 2012-12-05 | 株式会社ニコン | 撮像素子および撮像装置 |
JP5063627B2 (ja) | 2008-02-28 | 2012-10-31 | 中国電力株式会社 | 作業服類の保管袋及びこれを用いた保管方法 |
EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
JP2010066494A (ja) | 2008-09-10 | 2010-03-25 | Olympus Corp | 固体撮像素子及びデジタルカメラ |
JP5149143B2 (ja) | 2008-12-24 | 2013-02-20 | シャープ株式会社 | 固体撮像素子およびその製造方法、電子情報機器 |
JP5471117B2 (ja) * | 2009-07-24 | 2014-04-16 | ソニー株式会社 | 固体撮像装置とその製造方法並びにカメラ |
-
2011
- 2011-07-29 CN CN201180069495.8A patent/CN103444183B/zh not_active Expired - Fee Related
- 2011-07-29 EP EP11861733.1A patent/EP2690873A4/en not_active Withdrawn
- 2011-07-29 WO PCT/JP2011/067546 patent/WO2012127699A1/ja active Application Filing
- 2011-07-29 JP JP2013505761A patent/JP5547338B2/ja not_active Expired - Fee Related
-
2013
- 2013-09-19 US US14/031,822 patent/US8723991B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243407A (ja) * | 1997-02-27 | 1998-09-11 | Olympus Optical Co Ltd | 画像信号処理装置及び画像入力処理装置 |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
JP2009089144A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 電子カメラ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012127699A1 (ja) | 2014-07-24 |
US20140043508A1 (en) | 2014-02-13 |
EP2690873A4 (en) | 2014-10-08 |
CN103444183A (zh) | 2013-12-11 |
WO2012127699A1 (ja) | 2012-09-27 |
EP2690873A1 (en) | 2014-01-29 |
US8723991B2 (en) | 2014-05-13 |
JP5547338B2 (ja) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
CN103444185B (zh) | 彩色摄像元件及摄像装置 | |
JP5361535B2 (ja) | 撮像装置 | |
JP5749741B2 (ja) | ノイズ低減方法 | |
CN103460703B (zh) | 彩色摄像元件及摄像装置 | |
CN103444184B (zh) | 彩色摄像元件及摄像装置 | |
CN103460704B (zh) | 彩色摄像元件及摄像装置 | |
WO2012073727A1 (ja) | 撮像装置及びその合焦位置検出方法 | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
JP5600812B2 (ja) | 撮像装置 | |
JP4617870B2 (ja) | 撮像装置および方法、並びにプログラム | |
CN103430552B (zh) | 摄像装置 | |
CN103460702B (zh) | 彩色摄像元件及摄像装置 | |
JP5786355B2 (ja) | デフォーカス量検出装置および電子カメラ | |
CN104011575B (zh) | 摄像装置及摄像装置的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150128 Termination date: 20190729 |