CN103843318B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN103843318B
CN103843318B CN201280047928.4A CN201280047928A CN103843318B CN 103843318 B CN103843318 B CN 103843318B CN 201280047928 A CN201280047928 A CN 201280047928A CN 103843318 B CN103843318 B CN 103843318B
Authority
CN
China
Prior art keywords
pixel
signal
picture
area
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280047928.4A
Other languages
English (en)
Other versions
CN103843318A (zh
Inventor
广濑稔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103843318A publication Critical patent/CN103843318A/zh
Application granted granted Critical
Publication of CN103843318B publication Critical patent/CN103843318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

摄像设备包括：图像传感器，图像传感器包括不用于生成图像信号的第一像素和用于生成图像信号的第二像素，所述第一像素被包括在第一区域中；以及信号处理部件，用于对从第一区域中的第一像素输出的信号执行插值处理。信号处理部件使用基于第一区域中的第一像素的配置的图案，对从除第一区域以外的区域中的第二像素输出的图像信号执行插值处理。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种具有部分包括焦点检测像素的图像传感器的摄像设备及其控制方法。
背景技术
在具有如CCD传感器或CMOS传感器的固态图像传感器的摄像设备中，其中一些摄像设备中具有所谓的运动图像记录功能，该运动图像记录功能能够顺次记录从图像传感器连续读取的图像信号。
此外，作为摄像设备中的使用穿过拍摄镜头的光束的自动焦点检测和调节的一般方法，对比度检测方法和相位差检测方法是已知的。
对比度检测方法是通常用于电子静态照相机和拍摄运动图像的视频动画装置的方法，并且用于拍摄图像的图像传感器还用作焦点检测传感器。在对比度检测方法中，关注图像传感器的输出信号，特别是关于高频分量的信息(对比度信息)，并且使高频分量的评价值最大化以达到摄像透镜的聚焦位置。然而，在对比度检测方法中，通过微少量地移动摄像透镜来获得评价值以使高频分量最大化，所以并不适用于高速调焦控制操作。
另一方面，相位差检测方法通常用于单镜头反光照相机并且是一种对自动调焦(AF)单镜头反光照相机的实用化的贡献最大的技术。根据相位差检测方法，穿过拍摄镜头的出射光瞳的光束被分割为两个，并且分割出的两个光束分别被一对焦点检测传感器接收。通过检测与所接收到的光量相对应的输出信号之间的差，或者换句话说，通过检测光束分割方向上的相对位置偏移量，来直接确定拍摄镜头在聚焦方向上的散焦量。因此，在由焦点检测传感器来执行电荷累积操作时，可以获得散焦量和散焦方向，使得可以进行高速 的焦点调节操作。然而，为了将穿过拍摄镜头的出射光瞳的光束分割为两个并且获得与两个光束中的每个相对应的信号，通常在图像传感光学路径中设置例如快速返回镜和半透半反镜的光路分割机构，并在光路分割机构的下游设置焦点检测光学系统和AF传感器。因此，相位差检测方法存在设备大型化和价格昂贵的缺点。此外，在显示实时取景图像时，由于快速返回镜从光路退避，因此不能使用相位差检测方法。
为了克服上述缺点，还在例如日本特开2000-156823中公开了一种技术，其中，通过相对于片上微透镜的光轴而偏移光接收部的感光区域，针对图像传感器中的一些光接收元件(像素)设置光瞳分割机构。这些像素用作焦点检测像素，并且在摄像像素组之间按照规定间隔配置以执行相位差焦点检测，从而即使在使用电子取景器(EVF)期间以及在拍摄运动图像期间也能实现使用相位差方法的高速AF。
此外，为了防止在使用EVF时和在拍摄运动图像时由于摩尔纹等导致的图像劣化，提出了下面的方法。即，在用于在对来自图像传感器的像素信号进行相加的情况下读取该像素信号的相加读取模式中，如果存在焦点检测像素信号，则以不混合摄像像素的像素信号和焦点检测像素的像素信号的方式执行像素信号的读取(例如，日本特开2010-20055)。
然而，在日本特开2000-156823和2010-20055中，配置焦点检测像素的部分对应于摄像像素不存在的部分，因此使用来自周边摄像像素的信息而通过插值来生成图像信息。因此，当焦点检测像素的数量与摄像像素的数量的比足够小时，图像劣化小，但是图像劣化随着焦点检测像素的数量与摄像像素的数量的比的增大而增大。
另外，在设定了EVF模式或运动图像拍摄模式的情况下，从图像传感器的部分像素读取像素信号来实现图像的高速读取是公知的。然而，与读取全部像素时相比，在读取部分像素时，读取的焦点检测像素的数量与读取的摄 像像素的数量的比的增大能够极大地影响图像质量。
此外，在将配置焦点检测像素的区域限制在光学条件好并且能够获得相对高的焦点检测精度的摄像区域中心部分及其附近、并且拍摄均匀颜色面的被摄体的情况下，存在以下问题。即，由于使用配置在焦点检测像素周围的摄像像素的校正误差，导致在配置焦点检测像素的区域和未配置焦点检测像素的区域之间的边界处，图像的劣化趋于显著。
发明内容
考虑到上述情形提出了本发明，并且本发明使得在将配置焦点检测像素的区域限制在摄像区域的一部分的情况下，在配置焦点检测像素的区域和未配置焦点检测像素的区域之间的边界处，由于焦点检测像素的插值校正所导致的图像质量的劣化不那么显著。
根据本发明，提供了一种摄像设备，包括：图像传感器，其具有不用于生成图像信号的第一像素和用于生成图像信号的第二像素，其中所述第一像素被包括在第一区域中；以及信号处理部件，用于对从所述第一区域中的所述第一像素输出的信号进行插值处理，其中，所述信号处理部件使用基于所述第一区域中的所述第一像素的配置的图案，对从除所述第一区域以外的区域中的所述第二像素输出的图像信号进行插值处理。
此外，根据本发明，提供了一种摄像设备的控制方法，其中，所述摄像设备包括图像传感器，所述图像传感器具有不用于生成图像信号的第一像素和用于生成图像信号的第二像素，所述第一像素被包括在第一区域中，所述控制方法包括：信号处理步骤，用于对从所述第一区域中的所述第一像素输出的信号进行插值处理，其中，在所述信号处理步骤中，使用基于所述第一区域中的所述第一像素的配置的图案，对从除所述第一区域以外的区域中的所述第二像素输出的图像信号进行插值处理。。
此外，根据下面参考附图对示例性实施例的说明，本发明的其它特征将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的说明书附图与说明书一起示出了本发明的示例性实施例，并且用于解释本发明的原理。
图1是示出根据本发明的实施例的摄像设备的简要结构的框图；
图2是示出根据本发明的实施例的图像传感器的结构的框图；
图3A和图3B是用于解释根据本发明的实施例的全像素读出的图；
图4A和图4B是用于解释根据本发明的实施例的间隔剔除读出的图；
图5A和图5B是根据本发明的实施例的图像传感器的摄像像素的平面图和剖面图；
图6A和图6B是根据本发明的实施例的图像传感器的焦点检测像素的平面图和剖面图；
图7是示出根据本发明的实施例的摄像像素和焦点检测像素的像素配置的图；
图8是示出根据本发明的实施例的焦点检测区域的配置的图；
图9A和图9B是根据本发明的实施例的插值对象区域的说明图；
图10A～10C是示出根据本发明的变形例的多个焦点检测像素和插值图案的像素配置的图；以及
图11是根据本发明的变形例的以不同比率包含焦点检测像素的多个区域的说明图。
具体实施方式
将根据附图来详细说明本发明的示例性实施例。
图1是根据本发明的实施例的摄像设备的结构图，其示出了包括图像传感器的照相机本体和拍摄光学系统集成到单个单元中的电子照相机。在图1中，第一透镜组101被设置在拍摄光学系统(成像光学系统)的前端，并且被保持为可沿着光轴向前和向后移动。光圈快门102调节其开口直径，从而调节摄像时的光量，光圈快门102还具有调节静止图像拍摄时的曝光时间的功能。光圈快门102和第二透镜组103一起沿着光轴前后移动，并且与第一透镜组101的前后移动连动，提供变倍的效果(变焦功能)。
第三透镜组105通过沿着光轴前后移动来进行焦点调节。低通光学滤波器106是用于减少所拍摄图像的伪色和摩尔纹的光学元件。图像传感器107包括CMOS图像传感器和外围电路。将二维单板颜色传感器用作图像传感器107，其中在该二维单板颜色传感器中，片上拜尔阵列原色马赛克滤波器设置在被配置成水平方向上m个像素、垂直方向上n个像素的光接收像素上。
变焦致动器111通过凸轮筒(未示出)的旋转来使第一透镜组101～第二透镜组103沿光轴前后移动来执行变倍操作。光圈快门致动器112控制光圈快门102的开口直径并且调节拍摄的光量，并且还控制静止图像摄像时的曝光时间。调焦致动器114使第三透镜组105沿光轴前后移动以调节焦点。
在拍摄时使用用于照明被摄体的电子闪光灯115。优选使用氙管的闪光照明装置，但是也可以使用包括连续闪光LED的照明装置。AF辅助闪光单元116通过投射透镜将具有预定开口图案的掩模图像投影至被摄体视野，以提高对暗被摄体和低对比度被摄体的焦点检测能力。
CPU121以各种方式控制摄像设备内的照相机主单元。CPU121可以包括例如计算单元、ROM、RAM、A/D转换器、D/A转换器、通信接口电路等。此外，CPU121基于存储在ROM中的预定程序执行例如驱动摄像设备所具有的各种电路、AF、拍摄、图像处理和记录等的一系列操作。
电子闪光灯控制电路122控制电子闪光灯115与拍摄操作同步地发光。辅 助闪光驱动电路123控制AF辅助闪光单元116与焦点检测操作同步地发光。图像传感器驱动电路124控制图像传感器107的图像传感操作，以及对所获得的图像信号进行A/D转换并将转换后的图像信号发送至CPU121。图像处理电路125对图像传感器107所获得的图像执行例如γ转换、颜色插值、下述的插值处理和JPEG压缩等处理。
焦点驱动电路126基于焦点检测结果控制调焦致动器114的驱动，以沿光轴前后移动第三透镜组105并且调节焦点。光圈快门驱动电路128控制光圈快门致动器112的驱动，以控制光圈快门102的开口。变焦驱动电路129响应于拍摄者的变焦操作而驱动变焦致动器111。
例如LCD的显示装置131显示与摄像设备的拍摄模式、拍摄之前的预览图像、拍摄之后的确认图像、焦点检测时的焦点状态显示图像等有关的信息。操作开关组132包括电源开关、释放(拍摄触发)开关、变焦操作开关、拍摄模式选择开关等。可拆卸闪速存储器133记录所拍摄的图像。
图2是根据本发明的实施例的图像传感器107的框图。需要注意的是，图2所示的框图示出了解释后面所述的读出操作所需的最小结构，因此像素复位信号等被省略。在图2中，每个光电转换器单元201包括光电二极管、像素放大器、复位开关等，并且二维地配置m列×n行个光电转换器单元。
开关202用于选择光电转换器单元201的输出，其中，该输出是通过后面所述的垂直扫描电路208以行为单元选择的。线存储器203被设置为用于临时存储光电转换器单元201的输出，并且当信号MEM成为H(高)电平时经由垂直输出线VL来存储垂直扫描电路208所选择的一行光电转换器单元201的输出。电容器可用作为线存储器203。开关204连接到用于将水平输出线HL复位到预定电位VHRST的水平输出线HL，并且由信号HRST控制开关204。开关205用于向水平输出线HL顺次输出存储在线存储器203中的光电转换器单元201的输出。
水平扫描电路206使用信号H0～Hm-1而顺次扫描开关205，从而向水平输出线HL顺次输出存储在线存储器203中的光电转换器单元201的输出。信号PHST是水平扫描电路206的数据输入，信号PH1和信号PH2是水平扫描电路206的移位时钟输入。水平扫描电路206被配置为使得当信号PH1为H电平时设置数据，当信号PH2为H电平时锁存数据。通过向信号PH1和信号PH2输入移位时钟，信号PHST顺次移位，使得开关H0～Hm-1顺次为H电平，从而使得开关205顺次接通。信号SKIP使得水平扫描电路206如后面所述的在对从部分像素的读出信号进行间隔剔除读出时执行设置。通过设置信号SKIP为H电平，能够以预定间隔跳过水平扫描电路206的操作。稍后详细描述读出操作。
放大器207以预定比率放大经由水平输出线HL从线存储器203输出的像素信号，并且输出结果为VOUT。
垂直扫描电路208将信号V0～Vn-1顺次改变为H电平，从而以行为单元对选择开关202进行选择。与水平扫描电路206一样，垂直扫描电路208被数据输入PVST、移位时钟PV1和PV2以及间隔剔除读出设置信号SKIP控制。垂直扫描电路208的操作与水平扫描电路206的操作一样，因此省略对其的详细说明。
图3A和图3B是示出在读出图2所示的摄像设备107的所有像素的情况的图。图3A中描绘的R、G、B标记分别代表覆盖像素的红色滤波器、绿色滤波器和蓝色滤波器。在本实施例中，使用作为例子的拜尔阵列进行描述，其中，在拜尔阵列中，以2行×2列配置4个像素，在位于彼此斜向相对的2个像素处配置具有G(绿色)光谱感光度的像素，其它2个像素处配置1个具有R(红色)光谱感光度的像素、1个具有B(蓝色)光谱感光度的像素。沿图3A中的顶部和左侧的编号是X方向和Y方向的编号。绘制有斜线的像素是读出对象的像素。因为图3A示出了全像素读出的情况，所以所有的像素均绘制有斜线。此外，在图像传感器107中，通常设置了用于检测黑电平的遮挡OB(光学黑)像素等， OB像素也被读出。然而，在本实施例中，它们会导致说明复杂，因此没有描述。
图3B是示出在读出图像传感器107的所有像素的信号电荷(数据)的情况下的时序图。CPU121控制图像传感器驱动电路124，以向图像传感器107发送脉冲，从而读出图像传感器107。现在参考图3B描述全像素读出操作。
首先，驱动垂直扫描电路208，使V0有效。此时，将第0行像素的输出分别输出到垂直输出线。在这种状态下，使信号MEM有效，并且将每个像素的数据采样保持到线存储器203。接着，使信号PHST有效，输入移位时钟PH1和PH2，使信号H0～Hm-1顺次有效，并且向水平输出线HL输出像素输出。像素输出经由放大器207作为VOUT输出，被AD转换器(未示出)转换为数字信号，并在图像处理电路125中被进行预定图像处理。
接着，垂直扫描电路208使V1有效，第一行的像素输出被输出至垂直输出线，并类似地通过信号MEM被临时存储在线存储器203中。随后，以同样的方式，使信号PHST有效，输入移位时钟PH1和PH2，顺次使信号H0～Hm-1有效，并且像素输出被输出至水平输出线HL。以这种方式，通过顺次使直至Vn-1的信号有效，顺次读出直至第n-1行。
图4A和图4B是用于说明间隔剔除读出具有图2所示的配置的图像传感器107的部分像素的例子的图。在图4A中，与图3A类似，绘制有斜线的像素是间隔剔除读出时的读出对象的像素。在本实施例中，在X方向和Y方向上都进行1/3的间隔剔除读出。
图4B是示出在间隔剔除读出时的时序图的图。现在使用如图4B所示的时序图，描述间隔剔除读出操作。通过使水平扫描电路206的控制端子即SKIP端子有效，进行间隔剔除读出设置。通过使SKIP端子有效，水平扫描电路206和垂直扫描电路208的操作从每一个像素的顺次扫描改为每第三个像素的顺次扫描。实现这个的具体方法是公知技术，因此省略详细描述。
在间隔剔除操作中，首先，驱动垂直扫描电路208，使V0有效。此时，第0行的每个像素输出被输出到垂直输出线VL。在这种状态下，使信号MEM有效，并且将每个像素的数据采样保持到线存储器203。接着，使信号PHST有效，并且输入移位时钟PH1和PH2。此时，通过设置SKIP端子有效，移位寄存器路径变化，在每第三个像素，例如在H0、H3、H6……Hm-3，像素输出被顺次输出到水平扫描线HL。像素输出经由放大器207作为VOUT输出，被AD转换器(未示出)转换为数字信号，并在图像处理电路125中被进行预定图像处理。
接着，与水平扫描电路206一样，垂直扫描电路208跳过V1和V2，使V3有效，并且向垂直输出线VL输出第三行的像素输出。随后，该像素输出通过信号MEM被临时存储在线存储器203中。接着，与第0行类似，使信号PHST有效，输入移位时钟PH1和PH2，顺次使H0、H3、H6……Hm-3有效，并且向水平输出线输出像素输出。以这种方式，顺次进行直至第n-3行的读出。因此，如上所述，在水平和垂直方向上都进行1/3的间隔剔除读出。
图5A、图5B和图6A、图6B是示出摄像像素和焦点检测像素的结构的图。在本实施例中，后面所述的结构的焦点检测像素以预定规律分散在上述拜尔阵列中。
图5A和图5B示出摄像像素的配置和结构。图5A是2行×2列的摄像像素的平面图。众所周知，在拜尔阵列中，G像素彼此对角配置，R像素和B像素配置在其它两个像素处。重复配置2行×2列结构。
图5B示出沿图5A中A-A方向的剖面图。ML表示设置在每个像素的前面的片上微透镜，CFR表示R(红色)滤波器，CFG表示G(绿色)滤波器。PD(光电二极管)示意性地示出图2描述的CMOS图像传感器的光电转换器单元201。CL(接触层)表示用于形成传输CMOS图像传感器中的各种信号的信号线的配线层。TL表示示意性地示出的拍摄光学系统。
这里，将摄像像素的片上微透镜ML和光电转换器元件PD构造为使得有效地获取尽可能多的穿过拍摄光学系统TL(摄像镜头)的光束。换言之，微透镜ML使得拍摄光学系统TL的出射光瞳EP和光电转换器元件PD为共轭关系，并且将光电转换元件PD的有效面积设计为大的面积。此外，尽管在图5B中仅说明了进入R像素的光束，但是G像素和B(蓝色)像素具有相同的结构。因此，RGB的摄像像素的出射光瞳EP是大直径，使得能有效地获取来自被摄体的光束(光子)并且提高图像信号S/N比。
图6A和图6B示出用于在拍摄光学系统的水平方向上光瞳分割的焦点检测像素的配置和结构。通过在水平方向上分割出射光瞳，能够对在水平方向上具有亮度分布的被摄体，例如垂直条纹执行焦点检测。图6A是包括焦点检测像素的2行×2列的像素的平面图。在针对记录或观察而获得图像信号的情况下，在G像素处获得亮度信息主成分。这是因为人眼对亮度信息敏感的人的图像识别特性，当G像素丢失时，容易注意到图像质量劣化。相比之下，R像素和B像素是用于获得颜色信息(色差信息)的像素，因为人眼对颜色信息不敏感的人的视觉特性，即使丢失一定量的用于获得颜色信息的像素，也不易察觉图像质量劣化。因此，在本实施例中，在2行×2列的像素中，保留G像素作为摄像像素，而R像素和B像素被焦点检测像素替代。图6A中用SA和SB表示由这些焦点检测像素构成的第一焦点检测像素组。
图6B示出沿图6A中A-A的剖面图。微透镜ML和光电转换器元件PD具有与图5B中摄像像素相同的结构。在本实施例中，因为在图像生成时没有使用焦点检测像素信号，设置透明膜CFW(白色)来代替用于颜色分离的颜色滤波器。此外，为了在光电转换器单元201实现光瞳分割，配线层CL的开口相对于微透镜ML的中心线偏移。具体地，在像素SA中的开口OPHA水平偏移(朝向图6A和图6B的右侧)，从而接收穿过拍摄光学系统TL左侧的出射光瞳EPHA的光束。类似地，在像素SB中的开口OPHB在与像素SA的相反方向向 左侧偏移，并接收穿过拍摄光学系统TL右侧的出射光瞳EPHB的光束。因此，假定以在水平方向上等间隔的方式规则配置的具有上述结构的像素组SA所获得的被摄体图像是图像A。然后，如果假定同样以在相同的水平方向上等间隔的方式规则配置的具有上述结构的像素组SB所获得的被摄体图像是图像B，则通过检测图像A和图像B的相对位置(相位)，能够检测到被摄体图像的失焦量(散焦量)。
此外，在希望检测在垂直方向上具有亮度分布的被摄体，例如水平条纹的散焦量的情况下，可以将配置旋转90度，以使像素SA的开口OPHA在像素的下部分并且像素SB的开口OPHB在像素的上部分。可选地，开口OPHA可以在像素的上部分并且像素SB的开口OPHB可以在像素的下部分。
图7是示出参考图5A、图5B和图6A、图6B说明的摄像像素和焦点检测像素的像素配置的例子的图。在本实施例中，通过间隔剔除读出，可以读出图像传感器107的全部像素的水平方向的1/3和垂直方向上的1/3。在图7中，绘制有斜线的像素是读出对象的像素，并且在间隔剔除读出时要读出的行和列中配置焦点检测像素。
考虑到焦点检测像素的像素输出不能用于形成图像，本发明的图像传感器107被配置为使得焦点检测像素在水平方向和垂直方向上都以特定间隔离散配置。另外，如上所述，焦点检测像素没有配置在用于G像素的像素位置，以使得图像质量劣化不明显。根据本发明，在12×24的像素块中配置两组像素SA和像素SB，这代表像素配置的单个图案。
图8是示出根据本实施例的在整个摄像区域中焦点检测区域的配置的图。在图8中，有效像素区域801示出配置有获取用于生成要记录的图像的图像信号的摄像像素的区域。配置在图8的中央部的区域802示出一个焦点检测区域，在该区域，连续配置有如图7所示的以预定混合率包含焦点检测像素的像素块。另一方面，在有效像素区域801中除焦点检测区域802之外的其它 区域，没有配置焦点检测像素。
需要注意的是，在图8中，包括焦点检测像素的区域被配置在帧的中央部，旨在限制为光学条件好且焦点检测精度相对高的区域。
图9A和图9B是示出在静止图像拍摄和运动图像拍摄时生成图像的情况下进行的像素插值处理的插值对象区域的说明图。
如上所述，每个焦点检测像素被代替用于颜色分离的颜色滤波器的透明膜CFW(白色)所覆盖，并且为了实现光瞳分割，焦点检测像素的开口相对于微透镜的中心线在一个方向上偏移。因此，当拍摄图像时，焦点检测像素是缺陷像素，并且需要进行插值以根据从焦点检测像素周围的摄像像素读出的图像信号而生成与焦点检测像素相对应的图像像素的信号。
这里可以使用的各种插值方法是公知的。因为本发明不受插值方法的限制，因此省略描述。然而，与其它被摄体相比，当拍摄特定被摄体时的误插值所导致的图像质量劣化可能更明显。特别地，随着插值像素与非插值像素比率的增大，图像质量劣化的影响也增大。根据本发明，响应于要插值的像素比率而改变插值对象区域，从而使得图像质量劣化不明显。
图9A示出静止图像拍摄时的插值对象区域803。因为静止图像拍摄时所有像素被读出，因而要插值的焦点检测像素(插值对象像素)与摄像像素(非插值对象像素)的比率低，并且插值的影响也低。因此，将插值对象区域设置为焦点检测区域802，并且在考虑了焦点检测像素的配置图案的情况下进行插值处理。
图9B示出使用电子取景器和运动图像拍摄时的插值对象区域804。因为使用电子取景器和运动图像拍摄时执行如参考图4A和图4B所说明的间隔剔除读出，因而焦点检测像素与摄像像素的比率大，并且插值的影响也大。因此，将插值对象区域设置在有效像素区域801中，并且根据焦点检测像素的配置图案(即，使用焦点检测区域802的插值图案)进行插值处理。
通过如上所述根据插值对象像素与非插值对象像素的比率而改变插值对象区域，可以使得在通常图像质量劣化明显的、插值对象区域和非插值对象区域之间的边界处的图像质量劣化不明显。
在如上所述的本发明中，焦点检测区域802被配置在帧的中央矩形区域，本发明不限于此。例如，焦点检测区域可以被离散配置在多个区域，或者可以具有圆形、十字等的形状。在这些情况下，可以根据焦点检测像素的混合率改变插值对象区域。
另外，根据本发明，焦点检测像素SA分别与焦点检测像素SB构成一对，以获得用于计算相位差的像素信号，然而，焦点检测像素的结构不限于此。例如，图像传感器可以被配置为，每个焦点检测像素具有多个光电转换区域，并且从多个光电转换区域独立地读出信号。采用这种结构，可以基于通过拍摄光学系统的不同光瞳区域的被摄体光束而获得彼此具有相位差的多个图像。
变形例
在如上所述的实施例中，在块中存在焦点检测像素的一种配置图案，然而，本发明能够采用准备了焦点检测像素的多种配置图案的情况。下面描述准备了多种配置图案的情况。
图10A～10C是参考图5A、5B和图6A、6B所说明的摄像像素、焦点检测像素SA和SB的两种配置图案的示意图。图10A示出包括焦点检测像素的第一配置图案，该图案在12×24的像素块中包括两对SA和SB。另外，图10B示出包括焦点检测像素的第二配置图案，该图案在12×24的像素块中包括一对SA和SB。图10C是插值图案，黑像素表示插值对象像素。
在图像传感器107的一帧中存在第一配置图案的块和第二配置图案的块的情况下，使用图10C所示的插值图案进行插值处理。以这种方式，使用图10C所示的插值图案对插值对象区域进行插值，使得在插值处理之后第一配 置图案的块的图像质量和第二配置图案的块的图像质量一致，从而使得图像质量劣化不明显，其中第一配置图案的块和第二配置图案的块具有不同焦点检测像素的配置图案。
此外，在如上所述的实施例中，将间隔剔除读出时的插值对象区域设置为有效像素区域，然而，本发明不限于此。例如，如图11所示，可以准备焦点检测像素的三种配置图案，并且焦点检测像素的混合率可以向周边逐渐减小。以这种方式，可以使得在焦点检测区域802和包括非焦点检测像素的区域之间的边界处图像质量劣化不明显。请注意，也可以使用四种或更多种的配置图案。
此外，根据如上所述的实施例，示出全像素读出以及水平和垂直方向上都间隔剔除到1/3的间隔剔除读出，并且在插值对象像素与非插值对象像素的比率大于全像素读出的间隔剔除读出时，扩大插值对象区域。以这种方式，可以使得在插值对象区域和非插值对象区域之间的边界处图像质量劣化不明显，然而，读出模式的类型不限于此。即，本发明包括根据插值对象像素的比率而扩大插值对象区域的情况。
例如，在进行至少在水平或垂直方向上相加像素并从图像传感器读出像素的相加读出、并且获得与间隔剔除读出相同数量的像素输出的情况下，以及扩大相加读出时的插值对象区域的情况下，可以获得同样的效果。更具体地，在相加读出中，与像素输出相对应的有效像素的数量大于间隔剔除读出的数量，插值处理导致的图像质量劣化的影响小。因此，可以仅在间隔剔除读出时扩大插值对象区域，以使得在插值对象区域和非插值对象区域的边界处图像质量劣化不明显。
另外，例如，可以进行至少在水平或垂直方向上以预定间隔剔除率(例如，垂直方向上的1/3的间隔剔除)的间隔剔除读出、以及至少在水平或垂直方向上以较高间隔剔除率(例如，垂直方向上的1/5的间隔剔除)的间隔剔除读出。当比较所获得的图像时，在通过较高间隔剔除率(例如，垂直方向上的1/5的间隔剔除)的间隔剔除读出所读出的图像中插值处理的影响大。因此，在以较高间隔剔除率(这种情况下，1/5的间隔剔除)的间隔剔除读出时，可以扩大插值对象区域，以使得在插值对象区域和非插值对象区域的边界处图像质量劣化不明显。
需要注意的是，在如上所述的实施例中，以照相机主体和拍摄光学系统形成为一体的数字照相机作为示例进行描述，然而，本发明也可适用于具有可更换镜头单元的照相机。
尽管参考示例性实施例说明了本发明，但是应该理解，本发明不局限于所公开的示例性实施例。所附权利要求书的范围被赋予最宽的解释，以包含所有这样的修改、等同结构和功能。

Claims (10)

1.一种摄像设备，包括：
图像传感器，其具有不用于生成图像信号的第一像素和用于生成图像信号的第二像素，其中所述第一像素基于预定规律配置在第一区域中；以及
信号处理部件，用于对从所述第一区域中的所述第一像素输出的信号进行插值处理，
其特征在于，所述信号处理部件使用除所述第一区域以外的区域中的第二像素的配置图案对从所述第二像素输出的图像信号进行插值处理，作为插值处理的对象的所述第二像素的配置图案与所述第一区域中的基于所述预定规律的所述第一像素的配置图案相对应。
2.根据权利要求1所述的摄像设备，其中，所述信号处理部件具有第一模式和第二模式，所述第一模式用于对从除所述第一区域以外的区域中的所述第二像素输出的图像信号进行插值处理，所述第二模式用于不对从除所述第一区域以外的区域中的所述第二像素输出的图像信号进行插值处理。
3.根据权利要求2所述的摄像设备，其中，还包括：读出部件，用于从所述图像传感器读出信号，
其中，在从所述第一像素输出的信号在所述读出部件所读出的信号中的比率是第一比率的情况下，所述信号处理部件在所述第一模式下工作，以及在从所述第一像素输出的信号在所述读出部件所读出的信号中的比率是低于所述第一比率的第二比率的情况下，所述信号处理部件在所述第二模式下工作。
4.根据权利要求3所述的摄像设备，其中，在所述读出部件通过间隔剔除像素而从所述图像传感器读出信号的情况下，所述信号处理部件在所述第一模式下工作，以及在所述读出部件在未间隔剔除像素的情况下从所述图像传感器读出信号的情况下，所述信号处理部件在所述第二模式下工作。
5.根据权利要求3所述的摄像设备，其中，在所述读出部件通过以第三比率间隔剔除像素而从所述图像传感器读出信号的情况下，所述信号处理部件在所述第一模式下工作，以及在所述读出部件通过以低于所述第三比率的第四比率间隔剔除像素而从所述图像传感器读出信号的情况下，所述信号处理部件在所述第二模式下工作。
6.根据权利要求1至5中任一项所述的摄像设备，其中，所述第一像素用于焦点检测并且独立地输出通过接收穿过拍摄光学系统的出射光瞳的不同区域的光束而获得的信号。
7.根据权利要求6所述的摄像设备，其中，还包括：
检测部件，用于检测从所述第一像素输出的一对信号之间的相位差；以及
控制部件，用于基于所述相位差来控制所述拍摄光学系统的位置。
8.根据权利要求1所述的摄像设备，其中，所述图像传感器包括配置在所述第一区域外侧的第二区域，所述第二区域中所述第一像素相对于全部像素的比低于所述第一区域中所述第一像素相对于全部像素的比。
9.根据权利要求1所述的摄像设备，其中，所述图像传感器的每个像素被颜色滤波器覆盖，并且所述第一像素根据所述颜色滤波器的配置而代替用于获得颜色信息的像素。
10.一种摄像设备的控制方法，其中，所述摄像设备包括图像传感器，所述图像传感器具有不用于生成图像信号的第一像素和用于生成图像信号的第二像素，所述第一像素基于预定规律配置在第一区域中，所述控制方法包括：
信号处理步骤，用于对从所述第一区域中的所述第一像素输出的信号进行插值处理，
其特征在于，在所述信号处理步骤中，使用除所述第一区域以外的区域中的第二像素的配置图案对从所述第二像素输出的图像信号进行插值处理，作为插值处理的对象的所述第二像素的配置图案与所述第一区域中的基于所述预定规律的所述第一像素的配置图案相对应。
CN201280047928.4A 2011-09-30 2012-09-06 摄像设备及其控制方法 Active CN103843318B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011218321A JP5911252B2 (ja) 2011-09-30 2011-09-30 撮像装置及び画像処理方法
JP2011-218321 2011-09-30
PCT/JP2012/073383 WO2013047212A1 (en) 2011-09-30 2012-09-06 Image capturing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
CN103843318A CN103843318A (zh) 2014-06-04
CN103843318B true CN103843318B (zh) 2017-05-24

Family

ID=47995246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280047928.4A Active CN103843318B (zh) 2011-09-30 2012-09-06 摄像设备及其控制方法

Country Status (4)

Country Link
US (1) US9357121B2 (zh)
JP (1) JP5911252B2 (zh)
CN (1) CN103843318B (zh)
WO (1) WO2013047212A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5775976B2 (ja) * 2012-11-22 2015-09-09 富士フイルム株式会社 撮像装置、デフォーカス量演算方法、及び撮像光学系
JP6463010B2 (ja) * 2014-06-24 2019-01-30 オリンパス株式会社 撮像素子および撮像装置
JP6405163B2 (ja) * 2014-09-03 2018-10-17 キヤノン株式会社 焦点検出装置及びその制御方法
WO2017057495A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
CN108141538A (zh) * 2015-09-30 2018-06-08 株式会社尼康 摄像装置及图像处理装置
WO2017057494A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
JP6516015B2 (ja) * 2015-09-30 2019-05-22 株式会社ニコン 撮像装置および画像処理装置
US10810716B2 (en) * 2015-09-30 2020-10-20 Nikon Corporation Image capturing device, image processing device and display device for setting different exposure conditions
CN114928701A (zh) * 2016-03-31 2022-08-19 株式会社尼康 摄像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028397A (ja) * 2008-07-17 2010-02-04 Canon Inc 撮像装置、その制御方法及びプログラム
WO2010090056A1 (en) * 2009-02-06 2010-08-12 Canon Kabushiki Kaisha Image capturing apparatus
CN102196180A (zh) * 2010-03-18 2011-09-21 株式会社尼康 摄像机

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2002027323A (ja) * 2000-07-03 2002-01-25 Matsushita Electric Ind Co Ltd 撮像素子欠陥画素補正装置
CN100596169C (zh) * 2004-03-19 2010-03-24 松下电器产业株式会社 摄像装置
JP4807131B2 (ja) 2006-04-05 2011-11-02 株式会社ニコン 撮像素子および撮像装置
JP5028154B2 (ja) 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
US7978255B2 (en) * 2007-10-11 2011-07-12 Nikon Corporation Solid-state image sensor and image-capturing device
JP5245370B2 (ja) * 2007-11-22 2013-07-24 株式会社ニコン 固体撮像装置、電子カメラ
JP5241355B2 (ja) 2008-07-10 2013-07-17 キヤノン株式会社 撮像装置とその制御方法
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5595014B2 (ja) * 2009-11-09 2014-09-24 キヤノン株式会社 撮像装置
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5739653B2 (ja) 2010-12-03 2015-06-24 キヤノン株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028397A (ja) * 2008-07-17 2010-02-04 Canon Inc 撮像装置、その制御方法及びプログラム
WO2010090056A1 (en) * 2009-02-06 2010-08-12 Canon Kabushiki Kaisha Image capturing apparatus
CN102196180A (zh) * 2010-03-18 2011-09-21 株式会社尼康 摄像机

Also Published As

Publication number Publication date
CN103843318A (zh) 2014-06-04
WO2013047212A1 (en) 2013-04-04
JP2013078085A (ja) 2013-04-25
US20140218594A1 (en) 2014-08-07
US9357121B2 (en) 2016-05-31
JP5911252B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
CN103843318B (zh) 摄像设备及其控制方法
CN102318335B (zh) 摄像设备
CN102687499B (zh) 摄像设备
JP5552214B2 (ja) 焦点検出装置
CN103168463B (zh) 图像传感器和摄像设备
CN101821657B (zh) 摄像设备
US8730374B2 (en) Focus detection apparatus
CN102292974B (zh) 摄像设备
JP5241355B2 (ja) 撮像装置とその制御方法
JP5183565B2 (ja) 撮像装置
JP5473977B2 (ja) 撮像装置およびカメラシステム
JP5361535B2 (ja) 撮像装置
JP5609098B2 (ja) 撮像装置
JP5990008B2 (ja) 撮像装置およびその制御方法
JP5962830B2 (ja) 焦点検出装置
JP5804104B2 (ja) 焦点調節装置
JP5864989B2 (ja) 撮像素子及び撮像装置
JP5748826B2 (ja) 撮像装置およびカメラシステム
US20200007782A1 (en) Image capturing apparatus and control method therefor
JP2021105687A (ja) 撮影装置、撮影方法及び撮影プログラム
JP2019091093A (ja) 焦点調節装置
JP2016189019A (ja) 焦点調節装置および電子カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant