CN102959959A - 固态成像装置驱动方法、固态成像装置及成像设备 - Google Patents

固态成像装置驱动方法、固态成像装置及成像设备 Download PDF

Info

Publication number
CN102959959A
CN102959959A CN2012800012633A CN201280001263A CN102959959A CN 102959959 A CN102959959 A CN 102959959A CN 2012800012633 A CN2012800012633 A CN 2012800012633A CN 201280001263 A CN201280001263 A CN 201280001263A CN 102959959 A CN102959959 A CN 102959959A
Authority
CN
China
Prior art keywords
pixel
color filter
stacking
pixels
high sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800012633A
Other languages
English (en)
Other versions
CN102959959B (zh
Inventor
和田哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102959959A publication Critical patent/CN102959959A/zh
Application granted granted Critical
Publication of CN102959959B publication Critical patent/CN102959959B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种用于固态成像装置的驱动方法,该方法包括将存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排中的一排上的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素、以及最邻近的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的堆叠有绿色滤色器的像素作为低灵敏度像素进行驱动,并且将其余像素作为高灵敏度像素进行驱动。

Description

固态成像装置驱动方法、固态成像装置及成像设备
技术领域
本发明涉及固态成像装置驱动方法、固态成像装置及成像设备,并且具体地涉及适于以高分辨率和宽动态范围对对象进行彩色成像的单板固态成像装置驱动方法、固态成像装置及成像设备。 
背景技术
如下所述的专利文献1和2公开了一种能够在水平方向和竖直方向上以高分辨率对对象进行彩色成像的固态成像装置。下面将参照图8和图9描述该固态成像装置的像素阵列和滤色器阵列。 
图8示出了堆叠在以方点阵排列的多个像素(光电转换器件:光电二极管)上的R(红色)、G(绿色)、B(蓝色)三原色滤色器的阵列。"○"标记被添加给R滤色器和B滤色器,以使得易于识别RGB排列位置中的每一个。 
在图8所示的滤色器阵列中,G滤色器堆叠在偶数行和偶数列中的每个像素上,R滤色器和B滤色器在列方向和行方向上交替堆叠在其余像素上。换言之,堆叠有G滤色器的像素(G像素)布置在形成大小相同的方格的各排位置中,而堆叠有R滤色器的像素(R像素)和堆叠有B滤色器的像素(B像素)布置在大小相同的方格的眼位置中。 
图9是示出其中图8的像素阵列和滤色器阵列以45度倾角倾斜的阵列的示图。该像素阵列变成所谓的蜂窝式像素排列,其中偶数编号的像素行相对奇数编号的像素行偏移1/2像素间距。 
由于可以获得蜂窝式像素排列的成像图像信号,即,可以获得方格图案位置,因此当通过利用相邻像素的成像图像信号进行内插获得分别在纵向和横向上彼此相邻的两个像素的总共四个像素的中心 位置的成像图像信号时,可以获得两倍于像素数量的成像图像信号,从而在纵向和横向上以高分辨率获得对象的图像信号。 
现有技术文献 
专利文献 
[专利文献1]JP-A-11-355790 
[专利文献2]JP-A-2006-211631 
发明内容
要解决的技术问题 
上述具有如图9所示的像素阵列和滤色器阵列的固态成像装置可以以高分辨率拍摄对象的彩色图像。然而,存在不能拍摄具有宽动态范围的图像的问题。可以利用其中添加具有相同颜色的相邻像素的成像图像信号的像素添加方法增加动态范围,但是在此情况中,存在牺牲分辨率的问题。 
本发明的目的是提供能够在保持高分辨率的同时以宽动态范围成像对象的彩色图像的固态成像装置的驱动方法、固态成像装置和成像设备。 
解决技术问题的手段 
根据本发明的一个方面,提供了一种固态成像装置的驱动方法,在所述固态成像装置中,偶数编号的像素行布置为相对奇数编号像素行偏移1/2像素间距,对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成,构成方格图案位置中未布置堆叠有绿色滤色器的像素的其余位置中所布置的像素的奇数编号像素行或偶数编号像素行的一方行(one-side row)的像素是堆叠有红色滤色器的像素,并且构成另一方行(other-side row)的像素是堆叠有蓝色滤色器的像素,所述方法包括: 
将存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排的一排上的堆叠有红色滤色器的像 素和堆叠有蓝色滤色器的像素、和最邻近堆叠有红色滤色器的像素或堆叠有蓝色滤色器的像素的堆叠有绿色滤色器的像素作为低灵敏度像素进行驱动,以及将其余的像素作为高灵敏度像素进行驱动。 
根据本发明的另一方面,提供了一种固态成像装置,包括:低灵敏度像素;和高灵敏度像素。偶数编号的像素行布置为相对奇数编号的像素行偏移1/2像素间距。对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成,构成方格图案位置中未布置堆叠有绿色滤色器的像素的其余位置中所布置的像素的奇数编号像素行或偶数编号像素行的一方行的像素是堆叠有红色滤色器的像素,和构成另一方行的像素是堆叠有蓝色滤色器的像素,以及存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排的一排上的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素、和最邻近堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的堆叠有绿色滤色器的像素被配置为低灵敏度像素,以及其余的像素被配置为高灵敏度像素。 
根据本发明的再一个方面,提供了一种成像设备,包括:如上所述的固态成像装置;驱动单元,其构造为驱动所述固态成像装置;以及信号处理单元,其构造为以周围高灵敏度像素的成像图像信号对低灵敏度像素的像素位置的图像信号进行内插。 
发明的有益效果 
根据本发明,可以以高分辨率、低伪色和宽动态范围成像对象的彩色图像。 
附图说明
图1是根据本发明示例实施例的成像设备的功能框图。 
图2是处于高分辨率成像模式下的图1所示的数字信号处理单元的框图。 
图3是根据本发明第一示例实施例的固态成像装置的驱动方法 的说明示图。 
图4是处于宽动态范围成像模式下的图1所示的数字信号处理单元的框图。 
图5是替代图3的示例实施例的说明示图。 
图6是替代图5的示例实施例的说明示图。 
图7是图6的示例实施例的说明示图。 
图8是像素阵列和滤色器阵列的说明示图。 
图9是其中使图8所示的像素阵列和滤色器阵列倾斜45度的示图。 
具体实施方式
下面将参照附图详细描述本发明的示例实施例。 
图1是示出安装有根据本发明示例实施例的固态成像装置22a的数码相机(成像设备)10的构造的功能框图。数码相机10具有:成像光学系统21,其包括成像透镜21a和光圈21b;和成像装置芯片22,其布置在成像光学系统21的后端中。 
成像装置芯片22包括:用于进行彩色成像的单板固态成像装置22a,其信号读取单元是CCD型或CMOS型;模拟信号处理单元(AFE)22b,其对从固态成像装置22a输出的模拟图像信号执行诸如自动增益控制(AGC)或采样双相关堆积处理(sampling two correlation pile processing)之类的模拟处理;和模数转换单元(A/D)22c,其将从模拟信号处理单元22b输出的模拟图像数据转换成数字图像数据。在该示例实施例中,以CMOS型固态成像装置22a作为示例进行说明。 
数码相机10还包括:驱动单元(包括定时发生器TG)23,用于根据来自如下所述的系统控制单元(CPU)29的指令控制固态成像装置22a、模拟信号处理单元22b和A/D 22c;以及闪光灯25,其根据来自CPU 29的指令发光。驱动单元23可以安装在成像装置芯片22中。 
本示例实施例的数码相机10还包括:数字信号处理单元26,其接收从A/D 22c输出的数字图像数据,并执行已知的图像处理,诸如 内插处理、白平衡补偿和RGB/YC转换处理;压缩/解压处理单元27,其将图像数据压缩成以例如JPEG格式的形式的图像数据,或者反向解压;显示单元28,其显示菜单或直通图像或图像;系统控制单元(CPU)29,其整体控制整个数码相机;介质接口(I/F)单元31,其在诸如帧存储器之类的内部存储器30与用于存储JPEG图像数据的存储介质32之间进行接口处理;以及总线34,其将数字信号处理单元26、压缩/解压处理单元27、显示单元28、系统控制单元29和介质接口单元31相互连接在一起。此外,执行来自用户的输入指令的操控单元33连接至系统控制单元29。 
CMOS型固态成像装置22a的像素阵列和滤色器阵列与图9所示的固态成像装置的像素阵列和滤色器阵列相同。它们的结构的相同之处在于例如,针对每个像素形成了相等的光接收面积、以相同宽度形成了遮光膜中的开口以及安装了具有相同形状的微透镜。 
像素阵列变成所谓的蜂窝式像素排列,其中,偶数编号的像素行相对奇数编号的像素行偏移1/2像素间距。即,以45度向右上倾斜的各像素行的一排间隔在每个像素上堆叠一个G滤色器(下文中将倾斜的像素行称作“排”),并且以45度向左上倾斜的各像素行的一排间隔在每个像素上堆叠一个G滤色器。 
其中未堆叠G滤色器的其余像素位置成为方格图案位置。当将这些方格图案位置分成第一方阵位置(其为奇数编号的行位置)和第二方阵位置(其为偶数编号的行位置)时,在第一方阵位置的每个像素上堆叠R滤色器,在第二方阵位置的每个像素上堆叠B滤色器。即,方格图案位置的奇数编号的行(或偶数编号的行)成为堆叠有R滤色器的像素,而方格图案位置的偶数编号的行(或奇数编号的行)成为堆叠有B滤色器的像素。 
图1所示的数码相机10提供有高分辨率成像模式和宽动态范围成像模式来作为对对象进行彩色成像的模式。用户可以从图1所示的操控单元33手动选择高分辨率成像模式和宽动态范围成像模式中的任意一个。在选择了自动设置成像模式的情况下,在从固态成像装置22a输出的成像图像信号作为直通图像被数字信号处理单元26解释、且亮 度大于预定阈值时,可以自动选择宽动态范围成像模式。 
当选择了高分辨率成像模式时,图9中的全部像素的曝光时间变得相同,并且读出每个像素的成像图像信号。本示例实施例是CMOS型,因此,按照图9中一个像素行的顺序读出各成像图像信号,图1中的数字信号处理单元26按照图2所示的图像处理顺序计算全部像素位置的R信号量、G信号量、B信号量,从而产生对象的彩色图像数据。 
当从固态成像装置22a读出成像图像信号时,这些成像图像信号被输入至图1中的数字信号处理单元26。成像图像信号包括从G像素输出的高灵敏度G信号(高分辨率成像模式中的信号被称作“高灵敏度”信号,以区分该信号与在下面的示例实施例中描述的宽动态范围成像模式中使用的“低灵敏度”信号)、从R像素输出的高灵敏度R信号和从B像素输出的高灵敏度B信号。 
图2是在高分辨率模式中实现的数字信号处理单元26的所需部件的功能框图。输入至数字信号处理单元26的高灵敏度G信号首先被输入至全部像素单元G像素内插处理单元26a。例如,高灵敏度R信号从图9中的R像素41的像素位置被输出,而高灵敏度G信号和高灵敏度B信号不是从R像素41的位置被输出。结果,根据周围G像素的输出信号和周围B像素的输出信号计算R像素41位置处的高灵敏度G信号和高灵敏度B信号。 
数字信号处理单元26的全部像素单元G像素内插处理单元26a基于从固态成像装置22a接收到的高灵敏度G信号,来计算并输出例如R像素位置和B像素位置周围的八个周围G像素的输出信号的均值,作为R像素位置中的高灵敏度G信号量为多少以及B像素位置中高灵敏度G信号量为多少。针对G像素位置的高灵敏度G信号量,该G像素输出检测到的信号高灵敏度G信号量。 
从固态成像装置22a输出的高灵敏度R信号和高灵敏度B信号被接收到数字信号处理单元26的RB像素单元GR差/GB差计算处理单元26b中。从全部像素单元G像素内插处理单元26a输出的高灵敏度G信号量也被接收到计算处理单元26b中。结果,针对图9中R像素 41的位置中的每一个,可以知道高灵敏度G信号量以及检测到的高灵敏度R信号量。结果,由计算处理单元26b计算R像素41的每个位置处的高灵敏度[G-R]值。类似的,计算处理单元26b还计算B像素42的每个位置处的高灵敏度[G-B]值。 
数字信号处理单元26的GR差/GB差内插处理单元26c利用计算出来的R像素41的每个位置处的高灵敏度[G-R]值通过线性内插操作来计算出全部G像素的其余位置以及全部B像素的其余外置的高灵敏度[G-R]值,并利用计算出来的B像素42的每个位置处的高灵敏度[G-B]值通过线性内插操作来计算出全部G像素的其余位置以及全部R像素的其余外置的高灵敏度[G-B]值。 
利用上述的线性内插操作,内插处理单元26c将全部像素(G像素、R像素、B像素)的每个位置处的高灵敏度[G-R]值和高灵敏度[G-B]值输入至R信号量/B信号量产生处理单元26d。产生处理单元26d从内插处理单元26a接收全部像素的每个位置处的高灵敏度G信号量,结果,产生处理单元26d在全部像素的每个位置处执行操作G–[G-R]=R,G–[G-B]=B,从而获得高灵敏度R信号量和高灵敏度B信号量,并将它们输出。 
结果,从内插处理单元26a输出全部像素的每个位置处的高灵敏度G信号量,从产生处理单元26d输出全部像素的每个位置处的高灵敏度R信号量和高灵敏度B信号量。因此,数字信号处理单元26的图像处理单元(未示出)利用这些R、G、B信号量中的每一个执行伽玛校正或已知的图像处理,诸如RGB/YC转换处理和正方变换(square conversion)处理,从而以高分辨率和低伪色(low positioned color)产生对象的彩色图像数据。 
当选择了宽动态范围成像模式时,以高灵敏度对全部像素的几乎所有像素进行成像,而以低灵敏度对其余像素进行成像。例如,将以低灵敏度进行成像的像素的曝光时间控制为比以高灵敏度进行成像的像素的曝光时间短。 
图3是示出在宽动态范围成像模式下固态成像装置22a的驱动方法的示例的示图。以大写字母RGB代表的像素表示要以高灵敏度成像 的像素,以小写字母rgb代表的像素表示要以低灵敏度成像的像素。要以低灵敏度成像的低灵敏度像素排45(倾斜像素行)以虚线框代表。 
在图3所示的像素阵列和滤色器阵列中,在间隔开一排的各倾斜像素排中仅包括G像素,其余像素排包括B像素和R像素。结果,包括B像素和R像素的各倾斜像素排交替地是高灵敏度成像像素排和低灵敏度成像像素排。即,总起来说,每四个倾斜像素排中包括R滤色器(B滤色器)的每一排都是低灵敏度成像像素排。因此,最邻近(倾斜方向邻近)低灵敏度成像像素排上的r像素或b像素的堆叠有G滤色器的一个或两个像素是将要以低灵敏度成像的g像素。 
图4是以宽动态范围成像模式实施的数字信号处理单元26的一部分的功能框图。从构成图3所示的要被以低灵敏度成像的低灵敏度像素排45的各像素输出的成像图像信号(低灵敏度g信号、低灵敏度r信号、低灵敏度b信号)被接收到全部像素单元rgb附近内插处理单元26f中。 
内插处理单元26f通过利用由实际低灵敏度成像像素获得的成像图像信号量(低灵敏度r信号量、低灵敏度g信号量、低灵敏度b信号量)进行线性内插而获得低灵敏度r信号量、低灵敏度g信号量、低灵敏度b信号量,并将计算结果输入至全部像素单元高灵敏度RGB等级确定&低灵敏度高灵敏度数据合成处理单元26g。 
在内插处理单元26f执行线性内插操作的情况下,像素的数量相对于要以低灵敏度成像的全部像素很少,因此,当利用低灵敏度信号的较宽的区域执行线性内插时,分辨率进一步降低。因此,仅利用相同颜色的低灵敏度信号的近邻执行附近内插(near interpolation)操作处理。 
合成处理单元26g除了从内插处理单元26f接收低灵敏度信号以外,还从高灵敏度成像驱动像素接收成像图像信号(高灵敏度R信号、高灵敏度G信号、高灵敏度B信号)。合成处理单元26g通过例如内插操作利用接收到的成像图像信号来获得全部像素位置中每个位置处的高灵敏度R信号量、高灵敏度G信号量、高灵敏度B信号量。 
然后,合成处理单元26g利用各高灵敏度信号作为对象图像正常 曝光部分(由于低灵敏度像素的数量很少并且未获得分辨率,因此可不将低灵敏度信号用于正常曝光部分)的主要部分来产生对象图像数据,并利用各低灵敏度信号作为对象图像的高亮部分的主要部分来产生对象图像数据。对象图像的高亮部分的高分辨率不会带来图像质量的提高。因此,通过利用各低灵敏度信号作为对象图像的主要部分对动态范围给予优先级。可以通过判定高灵敏度信号量的等级是否等于或大于预定阈值来检测是否存在高亮部分的判断。 
利用后续阶段的图像处理单元对基于合成处理单元26g的合成结果的红色信号、绿色信号、蓝色信号进行已知的图像处理,从而产生对象的具有高分辨率和宽动态范围的彩色图像数据。 
在如上所述的图3的示例实施例中,要以低灵敏度成像的倾斜低灵敏度像素排45用于动态范围扩大,而不能获得高强度信息,并且几乎不能有助于成像图像的高分辨率。然而,高灵敏度成像G像素必须布置在每个低灵敏度成像像素(低灵敏度像素)的上、下、左和右方,通过周围各G像素的检测信号对低灵敏度像素位置处的图像数据进行内插,从而可以抑制由于安装低灵敏度像素造成的分辨率的下降。因此,可以获得具有高分辨率和宽动态范围的图像数据。 
当通过控制曝光时间来执行像素灵敏度的劣化时,像素本身的每单位时间的灵敏度与高灵敏度像素的每单位时间的灵敏度相同。因此,当不扩大动态范围时,对于全部像素的曝光时间将相等,从而,可以通过高分辨率成像模式获得具有高分辨率的图像数据。 
当扩展了动态范围时,低灵敏度像素的曝光时间需要短于高灵敏度像素的曝光时间。在该示例实施例中,在倾斜像素排上布置低灵敏度像素,因此,在水平方向上彼此相邻的各低灵敏度像素的地址差异固定。因此,驱动控制可以容易地寻址到各低灵敏度像素。 
图5是代替图3中的示例实施例的另一示例实施例的说明示图。在图3的示例实施例中,低灵敏度像素排45中的所有像素都是低灵敏度像素。另一方面,在图5的示例实施例中,图3中的低灵敏度像素排45上的每两个g像素中的一个g像素变成高灵敏度G像素,从而在G像素之间形成了三个像素的低灵敏度像素排46。因此,堆叠有G滤 色器的最邻近(在倾斜方向上邻近)低灵敏度成像像素排上的r像素或b像素的一个像素成为要以低灵敏度成像的像素。 
如此,倾斜的低灵敏度像素排中的四个像素中的一个像素成为高灵敏度G像素,从而可以抑制倾斜像素排方向上的分辨率的下降。 
图6是本发明的再一个示例实施例的说明示图。在图5的示例实施例中,图3中的低灵敏度像素排45中的每两个g像素就有一个g像素被高灵敏度G像素代替。当将高灵敏度G像素布置在低灵敏度像素排45中时,减少了低灵敏度像素的数量,并且降低了低灵敏度的分辨率。 
如返回参照图3的图7所示,以双箭头表示的高灵敏度G像素和低灵敏度g像素彼此互换了位置(对于相邻的b像素或r像素位置关系旋转了90度)从而形成了图6的构造。因此,和图5中的示例实施例一样可以提高倾斜方向中高灵敏度的分辨率。结果,一对相邻的r像素和g像素以及一对相邻的r像素和b像素以组为单位在倾斜方向中的5×5高灵敏度G像素的方格阵列内部进行布置。因此,在低灵敏度成像像素排上最邻近(在倾斜方向上邻近)r像素和b像素的堆叠有G滤色器的一个像素成为要以低灵敏度成像的g像素。 
由于高灵敏度G像素以很高的比例有助于亮度信息,因此当存在更多的G像素时,可以提高分辨率,并且图像的分辨率受纵向和横向分辨率的影响。低灵敏度r像素、低灵敏度b像素、高灵敏度R像素和高灵敏度B像素对分辨率的贡献没有高灵敏度G像素对分辨率的贡献那么多。此外,除了高亮部分以外,低灵敏度g像素无助于分辨率。 
在图6所示的示例实施例中,各高灵敏度G像素以条带形式沿左上方向布置在每两排(行)中的一个像素排中,并且在竖直方向和水平方向上以窄间隔布置。结果,可以获得纵向和横向中的高分辨率的信息。 
高灵敏度G像素必须布置在高灵敏度R像素、高灵敏度B像素、低灵敏度r像素、低灵敏度g像素和低灵敏度b像素的上、下、左和右方,从而可以形成在纵向和横向上具有高分辨率的高灵敏度图像。此外,低灵敏度r像素和低灵敏度g像素相邻布置,并且低灵敏度r像素 和低灵敏度b像素相邻布置,因此,可以获得颜色偏差小的低灵敏度信息。因此,可以获得对象的颜色偏差小的具有高分辨率和宽动态范围的彩色图像。 
在上述示例实施例中,在相同的光接收面积中曝光时间比其他像素(高灵敏度像素)的曝光时间短的像素将会是低灵敏度像素,但是优选的是使得全部像素的曝光时间相等而不是改变曝光时间,并且当在图1的AFE 22b中放大增益时,将增益设置为在高灵敏度像素中较大而在低灵敏度像素中较小。 
高灵敏度像素和低灵敏度像素的差异通过改变驱动方法产生,但是高灵敏度像素和低灵敏度像素的差异可以通过像素结构来产生。例如,低灵敏度像素的遮光膜开口的开口面积可以小于高灵敏度像素的遮光膜开口的开口面积。此外,对于全部像素的驱动方法都可以相同,同时仅高灵敏度像素具有堆叠有微透镜的结构,而低灵敏度像素具有未堆叠有微透镜的结构。 
在如上所述的固态成像装置的驱动方法中,偶数编号的像素行布置为相对奇数编号的像素行偏移1/2像素间距,并且对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成。因此,构成方格图案位置中未布置堆叠有绿色滤色器的像素的其余位置中所布置的像素的奇数编号行或偶数编号行中的一方行(one-side row)的像素是堆叠有红色滤色器的像素,并且构成另一方行的像素是堆叠有蓝色滤色器的像素。该方法包括:将如下像素作为低灵敏度像素进行驱动:堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素,这些像素存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排中的一排上;堆叠有绿色滤色器的像素,这些像素最邻近堆叠有红色滤色器的像素;以及堆叠有蓝色滤色器的像素;并且该方法将其余的像素作为高灵敏度像素进行驱动。 
在该示例实施例的固态成像装置的驱动方法中,被作为低灵敏度像素驱动的堆叠有绿色滤色器的像素仅布置在被作为低灵敏度像素驱动的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的相同排 上。 
在该示例实施例的固态成像装置的驱动方法中,被作为低灵敏度像素驱动的堆叠有绿色滤色器的像素是布置在位于同一排上的堆叠有绿色滤色器的每两个像素中的一个堆叠有绿色滤色器的像素。 
在该示例实施例的固态成像装置的驱动方法中,将如下的堆叠有绿色滤色器的像素作为高灵敏度像素进行驱动:该像素包括在包括形成低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素排中,同时将如下的堆叠有绿色滤色器像素作为低灵敏度像素进行驱动:该像素是形成邻近所述像素排的一个像素排的堆叠有绿色滤色器的各像素中邻近作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素。 
在该示例实施例的固态成像装置的驱动方法中,使得低灵敏度像素的曝光时间短于高灵敏度像素的曝光时间,从而促使低灵敏度像素的灵敏度比高灵敏度像素的灵敏度低。 
在该示例实施例的固态成像装置的驱动方法中,使得对低灵敏度像素的输出信号进行放大的放大率低于高灵敏度像素的输出信号的放大率,从而促使低灵敏度像素的灵敏度比高灵敏度像素的灵敏度低。 
此外,该示例实施例的成像设备包括:驱动单元,其根据上述各方法中的任一驱动方法进行驱动;以及信号处理单元,其通过利用周围高灵敏度像素的成像图像信号对信号进行内插来获得低灵敏度像素的像素位置的成像图像信号。 
在该示例实施例的成像设备中,用于内插操作的高灵敏度像素是堆叠有绿色滤色器的像素的成像图像信号。 
在该示例实施例的成像设备中,当高灵敏度像素饱和时,通过利用邻近该高灵敏度像素的低灵敏度像素的成像图像信号对信号进行内插来获得高灵敏度像素的像素位置的成像图像信号。 
该示例实施例的固态成像装置包括低灵敏度像素和高灵敏度像素,其中偶数编号的像素行布置为相对奇数编号的像素行偏移1/2像素间距,对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成,构成布 置在其中未布置堆叠有绿色滤色器的像素的其余方格图案位置中的偶数编号像素行或奇数编号像素行中的一方行的像素是堆叠有红色滤色器的像素,并且构成另一方行的像素是堆叠有蓝色滤色器的像素,以及存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排中的一排上的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素、和最邻近堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的堆叠有绿色滤色器的像素被配置为低灵敏度像素,以及其余的像素被配置为高灵敏度像素。 
在该示例实施例的固态成像装置中,作为低灵敏度像素的堆叠有绿色滤色器的像素仅布置在作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的相同排上。 
在该示例实施例的固态成像装置中,作为低灵敏度像素的堆叠有绿色滤色器的像素是布置在位于同一排上的堆叠有绿色滤色器的每两个像素中的一个堆叠有绿色滤色器的像素。 
在该示例实施例的固态成像装置中,将如下的堆叠有绿色滤色器的像素配置为高灵敏度像素:该像素包括在包括形成低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素排中,同时将如下的堆叠有绿色滤色器的像素配置为低灵敏度像素:该像素是形成邻近所述像素排的一个像素排的堆叠有绿色滤色器的各像素中邻近作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素。 
在该示例实施例的固态成像装置中,低灵敏度像素的遮光开口的开口面积小于高灵敏度像素的遮光开口的开口面积。 
在该示例实施例的固态成像装置中,在高灵敏度像素上安装有微透镜,而在低灵敏度像素上未安装微透镜。 
此外,该示例实施例的成像设备还包括:驱动单元,其驱动固态成像装置;和信号处理单元,其通过利用周围高灵敏度像素的成像图像信号对信号进行内插来获得低灵敏度像素的像素位置的成像图像信号。 
在该示例实施例的成像设备中,用在内插操作中的高灵敏度像素 的成像图像信号是堆叠有绿色滤色器的像素的成像图像信号。 
在该示例实施例的成像设备中,当高灵敏度像素饱和时,信号处理单元通过利用邻近高灵敏度像素的低灵敏度像素的成像图像信号对信号进行内插来获得该高灵敏度像素的像素位置的成像图像信号。 
根据上述各示例实施例,可以以高分辨率、低伪色以及宽动态范围拍摄对象的彩色图像。 
尽管已经参照本发明的详细且具体的实施例对其进行了描述,但是对于本领域技术人员而言显而易见的是,可以在不背离本发明的精神和范围的条件下对本发明做出各种改变或修改。本发明基于2011年3月30日提交的日本专利申请(JP 2011-076343),其全部公开内容通过引用并入本文。 
工业实用性 
根据本发明,根据本发明的固态成像装置的驱动方法可以拍摄颜色偏差小的高分辨率及宽动态范围的对象彩色图像,从而可以应用于数码相机或带有相机的移动电话。 
附图标记说明 
10数码相机(成像设备) 
21成像光学系统 
22成像装置芯片 
22a固态成像装置 
22b模拟信号处理单元(AFE) 
23驱动单元 
26数字信号处理单元 
29系统控制单元 
45、46低灵敏度成像像素排 。

Claims (15)

1.一种固态成像装置的驱动方法,其中偶数编号像素行布置为相对奇数编号像素行偏移1/2像素间距,并且对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成,构成方格图案位置中未布置堆叠有绿色滤色器的像素的其余位置中所布置的像素的奇数编号像素行或偶数编号像素行中一方行的像素是堆叠有红色滤色器的像素,并且构成另一方行的像素是堆叠有蓝色滤色器的像素,该方法包括:
将如下像素作为低灵敏度像素进行驱动:堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素,这些像素存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排的一方像素排的每四排中的一排上;以及堆叠有绿色滤色器的像素,该像素最邻近堆叠有红色滤色器的像素或堆叠有蓝色滤色器的像素,以及
将其余的像素作为高灵敏度像素进行驱动。
2.根据权利要求1所述的固态成像装置的驱动方法,其中,被作为低灵敏度像素驱动的堆叠有绿色滤色器的像素仅布置在被作为低灵敏度像素驱动的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的相同排上。
3.根据权利要求2所述的固态成像装置的驱动方法,其中,被作为低灵敏度像素驱动的堆叠有绿色滤色器的像素是布置在位于同一排上的堆叠有绿色滤色器的每两个像素中的一个堆叠有绿色滤色器的像素。
4.根据权利要求1所述的固态成像装置的驱动方法,其中,将如下的堆叠有绿色滤色器的像素作为高灵敏度像素进行驱动:该像素包括在包括形成低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素排中,同时将如下的堆叠有绿色滤色器的像素作为低灵敏度像素进行驱动:该像素是形成邻近所述像素排的一个像素排的堆叠有绿色滤色器的各像素中邻近作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素。
5.根据权利要求1至4中任一项所述的固态成像装置的驱动方法,其中,使得低灵敏度像素的曝光时间短于高灵敏度像素的曝光时间,从而促使低灵敏度像素的灵敏度比高灵敏度像素的灵敏度低。
6.根据权利要求1至4中任一项所述的固态成像装置的驱动方法,其中,使得对低灵敏度像素的输出信号进行放大的放大率低于高灵敏度像素的输出信号的放大率,从而促使低灵敏度像素的灵敏度比高灵敏度像素的灵敏度低。
7.一种固态成像装置,包括:
低灵敏度像素;和
高灵敏度像素,
其中偶数编号像素行布置为相对奇数编号像素行偏移1/2像素间距,对于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排每隔一排就有一排仅由堆叠有绿色滤色器的像素构成,
构成方格图案位置中未布置堆叠有绿色滤色器的像素的其余位置中所布置的像素的奇数编号像素行或偶数编号像素行的一方行的像素是堆叠有红色滤色器的像素,并且构成另一方行的像素是堆叠有蓝色滤色器的像素,以及
存在于向右上倾斜方向延伸的像素排和向左上倾斜方向延伸的像素排中一方像素排的每四排中的一排上的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素、和最邻近堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的堆叠有绿色滤色器的像素被配置为低灵敏度像素,以及其余的像素被配置为高灵敏度像素。
8.根据权利要求7所述的固态成像装置,其中,作为低灵敏度像素的堆叠有绿色滤色器的像素仅布置在作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的相同排上。
9.根据权利要求8所述的固态成像装置,其中,作为低灵敏度像素的堆叠有绿色滤色器的像素是布置在位于同一排上的堆叠有绿色滤色器的每两个像素中的一个堆叠有绿色滤色器的像素。
10.根据权利要求7所述的固态成像装置,其中,将如下的堆叠有绿色滤色器的像素配置为高灵敏度像素:该像素包括在包括形成低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素排中,同时将如下的堆叠有绿色滤色器的像素配置为低灵敏度像素:该像素是形成邻近所述像素排的一个像素排的堆叠有绿色滤色器的各像素中邻近作为低灵敏度像素的堆叠有红色滤色器的像素和堆叠有蓝色滤色器的像素的像素。
11.根据权利要求7至10中任一项所述的固态成像装置,其中,低灵敏度像素的遮光开口的开口面积小于高灵敏度像素的遮光开口的开口面积。
12.根据权利要求7至11中任一项所述的固态成像装置,其中,在高灵敏度像素上安装有微透镜,而在低灵敏度像素上未安装微透镜。
13.一种成像设备,包括:
权利要求7至12中任一项所述的固态成像装置;
驱动单元,其构造为驱动所述固态成像装置;和
信号处理单元,其构造为通过利用周围高灵敏度像素的成像图像信号对低灵敏度像素的像素位置的图像信号进行内插。
14.根据权利要求13所述的成像设备,其中,用在内插操作中的高灵敏度像素的成像图像信号是堆叠有绿色滤色器的像素的成像图像信号。
15.根据权利要求13或14所述的成像设备,其中,当高灵敏度像素饱和时,所述信号处理单元通过利用邻近该高灵敏度像素的低灵敏度像素的成像图像信号对该高灵敏度像素的像素位置的成像图像信号进行内插。
CN201280001263.3A 2011-03-30 2012-03-28 固态成像装置驱动方法、固态成像装置及成像设备 Expired - Fee Related CN102959959B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011076343 2011-03-30
JP2011-076343 2011-03-30
PCT/JP2012/058182 WO2012133551A1 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Publications (2)

Publication Number Publication Date
CN102959959A true CN102959959A (zh) 2013-03-06
CN102959959B CN102959959B (zh) 2016-02-24

Family

ID=46931259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001263.3A Expired - Fee Related CN102959959B (zh) 2011-03-30 2012-03-28 固态成像装置驱动方法、固态成像装置及成像设备

Country Status (4)

Country Link
US (1) US8830364B2 (zh)
JP (1) JP5150796B2 (zh)
CN (1) CN102959959B (zh)
WO (1) WO2012133551A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680325A (zh) * 2013-12-17 2014-03-26 京东方科技集团股份有限公司 显示基板、显示面板和立体显示装置
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN106298826A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种图像传感器
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014006929A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
JP6233424B2 (ja) 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
JP6750594B2 (ja) * 2017-10-25 2020-09-02 ソニー株式会社 撮像システムおよび撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040090535A1 (en) * 2002-08-29 2004-05-13 Sanyo Electric Co., Ltd. Digital camera using a solid image capturing element having a mosaic color filter
US6831692B1 (en) * 1998-10-12 2004-12-14 Fuji Photo Film Co., Ltd. Solid-state image pickup apparatus capable of outputting high definition image signals with photosensitive cells different in sensitivity and signal reading method
US20080218597A1 (en) * 2007-03-06 2008-09-11 Sony Corporation Solid-state imaging device and imaging apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355790A (ja) 1998-06-09 1999-12-24 Fuji Film Microdevices Co Ltd 二次元カラー撮像素子
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4500574B2 (ja) * 2004-03-30 2010-07-14 富士フイルム株式会社 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP2006211631A (ja) 2004-12-27 2006-08-10 Sony Corp 固体撮像装置および撮像装置
US7570290B2 (en) 2004-12-27 2009-08-04 Sony Corporation Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5292689B2 (ja) * 2006-10-31 2013-09-18 日本電気株式会社 熱型赤外線撮像装置及びその動作方法
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
CN103152582B (zh) * 2007-12-07 2015-02-25 松下电器产业株式会社 图像处理装置、图像处理方法
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5002738B2 (ja) * 2010-07-12 2012-08-15 パナソニック株式会社 画像生成装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831692B1 (en) * 1998-10-12 2004-12-14 Fuji Photo Film Co., Ltd. Solid-state image pickup apparatus capable of outputting high definition image signals with photosensitive cells different in sensitivity and signal reading method
US20040090535A1 (en) * 2002-08-29 2004-05-13 Sanyo Electric Co., Ltd. Digital camera using a solid image capturing element having a mosaic color filter
US20080218597A1 (en) * 2007-03-06 2008-09-11 Sony Corporation Solid-state imaging device and imaging apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104253946B (zh) * 2013-06-27 2018-03-20 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN103680325A (zh) * 2013-12-17 2014-03-26 京东方科技集团股份有限公司 显示基板、显示面板和立体显示装置
US9964671B2 (en) 2013-12-17 2018-05-08 Boe Technology Group Co., Ltd. Display substrate, display panel, and stereoscopic display device
CN106298826A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种图像传感器
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统
CN110235441B (zh) * 2017-03-24 2021-01-15 华为技术有限公司 用于低照度的多摄像头系统

Also Published As

Publication number Publication date
CN102959959B (zh) 2016-02-24
JP5150796B2 (ja) 2013-02-27
US8830364B2 (en) 2014-09-09
WO2012133551A1 (ja) 2012-10-04
JPWO2012133551A1 (ja) 2014-07-28
US20130057736A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
CN102959959B (zh) 固态成像装置驱动方法、固态成像装置及成像设备
US9380236B2 (en) Imaging sensor, imaging apparatus, electronic device, and imaging method
US7847849B2 (en) Solid-state imaging device, driving method thereof, and camera
US8576315B2 (en) Imaging device and imaging apparatus for performing focus alignment
US20220038650A1 (en) Imaging device and control method of imaging element
JP2009124282A (ja) 撮像装置および撮像データ補正方法並びにプログラム
EP2762944B1 (en) Imaging device and focusing control method
US20130077858A1 (en) Image processing module and image processing method
US8743246B2 (en) Color imaging device
WO2023098284A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
US7355156B2 (en) Solid-state image pickup device, image pickup unit and image processing method
US8786738B2 (en) Image sensing apparatus and method of controlling operation of same
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN103621070B (zh) 摄像装置及摄像装置的控制方法
US20160205335A1 (en) Solid-state imaging device
US9148634B2 (en) Imaging device, method for controlling imaging device, and storage medium storing a control program where a basic color filter array pattern is repeated to reduce false color generation when image is thinned
JP5411390B2 (ja) カラー撮像素子
JP6508805B2 (ja) 撮像素子および撮像装置
JP4178250B2 (ja) 撮像素子用のカラーフィルターブロック
US8958000B2 (en) Imaging device, method for controlling imaging device, and storage medium storing a control program
CN104025576A (zh) 摄像装置、摄像装置的控制方法、及控制程序
JP6345851B1 (ja) 高速度ビデオカメラ用カラー固体撮像素子
JP2008078794A (ja) 撮像素子駆動装置
JP2007088733A (ja) Ccd型単板式カラー固体撮像素子
JP2007150589A (ja) 固体撮像素子の駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160224

Termination date: 20190328

CF01 Termination of patent right due to non-payment of annual fee