CN101854488B - 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置 - Google Patents

固体摄像装置、固体摄像装置的信号处理方法以及摄像装置 Download PDF

Info

Publication number
CN101854488B
CN101854488B CN2010101408096A CN201010140809A CN101854488B CN 101854488 B CN101854488 B CN 101854488B CN 2010101408096 A CN2010101408096 A CN 2010101408096A CN 201010140809 A CN201010140809 A CN 201010140809A CN 101854488 B CN101854488 B CN 101854488B
Authority
CN
China
Prior art keywords
pixel
color
pixels
array
camera head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101408096A
Other languages
English (en)
Other versions
CN101854488A (zh
Inventor
广田功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101854488A publication Critical patent/CN101854488A/zh
Application granted granted Critical
Publication of CN101854488B publication Critical patent/CN101854488B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

本发明提供固体摄像装置、固体摄像装置的信号处理方法以及摄像装置。当在实现抑制颜色分辨率的下降的同时提高亮度的灵敏度时，通过减小必要的图像存储器的容量，能够降低系统成本。使颜色滤光片阵列33A的颜色编码成为以下的颜色编码：在使RGB拜耳阵列旋转了45度的方格图案阵列中，上下左右相邻的4个像素为相同颜色，即在以相同颜色的4个像素为单位RGB的各滤光片被排列成正方形。并且，以跨越不同颜色的4个像素(上下2个像素×左右2个像素)为单位而共有一个微透镜34A。

Description

固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
技术领域
本发明涉及固体摄像装置、固体摄像装置的信号处理方法以及摄像装置。
背景技术
以往，在固体摄像装置中，为了实现在抑制颜色分辨率的下降的同时提高亮度的灵敏度，作为层积在像素上的颜色滤光片阵列的颜色编码而提出了在方格图案(checkered pattern)阵列使上下左右的相邻像素为相同颜色的颜色编码(例如参照专利文献1)。
在该颜色编码中，以下式表示空间采样点(即，光学像素重心)x、y。即，通过x＝2*(2n-1+oe)±1、y＝2m-1(n、m＝整数，当m为奇数时oe＝0，当m为偶数时oe＝1)以及x＝2*(2n-1+oe)、y＝2m-1±1(n、m＝整数，当m为奇数时oe＝0，当m为偶数时oe＝1)来表示。
一般来说，与颜色滤光片阵列的颜色编码对应的像素的信号直接作为RAW数据(原始数据)从固体摄像装置输出。然后，对从固体摄像装置输出的RAW数据实施去马塞克(demosaic)处理。去马赛克处理是对仅具有单色的颜色信息的各像素的信号通过从其周边像素的信号收集不足的颜色信息来补全颜色信息而生成全色图像的处理。
现有技术文献
专利文献1：日本专利文献特开2007-235888号公报。
发明内容
在上述现有技术中，当通过去马赛克处理从方格图案阵列变换为正方形阵列时，通过根据周围的像素进行去马赛克处理来生成四个像素的中央的像素信息，从而成为两倍于实际像素数的像素数。此时，图像存储器记录像素信息时的空间采样点x、y成为x＝n、y＝m。因此，作为图像存储器需要比与实际像素数对应的存储器容量多的存储器容量，从而存在包括图像存储器的系统整体的成本变高的问题。
因此，本发明的目的在于提供以下的固体摄像装置、固体摄像装置的信号处理方法以及摄像装置：当实现在抑制颜色分辨率的下降的同时提高亮度的灵敏度时，通过减少必要的图像存储器的容量能够降低系统成本。
本发明的固体摄像装置具有颜色滤光片阵列，该颜色滤光片阵列基于方格图案阵列，并且其上下和左右的至少一个方向的相邻的2个像素为相同颜色，
所述颜色滤光片阵列是空间采样点x，y近似地被排列在x＝3*(2n-1+oe)+1±2、y＝3m-2(n、m＝整数，当m为奇数时oe＝0，当m为偶数时oe＝1)以及x＝3*(2n-1+oe)+1、y＝3m-2±2(n、m＝整数，当m为奇数时oe＝0，当m为偶数时oe＝1)中的至少一个的颜色阵列。
上述的各式表示了使方格图案阵列倾斜了45度的空间的像素的阵列(方格图案式的颜色阵列)。并且，在n、m为特定值的单位中，被构成为上下和左右的至少一个方向的相邻两个像素、优选的是上下左右的相邻的四个像素为同一颜色的颜色阵列，由此能够实现方格图案式的颜色阵列，并且能够使去马赛克处理后的对图像存储器的记录像素排列成为x＝2n、y＝2m+1。记录像素阵列为x＝2n、y＝2m+1意味着像素阵列部的实际像素数和对图像存储器的记录像素数为相同程度，所述像素阵列部是像素被二维配置成矩阵状而形成的。
根据本发明，由于能够使像素阵列部的实际像素数和对图像存储器的记录像素数为相同程度，因此能够抑制图像存储器增加不必要的存储器容量。并且，当实现在抑制颜色分辨率的下降的同时提高亮度的灵敏度时，通过去马赛克处理抑制必要的存储器容量，能够降低整个系统的成本。
附图说明
图1是表示应用本发明的CMOS图像传感器的简要结构的系统结构图；
图2是表示单位像素的电路结构的一个例子的电路图；
图3是表示在像素内进行相邻的四个像素的相加时的电路结构的一个例子的电路图；
图4是表示本发明的第一实施方式的颜色滤光片阵列的颜色编码的图；
图5是关于第一实施方式的颜色滤光片阵列的颜色编码将光学中心配置在xy空间的图；
图6是关于第一实施方式的颜色编码的情况下的去马赛克处理的说明图；
图7是表示当重视作为亮度信号的主要成分的绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图；
图8是表示当重视作为颜色信号的主要成分的红色/蓝色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图；
图9是表示本发明的第二实施方式的颜色滤光片阵列的颜色编码的图；
图10是关于第二实施方式的颜色滤光片阵列的颜色编码将光学中心配置在xy空间的图；
图11是表示当重视作为亮度信号的主要成分的白色/绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图；
图12是表示设为Gw＝W-R-B来进行了去马赛克处理时的像素阵列的图；
图13是表示设为Wg＝G+R+B来进行了去马赛克处理时的像素阵列的图；
图14是表示本发明的第三实施方式的颜色滤光片阵列的颜色编码的图；
图15是关于第三实施方式的颜色滤光片阵列的颜色编码将光学中心配置在xy空间的图；
图16是表示当重视作为亮度信号的主要成分的白色/绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图；
图17是表示当重视R/B/G的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图；
图18的(A)和(B)是关于第三实施方式的颜色编码的情况下的空间采样点的说明图；
图19的(A)和(B)是关于第三实施方式的颜色编码的情况下的输出采样点的说明图；
图20的(A)和(B)是现有技术情况下的空间采样点的说明图；
图21是关于第一实施方式的颜色编码中的相同颜色的4个像素相加的说明图；
图22的(A)和(B)是关于第一实施方式的颜色滤光片阵列的情况下的交叉靠近阵列(寄り目配列)的说明图；
图23的(A)和(B)是关于微透镜的高度h以及曲率r的说明图；
图24的(A)、(B)和(C)是关于相位差检测的原理的说明图；
图25的(A)、(B)和(C)是表示微透镜的形状的变形例的图；
图26是表示第一变形例的颜色编码的图；
图27是关于第一变形例的颜色编码将光学中心配置在xy空间的图；
图28是将第一变形例中的W像素的信息展开为全像素并进行像素移位(画素ずらし)时的说明图；
图29是对于第一变形例中的RGB的像素根据W-RGB的相关进行RGB内插处理时的说明图；
图30是在第一变形例中将W像素的信息和RGB的像素的信息合成时的说明图；
图31是在第一变形例中进行WR的4个像素相加和RB的2个像素相加时的说明图；
图32是关于第一变形例中的纵向相加平面的说明图；
图33是关于第一变形例中的横向相加平面的说明图；
图34是表示第二变形例的颜色编码的图；
图35是关于第二变形例的颜色编码将光学中心配置在xy空间的图；
图36是将RGB的实际像素的信息的阵列表示为第一平面的图；
图37是将关于W的实际像素的像素移位阵列表示为W平面的图；
图38是将RGB的内插像素的信息的阵列表示为第二平面的图；
图39是表示通过相加第一平面和第二平面而被复原的拜耳阵列的图；
图40是将纵向相加平面和横向相加平面相加而得的结果表示为相加平面的图；
图41是表示第三变形例的颜色编码的图；
图42是关于第三变形例的颜色编码将光学中心配置在xy空间的图；
图43是将RGB的实际像素的信息的阵列表示为第一平面的图；
图44是将对W的实际像素的像素移位阵列表示为W平面的图；
图45是将RGB的内插像素的信息的阵列表示为第二平面的图；
图46是表示通过相加第一平面和第二平面而被复原的拜耳阵列的图；
图47是将纵向相加平面和横向相加平面相加而得的结果表示为相加平面的图；
图48是表示本发明的摄像装置的结构的一个例子的框图。
具体实施方式
以下，使用附图来详细说明用于实施发明的方式(以下记为“实施方式”)。按照以下的顺序来说明。
1、应用本发明的固体摄像装置(CMOS图像传感器的例子)
2、本发明的特征部分的主旨
3、第一实施方式(使以相同颜色的四个像素为单位的RGB拜耳阵列(bayer array)旋转45度的例子)
4、第二实施方式(使以相同颜色的四个像素为单位的WRGB方格图案阵列旋转45度的例子)
5、第三实施方式(使以相同颜色的四个像素为单位的W方格图案阵列旋转45度的例子)
6、像素阵列的变形例
7、应用例(摄像装置的例子)
<1、应用本发明的固体摄像装置>
[系统结构]
图1是表示CMOS图像传感器的简要结构的系统结构图，该CMOS图像传感器是应用本发明的固体摄像装置、例如X-Y寻址型固体摄像装置的一种。
本应用例的CMOS图像传感器10包括：像素阵列部12，被形成在半导体基板(以下也有时简记为“传感器芯片”)11上；以及外围电路部，与该像素阵列部12相同地被集成在半导体基板11上。作为外围电路部，例如设置有垂直驱动部13、列处理部14、水平驱动部15以及系统控制部16。另外，在传感器芯片11的外部设置有构成信号处理系统的DSP(Digital Signal Processor，数字信号处理电路)电路31以及图像存储器32。
在像素阵列部12中，将包括光电转换元件的未图示的单位像素(以下也有时简记为“像素”)二维配置成矩阵状，所述光电转换元件将入射的可见光光电转换为与该可见光的光量相应的电荷量。后面将说明单位像素的具体的电路结构。在该像素阵列部12的受光面(光入射面)侧层积有颜色滤光片阵列33，在该颜色滤光片阵列33上还层积有微透镜阵列34。
在像素阵列部12中，还针对矩阵状的像素阵列按照每行沿图的左右方向(像素行的像素阵列方向/水平方向)布置有像素驱动线18，按照每列沿图的上下方向(像素列的像素阵列方向/垂直方向)形成有垂直信号线19。像素驱动线18的一端连接在与垂直驱动部13的各行对应的输出端上。在图1中，示出了一根像素驱动线18，但是并不限于一根。
垂直驱动部13通过移位寄存器和地址译码器等构成。这里，对具体的结构省略了图示，但是垂直驱动部13具有读出扫描系统和清除扫描系统。读出扫描系统对于要读出信号的单位像素以行为单位顺次进行选择扫描。
另一方面，清除扫描系统对通过读出扫描系统进行读出扫描的读出行比该读出扫描快仅快门速度的时间量来进行的清除扫描，以从该读出行的单位像素的光电转换元件中清除(重置)不需要的电荷。通过该清除扫描系统对不需要电荷的清除(重置)来进行所谓的电子快门动作。这里，电子快门动作是指清除光电转换元件的光电荷并重新开始曝光(开始光电荷的蓄积)的动作。
通过读出扫描系统的读出动作而读出的信号对应于在此之前的读出动作或者电子快门动作之后入射的光量。并且，从之前的读出动作的读出定时或者电子快门动作的清除定时到这次的读出动作的读出定时的期间成为单位像素中的光电荷的蓄积时间(曝光时间)。
从通过垂直驱动部13选择扫描出的像素行的各单位像素输出的信号通过每个垂直信号线19而被供应给列处理部14。列处理部14针对像素阵列部12的每个像素列对从选择行的各像素输出的模拟的像素信号进行预先被确定了的信号处理。
作为在列处理部14中的信号处理，例如可以列举出CDS(CorrelatedDouble Sampling；相关双采样)处理。CDS处理是以下处理：取入从选择行的各像素输出的重置电平和信号电平，并取得它们的电平差由此得到一行大小的像素的信号并且去除像素的固定模式噪声。有时也使列处理部14具有使模拟的像素信号数字化的A/D转换功能。
水平驱动部15通过移位寄存器和地址译码器等构成，对与列处理部14的像素列对应的电路部分依次进行选择扫描。通过该水平驱动部15的选择扫描，使由列处理部14按照每个像素列进行信号处理后的像素信号依次输出到传感器芯片11的外部。即，与颜色滤光片阵列33的颜色编码(颜色阵列)对应的像素信号直接作为RAW数据(原始数据)从传感器芯片11输出。
系统控制部16接收从传感器芯片11的外部提供的时钟或指示动作模式的数据等，另外，输出本CMOS图像传感器10的内部信息等数据。系统控制部16还具有生成各种定时信号的定时发生器，并基于该定时发生器生成的各种定时信号对垂直驱动部13、列处理部14、水平驱动部15等进行驱动控制。
作为传感器芯片11的外部电路的DSP电路31将从传感器芯片11输出的例如一帧大小的图像数据暂时存储在图像存储器32中，并且基于存储在该图像存储器32中的像素信息执行去马赛克处理。如上所述，去马赛克处理是对仅具有单色的颜色信息的各像素的信号通过从其周边像素的信号收集不足的颜色信息来补全颜色信息而生成全色图像的处理。
(单位像素的电路结构)
图2是表示单位像素20的电路结构的一个例子的电路图。如图2所示，本电路例子中的单位像素20包括光电转换元件例如光电二极管21、以及例如传送晶体管22、重置晶体管23、放大晶体管24和选择晶体管25这四个晶体管。
这里，作为四个晶体管22～25，例如使用了N沟道的MOS晶体管。但是，这里例示出的传送晶体管22、重置晶体管23、放大晶体管24以及选择晶体管25的导电类型的组合只不过是一个例子，并不限于这些组合。
对于该单位像素20，作为像素驱动线18针对同一像素行的各像素共同设置有例如传送线181、重置线182以及选择线183这三个驱动布线。这些传送线181、重置线182以及选择线183的各一端以像素行为单位连接在与垂直驱动部13的各像素行对应的输出端上。
光电二极管21的正极与负侧电源(例如，地)连接，将接收到的光光电转换为与其光量相应的电荷量的光电荷(这里是光电子)。光电二极管21的负极经由传送晶体管22与放大晶体管24的栅极电连接。将与放大晶体管24的栅极电连接的节点26称为FD(浮动扩散)部。
传送晶体管22连接在光电二极管21的负极与FD部26之间。高电平(例如为Vdd电平)有效(以下记为“高有效”)的传送脉冲φTRF经由传送线181而被施加给传送晶体管22的栅极。通过施加传送脉冲φTRF，传送晶体管22成为接通状态，从而将被光电二极管21进行光电转换后的光电荷传送给FD部26。
在重置晶体管23中，其漏极与像素电源Vdd连接，其源极与FD部26连接。在从光电二极管21向FD部26传送信号电荷之前，高有效的重置脉冲φRST经由重置线182被施加给重置晶体管23的栅极。通过施加重置脉冲φRST，重置晶体管23成为接通状态，并通过将FD部26的电荷清除给像素电源Vdd，而重置该FD部26。
在放大晶体管24中，其栅极与FD部26连接，其漏极与像素电源Vdd连接。并且，放大晶体管24将通过重置晶体管23重置之后的FD部26的电位作为重置信号(重置电平)Vreset而输出。放大晶体管24还将通过传送晶体管22传送了信号电荷之后的FD部26的电位作为光蓄积信号(信号电平)Vsig而输出。
在选择晶体管25中，例如其漏极与放大晶体管24的源极连接，其源极与垂直信号线19连接。高有效的选择脉冲φSEL经由选择线183而被施加给选择晶体管25的栅极。通过施加选择脉冲φSEL，选择晶体管25成为接通状态，使单位像素20成为选择状态，并将从放大晶体管24输出的信号中转到垂直信号线19。
另外，关于选择晶体管25也可以采用连接在像素电源Vdd与放大晶体管24的漏极之间的电路结构。
另外，作为单位像素20并不限于包括上述结构的四个晶体管的像素结构。例如，可以是包括兼用了放大晶体管24和选择晶体管25的三个晶体管的像素结构，而不管其像素电路的结构如何。
(像素相加)
一般来说，在进行运动图像摄像时，为了提高帧速率、实现高速运动图像摄像，进行对相邻的多个像素的信号进行相加并读出的像素相加。对于该像素相加，可以在像素内、垂直信号线19、列处理部14或后级的信号处理部等中进行。这里，作为一个例子，对在像素内对例如上下左右相邻的四个像素的信号相加时的像素结构进行说明。
图3是表示在像素内进行相邻四个像素的相加时的电路结构的一个例子的电路图，在图中，对与图2同等的部分标注相同标号来表示。
在图3中，将上下左右相邻的四个像素的光电二极管21设为光电二极管21-1、21-2、21-3、21-4。针对这些光电二极管21-1、21-2、21-3、21-4设置四个传送晶体管22-1、22-2、22-3、22-4，并对这些光电二极管21-1～21-4设置一个重置晶体管23、一个放大晶体管24、以及一个选择晶体管25。
即，在传送晶体管22-1、22-2、22-3、22-4中，各自的一个电极与光电二极管21-1、21-2、21-3、21-4的各负极连接，各自的另一个电极共同地与放大晶体管24的栅极连接。在该放大晶体管24的栅极上电连接有对于光电二极管21-1、21-2、21-3、21-4共同的FD部26。在重置晶体管23中，其漏极与像素电源Vdd连接，其源极与FD部26连接。
在与上述结构的相邻四个像素相加对应的像素结构中，对四个传送晶体管22-1、22-2、22-3、22-4以相同的定时施加传送脉冲φTRF，由此能够实现相邻的四个像素之间的像素相加。即，从光电二极管21-1、21-2、21-3、21-4通过传送晶体管22-1、22-2、22-3、22-4传送给FD部26的信号电荷在该FD部26中被相加(以下有时也记载为“FD相加”)。
另一方面，对传送晶体管22-1、22-2、22-3、22-4以不同的定时施加传送脉冲φTRF，由此也能够实现像素单位中的信号输出。即，与通过在运动图像摄像时进行像素相加能够提高帧速率相对，通过在静止图像摄像时独立地读出全像素的信号，能够提高分辨率。
<2.本发明的特征部分的主旨>
在以上说明的CMOS图像传感器10中，其特征在于当实现在抑制颜色分辨率的下降的同时提高亮度的灵敏度时用于减少图像存储器32的容量的颜色滤光片阵列33的颜色编码以及在DSP电路31中的去马赛克处理。图像存储器32被用于在DSP电路31中的去马赛克处理等信号处理中。
在颜色滤光片阵列33中，依据方格图案阵列上下和左右的至少一个方向相邻两个像素为相同颜色。并且，在本发明中，使颜色滤光片阵列33的颜色编码(颜色阵列)近似地设为空间采样点(即，光学像素中心)x、y被以下式表示的颜色编码。
即，使颜色滤光片阵列33的颜色阵列成为被排列在x＝3*(2n-1+oe)+1±2、y＝3m-2以及x＝3*(2n-1+oe)+1、y＝3m-2±2中的至少一个的颜色阵列。这里，n、m为整数，oe是当m为奇数时为0、当m为偶数时为1的系数。另外，x的式子中的±2表示左右的两个像素，y的式子中的±2表示上下的两个像素。上述的各式表示了使方格图案阵列倾斜了45度的空间像素的阵列(方格图案式的颜色阵列)。
在n、m为特定值的单位中，被构成为上下和左右的至少一个方向的相邻两个像素、优选的是上下左右的相邻的四个像素为同一颜色的颜色阵列，由此能够实现方格图案式的颜色阵列，并且能够使去马赛克处理后的对图像存储器32的记录像素阵列成为x＝2n、y＝2m+1。记录像素阵列为x＝2n、y＝2m+1意味着像素阵列部12的实际像素数和对图像存储器32的记录像素数为相同程度。
这样，通过使像素阵列部12的实际像素数和对图像存储器32的记录像素数为相同程度，能够抑制图像存储器32增加不必要的存储器容量。并且，当实现在抑制颜色分辨率的下降的同时提高亮度的灵敏度时，通过抑制在DSP电路31中的去马赛克处理中必要的图像存储器32的存储器容量，能够实现降低整个系统的成本。
以下，对关于颜色滤光片阵列33的颜色编码及其信号处理的具体实施方式进行说明。
<3.第一实施方式>
(颜色编码)
图4是表示本发明的第一实施方式的颜色滤光片阵列33A的颜色编码的图。
如图4所示，第一实施方式的颜色滤光片阵列33A成为在以同一颜色(RGB)的相邻的四个像素(n、m＝2、2)为单位的方格图案阵列中使该方格图案阵列旋转了45度的颜色编码。换言之，对于颜色滤光片阵列33A的颜色编码为在使RGB拜耳阵列旋转45度的方格图案阵列中上下左右相邻的四个像素为同一颜色。这里，RGB拜耳阵列是将绿色(G；Green)滤光片配置成方格状、在剩下部分将红色(R；Red)滤光片、蓝色(B；Blue)滤光片排列成方格图案状的颜色编码。
使RGB拜耳阵列旋转45度、并且将RGB拜耳阵列排列成方格图案状以使得上下左右相邻的四个像素为同一颜色，由此成为图4所示的颜色编码。即，第一实施方式的颜色滤光片阵列33A成为以同一颜色的四个像素为单位的RGB的各滤光片被排列成正方形的颜色编码。
另外，对于微透镜阵列34，为以跨越不同颜色的四个像素(上下两个像素×左右两个像素)为单位而共有一个微透镜34A的结构。通过这样的微透镜阵列34的结构，光学像素中心的阵列为如图5所示那样。图5是关于颜色滤光片阵列33A的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
与第一实施方式的颜色滤光片阵列33A的颜色编码对应的像素信号在DSP电路31中基于暂时记录在图像存储器32中的像素信号被进行去马赛克处理，所述去马赛克处理是使对RGB拜耳阵列旋转了45度而得的方格图案阵列成为正方形阵列的处理。
在该去马赛克处理中，当重视作为亮度信号的主要成分的绿色的分辨率时，首先在上下左右相邻的G滤光片的四个像素的中心，通过根据该四个像素的G信号例如采取相加平均等的内插处理来生成G信号。并且，在剩下的上下左右相邻的R/B滤光片的像素部分中，对相同颜色的斜向两个像素进行相加平均，在其中心设定像素重心。
使用图6更具体地说明第一实施方式的颜色编码时的去马赛克处理。
首先，对中空的G部分判断方向性(纵向的相关、横向的相关、斜向的相关)，并基于周围的G像素、具体地说两个G像素或四个G像素的像素信息来生成中空的G部分的像素信息。对于在剩下的上下左右相邻的R/B的像素部分，对相同颜色的斜向两个像素进行相加平均或者单纯相加，在其中心设定像素重心(重心移动)。
接着，将微透镜34A内的RGB的滤光片近似地作为同一部位来求出颜色相关。并且，根据颜色相关将G滤光片的像素信息展开为全像素，之后展开R/B滤光片的像素信息。通过以上的一连串的处理，完成使对RGB拜耳阵列旋转了45度而得的方格图案阵列成为正方形阵列的去马赛克处理。
该去马赛克处理的结果，如图7所示，能够生成与RGB滤光片的各像素的信号被均等地排列成正方形的颜色编码对应的像素信号。图7是表示当重视作为亮度信号的主要成分的绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图。
另一方面，当重视作为颜色信号的主要成分的红色或蓝色的分辨率时，如图8所示，首先在上下左右相邻的R/B滤光片的四个像素的中心，通过根据该四个像素的R/B滤光片的像素信号例如采取相加平均等的内插处理来生成R/B信号。并且，在剩下的上下左右相邻的G滤光片的像素部分中，对相同颜色的斜向两个像素进行相加平均，在其中心设定像素重心。
该去马赛克处理的结果，如图8所示，能够生成与RGB的各信号被均等地排列成正方形的颜色编码对应的像素信号。图8是表示当重视作为颜色信号的主要成分的红色/蓝色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图。
这样，通过使用为对RGB拜耳阵列旋转45度而得的方格图案阵列、并使上下左右相邻的四个像素成为相同颜色的颜色编码的颜色滤光片阵列33A，能够抑制图像存储器32的容量的不必要的增大。具体地说，在图像存储器32记录图像信号时的记录像素数相对于像素阵列部12的像素数(以下记载为“实际像素数”)随着根据上下左右的像素而被内插的像素部分的增加而增加(9/8＝1.125倍)。
但是，对图像存储器32的记录像素数的增加部分是很少的，可以认为是该记录像素数与实际像素数几乎相同。因此，当在DSP电路31中进行去马赛克处理时，能够将必要的图像存储器32的容量抑制得很小，因此能够降低整个系统的成本。
<4.第二实施方式>
(颜色编码)
图9是表示本发明的第二实施方式的颜色滤光片阵列33B的颜色编码的图。
第二实施方式的颜色滤光片阵列33B为包括作为亮度信号的主要成分的颜色、例如白色(W；White)的颜色编码。包括白色的颜色编码的颜色滤光片阵列与RGB拜耳阵列的颜色滤光片阵列相比输出电压变高，因此能够实现CMOS图像传感器10的高灵敏度。
具体地说，第二实施方式的颜色滤光片阵列33B成为在以同一颜色(WRGB)的相邻的四个像素为单位的方格图案阵列中使该方格图案阵列旋转了45度而得的颜色编码。换言之，颜色滤光片阵列33B成为使用W滤光片来代替以相同颜色的四个像素为单位的RGB拜耳阵列中的G滤光片的一个并使WRGB方格图案阵列旋转了45度而得的颜色编码。颜色滤光片阵列33B与第一实施方式的颜色滤光片阵列33A的不同在于，使G滤光片以四个像素为单位被排列成正方形的颜色编码成为由G滤光片和W滤光片排列成方格图案状的颜色编码。
通过使G滤光片以四个像素为单位被排列成正方形的颜色编码成为由G滤光片和W滤光片排列成方格图案状的颜色编码，从而成为图9所示的颜色编码。即，第二实施方式的颜色滤光片阵列33B成为以相同颜色的四个像素为单位的WRGB的各滤光片被排列成正方形的颜色编码。
另外，对于微透镜阵列34，为以跨越不同的颜色的四个像素为单位而共有一个微透镜34B的结构。通过这样的微透镜阵列34的结构，光学像素中心的阵列成为如图10所示那样。图10是关于颜色滤光片阵列33B的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
与第二实施方式的颜色滤光片阵列33B的颜色编码对应的像素信号在DSP电路31中基于暂时记录在图像存储器32中的像素信号进行去马赛克处理，所述去马赛克处理是使对WRGB方格图案阵列旋转了45度而得的颜色编码(方格图案阵列)成为正方形阵列的处理。
在该去马赛克处理中，当重视作为亮度信号的主要成分的白色和绿色的分辨率时，首先在上下左右相邻的W/G的四个像素的中心，通过根据该四个像素的W/G像素的信号例如采取相加平均等的内插处理来生成W/G信号。并且，在剩下的上下左右相邻的R/B的像素部分中，对相同颜色的斜向两个像素进行相加平均，在其中心设定像素重心。
该去马赛克处理的结果，如图11所示，能够生成与WRGB的各信号被均等地排列成正方形的颜色编码对应的像素信号。图11是表示当重视作为亮度信号的主要成分的白色/绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图。当重视作为颜色信号的主要成分的R和B的分辨率时，与第一实施方式的颜色滤光片阵列33A的情况相同。
在WRGB的颜色编码中，一般根据绿色和白色的像素信号来生成亮度信号。在此情况下，为了不导致分辨率的下降和颜色再现性的恶化，当从图10所示的颜色阵列向正方形阵列进行去马赛克处理时，优选进行以下的去马赛克处理。即，将同一微透镜34B内的WRGB的滤光片看成是近似相同的空间位置，如图12所示设为Gw＝W-R-B，或者如图13所示设为Wg＝G+R+B，来进行去马赛克处理。
当如图12所示作为Gw＝W-R-B来进行了去马赛克处理时，成为了图7的像素阵列，因此有能够使以后的信号处理共同化的优点。另一方面，当如图13所示作为Wg＝G+R+B来进行了去马赛克处理时，通过包括R/B成分，W/Wg的输出信号电平变大，因此有亮度S/N变得良好的优点。
在使用了上述的第二实施方式的颜色编码的颜色滤光片阵列33B的情况下，也能够得到与使用了第一实施方式的颜色编码的颜色滤光片阵列33A的情况相同的作用效果。即，当在DSP电路31中进行去马赛克处理时，能够将必要的图像存储器32的容量抑制得很少，因此能够降低整个系统的成本。
<5.第三实施方式>
(颜色编码)
图14是表示本发明的第三实施方式的颜色滤光片阵列33C的颜色编码的图。
如图14所示，第三实施方式的颜色滤光片阵列33C为在以同一颜色(WRGB)的相邻的四个像素为单位的W方格图案阵列中使该W方格图案阵列旋转45度而得的颜色编码。即，对于颜色滤光片阵列33C，将在第一实施方式的颜色滤光片阵列33A的以相同颜色的四个像素为单位的绿色成为正方形阵列的部分置换成白色。对于其他的RGB的正方形阵列的部分可以考虑各种阵列。这里所示的颜色编码是一般提案中的一个例子。
对于微透镜阵列34，与第一、第二实施方式的情况相同，为以跨越不同颜色的四个像素为单位而共有一个微透镜34C的结构。通过这样的微透镜阵列34的结构，光学像素中心的阵列成为如图15所示那样。图15是关于颜色滤光片阵列33C的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
在DSP电路31中对与第三实施方式的颜色滤光片阵列33C的颜色编码对应的像素信号进行与第一实施方式的情况相同的去马赛克处理。在该去马赛克处理中，当重视作为亮度信号的主要成分的白色和绿色的分辨率时，首先在上下左右相邻的W的四个像素的中心，通过根据该四个像素的W的信号例如采取相加平均等的内插处理来生成W信号。并且，在剩下的上下左右相邻的R/G/B的像素部分中，对相同颜色的斜向两个像素进行相加平均，在其中心设定像素重心。
该去马赛克处理的结果，如图16所示，能够生成与WRGB的各信号被均等地正方形排列了的颜色编码对应的像素信号。图16是表示当重视作为亮度信号的主要成分的W的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图。
另一方面，当重视红色/蓝色/绿色的分辨率时，进行基本上与第一实施方式的情况相同的去马赛克处理。具体地说，首先在上下左右相邻的红色/蓝色/绿色的四个像素的中心，通过根据该四个像素的R/B/G的信号例如采取相加平均等的内插处理来生成R/B/G的信号。
该去马赛克处理的结果，如图17所示，能够生成与WRGB的各信号被均等地正方形排列了的颜色编码对应的像素信号。图17是表示当重视红色/蓝色/绿色的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图。
在第一实施方式和第三实施方式中，当根据图7和图16的像素阵列进行全色去马赛克处理时，可以考虑最初在全像素部分内插展开绿色和白色，之后判断颜色相关，并在绿色和白色的部分生成不足的红色、蓝色、绿色的各成分。此时，在图7的微透镜34A内的RGB的像素或图16的微透镜34C内的WRG/WGB的像素的受光中心成为所谓的交叉靠近(寄り目)，从而可以看成是近似相同的空间位置。这里，所谓的交叉靠近是指使作为受光中心的光学像素中心靠近微透镜34A/34C的中心的状态。
这样，可以将微透镜34A/34C内的RGB的像素和WRG/WGB的像素看成是近似相同的空间位置，由此能够在进行去马赛克处理之前简单地求出颜色相关，从而能够缩小用于去马赛克处理的电路规模。尤其是，白色包含RGB的各成分，因此能够提高从图16/图17的WGR/WGB的像素向全像素部分进行全色去马赛克处理的精度。
在使用了上述的第三实施方式的颜色编码的颜色滤光片阵列33C的情况下，也能够得到与使用了第一实施方式的颜色编码的颜色滤光片阵列33A的情况相同的作用效果。即，当在DSP电路31中进行去马赛克处理时，能够将必要的图像存储器32的容量抑制得很少，因此能够降低整个系统的成本。
这里，以第三实施方式的颜色编码的情况为例，对颜色滤光片阵列33的空间采样点x、y和输出采样点x、y进行说明。
图18的(A)和(B)是关于空间采样点x、y的说明图，图18的(A)与将颜色滤光片阵列33A的光学中心配置在x、y空间的图15对应，图18的(B)示出了空间采样点x、y。
如上所述，在颜色滤光片阵列33的颜色编码中，空间采样点(即光学像素中心)x、y近似地以x＝3*(2n-1+oe)+1±2、y＝3m-2和x＝3*(2n-1+oe)+1、y＝3m-2±2来表示。这里，n、m为整数，当m为奇数时，oe＝0，当m为偶数时，oe＝1。
在图18的(B)中，第一行、第二行记载了m＝1、oe＝0时的W滤光片的空间采样点。第三行、第四行示出了m＝2、oe＝1时的G/R滤光片的空间采样点。第五行、第六行记载了m＝3、oe＝0时的W滤光片的空间采样点。第七行、第八行记载了m＝4、oe＝1时的B/G滤光片的空间采样点。第九行、第十行示出了m＝5、oe＝0时的W滤光片的空间采样点。
顺便说一下，例如在第一行、第二行中，最初的四个空间采样点表示了图18的(A)以虚线包围的上下左右相邻的四个像素的W滤光片的空间采样点。即，在以虚线包围的四个像素中，左侧的像素的空间采样点x，y为(2，1)，上侧的像素的空间采样点x，y为(4，-1)。另外，右侧的像素的空间采样点x，y为(6，1)，下侧的像素的空间采样点x，y为(4，3)。
图19的(A)和(B)是关于输出采样点x，y的说明图，(图19)的(A)与示出了重视W/G的分辨率时进行向正方形阵列的去马赛克处理后的像素阵列的图16对应，图19的(B)示出了输出采样点x，y(2n，2m+1)。
对于在空间采样中以点划线示出的八个像素，在输出采样中增加根据上下左右的像素被内插的一个像素的大小，由此成为以点划线表示的九个像素。因此，如上所述，对图像存储器32的记录像素数相对于实际像素数仅增加为1.125倍(＝9/8)。如上所述，由于记录像素数的增加部分是很少的，因此能够在进行去马赛克处理时将必要的图像存储器32的容量的增量抑制得很小。
顺便说一下，在专利文献1记载的现有技术中，当从方格图案阵列变换为正方形阵列时，通过根据周围的像素进行去马赛克处理来生成四个像素的中央的像素信息。图20的(A)和(B)是关于现有技术的情况下的空间采样点x，y的说明图，图20的(A)示出了将颜色滤光片阵列的光学中心配置在x，y空间的颜色阵列，图20的(B)示出了空间采样点x，y。
在现有技术的情况下，空间采样点x，y以x＝2*(2n-1+oe)±1、y＝2m-1和x＝2*(2n-1+oe)、y＝2m-1±1来表示。这里，n、m为整数，当m为奇数时，oe＝0，当m为偶数时，oe＝1。当空间采样中的像素数为50个像素(＝水平5个像素×垂直10个像素)时，通过根据周围的像素进行去马赛克处理来生成4个像素的中央的像素信息，由此在输出采样中成为2倍于实际像素数的100个像素(＝水平10个像素×垂直10个像素)。即，作为图像存储器32的存储器容量，需要与实际像素数对应的容量的2倍的容量。
在以上说明的第一至第三实施方式中，例举了以跨越不同的颜色的4个像素为单位而共有构成微透镜阵列34的各个微透镜的情况，但是不限于此。即，当采用以像素为单位而具有微透镜的结构时，也通过采用第一至第三实施方式的颜色编码，能够将图像存储器32的容量抑制得很小，从而降低系统成本。
另外，通过作为单位的4个像素是使光学像素中心(受光中心)靠近微透镜的中心的交叉靠近，从而能够在4个像素的正中间产生空间区域，因此也有能够将该空间区域用作配线区域的优点。
[相同颜色的四个像素相加]
接着，关于第一、第二、第三实施方式的颜色滤光片阵列33A、33B、33C，在上下左右相邻的4个像素为相同颜色的颜色编码中，对相同颜色的4个像素的信号相加的像素相加(相同颜色的4个像素相加)进行说明。
当进行该相同颜色的4个像素相加时，由于相加对象的4个像素相邻，因此例如通过使用上述的FD相加(参照图3)能够实现4个像素相加。这里，以第一实施方式的颜色编码的情况为例，使用图21来具体说明相同颜色的4个像素相加。图21是对第一实施方式的颜色编码中的相同颜色的4个像素相加的说明图。对于第三实施方式的颜色编码的情况，可以说基本上与第一实施方式的颜色编码的情况相同。
在图4所示的第一实施方式的颜色编码中，对RGB的各个像素在相邻的4个像素之间进行像素相加(例如，FD相加)，由此像素相加后的颜色阵列变为方格图案阵列。因此，对于相同颜色的4个像素相加后的信号处理，可以适用一般的方格图案阵列的公知的信号处理系统。另外，通过进行像素相加，如上所述能够实现高速运动图像摄像，并且能够提高灵敏度。在4个像素相加的情况下，灵敏度基本上为不进行像素相加时的4倍。
另外，当进行了4个像素相加时，一般来说分辨率下降到1/4。但是，由于在进行了4个像素相加的时点成为方格图案阵列，因此由上述的对现有技术的说明可知，通过进行去马赛克处理，信息量会变为2倍。因此，对图像存储器32的记录像素数(记录分辨率)虽然进行了4个像素相加，但是也仅下降不进行像素相加的全像素时的1/2。即，在上下左右相邻的4个像素为相同颜色的颜色编码中，通过进行对要相加相同颜色的4个像素的信号4个像素相加，能够实现将在像素相加时成为问题的颜色分辨率的下降抑制到最低限度，并且提高亮度的灵敏度。
这里，在像素内通过FD相加来进行了相邻的4个像素之间的像素相加，但是不限于在像素内进行像素相加，如上所述也可以在垂直信号线19上、列处理部14或者后级的信号处理部等中进行像素相加。无论是在使用哪种像素相加的情况下，均能够实现上述的作用效果、即将颜色的分辨率的下降抑制到最低限度，并且能够提高亮度的灵敏度。
另外，在本例中，说明了在对相邻的4个像素共同设置的FD部26(参照图2)中进行相同颜色的4个像素相加的情况，但是也可以进行4个像素中的处于点对称的位置关系的相同颜色的2个像素的相加。
[交叉靠近阵列]
这里，对上述的使光学像素中心靠近微透镜的中心的交叉靠近的像素阵列(交叉靠近阵列)进行说明。
以第一实施方式的颜色滤光片阵列的情况为例使用图22进行说明。在图22的(A)和(B)中，(A)示出了第一实施方式的颜色滤光片阵列33A的颜色编码，(B)示出了该颜色编码的一部分的放大图。
当微透镜阵列34的各个微透镜34A的俯视时的形状例如为圆形时，在微透镜34A彼此之间会产生间隙。当配置单位像素20的光电二极管以外的电路元件、尤其是配置采用实现上述的FD相加的图3所示的像素结构时的像素构成元件时，能够有效利用该微透镜34A彼此之间的间隙和微透镜34A的死区。
具体地说，将在4个像素之间共有的FD部26配置在微透镜34A彼此之间的间隙的中央部，在其周围配置像素构成元件、具体地说配置传送晶体管22-1～22-4、重置晶体管23、放大晶体管24以及选择晶体管25。另外，不但可以将微透镜34A彼此之间的间隙用作像素构成元件的配置区域，也可以将其用作配线区域。
这样，通过利用微透镜34A彼此之间的间隙和死区来配置光电二极管21-1～21-4以外的像素构成元件，能够实现不会妨碍微透镜34A聚光的电路元件的布置。另外，可以在一个微透镜34A内将4个光电二极管21-1～21-4配置成使其光学中心靠近微透镜34A的中心的交叉靠近。
通过配置成使光电二极管21-1～21-4的光学中心靠近微透镜34A的中心的交叉靠近，能够降低微透镜34A的高度h，并且能够减小透镜的曲率r。能够与光电二极管彼此之间的距离相对应地决定微透镜34A的基于光电二极管21-1～21-4的受光面的高度h以及曲率r。
图23的(A)和(B)表示沿图22的(B)的X-X′线的截面构造。由图23可知，与不采用交叉靠近的配置构造的情况(A)相比，采用交叉靠近的配置构造的情况(B)能够与光电二极管彼此之间的距离变短的部分相应地降低微透镜34A的高度(h2＜h1)，减小曲率r(r2＜r1)。并且，微透镜34A的高度h低的情况与高的情况相比，有容易使微透镜阵列34片上化的优点。
在交叉靠近的光电二极管21-1～21-4彼此之间，可以根据需要以必要尺寸构成防止混色用的遮光构造。例如，通过使用被层积在光电二极管21-1～21-4的受光面侧的多层配线的第一相的配线来作为遮光层，或者在右斜向和左斜向使用其他的金属层作为配线层，能够实现防止混色用的遮光构造。
另一方面，相邻的四个微透镜34A彼此之间的间隙成为具有相同颜色的滤光片的四个像素的中心位置。因此，通过经由传送晶体管22-1～22-4而成为四个像素共有的FD部26，如上所述能够通过在FD部26中进行电荷相加来进行四个像素相加。并且，如上所述，能够通过像素相加来实现对像素数相加并压缩了的高速运动图像摄像。
这里，以第一实施方式的颜色滤光片阵列33A的情况为例进行了说明，但是可以说第二、第三实施方式的颜色滤光片阵列33B、33C的情况也与第一实施方式的颜色滤光片阵列33A的情况相同。
[相位差检测]
在第一至第三实施方式中，采用了以跨越不同颜色的4个像素(上下2个像素×左右2个像素)为单位而共有一个微透镜34A、34B、34C的结构。在这些实施方式中的第一、第三实施方式中，作为单位的4个像素中的2个像素为相同颜色。
具体地说，在第一实施方式的颜色编码的情况下，由图4可知，R滤光片和B滤光片分别为1个像素，G滤光片为2个像素。在第三实施方式的情况下，由图14可知，G滤光片和B滤光片/G滤光片和R滤光片分别为1个像素，W滤光片为2个像素。即，与R/B像素相比信号输出量大的作为亮度信号的主要成分的G/W像素为4个像素中的2个像素。
这样，当作为亮度信号的主要成分的W/G像素以相邻的相同颜色的方格图案的4个像素为单位被排列成正方形时，在微透镜阵列34的矩阵单位中G/W像素每2个像素被纵向和横向并排排列在一个微透镜中。在该像素阵列中，可以将一个微透镜中的相同颜色的2个像素用作检测两个入射光的相位差的相位差传感器。
具体地说，在横向排列的2个G/W像素所属的微透镜在横向上排列的行中，能够基于2个G/W像素的各信号检测出从横向(行方向)入射到微透镜的两个光的相位差。另外，在纵向排列的2个G/W像素所属的微透镜在纵向上排列的列中，能够基于2个G/W像素的各信号检测出从纵向(列向)入射到微透镜的两个光的相位差。
这里，使用图24来说明相位差检测的原理。这里，以使用R滤光片的2个像素的信号来进行相位差检测的情况为例进行说明。使用G/B/W滤光片的2个像素的情况也是相同的。
在将CMOS图像传感器10用作摄像设备的摄像装置中，摄像透镜41被配置在CMOS图像传感器10的受光面侧，通过该摄像透镜41摄入来自被摄体42的像光(入射光)。
当摄像透镜41与被摄体42之间的距离处于图24的(B)的状态时，两个入射光成像在2个R像素的受光面上。使该图24的(B)的状态为聚焦状态，此时的2个R像素的各输出信号的峰间的间隔成为聚焦状态下的摄像透镜41与被摄体42之间的距离。2个R像素的各输出信号的峰间的间隔表示两个入射光的相位差。
并且，在摄像透镜41与被摄体42之间的距离比聚焦状态时的距离近的状态(A)中，2个R像素的各输出信号的峰间的间隔比聚焦状态时的间隔小。另外，在摄像透镜41与被摄体42之间的距离比聚焦状态时的距离远的状态(C)中，2个R像素的各输出信号的峰间的间隔比聚焦状态时的间隔大。
由以上可知，可以根据相同颜色滤光片的2个像素的各输出信号的峰间的间隔检测出两个入射光的相位差作为关于摄像透镜41的光轴方向的信息、即摄像透镜41与被摄体42之间的距离信息。因此，通过将相同颜色滤光片的2个像素用作相位差传感器，能够实现基于摄像透镜41与被摄体42之间的距离信息来控制摄像透镜41的光轴方向的位置的AF(自动聚焦)功能。通过将相同颜色滤光片的2个像素用作相位差传感器、并将该相位差传感器兼作AF传感器，从而存在不使用专用的AF传感器就能实现AF功能的优点。
这里，例举了将R滤光片的像素用于相位检测的情况，但是由于相位差检测是检测出入射光的特定角度，因此可以抛弃入射光的一部分，从而作为亮度信号的主要成分的高输出的颜色滤光片(G/W滤光片)的像素适于相位检测。尤其优选以亮度信号的主要成分为白色W的第三实施方式的颜色编码。当G/W滤光片的像素用作相位差传感器时，作为颜色信号的主要成分的R/B滤光片的像素适于聚光最大的条件。
因此，对R/B滤光片的各个像素，使得光电二极管的受光面积(光学面积)和微透镜的曲率成为最优值，由此在同一处理中能够兼顾适于相位差检测的构造以及适于聚光的构造。作为成为最优值的具体方法，可以考虑设为与颜色像素R/B、G/R或G/B不同的光电二极管的受光面积或者在n方向和m方向(纵横)改变微透镜的曲率的方法。另外，如图25所示，也可以考虑使微透镜的形状成为椭圆(A)、八角形(B)或六角形(C)。
[视差图像]
在上述的相位差检测中，使用了属于一个微透镜内的相同颜色的2个像素的信号。与此相对，通过进行使用了属于一个微透镜内的全色的像素信号的处理，能够构成得到二维视差图像的、使用了公知的被称为“光场摄影(Light Field Photography)”的方法的摄像装置。
如在相位差检测中所述，可以根据属于一个微透镜内的2个像素的信号来得到摄像透镜的光轴方向的信息。并且，通过使用上述方法，使得根据属于一个微透镜内的4个像素得到的信号包含了关于视差的信息。这里，视差是指从不同的点看到的物体的外观上的位移。
这样，由于根据属于一个微透镜内的4个像素得到的信号包含了关于视差的信息，因此通过进行使用了属于一个微透镜内的全色的像素的信号的处理，能够构成得到二维视差图像的摄像装置。另外，能够进行利用了二维视差信息的重新聚焦。
<6.像素阵列的变形例>
在第一至第三实施方式中，设为作为颜色阵列的单位的上下左右相邻的4个像素为同一颜色的像素阵列(颜色阵列)，但是本发明不限于对该颜色阵列的应用，例如也可以应用到相同颜色的4个像素和相同颜色的2个像素混合的颜色阵列。以下，对相同颜色的4个像素和相同颜色的2个像素混合的变形例进行说明。
[第一变形例]
(颜色编码)
图26是表示第一变形例的颜色编码的图。本变形例的颜色编码以第三实施方式的颜色滤光片阵列33C的颜色编码、即将以4个像素为单位的W方格图案阵列旋转了45度的颜色编码为基础。
并且，在第三实施方式的颜色编码中，对于B滤光片的4个像素，置换成上下2个像素为R滤光片、左右2个像素为B滤光片的组合。另外，对于R滤光片的4个像素，置换成上下2个像素为B滤光片、左右2个像素为R滤光片的组合。对于W/G滤光片的4个像素，分别是4个像素均为相同颜色。
即，第一变形例的颜色编码为在使以4个像素为单位的W方格图案阵列旋转了45度的颜色编码中，关于W/G滤光片，4个像素均为相同颜色，关于R/B滤光片，处于点对称的位置关系(相对)的2个像素为相同颜色。
对于微透镜阵列34，与第一至第三实施方式相同，以跨越不同的颜色的4个像素为单位共有一个微透镜。图27是关于第一变形例的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
接着，对使第一变形例的颜色编码的方格图案阵列成为正方形阵列的去马赛克处理进行说明。
对于W像素，如图28所示，根据实际存在的像素(以下记载为“实际像素”)的信息来判断方向性(纵向的相关、横向的相关、斜向的相关)，并基于不存在实际像素的部分的周围的实际像素的信息来生成不存在实际像素的部分的像素信息，并将其展开为全像素。在图28中，白色菱形表示W的实际像素，黑色菱形表示通过运算求出的W的像素。
作为一个例子，在x，y＝6，11的空间位置不存在W像素，为了求出该空间位置的W信息，使用位于其周围的8个W像素(实际像素)的信息。另外，在x，y＝10，7的空间位置不存在W像素，为了求出该空间位置的W信息，使用位于其周围的4个W像素的信息。
之后，根据相邻的4个W像素的信息通过运算求出该4个W像素的正中央的位置的像素信息。将根据该4个W像素的信息求出正中央的像素信息的处理称为“像素移位(画素ずらし)”。通过该像素移位求出的、4个W像素的正中央的W像素的重心与RGB的颜色像素的重心一致。
对于RGB的像素，如图29所示，根据W-RGB的相关通过公知的内插处理来求出像素信息。在图29中，菱形表示RGB的实际像素的信息，小圆表示通过内插处理求出的像素(以下记载为“内插像素”)的信息。上述像素移位的结果为W像素的重心与RGB的颜色像素的重心一致，从而能够取得W像素与RGB的像素的颜色相关。
例如，通过取得W像素与R像素的颜色相关，由此能够根据该相关系数求出实际不存在R像素的空白部分的R像素的信息。即，通过像素移位求出的W像素的信息被用于求出实际不存在颜色像素的空白部分的颜色信息、所谓的颜色信息的填补。通过这样的处理能够再现颜色信息。并且，如图30所示，将W像素的信息和RGB的像素的信息合成。
如上所述，将W像素的信息展开为全像素，并且在空间上进行转换为中间位置的W像素的像素移位，取得该中间位置的W像素与RGB的像素的相关，由此能够将第一变形例的颜色编码的颜色阵列复原为拜耳阵列。
并且，通过对该拜耳阵列的信号进行使用空间频带低通滤波器的信号处理，对图像存储器32的独立读出时的标准记录像素数变为原来的颜色阵列的像素数(实际像素数)的1.125(＝9/8)倍。此时的图像存储器32的存储器容量的增加部分是很少的。另外，通过像素移位根据相邻的4个W像素的信息来生成该4个W像素的正中央的位置的信息，由此像素数变为原来的颜色阵列的4.5倍(＝36/8)。即，作为数据量，变为标准记录像素数时的4倍(＝4.5/1.125)。
在将W像素的信息和RGB的像素的信息合成了之后，如图31所示，对于W/G在相邻的4个像素之间进行相加处理(4个像素相加)。作为一个例子，对于x，y＝7，4的空间位置，在图30中，对x，y＝7，2的G像素、x，y＝7，6的G像素、x，y＝5，4的G像素、x，y＝9，4的G像素的各信息进行4个像素相加。另一方面，对于R/B的颜色信息，在上下或者左右的2个像素之间进行相加处理(2个像素相加)。
这里，对W/G进行了4个像素相加，对R/B进行了2个像素相加，但是不限于该相加方式。例如，对于WGRB的全部通过纵向2个像素相加、横向2个像素相加进行去马赛克处理，之后将两者相加，结果对于WGRB的全部能够得到4个像素相加的效果。
图32表示纵向(上下)相加平面，图33表示横向(左右)相加平面。对纵向相加平面和横向相加平面进行相加，结果对于WGRB的全部进行了4个像素相加，由此有效像素数变为0.25像素(2/8)，记录像素数变为0.5像素(＝4/8)。
[第二变形例]
(颜色编码)
图34是表示第二变形例的颜色编码的图。本变形例的颜色编码以第一变形例的颜色编码、即对于W/G滤光片4个像素均为相同颜色且对于R/B滤光片为2个R像素和2个B像素的组合的颜色编码为基础。
并且，在第二变形例的颜色编码中，首先，对G滤光片的4个像素，纵向2个像素的灵敏度比横向2个像素的灵敏度低。即，相对地说，横向2个像素为高灵敏度，纵向2个像素为低灵敏度。对于W滤光片，也与G滤光片一样，横向2个像素为高灵敏度，纵向2个像素为低灵敏度。
另一方面，对于由2个R像素和2个B像素的组合构成的4个像素，上下左右的4个像素中，下和右的像素的灵敏度比上和左的像素的灵敏度低。具体地说，在上下2个像素为R、左右2个像素为B的4个像素中，相对地说，上侧的R像素为高灵敏度，下侧的R像素为低灵敏度，左侧的B像素为高灵敏度，右侧的B像素为低灵敏度。并且，在上下2个像素为B、左右2个像素为R的4个像素中，相对地说，上侧的B像素为高灵敏度，下侧的B像素为低灵敏度，左侧的R像素为高灵敏度，右侧的R像素为低灵敏度。
对于微透镜阵列34，与第一至第三实施方式相同，以跨越不同颜色的4个像素为单位而共有一个微透镜。图35是关于第二变形例的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
接着，对使第二变形例的颜色编码的方格图案阵列成为正方形阵列的去马赛克处理进行说明。
首先，对于RGB的各像素，提取出实际像素的信息并排列。图36是将RGB的实际像素的信息的排列表示为第一平面的图。接着，对于W的实际像素，与第一变形例的W像素的情况相同，根据实际像素的信息来判断方向性，并基于周围的实际像素的信息来生成不存在实际像素的部分的像素信息，并将其展开为全像素。
并且，通过进行上述的像素移位的处理，根据相邻的4个W像素的信息通过计算求出该4个W像素的正中央的位置的像素信息。图37是将关于W的实际像素的像素移位阵列表示为W平面的图。
对于RGB的像素，与第一变形例的RGB像素的情况相同，根据W-RGB的相关通过公知的内插处理来求出像素信息(内插像素的信息)。图38是将RGB的内插像素的信息的排列表示为第二平面的图。在图38中，菱形表示RGB的内插像素的信息。
然后，通过相加图36的第一平面和图38的第二平面，如图39所示能够将第二变形例的颜色编码的颜色阵列复原成拜耳阵列。在进行该相加时，有效像素数为5/16像素，记录像素数为0.5像素(＝4/8)。
对于图39所示的颜色阵列的各像素的信号，可以应用公知的被称为SVE(Spatially Varying Exposure，空间变化阵列)方式的技术(例如，参照国际公开第02/056603号论文)。SVE方式是在使用空间的灵敏度模式而不降低分辨率的情况下提高动态范围的技术之一。
在该SVE方式中，各像素仅具有一种灵敏度。因此，被拍摄的图像的各像素只能够获取本来的摄像元件具有的动态范围的信息。与此相对，对所得到的图像信号进行预定的图像处理，使得全部的像素的灵敏度均匀化，结果能够生成动态范围大的图像。
在第二变形例中，也与第一变形例的情况相同，能够采用生成基于纵向2个像素相加的纵向相加平面和基于横向2个像素相加的横向相加平面并相加这些平面的方法。图40是将纵向相加平面和横向相加平面相加而得的结果表示为相加平面的图。
[第三变形例]
(颜色编码)
图41是表示第三变形例的颜色编码的图。本变形例的颜色编码为使各像素的灵敏度的高低的组合不同于第二变形例的颜色编码的颜色编码。
具体地说，在第三变形例的颜色编码中，对于G滤光片的4个像素，纵向2个像素的灵敏度比横向2个像素的灵敏度高。即，相对地说，横向2个像素为低灵敏度，纵向2个像素为高灵敏度。对于W滤光片也与G滤光片相同，横向2个像素为低灵敏度，纵向2个像素为高灵敏度。
另一方面，对于由2个R像素和2个B像素的组合构成的4个像素中，纵向2个像素的灵敏度比横向2个像素的灵敏度高。即，在纵向2个像素为R、横向2个像素为B的组合中，R的2个像素的灵敏度比B的两个像素的灵敏度高。另外，在纵向2个像素为B、横向2个像素为R的组合中，B的2个像素的灵敏度比R的2个像素的灵敏度高。
对于微透镜阵列34，与第一至第三实施方式相同，以跨越不同颜色的4个像素为单位而共有一个微透镜。图42是关于第三变形例的颜色编码将光学中心配置在xy空间的图。
(去马赛克处理)
接着，对使第三变形例的颜色编码的方格图案阵列成为正方形阵列的去马赛克处理进行说明。只是各像素的灵敏度的高低的组合与第二变形例的情况不同，对于基本的去马赛克处理是相同的。
首先，对于RGB的各像素提取出实际像素的信息并排列。图43是将RGB的实际像素的信息的排列表示为第一平面的图。接着，对于W的实际像素，与第一变形例的W像素的情况相同，根据实际像素的信息来判断方向性，并基于周围的实际像素的信息来生成不存在实际像素的部分的像素信息，并将其展开为全像素。
并且，通过进行上述的像素移位的处理，根据相邻的4个W像素的信息通过运算求出该4个W像素的正中央的位置的像素信息。图44是将关于W的实际像素的像素移位阵列表示为W平面的图。
关于RGB的像素，与第一变形例的RGB像素的情况相同，根据W-RGB的相关通过公知的内插处理来求出像素信息(内插像素的信息)。图45是将RGB的内插像素的信息的排列表示为第二平面的图。在图45中，菱形表示RGB的内插像素的信息。
然后，通过相加图43的第一平面和图45的第二平面，如图46所示能够将第二变形例的颜色编码的颜色阵列复原成拜耳阵列。在进行该相加时，有效像素数为5/16像素，记录像素数为0.5像素(＝4/8)。
在第三变形例中也与第一变形例的情况相同，能够采用生成基于纵向2个像素相加的纵向相加平面和基于横向2个像素相加的横向相加平面，并相加这些平面的方法。图47是将纵向相加平面和横向相加平面相加而得的结果表示为相加平面的图。
<7.应用例>
[摄像装置]
图48是表示本发明的摄像装置的结构的一个例子的框图。
如图48所示，本发明的摄像装置100具有以下结构：包括摄像透镜等透镜组101的光学系统、摄像元件102、作为相机信号处理电路的DSP电路103、帧存储器104、显示装置105、记录装置106、操作系统107以及电源系统108等。并且，构成为DSP电路103、帧存储器104、显示装置105、记录装置106、操作系统107以及电源系统108经由总线109而相互连接。
透镜组101摄入来自被摄体的入射光(像光)并成像在摄像元件102的摄像面上。摄像元件102将通过透镜组101成像在摄像面上的入射光的光量以像素为单位转换为电信号后作为像素信号而输出。作为该摄像元件102，可以使用应用了上述的本发明的CMOS图像传感器10。该CMOS图像传感器10具有上述的第一至第三实施方式的颜色编码的颜色滤光片阵列或第一至第三变形例的颜色编码的颜色滤光片阵列作为颜色滤光片阵列33。
DSP电路103相当于图1的DSP电路31，将从传感器芯片11输出的例如一帧大小的图像数据暂时存储在相当于图像存储32的帧存储器104中。并且，DSP电路103使用保持存储在帧存储器104中的图像数据进行包括上述的去马赛克处理的各种信号处理。
显示装置105由液晶显示装置或有机EL(electro luminescence，电致发光)显示装置等面板型显示装置构成，显示由摄像元件102拍摄的运动图像或静止图像。记录装置106将由摄像元件102拍摄的运动图像或静止图像记录在录像带或DVD(Digital Versatile Disk，数字多功能光盘)等记录介质中。
操作系统107在由用户的操作下对本摄像装置具有的各种功能发出操作指令。电源系统108向DSP电路103、帧存储器104、显示装置105、记录装置106以及操作系统107等供应对象恰当地供应各种电源来作为它们的动作电源。
这样的摄像装置100被应用在摄像机、数码相机以及面向便携电话机等移动设备的照相机模块。并且，作为摄像元件102，通过使用CMOS图像传感器，能够得到以下的作用和效果，所述CMOS图像传感器具有上述的第一至第三实施方式的颜色编码或第一至第三变形例的颜色编码的颜色滤光片阵列33。
即，通过使用为使RGB拜耳阵列旋转了45度的方格图案阵列、并使上下左右相邻的4个像素为相同颜色的颜色编码的颜色滤光片阵列33，能够抑制帧存储器104的容量不必要的增大。因此，当在DSP电路103中进行去马赛克处理时，能够将必要的图像存储器32的容量抑制得很小，因此能够实现本摄像装置的整个系统的成本降低。

Claims (20)

1.一种固体摄像装置，具有颜色滤光片阵列，该颜色滤光片阵列基于方格图案阵列，
所述颜色滤光片阵列是空间采样点x，y近似地被排列在x＝3*(2n-1+oe)+1±2、y＝3m-2，其中，n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1，以及x＝3*(2n-1+oe)+1、y＝3m-2±2，其中n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1中的至少一个n、m为特定值的单位的颜色阵列，
其中，在所述n、m为特定值的单位中，所述颜色滤光片阵列的上下和左右的至少一个方向的相邻的2个像素为相同颜色。
2.如权利要求1所述的固体摄像装置，其中，
所述颜色滤光片阵列是n、m具有特定值时的相邻的4个像素中该4个像素全部为相同颜色的颜色阵列。
3.如权利要求1所述的固体摄像装置，其中，
所述颜色滤光片阵列是n、m具有特定值时的相邻的4个像素中至少处于点对称的位置关系的2个像素为相同颜色的颜色阵列。
4.如权利要求1所述的固体摄像装置，其中，
所述颜色滤光片阵列是在n、m的单位中当m值为奇数或偶数时为相同颜色并且该相同颜色为作为亮度信号的主要成分的绿色或白色的颜色阵列。
5.如权利要求4所述的固体摄像装置，其中，
所述颜色滤光片阵列是所述相同颜色为绿色并且除该绿色以外的部分在n、m的中心相同的4个像素中为红色和蓝色的相同颜色的颜色阵列。
6.如权利要求4所述的固体摄像装置，其中，
所述颜色滤光片阵列是所述相同颜色为绿色和白色并且除该绿色和白色以外的部分在n、m的中心相同的4个像素中为红色和蓝色的相同颜色的颜色阵列。
7.如权利要求4所述的固体摄像装置，其中，
所述颜色滤光片阵列是所述相同颜色为白色并且除该白色以外的部分在n、m的中心相同的4个像素中为绿色、红色和蓝色的相同颜色的颜色阵列。
8.如权利要求4所述的固体摄像装置，其中，
所述颜色滤光片阵列是以下的颜色阵列：所述相同颜色为白色，除该白色以外的部分在n、m的中心相同的4个像素中为绿色的相同颜色，并且在n、m的中心相同的4个像素中处于点对称的位置关系的2个像素中为红色和蓝色的相同颜色。
9.如权利要求5所述的固体摄像装置，其中，
所述颜色滤光片阵列在所述4个像素中处于点对称的位置关系的2个像素的灵敏度不同。
10.如权利要求1所述的固体摄像装置，其中，
具有微透镜阵列，所述微透镜阵列是以n、m值不同的相邻的4个像素为单位，按照该4个像素配置一个微透镜而形成的。
11.如权利要求10所述的固体摄像装置，其中，
所述4个像素被配置成各光学像素中心靠近一个微透镜的中心。
12.如权利要求10所述的固体摄像装置，其中，
在所述微透镜阵列中，微透镜的曲率在n方向和m方向上不同。
13.如权利要求2或3所述的固体摄像装置，其中，
n、m具有特定值时的相邻的每4个像素的中央部具有浮动扩散部，在该浮动扩散部中，在相邻的4个相同颜色像素之间或者处于点对称的位置关系的2个相同颜色像素之间进行电荷的相加。
14.如权利要求10所述的固体摄像装置，其中，
n、m具有特定值时的相邻的每4个像素的中央部具有浮动扩散部，
所述浮动扩散部被配置在所述微透镜阵列的微透镜彼此之间的间隙中。
15.如权利要求10所述的固体摄像装置，其中，
构成所述4个像素的元件被配置在所述微透镜阵列的微透镜彼此之间的间隙中。
16.如权利要求8所述的固体摄像装置，其中，
所述固体摄像装置具有信号处理电路，所述信号处理电路对于白色的像素，根据实际存在的像素的信息基于不存在像素的部分的周围的像素信息来生成该不存在像素的部分的像素信息，将其展开为全像素，并且根据相邻的4个白色像素的信息来求出该4个白色像素的正中央的位置的白色的像素信息。
17.如权利要求16所述的固体摄像装置，其中，
所述信号处理电路对于绿色、红色、蓝色的各像素根据该各像素的信息与所述正中央的位置的白色的像素信息的颜色相关来求出像素信息，由所求出的像素信息来再现颜色信息，将该颜色信息和所述正中央的位置的白色的像素信息合成，并对该合成后的信号通过空间频带低通滤波器进行处理。
18.一种固体摄像装置的信号处理方法，所述固体摄像装置具有颜色滤光片阵列，该颜色滤光片阵列基于方格图案阵列，
所述颜色滤光片阵列是以下的颜色阵列：
空间采样点x，y近似地被排列在x＝3*(2n-1+oe)+1±2、y＝3m-2，其中，n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1，以及x＝3*(2n-1+oe)+1、y＝3m-2±2，其中，n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1中的至少一个n、m为特定值的单位上，
在所述n、m为特定值的单位中，所述颜色滤光片阵列的上下和左右的至少一个方向的相邻的2个像素为相同颜色，当m值为奇数或偶数时为相同颜色并且该相同颜色为作为亮度信号的主要成分的绿色或白色，除该白色以外的部分在n、m的中心相同的4个像素中为绿色的相同颜色，并且在n、m的中心相同的4个像素中处于点对称的位置关系的2个像素中为红色和蓝色的相同颜色，
当固体摄像装置进行信号处理时，
对于白色的像素，根据实际存在的像素的信息基于不存在像素的部分的周围的像素信息来生成该不存在像素的部分的像素信息，将其展开为全像素，并且根据相邻的4个白色像素的信息来求出该4个白色像素的正中央的位置的白色的像素信息。
19.如权利要求18所述的固体摄像装置的信号处理方法，其中，
对于绿色、红色、蓝色的各像素根据该各像素的信息与所述正中央的位置的白色的像素信息的颜色相关来求出像素信息，由所求出的像素信息来再现颜色信息，将该颜色信息和所述正中央的位置的白色的像素信息合成，并对该合成后的信号通过空间频带低通滤波器进行处理。
20.一种摄像装置，具有：
固体摄像装置，所述固体摄像装置具有颜色滤光片阵列，该颜色滤光片阵列基于方格图案阵列，
所述颜色滤光片阵列是以下的颜色阵列：空间采样点x，y近似地被排列在x＝3*(2n-1+oe)+1±2、y＝3m-2，其中，n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1，以及x＝3*(2n-1+oe)+1、y＝3m-2±2，其中，n、m为整数，当m为奇数时oe＝0，当m为偶数时oe＝1中的至少一个n、m为特定值的单位上，
其中，在所述n、m为特定值的单位中，所述颜色滤光片阵列的上下和左右的至少一个方向的相邻的2个像素为相同颜色。
CN2010101408096A 2009-03-31 2010-03-24 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置 Expired - Fee Related CN101854488B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009084144A JP5359465B2 (ja) 2009-03-31 2009-03-31 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2009-084144 2009-03-31

Publications (2)

Publication Number Publication Date
CN101854488A CN101854488A (zh) 2010-10-06
CN101854488B true CN101854488B (zh) 2012-08-29

Family

ID=42805726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101408096A Expired - Fee Related CN101854488B (zh) 2009-03-31 2010-03-24 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置

Country Status (5)

Country Link
US (3) US8310573B2 (zh)
JP (1) JP5359465B2 (zh)
KR (1) KR101696463B1 (zh)
CN (1) CN101854488B (zh)
TW (1) TWI423672B (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP5644177B2 (ja) 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
CN103081457B (zh) * 2010-08-24 2016-04-13 富士胶片株式会社 固态成像装置
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
JP5664141B2 (ja) 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5629568B2 (ja) * 2010-12-16 2014-11-19 富士フイルム株式会社 撮像装置及びその画素加算方法
DE102010063960A1 (de) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Kamera mit einem Farbbildsensor sowie Aufnahmeverfahren mit einer solchen Kamera
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012195921A (ja) 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
EP2717561B1 (en) * 2011-05-24 2019-03-27 Sony Semiconductor Solutions Corporation Solid-state imaging element and camera system
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
WO2012171154A1 (zh) * 2011-06-13 2012-12-20 广东中显科技有限公司 全彩顶部发光型有机电致发光显示器的彩色滤色片
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
JP5917055B2 (ja) * 2011-09-13 2016-05-11 キヤノン株式会社 固体撮像素子、その駆動方法および制御プログラム
JP5871535B2 (ja) * 2011-09-22 2016-03-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
JP6010895B2 (ja) * 2011-11-14 2016-10-19 ソニー株式会社 撮像装置
KR101358889B1 (ko) 2011-11-22 2014-02-07 연세대학교 산학협력단 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
WO2013100035A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
JP5621057B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
JP5661201B2 (ja) * 2011-12-27 2015-01-28 富士フイルム株式会社 固体撮像装置
EP2800384A4 (en) 2011-12-27 2015-06-03 Fujifilm Corp COLOR IMAGING ELEMENT
KR20140113923A (ko) 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
JP2013162148A (ja) * 2012-02-01 2013-08-19 Sony Corp 個体撮像装置および駆動方法、並びに電子機器
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US9083892B2 (en) 2012-03-01 2015-07-14 Nikon Corporation A/D conversion circuit, and solid-state image pickup apparatus
CN103369253B (zh) * 2012-03-26 2017-02-08 江苏思特威电子科技有限公司 成像装置及成像方法
JP6264284B2 (ja) * 2012-03-30 2018-01-24 株式会社ニコン 撮像装置
EP2833623B1 (en) * 2012-03-30 2019-09-18 Nikon Corporation Image sensor, imaging method, and imaging device
JP5900127B2 (ja) * 2012-04-13 2016-04-06 株式会社デンソー 撮像デバイス及び画像処理システム
CN104350739B (zh) * 2012-06-07 2016-05-11 富士胶片株式会社 摄像元件及摄像装置
DE112013003464B4 (de) * 2012-07-06 2016-05-19 Fujifilm Corporation Farbbildgebungselement und Bildgebungsvorrichtung
CN104471929B (zh) * 2012-07-06 2016-04-06 富士胶片株式会社 彩色摄像元件及摄像装置
JP6080412B2 (ja) * 2012-07-13 2017-02-15 キヤノン株式会社 撮像装置の駆動方法、および撮像システムの駆動方法。
JP6080411B2 (ja) * 2012-07-13 2017-02-15 キヤノン株式会社 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。
US9420208B2 (en) 2012-07-13 2016-08-16 Canon Kabushiki Kaisha Driving method for image pickup apparatus and driving method for image pickup system
US9854138B2 (en) * 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
JP6120523B2 (ja) * 2012-10-24 2017-04-26 オリンパス株式会社 撮像素子及び撮像装置
JP2014099696A (ja) * 2012-11-13 2014-05-29 Toshiba Corp 固体撮像装置
TWI520323B (zh) * 2013-02-08 2016-02-01 中華映管股份有限公司 有機發光顯示裝置之畫素結構
JP6149544B2 (ja) * 2013-06-28 2017-06-21 株式会社ニコン 撮像装置および制御プログラム
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP2015023332A (ja) * 2013-07-17 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
CN105791644A (zh) * 2013-09-10 2016-07-20 邹玉华 仿螳螂虾复眼的图像信息采集系统及工作方法
CN103531596B (zh) * 2013-09-22 2015-09-23 华中科技大学 一种基于单眼套叠的全色复眼成像探测芯片
JP2015065270A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
WO2015049872A1 (ja) * 2013-10-02 2015-04-09 株式会社ニコン 撮像素子および撮像装置
JP2015072987A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
JP6180882B2 (ja) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理装置、および電子機器
JP6151632B2 (ja) 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置
CN103813112B (zh) * 2014-02-28 2018-01-02 上海集成电路研发中心有限公司 多重采样的像素阵列、图像传感器、像素单元
JP6075646B2 (ja) * 2014-03-17 2017-02-08 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP6368125B2 (ja) * 2014-04-09 2018-08-01 キヤノン株式会社 撮像装置
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
CN106537594B (zh) * 2014-07-22 2020-02-18 索尼半导体解决方案公司 固体摄像器件和电子设备
TWI742573B (zh) * 2014-11-05 2021-10-11 日商索尼半導體解決方案公司 固體攝像元件及其製造方法以及電子機器
KR102593800B1 (ko) * 2014-12-18 2023-10-25 소니그룹주식회사 고체 촬상 소자, 및 전자 장치
EP3245547A4 (en) * 2015-01-14 2018-12-26 Invisage Technologies, Inc. Phase-detect autofocus
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US9911773B2 (en) * 2015-06-18 2018-03-06 Omnivision Technologies, Inc. Virtual high dynamic range large-small pixel image sensor
KR102348760B1 (ko) * 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
JP6237726B2 (ja) * 2015-07-29 2017-11-29 株式会社ニコン 撮像素子及び撮像装置
JP6579859B2 (ja) * 2015-08-11 2019-09-25 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
CN105120248A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 像素阵列及相机传感器
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
EP3171406B1 (en) * 2015-11-23 2019-06-19 ams AG Photodiode array
JP6746301B2 (ja) 2015-11-30 2020-08-26 キヤノン株式会社 撮像装置の駆動方法、撮像装置、撮像システム
CN105611125B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105609516B (zh) * 2015-12-18 2019-04-12 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105578006B (zh) * 2015-12-18 2018-02-13 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105590939B (zh) * 2015-12-18 2019-07-19 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
KR102466856B1 (ko) * 2016-04-20 2022-11-15 에스케이하이닉스 주식회사 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서
JP6750852B2 (ja) * 2016-05-11 2020-09-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9955090B2 (en) 2016-07-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor with virtual high-low sensitivity pixels
WO2018075584A1 (en) 2016-10-20 2018-04-26 Invisage Technologies, Inc. Image sensor with reset lock
JP2018098344A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
JP7171199B2 (ja) * 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2019026718A1 (en) * 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE
WO2019075750A1 (zh) 2017-10-20 2019-04-25 深圳市汇顶科技股份有限公司 像素传感模块及图像撷取装置
US11153514B2 (en) 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP7280681B2 (ja) * 2017-11-30 2023-05-24 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP6583444B2 (ja) * 2018-01-17 2019-10-02 株式会社ニコン 撮像素子および撮像装置
EP3522106A1 (en) 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
JP2019175912A (ja) * 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム
JP7107004B2 (ja) * 2018-06-11 2022-07-27 凸版印刷株式会社 表示体の製造方法
US11463636B2 (en) * 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
JP2019057948A (ja) * 2018-12-28 2019-04-11 株式会社ニコン 撮像装置
WO2020177123A1 (en) 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
JP2020167634A (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、及び伝送システム
KR20220029587A (ko) * 2019-07-02 2022-03-08 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치 및 그 구동 방법, 및 전자기기
KR20210087809A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
CN111447380B (zh) * 2020-05-22 2022-03-22 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN114080795A (zh) * 2020-06-10 2022-02-22 深圳市汇顶科技股份有限公司 图像传感器和电子设备
CN111488865B (zh) 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
JP2023096630A (ja) * 2021-12-27 2023-07-07 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401804B2 (ja) * 1992-10-29 2003-04-28 ソニー株式会社 オンチップマイクロレンズ及びその作製方法、並びに係るオンチップマイクロレンズを備えた光学素子
JPH11168688A (ja) * 1997-12-02 1999-06-22 Fuji Photo Film Co Ltd ディジタルカメラ装置ならびにその記録および／または再生処理方法
US7554067B2 (en) * 2001-05-07 2009-06-30 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels
JP4556102B2 (ja) * 2004-01-20 2010-10-06 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
JP4320657B2 (ja) * 2005-12-26 2009-08-26 ソニー株式会社 信号処理装置
US7982790B2 (en) * 2006-01-16 2011-07-19 Panasonic Corporation Solid-state imaging apparatus and method for driving the same
JP2007235888A (ja) * 2006-03-03 2007-09-13 Fujifilm Corp 単板式カラー固体撮像素子及び撮像装置
JP4915126B2 (ja) * 2006-04-10 2012-04-11 株式会社ニコン 固体撮像装置、および電子カメラ
JP4952060B2 (ja) * 2006-05-26 2012-06-13 株式会社ニコン 撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US7768569B2 (en) * 2006-08-17 2010-08-03 Altasens, Inc. High sensitivity color filter array
JP2008153370A (ja) * 2006-12-15 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置及びその製造方法
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4289419B2 (ja) * 2007-05-07 2009-07-01 ソニー株式会社 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
KR20100109408A (ko) 2010-10-08
KR101696463B1 (ko) 2017-01-23
JP2010239337A (ja) 2010-10-21
US20130057735A1 (en) 2013-03-07
US8520103B2 (en) 2013-08-27
CN101854488A (zh) 2010-10-06
US8754967B2 (en) 2014-06-17
TWI423672B (zh) 2014-01-11
TW201108734A (en) 2011-03-01
US20100238330A1 (en) 2010-09-23
US8310573B2 (en) 2012-11-13
US20130335604A1 (en) 2013-12-19
JP5359465B2 (ja) 2013-12-04

Similar Documents

Publication Publication Date Title
CN101854488B (zh) 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US9661306B2 (en) Solid-state imaging device and camera system
US8466998B2 (en) Solid-state image sensor and imaging apparatus equipped with solid-state image sensor
KR100871688B1 (ko) 고체 촬상 장치 및 그 구동 방법
CN101888490B (zh) 固体摄像装置、固体摄像装置的驱动方法及电子设备
CN101753863B (zh) 固态成像器件、固态成像器件的信号处理方法和成像设备
US8125553B2 (en) Solid-state imaging device
CN108462841A (zh) 像素阵列及图像传感器
JP6480862B2 (ja) 固体撮像素子および電子機器
JP2015177429A (ja) 固体撮像装置およびその駆動方法、並びに電子機器
CN101282484B (zh) 图像感测设备和图像捕获系统
JP7458746B2 (ja) 光電変換装置、撮像システム及び移動体
JP2009100381A (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2009164229A (ja) 固体撮像素子、撮像装置、固体撮像素子の駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20210324