CN1968423A - 固体摄像元件的信号处理装置和信号处理方法及摄像装置 - Google Patents

固体摄像元件的信号处理装置和信号处理方法及摄像装置 Download PDF

Info

Publication number
CN1968423A
CN1968423A CNA2006101454789A CN200610145478A CN1968423A CN 1968423 A CN1968423 A CN 1968423A CN A2006101454789 A CNA2006101454789 A CN A2006101454789A CN 200610145478 A CN200610145478 A CN 200610145478A CN 1968423 A CN1968423 A CN 1968423A
Authority
CN
China
Prior art keywords
signal
pixel
sig
mentioned
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101454789A
Other languages
English (en)
Other versions
CN100546392C (zh
Inventor
木下雅也
宇根英辅
田中正人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1968423A publication Critical patent/CN1968423A/zh
Application granted granted Critical
Publication of CN100546392C publication Critical patent/CN100546392C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供一种固体摄像元件的信号处理装置和信号处理方法及摄像装置。在对多个周围像素的每个都使用相同的校正参数进行混色校正时，不能进行与来自周围像素的对关注像素的混色程度相应的混色校正。在进行固体摄像元件的像素间的混色校正的混色校正处理电路(11)中，使用固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对关注像素的信号进行校正处理，其中，上述固体摄像元件采用在包含有光电变换元件的像素单元的上方层叠分色滤色器、进而在其上层叠聚光用的微型透镜的结构。

Description

固体摄像元件的信号处理装置和信号处理方法及摄像装置
技术领域
本发明涉及一种固体摄像元件的信号处理装置和信号处理方法及摄像装置，特别是涉及具有对固体摄像元件的像素部的混色进行校正的功能的信号处理装置及其信号处理方法、以及具备该信号处理装置的摄像装置。
背景技术
CCD(Charge Coupled Device：电荷耦合器件)图像传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等的固体摄像元件为如下结构：在包含光电变换元件的像素单元的上方，层叠分色滤色器，进一步在其上层叠聚光用的微型透镜。
在采用这种结构的彩色用固体摄像元件中，像素部和微型透镜之间的距离扩大到在像素部和微型透镜之间存在滤色器的程度。于是，特别是随着伴随多像素化的像素单元的微小化发展，像素相互间距离、即像素间距变窄，因此发生通过了某像素单元滤色器的光混入相邻的像素单元中的混色的问题。
为了解决由于该像素单元的微小化引起的混色的问题，以往在具备具有R(红)G(绿)B(蓝)三基色的格子状的像素排列的固体摄像元件中，从特定色像素的信号减去由与该特定色像素相邻的特定色以外的像素信号算出的固定比例的信号成分(例如，参照专利文献1)。
专利文献1：日本特开2004-135206号公报
发明内容
发明要解决的问题
另外，关于像素部的混色现象，以往认为从与该关注像素相邻的多个周围像素对关注像素各向同性地发生混色、即从多个周围像素以相同的比例发生混色。在该考虑下，在专利文献1等所述的现有技术中，对多个周围像素的每个使用相同的校正参数来解除混色的问题。
然而，在实际的固体摄像元件中，由于根据电路部、布线等布局、或者信号读出部的布局，不得不将光电变换元件(感光部)配置在相对像素单元的中心偏移的位置上，各像素单元的物理中心和光学中心未必一致，因此可以说相对关注像素的来自周围像素的混色未必各向同性地发生、而是具有方向性地发生。
因而，在专利文献1等对多个周围像素的各个使用相同的校正参数进行混色校正的现有技术中，无法进行与来自周围像素的对关注像素的混色的程度相应的混色校正，即无法进行具有方向性的混色校正。
因此，本发明的目的在于，提供可实现具有方向性的混色校正的固体摄像元件的信号处理装置和信号处理方法及摄像装置。
用于解决问题的手段
为了达到上述目的，在本发明中是一种混色校正处理，对固体摄像元件的像素间的混色进行校正，该固体摄像元件是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分，该混色校正处理采用以下结构：使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
本发明的一个方面是一种固体摄像元件的信号处理装置，对固体摄像元件的像素间的混色进行校正，该固体摄像元件是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分，该固体摄像元件的信号处理装置的特征在于，包括校正处理单元，该校正处理单元使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
另外，本发明的一个方面是一种固体摄像元件的信号处理方法，对固体摄像元件的像素间的混色进行校正，该固体摄像元件是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分，该信号处理方法的特征在于，使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
另外，本发明的一个方面是一种摄像装置，该摄像装置的特征在于，具备：固体摄像元件，其是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分；光学系统，将来自被摄体的光导入上述固体摄像元件；以及校正处理单元，使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
在固体摄像元件的像素间的混色处理中，对于多个周围像素的各信号的校正参数分别独立，由此，根据这些独立的校正参数，能够对每个周围像素分别任意设定周围像素对关注像素的校正量。其结果，可使周围像素对关注像素的校正量具有方向性，即能够按每个周围像素设定不同的校正量。
发明的效果
根据本发明，通过可使周围像素对关注像素的校正量具有方向性，能够进行与来自周围像素的对关注像素的混色程度相应的混色校正，因此即使在来自周围像素的对关注像素的混色有方向性，也可实现与该方向性相应的混色校正。
附图说明
图1是表示应用本发明的摄像机的结构的一例的框图。
图2是表示第一实施方式中使用的CMOS图像传感器的颜色编码的图。
图3是表示第一实施方式中使用的CMOS图像传感器的结构概要的框图。
图4是关于第一实施方式中的像素R、G、B的定义图。
图5是表示第一实施方式中的各输出通道的输出信号序列的图。
图6是表示第一实施方式中的数字信号处理电路的结构的一例的框图。
图7是表示与第一实施方式有关的照相机信号处理电路的具体内部结构的框图。
图8是表示与第一实施方式有关的混色校正处理电路的结构的一例的框图。
图9是表示R/Gb ch用校正模块的结构的一例的框图。
图10是表示与校正对象像素R/Gb在斜方向上相邻的四个周围像素之间的关系的图。
图11是表示Gr/B ch用校正模块的结构的一例的框图。
图12是表示与校正对象像素Gr/B在斜方向上相邻的四个周围像素之间关系的图。
图13是表示Ggo ch用校正模块的结构的一例的框图。
图14是表示与校正对象像素Ggo在斜方向上相邻的四个周围像素之间的关系的图。
图15是表示Gge ch用校正模块的结构的一例的框图。
图16是表示与校正对象像素Gge在斜方向上相邻的四个周围像素之间的关系的图。
图17是表示与第一实施方式中的实施例1有关的校正电路的结构的框图。
图18是与第一实施方式中的实施例1有关的校正电路的校正模型式的说明图。
图19是表示与第一实施方式中的实施例2有关的校正电路的结构的框图。
图20是与第一实施方式中的实施例2有关的校正电路的校正模型式的说明图。
图21是表示与第一实施方式中的实施例3有关的校正电路的结构的框图。
图22是与第一实施方式中的实施例3有关的校正电路的校正模型式的说明图。
图23是表示按每个颜色改变校正量的情况下的R/Gb ch用校正模块的结构的框图。
图24是表示按每个颜色改变校正量的情况下的Gr/B ch用校正模块的结构的框图。
图25是表示第二实施方式中使用的CMOS图像传感器的结构概要的框图。
图26是关于第二实施方式中的像素R、G、B的定义图。
图27是表示第二实施方式中的各输出通道的输出信号序列的图。
图28是表示与第二实施方式有关的照相机信号处理电路的具体内部结构的框图。
图29是表示重新排列处理电路的具体结构的一例的框图。
图30是表示重新排列处理电路的输出信号序列的图。
图31是表示像素错位配置中的其他颜色编码的图。
图32是表示第三实施方式中使用的CMOS图像传感器的颜色编码的图。
图33是表示第三实施方式中使用的CMOS图像传感器的结构概要的框图。
图34是关于第三实施方式中的像素R、G、B的定义图。
图35是表示第三实施方式中的各输出通道的输出信号序列的图。
图36是表示与第三实施方式有关的混色校正处理电路的结构的一例的框图。
图37是表示R ch用校正模块的结构的一例的框图。
图38是表示与校正对象像素R/Gr/Gb/B在上下左右方向上相邻的四个周围像素之间的关系的图。
图39是表示Gr ch用校正模块的结构的一例的框图。
图40是表示Gb ch用校正模块的结构的一例的框图。
图41是表示B ch用校正模块的结构的一例的框图。
图42是表示与第一实施方式中的实施例1有关的校正电路的结构的框图。
图43是与第一实施方式中的实施例1有关的校正电路的校正模型式的说明图。
图44是表示与第一实施方式中的实施例2有关的校正电路的结构的框图。
图45是与第一实施方式中的实施例2有关的校正电路的校正模型式的说明图。
图46是表示与第一实施方式中的实施例3有关的校正电路的结构的框图。
图47是与第一实施方式中的实施例3有关的校正电路的校正模型式的说明图。
图48是表示光圈的开口直径和CMOS图像传感器中的混色的关系的概要图。
图49是表示由照相机控制部执行的校正处理的过程的流程图。
附图标记说明
1：光学系统；2、20A、20B、20C：CMOS图像传感器；3：AFE(模拟前端)；4：数字信号处理电路；5：照相机控制部；6：人I/F控制部；7：用户接口；8：定时发生器；9：光学系统驱动电路；10：手抖动传感器；11：混色校正处理电路；21：像素单元；22：像素阵列部；23：像素驱动线；24：垂直扫描电路；25：垂直信号线；26：列处理电路；27：水平扫描电路；28：水平选择开关；29-1～29-4：水平信号线；30、30A、30B、30C、50、50A、50B、50C：校正电路。
具体实施方式
下面，参照附图详细说明本发明的实施方式。
图1是表示应用本发明的摄像装置、例如摄像机的结构的一例的框图。在此以应用在摄像机中为例进行说明，但是不限于应用在摄像机中，能够应用于数字静像照相机等所有摄像装置。
如图1所示，与本应用例有关的摄像机为具备如下部分的结构，即具备光学系统1、作为固体摄像元件的例如CMOS图像传感器2、AFE(模拟前端)3、数字信号处理电路4、照相机控制部5、人I/F控制(接口)部6、用户接口7、定时发生器8、光学系统驱动电路9以及手抖动传感器10等。
光学系统1具有：透镜1a，将来自被摄体(未图示)的入射光成像在CMOS图像传感器2的摄像面上；光圈1b，控制经过该透镜1a的入射光的光量。CMOS图像传感器2以像素为单位对通过光学系统1入射的光进行光电变换，作为电信号输出。在后面叙述CMOS图像传感器2的具体结构。此外，设来自CMOS图像传感器2的输出为多通道，例如4个通道。
AFE3是模拟信号处理电路，对从CMOS图像传感器2输出的4个通道的模拟信号进行S/H(采样/保持)、AGC(自动增益控制)等信号处理之后，进行A/D(模拟/数字)变换。数字信号处理电路4根据来自照相机控制部5的指示，对从AFE3提供的4个通道的数字信号进行各种信号处理。
在数字信号处理电路4中进行的各种信号处理是指白平衡处理、伽马处理、色差处理等的所谓的照相机信号处理、照相机控制用的检波数据(表示画面内的信息的数据。亮度、对比度、色调等)的计算处理。除了进行这些各种信号处理的电路部分之外，数字信号处理电路4还具有作为本发明特征的混色校正处理电路11。在后面详细叙述该混色校正处理电路11。
照相机控制部5例如由微型计算机构成，根据从数字信号处理电路4发送过来的检波数据、从手抖动传感器10发送过来的照相机的手抖动信息，掌握当前的输入图像的状态，进行与经由人I/F控制部6发送过来的各种设定模式相应的照相机控制，作为照相机控制用数据发送到数字信号处理电路4，或者作为透镜控制数据、光圈控制数据发送到光学系统驱动电路9，或者作为定时控制数据发送到定时发生器8，或者作为增益控制数据发送到AFE3。
数字信号处理电路4、光学系统驱动电路9、定时发生器8以及AFE3，进行与从照相机控制部5发送过来的控制值相应的处理，执行期望的信号处理/光学系统1的驱动/定时发生以及增益处理。CMOS图像传感器2根据定时发生器8所产生的各种定时信号，从后述的像素阵列部中依次取出任意区域的信号向AFE3输出。
关于用户进行的菜单操作等，通过用户接口7由人I/F控制部6控制。人I/F控制部6例如由微型计算机构成，检测用户当前选择了哪种摄影模式、或者期望哪种控制等，向照相机控制部5发送用户指示信息。相反，照相机控制部5将被摄体距离、F值、快门速度、倍率等的照相机控制信息发送给人I/F控制部6，通过用户接口7将当前的照相机的信息通知给用户。
作为本发明特征的混色校正处理电路11，其结构以及动作根据CMOS图像传感器2的像素的配置结构、分色滤色器的颜色编码的不同而稍有不同。下面，作为第一～第三实施方式说明CMOS图像传感器2的像素的配置结构、分色滤色器的颜色编码的不同以及与其对应的混色校正处理电路11的具体结构和动作。
第一实施方式
图2是表示本发明的第一实施方式中使用的CMOS图像传感器的颜色编码的图。
如图2所示，在第一实施方式中使用的CMOS图像传感器中，将包含光电变换元件的像素单元21二维配置成行列状而构成的像素阵列部的像素排列，是相对于普通的格子状的像素排列所代表的正方形格子状的像素排列倾斜了45°的像素配置。
具体地说，将正方形格子状的像素排列中的像素相互间的距离(下面记为“像素间距”)设为d时，相对于该像素间距d将水平/垂直方向的各像素间距设为d，各像素成为每1行以及每1列偏离像素间距d的1/2、即奇数行与偶数行在水平方向(列排列方向)上只偏离像素间距的1/2、奇数列与偶数列在垂直方向(行排列方向)上只偏离像素间距的1/2的、所谓的像素错位配置。
相对于该像素错位配置，分色滤色器的颜色编码为如下结构：第1行是G和R交替排列的GR行、第2行是只排列G的G行、第3行是B和G交替排列的GB行、第4行是只排列G的G行，之后以这4行为单位重复排列。
在该颜色编码中，如从图2可知为如下结构：在生成亮度(Y)成分时成为主成分的颜色成分(在本例中是G)、和其他颜色成分(在本例中是R、B)被配置成由G包围R、B的周围，R、B相对于水平/垂直以2d的间隔配置。
在该颜色编码中，当在水平/垂直方向上考虑采样率的情况下，G的采样率是d/，R、B的采样率是2d。即R、B被配置成每隔1列(在本例中是奇数列)以及每隔1行(在本例中是奇数行)，使得水平/垂直方向的采样率相对于G成为1/4的速率。因而，在G和R、B之间在水平/垂直方向上有4倍的分辨率的差。另外，当以倾斜45°方向考虑采样率时，G的采样率是d，R、B的采样率是2d。
在此，考虑空间频率特性。关于水平/垂直方向，由于G的采样率是d/，因此根据采样定理能够捕获直到(1/)fs频率的信号为止。关于倾斜45°方向，由于G的采样率是d，因此根据采样定理能够捕获直到(1/4)fs的信号为止。
同样地考虑R、B。R和B由于像素排列的间隔相同，因此可同样地考虑。因而，在此只叙述R。
关于R的空间频率特性，对于水平/垂直方向，R的采样率是2d，因此根据采样定理能够捕获直到(1/4)fs频率的信号为止，关于倾斜45°方向，R的采样率是2d，因此根据采样定理能够捕获直到(1/2)fs的信号为止。
这样，对于像素错位配置的像素配置，在生成亮度成分时成为主成分的颜色成分(在本例中是G)中，采用使包围其他颜色成分(在本例中是R、B)各自的周围那样的颜色编码，由此，G存在于所有行、所有列，能够提高在人的可见度特性上灵敏度高的G的空间频率特性，因此不限于无彩色的被摄体，对于有彩色的被摄体也能够实现高分辨率化，另外，不需要进行达到RGB的水平平衡的处理，因此还有不产生颜色缺陷的优点。
另外，像素错位配置与正方形格子状的像素排列相比还有如下优点。即与正方形格子状的像素排列相比像素间距变窄，因此能够得到高的分辨率。另外，设为与正方形格子状的像素排列相同的分辨率的情况下，能够以比正方形格子状的像素排列的像素间距宽的像素间距来排列像素单元，因此像素单元的开口能够取较宽，其结果能够提高S/N。
图3是表示第一实施方式中使用的CMOS图像传感器20A的结构概要的框图。
如图3所示，在CMOS图像传感器20A中，由垂直扫描电路24依次选择扫描对以2行为单位的横锯齿形行的像素单元21共同布线的像素驱动线23，其中，该CMOS图像传感器20A具有包含光电变换元件的像素单元21被像素错位配置而构成的像素阵列部22，对该像素错位配置采用由G包围R、B各个周围那样的颜色编码。
另外，将由垂直扫描电路24通过像素驱动线23进行选择扫描得到的横锯齿形行的像素单元21的信号，通过对每个像素列分别布线的垂直信号线25，分别保持在例如对每个像素列分别设置的列处理电路26中。而且，将分别保持在列处理电路26中的1行(横锯齿形行)的信号，通过由水平扫描电路27例如以4个为单位依次选择的水平选择开关28，以4个像素为单位依次输出到4根水平信号线29-1～29-4。
这样，在该CMOS图像传感器20A中，将每1行彼此相邻的多个像素、例如4个像素设为一组，通过4根水平信号线29-1～29-4在多个通道(在本例中是4个通道)并行读出该4个像素的信号，跨越1个画面在横方向(水平方向)上进行扫描，在1个水平扫描期间(1H)全部读完后移到下一行，同样地在横方向上一面进行扫描一面跨越整个1个画面读出各像素的信号。此外，本实施方式中的1行是指1个横锯齿形行。
在此，在图2所示的颜色编码中，关于第1行、第2行的第1列～第8列的16个像素R、G、B，为了方便定义为如图4。具体地说，在第1行中，将属于第1个单位的4个像素中的像素R定义为像素R1，将属于第2个单位的4个像素中的像素R定义为像素R2，在第2行中，将属于第1个单位的4个像素中的像素B定义为B1，将属于第2个单位的4个像素中的像素B定义为像素B2。
另外，在第1行中，将属于第1个单位的4个像素、与像素R1、B1通过边相邻的像素G定义为像素Ggo1，将属于第1个单位的4个像素、与像素R1、R2通过顶点相邻的像素G定义为像素Gr1，将属于第1个单位的4个像素、与像素B1、R2通过边相邻的像素G定义为像素Gge1，将属于第2个单位的4个像素、与像素R2、B2通过边相邻的像素G定义为像素Ggo2，将属于第2个单位的4个像素、与像素R2(R3)通过顶点相邻的像素G定义为像素Gr2，将属于第2个单位的4个像素、与像素B2(R3)通过边相邻的像素G定义为像素Gge2。
在第2行中，将属于第1个单位的4个像素、与像素R1、B1通过顶点相邻的像素G定义为像素Gb1，将属于第1个单位的4个像素、与像素B1通过边相邻的像素G定义为像素Ggo1，将属于第1个单位的4个像素、与像素B1通过边相邻的像素G定义为像素Gge1，将属于第2个单位的4个像素、与像素B1、R2、B2通过顶点相邻的像素G定义为像素Gb2，将属于第2个单位的4个像素、与像素B2通过边相邻的像素G定义为像素Ggo2，将属于第2个单位的4个像素、与像素B2通过边相邻的像素G定义为像素Gge2。
在这种像素的定义下，将按每1行(横锯齿形行)彼此相邻的4个像素设为一组，在成为CMOS图像传感器20A的动作基准的时钟信号的1个时钟内，在4个通道中并行读出该4个像素的信号，由此如图4所示，从各通道输出R信号/Gb信号、Gr信号/B信号、Gge信号、Ggo信号。图5表示这种读出方式中的各输出通道的输出信号序列。
此外，本发明并不受读出方式支配，即使在任何通道中读出，或者读出方式变化，也可根据其方式构筑之后的处理(图5的序列发生变化，因此只要加入将其吸收的构造即可)而在全部的情况中应用。
在此，为了简单，举例说明了采用上述的读出方式、即将按每1行(横锯齿形行)彼此相邻的4个像素设为一组、以1个时钟在4个通道中并行读出该4个像素的信号的读出方式的情况。
数字信号处理电路
图6是表示数字信号处理电路4的结构的一例的框图。如图6所示，数字信号处理电路4由照相机信号处理电路41、通信I/F42以及信号发生器(SG)43构成。在该数字信号处理电路4中，从CMOS图像传感器2通过AFE3并行地输入4个通道的信号R/Gb、Gr/B、Ggo、Gge。
照相机信号处理电路41对于4个通道的信号R/Gb、Gr/B、Ggo、Gge，按照从照相机控制部5通过通信I/F42提供的指示，根据来自信号发生器43的各种定时信号按各通道并行地进行数字钳位/噪声去除/缺陷校正/反马赛克(插值处理)/白平衡/分辨率变换等各种照相机信号处理，然后作为Y(亮度)、C(色度)信号输出到视频系统处理模块。关于照相机信号处理的详细内容由于与本发明没有直接关系，因此在此省略其说明。
照相机信号处理电路
在该照相机信号处理电路41中包含有应用本发明的混色校正处理电路11。图7中示出照相机信号处理电路41的具体内部结构。
如图7所示，照相机信号处理电路41除了混色校正处理电路11之外，在混色校正处理电路11的前级还具备照相机信号处理组(1)411，在混色校正处理电路11的后级具备照相机信号处理组(2)412，在成为照相机信号处理基准的时钟信号的1个时钟内，并行处理图4所示的每4个像素的各像素的信号R/Gb、Gr/B、Ggo、Gge。
在该照相机信号处理电路41中，首先由照相机信号处理组(1)411实施数字钳位、缺陷校正、噪声去除处理，输入到应用本发明的混色校正处理电路11。到此为止，称为主要进行照相机YC处理前的各种校正的处理组。然后，由后级的照相机信号处理组(2)412实施反马赛克(插值处理)处理之后，通过YC处理生成亮度信号和色度信号，最后通过分辨率变换处理以适合格式的大小最终输出到后级的视频系统处理模块。
在照相机信号处理电路41中，在包括混色校正处理电路11的全部电路模块中从信号发生器43发送各种定时信号。各电路模块以该各种定时信号为基准生成各处理所需的定时。另外，关于全部电路模块，能够通过通信I/F42由照相机控制部5控制处理动作。
混色校正处理电路
图8是表示混色校正处理电路11的结构的一例的框图。如图8所示，混色校正处理电路11为具备行存储器组111、存储器控制器112以及校正模块113的结构。
行存储器组111与4个通道的各像素的信号R/Gb、Gr/B、Ggo、Gge相对应地设置，包括用于进行以行为单位的延迟的例如由单端口SRAM组成的行存储器111-1、111-2、111-3、111-4。行存储器111-1、111-2是1H(H是1个水平扫描期间)延迟存储器，行存储器111-3、111-4是2H延迟存储器。
存储器控制器112以从图7的信号发生器(SG)43提供的各种定时信号为基准，控制行存储器111-1、111-2、111-3、111-4的读写。校正模块113根据从图7的通信I/F42提供的控制信号进行像素混色的校正动作。
在该混色校正处理电路11中，首先4个通道的各像素的信号R/Gb、Gr/B、Ggo、Gge被分别并行地输入到行存储器111-1、111-2、111-3、111-4中。并且，根据来自存储器控制器112的写入使能信号WEN和写入地址信号WADRS以及读出使能信号REN和读出地址信号RADRS，按通道分别生成输出具有从0H到2H的延迟的信号组。
此时，构成输出信号如下的行存储器组111。
·R/Gb ch：无延迟的信号(Sig_R_Gb_0h)和1H延迟信号(Sig_R_Gb_1h)
·Gr/B ch：无延迟的信号(Sig_Gr_B_0h)和1H延迟信号(Sig_Gr_B_1h)
·Ggo ch：1H延迟信号(Sig_Ggo_1h)和2H延迟信号(Sig_Ggo_2h)
·Gge ch：1H延迟信号(Sig_Gge_1h)和2H延迟信号(Sig_Gge_2h)
由行存储器111-1、111-2、111-3、111-4延迟的信号组被输入到校正模块113。校正模块113按照从通信I/F42提供的控制信号，按各通道并行进行像素混色校正，作为校正后的信号Sig_R_Gb’、Sig_Gr_B’、Sig_Ggo’、Sig_Gge’输出到后级。该校正模块113由与4个通道的各像素的信号R/Gb、Gr/B、Ggo、Gge各个对应设置的4个校正模块构成。
(R/Gb ch用校正模块)
图9是表示R/Gb ch用校正模块113A的结构的一例的框图。该校正模块113A由校正电路30和5个延迟电路31～35构成，将从图8的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_R_Gb_1h、2H延迟信号Sig_Gge_2h、2H延迟信号Sig_Ggo_2h、1H延迟信号Sig_Ge_1h以及1H延迟信号Sig_Ggo_1h设为输入。
各通道都共用校正电路30。在后面详细叙述其电路结构。延迟电路31将1H延迟信号Sig_R_Gb_1h只延迟成为混色校正处理基准的像素周期的时钟信号的1个时钟，作为校正对象像素的信号提供给校正电路30。在该校正模块113A中，如图10所示R/Gb成为校正对象像素。
延迟电路32将2H延迟信号Sig_Gge_2h只延迟2个时钟，作为与校正对象像素R/Gb通过边相接的左斜上像素(a)的信号提供给校正电路30。延迟电路33将2H延迟信号Sig_Ggo_2h只延迟1个时钟，作为与校正对象像素R/Gb通过边相接的右斜上像素(b)的信号提供给校正电路30。
延迟电路34将1H延迟信号Sig_Gge_1h只延迟2个时钟，作为与校正对象像素R/Gb通过边相接的左斜下像素(c)的信号提供给校正电路30。延迟电路35将1H延迟信号Sig_Ggo_1h只延迟1个时钟，作为与校正对象像素R/Gb通过边相接的右斜下像素(d)的信号提供给校正电路30。
这样，1H延迟信号Sig_R_Gb_1h、2H延迟信号Sig_Gge_2h、2H延迟信号Sig_Ggo_2h、1H延迟信号Sig_Ge_1h以及1H延迟信号Sig_Ggo_1h经由延迟电路31～35，由此，将校正对象像素R/Gb的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素R/Gb在倾斜方向上相邻的4个周围像素的各信号，与校正对象像素R/Gb的信号一起输入到校正电路30。
在校正电路30中，从图7的通信I/F42提供指示校正参数Ka、Kb、Kc、Kd以及校正ON/OFF的控制信号。校正参数Ka、Kb、Kc、Kd分别取独立的值(校正量)。由照相机控制部5设定这些校正参数Ka、Kb、Kc、Kd，通过通信I/F42提供给校正电路30。即，照相机控制部5相当于权利要求书中的设定单元。指示校正ON/OFF的控制信号是用于指示作为系统是否进行混色校正的控制信号。
当控制信号是校正ON时，校正电路30对校正对象像素R/Gb的信号，根据与该校正对象像素R/Gb通过边相邻的4个周围像素的各信号，使用校正参数Ka、Kb、Kc、Kd进行混色校正处理。此外，校正处理后的校正对象像素R/Gb的信号Sig_R_Gb’，由于作为校正电路30的输入选择了1H延迟信号Sig_R_Gb_1h，因此以相对于混色校正处理电路11的输入信号产生1H延迟的形式输出。
(Gr/B ch用校正模块)
图11是表示Gr/B ch用校正模块113B的结构的一例的框图。该校正模块113B除了与校正模块113A相同的校正电路30之外，还具备5个延迟电路36～40，将从图8的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_Gr_B_1h、2H延迟信号Sig_Ggo_2h、2H延迟信号Sig_Gge_2h、1H延迟信号Sig_Ggo_1h以及1H延迟信号Sig_Gge_1h设为输入。
延迟电路36将1H延迟信号Sig_Gr_B_1h只延迟1个时钟，作为校正对象像素的信号提供给校正电路30。在该校正模块113B中，如图12所示Gr/B成为校正对象像素。
延迟电路37将2H延迟信号Sig_Ggo_2h只延迟1个时钟，作为与校正对象像素Gr/B通过边相接的左斜上像素(a)的信号提供给校正电路30。延迟电路38将2H延迟信号Sig_Gge_2h只延迟1个时钟，作为与校正对象像素Gr/B通过边相接的右斜上像素(b)的信号提供给校正电路30。
延迟电路39将1H延迟信号Sig_Ggo_1h只延迟1个时钟，作为与校正对象像素Gr/B通过边相接的左斜下像素(c)的信号提供给校正电路30。延迟电路40将1H延迟信号Sig_Gge_1h只延迟1个时钟，作为与校正对象像素Gr/B通过边相接的右斜下像素(d)的信号提供给校正电路30。
这样，在通过使1H延迟信号Sig_Gr_B_1h、2H延迟信号Sig_Ggo_2h、2H延迟信号Sig_Gge_2h、1H延迟信号Sig_Ggo_1h以及1H延迟信号Sig_Gge_1h经由延迟电路36～40，将校正对象像素Gr/B的信号设为(1H延迟+1个时钟延迟)的信号情况下，抽出与校正对象像素Gr/B在倾斜方向上相邻的4个周围像素的各信号，与校正对象像素Gr/B的信号一起输入到校正电路30。
当控制信号是校正ON时，校正电路30对校正对象像素Gr/B的信号，使用与该校正对象像素Gr/B通过边相邻的4个周围像素的各信号，根据校正参数Ka、Kb、Kc、Kd进行混色校正处理。此外，校正处理后的校正对象像素Gr/B的信号Sig_Gr_B’，由于作为校正电路30的输入选择了1H延迟信号Sig_Gr_B_1h，因此以相对于混色校正处理电路11的输入信号产生1H延迟的形式输出。
(Ggo ch用校正模块)
图13是表示Ggo ch用校正模块113C的结构的一例的框图。该校正模块113C除了与校正模块113A相同的校正电路30之外，还具备5个延迟电路41～45，将从图8的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_Ggo_1h、1H延迟信号Sig_R_Gb_1h、1H延迟信号Sig_Gr_B_1h、无延迟的信号Sig_R_Gb_0h以及无延迟的信号Sig_Gr_B_0h设为输入。
延迟电路41将1H延迟信号Sig_Ggo_1h只延迟1个时钟，作为校正对象像素的信号提供给校正电路30。在本校正模块113C中，如图14所示Ggo成为校正对象像素。
延迟电路42将1H延迟信号Sig_R_Gb_1h只延迟1个时钟，作为与校正对象像素Ggo通过边相接的左斜上像素(a)的信号提供给校正电路30。延迟电路43将1H延迟信号Sig_Gr_B_1h只延迟1个时钟，作为与校正对象像素Ggo通过边相接的右斜上像素(b)的信号提供给校正电路30。
延迟电路43将无延迟的信号Sig_R_Gb_0h只延迟1个时钟，作为与校正对象像素Ggo通过边相接的坐斜上像素(c)的信号提供给校正电路30。延迟电路45将无延迟的信号Sig_Gr_B_0h只延迟1个时钟，作为与校正对象像素Ggo通过边相接的右斜下像素(d)的信号提供给校正电路30。
这样，在通过使1H延迟信号Sig_Ggo_1h、1H延迟信号Sig_R_Gb_1h、1H延迟信号Sig_Gr_B_1h、无延迟的信号Sig_R_Gb_0h以及无延迟的信号Sig_Gr_B_0h经由延迟电路41～45，将校正对象像素Ggo的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素Ggo在倾斜方向上相邻的4个周围像素的各信号，与校正对象像素Ggo的信号一起输入到校正电路30。
当控制信号是校正ON时，校正电路30对校正对象像素Ggo的信号，使用与该校正对象像素Ggo通过边相邻的4个周围像素的各信号，根据校正参数Ka、Kb、Kc、Kd进行混色校正处理。此外，校正处理后的校正对象像素Ggo的信号Sig_Ggo’，由于作为校正电路30的输入选择了1H延迟信号Sig_Ggo_1h，因此以相对于混色校正处理电路11的输入信号产生1H延迟的形式输出。
(Gge ch用校正模块)
图15是表示Gge ch用校正模块113D的结构的一例的框图。该校正模块113D除了与校正模块113A相同的校正电路30之外，还具备3个延迟电路46～48，将从图8的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_Gge_1h、1H延迟信号Sig_Gr_B_1h、1H延迟信号Sig_R_Gb_1h、无延迟的信号Sig_Gr_B_0h以及无延迟的信号Sig_R_Gb_0h设为输入。
延迟电路46将1H延迟信号Sig_Gge_1h只延迟1个时钟，作为校正对象像素信号提供给校正电路30。在该校正模块113D中，如图16所示Gge成为校正对象像素。
延迟电路47将1H延迟信号Sig_Gr_B_1h只延迟1个时钟，作为与校正对象像素Gge通过边相接的左斜上像素(a)的信号提供给校正电路30。1H延迟信号Sig_R_Gb_1h，作为与校正对象像素Gge通过边相接的右斜上像素(b)的信号直接提供给校正电路30。
延迟电路48将无延迟的信号Sig_Gr_B_0h只延迟1个时钟，作为与校正对象像素Gge通过边相接的左斜下像素(c)的信号提供给校正电路30。无延迟的信号Sig_R_Gb_0h，作为与校正对象像素Gge通过边相接的右斜下像素(d)的信号直接提供给校正电路30。
这样，在通过使1H延迟信号Sig_Gge_1h、1H延迟信号Sig_Gr_B_1h、以及无延迟的信号Sig_Gr_B_0h经由延迟电路46～48(1H延迟信号Sig_R_Gb_1h以及无延迟的信号Sig_R_Gb_0h是直接输入)，将校正对象像素Gge的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素Gge在倾斜方向上相邻的4个周围像素的各信号，与校正对象像素Gge的信号一起输入到校正电路30。
当控制信号是校正ON时，校正电路30对校正对象像素Gge的信号，使用与该校正对象像素Gge通过边相邻的4个周围像素的各信号，根据校正参数Ka、Kb、Kc、Kd进行混色校正处理。此外，校正处理后的校正对象像素Gge的信号Sig_Gge’，作为校正电路30的输入选择了1H延迟信号Sig_Gge_1h，因此以相对于混色校正处理电路11的输入信号产生1H延迟的形式输出。
校正电路
接着作为实施例1～3说明各通道中共同的校正电路30的具体结构。
(实施例1)
图17是表示与实施例1有关的校正电路30A结构的框图。该校正电路30A在以校正对象像素的信号Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)为中心、分别与相邻倾斜4个方向的像素信号(左斜上：Sig_UL，右斜上：Sig_UR，左斜下：Sig_LL，右斜下：Sig_LR)取差分之后的信号中，乘以分别独立的校正参数Ka、Kb、Kc、Kd，之后将取全部信号之和的结果设为校正信号Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具体地说，如图17所示，校正电路30A为具备4个减法器301～304、4个乘法器305～308、加法器309以及选择器310各1个的结构。
减法器301取校正对象像素的信号Sig_C和左斜上像素的信号Sig_UL之间的差分。减法器302取校正对象像素的信号Sig_C和右斜上像素的信号Sig_UR之间的差分。减法器303取校正对象像素的信号Sig_C和左斜下像素的信号Sig_LL之间的差分。减法器304取校正对象像素的信号Sig_C和右斜下像素的信号Sig_LR之间的差分。
乘法器305对减法器301的输出信号乘以校正参数Ka。乘法器306对减法器302的输出信号乘以校正参数Kb。乘法器307对减法器303的输出信号乘以校正参数Kc。乘法器308对减法器304的输出信号乘以校正参数Kd。加法器309对校正对象像素的信号Sig_C加上乘法器305～308的各输出信号，作为校正信号Sig_C’输出。
当将该运算处理作为校正式表示时，成为如下。
Sig_C’＝Sig_C
          +Ka×(Sig_C-Sig_UL)
          +Kb×(Sig_C-Sig_UR)
          +Kc×(Sig_C-Sig_LL)
          +Kd×(Sig_C-Sig_LR)   ……(1)
选择器310根据从图7的通信I/F42提供的校正ON/OFF的控制信号(1:ON，0:OFF)，当校正ON时选择加法器309的输出信号即校正信号Sig_C’进行输出，当校正OFF时选择校正对象像素Sig_C进行输出。
此外，在该电路例中，由乘法器305～308进行在由减法器301～304分别取差分之后的信号上乘以分别独立的校正参数Ka、Kb、Kc、Kd的运算处理，但是也能够利用移位结构实现该运算处理。根据校正精度和电路规模的平衡来决定采用哪种即可。
图18是上述(1)式所示的校正模型式的说明图。首先，在包围校正对象像素的4个方向以及上下左右共8个像素中，位于上下左右的像素与倾斜4个方向的相邻像素相比距离远倍，因此对校正对象像素的混色影响度，由倾斜4个方向的相邻像素一方支配。因此在本实施方式中，假设与上下左右像素之间的混色能够充分忽略，将上下左右的像素除外。
下面关注在倾斜方向上相邻的4个像素，将校正对象像素和倾斜相邻像素之间的混色率分别设为Ka、Kb、Kc、Kd时，以
·从校正对象像素向周围像素漏进与混色率K相应的量→加回与其相应的量
·从周围像素向校正对象像素漏进与混色率K相应的量→减去与其相应的量的校正模型，构成减轻混色现象的校正电路30。换个角度说，与周围像素的水平差越大混色量越大，因此也可看作进行与差分量相应的校正。
通过采用如上的结构，能够得到如下的作用效果。
·关于混色校正的校正量，能够通过通信I/F42(参照图6、图7)从外部实时控制。
·通过改变校正参数Ka、Kb、Kc、Kd的各值，能够实现具有方向性的混色校正处理(当然如果设为Ka＝Kb＝Kc＝Kd，则还能够实现各向同性的校正)。
此外，在本实施方式中使用(1)式的模型式，但是本发明的要点不在于模型式本身，因此作为校正电路30A不限于实现(1)式运算的电路结构。
(实施例2)
图19是表示与实施例2有关的校正电路30B的结构的框图。该校正电路30B将以校正对象像素的信号Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)为中心、分别与相邻倾斜4个方向的像素信号(左斜上：Sig_UL，右斜上：Sig_UR，左斜下：Sig_LL，右斜下：Sig_LR)取差分后的信号彼此，利用从通信I/F42提供的方向性选择的控制信号(设定值)来组合每两个并求和，在这些和信号上乘以各个独立的校正参数K1、K2，之后将取全部信号的和的结果设为校正信号Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具体地说，如图19所示，校正电路30B是具有如下部分的结构，即具有4个减法器311～314、3个选择器315～317、三个加法器318～320、2个乘法器321、322、比较器323、加法器324以及选择器325各一个。
减法器311取校正对象像素的信号Sig_C和左斜上像素的信号Sig_UL之间的差分。减法器312取校正对象像素的信号Sig_C和右斜上像素的信号Sig_UR之间的差分。减法器313取校正对象像素的信号Sig_C和左斜下像素的信号Sig_LL之间的差分。减法器314取校正对象像素的信号Sig_C和右斜下像素的信号Sig_LR之间的差分。
选择器315将减法器312、313、314的输出信号B、C、D设为输入，当方向性选择的控制信号的设定值是0时选择减法器312的输出信号B进行输出，当是1时选择减法器313的输出信号C进行输出，当是2时选择减法器314的输出信号D进行输出。选择器316将减法器313、314的输出信号C、D设为输入，当方向性选择的控制信号的设定值是1时选择减法器314的输出信号D进行输出，当是2时选择减法器313的输出信号C进行输出。
加法器318将减法器311的输出信号A与选择器315的输出信号相加。加法器319将减法器312的输出信号B与选择器316的输出信号相加。加法器320将减法器313的输出信号C和减法器314的输出信号D相加。
当方向性选择的控制信号的设定值是0时，比较器323输出1的控制信号，当是其以外时输出0的控制信号。选择器317将加法器319、320的各输出信号设为输入，当从比较器323提供的控制信号是0时选择加法器319的输出信号进行输出，当是1时选择加法器320的输出信号进行输出。
乘法器321将加法器318的输出信号与校正参数K1相乘。乘法器322将选择器317的输出信号与校正参数K2相乘。加法器324将校正对象像素的信号Sig_C与乘法器321、322的各输出信号相加，作为校正信号Sig_C’输出。
将该运算处理作为校正式表示时，成为如下所示。
·方向性选择的设定值：0的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_UR)]
          +K2×[(Sig_C-Sig_LL)+(Sig_C-Sig_LR)]
            ……(2)
·方向性选择的设定值：1的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_LL)]
          +K2×[(Sig_C-Sig_UR)+(Sig_C-Sig_LR)]
            ……(3)
·方向性选择的设定值：2的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_LR)]
          +K2×[(Sig_C-Sig_UR)+(Sig_C-Sig_LL)]
            ……(4)
并且，能够切换这些校正模型式。选择器325根据从通信I/F42提供的校正ON/OFF的控制信号(1:ON，0:OFF)，当校正ON时选择加法器324的输出信号即校正信号Sig_C’进行输出，当校正OFF时选择校正对象像素的信号Sig_C进行输出。
此外，在本电路例中，由乘法器321、322进行在加法器318的输出信号和选择器317的输出信号上乘以各个独立的校正参数K1、K2的运算处理，但是也能够由移位结构实现该运算处理。由校正精度和电路规模的平衡来决定采用哪种即可。
图20是上述(2)、(3)、(4)式所示的校正模型式的说明图。校正模型式本身的观点与图18相同，总结了各方向性选择的设定值(0，1，2)的校正率组合和校正模型式。
在与上述实施例1有关的校正电路30A(参照图17)的情况下，需要在每个时钟同时并行运算，因此基本上每1个通道具有4个乘法器305～308。与此相对，在与本实施例2有关的校正电路30B中，减小与校正的方向性相关的自由度，由2个乘法器321、322实现同样的功能，因此能够大幅度减小该部分的电路规模。此外，为了减小电路减少了方向性的自由度，但是为了稍微提高自由度，根据CMOS图像传感器的特性可实现最合适的组合下的校正。
通过采用如上的结构，能够得到如下的作用效果。
·对于混色校正的校正量，可通过通信I/F42(参照图6、图7)从外部实时控制。
·对于校正的方向性可保持某程度的自由度，实现大幅度减小电路规模的混色校正处理(当然如果设为K1＝K2，则还能够实现各向同性的校正)。
(实施例3)
图21是表示与实施例3有关的校正电路30C的结构的框图。该校正电路30C将以校正对象像素的信号Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)为中心、分别与相邻倾斜4个方向的像素信号(左斜上：Sig_UL，右斜上：Sig_UR，左斜下：Sig_LL，右斜下：Sig_LR)取差分后的信号彼此全部相加，之后乘以唯一的校正参数K，之后将取得与原信号之间的和的结果设为校正信号Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具体地说，如图21所示，校正电路30C为具备如下部分的结构，即具备4个减法器331～334、2个加法器335、336以及乘法器337以及选择器338各1个。
减法器331取校正对象像素的信号Sig_C和左斜上像素的信号Sig_UL之间的差分。减法器332取校正对象像素的信号Sig_C和右斜上像素的信号Sig_UR之间的差分。减法器333取校正对象像素的信号Sig_C和左斜下像素的信号Sig_LL之间的差分。减法器334取校正对象像素的信号Sig_C和右斜下像素的信号Sig_LR之间的差分。
加法器335将减法器331～334的各输出信号全部相加。乘法器337将加法器335的输出信号与唯一的校正参数K相乘。加法器336将校正对象像素的信号Sig_C与乘法器337的输出信号相加，作为校正信号Sig_C’输出。
当将该运算处理作为校正式表示时，成为如下。
Sig_C’＝Sig_C
          +K×[(Sig_C-Sig_UL)+(Sig_C-Sig_UR)
          +(Sig_C-Sig_LL)+(Sig_C-Sig_LR)]
            ……(5)
在该校正电路30C中，尽管没有与方向性相关的自由度，但是取而代之由一个乘法器实现校正，因此与实施例2所涉及的校正电路30B相比，可进一步减小电路规模。这在例如图像传感器的混色对于要求的画质能够充分忽略方向性问题的情况下，可以说是非常有效的电路结构。
选择器338根据从通信I/F42提供的校正ON/OFF的控制信号(1:ON，0:OFF)，当校正ON时选择加法器336的输出信号即校正信号Sig_C’进行输出，当校正OFF时选择校正对象像素的信号Sig_C进行输出。
此外，在该电路例中，由乘法器337进行在加法器335的输出信号上乘以校正参数K的运算处理，但是也能够利用移位结构实现该运算处理。根据校正精度和电路规模之间的平衡来决定采用哪种即可。
图22是上述(5)式所示的校正模型式的说明图。校正模型式本身的观点与图18相同。
通过采用如上的结构，能够得到如下的作用效果。
·关于混色校正的校正量，可通过通信I/F42(参照图6、图7)从外部实时控制。
·关于校正的方向性没有自由度，但是取而代之可实现大幅度减小电路规模的混色校正处理。
如上所述，在进行CMOS图像传感器20A的像素间的混色校正的混色校正电路中，使用与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对关注像素的信号进行校正处理，由此对每个周围像素可分别独立设定周围像素对关注像素的校正量，因此能够使周围像素相对关注像素的校正量具有方向性、即对每个周围像素可分别设定不同的校正量，其中，所述CMOS图像传感器20A采用在包含有光电变换元件的像素单元的上方层叠分色滤色器、进一步在其上层叠聚光用微型透镜(聚光透镜)的构造，对于像素错位配置具有由G包围R、B各自的周围那样的颜色编码，按以2行为单位的每个横锯齿形行进行垂直扫描。
由此，能够进行与来自周围像素的对关注像素的混色程度相应的混色校正，因此，即使例如由于根据电路部、布线等布局、或者信号读出部的布局，不得不将光电变换元件(感光部)配置在相对像素单元的中心偏移的位置上，各像素单元的物理中心和光学中心未必一致，导致来自周围像素的对关注像素的混色有方向性，也可通过实现与该方向性相应的混色校正，能够降低混色的问题。
特别是对于像素错位配置，在由G包围R、B各自的周围那样的颜色编码中，将R、B设为校正对象像素(关注像素)时其周围像素全部成为G，但是对于相同的G的周围像素能够对各周围像素分别设定校正参数的值(校正量)，因此能够实现具有更有效的方向性的混色校正。此外，还能够根据校正参数的设定实现各向同性的校正。另外，可通过通信I/F42从外部的照相机控制部5设定校正参数的值，因此还能够实时设定与照相机摄影条件相应的校正量。
而且，根据要求的画质和电路规模之间的平衡，在不需要4个方向的校正自由度的情况下，通过使用与实施例2有关的校正电路30B，能够大幅度减小电路规模、并且可尽量由保持方向性自由度的校正电路构成。另外，根据要求的画质和电路规模之间的平衡，在不需要4个方向的校正自由度且各向同性的校正足够的情况下，通过使用与实施例3有关的校正电路30C，也可以由进一步大幅度减小电路规模的校正电路构成。
在此，关于对多个周围像素的各信号分别独立设定的校正参数的值(校正量)，在由于各像素单元的物理中心和光学中心未必一致，来自周围像素的对关注像素的混色中存在方向性的情况下，根据来自周围像素的对关注像素的混色程度进行适当设定。
此外，在上述实施方式中，在图2所示的像素错位配置中，能够充分忽略与通过顶点相邻与关注像素的上下左右4个像素之间的混色，将上下左右的像素除外，而使用通过边与关注像素相邻的倾斜方向的4个像素的各信号进行混色校正，但是也可以使用上下左右4个像素的各信号进行混色校正。在该情况下，只要对上下左右的4个像素的各信号使用分别独立的校正参数即可。
另外，在上述实施方式中，与像素的颜色无关地设定校正量，但是也可以按每个颜色改变校正量。具体地说，在照相机控制部5中，生成R用校正参数Kar、Kbr、Kcr、Kdr、G用校正参数Kag、Kbg、Kcg、Kdg以及B用校正参数Kab、Kbb、Kcb、Kdb，通过通信IF42适当输入到R/Gb ch用校正模块113A以及Gr/B ch用校正模块113B。
而且，如图23所示，对于R/Gb ch用校正模块113A，设置了将R用校正参数Kar、Kbr、Kcr、Kdr和G用校正参数Kag、Kbg、Kcg、Kdg设为2个输入的切换开关SW1，通过来自信号发生器43的定时信号之一的、按每1H切换High/Low的定时信号H_TOGLE，对切换开关SW1进行切换，通过将R用校正参数Kar、Kbr、Kcr、Kdr和G用校正参数Kag、Kbg、Kcg、Kdg按每1H交替提供给校正电路30，可进行按每个R像素和G像素改变校正量的混色校正。
另一方面，如图24所示，关于Gr/B ch用校正模块113B，设置了将G用校正参数Kag、Kbg、Kcg、Kdg和B用校正参数Kab、Kbb、Kcb、Kdb设为2个输入的切换开关SW2，根据定时信号H_TOGLE对切换开关SW2进行切换，通过将G用校正参数Kag、Kbg、Kcg、Kdg和B用校正参数Kab、Kbb、Kcb、Kdb按每1H交替提供给校正电路30，由此能够进行按每个G像素和B像素改变校正量的混色校正。
第二实施方式
图25是表示第二实施方式中使用的CMOS图像传感器20B的结构概要的框图，图中，与图3相同的部分赋予相同的符号来表示。
在本实施方式中使用的CMOS图像传感器20B中，也是与第一实施方式中使用的CMOS图像传感器20A相同的像素配置以及颜色编码，即如图2所示，使像素错位配置成为由G包围R、B各自的周围那样的颜色编码。
在该CMOS图像传感器20B中，像素驱动线23按每行布线。而且像素阵列部22的各像素单元21通过由垂直扫描电路24进行的选择扫描，通过像素驱动线23以行为单位被选择。垂直信号线25对将2列设为单位的纵锯齿形列的像素单元21共同布线。
在各个垂直信号线25的一端连接有列处理电路26。即，列处理电路26按像素阵排列的每2列配置，保持通过垂直信号线25从像素单元21提供的信号。在各个列处理电路26中保持的1行的信号，利用水平扫描电路27例如通过以2个为单位依次选择的水平选择开关28，以2个像素为单位依次输出到2根水平信号线29-1、29-2中。
这样，在该CMOS图像传感器20B中，将按每1行彼此相邻的2个像素作为单位，通过2根水平信号线29-1、29-2由2个通道并行读出该2个像素的信号，跨越1个画面在横方向(水平方向)上扫描，在1个水平扫描期间(1H)全部读完后移到下一行，同样地在横方向上一面扫描一面跨越1个画面整个面读出各像素的信号。
在此，与第一实施方式的情况同样地，在图2所示的颜色编码中，为了方便将第1行～第4行的第1列～第8列的16个像素R、G、B定义为如图26。
在这种像素定义下，将按每1行彼此相邻的2个像素作为单位，在成为CMOS图像传感器20B的动作基准的时钟信号的1个时钟内，在2个通道中并行读出该2个像素的信号，如图26所示，从各通道输出R信号/Ggo信号/Gb信号/Ggo信号、Gr信号/Gge信号/B信号/Gge信号。图27表示这种读出方式中的各输出通道的输出信号的序列。
照相机信号处理电路
图28是表示与第二实施方式有关的照相机信号处理电路41的具体内部结构的框图，图中与图7相同的部分赋予相同的符号来表示。
如图28所示，与本实施方式有关的照相机信号处理电路41的结构为：除了照相机信号处理组(1)411、混色校正处理电路11以及照相机信号处理组(2)412之外，在照相机信号处理组(1)411的前级还具备重新排列处理电路413。该重新排列处理电路413是为了进行如下的处理而设置的：将图27所示的CMOS图像传感器20B的输出信号序列重新排列成图5所示的CMOS图像传感器20A的输出信号序列。
重新排列处理电路
图29是表示重新排列处理电路413的具体结构的一例的框图。如图29所示，重新排列处理电路413成为具有如下部分的结构，即具有行存储器组4131、存储器控制器4132以及切换开关4133、4134。
行存储器组4131与2个通道的各像素的信号R/Ggo/Gb/Ggo、Gr/Gge/B/Gge对应而设置，包括用于进行以行为单位延迟的例如由单端口SRAM构成行存储器4131-1、4131-2。存储器控制器4132以从图28的信号发生器(SG)43提供的各种定时信号为基准，控制行存储器4131-1、4131-2的读写。
切换开关4133将一个通道的各像素的信号R/Ggo/Gb/Ggo作为输入，通过来自信号发生器43的定时信号之一的、按每1H切换High(1)/Low(0)的定时信号H_TOGLE进行切换控制。切换开关4134将另一个通道的各像素的信号Gr/Gge/B/Gge设为输入，根据定时信号H_TOGLE进行切换控制。
由此，第奇数行的输入信号(图27的第4N+1行、第4N+3行、……)由行存储器4131-1、4131-2延迟1H，作为信号R/Gb、Gr/B输出。另一方面，第偶数行的输入信号(图27的第4N+2行、第4N+4行、……)不经由行存储器4131-1、4131-2，作为信号Ggo、Gge输出。
通过上述结构的重新排列处理电路413的作用，2个通道的各像素的信号R/Ggo/Gb/Ggo、Gr/Gge/B/Gge，如图30所示重新排列成4个通道的R/Gb、Ggo、Gr/B、Gge而输出。这样，在照相机信号处理组(1)411的前级进行信号的重新排列处理，由此，作为照相机信号处理组(1)411、混色校正处理电路11以及照相机信号处理组(2)412，能够兼用与第一实施方式有关的各电路模块。
但是，虽然重新排列处理电路413中的重新排列处理后的序列变得相同，但重新排列后的信号按每1H流过，因此例如将与定时信号H_TOGLE相同的定时信号提供给照相机信号处理组(1)411、混色校正处理电路11以及照相机信号处理组(2)412的各电路模块，在各电路模块中只在该定时信号为High时进行处理即可。
如上所述可知，根据与第二实施方式有关的混色校正，对于像素错位配置具有由G包围R、B各自的周围那样的颜色编码，对于不按以2行为单位的横锯齿形行进行扫描，而按每1行进行垂直扫描的CMOS图像传感器20B，也能够将周围像素相对关注像素的校正量按每个周围像素独立地设定，因此能够与第一实施方式的情况同样地得到作用效果。
另外，在与本实施方式有关的混色校正中，也与第一实施方式的情况同样，能够按每个颜色改变校正量。
此外，在上述第一、第二实施方式中，举例说明了对于像素错位配置应用了具有由G包围R、B各自的周围那样的颜色编码的固体摄像元件的混色校正的情况，但是该颜色编码只是一个例子，上述第一、第二实施方式也同样能够应用于具有例如图31所示的颜色编码等其他颜色编码的固体摄像元件的混色校正。
第三实施方式
图32是表示本发明第三实施方式中使用的CMOS图像传感器的颜色编码的图。
在第三实施方式中使用的CMOS图像传感器中，将包含光电变换元件的像素单元21二维配置成行列状而构成的像素阵列部的像素配置，成为正方形格子状的像素配置。并且，对于该正方形格子状的像素配置，如图32所示，颜色编码例如成为拜耳排列。
图33是表示第三实施方式中使用的CMOS图像传感器20C的结构概要的框图，图中与图3相同的部分赋予相同的符号来表示。
如图33所示，在像素阵列部22中，包含光电变换元件的像素单元21被二维配置成正方形格子状。对于该正方形格子状的像素排列，每2行布线1个像素驱动线23，每1列布线2个垂直信号线25。垂直扫描电路24，以2行为单位通过像素驱动线23依次选择扫描像素阵列部22的各像素单元21。
通过垂直扫描电路24的扫描进行选择的2行像素单元21的各信号，奇数行和偶数行通过各个垂直信号线25、即通过奇数行用的垂直信号线25o和偶数行用的垂直信号线25e读出，保持在各个列处理电路26中。保持在各个列处理电路26中的2行信号，由水平扫描电路27通过以4个为单位依次选择的水平选择开关28，以4个像素(2行×2列)为单位依次输出到4个水平信号线29-1～29-4。
这样，在该CMOS图像传感器20C中，将每2行彼此相邻的4个像素设为一组，通过4个水平信号线29-1～29-4在4个通道中并行读出该4个像素的信号，跨越1个画面在横方向(水平方向)上进行扫描，在1个水平扫描期间(1H)全部读完后移到下一行，同样地一面在横方向上进行扫描一面跨越整个1个画面读出各像素的信号。
在此，在图32所示的颜色编码中，关于第1行、第2行的第1列～第6列的12个像素R、G、B，为了方便定义为如图34。具体地说，在第1行中，将属于第1个单位的4个像素中的像素R定义为像素R1，将属于第2个单位的4个像素中的像素R定义为像素R2，将属于第3个单位的4个像素中的像素R定义为像素R3，在第2行中，将属于第1个单位的4个像素中的像素B定义为B1，将属于第2个单位的4个像素中的像素B定义为像素B2，将属于第3个单位的4个像素中的像素B定义为像素B3。
另外，在第1行中，将属于第1个单位的4个像素、与像素R1相邻的像素G定义为像素Gr1，将属于第2个单位的4个像素、与像素R2相邻的像素G定义为像素Gr2，将属于第3个单位的4个像素、与像素R3相邻的像素G定义为像素Gr3，在第2行中，将属于第1个单位的4个像素、与像素B1相邻的像素G定义为像素Gb1，将属于第2个单位的4个像素、与像素B2相邻的像素G定义为像Gb2，将属于第3个单位的4个像素、与像素B3相邻的像素G定义为像素Gb3。
在这种像素的定义下，将每2行彼此相邻的4个像素设为一组，在成为CMOS图像传感器20c的动作基准的时钟信号的1个时钟内，在4个通道中并行读出该4个像素的信号，如从图34可知，从各通道输出R信号、Gr信号、Gb信号、B信号。图35表示这种读出方式中的各输出通道的输出信号的序列。
关于本实施方式所涉及的照相机信号处理电路41的具体内部结构，基本与图7所示的第一实施方式所涉及的照相机信号处理电路41的结构相同。即，照相机信号处理电路41除了混色校正处理电路11之外，在混色校正处理电路11的前级还具备照相机信号处理组(1)411，在混色校正处理电路11的后级还具备照相机信号处理组(2)412，将图34所示的每4个像素的各R信号、Gr信号、Gb信号、B信号，在成为照相机信号处理基准的时钟信号的1个时钟内，进行并行处理。
混色校正处理电路
图36是表示混色校正处理电路11的结构的一例的框图，图中与图8相同的部分赋予相同的符号来表示。
如图36所示，在与本实施方式有关的混色校正处理电路11中，代替与第一实施方式有关的混色校正处理电路11中的R/Gb用行存储器111-1、Gr/B用行存储器111-2、Ggo用111-3以及Gge用行存储器111-4，行存储器组111为使用了R用行存储器111-5、Gr用行存储器111-6、Gb用行存储器111-7以及B用行存储器111-8的结构。
行存储器111-5、111-6是1H延迟存储器，行存储器111-7、111-8是2H延迟存储器。存储器控制器112以从图7的信号发生器(SG)43提供的各种定时信号为基准，控制行存储器111-5、111-6、111-7、111-8的读写。校正模块113根据从图7的通信I/F42提供的控制信号进行像素混色的校正动作。
在该混色校正处理电路11中，4个通道的R信号、Gr信号、Gb信号、B信号分别并行输入到行存储器111-5、111-6、111-7、111-8。并且，根据来自存储器控制器112的写入使能信号WEN和写入地址信号WADRS以及读出使能信号REN和读出地址信号RADRS，对各通道分别生成具有0H到2H的延迟的信号组进行输出。
此时，构成行存储器组111使得输出信号如下。
·R ch：无延迟的信号(Sig_R_0h)和1H延迟信号(Sig_R_1h)
·Gr ch：无延迟的信号(Sig_Gr_0h)和1H延迟信号(Sig_Gr_1h)
·Gb ch：1H延迟信号(Sig_Gb_1h)和2H延迟信号(Sig_Gb_2h)
·B ch：1H延迟信号(Sig_B_1h)和2H延迟信号(Sig_B_2h)
由行存储器111-5、111-6、111-7、111-8延迟的信号组输入到校正模块113。校正模块113按照从通信I/F42提供的控制信号对各通道分别并行进行像素混色校正，作为校正后的信号Sig_R’、Sig_Gr’、Sig_Gb’、Sig_B’输出到后级。该校正模块113由与4个通道的各像素的信号R/Gb、Gr/B、Ggo、Gge分别对应而设置的4个校正模块构成。
(R ch用校正模块)
图37是表示R ch用校正模块113E的结构的一例的框图。该校正模块113E由校正电路50和5个延迟电路51～55构成，将从图36的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_R_1h、2H延迟信号Sig_Gb_2h、1H延迟信号Sig_Gr_1h、1H延迟信号Sig_Gr_1h以及1H延迟信号Sig_Gb_1h设为输入。
各通道共用校正电路50。在后面详细叙述其电路结构。延迟电路51将1H延迟信号Sig_R_1h只延迟成为混色校正处理基准的像素周期的时钟信号的1个时钟，作为校正对象像素的信号提供给校正电路50。在该校正模块113E中，如图38的(A)所示，R成为校正对象像素。
延迟电路52将2H延迟信号Sig_Gb_2h只延迟2个时钟，作为与校正对象像素R相邻的上像素(a)的信号提供给校正电路50。延迟电路53将1H延迟信号Sig_Gr_1h只延迟1个时钟，作为与校正对象像素R相邻的右像素(b)的信号提供给校正电路50。
延迟电路54将1H延迟信号Sig_Gr_1h只延迟2个时钟，作为与校正对象像素R相邻的左像素(c)的信号提供给校正电路50。延迟电路55将1H延迟信号Sig_Gb_1h只延迟1个时钟，作为与校正对象像素R相邻的下像素(d)的信号提供给校正电路50。
这样，在通过使1H延迟信号Sig_R_1h、2H延迟信号Sig_Gb_2h、1H延迟信号Sig_Gr_1h、1H延迟信号Sig_Gr_1h以及1H延迟信号Sig_Gb_1h经由延迟电路51～55，将校正对象像素R的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素R在上、右、左、下各方向通过边相邻的4个周围像素的各信号，与校正对象像素R的信号一起输入到校正电路50。
(Gr ch用校正模块)
图39是表示Gr ch用校正模块113F的结构的一例的框图。该校正模块113F除了与校正模块113E相同的校正电路50之外，还具备4个延迟电路56～59，将从图36的行存储器组111各通道各输出2个共8个信号中的、1H延迟信号Sig_Gr_1h、2H延迟信号Sig_B_2h、1H延迟信号Sig_R_1h、1H延迟信号Sig_R_1h以及1H延迟信号Sig_B_1h设为输入。
延迟电路56将1H延迟信号Sig_Gr_1h只延迟1个时钟，作为校正对象像素信号提供给校正电路50。如图38的(B)所示，在该校正模块113F中，Gr成为校正对象像素。延迟电路57将2H延迟信号Sig_B_2h只延迟1个时钟，作为与校正对象像素Gr相邻的上像素(a)的信号提供给校正电路50。
1H延迟信号Sig_R_1h作为与校正对象像素Gr相邻的右像素(b)的信号直接提供给校正电路50。延迟电路58将1H延迟信号Sig_R_1h只延迟1个时钟，作为与校正对象像素Gr相邻的左像素(c)的信号提供给校正电路50。延迟电路59将1H延迟信号Sig_B_1h只延迟1个时钟，作为与校正对象像素Gr相邻的下像素(d)的信号提供给校正电路50。
这样，在通过使1H延迟信号Sig_Gr_1h、2H延迟信号Sig_B_2h、1H延迟信号Sig_R_1h、1H延迟信号Sig_R_1h以及1H延迟信号Sig_B_1h经由延迟电路56～59，将校正对象像素Gr的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素Gr在上、右、左、下各方向通过边相邻的4个周围像素的各信号，与校正对象像素Gr的信号一起输入到校正电路50。
(Gb ch用校正模块)
图40是表示Gb ch用校正模块113G的结构的一例的框图。该校正模块113G除了与校正模块113E相同的校正电路50之外，还具备5个延迟电路61～65，将从图36的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_Gb_1h、1H延迟信号Sig_R_1h、1H延迟信号Sig_B_1h、1H延迟信号Sig_B_1h以及0H延迟信号Sig_R_0h设为输入。
延迟电路61将1H延迟信号Sig_Gb_1h只延迟1个时钟，作为校正对象像素的信号提供给校正电路50。如图38的(C)所示，在该校正模块113G中，Gb成为校正对象像素。
延迟电路62将1H延迟信号Sig_R_1h只延迟1个时钟，作为与校正对象像素Gb相邻的上像素(a)的信号提供给校正电路50。延迟电路63将1H延迟信号Sig_B_1h只延迟1个时钟，作为与校正对象像素Gb相邻的右像素(b)的信号提供给校正电路50。
延迟电路64将1H延迟信号Sig_B_1h只延迟2个时钟，作为与校正对象像素Gb相邻的左像素(c)的信号提供给校正电路50。延迟电路65将0H延迟信号Sig_R_0h只延迟1个时钟，作为与校正对象像素Gb相邻的下像素(d)的信号提供给校正电路50。
这样，在通过使1H延迟信号Sig_Gb_1h、1H延迟信号Sig_R_1h、1H延迟信号Sig_B_1h、1H延迟信号Sig_B_1h以及0H延迟信号Sig_R_0h经由延迟电路61～65，将校正对象像素Gb的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素R在上、右、左、下的各方向通过边相邻的4个周围像素的各信号，与校正对象像素Gb的信号一起输入到校正电路50中。
(B ch用校正模块)
图41是表示B ch用校正模块113H的结构的一例的框图。该校正模块113H除了与校正模块113E相同的校正电路50之外，还具备4个延迟电路66～69，将从图36的行存储器组111各通道各输出2个共8个信号中的1H延迟信号Sig_B_1h、1H延迟信号Sig_Gr_1h、1H延迟信号Sig_Gb_1h、1H延迟信号Sig_Gb_1h以及0H延迟信号Sig_Gr_0h设为输入。
延迟电路66将1H延迟信号Sig_B_1h只延迟1个时钟，作为校正对象像素的信号提供给校正电路50。如图38的(D)所示，在该校正模块113H中，B成为校正对象像素。延迟电路67将1H延迟信号Sig_Gr_1h只延迟1个时钟，作为与校正对象像素B相邻的上像素(a)的信号提供给校正电路50。
1H延迟信号Sig_Gb_1h作为与校正对象像素B相邻的右像素(b)的信号直接提供给校正电路50。延迟电路68将1H延迟信号Sig_Gb_1h只延迟1个时钟，作为与校正对象像素B相邻的左像素(c)的信号提供给校正电路50。延迟电路69将0H延迟信号Sig_Gr_0h只延迟1个时钟，作为与校正对象像素B相邻的下像素(d)的信号提供给校正电路50。
这样，在通过使1H延迟信号Sig_B_1h、1H延迟信号Sig_Gr_1h、1H延迟信号Sig_Gb_1h、1H延迟信号Sig_Gb_1h以及0H延迟信号Sig_Gr_0h经由延迟电路66～69，将校正对象像素B的信号设为(1H延迟+1个时钟延迟)的信号的情况下，抽出与校正对象像素B在上、右、左、下的各方向通过边相邻的4个周围像素的各信号，与校正对象像素Gr的信号一起输入到校正电路50。
校正电路
接着，作为实施例1～3说明各通道共用的校正电路50的具体结构。
(实施例1)
图42是表示与实施例1有关的校正电路50A的结构的框图。该校正电路50A是与图17所示的校正电路30A相同的电路结构，不同之处仅在于输入信号。
具体地说，校正电路50A在以校正对象像素的信号Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)为中心、分别与上、右、左、下各方向的像素信号(上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo)取差分之后的信号上，乘以分别独立的校正参数Ka、Kb、Kc、Kd，之后将取全部信号的和的结果设为校正信号Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
在此，Ka是校正对象像素与上边像素之间的混色(校正)比例，Kb是校正对象像素与右边像素之间的混色比例，Kc是校正对象像素与左边像素之间的混色比例，Kd是校正对象像素与下边像素之间的混色比例。
将该校正电路50A中的运算处理作为校正式表示时，成为如下所示。
Sig_C’＝Sig_C
          +Ka×(Sig_C-Sig_Up)
          +Kb×(Sig_C-Sig_R)
          +Kc×(Sig_C-Sig_L)
          +Kd×(Sig_C-Sig_Lo)    ……(5’)
图43是上述(5’)式所示的校正模型式的说明图。包围校正对象像素的倾斜4个方向以及上下左右的共8像素中，位于倾斜4个方向的像素与上下左右的相邻像素相比距离上远倍，因此对于校正对象像素的混色影响度，可以说由上下左右的相邻像素一方支配。因此在本实施方式中，假设与倾斜4个方向的像素之间的混色能够充分忽略，而排除倾斜4个方向的像素。
(实施例2)
图44是表示与实施例2有关的校正电路50B的结构的框图。该校正电路50B是与图19所示的校正电路30B相同的电路结构，不同之处仅在于输入信号。
具体地说，校正电路50B使以校正对象像素的信号Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)为中心、分别与上、右、左、下各方向的像素信号(上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo)取差分之后的信号彼此，通过从通信I/F42提供的方向性选择的控制信号(设定值)组合每两个并取和，在这些和信号上乘以分别独立的校正参数K1、K2，之后将取全部信号的和的值设为校正信号Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
将该校正电路50B中的运算处理作为校正式表示时，成为如下所示。
·方向性选择的设定值：0的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_R)]
          +K2×[(Sig_C-Sig_L)+(Sig_C-Sig_Lo)]
            ……(6)
·方向性选择的设定值：1的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_L)]
          +K2×[(Sig_C-Sig_R)+(Sig_C-Sig_Lo)]
            ……(7)
·方向性选择的设定值：2的情况下
Sig_C’＝Sig_C
          +K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_Lo)]
          +K2×[(Sig_C-Sig_R)+(Sig_C-Sig_L)]
            ……(8)
图45是上述(6)式、(7)式、(8)式所示的校正模型式的说明图。校正模型式本身的思路与图43相同，综合了各方向性选择的设定值(0，1，2)的校正率组合和校正模型式。
(实施例3)
图46是表示与实施例3有关的校正电路50C的结构的框图。该校正电路50C是与图21所示的校正电路30C相同的电路结构，不同之处仅在于输入信号。
具体地说，校正电路50C使以校正对象像素的信号Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)为中心、分别与上、右、左、下各方向的像素信号(上：Sig_Up，右：Sig_R，左：Sig_L，下：Sig_Lo)取差分之后的信号彼此全部相加，之后乘以唯一的校正参数K，之后将取与原信号之和的结果设为校正信号Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
将该校正电路50C中的运算处理作为校正式表示时，成为如下所示。
Sig_C’＝Sig_C
          +K×[(Sig_C-Sig_Up)+(Sig_C-Sig_R)
          +(Sig_C-Sig_L)+(Sig_C-Sig_Lo)]
             ……(9)
图47是上述(9)式所示的校正模型式的说明图。校正模型式本身的思路与图43相同。
根据与上述第三实施方式中的各实施例有关的校正电路50A、50B、50C，能够与第一实施方式中的各实施例有关的校正电路30A、30B、30C同样地得到作用效果。
此外，在与实施例1有关的校正电路50A中使用(5’)式的模型式，在与实施例2有关的校正电路50B中使用(6)式至(8)式的模型式，在与实施例3有关的校正电路50C中使用(9)式的模型式，但是本发明的要点不在于模型式本身，因此作为校正电路50A、50B、50C不限于实现(5’)式至(9)式运算的电路结构。
根据与上述第三实施方式有关的混色校正，像素配置是正方形格子状，颜色编码例如是拜耳排列，对于将2行作为单位进行垂直扫描的CMOS图像传感器20C，也能够对每个周围像素分别独立设定周围像素对关注像素的的校正量，因此能够与第一实施方式的情况同样地得到作用效果。另外，在与本实施方式有关的混色校正中，也与第一实施方式的情况同样，能够按每个颜色改变校正量。
此外，在本实施方式中，对于正方形格子状的像素配置，举例说明了颜色编码是拜耳排列的情况，但是不限于应用到拜耳排列，能够应用于所有正方形格子状的颜色编码。
第四实施方式
在以上说明的第一～第三实施方式中，叙述了由于像素单元的物理中心和光学中心未必一致、来自周围像素的对关注像素的混色比例(程度)不同的情况下的混色校正，但是已知混色也通过光学系统1的透镜1a(参照图1)的F值(光圈值)而变动。根据该F值进行混色校正，是与以下说明的第四实施方式有关的混色校正。
图48是表示光圈1b的开口直径(光圈值/F值)和CMOS图像传感器2中的混色的关系的概要图。
为了调整光量，光圈1b根据被摄体状况、用户的指示变动其开口直径。通过光圈1b的光，通过位于CMOS图像传感器2上的聚光透镜2a以及用于辨别被摄体颜色的滤色器2b，由像素单元21感光。滤色器2b通常由R、G、B三色构成，具有如在第一、第二实施方式、第三实施方式中使用的颜色编码。
在此，在光圈1b的开口直径小、即F值大的情况下(A)，聚光到某像素单元21的光，只通过与该像素对应的滤色器。但是在使光圈1b的开口直径变大的情况下、即减小F值的情况下(B)，通过了本来不对应的滤色器的光漏进像素单元21。
因此，在与本实施方式有关的混色校正中，特征在于，在与第一至第三实施方式有关的混色校正中，根据光圈1b的开口直径、即F值来设定校正参数Ka、Kb、Kc、Kd的值，由此，即使在F值由于被摄体的状况、用户的设定而变动的情况下，也始终实现合适的混色校正。通过图1中的照相机控制部5进行与F值相应的校正参数Ka、Kb、Kc、Kd值的设定。
图49是表示由照相机控制部5执行的校正处理、具体地说是表示根据F值设定校正参数Ka、Kb、Kc、Kd的校正值的处理过程的流程图。该校正处理根据图像更新周期重复执行。
当该校正处理开始时，首先从来自数字信号处理电路4的检波数据、或者来自人I/F控制部6的用户设定数据中读取当前的光圈1b的F值是多少(步骤S11)。接着，预先将与F值相应的校正参数Ka、Kb、Kc、Kd的校正值保持在校正表(ROM表等)中，从该校正表读出与步骤S11中得到的F值相应的校正值(步骤S12)。然后，将从校正表读出的校正值作为设定值，发送给数字信号处理电路4内的像素混色校正电路11(参照图7、图28)(步骤S13)。
这样，在与第一至第三实施方式有关的混色校正、即利用与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数、对关注像素的信号进行校正处理的混色校正中，根据F值(光圈1b的开口直径)设定校正参数的值，由此，能够使周围像素对关注像素的校正量具有方向性，并且即使在F值由于被摄体的状况、用户的设定而变动的情况下也始终能够进行合适的混色校正。
此外在上述各实施方式中，作为固体摄像元件举例说明了使用CMOS图像传感器的情况，但是本发明不限于应用到CMOS图像传感器，能够应用于CMOS图像传感器以外的放大型固体摄像元件，还能够应用于以CCD图像传感器为代表的所有电荷传送型固体摄像元件等固体摄像元件。

Claims (9)

1.一种固体摄像元件的信号处理装置，对固体摄像元件的像素间的混色进行校正，该固体摄像元件是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分，该固体摄像元件的信号处理装置的特征在于，
包括校正处理单元，该校正处理单元使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
2.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
上述滤色器具有如下颜色编码，该颜色编码使成为上述主成分的颜色成分以及上述其他颜色成分配置成由成为上述主成分的颜色成分包围上述其他颜色成分的周围。
3.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
上述多个周围像素是与上述关注像素通过边相邻的四个像素。
4.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
上述校正处理单元具有：
减法单元，以上述关注像素的信号为中心，与上述四个像素的各信号分别取差分；
乘法单元，将上述减法单元的与上述四个像素对应的输出信号乘以分别独立的上述校正参数；
加法单元，将上述乘法单元的输出信号与上述关注像素的信号相加而作为校正信号。
5.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
上述校正参数的值能够从上述校正处理单元的外部通过通信任意设定。
6.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
按上述滤色器的每个颜色设定上述校正参数的值。
7.根据权利要求1所述的固体摄像元件的信号处理装置，其特征在于，
根据在将来自被摄体的光导入上述固体摄像元件的光学系统中包含的光圈的开口直径，设定上述校正参数的值。
8.一种固体摄像元件的信号处理方法，对固体摄像元件的像素间的混色进行校正，该固体摄像元件是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分，该信号处理方法的特征在于，
使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
9.一种摄像装置，其特征在于，具备：
固体摄像元件，其是包含光电变换元件的像素被二维配置成行列状、滤色器被配置在上述像素的表面上而构成的，其中，该滤色器包含有作为生成亮度成分的主成分的颜色成分和其他颜色成分；
光学系统，将来自被摄体的光导入上述固体摄像元件；以及
校正处理单元，使用上述固体摄像元件的与关注像素相邻的多个周围像素的各信号、和对该各信号分别独立设定的校正参数，对上述关注像素的信号进行校正处理。
CNB2006101454789A 2005-11-17 2006-11-17 固体摄像元件的信号处理装置和信号处理方法及摄像装置 Expired - Fee Related CN100546392C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005332308 2005-11-17
JP2005332308A JP4389865B2 (ja) 2005-11-17 2005-11-17 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置

Publications (2)

Publication Number Publication Date
CN1968423A true CN1968423A (zh) 2007-05-23
CN100546392C CN100546392C (zh) 2009-09-30

Family

ID=38076915

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101454789A Expired - Fee Related CN100546392C (zh) 2005-11-17 2006-11-17 固体摄像元件的信号处理装置和信号处理方法及摄像装置

Country Status (3)

Country Link
US (1) US7864232B2 (zh)
JP (1) JP4389865B2 (zh)
CN (1) CN100546392C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法
CN102132570A (zh) * 2008-06-30 2011-07-20 索尼公司 图像信号校正设备、成像设备、图像信号校正方法和程序
CN101472043B (zh) * 2007-12-28 2011-11-09 佳能株式会社 图像处理设备和图像处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
US8315480B2 (en) 2007-12-28 2012-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program to execute the image processing method
CN104025583A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 图像处理装置、方法及摄像装置
CN104980650A (zh) * 2014-04-04 2015-10-14 特克特朗尼克公司 具有图片监视标记的f光圈数加权波形
CN104995912A (zh) * 2013-03-05 2015-10-21 富士胶片株式会社 摄像装置、图像处理装置、图像处理方法及程序

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP5146682B2 (ja) * 2006-05-18 2013-02-20 コニカミノルタホールディングス株式会社 撮像装置及び撮像方法
JP4905279B2 (ja) * 2007-07-20 2012-03-28 ソニー株式会社 撮像回路および撮像装置
JP4803156B2 (ja) * 2007-10-16 2011-10-26 ソニー株式会社 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP5045380B2 (ja) 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
US8180179B2 (en) * 2007-12-21 2012-05-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program executing image processing method, and storage medium
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2009303043A (ja) * 2008-06-16 2009-12-24 Panasonic Corp 固体撮像装置及びその信号処理方法
JP5254762B2 (ja) * 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
FR2943203B1 (fr) * 2009-03-16 2011-04-08 St Microelectronics Grenoble 2 Sas Procede et dispositif pour reordonner des donnees d'image ayant une repartition du type du motif de bayer
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
JP5152114B2 (ja) 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
JP5401191B2 (ja) 2009-07-21 2014-01-29 富士フイルム株式会社 撮像装置及び信号処理方法
US8619163B2 (en) 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
JP5467846B2 (ja) * 2009-11-20 2014-04-09 富士フイルム株式会社 放射線検出素子
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2011156214A (ja) * 2010-02-02 2011-08-18 Hoya Corp 撮像装置、及び電子内視鏡システム
JP5526840B2 (ja) * 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5496922B2 (ja) * 2011-01-13 2014-05-21 日本放送協会 クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
JP2014521117A (ja) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション アレイカメラで使用するための光学配列
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2733944B1 (en) 2011-07-13 2016-08-03 FUJIFILM Corporation Image pickup apparatus and signal value correction method
JP5917040B2 (ja) * 2011-08-09 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP5907687B2 (ja) * 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
CN104012084B (zh) * 2011-12-27 2015-06-24 富士胶片株式会社 彩色摄像元件
CN104041021B (zh) 2011-12-28 2017-05-17 富士胶片株式会社 图像处理装置及方法以及摄像装置
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP5698873B2 (ja) * 2012-07-06 2015-04-08 富士フイルム株式会社 カラー撮像素子および撮像装置
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014087804A1 (ja) 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
KR20150146308A (ko) * 2014-06-23 2015-12-31 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3516691B1 (en) * 2016-10-14 2021-09-22 Huawei Technologies Co., Ltd. Cmos image sensor
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP7289626B2 (ja) * 2018-10-30 2023-06-12 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
KR20220132069A (ko) * 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2024034017A1 (ja) * 2022-08-09 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 受光素子及び光検出装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3308592B2 (ja) * 1992-06-17 2002-07-29 株式会社東芝 固体撮像装置及びその信号処理方法
JP4120020B2 (ja) 1997-03-26 2008-07-16 ソニー株式会社 固体撮像装置
ID28202A (id) * 1998-05-08 2001-05-10 Matsushita Electric Ind Co Ltd Peralatan pengambil gambar berwarna keadaan padat
JP2000188761A (ja) 1998-12-21 2000-07-04 Toshiba Corp 混色低減回路
JP2003304544A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置
JP4213943B2 (ja) * 2002-07-25 2009-01-28 富士通マイクロエレクトロニクス株式会社 画質を向上させた画像処理回路
JP2004135206A (ja) 2002-10-15 2004-04-30 Matsushita Electric Ind Co Ltd 画素信号混色低減装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472043B (zh) * 2007-12-28 2011-11-09 佳能株式会社 图像处理设备和图像处理方法
US8315480B2 (en) 2007-12-28 2012-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program to execute the image processing method
CN102132570B (zh) * 2008-06-30 2014-04-16 索尼公司 图像信号校正设备、成像设备、图像信号校正方法
CN102132570A (zh) * 2008-06-30 2011-07-20 索尼公司 图像信号校正设备、成像设备、图像信号校正方法和程序
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法
CN101998127B (zh) * 2009-08-18 2013-08-07 索尼公司 信号处理设备、成像设备及信号处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
CN102696228B (zh) * 2010-10-04 2015-01-21 富士胶片株式会社 成像设备和混色校正方法
CN104025583A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 图像处理装置、方法及摄像装置
CN104025583B (zh) * 2011-12-28 2016-10-19 富士胶片株式会社 图像处理装置、方法及摄像装置
CN104995912A (zh) * 2013-03-05 2015-10-21 富士胶片株式会社 摄像装置、图像处理装置、图像处理方法及程序
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
CN104980650A (zh) * 2014-04-04 2015-10-14 特克特朗尼克公司 具有图片监视标记的f光圈数加权波形
CN104980650B (zh) * 2014-04-04 2019-12-17 巨人计划有限责任公司 波形监视器和生成针对来自测量仪器的输出的显示的方法

Also Published As

Publication number Publication date
US7864232B2 (en) 2011-01-04
CN100546392C (zh) 2009-09-30
JP2007142697A (ja) 2007-06-07
JP4389865B2 (ja) 2009-12-24
US20070146511A1 (en) 2007-06-28

Similar Documents

Publication Publication Date Title
CN1968423A (zh) 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN1276646C (zh) 固态成象设备
CN1156152C (zh) 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1219395C (zh) 摄像装置和摄像方法
CN1645918A (zh) 半导体装置及其控制方法、信号处理方法和电子设备
CN1155227C (zh) 数字视频摄像装置
CN1667482A (zh) 抗抖动装置
CN1777242A (zh) 固体摄像器件
CN1691784A (zh) 通过对原色信号进行内插操作产生色信号的彩色摄象机
CN1783958A (zh) 用于检测物理量分布的半导体设备及电子装置
CN1812479A (zh) 图像处理装置、方法和输出装置、摄像装置、程序和介质
CN1774031A (zh) 图像处理装置及图像处理方法、以及计算机程序
CN1707347A (zh) 防震装置
CN1749798A (zh) 变焦镜头及摄像装置
CN1171462C (zh) 固体彩色摄像装置
CN1262986C (zh) 图象处理方法及图象处理装置
CN1975556A (zh) 光学设备
CN101076126A (zh) 成像设备和方法、以及成像装置
CN1543198A (zh) 校正装置
CN1798274A (zh) 固态成像装置驱动方法、固态成像装置以及成像设备
CN1452410A (zh) 照相机及图象信号处理系统
CN1290343C (zh) 数据处理设备、图像处理设备、相机和数据处理方法
CN1782772A (zh) 焦点检测装置及其控制方法
CN1468006A (zh) 图像处理设备和方法、图像显示设备以及移动电子装置
CN1926688A (zh) 固体摄像装置及其工作方法、线传感器、光传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090930

Termination date: 20121117