CN101247529A - 固体摄像装置 - Google Patents

固体摄像装置 Download PDF

Info

Publication number
CN101247529A
CN101247529A CNA2008100920520A CN200810092052A CN101247529A CN 101247529 A CN101247529 A CN 101247529A CN A2008100920520 A CNA2008100920520 A CN A2008100920520A CN 200810092052 A CN200810092052 A CN 200810092052A CN 101247529 A CN101247529 A CN 101247529A
Authority
CN
China
Prior art keywords
signal
pixel
mentioned
piece
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100920520A
Other languages
English (en)
Other versions
CN101247529B (zh
Inventor
江川佳孝
本多浩大
饭田义典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101247529A publication Critical patent/CN101247529A/zh
Application granted granted Critical
Publication of CN101247529B publication Critical patent/CN101247529B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种固体摄像装置,包括像素部、边缘检测部、块选择部、比例计算部、RGB信号生成部。在像素部中,W像素、R像素、G像素、B像素被2维地没置成行列状。像素部输出分别对入射到各像素的光进行光电变换而得到的W信号、R信号、G信号、B信号。边缘检测部在像素部中确定以W像素为中心像素的规定区域,将规定区域分割为包括中心像素的多个块,检测表示在各个块内是否存在图像的边缘的边缘信息。块选择部从边缘检测部检测出的边缘信息中选择不存在边缘的块。比例计算部从由块选择部选择的块,计算R信号、G信号、B信号的比例系数。RGB信号生成部利用由比例系数计算部计算的比例系数,从中心像素的W信号新生成R信号、G信号、B信号。

Description

固体摄像装置
相关申请的交叉引用
本申请基于并要求申请号为JP2007-016638、申请日为2007年1月26日的在先日本专利申请的优先权,该申请的全部内容通过引用结合在本申请中。
技术领域
本发明涉及CCD(charge-coupled device,电荷耦合器件)图像传感器、CMOS图像传感器等固体摄像装置,例如用于带有图像传感器的便携电话、数码相机、摄像机等。
背景技术
对于图像传感器所采用的彩色滤光器,从互补色滤光器到原色拜尔排列,各种各样的排列与其信号处理方法一起被提出。在图像传感器中,近年来,图像的细微化推进,2μm一代被投入实用,并且,正在进行1.75μm像素和1.4μm像素的开发。在小于或等于2μm的细微像素中,由于入射光量大幅度地减少,因此可能发生噪声劣化。因此,作为改善细微像素的灵敏度的方法,有人提出在彩色滤光器中使用W(白)的图像传感器(例如参照JP特开平8-23542号公报、JP特开2003-318375号公报、JP特开2004-304706号公报和JP特开2005-295381号公报)。
但是,由于将从高灵敏度的W像素获得的W信号作为Y信号(亮度信号)=W信号,故在色再现性方面存在问题,通常,如果Y信号不按照Y=0.59G+0.3R+0.11B的比例生成,则由YUV信号生成的RGB信号的色再现性变差。而且,在上述专利文献中,没有进行采用W像素的有效的信号处理。
发明内容
本发明第1方面的固体摄像装置包括:像素部,在该像素部中,在光电变换元件中分别设置有W(白)、R(红)、G(绿)、B(蓝)的彩色滤光器的W像素、R像素、G像素、B像素被2维地设置成行列状,上述像素部输出分别对入射到上述W像素、R像素、G 像素、B像素的光进行光电变换而得到的W信号、R信号、G信号、B信号;边缘检测部,在上述像素部中确定以设置有W(白)滤光器的W像素为中心像素的规定区域,将上述规定区域分割为包括上述中心像素的多个块,检测表示在各个块内是否存在图像的边缘的边缘信息;块选择部,从由上述边缘检测部检测出的上述边缘信息中,选择不存在边缘的块;比例计算部,从由上述块选择部选择的块,计算上述R信号、G信号、B信号的比例系数;以及RGB信号生成部,利用由上述比例系数计算部计算的上述比例系数,从上述中心像素的W信号新生成R信号、G信号、B信号。
附图说明
图1为表示本发明的第1实施方式的固体摄像装置的概略结构的框图;
图2为表示第1实施方式的信号生成电路的边缘检测电路的处理方法的图;
图3为表示第1实施方式的块内的差分判定的另一处理方法的图;
图4为表示由第1实施方式的边缘检测电路判定了块AZ~DZ的例子的图;
图5为表示第1实施方式的针对块AZ计算比例系数和从W0信号生成RGB信号的处理的图;
图6为表示图5所示的块选择时的拜尔排列变换的处理方法的图;
图7为表示在图2(b)中选择了2个块AZ、BZ的情况下的例子的图;
图8为表示图7所示的块选择时的拜尔排列变换的处理方法的图;
图9为表示在图2(b)中选择了倾斜的2个块AZ、DZ的情况下的例子的图;
图10为表示图9所示的块选择时的拜尔排列变换的处理方法的图;
图11为表示在图2(b)中选择了角上的3个块AZ、BZ、DZ的情况下的例子的图;
图12为表示图11所示的块选择时的拜尔排列变换的处理方法的图;
图13为表示在图2(b)中选择了4个块的情况下的例子的图;
图14为表示图13所示的块选择时的拜尔排列变换的处理方法的图;
图15为表示本发明的第2实施方式的固体摄像装置的概略结构的框图;
图16为表示第2实施方式的信号生成电路的边缘检测电路的处理方法的图;
图17为表示第2实施方式的块内的差分判定的另一处理方法的图;
图18为表示本发明的第3实施方式的信号生成电路的边缘检测电路的处理方法的图;
图19为表示第3实施方式的块内的差分判定的另一处理方法的图;
图20为表示本发明的第4实施方式的信号生成电路的边缘检测电路的处理方法的图;
图21为表示第4实施方式的块内的差分判定的另一处理方法的图;
图22为表示本发明的上述实施方式的传感器部中的光电变换特性与阈值电平的图。
具体实施方式
下面参照附图,对本发明实施方式的包括CMOS图像传感器的固体摄像装置进行说明。在说明时,对所有图中的共同的部分,标注共同的标号。
(第1实施方式)
首先,对本发明的第1实施方式的包括CMOS图像传感器的固体摄像装置进行说明。
图1为表示第1实施方式的固体摄像装置的概略结构的框图。该固体摄像装置象图1所示的那样,包括传感器部11、行存储器12、信号生成电路13、信号处理电路14、系统定时发生电路(SG)15、命令解码器16、串行接口(串行I/F)17以及阈值电平设定电路18。
在传感器部11中,设置像素部111与列型模拟数字转换器(ADC)112。在像素部111中,像素(单元)以行和列的二维方式设置于半导体衬底上。各像素具有光电变换部件、例如光电二极管和彩色滤光器,在光电二极管的上部,分别设置W(白)、R(红)、G(绿)、B(蓝)4色的彩色滤光器。另外,W(白)滤光器以使RGB的光信号透过的方式形成。
在传感器部11中,利用WRGB的4色的彩色滤光器,将由透镜19会聚的光信号分离为WRGB光信号,利用2维设置的光电二极管阵列,通过光电变换将WRGB光信号变换为信号电荷并输出(W信号与第1R/G/B信号的输出)。该信号电荷由列型模拟数字转换器(ADC)变换为数字信号。经变换的数字信号输出给行存储器12,按照垂直7行存储于行存储器12内的存储器1~存储器7中。存储于该存储器1~存储器7中的数字信号分别并行地输入到信号生成电路13中。
在信号生成电路13中,以将中心的W像素共用的方式,将像素部111的7×7像素的区域分割为由4×4像素形成的4个块,由边缘检测电路131判定在各块内是否存在像素的边缘。该判定是通过对像素的信号电平与假定了噪声电平的阈值电平LevN进行比较而进行的。块选择部132根据边缘检测电路131的判定结果,从4个块中选择不存在边缘的块。比例系数计算部133根据块选择部132选择的块,计算RGB信号的比例系数,进而根据中心像素W0,生成新的信号Rw、Gw、Bw(第2R/G/B信号的生成)。然后,拜尔排列变换部134利用所生成的信号Rw、Gw、Bw,实施改善了S/N的拜尔排列变换处理,以便可以进行一般的信号处理。
然后,由拜尔排列变换部134处理后的信号输入到后级的信号处理电路14中。输入到信号处理电路14中的信号由白平衡、色分离内插处理、轮廓强调、γ校正、以及RGB矩阵电路等处理,作为YUV信号或RGB信号而输出。这里,作为单芯片传感器,由信号处理电路14对拜尔排列变换部134处理后的信号进行处理并将其输出,但也可原样输出,由专用的ISP(图像信号处理器)处理。另外,上述传感器部11、行存储器12、信号生成电路13以及信号处理电路14的动作根据由系统定时发生电路(SG)15输出的信号而进行。另外,命令也可以由从外部输入的数据DATA控制。数据DATA通过串行接口(串行I/F)17输入到命令解码器16中,经解码的信号被输入到各电路中。
下面对第1实施方式的信号生成电路13内的边缘检测电路131的处理方法进行说明。
图2为表示信号生成电路13的边缘检测电路131的处理方法的图。象图2(a)所示的那样,从行存储器12向边缘检测电路131输入7×7的像素信号。在边缘检测电路131中,设作为7×7的中心像素的W像素为目标像素W0,7×7的像素信号象图2(b)所示的那样,被分离为以中心像素W0为角的4个块。这里,设左上为块AZ,右上为块BZ,左下为块CZ,右下为块DZ。
接着,象图2(c)所示的那样,由边缘检测电路131的差分判定部执行1个像素差分判定方法。在中心像素为W0时,以W0为中心,分别计算差分信号W0-W1、W0-W2、W0-W3、W0-W4、W0-W5、W0-W6、W0-W7、W0-W8的绝对值。进而判定各个绝对值是否小于由阈值电平设定电路18设定的阈值电平LevN。然后,由边缘判定部取得属于各块的各3个判定的逻辑和(OR),作为块内是否存在边缘的最终判定。即,在各块的3个判定全部小于阈值电平LevN的情况下,判定在该块内不存在边缘,只要有1个大于等于阈值电平LevN的情况下,判定在该块内存在边缘。用于该判定的信号并不限于W信号,也可采用G信号、R信号、B信号。另外,通过并用WRGB信号中的多个信号,可进一步改善边缘检测精度。
图3为表示块内的差分判定的另一处理方法的图。该差分判定由边缘检测电路131的差分判定部而进行。这里,象图3(a)所示的那样,以左上的4×4像素的块AZ为例进行说明。
首先,对基于2×2像素的差分判定方法进行描述。象图3(b)所示的那样,判定取包括W0的2×2像素的相加信号与另外的2×2像素的相加信号的差分而得到的信号电平是否小于阈值电平LevN。然后,取3个判定的逻辑和(OR),作为块的最终判定。
下面对基于3×3像素的差分判定方法进行描述。象图3(c)所示的那样,判定取包括W0的3×3像素的相加信号与另外的3×3像素的相加信号的差分而得到的信号电平是否小于阈值电平LevN。接着,将该判定作为块的最终判定。此外,可将4×4像素内的信号自由地组合,来进行差分判定。例如,在块内的像素信号为角、条、倾斜等的情况下,也可以进行差分判定。通过采用2个或更多个像素的相加信号,可以减小随机噪声,可实施高精度的判定。
图4表示由边缘检测电路131判定块AZ~DZ的例子。在差分信号电平小于阈值电平的情况下(是),即在块内不存在边缘时用○表示,在差分信号电平大于或等于阈值电平的情况下(否),即在块内存在边缘时用×表示。象图4所示的那样,分别对4个块AZ~DZ进行判定。
下面说明针对左上的4×4像素的块AZ计算比例系数和从W0信号生成RGB信号的处理。
图5为表示针对4×4像素的块AZ计算比例系数和从W0信号生成RGB信号的处理的图。其为根据图1所示的块选择部的判定结果选择了1个块AZ的情况下的处理方法。
设从4×4的像素排列中抽出的R像素的4个R1、R2、R5、R6信号的平均值为Rave。同样,设G像素的4个G1、G2、G5、G6信号的平均值为Gave,B像素的4个B1、B2、B4、B5信号的平均值为Bave。接着,将Rave、Gave、Bave的合计作为W(白)信号的平均值,设为Wrgb。利用该计算结果,利用下式从目标像素W0的信号生成新的信号R0w、G0w、B0w。
R0w=W0*(Rave/Wrgb)
G0w=W0*(Gave/Wrgb)
B0w=W0*(Bave/Wrgb)
另外,在分别选择了右上、左下、右下的块BZ、CZ、DZ的情况下,可同样地进行计算。依次将该处理应用于W像素,从各W像素生成新的信号Rw、Gw、Bw。
图6表示图5所示的块选择时的拜尔排列变换的处理方法。由于从W0像素的信号生成的G0w信号形成拜尔排列的G像素的位置,故原样置换为G0w。另一方面,与W0像素邻接的G6、B5、R6像素通过加上从W0像素生成的信号,可以改善S/N。在G6像素中,求出从周边的W像素生成的G1w、G2w、G4w和G0w这4个像素的平均,将求出的平均与G6的平均值置换为G6w,由此,可改善G6的S/N。如果处理不是简单平均而是针对G6像素降低权重,则可进一步改善S/N。例如,也可简单地将G6与G1w、G2w、G4w、G0w这5个像素的平均值置换为G6w。另外,在R6像素中,求出两侧的R4w与R0w的平均,将求出的平均与R6的平均值作为新的R6w,由此可改善S/N。同样,在像素B5中,求出上下的B2w与B0w的平均,将求出的平均与B5的平均值作为新的B5w,由此可改善S/N。与G6w通用,通过在平均化中加权计算R6w和B5w,可控制S/N感和分辨率感。
图7表示在图2(b)中选择了2个块AZ、BZ的情况下的例子。以7×7像素中的上部4×7像素的2个块为代表,说明计算比例系数和从W0信号生成RGB信号的处理。设从4×7的像素排列中抽出的8个R像素的平均值为Rave。同样,设8个G像素的平均值为Gave,6个B像素的平均值为Bave。另外,将Rave、Gave、Bave的合计作为W(白)信号的平均值,设为Wrgb。利用该计算结果,通过下式从目标像素W0的信号生成新的信号R0w、G0w、B0w。
R0w=W0*(Rave/Wrgb)
G0w=W0*(Gave/Wrgb)
B0w=W0*(Bave/Wrgb)
在选择了其它2个块的情况下,也可以同样计算信号R0w、G0w、B0w。将该处理依次应用于W像素,从各W像素生成新的信号Rw、Gw、Bw。
图8表示图7所示的块选择时的拜尔排列变换的处理方法。相对图6,增加了G7和R7。在G7像素中,求出从周边的W像素生成的G2w、G3w、G0w和G5w这4个像素的平均,将求出的平均与G7的平均值置换为G7w,由此可改善G7的S/N。处理也可以不是简单平均,而是通过具有G7像素的加权的平均化,生成新的G7w。另外,在R7像素中,求出两侧的R0w和R5w的平均,将求出的平均和R7的平均值作为新的R7w,由此可改善S/N。R7w也可以在平均化中加权计算。
图9表示在图2(b)中选择了倾斜的2个块AZ、DZ的情况下的例子。以左上和右下的4×4像素的2个块为代表,说明计算比例系数和从W0信号生成RGB信号的处理。设从合计31个像素排列中抽出的8个R像素的平均值为Rave。同样,设8个G像素的平均值为Gave,8个B像素的平均值为Bave。然后,将Rave、Gave、Bave的合计作为W(白)信号的平均值,设为Wrgb。利用该计算结果,通过下式从目标像素W0的信号生成新的信号R0w、G0w、B0w。
R0w=W0*(Rave/Wrgb)
G0w=W0*(Gave/Wrgb)
B0w=W0*(Bave/Wrgb)
在选择了相反的倾斜的2个块的情况下,可以同样地计算信号R0w、G0w、B0w。将该处理依次应用于W像素,从各W像素生成新的信号Rw、Gw、Bw。
图10表示图9所示的块选择时的拜尔排列变换的处理方法。相对图6,增加了B8、G11与R7。在G11像素中,求出从周边的W像素生成的G0w、G5w、G7w和G8w这4个像素的平均,将求出的平均与G11的平均值置换为G11w,由此可改善G11的S/N。处理也可以不是简单平均,而是通过具有G11像素的加权的平均化,生成新的G11w。另外,在R7像素中,求出两侧的R0w和R5w的平均,将求出的平均与R7的平均值作为新的R7w,由此可改善S/N。在B8像素中,求出上下的B0w和B7w的平均,将求出的平均与B8的平均值作为新的B8w,由此可改善S/N。R7w和B8w也可以在平均化中加权计算。
图11为表示在图2(b)中选择了角上的3个块AZ、BZ、DZ的情况下的例子。以左上、右上、右下的3个块为代表,说明计算比例系数和从W0信号生成RGB信号的处理。设从合计40个的像素排列中抽出的10个R像素的平均值为Rave。同样,设12个G像素的平均值为Gave,10个B像素的平均值为Bave。另外,将Rave、Gave、Bave的合计作为W(白)信号的平均值,设为Wrgb。利用该计算结果,通过下式从目标像素W0的信号生成新的信号R0w、G0w、B0w。
R0w=W0*(Rave/Wrgb)
G0w=W0*(Gave/Wrgb)
B0w=W0*(Bave/Wrgb)
在选择了其它的角上的3个块的情况下,也可以同样地计算R0w、G0w、B0w。将该处理依次应用于W像素,从各W像素生成新的信号Rw、Gw、Bw。
图12表示图11所示的块选择时的拜尔排列变换的处理方法的图。相对图10,增加了G7。在G7像素中,求出从周边的W像素生成的G2w、G3w、G0w和G5w这4个像素的平均,将求出的平均与G7的平均值置换为G7w,由此可改善G7的S/N。处理也可以不是简单平均,而是通过具有G7像素的加权的平均化化,生成新的G7w。
图13表示在图2(b)中选择了4个块的情况下的例子。设从合计49个的像素排列中抽出的12个R像素的平均值为Rave。同样,设16个G像素的平均值为Gave,12个B像素的平均值为Bave。另外,将Rave、Gave、Bave的合计作为W(白)信号的平均值,设为Wrgb。利用该计算结果,通过下式从目标像素W0的信号生成新的信号R0w、G0w、B0w。
R0w=W0*(Rave/Wrgb)
G0w=W0*(Gave/Wrgb)
B0w=W0*(Bave/Wrgb)
图14表示图13所示的块选择时的拜尔排列变换的处理方法。相对图12,增加了G10。在G10像素中,求出从周边的W像素生成的G4w、G0w、G6w和G7w这4个像素的平均,将求出的平均与G10的平均值置换为G10w,由此可改善G10的S/N。处理也可以不是简单平均,而是通过具有G10像素的加权的平均化,生成新的G10w。
图13和图14所示的处理方法也可应用于边缘检测电路131的判定结果为0个块的情况,即,不存在边缘的块为0的情况。在判定结果为0个块的情况下,7×7像素的各信号电平零乱。但是,可在7×7像素中计算相同颜色的信号的平均值,通过计算与W0信号的比例,生成新的信号Rw、Gw、Bw。在S/N优先的情况下,利用Rw、Gw、Bw信号的相加平均来置换W0的周边像素。在分辨率优先的情况下,可以不进行相加平均,而仅仅单独地采用G0w信号。
如上所述,根据该第1实施方式,在利用比例相乘处理电路从W像素生成RGB信号时,在4个块内对边缘检测进行检测判定,选择不存在边缘的块,通过比例相乘处理,从选择块内生成新的RGB信号,由此可生成分辨率劣化小的信号。结果可提供能够减小分辨率劣化的高灵敏度的图像传感器。
(第2实施方式)
下面对本发明的第2实施方式的包括CMOS图像传感器的固体摄像装置进行说明。在第2实施方式中,设行存储器为5行,像素的处理范围为5×5像素。其它结构和效果与第1实施方式相同,对同样的部分标注相同的标号并省略其说明。
图15为表示第2实施方式的固体摄像装置的概略结构的框图。传感器部11具有5×5像素的像素部113。由像素部113获得的信号电荷由列型模拟数字转换器(ADC)变换为数字信号。变换后的数字信号输出给行存储器20,以垂直5行的方式存储于行存储器20内的存储器1~存储器5中。存储于该存储器1~存储器5中的数字信号分别并行地输入到信号生成电路13中。在信号生成电路13中,以中心的W像素共用的方式,将像素部113的5×5像素的区域分割为由3×3像素形成的4个块,由边缘检测电路131判定各块内是否存在图像的边缘。此后的处理与第1实施方式相同。
下面对第2实施方式的信号生成电路内的边缘检测电路的处理方法进行描述。
图16为表示信号生成电路13的边缘检测电路的处理方法的图。从行存储器20向边缘检测电路131,象图16(a)所示的那样,输入5×5的像素信号。在边缘检测电路131中,设作为5×5的中心像素的W像素为W0,5×5的像素信号象图16(b)所示的那样,被分离成以中心像素W0为角的4个块。这里,与第1实施方式相同,设左上为块AZ,右上为块BZ,左下为块CZ,右下为块DZ。
接着,象图16(c)所示的那样,由边缘检测电路131的差分判定部执行1个像素差分判定方法。在中心像素为W0时,以W0为中心,分别计算差分信号W0-W1、W0-W2、W0-W3、W0-W4、W0-W5、W0-W6、W0-W7、W0-W8的绝对值。进而判定各个绝对值是否小于由阈值电平设定电路18设定的阈值电平LevN。然后,取属于各块的各3个判定的逻辑和(OR),作为块内是否存在边缘的最终判定。该判定中采用的信号并不限于W信号,也可采用G信号、R信号、B信号。另外,通过同时采用这些信号,可以进一步改善边缘检测精度。
图17为表示块内的差分判定的另一处理方法的图。这里,象图17(a)所示的那样,以左上的3×3像素的块AZ为例进行说明。
首先,对2个像素差分判定方法进行描述。象图17(b)所示的那样,以D5像素为中心,选择作为对象的各2个像素,判定取所选择的各2个像素各自的相加信号的差分后的信号电平是否小于阈值电平LevN。接着,取4个判定的逻辑和(OR),作为块的最终判定。
接着,对3个像素条差分判定方法进行描述。象图17(c)所示的那样,以D5像素为中心,选择作为对象的排列成条状的各3个像素,判定取所选择的各3个像素各自的相加信号的差分后的信号电平是否小于阈值电平LevN。接着,取2个判定的逻辑和(OR),作为块的最终判定。
此外还有象图17(d)所示的3个像素L字差分判定方法和象图17(e)所示的4个像素差分判定方法等。这样,可将3×3像素内的信号自由地组合,来进行差分判定。通过采用2个或更多个像素的相加信号,可减少随机噪声,可实施高精度的判定。
(第3实施方式)
在第3实施方式中,对传感器部11的彩色滤光器排列与第1实施方式不同的情况下的边缘检测电路的处理方法进行说明。在此情况下,构成块的4×4像素排列与第1实施方式不同。其它结构和效果与上述第1实施方式相同,对于同样的部分标注相同的标号并省略其说明。
图18为表示第3实施方式的信号生成电路13的边缘检测电路的处理方法的图。从行存储器12向边缘检测电路131输入图18(a)所示的7×7的像素信号。在边缘检测电路131中,设作为7×7的中心像素的W像素为目标像素W0,7×7的像素信号象图18(b)所示的那样,被分离为以中心像素W0为角的4个块。这里,象前述那样,设左上为块AZ、右上为块BZ、左下为块CZ、右下为块DZ。在构成各块的4×4的像素排列中,设置8个像素的G、4个像素的W、2个像素的R、2个像素的B。
接着,象图18(c)那样,由边缘检测电路131的差分判定部执行1个像素差分判定方法。在中心像素为W0时,以W0为中心,分别计算差分信号W0-W1、W0-W2、W0-W3、W0-W4、W0-W5、W0-W6、W0-W7、W0-W8的绝对值。进而判定各个绝对值是否小于由阈值电平设定电路18设定的阈值电平LevN。接着,取属于各块的各3个判定的逻辑和(OR),作为块内是否存在边缘的最终判定。该判定中采用的信号并不限于W信号,也可采用G信号、R信号、B信号。另外,通过同时采用WRGB信号中的多个信号,可以进一步改善边缘检测精度。
图19为块内的差分判定的另一处理方法的图。该差分判定由边缘检测电路131的差分判定部进行。这里,象图19(a)所示的那样,以左上的4×4像素的块AZ为例进行说明。
首先,对2个像素差分判定方法进行描述。象图19(b)所示的那样,判定取包括W0的2个像素的相加信号与另外的2个像素的相加信号的差分后的信号电平是否小于阈值电平LevN。接着,取3个判定的逻辑和(OR),作为块的最终判定。
接着,对3个像素差分判定方法进行描述。象图19(c)所示的那样,判定取包括W0的3个像素的相加信号与另外的3个像素的相加信号的差分后的信号电平是否小于阈值电平LevN。接着,取3个判定的逻辑和(OR),作为块的最终判定。此外,可以将4×4像素内的信号自由地组合,来进行差分判定。通过采用2个或更多个像素的相加信号,可以减少随机噪声,可实施高精度的判定。
(第4实施方式)
在第4实施方式中,对传感器部11的彩色滤光器排列与第1和第3实施方式不同的情况下的边缘检测电路的处理方法进行说明。在此情况下,构成块的4×4的像素排列与第1和第3实施方式不同。其它结构和效果与上述第1实施方式相同,对于同样的部分标注相同的标号并省略其说明。
图20为表示第4实施方式的信号生成电路的边缘检测电路的处理方法的图。从行存储器12向边缘检测电路131输入图20(a)所示的7×7的像素信号。在边缘检测电路131中,设作为7×7的中心像素的W像素为目标像素W0,7×7的像素信号象图20(b)所示的那样,被分离成以中心像素W0为角的4个块。这里,象前述那样,设左上为块AZ、右上为块BZ、左下为块CZ、右下为块DZ。在构成各块的4×4的像素排列中,设置4个像素的G、8个像素的W、2个像素的R、2个像素的B。
接着,象图20(c)那样,由边缘检测电路131的差分判定部实施1个像素差分判定方法。作为各块中的W像素的偏差,求出W信号的最大值Wmax与最小值Wmin,计算“Wmax-Wmin”。接着,判定各块的“Wmax-Wmin”是否小于阈值电平LevN。在“Wmax-Wmin”小于阈值电平LevN的情况下,判定在该块内不存在边缘,在“Wmax-Wmin”大于等于阈值电平LevN的情况下,判定在该块内存在边缘。该判定中采用的信号并不限于W信号,也可采用G信号、R信号、B信号,通过相同颜色的信号的差分进行判定。另外,通过同时采用WRGB信号中的多个信号,可以进一步改善边缘检测精度。
图21为块内的差分判定的另一处理方法的图。该差分判定由边缘检测电路131的差分判定部进行。这里,象图21(a)所示的那样,以左上的4×4像素的块AZ为例进行说明。
首先,对2个像素差分判定方法进行描述。象图21(b)所示的那样,判定取包括W0的2个像素的相加信号与另外的2个像素的相加信号的差分后的信号电平是否小于阈值电平LevN。接着,取3个判定的逻辑和(OR),作为块的最终判定。
接着,对3个像素差分判定方法进行描述。象图21(c)所示的那样,判定取包括W0的3个像素的相加信号和另外的3个像素的相加信号的差分后的信号电平是否小于阈值电平LevN。然后,取3个判定的逻辑和(OR),作为块的最终判定。此外,利用图21(b)和(c)以外的其它组合也可进行差分判定。另外,可通过增加取逻辑和的判定次数,来提高判定结果的精度。这样,通过采用2个或更多个像素的相加信号,可降低随机噪声,可实施高精度的判定。
另外,在下面列出其它的例子。
在选择块个数为2个块~4个块与0个块的情况下,对应于选择块个数来变更处理方法,但是为了削减电路,可针对每个块计算从图5所示的1个块的处理得到的各信号Rw、Gw、Bw,对应于选择块个数来使用前述的各信号Rw、Gw、Bw的平均值。或者,也可从4个块的Gave、Rave、Bave、Wrgb的平均值和W0信号,对新的信号Rw、Gw、Bw进行生成处理。另外,在块选择部132进行的不存在边缘的块的选择中,可以对4个块的各个差分信号进行比较,仅选择差分信号最小的1个块,生成信号Rw、Gw、Bw。
此外,上述实施方式也可适用于其它使用了W(白)的彩色滤光器排列。此外,还可自由地设定块的尺寸(1个块所包含的像素数)。另外,上述实施方式并不限于CMOS图像传感器,也可应用于其它的CCD图像传感器或层叠型图像传感器。另外,还可利用专用的ISP(图像信号处理器)进行处理。
下面对前述实施方式的阈值电平设定电路18中的阈值电平LevN的设定方法进行描述。图22为表示传感器部11中的光电变换特性与阈值电平的图。如果射入传感器部11的光量增大,则来自传感器部11的输出信号增大。伴随该输出信号的增加,光散粒噪声也增加。光散粒噪声根据光量的平方根产生。另外,图22为表示传感器部11中的光电变换特性的图。在射入传感器部11的入射光为低光量时,电路噪声与光散粒噪声相比处于支配性地位。于是,将假定了噪声电平的阈值电平LevN的值设为在低光量时假定了电路噪声的值,在光量大时,控制成使其根据光散粒噪声增大。通过这样的控制,可有效地抑制随机噪声。另外,亮度信号根据Y=0.59G+0.3R+0.11B的比例生成。于是,如果在对亮度信号的贡献小的R和B的随机噪声抑制处理时将阈值电平LevN设定得较大,则可增加R和B的随机噪声的抑制效果。
另外,如果对应于RGB的各信号量,根据白平衡的增益比设定阈值电平LevN,则更加有效。另外,在按照透镜的光学特性实施遮光校正的情况下,相对画面中心,越靠近上下左右和角,越以数字增益对信号进行放大。因此,上下左右、角的随机噪声增加。于是,如果根据该增益,在上下左右、角增大阈值电平LevN,则可增大噪声抑制效果,可改善画质。这样,通过对应于信号量、画面位置、颜色信息、增益信息等,适当地改变阈值电平LevN,可实现更高的画质。
在具有WRGB的彩色滤光器的固体摄像装置中,利用宽带的图像信号计算RGB信号的比例,在利用该比例从W像素生成新的RGB信号的情况下,由于从宽带图像计算RGB信号的比例,因此可能产生新生成的RGB信号的边缘模糊的问题。在本发明的实施方式中,将图像分割成以中心像素为角的4个块,针对每个块进行边缘判定,利用不存在边缘的块,从W像素生成RGB信号,由此可改善边缘的分辨率。
根据本发明的实施方式,可提供能够通过利用从W(白)像素得到的W信号的信号处理,提高灵敏度和S/N,并且能够降低分辨率劣化的固体摄像装置。
另外,上述各实施方式不仅可分别单独实施,还可适当组合地实施。另外,上述各实施方式中包括各种阶段的发明,通过在各实施方式中公开的多个构成要件的适合的组合,可以抽出各种阶段的发明。
对于本领域的普通技术人员来说,容易想到其它的优点和变更。因此,本发明在更广方面并不限于这里描述和图示的具体的细节和代表性的实施例。在不脱离后附的权利要求及其等同方案所限定的总的发明构思的精神或范围的情况下,可以进行各种变更。

Claims (10)

1. 一种固体摄像装置,包括:
像素部,在该像素部中,在光电变换元件中分别设置有W(白)、R(红)、G(绿)、B(蓝)的彩色滤光器的W像素、R像素、G像素、B像素被2维地设置成行列状,上述像素部输出分别对入射到上述W像素、R像素、G像素、B像素的光进行光电变换而得到的W信号、R信号、G信号、B信号;
边缘检测部,在上述像素部中确定以设置有W(白)滤光器的W像素为中心像素的规定区域,将上述规定区域分割为包括上述中心像素的多个块,检测表示在各个块内是否存在图像的边缘的边缘信息;
块选择部,从由上述边缘检测部检测出的上述边缘信息中,选择不存在边缘的块;
比例计算部,从由上述块选择部选择的块,计算上述R信号、G信号、B信号的比例系数;以及
RGB信号生成部,利用由上述比例系数计算部计算的上述比例系数,从上述中心像素的W信号新生成R信号、G信号、B信号。
2. 根据权利要求1所述的固体摄像装置,其中:
上述边缘检测部具有差分判定部,该差分判定部在上述多个块的各块内,将上述中心像素的W信号与其它W像素的W信号的差分与规定值进行比较,判定大小;
利用上述差分判定部的属于各块的判定结果,进行逻辑和运算,判定在上述各块内是否存在图像的边缘。
3. 根据权利要求1所述的固体摄像装置,其中:
上述边缘检测部包括差分判定部,该差分判定部在上述多个块的各块内,将包括上述中心像素的多个像素的相加信号和其它多个像素的相加信号的差分与规定值进行比较,判定大小;
利用上述差分判定部的属于各块的判定结果,进行逻辑和运算,判定在上述各块内是否存在图像的边缘。
4. 根据权利要求1所述的固体摄像装置,其中:
上述比例计算部求出相加平均值,该相加平均值是将由上述块选择部选择的块内的上述R信号、G信号、B信号的各平均值,与上述R信号、G信号、B信号的上述各平均值相加而得到的,分别计算上述R信号、G信号、B信号的各平均值相对上述相加平均值的比例来作为上述比例系数。
5. 根据权利要求4所述的固体摄像装置,其中:
上述RGB信号生成部分别将上述中心像素的W信号与上述比例计算部计算的上述R信号、G信号、B信号的上述比例系数相乘,由此新生成上述R信号、G信号、B信号。
6. 根据权利要求5所述的固体摄像装置,还包括:
拜尔排列变换部,该拜尔排列变换部利用上述新生成的上述R信号、G信号、B信号,进行向拜尔排列的变换。
7. 根据权利要求1所述的固体摄像装置,其中:
上述像素部中的上述规定区域具有7×7的像素排列,上述多个块包括具有4×4的像素排列的4个块。
8. 根据权利要求1所述的固体摄像装置,其中:
上述像素部中的上述规定区域具有5×5的像素排列,上述多个块包括具有3×3的像素排列的4个块。
9. 根据权利要求1所述的固体摄像装置,还包括:
信号处理电路,该信号处理电路接收由上述RGB生成部生成的R信号、G信号、B信号,进行白平衡、轮廓强调、γ校正、RGB矩阵电路中的至少任意一种处理。
10. 根据权利要求1所述的固体摄像装置,其中:
上述光电变换部件包括光电二极管。
CN2008100920520A 2007-01-26 2008-01-25 固体摄像装置 Expired - Fee Related CN101247529B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-016638 2007-01-26
JP2007016638 2007-01-26
JP2007016638A JP4846608B2 (ja) 2007-01-26 2007-01-26 固体撮像装置

Publications (2)

Publication Number Publication Date
CN101247529A true CN101247529A (zh) 2008-08-20
CN101247529B CN101247529B (zh) 2010-06-02

Family

ID=39667496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100920520A Expired - Fee Related CN101247529B (zh) 2007-01-26 2008-01-25 固体摄像装置

Country Status (3)

Country Link
US (1) US8040413B2 (zh)
JP (1) JP4846608B2 (zh)
CN (1) CN101247529B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621697B (zh) * 2009-07-28 2010-11-10 黄松涛 一种用多色图像传感器的背景消除装置及使用方法
CN102025926A (zh) * 2009-09-15 2011-04-20 三星电子株式会社 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置
CN102124744A (zh) * 2009-06-30 2011-07-13 索尼公司 图像处理装置、图像处理方法、成像设备及计算机程序
CN101742103B (zh) * 2008-11-14 2013-03-27 株式会社东芝 固体摄像器件
CN105451006A (zh) * 2014-09-19 2016-03-30 全视科技有限公司 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法
CN109788891A (zh) * 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
US8077234B2 (en) 2007-07-27 2011-12-13 Kabushiki Kaisha Toshiba Image pickup device and method for processing an interpolated color signal
JP4906627B2 (ja) * 2007-07-31 2012-03-28 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5206782B2 (ja) * 2010-12-28 2013-06-12 ブラザー工業株式会社 画像処理装置、画像処理方法およびプログラム
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
JP5500193B2 (ja) * 2012-03-21 2014-05-21 ソニー株式会社 固体撮像装置、撮像装置、撮像及び信号処理方法
WO2014091706A1 (ja) * 2012-12-14 2014-06-19 コニカミノルタ株式会社 撮像装置
KR101566201B1 (ko) 2013-11-04 2015-11-05 에스케이하이닉스 주식회사 Wrgb-rgb 변환 방법 및 그 처리 장치
KR101516757B1 (ko) * 2013-11-05 2015-05-06 에스케이텔레콤 주식회사 영상복원장치 및 영상복원장치의 동작 방법
US9548336B2 (en) 2014-04-24 2017-01-17 Samsung Electronics Co., Ltd. Image sensors and electronic devices including the same
WO2016047240A1 (ja) 2014-09-24 2016-03-31 ソニー株式会社 画像処理装置、撮像素子、撮像装置および画像処理方法
JP6525539B2 (ja) * 2014-10-08 2019-06-05 キヤノン株式会社 撮像素子及び撮像装置
JP6258842B2 (ja) * 2014-12-10 2018-01-10 株式会社Soken 画像処理装置、及び車線境界線認識システム
CN107534759B (zh) * 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
KR102376471B1 (ko) * 2018-03-19 2022-03-21 한국전자통신연구원 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법
WO2022063407A1 (en) * 2020-09-25 2022-03-31 Huawei Technologies Co., Ltd. Compressed image sensor module obtained using pixel rearrangement

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
KR100219628B1 (ko) * 1997-02-15 1999-09-01 윤종용 루프필터링 방법 및 루프필터
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6958772B1 (en) * 1999-01-20 2005-10-25 Canon Kabushiki Kaisha Image sensing apparatus and image processing method therefor
JP2002135801A (ja) * 2000-10-25 2002-05-10 Sony Corp 画像処理装置
JP4016593B2 (ja) * 2000-12-05 2007-12-05 日本電気株式会社 エッジ色消し回路及びその方法
JP3988457B2 (ja) * 2001-12-25 2007-10-10 ソニー株式会社 撮像装置及び固体撮像素子の信号処理方法
JP4159307B2 (ja) 2002-04-23 2008-10-01 富士フイルム株式会社 撮像画像の再現方法
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP3882929B2 (ja) * 2004-03-29 2007-02-21 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4253634B2 (ja) * 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
US8049789B2 (en) * 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742103B (zh) * 2008-11-14 2013-03-27 株式会社东芝 固体摄像器件
US8462237B2 (en) 2008-11-14 2013-06-11 Kabushiki Kaisha Toshiba Solid-state image pickup device which senses and processes light into primary color bands and an all wavelength band
CN102124744A (zh) * 2009-06-30 2011-07-13 索尼公司 图像处理装置、图像处理方法、成像设备及计算机程序
CN101621697B (zh) * 2009-07-28 2010-11-10 黄松涛 一种用多色图像传感器的背景消除装置及使用方法
CN102025926A (zh) * 2009-09-15 2011-04-20 三星电子株式会社 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置
US9380243B2 (en) 2009-09-15 2016-06-28 Samsung Electronics Co., Ltd. Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
CN105451006A (zh) * 2014-09-19 2016-03-30 全视科技有限公司 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法
CN105451006B (zh) * 2014-09-19 2018-02-16 豪威科技股份有限公司 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法
CN109788891A (zh) * 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器

Also Published As

Publication number Publication date
CN101247529B (zh) 2010-06-02
US8040413B2 (en) 2011-10-18
US20080180557A1 (en) 2008-07-31
JP2008187249A (ja) 2008-08-14
JP4846608B2 (ja) 2011-12-28

Similar Documents

Publication Publication Date Title
CN101247529B (zh) 固体摄像装置
CN101291437B (zh) 固体摄像装置
US9225948B2 (en) Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium
US20100149393A1 (en) Increasing the resolution of color sub-pixel arrays
WO2021196554A1 (zh) 图像传感器、处理系统及方法、电子设备和存储介质
US9560325B2 (en) Imaging device camera system and driving method of the same
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US8593548B2 (en) Apparataus and method of automatic color shading removal in CMOS image sensors
US7911507B2 (en) Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
US7876957B2 (en) Methods and apparatuses that reduce noise in image signals
TWI521965B (zh) Camera and camera methods, electronic machines and programs
US20090200451A1 (en) Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
US11064138B2 (en) High-dynamic image sensor
US20090290052A1 (en) Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
CN101467444A (zh) 固态图像传感器
CN102683363A (zh) 固体拍摄装置以及照相机模块
TW200822763A (en) Method and apparatus for producing bayer color mosaic interpolation for imagers
CN206004798U (zh) 含有成像设备的系统
US9179110B2 (en) Imaging systems with modified clear image pixels
US20090237530A1 (en) Methods and apparatuses for sharpening images
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100602

Termination date: 20160125

EXPY Termination of patent right or utility model