CN101690242B - 固态图像传感装置 - Google Patents
固态图像传感装置 Download PDFInfo
- Publication number
- CN101690242B CN101690242B CN2008800187542A CN200880018754A CN101690242B CN 101690242 B CN101690242 B CN 101690242B CN 2008800187542 A CN2008800187542 A CN 2008800187542A CN 200880018754 A CN200880018754 A CN 200880018754A CN 101690242 B CN101690242 B CN 101690242B
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- color
- judging unit
- white
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000000926 separation method Methods 0.000 claims abstract 4
- 238000000034 method Methods 0.000 claims description 29
- 239000004065 semiconductor Substances 0.000 claims description 14
- 239000000758 substrate Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 210000004276 hyalin Anatomy 0.000 claims description 6
- 239000012528 membrane Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 8
- 230000035699 permeability Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
一种固态图像传感装置具有多个像素,用于读出由光电转换元件获得的电信号的读出电路,和用于对于从读出电路读出的电信号进行信号处理的信号处理单元。多个像素包括具有透明膜的第一像素,每一个都具有第一滤色器的多个第二像素,每一个都具有第二滤色器的多个第三像素以及每一个都具有第三滤色器的多个第四像素。信号处理单元具有用于获取白色像素值和第一至第三颜色像素值的颜色获取单元,边缘判断单元,颜色分离单元和单色像素计算单元。
Description
相关申请的交叉引用
本申请基于并要求在先的于2006年6月6日提交的第2007-150608号日本专利申请的优先权,其全部内容通过引入结合在本文中。
技术领域
本发明涉及一种固态图像传感装置,其中多个具有光电转换元件的像素以矩阵形式配置。
背景技术
近年来,CMOS图像传感器已经得到积极地开发。特别地,随着半导体加工工艺的小型化(设计标准的减小),单芯片彩色图像传感器已经商业化,其中举例来说,像素间距为2.0μm的像素的数量超过五百万个。
然而,像素小型化的趋势转向具有1.7μm的像素间距以及1μm以下的孔面积的水平。在这样的像素大小中,入射光的波动性是显著的,并且由于衍射现象,与像素面积的减小比例相比,入射光的量更快速地减少。这样就存在对提高元件的SN比的新措施的需求。
这种CMOS图像传感器通常具有拜耳(Bayer)配置的滤色器,其中在两行两列组成的像素块中配置有一个红色(R)像素,一个蓝色(B)像素以及对角的两个绿色(G)像素。在像素块中设置两个G像素的原因是人类对绿色的可见度较高,绿色像素被用作获得亮度(明亮度)信息的像素。
由于图像质量依赖于如上所述的滤色器的配置而改变,因此已经提出了多种塑造滤色器的配置以提高图像质量的技术(例如,参见JP-A 2004-304706(公开公报),JP-A2003-318375(公开公报)以及JP-A 8-23542(公开公报))。
举例来说,JP-A 2004-304706(公开公报)公开了一种技术,其中用作亮度信号的白色像素被纵向和横向地配置在绿色像素周围以确保亮度信号的电荷量。然而,JP-A2004-304706(公开公报)并未公开任何用于处理白色像素数据的流程,并且没有考虑与诸如高空间频率的主体的具有快速变化的亮度的边缘对应的像素信号的处理。JP-A 2003-318375(公开公报)和JP-A 8-23542(公开公报)都没有提供关于边缘的处理的公开和建议。
发明内容
考虑到上述问题而作出本发明,并且本发明旨在提供一种固态图像传感装置,该固态图像传感装置具有相对于低亮度主体的高SN比,具有良好的颜色再现性,并且即使在具有边缘的主体的情形中也不会引起分辨率的劣化并不会产生伪信号。
根据本发明的一个方面,一种固态图像传感装置,包括:
以矩阵形式形成在半导体基板上的多个像素,每一个像素都具有光电转换元件;
读出电路,构造为读出由多个像素中的光电转换元件获得的电信号;以及
信号处理单元,被构造为对于从读出电路读出的电信号进行信号处理,
其中多个像素包括:
第一像素,被构造为将可见光波长的入射光经由透明膜引导至光电转换元件;
多个第二像素,每一个第二像素都具有第一滤色器,第一滤色器对于第一可见光波长范围的透过率比对于其他可见光波长范围的透过率更高;
多个第三像素,每一个第三像素都具有第二滤色器,第二滤色器对于不同于第一可见光波长的第二可见光波长范围的透过率比对于其他可见光波长范围的透过率更高;以及
多个第四像素,每一个第四像素都具有第三滤色器,第三滤色器对于不同于第一和第二可见光波长的第三可见光波长范围的透过率比对于其他可见光波长范围的透过率更高,以及
信号处理单元以至少具有第一至第四像素的像素块为单位进行信号处理,并包括:
颜色获取单元,被构造为获取与像素块中的白色的第一像素对应的白色像素值,与第一颜色的第二像素对应的第一颜色像素值,与第二颜色的第三像素对应的第二颜色像素值以及与第三颜色的第四像素对应的第三颜色像素值;
边缘判断单元,被构造为判断第一像素周围是否存在边缘,第一像素是像素块中用于信号处理的目标像素;
颜色分离单元,被构造为,当边缘判断单元判断在目标像素周围不存在边缘时,基于第一像素周围的第一至第三颜色像素值计算第一像素的颜色比例,并将所计算的颜色比例乘以第一像素的白色像素值以将第一像素颜色分离并且计算第一像素的第一至第三颜色像素值;以及
单色像素计算单元,被构造为,当边缘判断单元判断在目标像素周围存在边缘时,通过将第一像素假设为除了白色以外的其他单个颜色来计算单色像素值,而无需计算颜色比例。
此外,根据本发明的一个方面,一种固态图像传感装置,包括:
以矩阵形式形成在半导体基板上的多个像素,每一个像素都具有光电转换元件;
读出电路,构造为读出由多个像素中的光电转换元件获取的电信号;以及
信号处理单元,被构造为对于从读出电路读出的电信号进行信号处理,
其中多个像素包括:
第一像素,被构造为将可见光波长的入射光经由透明膜引导至光电转换元件;
多个第二像素,每一个第二像素都具有第一滤色器,第一滤色器对第一可见光波长范围的透过率比对其他可见光波长范围透过率更高;
多个第三像素,每一个第三像素都具有第二滤色器,第二滤色器对不同于第一可见光波长的第二可见光波长范围的透过率比对其他可见光波长范围的透过率更高;以及
多个第四像素,每一个第四像素都具有第三滤色器,第三滤色器对不同于第一和第二可见光波长的第三可见光波长范围的透过率比对其他可见光波长范围的透过率更高,以及
信号处理单元以至少具有第一至第四像素的像素块为单位进行信号处理,并包括:
颜色获取单元,被构造为获取与像素块中的白色的第一像素对应的白色像素值,与第一颜色的第二像素对应的第一颜色像素值,与第二颜色的第三像素对应的第二颜色像素值以及与第三颜色的第四像素对应的第三颜色像素值;
边缘判断单元,被构造为判断第三或者第四像素周围是否存在边缘,第三或者第四像素是像素块中用于信号处理的目标像素;以及
颜色添加处理单元,被构造为,当判断目标像素周围不存在边缘时,无修改地输出目标像素的颜色像素值,并且当判断目标像素周围存在边缘时,如果目标像素是第三像素,则将第三颜色像素值添加至目标像素的颜色像素值,或者如果目标像素是第四像素,则将第二颜色像素值添加至目标像素的颜色像素值。
附图说明
图1是显示根据本发明的一个实施例的固态图像传感装置的示意性构造的框图;
图2是显示两行两列的像素块的一个实例的示意图;
图3是显示滤色器的透过率的图示;
图4是显示配备有各种颜色的滤色器的各个像素的灵敏度的图示;
图5是显示其中总共4个图2中的像素块被纵向和横向配置的实例的示意图;
图6(a)是示范性地显示在行的方向上相邻的三个像素的截面结构的截面视图,图6(b)是其中在滤色器上布置有红外截止滤光片17的截面视图;
图7是显示每一个像素的透过波长范围和透过率之间的关系的图示;
图8是显示其中多个图2中的两行两列的像素块被纵向和横向配置的实例的示意图;
图9是显示其中在W像素的位置新生成RGB像素值RW、GW、BW的实例的示意图;
图10是显示围绕W像素的五行七列的像素块的一个实例的示意图;
图11是解释颜色插值处理的示意图;
图12是显示根据本实施例的信号处理电路6的内部构造的框图;
图13是显示第一实施例中如图12所构造的信号处理单元的处理操作的流程图;
图14(a)至图14(d)是解释在边缘判断中使用的像素线的示意图;
图15(a)至图15(d)是解释由相同种类的像素组成的像素线的示意图;
图16是显示第二实施例中如图12构造的信号处理单元6的处理操作的流程图;
图17(a)至17(d)是解释用于第二实施例中的边缘判断的像素线的示意图;
图18是显示根据第三实施例的信号处理单元6的处理操作的流程图;
图19(a)至图19(c)是解释用于第三实施例中的边缘判断的像素线的示意图;
图20是显示在第四实施例中使用的像素配置的示意图;
图21是显示根据第四实施例的信号处理单元6的处理步骤的流程图;
图22是显示第四实施例中的像素块的一个实例的示意图;
图23是显示第四实施例中的像素线的一个实例的示意图;以及
图24(a)和图24(b)是显示用于第四实施例中的边缘判断的像素线的一个实例的示意图。
具体实施方式
在下文中,将参照附图对本发明的实施例进行描述。
(第一实施例)
图1是显示根据本发明的一个实施例的固态图像传感装置的示意性构造的框图。图1中的固态图像传感装置具有在其中多个具有光电转换元件的像素以矩阵形式配置的像素阵列1,用于依序将驱动电压供给至像素阵列1中的各行的垂直扫描器2,用于去除在单个像素中被光电转换的图像信号中包含的噪声的噪声减法电路3,用于从噪声减法电路3 输出的图像信号的A/D转换的A/D转换电路4,用于在A/D转换之后逐行依序选择图像数据并读取图像数据的水平扫描器5,以及对于图像数据进行随后描述的信号处理的信号处理单元6。
图像数据对于像素阵列1中的每一行被逐列地顺序输入至信号处理单元6。垂直扫描器2、噪声减法电路3、A/D转换电路4和水平扫描器5构造读出电路。读出电路同时地从一条水平线上的多个像素读取信号,或者逐个像素地读取信号。
读出电路和像素阵列1形成在同一半导体基板上。信号处理单元6可以被形成在该半导体基板上,或者信号处理单元6可以被形成在独立于此半导体基板的半导体基板上。在这种情况下,读出电路的输出被输入至独立的半导体基板上的信号处理单元6。
像素阵列1中的多个像素以若干相邻配置的像素为基础被分成多个像素块。举例来说,图2是显示两行两列的像素块的一个实例的示意图,其中白色W像素(以下W像素)和绿色G像素(以下G像素)被对角地配置,剩下的两个像素是红色R像素和蓝色B像素(以下R像素和B像素)。
W像素将可见光波长(例如,400nm至650nm)的入射光经由透明膜引导至相应的光电转换元件。透明膜由对可见光透明的材料形成,并在全部可见光范围显示出高灵敏度。
另一方面,G像素设置有对绿色可见光波长范围内的光具有高透过率的滤色器,R像素设置有对红色可见光波长范围内的光具有高透过率的滤色器,B像素设置有对蓝色可见光波长范围内的光具有高透过率的滤色器。
设置W像素的原因是,白色像素透过所有可见光波长范围内的光,因此适合获取亮度信息。绿色像素也可以用来获取亮度信息,以致图2中白色像素和绿色像素被对角地配置。这使得对于所有的行和列同等地检测亮度信息以及提高亮度分辨率成为可能。
此外,图2中的像素块除W像素之外还具有RGB像素的原因是,RGB是原色并且与补色(黄色、青色、品红色)的像素相比具有更好的颜色再现性,并且RGB还可以简化信号处理的流程。
这里,W像素举例来说对应于第一像素,G像素、R像素和B像素举例来说分别对应于第二至第四像素。
图3是显示滤色器的透过率的图示,图4是显示配备有各种颜色的滤色器的各个像素的灵敏度的图示。如图3所示,用于白色W的滤色器对所有的可见光波长范围(大约400至700nm)的光具有95%以上的透过率。用于绿色G的滤色器对大约500至550nm的光 具有高透过率。用于红色R的滤色器对大约600至700nm的可见光波长范围内的光具有高透过率。用于蓝色B的滤色器对大约450至490nm的可见光波长范围内的光具有高透过率。
如图4所示,灵敏度具有与透过率特性类似的特性,以致白色W像素对所有的可见光波长范围具有高灵敏度,并且具有的灵敏度是RGB中的每一个单个像素的灵敏度的大约两倍。
此外,如果滤色器被设计成使得蓝色B和绿色G的交叉点(其中光谱彼此交叉的点的透过率)以及绿色G和红色R的交叉点大约是最大值的50%,当如随后描述地从白色W提取颜色信号时,从白色W提取的绿色G的光谱可能在形状上与单个绿色G的光谱大体上相似。只要交叉点在40%到60%的值的范围内,就能获得良好的颜色再现性,并且在30%到70%的值的范围内能够获得实用水平的颜色再现性。
图5是显示其中总共4个图2中的像素块被纵向和横向配置的实例的示意图。图6(a)是示范性地显示在行的方向相邻的三个像素的截面结构的截面视图。如图6(a)所示,每一个像素具有形成在半导体基板11上的光电转换元件12,其上经由层间绝缘膜13形成的滤色器14,并且其上形成的微透镜15。用于屏蔽相邻像素的光的光屏蔽膜16被形成在层间绝缘膜13内部。
由于光电转换元件12在直到近红外波长范围时还是灵敏的,除非近红外光(例如,650nm以上)被截断,它的颜色再现性才会劣化。举例来说,当发射(反射)纯绿光和近红外光的主体被成像时,绿光在G像素中被检测到,近红外光在R像素中被检测到,以致主体不能作为纯绿色(R∶G∶B)=(0∶1∶0)被检测到。
如此,用于屏蔽等于或大于例如650nm的光的红外截止滤光片被设置在固态图像传感装置和主体之间或者固态图像传感装置和透镜之间以使仅有可见光波长可以进入固态图像传感装置。替代地,如图6(b)中的截面视图所示,红外截止滤光片17可以被布置在滤色器上。在图6(b)中,没有为白色像素设置红外截止滤光片17。原因是白色像素被设置来获取亮度信息并且没有红外截止滤光片17的话能够更确实地获取低亮度侧的亮度信息。
图7是显示在各个RGB像素中设置红外截止滤光片17并且在白色像素(以下,W像素)中没有设置红外截止滤光片17的情形中,每一个像素的透过波长范围和透过率之间关系的图示。如图所示,W像素能够吸收直到作为光电转换元件的基板材料的硅能够进行光电转换的波长(大约1.1μm的近红外线)的光线。W像素在对低亮度主体成像的情形中尤其有优势,并且也可以用作近红外照相机。
W像素输出的信号值W不能够直接用作是通用视频信号的RGB值。因此,有必要将W像素的白色像素值W颜色分离成RGB的三色像素值。下面解释用于颜色分离的处理(以下,颜色分离处理)。
图8是显示其中多个图2中的两行两列的像素块被纵向和横向配置的实例的示意图。如图8中的粗线所指示的,围绕W像素的三行三列的像素块下面被定义为基本单元。图8是使颜色分离处理的解释清晰的实例,并且实际的像素块的基本单元不限于三行三列。
根据下面的公式(1)到(3),使用W像素周围的RGB像素进行颜色分离处理。
RW←W·K1...(1)
GW←W·K2...(2)
BW←W·K3...(3)
这里,K1、K2和K3表示从目标W像素周围的RGB像素获得的颜色比例,并且,举例来说,由下面的公式(4)到(6)表示。
这里,Raverage、Gaverage和Baverage是目标W像素周围的多个像素的颜色像素值RGB的平均数,并且,举例来说,是存在于像素块中的两个红色像素的平均颜色像素值,四个绿色像素的平均颜色像素值以及两个蓝色像素的平均颜色像素值。
如图8所示,计算出围绕W像素的三行三列的像素块中的颜色比例K1、K2和K3,并且乘以W像素本身的亮度值(白色像素值W)。用这样的方式,W像素被颜色分离并且亮度分辨率没有劣化,在W像素的位置新生成RGB像素值RW、GW和BW,如图9所示。
在颜色分离处理中,由于要参照相邻行的颜色像素值,所以必须进行跨行的计算。如此,两行的颜色像素值被临时地存储在线路存储器中,并且当像素块中的最后的行被读取时,存储在线路存储器中的剩下的两行的颜色像素值被读取以进行上述的公式(1)至(3)的计算。
这里,举例来说,如果像素块中的颜色像素值是W=200并且(Raverage,Gaverage,Baverage)=(80,100,70),则根据公式(1)至(6),(RW,GW,BW)=(64,80,56)。
如果白色像素值W以这种方式被转换成颜色像素值RW、GW、BW,它是平均颜色像素值Raverage、Gaverage、Baverage的(64+80+56)/(80+100+70)=4/5倍。如此,以4/5的倒数5/4作为常数乘以公式(1)至(3)的每一个的右边得到的值可以作为最终的颜色像素值RW、GW、BW。
颜色转换数据RW、GW、BW可以只是通过使用原本具有高SN比的白色像素值W以及具有通过平均而提高的SN比的颜色像素值的乘法和除法来获得,并且所生成的颜色像素值的SN比高于单个R、G、B的颜色像素值的SN比。
此外,如上所述,像素块不限于三行三列。举例来说,图10是显示围绕W像素的五行七列的像素块的一个实例的示意图。上述用来进行颜色分离处理的线路存储器的容量依赖于像素块中的行数,并且线路存储器的容量随着行数的增加而增加。因此,极端地增加像素块中的行数并不是可取的。
在已经完成颜色分离处理之后,进行颜色插值处理。在该颜色插值处理中,举例来说,计算出像素块中所有的R像素和RW像素的平均值R′,如图11所示。以同样的方式,计算出像素块中所有的G像素和GW像素的平均值G′,以及计算出像素块中所有的B像素和BW像素的平均值B′。如图11所示,所计算出的像素平均值R′、G′、B′被看作像素块的中心像素(作为信号处理目标的像素)的颜色像素值。
在该颜色插值处理中,包括W像素的像素块的像素配置以与拜耳配置同样的方式被处理,并且用作信号处理目标的像素周围的像素的颜色像素值被用来修正用作信号处理目标的像素的颜色像素值。如此,每个像素周围的三行三列的像素块中的三个颜色像素值RGB和被颜色分离的像素值RW、GW、BW被平均以确定所有像素的最终颜色像素值R′、G′和B′。
如上所述的处理被重复以使得对于所有像素位置的三种颜色的颜色像素值R′、G′、B′被生成。这些颜色像素值中,颜色像素值R′、B′是通过基于拜耳配置的两倍高的数量的像素的R像素值和B像素值的颜色插值而获得,并且SN比被提高为大约是先前的两倍高。
如上所述的颜色分离处理是基于三行三列的像素块中的色调(颜色比例K1到K3)是均匀的假设而进行的。然而,在将处于比三行三列更高的空间频率的主体成像的情形中,即,在像素块中包含边缘的情形中,该假设并不成立。
举例来说,在将图8中的包含中心的W像素的行对应于具有高亮度的纯白线并且此行以外的区域的亮度为0的主体成像的情形中,如果简单如实地根据以上的公式(1)至(6)进行颜色分离处理,则G、R像素的输出值显著地低,而W、B像素的输出值显著地高。 在这种情况下,K1到K3中只有K3(蓝色的比例)得到较大的值,K1、K2得到接近0的值。
即,在颜色分离处理中,对于处于比三行三列更高的空间频率的主体的图像数据,不同于主体的实际颜色的颜色伪信号被计算。
为了解决该问题,在本实施例中设置了用于检测处于高空间频率的像素区域的边缘判断单元。
图12是显示根据本实施例的信号处理电路6的内部构造的框图。如图所示,信号处理电路6具有用于根据上述公式(1)至(6)进行颜色分离处理的颜色分离处理单元11,以及用于在颜色分离之后将颜色像素值平均以确定最终颜色像素值的颜色插值处理单元12,除此之外,信号处理电路6还具有用于判断像素是否处于高空间频率,即像素区域是否具有边缘的边缘判断单元20。颜色分离处理单元11、颜色插值处理单元12和边缘判断单元20基于由多个像素组成的像素块进行处理,并且每一个单元都设置有用于存储一个像素块的颜色像素值的存储器。
在本实施例的信号处理电路6中,颜色分离处理单元11中处理的内容依赖于边缘判断单元20判断边缘是否存在而改变。
图13是显示第一实施例中如图12中构造的信号处理单元的处理操作的程序框图。图14(a)到图14(d)是解释在边缘判断中使用的像素线的示意图。
首先,如图14(a)中粗线所指示的,基于具有位于其中心处的W像素的三行五列的像素块,获得各个像素块中的颜色像素值C=(C1,C2,C3)以及白色像素值W(步骤S1)。在像素块中心的W像素是用作信号处理目标的像素。
然后,如图14(a)所示,检测到包括中心的W像素的竖直线中的三个像素的颜色像素值的总和LineV0,和靠近上述竖直线的两条竖直线中的每一个的三个像素的颜色像素值的总和LineV1、LineV2。同样地,如图14(b)所示,检测到包括中心的W像素的水平线中的三个像素的颜色像素值的总和LineH0,靠近上述水平线的两条水平线中的每一个的三个像素的颜色像素值的总和LineH1、LineH2。同样地,如图14(c)所示,检测到包括中心的W像素的右倾斜线中的三个像素的颜色像素值的总和LineD0a,靠近上述右倾斜线的两条右倾斜线中的每一个的三个像素的颜色像素值的总和LineD1、LineD2。同样地,如图14(d)所示,检测到包括中心的W像素的左倾斜线中的三个像素的颜色像素值的总和LineD0b,靠近上述左倾斜线的两条左倾斜线中的每一个的三个像素的颜色像素值的总和LineD3、LineD4(步骤S2)。
然后,边缘判断单元20判断竖直线、水平线、右倾斜线和左倾斜线是否满足下面的公式(7)到(10)的条件(步骤S3)。
|2×LineV0-(LineV1+LineV2)|>LevNV ...(7)
|2×LineH0-(LineH1+LineH2)|>LevNH ...(8)
|2×LineD0a-(LineD1+LineD2)|>LevNDa...(9)
|2×LineD0b-(LineD3+LineD4)|>LevNDb...(10)
这里,LevNV是检测垂直边缘的阈值,LevNH是检测水平边缘的阈值,LevNDa是检测向右倾斜的边缘的阈值,以及LevNDb是检测向左倾斜的边缘的阈值。
举例来说,当公式(7)成立,判断竖直线的边缘存在,设定标记flg=1。举例来说,如果LineV0=100,LineV1=100,LineV2=20以及LevNV=50,则公式(7)成立,边缘被检测到,结果是标记flg=1。对于水平线、右倾斜线和左倾斜线的边缘,当公式(8)到(10)成立时,判断边缘存在,并且设定标记flg=1。
在步骤S3中,如果上述公式(7)至(10)中的条件中至少一个被满足,则判断边缘存在,并且进行随后说明的步骤S5中的处理。如果上述公式(7)至(10)中的所有条件都满足,判断边缘不存在,进行随后说明的步骤S4中的处理。
上述公式(7)对应于竖直线边缘判断单元,上述公式(8)对应于水平线边缘判断单元,上述公式(9)对应于右倾斜线边缘判断单元,以及上述公式(10)对应于左倾斜线边缘判断单元。
上述公式(7)至(10)能够实施边缘检测。在用作比较目标的三条线当中,中心线和其两侧的线在像素种类方面不同。举例来说,在竖直线的情形中,中心竖直线由B像素和W像素组成,而中心竖直线两侧的竖直线由G像素和R像素组成,如图14(a)所示。
当如上所述地比较目标在像素种类方面彼此不同时,可能不能进行正确的边缘检测。举例来说,当在图14(a)的像素块中单纯蓝色的主体被成像时,即便原始主体没有边缘,仅中心竖直线输出高颜色像素值,以致公式(7)成立,并且中心竖直线被识别为边缘。
如此,如图15(a)至图15(d)所示,由相同种类的像素组成的线可以彼此比较。在图15(a)至图15(d)的情形中,在其中一个像素行被插入两条线之间的三条线被选择以取代相邻的三条线,而作为比较目标的三条线中像素的配置和种类是相同的。因此,边缘检测的精确度被提高。
当作为步骤S3中的边缘判断处理的结果而判断没有边缘存在时,颜色分离处理单元11根据上述公式(1)至(6)对像素块中心的W像素进行颜色分离处理,并将W像素值转换成RGB的颜色像素值RW、GW、BW(步骤S4)。
另一方面,当作为步骤S3中的边缘判断处理的结果而判断边缘存在时,不可能从周围的像素参照正确的颜色比例,以致根据下面的公式(11)将W像素作为G像素处理(单色像素计算单元,步骤S5)。W像素作为G像素被处理的原因是G像素被用来获得亮度信息,并且通过不将W像素作为R像素或者B像素处理来使得伪信号的生成得到抑制。
GW=aW+b ...(11)(a、b是常数)
由于对于具有同样亮度的主体,白色像素值原本具有是绿色像素的两倍高的值,举例来说,通过设定a=0.5和b=0来修正信号值。在这种情况下,举例来说,如果白色像素值是150,则GW=75。举例来说,当W像素和G像素在暗信号中不同时,值b被设定。
用于进行步骤S5中的处理的单色像素计算单元可以被设置在图12中的颜色分离处理单元11中或者可以独立于颜色分离处理单元11设置。
由于如上所述的操作,信号矩阵在边缘存在的情形中差不多类似拜耳配置,以致伪信号的生成被抑制。
当图13中的步骤S4或S5中的处理完成时,颜色插值处理单元12进行颜色插值处理(步骤S6)。在该颜色插值处理中,如图11所描述的,计算像素块中所有的G像素的颜色像素值的平均数和所有的B像素的颜色像素值的平均数,并且G像素和B像素的平均颜色像素值被用作像素块的中心的W像素的颜色像素值。
如此,在第一实施例中,对于在中心包括W像素的各个像素块,实施边缘判断以检测W像素周围是否存在处于高空间频率的主体,即,像素区域是否具有边缘。当没有边缘时,中心的W像素被颜色分离成三种颜色像素值,而当存在边缘时,中心的W像素作为G像素被处理。这消除了这样的问题:归因于处于高空间频率的主体而生成伪信号。
(第二实施例)
第二实施例在被用作边缘判断的像素线的种类方面不同于第一实施例。
在第一实施例中描述的实例中,如图14(a)至图14(d)或者图15(a)至图15(d)所示,像素块中三条线被设定作为边缘检测的比较目标,并且这些线中的中心线包括用作信号处理的目标的W像素,其位于像素块的中心。
用作比较目标的像素线并非必须包括位于像素块中心的用作信号处理的目标的W像素。如此,在如下所述的第二实施例中,用靠近中心W像素的两条线来实施边缘判断。另外,第二实施例的特征在于用作比较目标的两条像素线的种类是相同的。
图16是显示第二实施例中如图12构造的信号处理单元6的处理操作的流程图。图17(a)至17(d)是解释用于边缘判断的像素线的示意图。
首先,如图13中的步骤S1,获取每一个像素块中的RGB的颜色像素值和白色像素值W(步骤S11)。然后,检测用于边缘判断的两条线的颜色像素值的总和(步骤S12)。更具体地说,如图17(a)所示,检测挟持W像素的两条竖直线中的每一条中的三个像素的颜色像素值的总和LineV1、LineV2,并且如图17(b)所示检测挟持W像素的两条水平线中的每一条中的三个像素的颜色像素值的总和LineH1、LineH2。同样地,如图17(c)所示,检测挟持W像素的两条右倾斜线中的每一条中的三个像素的颜色像素值的总和LineD1、LineD2,并且如图17(d)所示检测挟持W像素的两条左倾斜线中的每一条中的三个像素的颜色像素值的总和LineD3、LineD4。
然后,边缘检测单元判断竖直线、水平线、右倾斜线和左倾斜线是否满足下面的公式(12)至(15)的条件(步骤S13)。
|LineV1-LineV2|>LevNV ...(12)
|LineH1-LineH2|>LevNH ...(13)
|LineD1-LineD2|>LevNDa ...(14)
|LineD3-LineD4|>LevNDb ...(15)
在步骤S13中,如果上述公式(12)至(15)中的条件中的至少一个被满足,则判断边缘存在,并且基于上述公式(11)将中心的W像素作为G像素处理。另一方面,如果上述公式(12)至(15)中的全部条件都不满足,则判断没有边缘存在,并且根据上述公式(1)至(6)进行颜色分离处理以将白色像素值转换为RGB颜色像素值(步骤S14)。
当步骤S14或S15中的处理完成时,进行与图13中的步骤S6类似的颜色插值处理(步骤S16)。
如上所述,在第二实施例中,通过像素块中两条线的颜色像素值的比较来实施边缘判断,以使得能够以比三条线的颜色像素值的比较更小的处理量来实现边缘判断。另外,因为构成用作比较目标的两条像素线的像素的种类是相同的,没有将像素线错误地判断为边缘的风险。
(第三实施例)
在第三实施例中,在目标W像素检测到没有边缘的区域,并且在该区域中进行颜色分离处理。
图18是显示根据第三实施例的信号处理单元6的处理操作的流程图,图19(a)至图19(c)是解释在边缘判断中使用的像素线的示意图。
首先,获取像素块中包括中心的W像素的颜色像素值(步骤S21)。然后,使用中心的W像素作为用作信号处理目标的像素以计算包括W像素的竖直线LineV0的颜色像素值的总和,位于竖直线LineV0的两侧跨过一个像素的两条竖直线LineV1、LineV2中的每一条的颜色像素值的总和,包括W像素的水平线LineH0的颜色像素值的总和,位于水平线LineH0的两侧跨过一个像素的两条水平线LineH1、LineH2中的每一条的颜色像素值的总和,包括W像素的右倾斜线LineD0a的颜色像素值的总和,位于右倾斜线LineD0a的两侧跨过一个像素的两条右倾斜线LineD1、LineD2中的每一条的颜色像素值的总和,包括W像素的左倾斜线LineD0b的颜色像素值的总和,以及位于左倾斜线LineD0b的两侧跨过一个像素的两条左倾斜线LineD3、LineD4中的每一条的颜色像素值的总和(步骤S22)。
然后,边缘判断单元20判断竖直线、水平线、右倾斜线和左倾斜线是否满足上面的公式(7)至(10)的条件(步骤S23)。如果所有的四个条件都不满足,则判断没有边缘存在,并且用作信号处理的目标的W像素根据公式(1)至(6)被颜色分离成RGB像素(步骤S24)。
另一方面,如果步骤S23中的四个条件中的至少一个满足,则边缘判断单元20判断下面的公式(16)至(19)中的条件是否有至少一个被满足(步骤S25)。公式(16)、(17)是用于判断端部的竖直线的颜色像素值的总和与中心竖直线的颜色像素值的总和之间的差值是否小于预定的阈值LevNH2。公式(18)、(19)是用于判断端部的水平线的颜色像素值的总和与中心水平线的颜色像素值的总和之间的差值是否小于预定的阈值LevNH2。
|LineH1-LineH0|<LevNH2…(16)
|LineH2-LineH0|<LevNH2…(17)
|LineV1-LineV0|<LevNV2…(18)
|LineV2-LineV0|<LevNV2…(19)
进行步骤S25中的处理以检测用作信号处理的目标的W像素周围的没有边缘的平滑区域。举例来说,当作为比较竖直线的结果的LineV1=100,LineV0=90,LineV2=20以及LevNV2=30时,图19(a)中由虚线包围的三行三列的像素区域被判断为没有边缘的平滑区域。同样地,作为比较水平线的结果,图19(b)中由虚线包围的三行三列的像素区域被判断为没有边缘的平滑区域。
在这种情况下,图19(c)中的两行两列的像素区域,其是图19(a)和图19(b)中的虚线包围区域的共有部分,最终被判断为没有边缘的平滑区域(步骤S26)。然后,在步骤S24中对该平滑区域进行颜色分离处理。
另一方面,当上述公式(16)至(19)中所有判断都被否定时,判断没有平滑区域存在并且正常的颜色分离处理是不可能的,以致基于上述公式(11)将用作信号处理的目标的W像素作为G像素处理(步骤S27)。
如上所述,在第三实施例中,当用作信号处理的目标的W像素周围存在边缘时,判断W像素周围是否存在任何平滑区域。当平滑区域存在时,在该平滑区域进行W像素的颜色分离处理。因此,即使当存在边缘时,能够进行最大限度地可靠的颜色分离处理,并且能够获得具有良好的颜色再现性的RGB图像。
(第四实施例)
在第四实施例中,采用不同于第一至第三实施例的像素配置,并且在边缘判断中使用的像素行的种类也有变化。
图20是显示在第四实施例中使用的像素配置的示意图。在图20的像素配置中,W像素被配置成交错形式,并且占有像素的总数的50%。G、R、B像素以25%、12.5%和12.5%的比例被配置在W像素当中。R和B像素的比例较低的原因是人类对绿光的可见度较高并且与绿色相比,对红色和蓝色的颜色信息并不是这么需要。
图21是显示根据第四实施例的信号处理单元6的处理步骤的流程图。虽然信号处理目标不限于第一至第三实施例中的W像素,在本实施例中不仅W像素是用作信号处理的目标,而且RGB像素也可以是用作信号处理的目标。如此,在已经获取颜色像素值之后(步骤S31),判断用作信号处理的目标的像素(中心像素)是否是W像素(步骤S32)。
如果信号处理目标是W像素,进行类似于图13的处理(步骤S33至S37)。在这种情况下,可以使用W像素周围的三行三列的像素块的颜色像素值,或者使用比三行三列的像素块更宽范围的颜色像素值,诸如图22所示的五行五列或者五行七列的像素块来进行步骤S33至S37的处理。
大的像素块具有大量参考像素并且抑制了包含在RGB像素的颜色像素值的平均数中的随机噪声,但是增加了信号处理量。因此,考虑到降噪和信号处理量增加之间的平衡可以选择像素块的尺寸。
当不存在边缘时,W像素能够通过上述的步骤S33至S37中的处理被颜色分离成RGB像素。当存在边缘时,W像素能够被替换为G像素。
另一方面,当信号处理目标不是W像素而是R像素或者B像素时,进行下述的步骤S38至S41中的处理。在图20的像素配置的情形中,存在的R像素和B像素的数量只是G像素数量的一半。因此,如图23所示,在包括用作信号处理的目标的B像素的右倾斜线中不存在R像素。如果具有沿着右倾斜线的边缘的黑白条纹的主体被成像,G像素和B像素的颜色像素值非常高,并且本来应该被检测到的R像素的颜色像素值没有被输出,这引起强的伪信号的生成。这同样适用于具有沿着左倾斜线的边缘的主体被成像的情形。当用作信号处理的目标的像素是R像素时,在其中本来应该被检测到的B像素的颜色像素值未被输出,也出现类似的问题。
如此,在图21中的步骤S38至S41中,进行插值处理,在其中R像素被指派至用作信号处理的目标的B像素的位置并且B像素被指派至用作信号处理的目标的R像素的位置。
首先,如图24(a)和24(b)所示,检测到靠近用作信号处理的目标的B像素的两条右倾斜线中的每一条的颜色像素值的总和值LineD5、LineD6,以及靠近用作信号处理的目标的B像素的两条左倾斜线中的每一条的颜色像素值的总和值LineD7、LineD8。然后判断下面的公式(20)至(21)中的条件是否有至少一个被满足。如果条件被满足,标记“flg”被设定为“1”,而如果条件不被满足,标记“flg”被设定为“0”。
|LineD5-LineD6|>LevNDc ...(20)
|LineD7-LineD8|>LevNDd ...(21)
这里,LevNDc、LevNDd是预定的阈值。举例来说,如果LineD5=100,LineD6=300以及LevNDc=40,则公式(20)的条件被满足,结果是标记flg=1。公式(20)对应于右倾斜线边缘判断单元,公式(21)对应于左倾斜线边缘判断单元。
当标记flg=1时,如果用作信号处理的目标的像素是B像素,则在B像素的位置重新设定R像素(步骤S40)。这里,求得像素块中的W像素、G像素和B像素的平均值,并根据公式(22)进行减法处理。
R1=aWaverage-(bBaverage+cGaverage)...(22)
这里,a、b、c是由各个像素的灵敏度确定的系数。举例来说,如果Waverage=150、Baverage=100和Gaverage=100,则当a=1.2、b=0.4和c=0.4时R1=100。
同样地,在标记flg=1的情形中,如果用作信号处理的目标的像素是R像素,则根据公式(23)在R像素的位置重新设定B像素(步骤S41)。
B1=dWaverage-(eRaverage+fGaverage) ...(23)
步骤S40,S41对应于颜色添加处理单元。当步骤S35,S36,S40,S41中的处理被完成时,进行颜色插值处理(步骤S37)。
如上所述,在第四实施例中,在采用其中三个RGB颜色中只有两种颜色出现在向右倾斜的方向和向左倾斜的方向的像素配置的情形中,不存在的颜色的像素实际上被设定作为信号目标像素,以致抑制其中只有特定的颜色成分较强的伪信号的生成,并且能够获得具有满意的SN比的RGB图像。
Claims (20)
1.一种固态图像传感装置,其特征在于,包括:
以矩阵形式形成在半导体基板上的多个像素,每一个像素都具有光电转换元件;
读出电路,构造为读出由所述多个像素中的所述光电转换元件获得的电信号;以及
信号处理单元,被构造为对于从所述读出电路读出的所述电信号进行信号处理,
其中所述多个像素包括:
白色像素,被构造为将可见光波长的入射光经由透明膜引导至所述光电转换元件;
多个绿色像素,每一个绿色像素都具有第一滤色器,所述第一滤色器对绿色可见光波长范围的透过率比对其他可见光波长范围的透过率更高;
多个红色像素,每一个红色像素都具有第二滤色器,所述第二滤色器对红色可见光波长范围的透过率比对其他可见光波长范围的透过率更高;以及
多个蓝色像素,每一个蓝色像素都具有第三滤色器,所述第三滤色器对蓝色可见光波长范围的透过率比对于其他可见光波长范围的透过率更高,以及
所述信号处理单元以至少具有所述白色、绿色、红色和蓝色像素的像素块为单位进行所述信号处理,并包括:
颜色获取单元,被构造为获取与所述像素块中的所述白色像素对应的白色像素值,与所述绿色像素对应的第一颜色像素值,与所述红色像素对应的第二颜色像素值以及与所述蓝色像素对应的第三颜色像素值;
边缘判断单元,被构造为判断所述白色像素周围是否存在边缘,所述白色像素是所述像素块中用于所述信号处理的目标像素;
颜色分离单元,被构造为,当所述边缘判断单元判断在所述目标像素周围不存在边缘时,基于所述白色像素周围的所述第一至第三颜色像素值计算所述白色像素的颜色比例,并将所计算的颜色比例乘以所述白色像素的所述白色像素值以将所述白色像素颜色分离并且计算所述白色像素的所述第一至第三颜色像素值;以及
单色像素计算单元,被构造为,当所述边缘判断单元判断在所述目标像素周围存在边缘时,通过将所述白色像素假设为除了白色以外的其他单个颜色来计算单色像素值,而无需计算所述颜色比例。
2.如权利要求1所述的装置,其特征在于,所述颜色分离单元基于下列公式(1)至(4),通过使用所述像素块中的所述第一至第三颜色像素值C1、C2、C3来将所述白色像素值颜色分离,以计算第一颜色像素值C1W、第二颜色像素值C2W和第三颜色像素值C3W,所述公式(4)中的m是从1变至3的任意变量,Km是由信号强度比例表示的颜色比例,
C1W←W·K1 ...(1)
C2W←W·K2 ...(2)
C3W←W·K3 ...(3)
3.如权利要求1所述的装置,其特征在于,所述边缘判断单元包括:竖直线边缘判断单元,被构造为判断所述像素块中包括用于信号处理的白色目标像素的竖直线上的多个像素的颜色像素值的总和值和配置在包括所述白色目标像素的所述竖直线的两侧的两条竖直线上的多个像素的颜色像素值的总和值之间的差值是否超过第一参考值;
水平线边缘判断单元,被构造为判断所述像素块中包括所述白色目标像素的水平线上的多个像素的颜色像素值的总和值和配置在包括所述白色目标像素的所述水平线的两侧的两条水平线上的多个像素的颜色像素值的总和值之间的差值是否超过第二参考值;以及
斜线边缘判断单元,被构造为判断所述像素块中包括所述白色目标像素的斜线上的多个像素的颜色像素值的总和值和配置在包括所述白色目标像素的所述斜线的两侧的两条斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第三参考值,
当所述竖直线边缘判断单元、水平线边缘判断单元和斜线边缘判断单元中的至少一个的判断为肯定的时,所述边缘判断单元判断在所述白色目标像素周围存在所述边缘。
4.如权利要求3所述的装置,其特征在于,所述斜线边缘判断单元包括:
右倾斜线边缘判断单元,被构造为判断所述像素块中包括所述白色目标像素的右倾斜线上的多个像素的颜色像素值的总和值和配置在包括所述白色目标像素的所述右倾斜线的两侧的两条右倾斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第四参考值;以及
左倾斜线边缘判断单元,被构造为判断所述像素块中包括白色目标像素的左倾斜线上的多个像素的颜色像素值的总和值和配置在包括所述白色目标像素的所述左倾斜线的两侧的两条左倾斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第五参考值,
当通过所述竖直线边缘判断单元、水平线边缘判断单元、右倾斜线边缘判断单元和左倾斜线边缘判断单元中的至少一个判断为肯定时,所述边缘判断单元判断在所述白色目标像素周围存在所述边缘。
5.如权利要求3所述的装置,其特征在于,
所述竖直线边缘判断单元使用的三条竖直线被相邻地配置,或者分别以一个像素的间隔配置;
所述水平线边缘判断单元使用的三条水平线被相邻地配置,或者分别以一个像素的间隔配置;以及
所述斜线边缘判断单元使用的三条斜线被相邻地配置,或者分别以一个像素的间隔配置。
6.如权利要求5所述的装置,其特征在于,
所述竖直线边缘判断单元使用的三条竖直线分别以一个像素间隔配置,每条竖直线上的像素类型和像素排序是相同的;
所述水平线边缘判断单元使用的三条水平线分别以一个像素间隔配置,每条水平线上的像素类型和像素排序是相同的;以及
所述斜线边缘判断单元使用的三条斜线分别以一个像素间隔配置,每条斜线上的像素类型和像素排序是相同的。
7.如权利要求1所述的装置,其特征在于,所述边缘判断单元包括:
竖直线边缘判断单元,被构造为判断在所述像素块中配置在包括用于信号处理的白色目标像素的所述竖直线的两侧的两条竖直线上的多个像素的颜色像素值的总和值之间的差值是否超过第一参考值;
水平线边缘判断单元,被构造为判断在所述像素块中配置在包括所述白色目标像素的所述水平线的两侧的两条水平线上的多个像素的颜色像素值的总和值之间的差值是否超过第二参考值;以及
斜线边缘判断单元,被构造为判断在所述像素块中配置在包括所述白色目标像素的所述斜线的两侧的两条斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第三参考值,
当所述竖直线边缘判断单元、水平线边缘判断单元和斜线边缘判断单元中的至少一个的判断为肯定时,所述边缘判断单元判断在所述白色目标像素周围存在所述边缘。
8.如权利要求7所述的装置,其特征在于,所述斜线边缘判断单元包括:
右倾斜线边缘判断单元,被构造为判断在所述像素块中配置在包括所述白色目标像素的所述右倾斜线的两侧的两条右倾斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第四参考值;以及
左倾斜线边缘判断单元,被构造为判断在所述像素块中配置在包括所述白色目标像素的所述左倾斜线的两侧的两条左倾斜线上的多个像素的颜色像素值的总和值之间的差值是否超过第五参考值,
当所述竖直线边缘判断单元、水平线边缘判断单元、右倾斜线边缘判断单元和左倾斜线边缘判断单元中的至少一个的判断为肯定时,所述边缘判断单元判断在所述白色目标像素周围存在所述边缘。
9.如权利要求1所述的装置,其特征在于,所述颜色分离单元将用于信号处理的白色
目标像素的像素值转换成绿色像素值。
10.如权利要求1所述的装置,其特征在于,进一步包括:插值处理单元,被构造为通过使用由所述颜色分离单元生成的所述第一至第三颜色像素值来修正所述白色像素周围的颜色像素值。
11.如权利要求10所述的装置,其特征在于,所述插值处理单元通过使用由所述颜色分离单元生成的所述第一至第三颜色像素值来修正所述白色像素周围的像素的所述颜色像素值以使得所述像素块中的像素配置是拜耳配置。
12.如权利要求2所述的装置,其特征在于,
所述边缘判断单元在包括用于信号处理的白色目标像素的所述像素块中指定包括所述白色像素并且其中不存在边缘的像素区域;以及
所述颜色分离单元通过使用由所述边缘判断单元指定的存在于所述像素区域中的所述第一至第三颜色像素值C1、C2和C3,基于所述公式(1)至(4)来将所述白色像素值颜色分离,以计算所述第一至第三颜色像素值C1W、C2W和C3W。
13.如权利要求1所述的装置,其特征在于,
所述像素块包括相邻配置的两行两列的所述白色、绿色、红色和蓝色像素;以及
所述像素块中的所述白色和绿色像素被对角地配置。
14.如权利要求1所述的装置,其特征在于,
所述信号处理单元形成在与上面形成有所述多个像素和所述读出电路的所述半导体基板不同的半导体基板上;以及
所述读出电路的输出被输入到所述信号处理单元。
15.一种固态图像传感装置,其特征在于,包括:
以矩阵形式形成在半导体基板上的多个像素,每一个像素都具有光电转换元件;
读出电路,构造为读出由所述多个像素中的所述光电转换元件获得的电信号;以及
信号处理单元,被构造为对于从所述读出电路读出的所述电信号进行信号处理,
其中所述多个像素包括:
白色像素,被构造为将可见光波长的入射光经由透明膜引导至所述光电转换元件;
多个绿色像素,每一个绿色像素都具有第一滤色器,所述第一滤色器对绿色可见光波长范围的透过率比对其他可见光波长范围的透过率更高;
多个红色像素,每一个红色像素都具有第二滤色器,所述第二滤色器对红色可见光波长范围的透过率比对其他可见光波长范围的透过率更高;以及
多个蓝色像素,每一个蓝色像素都具有第三滤色器,所述第三滤色器对蓝色可见光波长范围的透过率比对其他可见光波长范围的透过率更高,以及
所述信号处理单元以至少具有所述白色、绿色、红色和蓝色像素的像素块为单位进行所述信号处理,并包括:
颜色获取单元,被构造为获取与所述像素块中的所述白色像素对应的白色像素值,与所述绿色像素对应的第一颜色像素值,与所述红色像素对应的第二颜色像素值以及与所述蓝色像素对应的第三颜色像素值;
边缘判断单元,被构造为判断所述红色或者蓝色像素周围是否存在边缘,所述红色或者蓝色像素是所述像素块中用于所述信号处理的目标像素;以及
颜色添加处理单元,被构造为,当判断所述目标像素周围不存在边缘时,无修改地输出所述目标像素的所述颜色像素值,并且当判断所述目标像素周围存在边缘时,如果所述目标像素是所述红色像素,则将所述第三颜色像素值添加至所述目标像素的所述颜色像素值,或者如果所述目标像素是所述蓝色像素,则将所述第二颜色像素值添加至所述目标像素的所述颜色像素值。
16.如权利要求15所述的装置,其特征在于,
所述像素块中的所述红色和蓝色像素的比例小于所述像素块中所述绿色像素的比例;
以及
所述像素块中的所述绿色像素的比例小于所述白色像素的比例。
17.如权利要求16所述的装置,其特征在于,当在两侧将所述目标像素夹在中间的两条斜线上的所述颜色像素值的总和值之间的差值超过预定的阈值时,所述边缘判断单元判断所述目标像素周围存在所述边缘。
18.如权利要求17所述的装置,其特征在于,所述边缘判断单元包括:
右倾斜线边缘判断单元,被构造为判断在两侧将所述目标像素夹在中间的两条右倾斜线上的所述颜色像素值的总和值之间的差值是否超过预定的阈值;以及
左倾斜线边缘判断单元,被构造为判断在两侧将所述目标像素夹在中间的两条左倾斜线上的所述颜色像素值的总和值之间的差值是否超过预定的阈值,
当通过所述右倾斜线边缘判断单元和左倾斜线边缘判断单元中的至少一个判断为肯定时,所述边缘判断单元判断在所述目标像素周围存在所述边缘。
19.如权利要求15所述的装置,其特征在于,所述像素块具有以交错形式配置的所述白色像素,以及在所述白色像素之间以2∶1∶1的比例配置的所述绿色、红色和蓝色像素。
20.如权利要求15所述的装置,其特征在于,
所述信号处理单元形成在与上面形成有所述多个像素和所述读出电路的所述半导体基板不同的半导体基板上;以及
所述读出电路的输出被输入到所述信号处理单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007150608A JP2008306379A (ja) | 2007-06-06 | 2007-06-06 | 固体撮像素子 |
JP150608/2007 | 2007-06-06 | ||
PCT/JP2008/060725 WO2008150021A1 (en) | 2007-06-06 | 2008-06-05 | Solid-state image sensing device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101690242A CN101690242A (zh) | 2010-03-31 |
CN101690242B true CN101690242B (zh) | 2013-03-27 |
Family
ID=39684280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800187542A Expired - Fee Related CN101690242B (zh) | 2007-06-06 | 2008-06-05 | 固态图像传感装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8045033B2 (zh) |
EP (1) | EP2153665A1 (zh) |
JP (1) | JP2008306379A (zh) |
KR (1) | KR101130023B1 (zh) |
CN (1) | CN101690242B (zh) |
WO (1) | WO2008150021A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5505761B2 (ja) * | 2008-06-18 | 2014-05-28 | 株式会社リコー | 撮像装置 |
TWI422020B (zh) * | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
CN102265176B (zh) * | 2008-12-22 | 2015-09-30 | 皇家飞利浦电子股份有限公司 | 具有单光子计数能力的cmos成像器 |
US8492699B2 (en) * | 2009-09-22 | 2013-07-23 | Intersil Americas Inc. | Photodetectors useful as ambient light sensors having an optical filter rejecting a portion of infrared light |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR101652722B1 (ko) * | 2010-01-15 | 2016-09-01 | 삼성전자주식회사 | 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체 |
US8345117B2 (en) * | 2010-06-30 | 2013-01-01 | Hand Held Products, Inc. | Terminal outputting monochrome image data and color image data |
WO2012124183A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法 |
JP5713816B2 (ja) | 2011-03-16 | 2015-05-07 | 株式会社東芝 | 固体撮像装置及びカメラモジュール |
US9570492B2 (en) * | 2011-03-25 | 2017-02-14 | Pixart Imaging Inc. | Pixel array of image sensor and method of fabricating the same |
WO2013145487A1 (ja) * | 2012-03-27 | 2013-10-03 | ソニー株式会社 | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム |
CN104412580B (zh) * | 2012-07-06 | 2016-04-06 | 富士胶片株式会社 | 彩色摄像元件以及摄像装置 |
EP2700920B1 (en) * | 2012-08-23 | 2016-06-22 | ams AG | Light sensor system and method for processing light sensor signals |
JP2016012746A (ja) * | 2012-11-07 | 2016-01-21 | ソニー株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
US8779542B2 (en) | 2012-11-21 | 2014-07-15 | Intersil Americas LLC | Photodetectors useful as ambient light sensors and methods for use in manufacturing the same |
US8866944B2 (en) * | 2012-12-28 | 2014-10-21 | Visera Technologies Company Limited | Method for correcting pixel information of color pixels on a color filter array of an image sensor |
JP6231284B2 (ja) * | 2013-02-21 | 2017-11-15 | クラリオン株式会社 | 撮像装置 |
JP6101226B2 (ja) | 2013-03-14 | 2017-03-22 | 富士フイルム株式会社 | 固体撮像素子及びその製造方法、赤外光カットフィルタ形成用硬化性組成物、カメラモジュール |
WO2015008383A1 (ja) * | 2013-07-19 | 2015-01-22 | 日立マクセル株式会社 | 撮像装置 |
KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
US10680022B2 (en) * | 2013-12-12 | 2020-06-09 | Sony Corporation | Solid state imaging device, manufacturing method of the same, and electronic equipment |
JP6276581B2 (ja) * | 2013-12-20 | 2018-02-07 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
EP3043159B1 (en) | 2015-01-08 | 2019-12-18 | ams AG | Method for processing light sensor signals and light sensor system |
KR102410028B1 (ko) * | 2015-06-24 | 2022-06-15 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 전자 장치 |
US10148926B2 (en) * | 2015-12-07 | 2018-12-04 | Samsung Electronics Co., Ltd. | Imaging apparatus and image processing method of thereof |
TWI571856B (zh) * | 2016-01-08 | 2017-02-21 | 友達光電股份有限公司 | 顯示方法 |
JP6758859B2 (ja) * | 2016-03-01 | 2020-09-23 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
DE102016212797A1 (de) * | 2016-07-13 | 2018-01-18 | Robert Bosch Gmbh | Lichtsensormodul, Verfahren zum Betreiben eines Lichtsensormoduls und Verfahren zum Herstellen eines Lichtsensormoduls |
JP2018082259A (ja) | 2016-11-15 | 2018-05-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、信号処理回路、及び、電子機器 |
JP6953297B2 (ja) * | 2017-12-08 | 2021-10-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
CN110536083B (zh) * | 2019-08-30 | 2020-11-06 | 上海芯仑光电科技有限公司 | 一种图像传感器及图像采集系统 |
CN110996077A (zh) * | 2019-11-25 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件和移动终端 |
KR20220036014A (ko) * | 2020-09-15 | 2022-03-22 | 삼성전자주식회사 | 이미지 센싱 시스템 |
KR20220132069A (ko) | 2021-03-22 | 2022-09-30 | 삼성전자주식회사 | 이미지 센서 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1241896A3 (en) * | 2001-03-07 | 2004-12-15 | Eastman Kodak Company | Colour image pickup device with improved colour filter array |
US6876384B1 (en) * | 2000-04-19 | 2005-04-05 | Biomorphic Vlsi, Inc. | Pixel selective white balancing |
CN1897638A (zh) * | 2005-07-11 | 2007-01-17 | 索尼株式会社 | 图像处理装置和图像捕获装置 |
CN1937718A (zh) * | 2005-09-09 | 2007-03-28 | 松下电器产业株式会社 | 图像输入设备和固态图像拾取元件 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
JP3699873B2 (ja) * | 1999-10-27 | 2005-09-28 | オリンパス株式会社 | 画像処理装置 |
US7031515B2 (en) * | 2002-07-19 | 2006-04-18 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4253634B2 (ja) * | 2004-11-30 | 2009-04-15 | 富士フイルム株式会社 | デジタルカメラ |
JP5106870B2 (ja) | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
JP4846608B2 (ja) * | 2007-01-26 | 2011-12-28 | 株式会社東芝 | 固体撮像装置 |
-
2007
- 2007-06-06 JP JP2007150608A patent/JP2008306379A/ja active Pending
-
2008
- 2008-06-05 WO PCT/JP2008/060725 patent/WO2008150021A1/en active Application Filing
- 2008-06-05 US US12/278,347 patent/US8045033B2/en not_active Expired - Fee Related
- 2008-06-05 KR KR1020107000204A patent/KR101130023B1/ko not_active IP Right Cessation
- 2008-06-05 CN CN2008800187542A patent/CN101690242B/zh not_active Expired - Fee Related
- 2008-06-05 EP EP08765496A patent/EP2153665A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876384B1 (en) * | 2000-04-19 | 2005-04-05 | Biomorphic Vlsi, Inc. | Pixel selective white balancing |
EP1241896A3 (en) * | 2001-03-07 | 2004-12-15 | Eastman Kodak Company | Colour image pickup device with improved colour filter array |
CN1897638A (zh) * | 2005-07-11 | 2007-01-17 | 索尼株式会社 | 图像处理装置和图像捕获装置 |
CN1937718A (zh) * | 2005-09-09 | 2007-03-28 | 松下电器产业株式会社 | 图像输入设备和固态图像拾取元件 |
Also Published As
Publication number | Publication date |
---|---|
JP2008306379A (ja) | 2008-12-18 |
US8045033B2 (en) | 2011-10-25 |
KR101130023B1 (ko) | 2012-03-26 |
CN101690242A (zh) | 2010-03-31 |
WO2008150021A1 (en) | 2008-12-11 |
EP2153665A1 (en) | 2010-02-17 |
KR20100018042A (ko) | 2010-02-16 |
US20100231770A1 (en) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101690242B (zh) | 固态图像传感装置 | |
JP6725613B2 (ja) | 撮像装置および撮像処理方法 | |
CN101467444B (zh) | 固态图像传感器 | |
US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
EP1977614B1 (en) | Image sensor with improved light sensitivity | |
EP1969558B1 (en) | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms | |
EP1903766B1 (en) | Image Photographing Apparatus, Method and Medium | |
US7864233B2 (en) | Image photographing device and method | |
US8253832B2 (en) | Interpolation for four-channel color filter array | |
US8125546B2 (en) | Color filter array pattern having four-channels | |
KR101639382B1 (ko) | 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법 | |
EP1860887B1 (en) | Image capturing device and method | |
KR20170098809A (ko) | 고체 촬상 소자, 및 전자 장치 | |
US9184196B2 (en) | Color imaging element and imaging device | |
US20050212934A1 (en) | Color image sensor, color filter array and color imaging device | |
CN111726549B (zh) | 图像传感器、电子设备和芯片 | |
US20170374263A1 (en) | Methods and apparatus for reducing spatial flicker artifacts | |
EP1575304A1 (en) | Color imaging element, color filter array, and color imaging device | |
JP2017118283A (ja) | カメラシステム | |
JPH0378388A (ja) | カラー固体撮像素子 | |
US11696041B2 (en) | Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130327 Termination date: 20160605 |