CN1937718A - 图像输入设备和固态图像拾取元件 - Google Patents

图像输入设备和固态图像拾取元件 Download PDF

Info

Publication number
CN1937718A
CN1937718A CNA2006101520850A CN200610152085A CN1937718A CN 1937718 A CN1937718 A CN 1937718A CN A2006101520850 A CNA2006101520850 A CN A2006101520850A CN 200610152085 A CN200610152085 A CN 200610152085A CN 1937718 A CN1937718 A CN 1937718A
Authority
CN
China
Prior art keywords
signal
filter membrane
thickness
image pickup
nanometers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101520850A
Other languages
English (en)
Inventor
今村邦博
藤井俊哉
山口琢己
村田隆彦
嶋津义久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1937718A publication Critical patent/CN1937718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种固态图像拾取元件,包括由单层无机材料制成、根据膜厚在入射光的透射光谱上一特定波长处呈现一最大值的过滤膜,和用于根据入射光透过过滤膜的的光量产生信号电荷的光电转换部件。就过滤膜来说,提供至少两种具有不同膜厚的多个过滤膜,并且这多个过滤膜按照一预定排列平行布置。从该固态图像拾取元件中输出的图像拾取信号经信号处理器作信号处理。信号处理器根据所述预定排列对图像拾取信号实施颜色转换处理,以产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一个信号。

Description

图像输入设备和固态图像拾取元件
技术领域
本发明涉及图像输入设备和固态图像拾取元件,更具体地说,涉及使设备的尺寸更小、更可靠以获得所需视频信号的技术。
背景技术
近来,由于例如其上载有数字照相机的便携式电话的广泛使用,因此对减小固态图像拾取元件的尺寸的需求一直在增长中。在固态图像拾取元件中,使用分色滤光器将入射光分离成三种原色。通常使用诸如颜料之类的有机材料作为分色滤光器的材料。然而,最近使用无机材料。
作为使用无机材料的分色滤光器,有一种使用多层干涉膜的分色滤光器,例如,如日本公开专利文献(日本未审专利公开号5-45514,图12)所示。与使用有机材料的分色滤光器相比,使用无机材料的分色滤光器更容易减小其尺寸。因而,将其应用到固态图像设备中的研发一直在积极进行中。
然而,使用无机材料的分色滤光器存在下列问题。也即,由于固态图像拾取元件的分色滤光器由单层无机材料构成,因此,透光特性要通过调整膜厚来设法实现干涉和吸收而实现。因此,随着膜厚的增加,在透射光谱中代表最大值的波长就移到长波侧,这与通常使用的原色或者补色滤光器具有完全不同的透光特性。
当将常规的从原色或者补色传感器中产生视频信号的图像处理应用到这种情况时,要获得需要的视频信号是不可能的。那是因为使用单层无机材料的分色滤光器的透光特性与常规的原色或者补色分色滤光器的明显不同。
发明内容
因此,本发明的主要目的是提供一种技术,其能够在载有使用单层无机材料的分色滤色器的图像输入设备中获得所需的视频信号。
为了实现前述目的,本发明具有的这样一个特征,即从配有由单层无机材料制成的分色过滤膜的固态图像拾取元件中获得图像拾取信号通过一种适用于该信号的颜色和所输出的信号的类型的方法进行信号处理。
也即,本发明的图像输入设备包括用于拾取一个被摄对象的图像的固态图像拾取元件,和
用于对从该固态图像拾取元件中输出的图像拾取信号进行信号处理的信号处理器,其中:
该固态图像拾取元件包括由单层无机材料制成、根据自身膜厚对入射光的透射光谱上的特定波长呈现最大值的过滤膜,和用于根据该入射光透过该过滤膜的的光量产生信号电荷的光电转换部件,其中提供有多个该过滤膜,这些过滤膜至少具有两种不同膜厚,并且这些多个过滤膜按照预定排列平行布置;并且
该信号处理器通过根据所述预定排列在该图像拾取信号上实施颜色转换处理,产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一个信号。
据此,就可以从该固态图像拾取元件的图像拾取信号中获得所需视频信号,即使该用于分离颜色的过滤膜是由单层无机材料制成的。
应该注意,假设按照透光特性有x种(x:大于或等于2的自然数)过滤膜,和y种(y:自然数)从信号处理器中输出的信号,那么优选满足y≤x的关系。象这样做,就可以对包含于该信号处理器的输出信号中的视频信息实现精确的调整。
此外,希望提供三种彼此具有不同膜厚的多个过滤膜,并且将这些过滤膜按照两行两列的阵列单元平行布置,其中
将具有第一膜厚和第三膜厚的该过滤膜依次布置在该阵列单元的第一列中;并且将具有第二膜厚和该第一膜厚的该过滤膜依次布置在该阵列单元的第二列中。
假设存在三种透光特性,通过这样做,信号处理器的结构就能够相对与常规的拜耳(Bayer)阵列的图像拾取元件的输出对应的那些具有高亲和力(affinity)。因此,设计步骤的数目就能够大大减少。
优选的是,将该第一膜厚、该第二膜厚、和该第三膜厚按照该第二膜厚、该第一膜厚、和该第三膜厚的顺序设置得越来越薄(be thicker)。通过这样做,分别使第一膜厚对应于G(绿)、第二膜厚对应于R(红)、第三膜厚对应于B(蓝),其就成为一个拜耳阵列。
希望提供四种彼此具有不同膜厚的多个过滤膜,并且将所述过滤膜按照一个两行两列的阵列单元平行布置,其中
将具有第一膜厚和第二膜厚的所述过滤膜依次布置在该阵列单元的第一列中;并且将具有第三膜厚和该第四膜厚的所述过滤膜依次布置在该阵列单元的第二列中。
假设存在四种透光特性,通过这样做,信号处理器的结构就能够相对与常规的棋盘型补色图像拾取元件的输出对应的那些具有高亲和力。因此,设计步骤的数目就能够大大减少。
此外,希望提供四种彼此具有不同膜厚的多个过滤膜,并且将所述过滤膜按照一个四行两列的阵列单元平行布置,其中:
将具有第一膜厚、第二膜厚、该第一膜厚、和第四膜厚的所述过滤膜依次布置在该阵列单元的第一列中;并且将具有第三膜厚、该第四膜厚、该第三膜厚、和该第二膜厚的所述过滤膜依次布置在该阵列单元的第二列中。
通过这样做,由于信号处理器的结构能够相对与常规的电影型补色阵列图像拾取元件的输出对应的那些具有高亲和力,因此设计步骤的数目就能够大大减少。
此外,希望提供四种彼此具有不同膜厚的多个过滤膜,并且所述过滤膜按照一个四行两列的阵列单元平行布置,其中:
具有第一膜厚、第二膜厚、第三膜厚、和第四膜厚的所述过滤膜依次布置在该阵列单元的第一列中;并且具有该第三膜厚、该第四膜厚、该第一膜厚、和该第二膜厚的所述过滤膜依次布置在该阵列单元的第二列中。
通过这样做,由于信号处理器的结构能够相对与常规的全线反转电影型补色阵列图像拾取元件的输出对应的那些具有高亲和力,因此设计步骤的数目就能够大大减少。
希望该图像拾取信号包括第1~第n图像拾取信号(n是等于或者大于2的自然数),这些图像拾取信号是通过由该光电转换部件对透过彼此具有不同膜厚的第1~第n过滤膜的入射光实施光电转换处理而产生的;并且
该信号处理器执行表现为在所述第1~第n图像拾取信号的线性基本组合表达式加上或者减去一个常数的颜色转换处理。
通过这样做,就可以在信号处理器中实现对包含于所输出的信号中的视频信息的细致的调整。
希望该信号处理器通过执行在该第1~第n图像拾取信号中的一种信号上乘以第一常数和加上或者减去第二常数的颜色转换处理,来产生所述亮度信号。通过这样做,冗余电路能够去掉,并且电路的规模能够减小。
希望该信号处理器执行所述颜色转换处理,其中就该信号处理过程中的伽马校正函数的形状来说,在输入比一预定阈值小的区域内,该伽马校正函数的第二微分值表示为等于或大于0,而在输入比该预定阈值大的区域内,该伽马校正函数的第二微分值表示为等于或者小于0。也即,该形状在该输入比阈值小时向下凸,而该形状在该输入比预定阈值大时向上凸。通过这样做,就可以获得亮度部分的噪声受到抑制的高质量信号。
希望该信号处理器执行该颜色转换处理,其中就伽马校正函数的形状来说,该伽马校正函数的第二微分值表示为等于或者大于0。也即,该形状完全向下凸。通过这样做,就可以获得噪声更受抑制的高质量信号。
希望该信号处理器执行该颜色转换处理,其中伽马校正函数的形状用一线性函数和该线性函数的组合来表示,也即通过线性函数实施对多条线的近似。通过这样做,该处理就得以简化,并且电路的规模得以减小。
优选该颜色转换处理包括用于消除噪声成分的处理。
优选该颜色转换处理包括用于仅使比一频率成分中一色差信号的预定波带要小的信号透过的处理。也即,希望该信号处理器包括用于仅使小于一预定频带的色差信号透过的LPF(低通滤色器)。据此,就可以获得在色差信号中噪声受抑制的高质量信号。
此外,希望该预定波带比亮度信号的波带要低。也即,希望该信号处理器是这样的结构,其中亮度信号的频带比色差信号的要低。通过这样做,就可以获得在色差信号中噪声受抑制的高质量信号,同时足以保持亮度信号的分辨率程度。
希望该固态图像拾取元件在它的入射光路径上包括用于消除近红外线的IR截止滤色器。据此,在近红外区域的视频信号就得以利用,使得图像拾取信号的信息量得以扩大。然而,即使没有提供IR截止滤色器也是优选的。
本发明能够以下列方式开发出一种固态图像拾取元件。也即本发明的固态图像拾取元件包括过滤膜,其针对在入射光的透射光谱上的至少三个波长呈现彼此不同的最大值,和
光电转换部件,用于根据该入射光透过该过滤膜的的光量产生信号电荷,其中
该波长包含在650纳米(nm)~750纳米的波长范围内、525纳米~625纳米的波长范围内和380纳米~480纳米的波长范围内。
希望该波长分别是700纳米、575纳米、和435纳米。
希望该过滤膜由单层无机材料制成,其根据其膜厚针对该入射光的透射光谱的特定波长呈现最大值。
希望该过滤膜包括具有65~100纳米膜厚的过滤膜、具有50~70纳米膜厚的过滤膜、和具有30~50纳米膜厚的过滤膜,其中所述过滤膜按照一预定排列平行布置,其中
所述过滤膜的膜厚根据它们的折射率和呈现所述最大值的波长之间的关系来设置。
希望将该三种过滤膜按照两行两列的阵列单元平行布置,其中:
将具有在650纳米~750纳米范围内的最大值的过滤膜和具有在525纳米~625纳米范围内的最大值的过滤膜依次布置在该阵列单元的第一列中;并且
将具有该在525纳米~625纳米范围内的最大值的过滤膜和具有在380纳米~480纳米范围内的最大值的过滤膜依次布置在该阵列单元的第二列中。这对应于拜耳阵列型固态图像拾取元件的输出。
此外,本发明具有另一个实施例的一种固态图像拾取元件,其包括过滤膜,该过滤膜具有用于使入射光的透射光谱上的至少三个波长的光透射的透射特性,和
光电转换部件,用于根据该入射光透过该过滤膜的的光量产生信号电荷,其中
该波长包括650纳米或者更长、525纳米或者更长、和380纳米或者更长。
希望该过滤膜在650纳米~750纳米、525纳米~625纳米和380纳米~480纳米的波长范围内呈现最大值。
可替代的,希望该波长包括小于700纳米、小于575纳米和小于435纳米的波长。
希望所述过滤膜由单层无机材料制成,具有不同膜厚。
此外,优选该过滤膜包括具有65~100纳米膜厚的过滤膜、具有50~70纳米膜厚的过滤膜、和具有30~50纳米膜厚的过滤膜,其中该过滤膜按照一预定排列平行布置,其中
所述过滤膜的膜厚根据它们的折射率和在在所述过滤膜上的透视光谱上呈现最大值的波长之间的关系来设置。
希望将该过滤膜按照两行两列的阵列单元平行布置,其中
将在该过滤膜的该透射光谱上的650纳米~750纳米范围内具有该最大值的该过滤膜和具有在525纳米~625纳米范围内的一截止特定波长的该过滤膜,依次布置在该阵列单元的第一列中,并且
将具有在525纳米~625纳米范围内的截止特定波长的该过滤膜和在380纳米~480纳米范围内具有该最大值的该过滤膜,依次布置在该阵列单元的第二列中。这对应于拜耳阵列。
此外,希望包括上述固态图像拾取元件之一和用于对从该固态图像拾取元件中输出的图像拾取信号进行信号处理的信号处理器,其中
该信号处理器通过根据该阵列单元对该图像拾取信号实施颜色转换处理,产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一种信号。
据此,该信号处理器通过适用于该颜色和所输出的信号的类型的方法对图像拾取信号实施处理。因而,就可以从固态图像拾取元件的图像拾取信号中获得所需的视频信号,即使用于分色的该过滤膜是由单层无机材料制成的。
根据本发明,能够从固态图像拾取元件的图像拾取信号中获得所需的视频信号,即使用于分色的过滤膜是由单层无机材料制成的,因为该信号处理器通过适用于该颜色和所输出的信号的类型的方法对图像拾取信号实施处理。
本发明的图像输入设备和固态图像拾取元件作为能够在固态图像拾取设备中获得所需信号的设备是有效的,该固态图像拾取设备包括由单层无机材料制成的滤色器,它的透光特性与常规的原色或者补色的滤色器的有很大不同。
附图说明
从下面对优选实施例的描述和所附权利要求中,本发明的其他目的将凸现出来。本领域所属技术人员理解,通过实施本发明,本发明具有其他许多在说明书中未提及的优点。
图1是用于示出根据本发明第一实施例的电子静止照相机的功能结构的框图;
图2是用于示出根据本发明第一实施例的图像传感器的示意性结构的框图;
图3是用于示出根据本发明第一实施例的图像传感器的一部分结构的截面图;
图4是用于示出根据本发明第一实施例的数字信号处理电路的功能结构的框图;
图5是用于示出根据本发明第一实施例的YC处理电路的功能结构的框图;
图6是用于示出根据本发明第一实施例的颜色矩阵电路的功能结构的框图;
图7A是用于示出根据本发明第一实施例的伽马校正电路的输入/输出关系的图;
图7B是用于示出根据本发明第一实施例的显示设备的CRT的伽马特性的图;
图8A是用于示出根据本发明第一实施例的滤色器的透光特性的图(非晶硅的膜厚:30纳米,40纳米,55纳米,70纳米);
图8B是用于示出视频信号输出(R,G,B)的响应的图;
图9是用于示出根据本发明第二实施例的伽马校正电路的输入/输出关系的图;
图10是用于示出根据本发明第二实施例的伽马校正电路的变例的图;
图11A是用于仅仅示出根据本发明第三实施例的滤色器的特性82的图;
图11B是用于示出IR截止滤色器的特性、以及结合了滤色器的特性82和IR截止滤色器的特性的特性的图;
图12A是用于示出根据本发明第三实施例的滤色器排列的视图;
图12B是用于示出根据本发明第五实施例的滤色器排列的视图;
图12C是用于示出根据本发明第五实施例的滤色器排列的第一变例的视图;
图12D是用于示出根据本发明第五实施例的滤色器排列的第二变例的视图;
图13是用于示出根据本发明第四实施例的YC处理电路的功能结构的框图;
图14是用于示出根据本发明第四实施例的颜色矩阵电路的功能结构的框图;
图15是用于示出根据本发明第五实施例的YC处理电路的功能结构的框图;
图16是用于示出根据本发明第五实施例的颜色矩阵电路的功能结构的框图;
图17是用于示出根据本发明第六实施例的YC处理电路的功能结构的框图;
图18是用于示出根据本发明第六实施例的色差信号NR电路的功能结构的框图;
图19是用于示出根据本发明第六实施例的亮度色差RGB转换电路的功能结构的框图;
图20是用于示出根据本发明第七实施例的颜色矩阵电路的功能结构的框图;
图21是用于示出根据本发明第八实施例的电子静止照相机的功能结构的框图;
图22是用于示出根据本发明第八实施例的滤色器的透射特性的图(一个具有位于对人可见的波长处的峰值,一个具有位于近红外波长处的峰值);
图23是用于示出根据本发明第八实施例的颜色矩阵电路的功能结构的框图;
图24是用于示出当根据本发明第九实施例的滤色器颜色由R/Ye/W成分制作时滤色器的透射特性和能量分布的图(为解释而简化);
图25A是用于示出当根据本发明第九实施例的滤色器颜色是由R/Ye/W成分制成时的滤色器排列的典型的例子(按照长波的顺序从左上朝横向对准)的视图;和
图25B是用于示出当根据本发明第九实施例的滤色器颜色是由R/Ye/W成分制成时的滤色器排列的变例(不是上述例子)的视图。
具体实施方式
以下参照附图,以电子静止照相机为例描述根据本发明的图像输入设备的实施例。
第一实施例
给出根据本发明第一实施例的电子静止照相机的描述。
(1)电子静止照相机的结构
首先描述根据本发明这个实施例的电子静止照相机的结构。图1是用于示出该实施例的电子静止照相机的功能结构的框图。该电子静止照相机包括光学透镜1、IR截止滤色器2、图像传感器(固态图像拾取元件)3、模拟信号处理电路4、A/D(模拟到数字)转换器5、数字信号处理电路6、存储卡7、和驱动电路8。模拟信号处理电路4、A/D转换器5、和数字信号处理电路6构成信号处理器E1。
光学透镜1将来自被摄对象的入射光的图像形成到图像传感器3上。IR截止滤色器2将进入图像传感器3的光的长波成分消除掉。图像传感器3由例如单片CCD(电荷耦合器件)图像传感器构成,其包括用于对提供于以二维方式布置的光电转换元件的每一个元件处的入射光进行过滤的滤色器。图像传感器3根据来自驱动电路8的驱动信号读出电荷,并且输出模拟图像拾取信号Sa。
模拟信号处理电路4对从图像传感器3输出的模拟图像拾取信号Sa进行例如相关双采样和信号放大这样的处理。A/D转换器5将模拟信号处理电路4的输出信号转换成数字图像拾取信号Sd。数字信号处理电路6从数字图像拾取信号Sd产生所需的数字视频信号SD。视频信号SD记录在存储卡7中。
(2)图像传感器的结构
图2是用于示出图像传感器3的示意性结构的框图。图像传感器3包括光电转换元件11、滤色器12~14、垂直转移CCD 15、水平转移CCD 16、放大器电路17、和输出端子18。滤色器由单层无机材料制成。
光电转换元件11以二维方式布置,并且这些滤色器11之一,也即第一颜色成分α的滤色器12、第二颜色成分β的滤色器13、第三颜色成分γ的滤色器14以拜耳(Bayer)形式布置在光电转换元件11的每一个上。分别与该拜耳阵列的阵列单元中R的位置对应的颜色成分是第一颜色成分α,与G的位置对应的颜色成分是第二颜色成分β,与B的位置对应的颜色成分是第二颜色成分γ。在进入滤色器的光中,仅仅特定颜色的成分到达光电转换元件11并且转换为电荷信号。垂直转移CCD 15根据来自驱动电路8的驱动脉冲将每个光电转换元件11的电荷信号转移到水平转移CCD 16。水平转移CCD 16也根据来自驱动电路8的驱动脉冲将来自垂直转移CCD 15的电荷信号转移到放大器电路17。放大器电路17将电荷信号转换为电压信号,该电压信号然后从输出端子18输出。
图3是用于示出图像传感器3的一部分结构的截面图。图像传感器3包括N型半导体层31、P型半导体层32、绝缘膜33、光电转换元件11、遮光膜34、滤色器12~14、由二氧化硅制成的平坦化膜35、和聚光透镜(微透镜)36。
P型半导体层32形成于N型半导体层31上。光电转换元件11是通过将N型杂质离子注入到P型半导体层32上形成的。透光的绝缘膜33形成于P型半导体层32和光电转换元件11上。在绝缘膜33上提供遮光膜34,以使仅有透过特定滤色器的光进入光电转换元件11。滤色器12~14形成于绝缘膜33上。在滤色器12~14上提供由二氧化硅制成的平坦化膜35,以使这些元件平坦化。在平坦化膜35上提供聚光透镜36,聚光透镜36用于对应于滤色器的位置将入射光会聚在光电转换元件11上。
滤色器12~14是由单层非晶硅(无机材料)制成的过滤膜,并且确定每个受光单元的膜厚以使预定波长范围的光透过。更具体地说,膜厚是在确定了表现出最大透过量的波长(以下称为最大波长)之后确定的。具体地说,假设在第一颜色成分α的区域内的最大波长是650纳米,在第二颜色成分β区域内的是530纳米,在第三颜色成分γ区域内的是470纳米,那么处于最大波长650纳米、530纳米和470纳米处的折射率分别是4.5、4.75和5.0。在最大波长λ、折射率n、和过滤膜的膜厚之间存在以下关系。
Nd=λ/2
因而,当在第一颜色成分α、第二颜色成分β、和第三颜色成分γ的波长区域内表现出最大波长的膜厚分别定义为“da”、“db”和“dc”时,它们如下。
da=70纳米
db=55纳米
dc=40纳米
膜厚越厚,则最大波长转移到长波长一侧越多。获得第一膜厚(40纳米)和第二膜厚(55纳米),其中位于比第一波长(470纳米)更长波一侧的第二波长(560纳米)是最大波长,并且第一膜厚比第二膜厚要薄。可见光的波长是300纳米~800纳米,因此该过滤器的膜厚和折射率n的乘积(n·d)从150纳米~400纳米范围内选择,两端包括在内。
这里,使用为吸收材料的非晶硅作为过滤膜。下面将说明该理由。吸收材料定义为这样一种材料,其中具有大于或者等于0.1的衰减系数的波长处于400~700纳米波带内。这种吸收材料的例子是多晶硅、单晶硅、氧化钛、氧化钽、氧化铌。这些都是用于本发明的无机材料的优选例子。
通常,在以均一膜厚形成的介质中,当在该介质和外部介质之间产生反射时,就确定了这样一种波长,在该波长处,强度根据介质的膜厚而相互增加或者相互减弱。这种反射特性产生干涉。非晶硅具有大的折射率,因此反射也大。此外,非晶硅具有吸收特定波长区域内的光的特性,因为其衰减系数大。
借助于非晶硅的上述特性,在所有像素单元内的过滤膜由为无机材料的单一非晶硅材料形成。非晶硅具有使不同波长范围内的光根据其膜厚通过的特性。因而,通过为每个受光单元提供不同的膜厚,该膜就能够起到滤色器的作用。
对于用非晶硅以这种方式形成的过滤膜,透光的波长范围不是通过为每种颜色使用不同的颜料或者染料而是通过为每种颜色设置不同的膜厚来确定的。因此,在制造过程中对例如颜料或者染料这样的材料的控制就不是必需的。因而,成本能够降低。
此外,过滤膜是通过半导体工艺生产的,因此用于滤色器的制造工艺来说,处理丙稀树脂不是必需的。结果,其制造设备就能够转用做其它目的,并且制造过程能够得到简化。
此外,当过滤膜的厚度极薄,如至多为70纳米时,其作为一种用于防止颜色混合的手段也是有效的,该颜色混合是在透过相邻的受光单元的过滤膜的光进入其上时可能发生的。如上所述,最大波长定义为n·d=λ/2,因此良好的分色特性能够通过设置膜厚以将最大波长设在可见光区域内来获得。
此外,由非晶硅制成的过滤膜能够在低温下形成。因而,其能够在形成由具有低熔点的铝等制成的遮光膜之后形成。还有,能够使这种过滤膜的应力制得较小,以便能使对于光电转换部件的损伤最小。此外,通过在其中将该过滤膜的厚度和折射率的乘积设为大于或者等于150纳米并且小于或者等于400纳米这样的条件下改变膜厚,就可以控制可见光范围内的波长干涉。结果能够实现颜色的分离。
然而,与使用有机材料的滤色器相比,使用无机材料例如典型的非晶硅的滤色器具有与之相当不同的透光特性。因而,不可能以常规的信号处理方法处理在以使用了无机材料的滤色器执行光学处理之后所产生的视频信号来获得所需信号。这个问题在本发明中用数字信号处理电路来解决。
(3)数字信号处理电路
图4是用于示出数字信号处理电路6的功能结构的框图。数字信号处理电路6包括输入地址控制电路41、存储器42、存储控制电路43、输出地址控制电路44、微计算机45、和YC处理电路46。
输入地址控制电路41控制数字图像拾取信号Sd的地址。存储器42记录数字图像拾取信号Sd。输出地址控制电路44控制用于读出记录在存储器42中的数字图像拾取信号Sd的地址。输出地址控制电路44控制由微计算机45输出的视频信号产生数据Di。视频信号产生数据Di用于校正数字图像拾取信号Sd。存储控制电路43产生用于控制数据的读取/写入的控制信号并且将其输入到存储器42。存储控制电路43根据输入地址控制电路41和输出地址控制电路44的控制信号产生上述控制信号。
微计算机45产生视频信号产生数据Di并且将其供应给YC处理电路46。YC处理电路46基于视频信号产生数据Di从数字视频信号Sd产生数字视频信号SD。此外,YC处理电路46在对信号SD实施了信号处理例如伽马校正之后输出所产生的数字视频信号SD。
(4)YC处理电路
图5是用于示出YC处理电路的结构的框图。YC处理电路46包括同步处理电路51、颜色矩阵电路52、和伽马校正电路53。同步处理电路51对从存储控制电路43输出的数字图像拾取信号Sd按照每种颜色成分,也即第一颜色成分α、第二颜色成分β、和第三颜色成分γ实施同步化。颜色矩阵电路52对在同步处理电路51中按每种颜色同步化的数字图像拾取信号Sd和视频信号产生数据Di实施算术运算,以产生由三种原色R(红)、G(绿)和B(蓝)构成的数字视频信号SD。伽马校正电路53是用于校正一种作为用于显示的设备的阴极射线管(CRT)的伽马特性的电路,该电路转换数字视频信号SD,以使之具有该伽马特性的逆特性。
(5)颜色矩阵电路
图6是用于示出颜色矩阵电路52的结构的框图。颜色矩阵电路52由图6所示的用于产生R(红)、G(绿)和B(蓝)的三个电路构成。这些电路每个都包括乘法器61、加法器62、和上溢/下溢校正电路63。
以上面提到三个电路之一作为例子来描述处理流程。首先,乘法器61将经过同步处理电路51同步化的数字图像拾取信号Sd的各个颜色成分α、β、γ的颜色信号Iα、Iβ、Iγ中的各个信号乘以视频信号产生数据A、B、Γ。视频信号产生数据A是用于第一颜色成分的数据,视频信号产生数据B是用于第二颜色成分的数据,视频信号产生数据Γ是用于第三颜色成分的数据。
加法器62将乘法器61的三个相乘结果相加。由加法器62相加的结果可以用等式1表示。
[等式1]
(加法器62的输出)=(A*Iα)+(B*Iβ)+(Γ*Iγ)
以这种方式,从等效于图6所示的电路的等式1获得的加法器62的相加结果对应于从颜色矩阵电路52中输出的R(红)、G(绿)和B(蓝)。因而,从等式1和颜色矩阵电路52的输出信号之间的关系可以获得等式2。
(R(红))=(AR*Iα)+(BR*Iβ)+(ΓR*Iγ)
(G(绿))=(AG*Iα)+(BG*Iβ)+(ΓG*Iγ)
(B(蓝))=(AB*Iα)+(BB*Iβ)+(ΓB*Iγ)
AR、AG、AB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的数字图像拾取信号Sd的颜色信号Iα上的系数。BR、BG、BB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的数字图像拾取信号Sd的颜色信号Iβ上的系数。ΓR、ΓG、ΓB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的数字图像拾取信号Sd的颜色信号Iγ上的系数。
然后,上溢/下溢校正电路63在从等式1得到的加法器62的相加结果超出预定的位范围时实施裁剪处理,以便通过校正它使之位于该预定的位范围内而输出相加结果。
(6)伽马校正电路
图7A是用于示出伽马校正电路53的输入/输出关系的图,图7B是用于示出作为显示设备的CRT的伽马特性的输入/输出关系的图。在这些图中,分别由横轴表示输入,由纵轴表示输出。当将位于图7A的输入71处的电平X输入到伽马校正电路53中时,伽马校正电路53输出一个电平Y作为输出72。CRT的伽马特性的输入/输出关系与此相同。通常,特性70和特性73优选为反函数关系。
(7)视频信号产生数据
微计算机45输出对应于同步化的数字图像拾取信号Sd的各种颜色成分的视频信号产生数据Di。在本实施例中,同步化的视频信号的颜色成分的数目为“3”(第一颜色成分α、第二颜色成分β、和第三颜色成分γ),而作为视频信号输出的信号的数目为“3”(R(红)、G(绿)、和B(蓝))。因而,微计算机45输出九个视频信号产生数据Di(AR、AG、AB、BR、BG、BB、ΓR、ΓG、ΓB)。
图8A和图8B示出根据上述结构的透光特性和响应。在这些图中,横轴(波长)对应于人对之具有可见敏感性的400纳米~700纳米的波长。图8A示出根据本实施例由单层无机材料制成的滤色器的透光特性。附图标记81、82和83分别对应于等式2中的第一颜色成分α、第二颜色成分β、和第三颜色成分γ。图8B示出从颜色矩阵电路52中输出的R(红)、G(绿)、和B(蓝)的响应,而附图标记84、85和86分别与之对应。
图8B中所示的特性与全国电视系统委员会(NTSC)的理想成像特性几乎一样,其从颜色再现方面来说是优选的。信号处理器E1由模拟信号处理电路4、A/D转换器5和数字信号处理电路6构成,其中A/D转换器5将从图像传感器3中输出的模拟图像拾取信号Sa转换成数字图像拾取信号Sd。
数字信号处理电路6内的YC处理电路基于视频信号产生数据Di将数字图像拾取信号Sd转换成数字图像拾取信号SD。也即,YC处理电路46由同步处理电路51、颜色矩阵电路52和伽马校正电路53构成。颜色矩阵电路52基于视频信号产生数据Di将由同步化的第一颜色成分α的图像拾取信号Iα、同步化的第二颜色成分β的图像拾取信号Iβ和同步化的第三颜色成分γ的图像拾取信号Iγ构成的数字图像拾取信号Sd转换成R、G、B颜色信号的数字视频信号SD。与此类似,图像拾取信号由适用于其颜色成分和待输出信号的类型的方法来处理。因而,即便用于分色的滤色器12~14由单层无机材料形成,仍然可以从图像传感器3的模拟图像拾取信号Sa中获得所需的数字视频信号SD。
(8)变例
在上面,将视频信号产生数据Di设置为使得从颜色矩阵电路52中输出的视频信号的特性接近于NTSC的理想的成像特性。然而,勿庸置疑,本发明不限于此,视频信号产生数据Di可以这样设置,即,使得图像拾取信号的理想特性接近于其它特性,例如人的视觉敏感特性。
此外,在上面,分别对应于该Bayer阵列的阵列单元中R位置的颜色成分对应于第一颜色成分α,对应于G位置的颜色成分对应于第二颜色成分β,对应于B位置的颜色成分对应于第三颜色成分γ。然而,用于α、β、γ的各个滤色器的布置可以根据被摄对象的特点来改变。例如,对于其中红色成分占主导的内窥镜等情形,优选在与Bayer阵列中G位置对应的位置布置对长波侧敏感的滤色器并且在与Bayer阵列中各个R和B位置对应的位置布置具有其它透光特性的滤色器。
第二实施例
接下来将给出针对根据本发明第二实施例的电子静止照相机的描述。这个实施例的电子静止照相机包括与第一实施例的电子静止照相机几乎一样的结构。然而,它们在伽马校正特性方面是不同的。以下通过将注意力集中在该差别上对第二实施例进行描述。
(1)伽马校正电路
图9是用于示出根据这个实施例的伽马校正电路的输入/输出关系的图。在这个实施例中,低信号部分的增益比第一实施例的要小(以下称为“S形伽马特性”)。关于该伽马校正函数的形状,输入比预定的阈值要小的区域具有这样的形状,即其中伽马校正函数的第二微分值大于或者等于0,也即该形状是向下凸的,而输入比该预定阈值要大的区域具有这样的形状,即其中伽马校正函数的第二微分值小于或者等于0,也即该形状是向上凸的。
通常,优选在待显示视频信号时,伽马校正函数与CRT是反函数关系。然而,当使其为CRT的反函数时,低信号部分的增益变得相当高,这样产生噪声问题。考虑到具有噪声问题例如图像识别等的情形,在这个实施例中,利用示于图9的S形伽马特性来减小噪声的影响。据此就可以获得噪声感知在低亮度部分得到抑制的高质量信号。
此外,可采用示于图10的特性。关于这种情形的伽马校正函数,它是这样的形状,即其中伽马校正函数的第二微分值大于或者等于0,也即该形状整个向下凸起。通过这样做,就可以获得噪声感知更受抑制的高质量信号。
(2)变例
在上面,伽马校正特性设置为一条曲线。然而,勿庸置疑,本发明不限于此,其可以通过多条直线近似而来或者可以具有直线连同曲线。通过近似的多个线性函数,处理得以简化,并且电路的规模得以减小。
第三实施例
接下来将针对根据本发明第三实施例的电子静止照相机进行描述。这个实施例的电子静止照相机包括与第一实施例的电子静止照相机几乎一样的结构。然而,它们在设置视频信号产生数据Di方面是不同的。以下通过将注意力集中于该差别上描述第三实施例。
(1)设置视频信号产生数据Di的方法
图11A是用于示出在上述实施例中使用的滤色器的提取(extracting)特性的图。图11B是用于示出特性87和特性82a的图。特性87是这个实施例中使用的IR截止滤色器的特性,而特性82a是滤色器82和IR截止滤色器两者的综合特性。这些图中的横轴(波长)对应于人具有可见敏感性的400纳米~700纳米的范围,而其纵轴对应于透光率。
粗略地讲,来自被摄对象的光学图像通过由IR截止滤色器和滤色器构成的光学系统到达受光单元。因而,针对从被摄对象到达受光单元的各个波长的透射特性是特性82a。特性82a与人对于亮度的视觉敏感特性大致匹配,因此能够将特性82a近似地处理为视觉敏感特性。因此,基于上述等式2可以得到下面的等式3。
[等式3]
(R(红))=(AR*Iα)+(BR*Iβ)+(ΓR*Iγ)
(Y(亮度))=(0*Iα)+(BY*Iβ)+(0*Iγ)
(B(蓝))=(AB*Iα)+(BB*Iβ)+(ΓB*Iγ)
在用于得到等式3的亮度信号的等式中,图像拾取信号中除第二颜色成分β之外的系数为0,并且只有B Y具有不是0的值。这样做就可以减少输出亮度信号的运算单元的电路部件,并且获得优选的信号,该信号也接近于人对亮度的视觉敏感特性。
(2)变例
在上面,将已经到达受光单元的入射光的透射特性解释为人对亮度的视觉敏感特性。然而,勿庸置疑,本发明不限于此。可以是透射特性等于R(红)、G(绿)、B(蓝)、W(无色)、CY(青)、MG(品红)、和YE(黄)的光学系统。
尽管上面省略了描述,因为其与IR截止滤色器和滤色器相比具有更少的影响,但是调整光学放大率和焦点的光学透镜也因不同的波长具有不同的透射率。因而,可以认为到达受光单元的入射光的特性包括光学透镜的特性。此外,可以认为入射光的上述特性包括构成光学透镜的半导体的透光率。
此外,上面的颜色矩阵电路52设置成输出R(红)、Y(亮度)和B(蓝),然而,可以将其设置成输出其他信号,例如亮度信号IY和色差信号ICB(=B-Y)和ICR(=R-Y)。此外,BY可以是小于或者大于1或者大于1,只要它不等于0。
另外,具有与示于图11A和图11B中的人对亮度的视觉敏感特性基本上一致的光谱特性的滤色器,可以对应于Bayer阵列的阵列单元中的G位置,并且可以将具有其他特性的滤色器布置在Bayer阵列的阵列单元中的R和G位置。这样做,亮度信号的频率特性就得到改善,因此它优选获得具有更高分辨率的图像。
第四实施例
接下来将给出根据本发明第四实施例的电子静止照相机的解释。这个实施例的电子静止照相机包括基本上与第一实施例的电子静止照相机一样的结构。然而,它们在提供于图像传感器的光电转换元件上的滤色器的布置、YC处理电路和颜色矩阵电路这些方面是不同的。以下将注意力集中于这些差别来描述第四实施例。
(1)滤色器的布置
除了滤色器的布置之外,根据这个实施例的图像传感器的结构差不多与第一实施例的一样。因而,该实施例的结构将仅仅相对于滤色器的布置而非相对于图像传感器的结构来描述。图12A示出这个实施例的滤色器的布置。如图12A所示,这个实施例的滤色器配有两行和两列阵列单元,它们由用于第一颜色成分α的滤色器F1和用于第二颜色成分β的滤色器F2构成。对每个滤色器的透光特性来说,分别采用图8中的特性82和特性83。
(2)YC处理电路
图13是用于示出YC处理电路46的结构的框图。YC处理电路46包括同步处理电路51a、颜色矩阵电路52a和伽马校正电路53a。同步处理电路51a对颜色成分α和β中的每种实施数字图像拾取信号Sd的同步化。颜色矩阵电路52a通过对视频信号产生数据Di和在同步处理电路51a中对每种颜色成分同步化的数字图像拾取信号Sd实施算术运算,来产生并且输出由P(肉色)和Y(亮度)两种颜色构成的数字视频信号SD。伽马校正电路53a通过转换数字视频信号SD使之具有伽马特性的反特性而输出数字视频信号SD。
(3)颜色矩阵电路
图14是用于示出颜色矩阵电路52a的一部分结构的框图。颜色矩阵电路52a具有配有示于图14中的用于产生P(肉色)和Y(亮度)的两个电路的结构。该电路中的每个都包括乘法器61、加法器62和上溢/下溢校正电路63。
以上面提到两个电路之一作为例子来描述处理流程。首先,乘法器61将经过同步处理电路51同步化的数字图像拾取信号Sd的各个颜色成分α、β的颜色信号Iα、Iβ中的各个信号乘以视频信号产生数据A、B。视频信号产生数据A是用于第一颜色成分的数据,视频信号产生数据B是用于第二颜色成分的数据。
加法器62将从乘法器61中得到的两个相乘结果相加。由加法器62相加的结果用等式4表示。
[等式4]
(加法器62的输出)=(A*Iα)+(B*Iβ)
以这种方式,从等效于图14所示的电路的等式4获得的加法器62的相加结果对应于从颜色矩阵电路52a中输出的P(肉色)和B(亮度)。因而,从等式4和颜色矩阵电路52a的输出信号之间的关系可以获得等式5。
[等式5]
(P(肉色))=(AP*Iα)+(BP*Iβ)
(Y(亮度))=(AY*Iα)+(BY*Iβ)
这里,AP和AY分别是待乘到用于输出P(肉色)和Y(亮度)的数字图像拾取信号Sd(已经同步化)的颜色信号Iα上的系数。BP和BY分别是待乘到用于输出P(肉色)和Y(亮度)的颜色信号Iβ上的系数。
当加法器62从等式4得到的相加结果超出预定的位范围时,上溢/下溢校正电路63实施裁剪处理,以便通过校正它使之位于该预定的位范围内。
根据上述结构,就可以从第一颜色成分α的滤色器获得接近于人的视觉敏感特性的亮度信息,并且从第二颜色成分β的滤色器获得接近于介于黄色和红色之间的肉色的亮度信息。在这个实施例中不可能正确地获得由人感知的颜色信息。然而,其优选作为一种用于识别具有特性颜色成分的对象的手段,例如在探测人时对皮肤颜色的探测。
(4)变例
在上述实施例中,从颜色矩阵电路52a中输出的视频信号的特性设置为肉色和亮度。然而,勿庸置疑,本发明不限于这些,而可以输出其他信号或者可以输出单种信号,例如仅仅是亮度信号。对于滤色器来说,任何类型的都能够用来实施这个实施例,只要它由单层无机材料制成并且具有两种透射特性。此外,可以将滤色器的布置设为所谓的以一行和两列作为阵列单元的条形。
第五实施例
接下来将给出根据本发明第五实施例的电子静止照相机的解释。这个实施例的电子静止照相机包括基本上与第一实施例的电子静止照相机一样的结构。然而,它们在提供于图像传感器的光电转换元件上的滤色器的布置、YC处理电路和颜色矩阵电路这些方面是不同的。以下将注意力集中于这些差别来描述第五实施例。
(1)滤色器的布置
除了滤色器的布置之外,根据这个实施例的图像传感器的结构差不多与第一实施例的一样。因而,该实施例的结构将仅仅相对于滤色器的布置而非相对于图像传感器的结构来描述。图12B示出这个实施例的滤色器的布置。如图12B所示,这个实施例的滤色器配有两行和两列阵列单元,它们由用于第一颜色成分α的滤色器F1、用于第二颜色成分β的滤色器F2、用于第三颜色成分γ的滤色器F3和用于第四颜色成分δ的滤色器F4构成。对每个滤色器的透光特性来说,分别采用示于图8中的特性81、82、83和80。
换句话说,这个滤色器配有四种膜厚,每种都具有该透射光谱中的特定最大波长,并且具有第一膜厚和第二膜厚的滤色器依次布置在第一行中,而具有第三膜厚和第四膜厚的滤色器依次布置在第二行中。这对应着棋盘型补色阵列。
(2)YC处理电路
图15是用于示出YC处理电路46的结构的框图。YC处理电路46包括同步处理电路51b、颜色矩阵电路52b和伽马校正电路53b。同步处理电路51b对颜色成分α、β、γ、δ中的每种实施数字图像拾取信号Sd的同步化。颜色矩阵电路52b通过对视频信号产生数据Di和在同步处理电路51b中对每种颜色成分同步化的数字图像拾取信号Sd实施算术运算,来产生并且输出由R(红)、G(绿)和B(蓝)三种颜色构成的数字视频信号SD。伽马校正电路53b通过转换数字视频信号SD使之具有伽马特性的反特性而输出数字视频信号SD。
(3)颜色矩阵电路
图16是用于示出颜色矩阵电路52b的一部分结构的框图。颜色矩阵电路52b具有配有示于图16中的用于产生R(红)、G(绿)和B(蓝)的三个电路的结构。该电路中的每个都包括乘法器61、加法器62和上溢/下溢校正电路63。
以上面提到三个电路之一作为例子来描述处理流程。首先,乘法器61将数字图像拾取信号Sd(经过同步化的)的各个颜色成分α、β、γ、δ的颜色信号Iα、Iβ、Iγ、Iδ中的各个信号乘以视频信号产生数据A、B、Γ、Δ。
加法器62将从乘法器61中得到的四个相乘结果相加。由加法器62相加的结果用等式6表示。
[等式6]
(加法器62的输出)=(A*Iα)+(B*Iβ)+(Γ*Iγ)+(Δ*Iδ)
加法器62从等效于图14所示的电路的等式6获得的相加结果对应于从颜色矩阵电路52b中输出的R(红)、G(绿)和B(蓝)。因而,从等式6和颜色矩阵电路52b的输出信号之间的关系可以获得等式7。
[等式7]
(R(红))=(AR*Iα)+(BR*Iβ)+(ΓR*Iγ)+(ΔR*Iδ)
(G(绿))=(AG*Iα)+(BG*Iβ)+(ΓG*Iγ)+(ΔG*Iδ)
(B(蓝))=(AB*Iα)+(BB*Iβ)+(ΓB*Iγ)+(ΔB*Iδ)
这里,AR、AG和AB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的数字图像拾取信号Sd(已经同步化)的颜色信号Iα上的系数。BR、BG和BB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的颜色信号Iβ上的系数。ΓR、ΓG和ΓB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的颜色信号Iγ上的系数。ΔR、ΔG和ΔB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的颜色信号Iδ上的系数。
当加法器62从等式6得到的相加结果超出预定的位范围时,上溢/下溢校正电路63实施裁剪处理,以便通过校正该相加结果使之位于该预定的位范围内。
根据上述结构,就可以从图像传感器(具有与常规的原色和补色滤色器显著不同的透光特性)产生所需的R(红)、G(绿)和B(蓝)信号,该图像传感器包括根据本发明的由单层无机材料制成的滤色器。特别是,通过在图像传感器中设置四种滤色器,就可以在产生由等式7所示的信号时增加自由度,由此在更大程度上实现更好的颜色再现。此外,对于与在常规棋盘型补色阵列中的图像拾取元件的输出对应的那些的亲和性能够得到改善,因此设计步骤的数目能够显著地减少。
(4)变例
在上述实施例中,使滤色器的布置成为如图12B所示的结构。然而,勿庸置疑,本发明不限于此。可以将滤色器的布置设为以四行和两列作为阵列单元,如图12C和图12D所示。
示于图12C中的滤色器配有四类膜厚,每类在透射光谱中都具有特定的最大波长,并且具有第一膜厚、第二膜厚、第一膜厚和第四膜厚的滤色器按照(αγαδ)的顺序布置在第一列,而具有第三膜厚、第四膜厚、第三膜厚和第二膜厚的滤色器按照(βδβγ)的顺序布置在第二列。这对应于电影型补色阵列。
通过这样做,对于与在常规电影型补色阵列中的图像拾取元件的输出对应的那些的亲和性能够得到改善,设计步骤的数目能够显著地减少。
此外,示于图12D中的滤色器配有四类膜厚,每种在透射光谱中都具有特定的最大波长,并且具有第一膜厚、第二膜厚、第三膜厚和第四膜厚的滤色器按照(αγβδ)的顺序布置在第一列,而具有第三膜厚、第四膜厚、第一膜厚和第二膜厚的滤色器按照(βδαγ)的顺序布置在第二列。这对应于全线反转电影型(all-line inversion movie-type)补色阵列。
通过这样做,对于与在常规全线反转电影型补色阵列中的图像拾取元件的输出对应的那些的亲和性能够得到改善,设计步骤的数目能够显著地减少。与此类似,这个实施例能够能够通过调整滤色器的特性而改变被摄对象的频带。因而,滤色器能够根据例如被摄对象的模式和颜色成分这样的条件而选择性地使用。此外,在上面的描述中,将输出信号解释为三种,也即R(红)、G(绿)和B(蓝)。然而,这些信号可以是Y(亮度)、CB(B-Y的色差)、CR(R-Y的色差)等的组合,或者可以是单一类型,仅仅是Y(亮度)。此外,输出可以是四种或者更多种,例如R(红)、G(绿)、B(蓝)和Y(亮度)。
此外,尽管在上面描述的本实施例中将滤色器的膜厚解释为四种,但是它可以是四种或者更多种类型。这些情形能够通过在等式6和等式7中增加项如α、β、γ、δ......来实现。通过这样做,能够实现更微细的颜色再现。
第六实施例
接下来将给出根据本发明第六实施例的电子静止照相机的解释。这个实施例的电子静止照相机包括基本上与第一实施例的电子静止照相机一样的结构。然而,它们在YC处理电路方面是不同的。以下将注意力集中于该差别来描述第六实施例。
图17是用于示出YC处理电路46的结构的框图。YC处理电路46包括同步处理电路51c、颜色矩阵电路52c、伽马校正电路53c、色差信号NR(噪声降低)电路54和亮度色差RGB转换电路55。
同步处理电路51c按每种颜色成分α、β、γ对数字图像拾取信号Sd实施同步化。颜色矩阵电路52c通过对视频信号产生数据Di和数字图像拾取信号Sd(已经同步化)实施算术运算,来产生并且输出由亮度信号IY、色差信号ICB、和色差信号ICR三种系统构成的数字视频信号SD。伽马校正电路53c通过转换数字视频信号SD使之具有伽马特性的反特性而将其输出。色差信号NR电路54在实施了降低噪声或者噪声感知的处理之后输出色差信号。亮度色差RGB转换电路55通过根据亮度信号和两类色差信号ICB和ICR实施算术运算,来产生并且输出RGB(红、绿、蓝)信号。
(2)色差信号NR电路
色差信号NR电路54由如图18所示平行布置的、用于色差信号ICB和色差信号ICR的两个电路构成,以实施对这两类色差信号的处理。这些电路中的每个都包括1T延迟电路91、滤色器抽头系数确定增益校正部件92和加法器93。
1T延迟电路91根据供应到1T延迟电路91的时钟同步信号(未示出),延迟该时钟同步信号的一个周期将输入的数据输出。因而,在信号94和信号95之间存在两个周期的时间滞后。当图像拾取信号按时钟同步信号进行同步化处理时,信号95对应于与信号94的像素相差两个像素的图像拾取信号。
此外,滤色器抽头系数确定增益校正部件92具有由如图所示的正方形区域所包围内的数字的校正增益值。例如,当该正方形区域内的值为0.25时,在滤色器抽头系数确定增益部件92的输入和输出就建立起等式8的关系。
[等式8]
(输出)=(0.25)*(输入)
此外,加法器93将经1T延迟电路91延迟的图像拾取信号和经每个滤色器抽头系数确定增益校正部件92增益校正过的信号加起来。据此,通过设置某一像素作为基准像素,就可以输出信号,这些信号是如下分别在它们之间加上2:1:1的权重之后,通过对下述相加结果实施0.25倍的增益校正而得到的。
-基准像素和基准像素
-基准像素在将基准像素设置为原点的第一方向上的相邻像素,和基准像素
-基准像素在与将基准像素设置为原点的第一方向相差180°的方向上的的相邻像素,和基准像素
因具有权重“2:1:1”的相加结果表示经过LFP过滤处理,因此色差信号的高频成分减少而仅仅低频成分通过。因此,可以在色差信号中获得噪声感知得到抑制的高质量信号。
(3)亮度色差RGB转换电路
图19是用于示出亮度色差RGB转换电路55的一部分的框图。亮度色差RGB转换电路55由示于图19中的、用于从亮度信号IY、色差信号ICB和色差信号ICR中产生R(红)、G(绿)和B(蓝)的三个电路构成。这些电路中的每个都包括乘法器61、加法器62和上溢/下溢校正电路63。
以上面提到三个电路之一作为例子来描述处理的流程。首先,乘法器61将亮度信号IY、色差信号ICB和色差信号ICR的各个信号乘以视频信号产生数据(亮度信号转换数据)A、视频信号产生数据(CB信号转换数据)B、视频信号产生数据(CR信号转换数据)Γ。
加法器62将乘法器61的三个相乘结果相加。由加法器62相加的结果用等式9表示。
[等式9]
(加法器62的输出)=(A*IY)+(B*ICB)+(Γ*ICR)
加法器62从等效于图19所示的电路的等式9获得的相加结果,对应于从亮度色差RGB转换电路55中输出的R(红)、G(绿)和B(蓝)。因而,从等式9和亮度色差RGB转换电路55的输出信号之间的关系可以获得等式10。
(R(红))=(AR*IY)+(BR*ICB)+(ΓR*ICR)
(G(绿))=(AG*IY)+(BG*ICB)+(ΓG*ICR)
(B(蓝))=(AB*IY)+(BB*ICB)+(ΓB*ICR)
AR、AG、AB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的亮度信号IY上的系数。BR、BG、BB分别是待到用于输出R(红)、G(绿)和B(蓝)的色差信号ICB上的系数。ΓR、ΓG、ΓB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的色差信号ICR上的系数。
上溢/下溢校正电路63在从等式9得到的加法器62的相加结果超出预定的位范围时实施裁剪处理,以便通过校正它使之位于该预定的位范围内而输出相加结果。
这些值优选设置在亮度色差RGB转换电路55内满足等式11所示的关系。
[等式11]
R(红)=IY+ICR
G(绿)=IY-0.5*ICR-0.18*ICB
B(蓝)=IY+ICB
(4)变例
在上面提供的这个实施例的描述中,将两个色差信号NR电路54平行设置以便对应于两类色差信号。然而,勿庸置疑,本发明不限于此。例如,这两种颜色信号可以由单个色差信号NR电路通过使色差信号变薄来按时间序列交替处理。
此外,在上面提到的这个实施例的描述中,使用LPF作为用来执行NR(噪声降低)的结构。然而,可以使用分级滤色器(rank filter),典型地为中值滤色器。
此外,尽管该实施例包括亮度颜色信号RGB转换电路55和颜色矩阵电路52c两者,但是可以通过利用电路结构的类似性,将它们合理地变为单个电路。
还有,等式11中使用的、用于转换亮度色差信号为RGB信号的系数仅仅是示例,也可以使用其他值。
第七实施例
接下来将给出根据本发明第七实施例的电子静止照相机的解释。这个实施例的电子静止照相机包括基本上与第一实施例的电子静止照相机一样的结构。然而,它们在YC处理电路方面是不同的。以下将注意力集中于该差别来描述第七实施例。
(1)颜色矩阵电路
图20是用于示出颜色矩阵电路52d的一部分结构的框图。颜色矩阵电路52d具有配有示于图20中的、用于产生R(红)、G(绿)和B(蓝)的三个电路的结构。该电路中的每个都包括乘法器61、加法器62、上溢/下溢校正电路63、加法器62a和加法器62b。
以上面提到三个电路之一作为例子来描述处理的流程。首先,加法器62分别将视频信号产生数据A′、B′、Γ′分别加到数字图像拾取信号Sd(已经同步化)的颜色成分α、β、γ的颜色信号Iα、Iβ、Iγ中的各个上。
然后,乘法器61将已经由加法器62a加上了预定值的数字图像拾取信号Sd(已经同步化)的(Iα+A′)、(Iβ+B′)、(Iγ+Γ′)中的各个分别乘以各个视频信号产生数据A、B、Γ。
随后,加法器62将从乘法器61中得到的三个相乘结果相加。然后,加法器62b将在加法器62中相加的数字图像拾取信号Sd和从微计算机45中输入的视频信号产生数据Δ′相加。加法器62b的相加结果可以用等式12表示。
[等式12]
(加法器62的输出)=(A*(Iα+A′))+(B*(Iβ+B′))+(Γ*(Iγ+Γ′))+Δ′
加法器62b从等效于图20所示的电路的等式12获得的相加结果对应于从颜色矩阵电路52d中输出的R(红)、G(绿)和B(蓝)。因而,从等式12和颜色矩阵电路52d的输出信号之间的关系可以获得等式13。
[等式13]
(R(红))=(AR*(Iα+A′R))+(BR*(Iβ+B′R))+(ΓR*(Iγ+Γ′R))+Δ′R
(G(绿))=(AG*(Iα+A′G))+(BG*(Iβ+B′G*))+(ΓG*(Iγ+Γ′G))+Δ′G
(B(蓝))=(AB*(Iα+A′B))+(BB*(Iβ+B′B))+(ΓB*(Iγ+Γ′B))+Δ′B
A′R、A′G和A′B分别是待加到用于输出R(红)、G(绿)和B(蓝)的数字图像拾取信号Sd(已经同步化)的颜色信号Iα上的系数。B′R、B′G和B′B分别是待加到用于输出R(红)、G(绿)和B(蓝)的颜色信号Iβ上的系数。Γ′R、Γ′G和Γ′B分别是待加到用于输出R(红)、G(绿)和B(蓝)的颜色信号Iγ上的系数。AR、AG和AB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的、从加法器62a输出的图像拾取信号(Iα+A′)上的系数。BR、BG和BB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的、从加法器62a输出的图像拾取信号(Iβ+B′)上的系数。ΓR、ΓG和ΓB分别是待乘到用于输出R(红)、G(绿)和B(蓝)的、从加法器62a输出的图像拾取信号(Iγ+Γ′)上的系数。Δ′R、Δ′G和Δ′B分别是待加到用于输出R(红)、G(绿)和B(蓝)的图像拾取信号(A*(Iα+A′)+B*(Iβ+B′)+Γ*(Iγ*Γ′))上的系数。
当加法器62从等式13得到的相加结果超出预定的位范围时,上溢/下溢校正电路63实施裁剪处理,以便通过校正该相加结果使之位于该预定的位范围内。
(2)变例
在上述实施例中,尽管加到图像拾取信号的值A′、B′、Γ′是单独设置的,但是勿庸置疑,本发明不限于此。值A′、B′、Γ′可以相同或者为负值。对值Δ′的情况也一样,并且值Δ′R、Δ′G和Δ′B可以是独立的值或者相同的值。此外,以可以包括负值。还有,可以提供一个乘法器(未示出)用于校正来自加法器62b的输出的增益。
根据这个实施例,由于实施了通过相对于数字图像拾取信号Sd的线性组合加上或者减去常数所表示的转换,因此可以对数字视频信号SD实施详细的调整。此外,可以省去冗余电路使得电路的规模减小。
第八实施例
接下来将给出根据本发明第八实施例的电子静止照相机的解释。这个实施例的电子静止照相机包括基本上与第四实施例的电子静止照相机一样的结构。然而,它们的不同之处在于在光学透镜和图像传感器之间没有IR截止滤色器,并且在滤色器的透光特性和颜色矩阵电路的结构方面也存在差别。以下将注意力集中于这些差别来描述本实施例。
(1)电子静止照相机的结构(具有或者不具有IR截止滤色器)
图21是用于示出根据这个实施例的电子静止照相机的功能结构的框图。如图21所示,这个实施例的电子静止照相机包括光学透镜1、图像传感器3、模拟信号处理电路4、A/D转换器5、数字信号处理电路6、存储卡7、和驱动电路8。然而,示于图1的结构中的IR截止滤色器2在这个实施例中没有提供。光学透镜1将来自被摄对象的入射光的图像形成在图像传感器3上。由于在这个实施例的电子静止照相机中没有IR截止滤色器,因此进入图像传感器3的长波成分没有消除。图像传感器是所谓的单片CCD图像传感器。因而,在该实施例中,提供单色滤色器来过滤进入以二维方式布置的光电转换元件中每个的入射光。图像传感器3根据来自驱动电路8的驱动信号读出电荷,并且输出模拟图像拾取信号Sa。
模拟信号处理电路4对从图像传感器3输出的模拟图像拾取信号Sa实施例如相关双采样和信号放大这样的处理。A/D转换器5将模拟信号处理电路4的输出信号转换成数字图像拾取信号Sd。数字信号处理电路6基于数字图像拾取信号Sd产生所需的数字视频信号SD。从数字信号处理电路6输出的数字视频信号SD记录在存储卡7中。
(2)滤色器的布置和透光特性
根据这个实施例的图像传感器的结构与第一实施例的几乎一样,除了滤色器的布置之外。因而,这个实施例针对滤色器的布置及其透光特性来描述。
对滤色器的布置采用示于图12A的结构。根据这个实施例的图像传感器的滤色器包括用于第一颜色成分α的滤色器F1和用于第二颜色成分β的滤色器F2,它们布置成两行和两列作为阵列单元。
每个滤色器的第一颜色成分α和第二颜色成分β的透光特性分别是图22中的特性88和特性89。图22的横轴表示波长,而纵轴表示透光率。
λc是常规的电子静止照相机中所提供的IR截止滤色器的截止波长,A1是在常规电子静止照相机中用作图像拾取信号的波长区域,而A2是因IR截止滤色器的遮光没有用作图像拾取信号的波长区域。区域A1和区域A2由截止波长λc分开。在这个实施例的电子静止照相机中,区域A1是大约400纳米~大约700纳米的波长区域,区域A2是大约700纳米或者更大的波长区域,并且截止波长λc设置在大约700纳米。也即,这个实施例的滤色器通过图像传感器的各个像素地址透射区域A1的光和区域A2的光。
(3)颜色矩阵电路
图23是用于示出颜色矩阵电路52a的一部分结构的框图。颜色矩阵电路52a具有设有示于图23中的、用于产生I(近红外视频)和Y(亮度)的两个电路的结构。每个电路都包括乘法器61、加法器62和上溢/下溢校正电路63。
以上面提到两个电路之一作为例子来描述处理的流程。首先,乘法器61将数字图像拾取信号Sd(已经同步化)的各个颜色成分α、β的颜色信号Iα、Iβ中的每个信号乘以视频信号产生数据A、B。加法器62将乘法器61的两个相乘结果相加。由加法器62相加的结果可以用等式14表示。
[等式14]
(加法器62的相加结果)=(A*Iα)+(B*Iβ)
加法器62从等效于图23所示的电路的等式I4获得的相加结果对应于从颜色矩阵电路52a中输出的I(近红外视频)和Y(亮度)。因而,从等式14和颜色矩阵电路52a的输出信号之间的关系可以获得等式15。
[等式15]
(I(近红外视频))=(AI*Iα)+(BI*Iβ)
(Y(亮度))=(AY*Iα)+(BY*Iβ)
这里,AI和AY中的每个是待乘到用于输出I(近红外视频)和Y(亮度)的数字图像拾取信号Sd的颜色信号Iα上的系数。BI和BY中的各个分别是待乘到用于输出I(近红外视频)和Y(亮度)的数字图像拾取信号Sd的颜色信号Iβ上的系数。
当加法器62从等式15得到的相加结果超出预定的位范围时,上溢/下溢校正电路63实施裁剪处理,以便通过校正它使之位于该预定的位范围内。
特别是,通过满足下述关系,在这个实施例的矩阵电路中可以获得所需的信号。
[等式16]
(I(近红外视频))=(AI*Iα)-(BI*Iβ)
(Y(亮度))=(-1)*(AY*Iα)+(BY*Iβ)
AI、BI、AY、BY>0
根据上述结构,通过从来自用于第一颜色成分α的滤色器的输出的增益校正信号中减去用于第二颜色成分β的滤色器的输出的增益校正信号,可以获得接近于人的视觉敏感特性的亮度信息。此外,通过从来自用于第二颜色成分β的滤色器的输出的增益校正信号中减去相对用于第一颜色成分α的滤色器的输出的增益校正信号,可以获得接近于近红外区域的视频信号。
在这个实施例中不可能正确地获得由人感知的颜色信息。然而,优选作为一种设备,用于在拾取例如既包含在光量方面极其缺乏的被摄对象又包含具有极其过量的光的被摄对象的那些被摄对象时,识别分别存在于现低亮度部分中的对象和存在于高亮度部分的对象。
(4)变例
在上面的描述中,待输出的视频信号的特性是亮度信号和近红外视频信号。然而,勿庸置疑,本发明不限于此。可以输出其他信号,或者可以输出单独一种信号,例如仅仅是亮度信号。
对滤色器的布置也是一样。膜厚的类型不限于两类,只要存在等于或者多于一类就行。
该实施例没有IR截止滤色器并且能够利用近红外区域的视频信号,因此能够增加图像拾取信号的信息量。
第九实施例
(1)滤色器的颜色布置
勿庸置疑,在根据上述各个实施例的滤色器的颜色布置中,第一颜色成分α、第二颜色成分β、和第三颜色成分γ中每一种能够以任何组合的方式布置。然而,当α/β/γ分别结合红/黄/无色时,能够获得最好的颜色S/N。后面将会解释原因。
如上所述,在本发明使用由无机材料制成的单层过滤膜的结构中的透射特性不同于使用有机材料的滤色器的透射特性。透射波长由过滤膜厚度和无机材料在该膜厚处的的折射率的乘积确定。因而,要设置由国际照明委员会(CIE,Commission Internationale de I/Eclairage)定义的理想的基准颜色刺激量的组合,也即,在三种理想的R(红)、G(绿)和B(蓝)波长700纳米、546.10纳米和435.8纳米处的刺激量的组合是困难的。
当透射光谱的最大波长是红色=700纳米、黄色=575纳米、和无色=435纳米(可以接近于蓝色或者位于可见光和紫外线之间的交界附近)时,容易分离并且透射那些波长的光。理想的情况是,最大波长为上述值。然而,实际中,由于固态图像拾取元件在制造时的偏差等,波长存在差异。因此,在近似±50纳米范围内的误差是可接受的。也即,各个最大波长可以在以下范围内:红色=650纳米~750纳米,黄色=525纳米~625纳米,蓝色=380纳米~480纳米。此外,对波长来说具有高通透射特性,并且所希望的是,在颜色透射光谱中,最大波长的波长范围包含于透射波长的范围内。对这种情形,希望截止频率小于最大值,因为最大波长处于透射波长的范围内。
对如上所述的波长范围,理想的是,按照从最厚的膜厚的顺序均一地确定每种膜厚。然而,在实际中,由于固态图像拾取元件在制造时的偏差,可能造成膜厚的差异。因而,可以存在大约±10的范围内的误差余量。也即,由上述等式N·d=λ/2计算出的在波长700纳米、575纳米、和435纳米处的最佳膜厚分别为70纳米、60.5纳米、和40纳米,因为这些波长处的折射率为5.25、4.75和4.5。对具有最大值的每种颜色的波长的上述范围是:红色=650纳米~750纳米,黄色=525纳米~625纳米,蓝色=380纳米~480纳米,因此,包括在最佳膜厚方面大约±10纳米的偏差,能够获得红色、黄色、和无色的颜色波长,只要考虑到在最佳膜厚附近±10的偏差,该膜厚处于30纳米~50纳米,50纳米~70纳米和60纳米~100纳米范围内。
由上述等式N·d=λ/2获得的膜厚在波长和折射率之间具有相关性,并且其在折射率是常数时是成比例的。因而,当第一颜色成分、第二颜色成分、和第三颜色成分按照从最厚的一个开始的顺序布置时,那么该顺序就是红色、黄色、和无色。
此外,在YC处理电路46中计算RGB成分。那些能够基于附加的颜色混合表达为下列关系式。
[等式17]
(R(红))=(R(红))
(G(绿))=(R(红))-(Ye(黄))
(B(蓝))=(W(无色))-(R(红))-(G(绿))=(W(无色))-(Ye(黄))
也即,RGB颜色成分能够通过使用红色、黄色和无色的滤色器仅由这三种颜色成分来计算和确定。
当将附加的颜色混合应用到上述等式2时,它对应着下列情形:AR=1,AG=1,AB=-1,BR=0,BG=1,BB=-1,ΓR=0,ΓG=0,ΓB=1。换句话说,假定从微计算机45提供的校正值是上述九个值,那么不需微计算机45提供校正值并且实施在颜色矩阵电路52中计算RGB颜色成分的乘法。因此,颜色矩阵电路52的电路规模能够降低,并且由此能够实现成本的降低。
在颜色矩阵电路52中,实际上,通过在等式2将系数设置为0,并且省去待乘以系数0的项,在等式17中没有的项的颜色成分可以表达如下。
[等式18]
(R(红))=AR*(R(红))
(G(绿))=AG*(R(红))+B G*(Ye(黄))
(B(蓝))=(W(无色))-(R(红))-(G(绿))=BB*(Ye(黄))+ΓB*(W(无色))
与有机材料的滤色器不同,由无机材料制成的滤色器的透光特性没有确定的最大波长,并且与光谱的最大值对应的波长的信号电平随波长的变短而变小。结果,由无机材料制成的滤色器的透光特性具有反射在比某一波长更短波长侧范围内的波而不透射它的截止特性。因而,在实际的颜色矩阵电路52中,在等式18中乘到各个信号的系数用来调整各种颜色成分的信号电平。与此类似,具有上述特性的本发明的过滤膜通过结合它和其中设置了乘到等式18上各个信号的系数的数字信号处理电路,能够提高颜色再现能力。
(2)滤色器布置的例子
在其中将三种不同的颜色成分布置在由两行和两列组成的四个像素的滤色器结构中,通过在其中选择和布置两个Ye成分,能够获得具有最佳改善的颜色S/N的固态图像拾取元件和图像输入设备。下面将解释这个原因。
定性地看,Ye成分的光谱的峰值波长是大约575纳米,并且与R成分和W成分的相比,最大波长位于可见光区域的中心。因而,可接受的波长范围分布在包括最大波长附近的可见光区域的较宽范围内,因此颜色敏感性在这三种成分中是最高的。由于这一点,最好的颜色S/N能够通过使用两种Ye成分而实现。此外,在使用无机材料的滤色器的结构中,存在这样的情形,即在可见光区域内没有显著的最大值,并且在这种结构中,颜色S/N的改善的效果由于波长变短而更为显著。对于白色,由于从定量的噪声方面看,每种颜色成分的信号比变大,所以在颜色S/N方面的差异变得更为令人满意的明显。因而,这个效果将以再现白色为例进行描述。
在透射光谱的可见光区域,构成白色的R∶W∶Ye的信号比用整数值表示。如在示出其示意图的图24中的,最大波长区域差不多在如435纳米、575纳米、和700纳米的等间隔处。因而,整数值近似为1∶2∶3。勿庸置疑,在实际中,整数值的比不仅仅是1∶2∶3,而是也可以因该设备的透射特性、膜厚等而不同。这里,白色与w成分不是相同的信号而是一个不同的信号。
在上述等式17中,使用R成分和Ye成分的两项以及w成分的一项转换到RGB。然而,作为一项的W成分的贡献的比例低于其他的成分。因而,即使具有两个W成分,也不能获得最好的颜色S/N。因此,尽管将两种滤色器,也即用于R成分的滤色器和用于Ye成分的滤色器的任何一种在阵列中设为两个,也能够通过选择具有更小噪声的两种滤色器来实现更好的颜色S/N。
此外,在图像数据中没有包含一点噪声成分。假设R、Ye和w的噪声成分分别是Nr、Nye、和Nw,那么 Nr : Nye : Nw = 1 : 2 : 3 : , 因为噪声比正比于信号的平方根(下面书写为)。
Figure A20061015208500432
是n的平方根,并且
Figure A20061015208500433
是(---)的平方根。
当设置用于R成分的两个滤色器时,结果如下。
Figure A20061015208500434
与此同时,当设置用于Ye成分的两个滤色器时,结果如下。
R成分的噪声=Nr=1
Figure A20061015208500441
因为上述原因,定性地看,显然,通过在滤色器中使用两个Ye成分滤色器,噪声量被抑制在低级别,因此从噪声方面看,颜色S/N比也得到提高。
图25A和图25B示出具有2×2像素作为阵列单元的滤色器的布置的例子。用于Ye成分的滤色器布置为棋盘的形式。在图25A中,那些是按照较长的波长从左上朝着横向的顺序布置,其中分别有R成分滤色器布置在像素单元的左上,并且W成分的滤色器布置在右下。然而,当像素单元在顶部和底部、左边和右边移动一个像素时也一样。换句话说,如图25B中各个滤色器的布置所示,可以分别将W成分的滤色器布置在像素单元的左上并且将R成分的滤色器布置在像素单元右下。此外,通过分别将Ye成分的滤色器设置在左上和右下,可以将R成分的滤色器和W成分的滤色器彼此切换。
在上述各个实施例中,图像传感器是CCD。然而,勿庸置疑,本发明不限于此。图像传感器可以是MOS(金属氧化物半导体)型传感器。
此外,尽管构成图像拾取设备的一些部件例如闪光、机械快门等在该说明中省去,但是应该注意,粘着功能的添加落在在本发明的范围内。
本发明已经关于最佳实施例进行了具体的描述。然而,在不背离本所附权利要求的精神和广义的范围内,这些构件可以有各种组合和变化。

Claims (28)

1、一种图像输入设备,包括:
用于拾取被摄对象的固态图像拾取元件,和
用于对从所述固态图像拾取元件输出的图像拾取信号进行信号处理的信号处理器,其中:
所述固态图像拾取元件包括由单层无机材料制成、根据膜厚在入射光的透射光谱上特定波长处呈现一最大值的过滤膜,和用于根据所述入射光透过所述过滤膜的光量产生信号电荷的光电转换部件,其中提供有至少两种具有不同膜厚的多个所述过滤膜,并且所述多个过滤膜按照预定排列方式平行布置;并且
所述信号处理器根据所述预定排列方式对所述图像拾取信号实施颜色转换处理,以产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一个信号。
2、根据权利要求1所述的图像输入设备,包括三种彼此具有不同膜厚的多个过滤膜,并且所述过滤膜按照两行两列的阵列单元平行布置,其中:
具有第一膜厚和第三膜厚的所述过滤膜依次布置在所述阵列单元的第一列中;并且具有第二膜厚和第一膜厚的所述过滤膜依次布置在所述阵列单元的第二列中。
3、根据权利要求2所述的图像输入设备,其中所述第一膜厚、所述第二膜厚、和所述第三膜厚设置成按照所述第二膜厚、所述第一膜厚、和所述第三膜厚的顺序越来越薄。
4、根据权利要求1所述的图像输入设备,包括四种彼此具有不同膜厚的多个过滤膜,并且所述过滤膜按照两行两列的阵列单元平行布置,其中:
具有第一膜厚和第二膜厚的所述过滤膜依次布置在所述阵列单元的第一列中;并且具有第三膜厚和第四膜厚的所述过滤膜依次布置在所述阵列单元的第二列中。
5、根据权利要求1所述的图像输入设备,包括四种彼此具有不同膜厚的多个过滤膜,并且所述过滤膜按照四行两列的阵列单元平行布置,其中:
具有第一膜厚、第二膜厚、第一膜厚、和第四膜厚的所述过滤膜依次布置在所述阵列单元的第一列中;并且具有第三膜厚、第四膜厚、第三膜厚、和第二膜厚的所述过滤膜依次布置在所述阵列单元的第二列中。
6、根据权利要求1所述的图像输入设备,包括四种彼此具有不同膜厚的多个过滤膜,并且所述过滤膜按照四行两列的阵列单元平行布置,其中:
具有第一膜厚、第二膜厚、第三膜厚、和第四膜厚的所述过滤膜依次布置在所述阵列单元的第一列中;并且具有第三膜厚、第四膜厚、第一膜厚、和第二膜厚的所述过滤膜依次布置在所述阵列单元的第二列中。
7、根据权利要求1所述的图像输入设备,其中:
所述图像拾取信号包括第1~第n图像拾取信号,n是等于或大于2的自然数,所述第1~第n图像拾取信号是通过由所述光电转换部件对透过彼此具有不同膜厚的第1~第n所述过滤膜的入射光实施光电转换处理而产生的;并且
所述信号处理器执行表示为在所述第1~第n图像拾取信号的线性基本组合表达式上加上或者减去一常数的颜色转换处理。
8、根据权利要求7所述的图像输入设备,其中所述信号处理器通过执行在所述第1~第n图像拾取信号中的一种信号上乘以一第一常数和加上或减去一第二常数的所述颜色转换处理,来产生所述亮度信号。
9、根据权利要求1所述的图像输入设备,其中所述信号处理器执行所述颜色转换处理,其中就所述信号处理中的伽马校正函数的形状来说,在输入比一预定阈值小的区域内,所述伽马校正函数的第二微分值表示为等于或大于0,而在输入比该预定阈值大的区域内,所述伽马校正函数的第二微分值表示为等于或小于0。
10、根据权利要求1所述的图像输入设备,其中所述信号处理器执行所述颜色转换处理,其中就伽马校正函数的形状来说,所述伽马校正函数的第二微分值表示为等于或大于0。
11、根据权利要求1所述的图像输入设备,其中所述信号处理器执行所述颜色转换处理,其中伽马校正函数的形状用一线性函数和该线性函数的组合来表示。
12、根据权利要求1所述的图像输入设备,其中所述颜色转换处理包括用于消除噪声成分的处理。
13、根据权利要求1所述的图像输入设备,其中所述颜色转换处理包括仅使比频率成分中色差信号的一预定波带要小的信号透过的处理。
14、根据权利要求13所述的图像输入设备,其中所述预定波带比亮度信号的波带低。
15、根据权利要求1所述的图像输入设备,其中所述固态图像拾取元件包括位于入射光路径上、用于消除近红外线的IR截止滤色器。
16、一种固态图像拾取元件,包括:
过滤膜,其针对入射光的透射光谱上的至少三个波长呈现彼此不同的最大值,和
光电转换部件,用于根据所述入射光透过所述过滤膜的光量产生信号电荷,其中
所述波长包含在650纳米~750纳米的波长范围内、525纳米~625纳米的波长范围内和380纳米~480纳米的波长范围内。
17、根据权利要求16所述的固态图像拾取元件,其中所述波长分别是700纳米、575纳米、和435纳米。
18、根据权利要求16所述的固态图像拾取元件,其中所述过滤膜由单层无机材料制成,并根据其膜厚在所述入射光的所述透射光谱的特定波长处呈现一最大值。
19、根据权利要求16所述的固态图像拾取元件,其中所述过滤膜包括具有65~100纳米膜厚的过滤膜、具有50~70纳米膜厚的过滤膜、和具有30~50纳米膜厚的过滤膜,其中所述过滤膜按照预定排列方式平行布置,其中
所述过滤膜的膜厚根据它们的折射率和呈现所述最大值的波长之间的关系来设置。
20、根据权利要求16所述的固态图像拾取元件,其中所述三种过滤膜按照两行两列的阵列单元平行布置,其中:
具有所述在650纳米~750纳米范围内的最大值的所述过滤膜和具有所述在525纳米~625纳米范围内的最大值的所述过滤膜,依次布置在所述阵列单元的第一列中;并且
具有所述在525纳米~625纳米范围内的最大值的所述过滤膜和具有所述在380纳米~480纳米范围内的最大值的所述过滤膜,依次布置在所述阵列单元的第二列中。
21、一种固态图像拾取元件,包括:
过滤膜,其具有使入射光的透射光谱上的至少三个波长的光透过的透射特性,和
光电转换部件,用于根据所述入射光透过所述过滤膜的光量产生信号电荷,其中
所述波长包括650纳米或更长、525纳米或更长、和380纳米或更长。
22、根据权利要求21所述的固态图像拾取元件,其中所述过滤膜在650纳米~750纳米、525纳米~625纳米和380纳米~480纳米的波长范围内呈现出最大值。
23、根据权利要求21所述的固态图像拾取元件,其中所述波长包括小于700纳米、小于575纳米和小于435纳米。
24、根据权利要求21所述的固态图像拾取元件,其中所述过滤膜由单层无机材料制成、具有不同膜厚。
25、根据权利要求21所述的固态图像拾取元件,其中所述过滤膜包括具有65~100纳米膜厚的过滤膜、具有50~70纳米膜厚的过滤膜、和具有30~50纳米膜厚的过滤膜,其中所述过滤膜按照预定排列方式平行布置,其中
所述过滤膜的膜厚根据它们的折射率和在所述过滤膜的透视光谱上呈现所述最大值的波长之间的关系来设置。
26、根据权利要求21所述的固态图像拾取元件,其中所述过滤膜按照两行两列的阵列单元平行布置,其中
在所述过滤膜的所述透射光谱上在650纳米~750纳米范围内具有所述最大值的所述过滤膜和在525纳米~625纳米范围内具有一截止特定波长的所述过滤膜,依次布置在所述阵列单元的第一列中,并且
在525纳米~625纳米范围内具有所述截止特定波长的所述过滤膜和在380纳米~480纳米范围内具有所述最大值的所述过滤膜,依次布置在所述阵列单元的第二列中。
27、一种图像输入设备,包括根据权利要求20所述的固态图像拾取元件和用于对从所述固态图像拾取元件中输出的图像拾取信号进行信号处理的信号处理器,其中
所述信号处理器根据所述阵列单元对所述图像拾取信号实施颜色转换处理,以产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一种信号。
28、一种图像输入设备,包括根据权利要求26所述的固态图像拾取元件和用于对从所述固态图像拾取元件中输出的图像拾取信号进行信号处理的信号处理器,其中
所述信号处理器根据所述阵列单元对所述图像拾取信号实施颜色转换处理,以产生与亮度信号、颜色信号、色差信号和入射光的光量对应的信号中的至少一种信号。
CNA2006101520850A 2005-09-09 2006-09-11 图像输入设备和固态图像拾取元件 Pending CN1937718A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005262004 2005-09-09
JP2005262004A JP2007074635A (ja) 2005-09-09 2005-09-09 画像入力装置および固体撮像素子

Publications (1)

Publication Number Publication Date
CN1937718A true CN1937718A (zh) 2007-03-28

Family

ID=37854583

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101520850A Pending CN1937718A (zh) 2005-09-09 2006-09-11 图像输入设备和固态图像拾取元件

Country Status (3)

Country Link
US (1) US20070057954A1 (zh)
JP (1) JP2007074635A (zh)
CN (1) CN1937718A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853866A (zh) * 2009-03-30 2010-10-06 索尼公司 固态图像拾取装置及其制造方法、图像拾取装置和电子装置
CN101690242B (zh) * 2007-06-06 2013-03-27 株式会社东芝 固态图像传感装置
CN103453994A (zh) * 2012-05-29 2013-12-18 技嘉科技股份有限公司 色差测试治具、色差测试接口装置与色差测试方法
CN101753863B (zh) * 2008-12-08 2014-09-24 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
CN114145012A (zh) * 2019-07-24 2022-03-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序
CN114145012B (zh) * 2019-07-24 2024-06-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834807B2 (en) * 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
KR100819706B1 (ko) * 2006-12-27 2008-04-04 동부일렉트로닉스 주식회사 씨모스 이미지센서 및 그 제조방법
KR100866619B1 (ko) * 2007-09-28 2008-11-03 삼성전기주식회사 웨이퍼 레벨의 이미지센서 모듈 및 그 제조방법, 그리고카메라 모듈
US8330955B2 (en) * 2008-02-12 2012-12-11 Hewlett-Packard Development Company, L.P. Color detector
JP5033702B2 (ja) * 2008-04-04 2012-09-26 富士フイルム株式会社 撮像装置
US8059908B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive area of influence filter for irregular spatial sub-sampled images
US8059909B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive generation of irregular spatial sub-sampling for images
US8055087B2 (en) * 2008-04-29 2011-11-08 Sony Corporation Sample level variation for spatial sub-sampled images
JP5534927B2 (ja) * 2010-05-06 2014-07-02 株式会社東芝 固体撮像装置
EP2579574A4 (en) * 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
EP2579573A4 (en) * 2010-06-07 2014-09-10 Konica Minolta Advanced Layers IMAGING DEVICE
JPWO2012073402A1 (ja) * 2010-12-01 2014-05-19 パナソニック株式会社 固体撮像装置およびその製造方法
JP5718138B2 (ja) * 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム
JP6595788B2 (ja) * 2015-04-06 2019-10-23 キヤノン株式会社 固体撮像装置の製造方法及び固体撮像装置ならびにカメラ
WO2019234504A2 (en) 2018-06-07 2019-12-12 Mobileye Vision Technologies Ltd. High-resolution automotive lens and sensor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6187106A (ja) * 1984-10-05 1986-05-02 Dainippon Printing Co Ltd 明視フイルタ−
JPS6430263A (en) * 1987-07-27 1989-02-01 Olympus Optical Co Solid-state image sensing element
JPH01233981A (ja) * 1988-03-15 1989-09-19 Victor Co Of Japan Ltd カラー撮像装置
JP3579492B2 (ja) * 1995-03-16 2004-10-20 株式会社半導体エネルギー研究所 表示装置の作製方法
JPH0927284A (ja) * 1995-05-10 1997-01-28 Toshiba Corp カラー陰極線管
JPH099270A (ja) * 1995-06-23 1997-01-10 Sony Corp ビデオカメラおよびビデオカメラ装置
WO2000033129A1 (en) * 1998-12-01 2000-06-08 Koninklijke Philips Electronics N.V. Color filter layer of cholesterically ordered material, and reflective lcd provided with such a color filter layer
JP2000217124A (ja) * 1999-01-20 2000-08-04 Canon Inc 撮像装置及び前記撮像装置における画像処理方法
JP3663105B2 (ja) * 2000-02-29 2005-06-22 三洋電機株式会社 ディジタルカメラ
JP2002368206A (ja) * 2001-06-12 2002-12-20 Sony Corp 固体撮像装置
JP2003169341A (ja) * 2001-09-19 2003-06-13 Fuji Film Microdevices Co Ltd カラー画像撮像装置
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2005334257A (ja) * 2004-05-26 2005-12-08 Fuji Film Microdevices Co Ltd 内視鏡
US20080265349A1 (en) * 2004-09-09 2008-10-30 Masahiro Kasano Solid-State Image Sensor
JP2006157882A (ja) * 2004-10-28 2006-06-15 Fuji Photo Film Co Ltd 固体撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690242B (zh) * 2007-06-06 2013-03-27 株式会社东芝 固态图像传感装置
CN101753863B (zh) * 2008-12-08 2014-09-24 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
CN101853866A (zh) * 2009-03-30 2010-10-06 索尼公司 固态图像拾取装置及其制造方法、图像拾取装置和电子装置
CN101853866B (zh) * 2009-03-30 2012-11-14 索尼公司 固态图像拾取装置及其制造方法、图像拾取装置和电子装置
CN103453994A (zh) * 2012-05-29 2013-12-18 技嘉科技股份有限公司 色差测试治具、色差测试接口装置与色差测试方法
CN103453994B (zh) * 2012-05-29 2016-03-09 技嘉科技股份有限公司 色差测试治具、色差测试接口装置与色差测试方法
CN114145012A (zh) * 2019-07-24 2022-03-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序
US11910107B2 (en) 2019-07-24 2024-02-20 Sony Group Corporation Image processing apparatus and image pickup apparatus
CN114145012B (zh) * 2019-07-24 2024-06-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序

Also Published As

Publication number Publication date
US20070057954A1 (en) 2007-03-15
JP2007074635A (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
CN1937718A (zh) 图像输入设备和固态图像拾取元件
US10070104B2 (en) Imaging systems with clear filter pixels
CN111432099B (zh) 图像传感器、处理系统及方法、电子设备和存储介质
CN111491110B (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
CN101572824B (zh) 摄像单元
CN108769502B (zh) 摄像处理装置以及摄像处理方法
Lyon et al. Eyeing the camera: Into the next century
US8294797B2 (en) Apparatus and method of generating a high dynamic range image
US8619143B2 (en) Image sensor including color and infrared pixels
CN1732694B (zh) 图像拾取装置和方法
US8035710B2 (en) Solid-state imaging device and signal processing method
US20080087800A1 (en) Solid-state image capturing device, image capturing device, and manufacturing method of solid-state image capturing device
CN101540919B (zh) 成像装置
KR20040091759A (ko) 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법
JP4867448B2 (ja) 物理情報取得方法および物理情報取得装置
US9060159B2 (en) Image processing device and method, and imaging device
CN209345244U (zh) 成像系统和相机模块
US20030193590A1 (en) Image pickup apparatus provided with image pickup element including photoelectric conversion portions in depth direction of semiconductor
US9179110B2 (en) Imaging systems with modified clear image pixels
JP3933651B2 (ja) 撮像装置及びその信号処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20070328

C20 Patent right or utility model deemed to be abandoned or is abandoned