CN1169376C - 彩色成像装置和方法 - Google Patents

彩色成像装置和方法 Download PDF

Info

Publication number
CN1169376C
CN1169376C CNB001087029A CN00108702A CN1169376C CN 1169376 C CN1169376 C CN 1169376C CN B001087029 A CNB001087029 A CN B001087029A CN 00108702 A CN00108702 A CN 00108702A CN 1169376 C CN1169376 C CN 1169376C
Authority
CN
China
Prior art keywords
signal
gain
pixel
obtains
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB001087029A
Other languages
English (en)
Other versions
CN1275870A (zh
Inventor
宇根英铺
茅野纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1275870A publication Critical patent/CN1275870A/zh
Application granted granted Critical
Publication of CN1169376C publication Critical patent/CN1169376C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

为了消除由CCD中的光传感器彼此之间的灵敏度差引起的、在来自包括在滤色片的各水平线中的像素的亮度信号之间的幅值差，和降低出现在监视图像和捕获图像中的水平条状噪声，本发明提供了一种运算电路，用来根据来自四信道检测器的输出来计算Gr和Gb信号之间的幅值差，以设置分别由各补偿因子所乘的增益，借此，经白平衡处理的Gr和Gb信号在幅值上彼此相等，从而控制了白平衡放大器的增益。

Description

彩色成像装置和方法
                         技术领域
本发明涉及单片彩色成像装置和方法。
                         背景技术
在使用CCD(电荷耦合器件)或类似器件作为固态图像传感器的传统单片彩色成像装置中，分别用于三原色R(红色)、G(绿色)和B(蓝色)的滤包片排列在与CCD的像素相对应的位置上。在这种彩色成像装置中，亮度信号是根据人射在CCD上的光产生的，颜色信号是对应于通过三原色滤色片入射在CCD上的光产生的。也就是说，R、G和B颜色信号是对应于入射到其上设有三原色滤色片的CCD像素上的光产生的。
在用于彩色成像装置中的CCD中，R、G和B颜色滤色片分别配置在各像素上，并以，例如，R、G、R、G、...、R和G顺序水平排列着。颜色信号是对应于各像素上的三原色滤色片产生的，因此，在这样一种CCD中，G颜色信号不能从设有R颜色滤色片的像素上产生出来，它应该通过插值各颜色信号来产生。
也就是说，为了水平插值来自各像素的颜色信号以获得插值图像，将来自沿着水平方向依次排列的各像素的颜色信号相加在一起并计算平均值。同样，为了垂直插值，将来自沿看垂直方向依次排列的各像素的颜色信号相加在一起并计算平均值。为了从设有R颜色滤色片的CCD像素上获得G颜色信号，要进行上面所述的插值。为了通过插值产生像素数据，要检测表示垂直和水平相关性的值。为了作这种检测，要对来自在所考虑的像素周围的若干像素的信号进行滤波以供计算用。并且，在这种彩色成像装置中，由插值获得的插值像素数据要用相关值加权。
然而，由于用于CCD中各像素的光传感器的灵敏度是彼此不同的，因此，在来自包含在按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的G像素的G信号与来自包含在按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素的G信号之间将会在幅值上有差异。因此，在单片彩色成像装置中，当亮度信号根据来自每条水平线中的像素的颜色信号产生时，上面各个光传感器彼此间的灵敏度差将导致来自在不同水平线中的像素的亮度信号之间的幅值差，在监视图像和捕获图像中，这将表现为水平条状噪声。
                         发明内容
因此，本发明的目的是通过提供以下单片固态彩色成像装置和方法，克服上面所述的现有技术中存在的缺点，它适应于使在来自包含在水平线中的各像素的亮度信号之间将不存在由灵敏度差导致的幅值差，因此，出现在监视图像和捕获图像中的水平条状噪声将会降低。
本发明提供了一种彩色成像装置，包括：
固态图像传感器，具有相应于该固态图像传感器的像素的、以三原色滤色片进行颜色编码的矩阵状光传感器，以提供获取的三原色信号作为捕获图像信号；
四信道信号检测装置，包括信号选择器和信号检测器，用于从固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色的滤包片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
四信道可变增益放大装置，其信道的增益可相互独立地控制以放大来自信号选择器的R、Gr、Gb和B信号；
增益控制装置，用于根据来自信号检测器的输出，控制可变增益放大装置的每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像。
此外，在所述彩色成像装置中，来自固态图像传感器的捕获图像信号通过取样和保持电路和自动增益控制电路提取，然后经过模/数转换。
本发明还提供了一种彩色成像方法，包括下述步骤：
从具有相应于固态图像传感器的、以三原色滤色片进行颜色编码的矩阵状光传感器的固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片中排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
通过其信道增益可相互独立地控制的四信道可变增益放大装置放大R、Gr、Gb和B信号；和
用增益控制装置来根据来自信号检测装置的输出，控制可变增益放大装置的每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像。
此外，在所述彩色成像方法中，还包括如下步骤：通过取样和保持电路和自动增益控制电路从固态图像传感器提取捕获图像信号，并进行捕获图像信号的模/数转换。
根据本发明，来自通常应用于本技木领域的检测装置的输出被用来计算Gr和Gb信号之间的幅值差，并设置分别乘以补偿因子的增益，借此，在经过白平衡处理之后，Gr和Gb信号将具有相等的幅值，从而使监视图像中的水平条纹得到消除，和降低了在图像捕获过程中静止图像中的压缩噪声。无需对传统系统作任何改动，也不要什么成本，只要修改一下CPU的内部配置就能做到这一点。
此外，借助于本发明，有可能消除由固态图像传感器中各光传感器的灵敏度彼此不同引起的、存在于来自滤色片所排列的水平线中的各像素的亮度信号之间的幅值差。
因此，本发明提供了一种可以降低出现在监视图像和捕获图像中的水平条状噪声的单片固态彩色成像装置和方法。
                         附图说明
通过结合附图对本发明的优选实施例进行如下详细描述，本发明的这些目的和其它目的、特征和优点将更加显而易见。
图1是根据本发明的固态彩色成像装置的电路框图；
图2是合并在固态彩色成像装置中的CCD的示意图；
图3显示了来自CCD的捕获图像信号的数据表；
图4是合并在固态彩色成像装置中的白平衡处理器的方框图；
图5是合并在固态彩色成像装置中的捕获图像信号处理器的方框图；
图6是合并在白平衡处理器中的运算电路按照一种增益设置方式实施的操作的流程图；
图7是合并在白平衡处理器中的运算电路按照另一种增益设置方式实施的操作的流程图；
图8是运算电路预先按照另一种增益设置方式实施之后，按照补偿因子计算例程实施的操作的流程图；
图9是运算电路按照再一种增益设置方式实施的操作的流程图。
                     具体实施方式
现在参看图1，图1以电路框图的形式显示了根据本发明的固态彩色成像装置。固态彩色成像装置概括地用标记10来表示。
固态彩色成像装置10是包括下列单元的单片固态彩色成修装置：成像光学系统11；含有图像传感层的CCD(电荷耦合器件)12；物体的图像由成像光学系统11形成在图像传感层上；S/H·AGC(自动增益控制)电路13；A/D(模/数)转换器14，由CCD 12采集的捕获图像信号通过S/H·AGC电路13传送到A/D转换器14；白平衡处理器15，来自A/D转换器14的数字捕获图像信号传送到白平衡处理器15；捕获图像信号处理器16，经白平衡处理器15作白平衡调整的捕获图像信号传送到捕获图像信号处理器16；和压缩/转换电路17，由捕获图像信号处理器16生成的亮度信号Y和色度信号Cr和Cb传送到压缩/转换电路17。
正如图2所示意性显示的，CCD 12是一种包括如下成分的行间传送型CCD：多个用于以矩阵形式排列的用于像素的光传感器S；沿着每串光传感器S的一边延伸的每条垂直线设置的垂直传送寄存器VR；和沿着连接垂直传送寄存器VR的端点的直线设置的水平传送寄存器HR。这个CCD是利用由可透过R(红)色光的区域、可透过G(绿)色光的区域和可透过B(蓝)色光的区域构成的和与光传感器S即像素相对应以矩阵形式排列的三原色滤色片进行颜色编码的。在三原色滤色片中，可透过彩色光线区域是以R、G、R、G、...、R和G或G、B、G、B、...、G和B的顺序水平排列的，还存在着两组交替排列的水平线，R、G、R、G、...、R和G颜色滤色片沿着其中一组排列(下文称为“RG”线)，和G、B、G、B、...G和B颜色滤色片沿着其中的另一组排列(下文称为“GB”线)。在下文中，从颜色编码的角度来考虑，将与利用三原色滤色片颜色编码的光传感器相对应的像素分别称为R、G和B像素，和为了提供分别包含在RG和GB线中的G像素之间的区别，将RG线中的G像素称为Gr像素，而将GB线中的G像素称为Gb像素。
在CCD 12中，与通过成像光学系统11入射到光传感器上的光强相对应由每个光传感器S提供的捕获电荷传送到每条垂直线的垂直传送寄存器VR，并每次通过水平传送寄存器HR从每个垂直传送寄存器VR中读取一个水平线。
S/H·AGC电路13对每个像素取样并保持从CCD 12逐行读取的捕获电荷，调整增益，并将捕获电荷作为捕获信号逐行传送到A/D转换器14，如图3所示。
A/D转换器14以行的顺序逐个像素地，即逐个像点地数字化下一个捕获信号，并将它传送到白平衡处理器15。
如图4所示，白平衡处理器15包括信号选择器151，用于以像点的顺序提取由A/D转换器14数字化的捕获图像信号作为R、B、Gr和Gb信号、WB(白平衡)放大器152和WB检测器153，信号选择器提取的R、B、Gr和Gb信号传送到WB放大器152和WB检测器153、和运算电路154，来自WB检测器153的输出传送到运算电路154。
WB放大器152是由用于R信号的可变增益放大器152r、用于B信号的可变增益放大器152b、用于Gr信号的可变增益放大器152gr和用于Gb信号的可变增益放大器152gb组成的四信道放大器。可变增益放大器152r、152b、152gr和152gb的增益Rgain、Bgain、Grgain和Gbgain是由运算电路154相互独立地控制的。
WB检测器153是由用于R信号的检测器153r、用于B信号的检测器153b、用于Gr信号的检测器153gr和用于Gb信号的检测器153gb组成的四信道检测器。来自这些检测器153r、153b、153gr和153gb的输出传送到运算电路154。
运算电路154包括平均值计算器154A，来自WB检测器153的检测器153gr和153gb的输出传送到平均值计算器154A；和WB计算器154B，来自WB检测器153的检测器153r和153b的输出和来自平均值计算器154A的输出传送到WB计算器154B。运算电路是由CPU(中央处理单元)构成的。
运算电路154确定WB放大器152的可变增益放大器152r、152b、152gr和152gb的增益Rgain、Bgain、Grgain和Gbgain，使得由信号选择器151提取的R、B、Gr和Gb信号的电平彼此相等，以用于消色图像。更具体地说，对于R、B、Gr和Gb信号的电平R、B、Gr和Gb，平均值计算器154A用来对在分别传送到可变增益放大器152r、152b、152gr和152gb的R、B、Gr和Gb信号中Gr和Gb信号的电平Gr和Gb求平均，白平衡是通过WB计算器154B控制可变增益放大器152r、152b、152gr和152gb的增益Rgain、Bgain、Grgain和Gbgain的值R_amp、B_amp、Gr_amp和Gb_amp实现的，使得可变增益放大器152r、152b、152gr和152gb提供分别具有如下信号电平R′、B′、Gr′和Gb′的R、B、Gr和Gb信号输出：
R′＝R×R_amp
B′＝B×B_amp
Gr′＝Gr×Gr_amp＝Gr×1×Grcomp
Gb′＝Gb×Gb_amp＝Gb×1×Gbcomp
这里，Grcomp和Gbcomp被设置成具有Grcomp+Gbcomp＝2的值。
如图5所示，捕获图像信号处理器16包括伽马校正电路16A，经白平衡处理器15白平衡调整的R、B、Gr和Gb信号传送到伽马校正电路16A；和亮度信号发生器16B，经伽马校正电路10A伽马校正的R、B、Gr和Gb信号传送到亮度信号发生器16B，和色度矩阵电路16C。
在捕获图像信号处理器16中，经白平衡处理器15白平衡调整的R、B、Gr和Gb信号是由伽马校正电路16A进行伽马校正的，亮度信号Y和色度信号Cr和Cb是分别由亮度信号发生器16B和色度矩阵电路16C根据从伽马校正电路16A传送的伽马校正的R、B、Gr和Gb信号产生的。
压缩/转换处理器17压缩来自捕获图像信号处理器16的亮度信号Y和色度信号Cr和Cb供写入到存储器用，并转换相同信号将其作为视频信号提供。
在固态彩色成像装置10中，对于用于监视被捕获的图像和在捕获期间的静止图像的监视图像(直通(through)图像)，捕获图像信号处理器16的亮度信号发生器16B生成关于RG线的从R和Gr信号产生的亮度信号Y和关于GB线的从B和Gr信号产生的亮度信号Y。监视图像信号成为从例如压缩/转换处理器17输出的NTSC信号。
由于CCD 12中的光传感器S彼此之间通常存在着灵敏度差异，光传感器S之间的灵敏度差将导致从RG线中Gr像素获得的Gr信号与从GB线中Gb像素获得的Gb信号之间的幅值差。因此，由CCD 12的光传感器S彼此之间的灵敏度差引起的幅值差存在于对于RG线从R和Gr信号产生的亮度信号Y与对于GB线从B和Gr信号产生的亮度信号Y之间。灵敏度差可能在监视图像和捕获图像中表现为水平条状噪声。但是，在该固态彩色成像装置10中，四信道放大器152r、152b、152gr和152gb的增益Rgain、Bgain、Grgain和Gbgain的值R_amp、B_amp、Gr_amp和Gb_amp可以由白平衡处理器15来控制，使Gr′和Gb′信号在电平上彼此相等，并降低监视图像和捕获图像中的水平条状噪声。
在固态彩色成像装置10中，为了消除对于RG线从R和Gr信号产生的亮度信号Y与对于GB线从B和Gr信号产生的亮度信号Y之差的幅值差，在白平衡处理器15中用于Gr信号的可变增益放大器152gr和用于Gb信号的可变增益放大器152gb各自的增益Grgain和Gbgain的值Gr_amp和Gb_amp分别由运算电路154按照例如图6所示的过程来设置。
在图6的流程图所示的增益设置过程中，为了消除Gr和Gb信号之间的幅值差，将对于增益Grgain和Gbgain的补偿因子设置成固定值。Gr和Gb信号之间的幅值差是在增益设置过程中被预先计算出来的，用来使Gr和Gb信号之间的幅值差经白平衡处理之后不再存在的、对于增益Grgain和Gbgain的补偿因子被设置成固定值，并且增益Grgain和Gbgain用这些因子来补偿。
更具体地说，在步骤S1，白平衡处理器15的运算电路154获取来自WB检测器153的输出，并在步骤S2，判断其模式和入射光。
然后，在步骤S3，运算电路154根据在步骤S2实施的模式判断和入射光判断的结果，确定WB放大器152的可变增益放大器152r和152b的增益Rgain和Bgain的值R_amp和B_amp。
进一步，在步骤S4，运算电路154首先计算Gr和Gb信号之间的幅值差，并采用已经设置的固定值C_Gr和C_Gb作为补偿因子Grcomp和Gbcomp，使得WB放大器152的可变增益放大器152gr和152gb提供的经白平衡处理的Gr和Gb信号的电平Gr′和Gb′，即它们的幅值，彼此相等。
再接着，在步骤S5，运算电路154采用分别被补偿因子Grcomp和Gbcomp所乘的、通常用作WB放大器152的可变增益放大器152gr和152gb的增益Grgain和Gbgain的值Gr_amp和Gb_amp的值(例如，×1)分别作为值Gr_amp和Gb_amp。
只要略作修改用于通用白平衡控制，图6所示的流程图中的增益设置过程就可以有益地得以实现，因此，可以很容易地完成修改。但是，在这个增益设置过程中，为了确定补偿因子，幅值差必须预先计算出来，如果CCD彼此之间存在较大差异和预先计算的幅值差不同于假定的那个值，则在经过白平衡处理之后，不能补偿Gr和Gb信号之间的幅值差。如果依赖于待成像物体的状态Gr和Gb信号之间存在较大差异，则很有可能无法补偿这种差异。但是，当已知CCD彼此之间的差异较小时或当Gr和Gb信号之间的差异不太依赖于待成像的物体时，由于可以容易地对增益设置过程进行修改用于通用白平衡控制，可以说这是一种非常有效的过程。
此外，为了消除对于RG线从R和Gr信号生成的亮度信号Y与对于GB线从B和Gr信号生成的亮度信号Y之间的幅值差，根据本发明的固态彩色成像装置10可以适用于由运算电路154按照图7所示的流程图中的增益设置过程来在白平衡处理器15中设置对于Gr信号的可变增益放大器152gr和对于Gb信号的可变增益放大器152gb各自的增益Grgain和Gbgain的值Gr_amp和Gb_amp二者。
为了消除Gr和Gb信号之间的幅值差，图7的流程图中所示的增益设置过程被设计成计算与CCD彼此之间即使变化很大的情况相适应的对于增益Grgain和Gbgain的补偿因子。在这种增益设置过程中，用来使Gr和Gb信号之间的幅值差不再存在的、对于增益Grgain和Gbgain的补偿因子是在制造过程中为每个固态彩色成像装置预先计算的，并写入到诸如EEPROM(电可擦写可编程只读存储器)或类似器件那样的存储器中。用来使经白平衡处理后的Gr和Gb信号的电平彼此相等的、对于增益Grgain和Gbgain的补偿因子从存储器中取出，并被设置用于增益补偿。
在此增益设置过程中，在步骤S11，白平衡处理器15的运算电路154获取来自WB检测器153的输出，并在步骤S12判断其模式和入射光。
然后，在步骤S13，运算电路154根据在步骤S12实施的模式判断和入射光判断的结果，确定WB放大器152的可变增益放大器152r和152b的增益Rgain和Bgain的值R_amp和B_amp。
进一步，在步骤S14，运算电路154在制造这个固态彩色成像装置10(数字摄像机)过程中事先计算Gr和Gb信号的幅值差，并采用已经计算的值m_Gr和m_Gb作为补偿因子Grcomp和Gbcomp，使得WB放大器152的可变增益放大器152gr和152gb提供的经白平衡处理的Gr和Gb信号的电平Gr′和Gb′，即它们的幅值，彼此相等，并将其存入存储器中。
再接着，在步骤S15，运算电路154采用分别被补偿因子Grcomp和Gbcomp所乘的、通常用作WB放大器152的可变增益放大器152gr和154gb的增益Grgain和Gbgain的Gr_amp和Gb_amp的值(例如，×1)分别作为值Gr_amp和Gb_amp。
图8显示了在制造过程中对每个数字摄像机实施的Grgain/Gbgain补偿因子计算例程。
也就是说，为了执行图8所示的补偿因子计算例程，在步骤S21，运算电路154在对物体成像之后从WB检测器153获取检测结果，并在步骤S22分别确定与WB放大器152的可变增益放大器152gr和152gb的增益Grgain和Gbgain有关的补偿因子Grcomp和Gbcomp的值m_Gr和m_Gb，使得WB放大器152的可变增益放大器152gr和152gb所提供的经白平衡处理的Gr和Gb信号的电平Gr′和Gb′，即幅值，都是G(在经过白平衡处理之前的Gr和Gb信号的电平Gr和Gb的平均值)。
然后，在步骤S23，运算电路154将已经在步骤S22确定的补偿因子Grcomp和Gbcomp的值m_Gr和m_Gb写入存储器，使它们在任何时候都可以用于图7所示的通用例程中。
当CCD彼此之间的差异大得难以确定补偿量时，图7的流程图所示的增益设置过程通过在制造期间获取关于每个数字摄像机的数据并写入补偿因子Grcomp和Gbcomp的值m_Gr和m_Gb可以有益地减小CCD彼此之间的差异。但是，当Gr和Gb信号之间的差异很大程度依赖于物体的状态变化时，图7的增益设置过程就不能完全补偿其差异。然而，当Gr和Gb信号之间的差异不太依赖于物体的状态时，在制造数字摄像机过程中只计算一次补偿因子就足够了，而无需对通用例程作任何修改。此外，图7中的增益设置过程可以容易地加以修改，因此，可以说，这种过程是一种有效的手段。
此外，为了消除对于RG线从R和Gr信号生成的亮度信号Y与对于GB线从B和Gr信号生成的亮度信号Y之间的幅值差，固态彩色成像装置10可以适用于由运算电路154按照例如图9所示的流程图中的增益设置过程来设置白平衡处理器15的对于Gr信号的可变增益放大器152gr和对于Gb信号的可变增益放大器152gb各自的增益Grgain和Gbgain的值Gr_amp和Gb_amp。
在图9所示的流程图中的增益设置过程中，为了消除Gr和Gb信号之间的幅值，运算电路154根据来自WB检测器153的输出计算Gr和Gb信号之间的幅值差，分别确定对于增益Grgain和Gbgain的补偿因子。因此，此增益设置过程使得可以确实地补偿任何幅值差。
也就是说，在步骤S31，白平衡处理器15的运算电路154首先获取来自WB检测器153的输出，并且，在步骤S32，判断其模式和入射光。
然后，在步骤S33，运算电路154将已经在步骤S32确定的补偿因子Grcomp和Gbcomp的值m_Gr和m_Gb写入存储器，使它们在任何时候都可以用于图7所示的通用例程中。
进一步，在步骤S34，运算电路154确定用于WB放大器152的可变增益放大器152gr和152gb的增益Grgain和Gbgain的补偿因子Grcomp和Gbcomp，使得从WB放大器152的可变增益放大器152gr和152gb提供的信号Gr和Gb的电平Gr′和Gb′，即幅值，都是G(在经过白平衡处理之前的Gr和Gb信号的电平Gr和Gb的平均值)。
在步骤S35，运算电路154将LPF(低通滤波)应用到在步骤S34计算的补偿因子Grcomp和Gbcomp。因此，减小了WB检测器153对Gr和Gb信号的检测结果的涨落对补偿因子Grcomp和Gbcomp的影响。
再接下来，在步骤S36，运算电路154限制已经在步骤S35经过LPF处理的补偿因子Grcomp和Gbcomp，使得WB放大器152的可变增益放大器152gr和152gb的增益Grgain和Gbgain将不再取任何所不期望的值Gr_amp和Gb_amp。
在步骤S37，运算电路154采用被补偿因子Grcomp和Gbcomp所乘的、通常用作WB放大器152的可变增益放大器152gr和152gb的增益Grgain和Gbgain的值Gr_amp和Gb_amp的值(例如，×1)分别作为值Gr_amp和Gb_amp。
图9所示的流程图中的增益设置过程可以与用于白平衡控制的通用增益设置过程没有太大差异，但毫无疑问，当CCD彼此之间差异较大时，或当Gr和Gb信号之间的幅值差依赖于物体的状态而变化时，也能得到有益的实现。
在上文中，已经针对三种类型的增益设置过程对本发明作了描述，其中白平衡处理器15的用于Gr信号的可变增益放大器152gr和用于Gb信号的可变增益放大器152gb各自的增益Grgain和Gbgain的值Gr_amp和Gb_amp是由运算电路154来设置的，以消除用于RG线从R和Gr信号生成的亮度信号Y和用于GB线从B和Gr信号生成的亮度信号Y之间的幅值差。另外，只要对运算电路154的CPU中程序稍作修改/添加，这些过程的任何一种都有可能降低在监视图像中的水平条状噪声和在图像捕获期间静止图像中的噪声。由于不必对传统系统作改动，也无需增加任何成本，因此，所有这些方法都具有很大的优点。

Claims (8)

1.一种彩色成像装置，包括：
固态图像传感器，具有相应于该固态图像传感器的像素的、以三原色滤色片进行颜色编码的矩阵状光传感器，用于提供作为捕获图像信号获取的三原色信号；
四信道信号检测装置，包括信号选择器和信号检测器，用于从固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
四信道可变增益放大装置，其信道的增益可相互独立地控制以放大来自信号选择器的R、Gr、Gb和B信号；和
增益控制装置，用于根据来自信号检测器的输出，控制可变增益放大装置每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像；
其中，所述增益控制装置根据来自信号检测器的输出利用预先计算的固定补偿因子来补偿对于Gr和Gb信号的信道增益。
2.一种彩色成像装置，包括：
固态图像传感器，具有相应于该固态图像传感器的像素的、以三原色滤色片进行颜色编码的矩阵状光传感器，用于提供作为捕获图像信号获取的三原色信号；
四信道信号检测装置，包括信号选择器和信号检测器，用于从固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
四信道可变增益放大装置，其信道的增益可相互独立地控制以放大来自信号选择器的R、Gr、Gb和B信号；和
增益控制装置，用于根据来自信号检测器的输出，控制可变增益放大装置每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像；其中，所述增益控制装置根据来自信号检测器的输出检测Gr和Gb信号之间的幅值差，根据幅值差计算补偿因子，并利用补偿因子补偿对于Gr和Gb信号的信道增益。
3.如权利要求1和2中的任何一个所述的装置，其中固态图像传感器是电荷耦合器件。
4.如权利要求1和2中的任何一个所述的装置，其中来自固态图像传感器的捕获图像信号通过取样和保持电路和自动增益控制电路提取，然后经过模/数转换。
5.一种彩色成像方法，包括下列步骤：
从具有相应于固态图像传感器的以三原色滤色片进行颜色编码的矩阵状光传感器的固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
通过其信道增益可相互独立地控制的四信道可变增益放大装置放大R、Gr、Gb和B信号；和
由增益控制装置根据来自信号检测装置的输出，控制可变增益放大装置每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像；
其中在增益控制步骤，根据来自信号检测装置的输出，利用预先计算的固定补偿因子来补偿对于Gr和Gb信号的信道增益。
6.一种彩色成像方法，包括下列步骤：
从具有相应于固态图像传感器的以三原色滤色片进行颜色编码的矩阵状光传感器的固态图像传感器所提供的三原色信号中检测：从按照R、G、R、G、...、R和G颜色滤色片排列的水平线中的R像素获得的R信号；从与上面相同的水平线中的G像素获得的Gr信号；从按照G、B、G、B、...、G和B颜色滤色片排列的水平线中的G像素获得的Gb信号；和从与上面相同的水平线中的B像素获得的B信号；
通过其信道增益可相互独立地控制的四信道可变增益放大装置放大R、Gr、Gb和B信号；和
由增益控制装置根据来自信号检测装置的输出，控制可变增益放大装置每个信道的增益，使得由可变增益放大装置所放大的R、Gr、Gb和B信号在电平上彼此相等以用于消色图像；其中在所述增益控制步骤，根据来自信号检测装置的输出来检测Gr和Gb信号之间的幅值差，根据幅值差来计算补偿因子，并利用补偿因子来补偿对于Gr和Gb信号的信道增益。
7.如权利要求5和6的任何一个所述的方法，其中固态图像传感器是电荷耦合器件。
8.如权利要求5和6的任何一个所述的方法，进一步包括如下步骤：通过取样和保持电路和自动增益控制电路从固态图像传感器提取捕获图像信号，并进行捕获图像信号的模/数转换。
CNB001087029A 1999-05-31 2000-05-30 彩色成像装置和方法 Expired - Fee Related CN1169376C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15293499A JP4284754B2 (ja) 1999-05-31 1999-05-31 カラー撮像装置及びその制御方法
JP152934/1999 1999-05-31

Publications (2)

Publication Number Publication Date
CN1275870A CN1275870A (zh) 2000-12-06
CN1169376C true CN1169376C (zh) 2004-09-29

Family

ID=15551350

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001087029A Expired - Fee Related CN1169376C (zh) 1999-05-31 2000-05-30 彩色成像装置和方法

Country Status (5)

Country Link
US (1) US7009639B1 (zh)
JP (1) JP4284754B2 (zh)
KR (1) KR100745383B1 (zh)
CN (1) CN1169376C (zh)
TW (1) TW472492B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4641675B2 (ja) * 2001-07-18 2011-03-02 三洋電機株式会社 画像信号処理装置
JP2003348602A (ja) * 2002-05-23 2003-12-05 Olympus Optical Co Ltd 信号処理装置及びそのプログラム
JP3630149B2 (ja) * 2002-06-14 2005-03-16 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
KR100576821B1 (ko) * 2002-12-05 2006-05-10 주식회사 애트랩 이미지 신호처리 시스템
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
JP5153842B2 (ja) * 2003-06-05 2013-02-27 オリンパス株式会社 画像処理装置、画像処理プログラム
JP4610930B2 (ja) * 2003-06-05 2011-01-12 オリンパス株式会社 画像処理装置、画像処理プログラム
CN100586195C (zh) * 2003-08-26 2010-01-27 卡西欧计算机株式会社 图像摄取装置和白平衡控制方法
US7486819B2 (en) * 2003-12-23 2009-02-03 Aptina Imaging Corporation Sampling images for color balance information
CN100394463C (zh) * 2004-05-31 2008-06-11 东芝松下显示技术有限公司 配备图像获取功能的显示装置
JP4677766B2 (ja) * 2004-11-11 2011-04-27 株式会社ニコン 画像処理装置、および画像処理プログラム。
JP2006148350A (ja) * 2004-11-17 2006-06-08 Olympus Corp 撮像装置
US7432540B2 (en) * 2005-08-01 2008-10-07 Micron Technology, Inc. Dual conversion gain gate and capacitor combination
US20070041064A1 (en) * 2005-08-16 2007-02-22 Micron Technology, Inc. Image sampling method for automatic white balance
CN1941923B (zh) * 2005-09-30 2011-03-23 义晶科技股份有限公司 应用于彩色数字影像的自动白平衡方法
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
CN101222572B (zh) * 2007-01-11 2011-12-07 昆山杰得微电子有限公司 白平衡处理装置
US8063948B2 (en) * 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
US8063949B2 (en) * 2007-03-20 2011-11-22 Texas Instruments Incorporated Activity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
JP5006759B2 (ja) * 2007-10-29 2012-08-22 Ｈｏｙａ株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
JP5401191B2 (ja) 2009-07-21 2014-01-29 富士フイルム株式会社 撮像装置及び信号処理方法
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
KR101665137B1 (ko) 2010-04-07 2016-10-12 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
FR2959092B1 (fr) * 2010-04-20 2013-03-08 Centre Nat Rech Scient Traitement numerique de compensation de signaux issus de photosites d'un capteur couleur.
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
DE112016000094B4 (de) 2015-08-13 2019-07-11 Hoya Corporation Vorrichtung zur Berechnung von Analysewerten und elektronisches Endoskopsystem
WO2017026540A1 (ja) 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
CN112492162B (zh) * 2020-11-30 2022-04-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6454990A (en) * 1987-08-26 1989-03-02 Mitsubishi Electric Corp Color solid-state image pickup device
US5223921A (en) * 1990-04-27 1993-06-29 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance on the basis of a color information signal obtained from an image-sensing device
JPH05167934A (ja) * 1991-12-13 1993-07-02 Nec Corp 電荷結合撮像装置用信号処理装置
JPH05183911A (ja) * 1991-12-28 1993-07-23 Sony Corp 複数チヤネル自動利得制御回路
JP3232677B2 (ja) * 1992-07-24 2001-11-26 ソニー株式会社 カラー撮像装置における信号処理回路およびこれを用いたカラー撮像装置
US5541648A (en) * 1992-10-09 1996-07-30 Canon Kabushiki Kaisha Color image pickup apparatus having a plurality of color filters arranged in an offset sampling structure
KR100220863B1 (ko) * 1995-11-30 1999-09-15 무네유키 가코우 고체촬상소자의 신호독출장치
JPH11136696A (ja) * 1997-10-29 1999-05-21 Sony Corp 色信号処理回路およびその方法とカメラ装置
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
EP0992154A2 (en) * 1998-04-27 2000-04-12 Koninklijke Philips Electronics N.V. Flicker compensation for cameras
JP4020488B2 (ja) * 1998-05-18 2007-12-12 富士フイルム株式会社 固体撮像装置
JP4384747B2 (ja) * 1998-08-24 2009-12-16 マグナチップセミコンダクター有限会社 ビデオカメラのブラックレベル調整装置

Also Published As

Publication number Publication date
KR100745383B1 (ko) 2007-08-03
US7009639B1 (en) 2006-03-07
KR20010029750A (ko) 2001-04-16
JP4284754B2 (ja) 2009-06-24
CN1275870A (zh) 2000-12-06
TW472492B (en) 2002-01-11
JP2000341700A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
CN1169376C (zh) 彩色成像装置和方法
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US8723995B2 (en) Extended dynamic range in color imagers
US8259202B2 (en) Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device
JP5432075B2 (ja) 撮像装置および色温度算出方法
CN101715049B (zh) 噪声消除处理电路、噪声消除处理方法及固体摄像装置
JPH10341447A (ja) 画像信号処理装置
WO2003085963A1 (en) Digital color image pre-processing
US8477210B2 (en) Image processing device and image processing method
CN101047781A (zh) 成像设备、高频分量检测电路及检测方法和计算机程序产品
CN1874429A (zh) 图像信号处理单元和方法
EP1971131B1 (en) Analog image signal processing circuit for cmos image sensor
CN1478253A (zh) 防止图像传感器的绿色不一致
US9373158B2 (en) Method for reducing image artifacts produced by a CMOS camera
US20110279715A1 (en) Blemish detection sytem and method
CN1259795C (zh) 高动态范围的数字视讯信号处理电路及其中的电路元件
JPH0235509B2 (zh)
US9100532B2 (en) Image processing apparatus and method for generating an image
RU2356176C2 (ru) Способ автоматической коррекции блуминга оптико-электронного датчика и устройство для его реализации
JPH0470827B2 (zh)
JP2557620B2 (ja) 撮像装置
CN1234250C (zh) 扫描仪的rgb信号做色彩空间转换的电路
JP3585710B2 (ja) カラー撮像装置及び記録媒体
JPS61280189A (ja) デジタルテレビジヨンカメラ装置
Purcell et al. Hexagonal Array Processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040929

Termination date: 20100530