CN1988594B - 图像处理电路和图像处理方法 - Google Patents

图像处理电路和图像处理方法 Download PDF

Info

Publication number
CN1988594B
CN1988594B CN2006100731553A CN200610073155A CN1988594B CN 1988594 B CN1988594 B CN 1988594B CN 2006100731553 A CN2006100731553 A CN 2006100731553A CN 200610073155 A CN200610073155 A CN 200610073155A CN 1988594 B CN1988594 B CN 1988594B
Authority
CN
China
Prior art keywords
circuit
signal
image processing
processing circuit
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100731553A
Other languages
English (en)
Other versions
CN1988594A (zh
Inventor
大原邦裕
福冈智博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Publication of CN1988594A publication Critical patent/CN1988594A/zh
Application granted granted Critical
Publication of CN1988594B publication Critical patent/CN1988594B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是提供一种图像处理电路和图像处理方法,该图像处理电路和图像处理方法即使在使用RGB独立阵列CCD时也可以利用用于拜耳阵列CCD的各种技术,并且可以适用于拜耳阵列CCD。第一矩阵获取电路21G获取每个基本矩阵的R信号,然后第一平均电路31G输出R信号的平均值AveCH1。类似地,第二矩阵获取电路22G获取G信号,然后第二平均电路32G输出G信号的平均值AveCH2。此外类似地,第三矩阵获取电路23G获取B信号,然后第三平均电路33G输出B信号的平均值AveCH3。数据阵列转换电路40G将平均值AveCH1到AveCH3转换成拜耳阵列式的2×2像素的转换矩阵。该转换矩阵由用于拜耳阵列的检测电路70检测。

Description

图像处理电路和图像处理方法
技术领域
本发明涉及图像处理电路,更具体地说,本发明涉及即使RGB独立阵列传感器被用作固态图像拾取器件时也能够处理图像信号的图像处理电路。
背景技术
图7是相关技术的图像处理系统100的框图。图像处理系统100包括CCD 190、图像校正电路151、一行存储器129、锁存电路125到128、以及检测电路171。CCD 190是拜耳(bayer)阵列式CCD。在CCD 190的像素上累积的像素数据被输入到图像校正电路151、一行存储器129、锁存电路127和128。一行存储器129保存一条在前行上的R、Gr信号。随后输入到在前行的当前行上的Gb、B信号、以及存储在一行存储器129中的在前行上的R、Gr信号同时被获取,并被输入到检测电路171。检测电路171执行诸如色泽(color shade)调节、曝光调节和自动对焦之类的检测,然后输出检测结果DR100。图像校正电路151对如此输入的像素数据执行各种校正,例如,缺陷像素校正、噪声校正,以及OB(光学黑体)校正。然后,校正后的像素数据CPD从图像校正电路151被输出到下一级的电路(未示出)。
日本未经审查专利公开No.2001-245141公开了涉及上述内容的技术。
本申请基于2005年12月20日提交的在先日本专利申请No.2005-367064,并且要求该申请的优先权,该申请的全部内容通过引用结合于此。
发明内容
但是,传统的图像处理系统100具有如下问题:由于系统仅适应拜耳阵列式CCD图像传感器,从而不能使用所谓的RGB独立阵列传感器(例如,来自美国Foveon公司的图像传感器),这种传感器能够逐像素读取全部R、G、B色彩。
改变检测电路171的电路配置,以使其适应RGB独立阵列传感器会导致以下问题:第一个问题,使用另一种设计所导致的成本增加;第二个问题,不能使用诸如已经发展多年的用于拜耳阵列的软件库之类的多种技术;以及第三个问题,检测电路171在被改变后不能适应拜耳阵列数据。
本发明被用来解决上述背景技术中的至少一个问题,并且本发明的目的是提供一种图像处理电路和图像处理方法,即使在使用所谓的RGB独立阵列型固态图像拾取器件时,这些图像处理电路和图像处理方法也能够利用诸如已经发展多年的用于拜耳阵列的软件库之类的各种技术,并且能够适用于拜耳阵列式的固态图像拾取器件。
为了实现上述目的,根据本发明的一个方面,提供了一种图像处理电路,该电路包括第一到第三图像处理电路块,所述第一到第三图像处理电路块中的每一个图像处理电路块包括:矩阵获取电路,用于从固态图像拾取器件的输出信号获取在所述固态图像拾取器件上彼此相邻的2×2像素的基本矩阵;平均电路,用于在所述固态图像拾取器件是用于获取每个像素的R信号、G信号和B信号的RGB独立阵列传感器型固态图像拾取器件时,针对在所述矩阵获取电路中获得的所述R信号、G信号和B信号中的一个信号计算所述基本矩阵的平均值;输入电路,其他图像处理电路块中的用于R、G、B信号中的另外两个信号的其他平均电路中的每个的输出被输入到所述输入电路;输出电路,用于将所述平均电路的输出输出到另外两个图像处理电路块中的每个的输入电路中;数据阵列转换电路,用于将输入到所述数据阵列转换电路中的所述平均电路的输出和所述输入电路的输出转换为在所述固态图像拾取器件上彼此相邻的2×2像素的拜耳阵列转换矩阵;以及检测电路,用于基于预先设置的下述参数来对所述拜耳阵列转换矩阵执行检测操作:阈值TH、亮度系数LC、白平衡调节电路的检测中的参数、曝光调节电路的检测中的参数和焦点调节电路的检测中的参数,其中所述第一到第三图像处理电路块中的各个参数被设置为彼此不同的值,并且其中在所述第一到第三图像处理电路块中的每个图像处理电路块中,所述检测操作被同时执行。
第一到第三矩阵获取电路是用于从固态图像拾取器件的输出信号获取彼此相邻的2×2像素的基本矩阵的电路。在固态图像拾取器件是用于输出每个像素的R、G、B信号的RGB独立阵列传感器型固态图像拾取器件时,R、G、B信号中的每个被从该RGB独立阵列传感器型固态图像拾取器件独立地输出,并且被分别输入到第一到第三矩阵获取电路中。因此,与拜耳阵列类似,可以针对每个基本矩阵单元捕获R、R、R---水平行上的R信号。类似地,也可以针对每个基本矩阵单元捕获G、G、G---水平行上的G信号和B、B、B---水平行上的B信号。从而,对于每个输入的R、G、B信号,2×2像素的基本矩阵被获取。随后基本矩阵被更新,从而获得一帧图像的数据。
第一到第三平均电路被相应地提供给第一到第三矩阵获取电路,来计算基本矩阵中的像素信号的平均值。从而,与拜耳阵列式的固态图像拾取器件类似,从R信号的2×2像素的基本矩阵可以获取一个R信号。此外,从G信号的2×2像素的基本矩阵可以获取一个G信号,并且从B信号的2×2像素的基本矩阵可以获取一个B信号。
数据阵列转换电路将信号(R、G、B信号)同时转换为拜耳阵列式的2×2像素的转换矩阵(R、Gr、Gb、B信号),然后将它们输出到下一级中的各个电路。然后,响应于基本矩阵的更新,转换矩阵随后被更新,从而可以获取一帧图像的拜耳阵列式的数据。这里,下一级的各种电路可以包括例如用于拜耳阵列数据的检测电路,该检测电路用于根据转换矩阵计算白平衡调节、焦点调节、曝光调节等的评价值。
根据本发明的另一个方面,提供了一种图像处理电路中的图像处理方法,其特征在于,所述电路包括第一到第三图像处理电路块,所述第一到第三图像处理电路块中的每一个图像处理电路块中的处理方法包括:从固态图像拾取器件的输出信号获取在所述固态图像拾取器件上彼此相邻的2×2像素的基本矩阵;在所述固态图像拾取器件是用于获取每个像素的R信号、G信号和B信号的RGB独立阵列传感器型固态图像拾取器件时,针对在所述获取中获得的所述R信号、G信号和B信号中的一个信号计算所述基本矩阵的平均值;接收其他图像处理电路块中的R、G、B信号中的另外两个信号每个的平均值;将所述平均值输出到另外两个图像处理电路块中的每个;将计算出的平均值和接收到的平均值转换为在所述固态图像拾取器件上彼此相邻的2×2像素的拜耳阵列转换矩阵;以及基于预先设置的下述参数来对所述拜耳阵列转换矩阵执行检测操作:阈值TH、亮度系数LC、白平衡调节电路的检测中的参数、曝光调节电路的检测中的参数和焦点调节电路的检测中的参数,其中所述第一到第三图像处理电路块中的各个参数被设置为彼此不同的值,并且其中在所述第一到第三图像处理电路块中的每个图像处理电路块中,所述检测操作被同时执行。
该图像处理电路包括第一到第三图像处理电路块。第一到第三图像处理电路每个都包括矩阵获取电路、平均电路、输出电路、输入电路和数据阵列转换电路。基本矩阵的平均值从第一图像处理电路块的输出电路被输出,然后被输入到第二和第三图像处理电路块。从第二和第三图像处理电路块的输出电路输出的基本矩阵的平均值被输入到第一图像处理电路块的输入电路。因此,R、G、B三个信号被输入到第一图像处理电路块的数据阵列转换电路。然后,数据阵列转换电路将所输入的R、G、B信号转换为在固态图像拾取器件上彼此相邻的2×2像素的拜耳阵列式转换矩阵。类似地,此后,在第二图像处理电路块和第三图像处理电路块的数据阵列转换电路中,也执行将如此输入的R、G、B信号转换为拜耳阵列式转换矩阵的操作。即,在第一到第三图像处理电路块中,获得相同的转换矩阵。
因此,即使使用了所谓的RGB独立阵列式的固态图像拾取器件,也可以针对每个基本矩阵获取独立输入的R、G、B信号,并且对它们进行半均,然后转换为拜耳阵列。因此,即使在使用RGB独立阵列传感器型固态图像拾取器件时,也可以使用作为现有系统的用于拜耳阵列的下一级电路,另外,还可以使用已针对拜耳阵列开发了多年的软件库和数据评价方法。
在结合附图阅读时,从下面的详细描述将更清楚本发明的上述和其他目的及新颖特征。但是,应当清楚地理解,附图仅出于说明的目的,而不是要作为对本发明的限制的定义。
附图说明
图1是本发明的原理图;
图2是图像处理电路1的电路图;
图3是第一图像处理电路块CH1的电路图;
图4是RGB独立阵列传感器的示意视图;
图5是示出了第一图像处理电路块CH1的操作的视图;
图6是拜耳阵列传感器的示意视图;以及
图7是现有技术的图像处理系统100的电路图。
具体实施方式
在下文中,将参考图1到图6的附图详细解释实现本发明的图像处理电路和图像处理方法的实施例。图1示出了本发明的原理图。图像处理系统1G包括第一矩阵获取电路21G到第三矩阵获取电路23G、第一平均电路31G到第三平均电路33G、数据阵列转换电路40G、用于拜耳阵列的检测电路70和固态图像拾取器件90G。
固态图像拾取器件90G是RGB独立阵列传感器型的固态图像拾取器件,用于获取每个像素的R、G、B信号,并且独立输出这些R、G、B信号。R信号被输入到第一矩阵获取电路21G;G信号被输入到第二矩阵获取电路22G;并且B信号被输入到第三矩阵获取电路23G。
第一矩阵获取电路21G获取从固态图像拾取器件90G输出的每个基本矩阵的R、G、B信号中的R信号。在这里,基本矩阵是固态图像拾取器件90G上由彼此相邻的2×2个像素构成的区域。第一平均电路31G输出平均值AveCH1,作为基本矩阵中的每个像素的R信号的平均值。从而,对于2×2个像素的每个基本矩阵可以获得一个R信号。这与获取拜耳阵列式固态图像拾取器件中的2×2个像素的矩阵中的一个R信号类似。
类似地,第二矩阵获取电路22G获取每个基本矩阵的G信号,并且第二平均电路32G输出G信号的平均值AveCH2。类似地,第三矩阵获取电路23G获取每个基本矩阵的B信号,并且第三平均电路33G输出B信号的平均值AveCH3。然后,顺续更新基本矩阵,从而获得一帧图像的数据。
数据阵列转换电路40G将平均值AveCH1(R信号)、平均值AveCH2(G信号)和平均值AveCH3(B信号)转换为拜耳阵列中的2×2个像素的转换矩阵(R1、Gr1、Gb1、B1信号)。在该转换操作中,G信号的平均值AveCH2被分配给转换矩阵的Gr1信号和Gb1信号,从而平均值AveCH1到AveCH3这三个信号被转换为拜耳阵列中的四个信号R1、Gr1、Gb1和B1。这样获得的R1、Gr1、Gb1和B1信号被输入到用于拜耳阵列的检测电路70。用于拜耳阵列的检测电路70是适用于拜耳阵列中的图像数据的输入的检测电路。利用用于拜耳阵列的检测电路70,检测出转换矩阵的R1、Gr1、Gb1和B1信号,从而计算出用于白平衡调节、焦点调节、曝光调节等的评价值。
因此,在图像处理系统1G中,在使用所谓的RGB独立阵列传感器时,可以获得固态图像拾取器件90G上由彼此相邻的2×2个像素组成的每个基本矩阵的R信号的平均值、G信号的平均值和B信号的平均值。然后,这样获得的R、G、B三个信号的三个平均值可以被转换为拜耳阵列中的四个信号R1、Gr1、Gb1和B1信号。因此,即使RGB独立阵列传感器被用作固态图像拾取器件90G时,这些平均值也可以被转换为拜耳阵列中的信号,从而可以使用作为现有系统的用于拜耳阵列的检测电路70来执行检测操作。这样,可以理解,即使使用RGB独立阵列传感器时,也可以使用已经发展多年的用于拜耳阵列的软件库和诸如白平衡调节、焦点调节和曝光调节等的评价方法。
现在利用图2来解释本发明实施例的图像处理电路1。图像处理电路1包括CCD 90、选择器92、第一图像处理电路块CH1到第三图像处理电路块CH3。CCD 90的输出端子连接到选择器92。从选择器92输出的像素数据PD1到PD3、色彩信息CD1到CD3被分别输入到第一图像处理电路块CH1到第三图像处理电路块CH3。
第一图像处理电路块CH1包括第一矩阵获取电路21、第一平均电路31、数据阵列转换电路41、图像校正电路51、输出选择器61、检测电路71、输入/输出电路18a到81c。像素数据PD1被输入到图像校正电路51和第一矩阵获取电路21。在图像校正电路51中,对如此输入的像素数据PD1执行各种校正,例如,缺陷像素校正、噪声校正和OB(光学黑体)校正。然后,在校正之后,来自图像校正电路51的像素数据CPD1被输出到下一级的电路(未示出)。在下一级的电路中,创建一帧的图像。在CCD 90上彼此相邻的2×2个像素(基本矩阵)的信号SS11到SS14被从第一矩阵获取电路21输出。信号SS11到SS14被输入到第一平均电路31和输出选择器61。平均值AveCH1和色彩信息IroCH1被从第一平均电路31输出,并且被输入到输入/输出电路81a和数据阵列转换电路41。然后,平均值AveCH 1和色彩信息IroCH1被从输入/输出电路81a输出,并且被分别输入到第二图像处理电路块CH2的输入/输出电路82c和第三图像处理电路块CH3的输入/输出电路83b。此外,从选择器92输出的色彩信息CD1被输入到第一平均电路31。另外,从第二图像处理电路块CH2输出的平均值AveCH2和色彩信息IroCH2经由输入/输出电路81b被输入到数据阵列转换电路41。从第三图像处理电路块CH3输出的平均值AveCH3和色彩信息IroCH3经由输入/输出电路81c也被输入到数据阵列转换电路41。
信号SS11a到SS14a由被转换成拜耳阵列之后的2×2像素的转换矩阵构成,这些信号被从数据阵列转换电路41输出,然后被输入到输出选择器61。信号SS11b到SS14b被从选择器61输出,然后被输入到检测电路71。检测结果DR1被从检测电路71输出。
在下文中,类似地,在第二图像处理电路块CH2中,色彩信息CD2被输入到第二平均电路32。此外,从第二平均电路32输出的平均值AveCH2和色彩信息IroCH2、从第三图像处理电路块CH3输出的平均值AveCH3和色彩信息IroCH3、以及从第一图像处理电路块CH1输出的平均值AveCH1和色彩信息IroCH1被输入到数据阵列转换电路42。此外,类似地,在第三图像处理电路块CH3中,色彩信息CD3被输入到第三平均电路33。此外,从第三平均电路33输出的平均值AveCH3和色彩信息IroCH3、从第一图像处理电路块CH1输出的平均值AveCH1和色彩信息IroCH1、以及从第二图像处理电路块CH2输出的平均值AveCH2和色彩信息IroCH2被输入到数据阵列转换电路43。
图3示出了第一图像处理电路块CH1的详细电路图。第一矩阵获取电路21包括一行存储器29、锁存电路25到28。像素数据PD1被输入到一行存储器29和锁存电路27、28。延迟像素数据DPD1被从一行存储器29输出,然后被输入到锁存电路25、26。信号SS11到SS14被分别从锁存电路25到28输出。
第一平均电路31包括运算电路35和色彩信息电阻器91。信号SS11到SS14被输入到运算电路35,而AveCH1被从运算电路35输出。色彩信息CD1被输入到色彩信息电阻器91,而色彩信息IroCH1从色彩信息电阻器91输出。
检测电路71包括电平门(level gate)电路75、亮度(brightness)产生电路76、白平衡调节电路77、曝光调节电路78和焦点调节电路79。信号SS11b到SS14b、以及阈值TH被输入到电平门电路75。经过电平门电路75的信号SS11b到SS14b被输入到白平衡调节电路77,而检测结果DR1a被从白平衡调节电路77输出。信号SS11b到SS14b、以及亮度系数LC被输入到亮度产生电路76。从亮度产生电路76输出的亮度信号Y被输入到曝光调节电路78和焦点调节电路79。检测结果DR1b和DR1c分别从曝光调节电路78和焦点调节电路79被输出。另外,由于第二图像处理电路块CH2和第三图像处理电路块CH3的配置与第一图像处理电路块CH1的配置类似,所以在这里省略了对它们的详细解释。
下面将解释图像处理电路1的操作。首先,将解释CCD 90为RGB独立阵列传感器型CCD的情形。图4示出了RGB独立阵列传感器的示意图。RGB独立阵列传感器逐像素取回所有R、G、B色彩,并且包括每个R、G、B信号的数据行。因此,R、G、B信号被彼此并行地从CCD 90输出,然后被输入到选择器92(图2)。在选择器92中,R、G、B信号分别被分配给像素数据PD1到PD3。在本实施例中,R信号被分配给像素数据PD1,并且色彩信息CD1将该结果告知第一图像处理电路块CH1。类似地,G信号被分配给像素数据PD2,并且色彩信息CD2将该结果告知第二图像处理电路块CH2。此外,B信号被分配给像素数据PD3,并且色彩信息CD3将该结果告知第三图像处理电路块CH3。
这样,选择器92可以任意指定被分配给第一图像处理电路块CH1到第三图像处理电路块CH3的色彩信号。因此,例如当CCD 90包括用于R、G、B信号的三个输出端子时,根据特定端子的布置位置和阵列顺序,色彩信号和RGB信号可以被分配给第一图像处理电路块CH1到第三图像处理电路块CH3。因此,存在可以灵活地布置衬底布局的好处。
由于输入的模式信号MODE被设置为高电平,所以输出选择器61选择数据阵列转换电路41的输出,并将其输出到检测电路71。因此,图像处理电路1的模式进入与RGB独立阵列传感器相对应的模式。
下文中,将利用图3和图5解释第一图像处理电路块CH1的操作。每行的R、R、R---中的R信号作为像素数据PD1被输入到第一图像处理电路块CH1。第一矩阵获取电路21将一个在前行上的R信号保存到一行存储器29中。此外,还执行操作来使在在前行之后输入的当前行上的R信号和已存储在一行存储器29中的在前行上的R信号彼此同步。因此,在前行上彼此相邻的两个像素的R信号被锁存在锁存电路25、26中。与锁存在锁存电路25、26中的在前行上的R信号相邻的当前行上的两个像素的R信号被锁存到锁存电路27、28中。因此,如图5所示,与CCD 90上彼此相邻的2×2像素的第一基本矩阵MT1相对应的R信号在锁存电路25到28中被获取。
从锁存电路25到28输出的信号SS11到SS14分别被输入到运算电路35中。运算电路35计算R信号的信号SS11到SS14的平均值AveCH1(图5)。然后,R信号的平均值AveCH1被输入到数据阵列转换电路41和输入/输出电路81a。此外,由于指示R信号的色彩信息CD1已被输入并被保存到色彩信息电阻器91中,所以色彩信息电阻器91将色彩信息IroCH1输出到数据阵列转换电路41和输入/输出电路81a。
与上述操作类似,同样在第二图像处理电路块CH2中,与第二基本矩阵MT2相对应的G信号被获取,并且计算出G信号的平均值AveCH2。此外,同样在第三图像处理电路块CH3中,与第三基本矩阵MT3相对应的B信号被获取,并且计算出B信号的平均值AveCH3(图5)。另外,如图2所示,从第二图像处理电路块CH2输出的G信号的平均值AveCH2和色彩信息IroCH2经由输入/输出电路81b被输入到第一图像处理电路块CH1的数据阵列转换电路41。另外,从第三图像处理电路块CH3输出的B信号的平均值AveCH3和色彩信息IroCH3经由输入/输出电路81c被输入到第一图像处理电路块CH1的数据阵列转换电路41。
数据阵列转换电路41利用色彩信息IroCH1到IroCH3识别出平均值AveCH1是R信号,平均值AveCH2是G信号以及平均值AveCH3是B信号。此外,如图5所示,数据阵列转换电路41将R、G、B信号的三个平均值AveCH1到AveCH3的信号转换成拜耳阵列式的转换矩阵CMT,该转换矩阵由彼此相邻的2×2个像素构成。尽管在该转换操作中,三个平均值AveCH1到AveCH3的信号被转换为拜耳阵列式的四个信号R、Gr、Gb、B信号,但是该转换是通过将平均值AveCH2转换成转换矩阵CMT的Gr信号和Gb信号执行的。然后,从数据阵列转换电路41输出与拜耳阵列式的R、Gr、Gb、B信号相对应的信号SS11a到SS14a。
输出选择器61是这样的电路,其选择从第一矩阵获取电路21输出的信号SS11到SS14和从数据阵列转换电路41输入的信号SS11a到SS14a中的一组信号,并且将其作为信号SS11b到SS14b输出到检测电路71。在本实施例中,由于模式信号MODE告知选择器61:CCD 90是RGB独立阵列传感器型的传感器,所以输出选择器61选择从数据阵列转换电路41输入的信号SS11a到SS14a,然后将它们输出到检测电路71。
在检测电路71中执行检测操作。电平门电路75是这样的电路:其将超出阈值TH范围的数据假定为噪声并将该数据屏蔽。从电平门电路75输出的信号被输入到白平衡调节电路77。作为用于自动对由于色温所导致的色泽差进行调整的电路,白平衡调节电路77计算R、G、B信号的积分值,然后将该值作为检测结果DR1a输出。基于检测结果DR1a,在下一级电路(未示出)中,执行操作来校正所取回的图像数据,并且将该数据调整到自然色泽。
在亮度产生电路76中,根据所输入的亮度系数LC,产生亮度信号Y。亮度信号Y是图像在人眼中的发光度。亮度信号Y被输入到曝光调节电路78和焦点调节电路79。曝光调节电路78是具有以下功能的电路:其以适当的曝光拾取图像,以使该图像既不表现出过曝光也不表现出曝光不足。该电路计算亮度的积分值,并且输出检测结果DR1b。基于该检测结果DR1b,在下一级电路(未示出)中控制曝光。焦点调节电路79是这样的电路:其取回图像的高频分量,并且根据积分值信息,自动调节焦点,以使得实现对焦(即,存在更多高频分量)。从上述事实可以理解图像处理电路1可以在检测电路71中执行检测操作,即使在CCD 90是RGB独立阵列传感器型CCD时也是如此。
此外,在RGB独立阵列式的图像数据被转换为拜耳阵列式的图像数据时,该数据被平均,使得数据量降低到约四分之一。因此,数据阵列转换电路41被包括在恰好在需要拜耳阵列式数据的检测电路71之前的一级中。这允许不需要拜耳阵列式的数据格式的另一个电路原样使用高密度像素RGB独立阵列式的数据,从而有助于实现更多细节的图像数据。
在下文中,将解释CCD 90为拜耳阵列式固态图像拾取器件的情形。图6示出了拜耳阵列传感器的示意图。拜耳阵列传感器仅可以逐像素取回一种色彩。因此,R、Gr、Gb、B信号被从CCD 90串行输出,然后被输入到选择器92(图2)。在选择器92中,执行操作来将从CCD 90输入的数据分配给像素数据PD1到PD3。即,使像素数据PD1到PD3全部为相同的数据。
由于输入的模式信号MODE为低电平,所以输出选择器61选择第一矩阵获取电路21的输出,并且将其输出到检测电路71。因此,图像处理电路1的模式进入与拜耳阵列传感器相对应的模式。
现在将利用图3来解释第一图像处理电路块CH1的操作。R和Gr信号以及Gb和B信号作为每一行的像素数据PD1被交替输入到第一图像处理电路块CH1中。第一矩阵获取电路21将在前行上的R、Gr信号保存在一行存储器29中。然后,执行操作来使在在前行之后输入的当前行上的Gb、B信号和存储在一行存储器29中的在前行上的R、Gr信号彼此同步。因此,在锁存电路25到28中获得了与CCD 90上彼此相邻的2×2像素的第一基本矩阵MT1相对应的R、Gr、Gb、B信号。
从第一矩阵获取电路21输出的信号SS11到SS14被输入到输出选择器61。在本实施例中,由于模式信号MODE告知输出选择器61:CCD 90为拜耳阵列型的,所以输出选择器61选择从第一矩阵获取电路21输入的信号SS11到SS14,然后将它们输出到检测电路71。在检测电路71中执行检测操作,然后检测结果DR1a到DR1c被从检测电路71输出。从上述事实可以理解,图像处理电路1可以在检测电路71中执行检测操作,即使在CCD 90是拜耳阵列型时也是如此。
如以上详细描述,在CCD 90使用所谓的RGB独立阵列传感器时,本发明实施例的图像处理电路1可以获取R信号的平均值、G信号的平均值、以及B信号的平均值。如此获得的这三个信号(R、G、B信号)可以被转换为拜耳阵列式的四个信号:R、Gr、Gb、B信号。这与在拜耳阵列式的CCD中的情形类似,R、Gr、Gb、B信号是从2×2像素的矩阵获取的。因此,可以理解,即使使用RGB独立阵列传感器,信号也可以被转换为拜耳阵列式的那些信号,从而仍可以使用已针对拜耳阵列开发了多年的软件库和评价方法,例如,白平衡调节、焦点调节和曝光调节等。
此外,第一矩阵获取电路21可以接收拜耳阵列式的信号和RGB独立阵列传感器型的信号中的任意一种。因此,在CCD 90为拜耳阵列式时,输出选择器61可以选择第一矩阵获取电路21的输出以将其输出到检测电路71;而在CCD 90为RGB独立阵列时,输出选择器61可以选择数据阵列转换电路41的输出以将其输出到检测电路71。这使得即使在CCD 90为RGB独立阵列式的情形和CCD 90为拜耳阵列式的情形之一中,也可允许图像处理电路1执行检测,从而可以扩展本发明的电路的适用范围。
此外,应当意识到本发明不局限于上述实施例,并且在不脱离本发明目的的范围内,可以作出改进和修改。尽管在本实施例中只解释了第一图像处理电路块CH1中的数据阵列转换电路41的操作,但是,在第二图像处理电路块CH2中的数据阵列转换电路42中和第三图像处理电路块CH3中的数据阵列转换电路43中,也执行与上述操作类似的操作。在CCD 90为RGB独立阵列传感器时,输入到检测电路71中的拜耳阵列式的信号SS11a到SS14a、输入到检测电路72中的拜耳阵列式的信号SS21a到SS24a、以及输入到检测电路73中的拜耳阵列式的信号SS31a到SS34a变为彼此相同。因此,在这种情形中,仅允许操作第一图像处理电路块CH1的检测电路71就足够了,并且可以停止第二图像处理电路块CH2的检测电路72和第三图像处理电路块CH3的检测电路73的操作。因此,可以在控制图像处理电路1中的电流消耗的同时执行检测操作。
另外,应当意识到并不局限于检测电路72和检测电路73被停止的情形,检测电路71到73可以彼此同时操作。在这种情形中,阈值TH和亮度系数LC在各个检测电路中可以被设置为彼此不同的值。此外,白平衡调节电路77、曝光调节电路78和焦点调节电路79的检测中的参数在各个检测电路中可以被设置为彼此不同的值。这使得三个检测电路71到73同时操作,从而在同一个时间段中可以获得三种检测结果。此外,例如,如果同时检测到焦点调节电路79的三种滤波参数,并且采用这三种结果中的最佳结果,则在较短的时间内可以实现参数优化。从上述事实可以理解,这有助于实现高速高精度的检测操作。
此外,在CCD 90为拜耳阵列传感器时,输入到第一图像处理电路块CH1到第三图像处理电路块CH3的像素数据PD1到PD3都是相同的数据。因此,在这种情形中,如果仅使第一图像处理电路块CH1操作,并且使第二图像处理电路块CH2和第三图像处理电路块CH3的操作停止,则可以在控制图像处理电路1中的电流消耗的同时执行检测操作。
此外,应当意识到在CCD 90为拜耳阵列传感器时,第一图像处理电路块CH1到第三图像处理电路块CH3也可以同时操作。在这种情形中,规定这样的实施例下述条件就足够了:从CCD 90输出像素数据的区域被划分为例如图像拾取区域的上、中和下三个子区域,并且从各个子区域彼此并行地输出数据。从相应三个子区域输出的数据在选择器92(图2)中被分配给像素数据PD1到PD3,并且在第一图像处理电路块CH1到第三图像处理电路块CH3中彼此并行地执行检测操作。这允许从CCD 90高速取回数据,并且允许照相机高速连续执行拾取。
此外,尽管在本实施例中,从第二图像处理电路块CH2的第二平均电路32G输出的G信号的平均值AveCH2在第一图像处理电路块CH1的数据阵列转换电路41中被转换为转换矩阵CMT的Gr信号和Gb信号,从而RGB独立阵列被转换为拜耳阵列,但是本发明不局限于该实施例。例如,在第二图像处理电路块CH2的第二平均电路32G中,可以对第二基本矩阵MT2中的在前行上的两个像素的G信号的平均值AveCH21、以及当前行上的两个像素的G信号的平均值AveCH22进行计算。然后,在第一图像处理电路块CH1的数据阵列转换电路41中,平均值AveCH21可以被分配给信号Gr,而平均值AveCH22可以被分配给信号Gb。这允许RGB独立阵列被转换为拜耳阵列,同时不损坏数据。
此外,CCD 90是固态图像拾取器件的一个示例;选择器电路是输出选择器61的一个示例;检测电路71到73是第一到第三数据处理电路的一个示例;第一图像处理电路块CH1到第三图像处理电路块CH3是第一到第三图像处理块的一个示例;输入/输出电路81a到83a是输出电路的一个示例;输入/输出电路81b到83b以及81c到83c是输出电路的一个示例;并且选择器92是信号分配电路的一个示例。
根据本发明的图像处理电路和图像处理方法,即使在使用所谓的RGB独立阵列固态图像拾取器件时,也可以使用已针对拜耳阵列固态图像拾取器件开发了多年的各种技术,例如软件库。另外,还可以提供能够适用于拜耳阵列固态图像拾取器件的图像处理电路和图像处理方法。

Claims (7)

1.一种图像处理电路,其特征在于,所述电路包括第一到第三图像处理电路块,所述第一到第三图像处理电路块中的每一个图像处理电路块包括:
矩阵获取电路,用于从固态图像拾取器件的输出信号获取在所述固态图像拾取器件上彼此相邻的2×2像素的基本矩阵;
平均电路,用于在所述固态图像拾取器件是用于获取每个像素的R信号、G信号和B信号的RGB独立阵列传感器型固态图像拾取器件时,针对在所述矩阵获取电路中获得的所述R信号、G信号和B信号中的一个信号计算所述基本矩阵的平均值;
输入电路,其他图像处理电路块中的用于R、G、B信号中的另外两个信号的其他平均电路中的每个的输出被输入到所述输入电路;
输出电路,用于将所述平均电路的输出输出到另外两个图像处理电路块中的每个的输入电路中;
数据阵列转换电路,用于将输入到所述数据阵列转换电路中的所述平均电路的输出和所述输入电路的输出转换为在所述固态图像拾取器件上彼此相邻的2×2像素的拜耳阵列转换矩阵;以及
检测电路,用于基于预先设置的下述参数来对所述拜耳阵列转换矩阵执行检测操作:阈值TH、亮度系数LC、白平衡调节电路的检测中的参数、曝光调节电路的检测中的参数和焦点调节电路的检测中的参数,
其中所述第一到第三图像处理电路块中的各个参数被设置为彼此不同的值,并且
其中在所述第一到第三图像处理电路块中的每个图像处理电路块中,所述检测操作被同时执行。
2.如权利要求1所述的图像处理电路,其特征在于,在所述固态图像拾取器件是RGB独立阵列传感器型时,所述数据阵列转换电路将从所述平均电路和所述输入电路任一个输出的所述G信号的基本矩阵的平均值转换为所述拜耳阵列转换矩阵的Gr信号和Gb信号。
3.如权利要求1所述的图像处理电路,其特征在于,所述第一到第三图像处理电路块中的每一个图像处理电路块还包括选择器电路:
用于在所述固态图像拾取器件为拜耳阵列型时,选择所述矩阵获取电路的输出以将其输出到所述检测电路;并且
用于在所述固态图像拾取器件为RGB独立阵列传感器型时,选择所述数据阵列转换电路的输出以将其输出到所述检测电路。
4.如权利要求1所述的图像处理电路,其特征在于,在所述固态图像拾取器件是RGB独立阵列传感器型时,被包括在相应第一到第三图像处理电路块中的数据阵列转换电路中的任一个被操作。
5.如权利要求1所述的图像处理电路,其特征在于,在所述固态图像拾取器件是拜耳阵列型时,所述第一到第三图像处理电路块中的任一个被操作。
6.如权利要求1所述的图像处理电路,其特征在于,所述电路包括信号分配电路,所述信号分配电路被设置在连接所述固态图像拾取器件与所述第一到第三图像处理电路块的路径上,并且在所述固态图像拾取器件为所述RGB独立阵列传感器型时,以预定顺序将所述R信号、G信号和B信号分配给所述第一到第三图像处理电路块的矩阵获取电路。
7.一种图像处理电路中的图像处理方法,其特征在于,所述电路包括第一到第三图像处理电路块,所述第一到第三图像处理电路块中的每一个图像处理电路块中的处理方法包括:
从固态图像拾取器件的输出信号获取在所述固态图像拾取器件上彼此相邻的2×2像素的基本矩阵;
在所述固态图像拾取器件是用于获取每个像素的R信号、G信号和B信号的RGB独立阵列传感器型固态图像拾取器件时,针对在所述获取中获得的所述R信号、G信号和B信号中的一个信号计算所述基本矩阵的平均值;
接收其他图像处理电路块中的R、G、B信号中的另外两个信号每个的平均值;
将所述平均值输出到另外两个图像处理电路块中的每个;
将计算出的平均值和接收到的平均值转换为在所述固态图像拾取器件上彼此相邻的2×2像素的拜耳阵列转换矩阵;以及
基于预先设置的下述参数来对所述拜耳阵列转换矩阵执行检测操作:阈值TH、亮度系数LC、白平衡调节电路的检测中的参数、曝光调节电路的检测中的参数和焦点调节电路的检测中的参数,
其中所述第一到第三图像处理电路块中的各个参数被设置为彼此不同的值,并且
其中在所述第一到第三图像处理电路块中的每个图像处理电路块中,所述检测操作被同时执行。
CN2006100731553A 2005-12-20 2006-04-06 图像处理电路和图像处理方法 Expired - Fee Related CN1988594B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-367064 2005-12-20
JP2005367064 2005-12-20
JP2005367064A JP4573769B2 (ja) 2005-12-20 2005-12-20 画像処理回路および画像処理方法

Publications (2)

Publication Number Publication Date
CN1988594A CN1988594A (zh) 2007-06-27
CN1988594B true CN1988594B (zh) 2011-08-10

Family

ID=37887970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100731553A Expired - Fee Related CN1988594B (zh) 2005-12-20 2006-04-06 图像处理电路和图像处理方法

Country Status (8)

Country Link
US (1) US7557842B2 (zh)
EP (1) EP1801749B1 (zh)
JP (1) JP4573769B2 (zh)
KR (1) KR100786154B1 (zh)
CN (1) CN1988594B (zh)
AT (1) ATE454679T1 (zh)
DE (1) DE602006011568D1 (zh)
TW (1) TWI345420B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR20110047540A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
JP5718029B2 (ja) * 2010-11-22 2015-05-13 オリンパス株式会社 撮像装置
JP2012129927A (ja) * 2010-12-17 2012-07-05 Nikon Corp 撮像装置
JP5655589B2 (ja) * 2011-01-26 2015-01-21 株式会社ニコン 撮像装置
EP2696585A4 (en) * 2011-03-24 2014-10-08 Fujifilm Corp COLOR IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE, AND IMAGE CAPTURE PROGRAM
JP5907687B2 (ja) * 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置
JP5912586B2 (ja) * 2012-01-30 2016-04-27 株式会社シグマ 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP5948167B2 (ja) * 2012-07-02 2016-07-06 株式会社シグマ 撮像装置
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
US10032110B2 (en) 2016-12-13 2018-07-24 Google Llc Performing average pooling in hardware

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300504A (zh) * 1999-02-19 2001-06-20 索尼公司 图象信号处理设备和方法、学习设备和方法以及记录介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1099613A (en) * 1964-10-15 1968-01-17 Polaroid Corp Improvements relating to colour television systems
JP3162908B2 (ja) * 1994-06-24 2001-05-08 三洋電機株式会社 映像信号処理装置
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
US6078307A (en) 1998-03-12 2000-06-20 Sharp Laboratories Of America, Inc. Method for increasing luminance resolution of color panel display systems
JP2000299870A (ja) * 1999-04-13 2000-10-24 Seiko Epson Corp デジタルカメラ
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP2002010276A (ja) * 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP2002232831A (ja) * 2001-01-30 2002-08-16 Olympus Optical Co Ltd 画像記録装置
JP3983101B2 (ja) * 2001-05-25 2007-09-26 株式会社リコー 画像処理装置、画像読み取り装置、画像形成装置およびカラー複写装置
JP2003304544A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置
JP4285948B2 (ja) * 2002-06-18 2009-06-24 オリンパス株式会社 撮像装置
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4578797B2 (ja) 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
JP2005167356A (ja) 2003-11-28 2005-06-23 Canon Inc 撮像素子

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300504A (zh) * 1999-02-19 2001-06-20 索尼公司 图象信号处理设备和方法、学习设备和方法以及记录介质

Also Published As

Publication number Publication date
CN1988594A (zh) 2007-06-27
JP4573769B2 (ja) 2010-11-04
KR20070065766A (ko) 2007-06-25
EP1801749A2 (en) 2007-06-27
KR100786154B1 (ko) 2007-12-21
ATE454679T1 (de) 2010-01-15
TW200726264A (en) 2007-07-01
EP1801749B1 (en) 2010-01-06
EP1801749A3 (en) 2008-10-29
JP2007174117A (ja) 2007-07-05
DE602006011568D1 (de) 2010-02-25
US20070139540A1 (en) 2007-06-21
TWI345420B (en) 2011-07-11
US7557842B2 (en) 2009-07-07

Similar Documents

Publication Publication Date Title
CN1988594B (zh) 图像处理电路和图像处理方法
CN102365860B (zh) 利用彩色滤光片阵列图像产生全彩图像
CN101755463B (zh) 图像传感器的多分量读出
CN101304484B (zh) 成像装置、缺陷像素校正装置、和装置中的处理方法
US10630920B2 (en) Image processing apparatus
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
CN102801918B (zh) 摄像设备和用于控制该摄像设备的方法
CN104869380B (zh) 图像处理设备和图像处理方法
CN104954771B (zh) 进行色阶校正的图像处理设备和图像处理方法
US8229217B2 (en) Image processing method and apparatus, image processing program and medium storing this program
US8373769B2 (en) Imaging apparatus, imaging processing method and recording medium
CN100370811C (zh) 数字静态照相装置、摄像装置和信息终端装置及其活点量计算方法
AU2016370348A1 (en) Image sensor, and output method, phase focusing method, imaging apparatus and terminal
US20080218597A1 (en) Solid-state imaging device and imaging apparatus
US7880783B2 (en) Image pickup apparatus and method
JP2008124764A (ja) 撮像システム、画像処理プログラム
US11637960B2 (en) Image processing apparatus, image processing method, and storage medium
CN101569173A (zh) 数字图像中降低的位置相关噪声
CN106534822B (zh) 控制方法、控制装置及电子装置
CN102668571A (zh) 具有像素替代的稀疏色彩像素阵列
US10911701B2 (en) Image pickup apparatus and image pickup method
JP2008278333A (ja) 画像処理装置及び方法
US7916188B2 (en) Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD
US20040208393A1 (en) Image processing device, image processing method, and image processing program product for making determination based on spectrum
JP2010219862A (ja) 顔検出装置及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FUJITSU MICROELECTRONICS CO., LTD.

Free format text: FORMER OWNER: FUJITSU LIMITED

Effective date: 20081031

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20081031

Address after: Tokyo, Japan, Japan

Applicant after: Fujitsu Microelectronics Ltd.

Address before: Kanagawa

Applicant before: Fujitsu Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: FUJITSU SEMICONDUCTOR CO., LTD.

Effective date: 20150512

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150512

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Kanagawa

Patentee before: Fujitsu Semiconductor Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110810

Termination date: 20210406

CF01 Termination of patent right due to non-payment of annual fee