CN1874429A - 图像信号处理单元和方法 - Google Patents

图像信号处理单元和方法 Download PDF

Info

Publication number
CN1874429A
CN1874429A CNA2005101028772A CN200510102877A CN1874429A CN 1874429 A CN1874429 A CN 1874429A CN A2005101028772 A CNA2005101028772 A CN A2005101028772A CN 200510102877 A CN200510102877 A CN 200510102877A CN 1874429 A CN1874429 A CN 1874429A
Authority
CN
China
Prior art keywords
signal
level signal
image
black level
picture element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101028772A
Other languages
English (en)
Other versions
CN1874429B (zh
Inventor
冈田浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1874429A publication Critical patent/CN1874429A/zh
Application granted granted Critical
Publication of CN1874429B publication Critical patent/CN1874429B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/72—Circuits for processing colour signals for reinsertion of DC and slowly varying components of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/87—Camera processing pipelines; Components thereof for processing colour signals for reinsertion of DC or slowly varying components of colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种像素信号处理单元和像素信号处理方法。为了处理由图像设备的彩色像素提供的像素信号，提供了第一放大器、第二放大器和计算单元。第一放大器为每个彩色像素的像素信号设置第一放大因子，以调整彩色像素的灵敏度。第二放大器用第二放大因子放大灵敏度已被调整的像素信号。第二放大因子允许灵敏度已被调整并且从第一放大器输出的像素信号中具有最大信号强度的彩色电平信号具有等同于后级中执行的图像处理的动态范围的信号强度。计算单元从由第二放大器放大的每个像素信号中减去黑电平信号成分。在调整在色彩间不同的灵敏度后，彩色电平信号可被放大直到图像处理的动态范围。

Description

说明书 图像信号处理单元和方法
技术领域
本发明涉及图像信号处理单元，更具体地说涉及有效像素区域信号电平的放大。
背景技术
日本已公布且未审查的专利申请2001-28716号公开了一种包含像素信号增益放大(P×GA)电路的技术。当放大从CCD输出的像素信号时，幅度有变化的像素信号被输入到相关双采样(CDS)电路，然后被从CDS电路传送到P×GA电路。在P×GA电路中，利用可变设置的增益根据色彩分别放大像素信号，以统一像素信号的电平。这些信号被可变增益放大器进一步放大，以便获得包含放大后的噪声的放大后的像素信号。
发明内容
这里，经过CDS电路从构成诸如CCD这样的图像设备的像素中输出的像素信号是具有彩色电平信号的信号，并且在该彩色电平信号上叠加了黑电平信号。黑电平信号是即使在蔽光条件下也会输出的信号，主要是由作为泄漏电流流动的暗电流所引起的。诸如暗电流这样的泄漏电流是根据图像设备的温度、设备配置、制造变化等生成的，并且不考虑像素地流动。因此，从CDS电路输出的像素信号包括黑电平信号，它是噪声成分，并且被叠加在指示有效图片信息的彩色电平信号上。
在专利公布2001-28716号中，从CDS电路中输出的每个像素信号在P×GA电路和可变增益放大器中被放大，此时，彩色电平信号和黑电平信号被同时放大。因此，即使放大后的像素信号看起来具有对应于位于后级中的AD转换器的动态范围的极限的信号电平，黑电平信号，即放大后的噪声成分，也被包含在此像素信号中。由于作为图片信息而有效的彩色电平信号不能被放大到AD转换器的动态范围的极限，因此存在要被传输的图片信息的分辨率下降的可能。这导致由图像设备提供的图片信息恶化的问题。
虽然像素信号看起来被放大直到动态范围，但是，黑电平信号，即噪声成分被叠加在彩色电平信号上，以使得有效图片信息的分辨率很有可能会恶化。
本发明是在考虑到上述背景技术的情况下进行的，因此本发明的主要目的是提供一种图像信号处理单元和一种图像信号处理方法，它们能够用充分利用了动态范围的彩色电平信号执行图像处理。在本发明中，处理色彩之间灵敏度不同的包括叠加在彩色电平信号上的黑电平信号的像素信号，以便在调整每个彩色电平信号的灵敏度后，将彩色电平信号放大直到图像处理的动态范围的极限，然后从每个放大后的像素信号中去除黑电平信号。
为了实现以上目的，提供了一种图像信号处理单元，用于处理由图像设备的彩色像素提供的像素信号，每个像素信号包括彩色电平信号和叠加在彩色电平信号上的黑电平信号，所述处理单元包括第一放大器，用于为每个彩色像素的像素信号设置第一放大因子，以调整彩色像素的灵敏度；第二放大器，用于用第二放大因子放大灵敏度已被调整的像素信号，该第二放大因子允许灵敏度已被调整并且从第一放大器中输出的像素信号中具有最大信号强度的彩色电平信号具有等同于后级中执行的图像处理的动态范围的信号强度；以及计算单元，用于从由第二放大器放大的像素信号中的每一个中减去黑电平信号成分。
在根据本发明的图像信号处理单元中，当处理各自具有其中叠加了黑电平信号的彩色电平信号的像素信号时，第一放大器为每个彩色像素设置第一放大因子，以调整彩色像素的灵敏度。第二放大器用第二放大因子放大灵敏度已被调整的每个像素信号。在计算单元中，从已被第二放大器放大的每个像素信号中减去黑电平信号成分。依靠灵敏度已被调整的像素信号被用其各自的第二放大因子所放大以便彩色电平信号的最大信号强度变成等同于动态范围的信号强度然后黑电平信号成分被从每个像素信号中减去这一过程，可以提取充分利用动态范围的彩色电平信号。通过这种方式，从每个彩色像素获得的指示有效图片信息的彩色电平信号被放大直到后级中执行的图像处理的动态范围。
此外，提供了一种图像信号处理方法，用于处理由图像设备的彩色像素提供的像素信号，每个像素信号包括彩色电平信号和叠加在彩色电平信号上的黑电平信号，该方法包括以下步骤：
通过单独放大每个彩色像素的像素信号而调整彩色像素之间的灵敏度；放大在灵敏度调整步骤中其灵敏度已被调整的像素信号，以便像素信号的彩色电平信号被增大直到后级中执行的图像处理的动态范围；以及从在放大灵敏度已被调整的像素信号的步骤中获得的每个像素信号中减去黑电平信号成分。
在根据本发明的图像信号处理方法中，当处理具有其上被叠加了黑电平信号的彩色电平信号的像素信号时，单独放大彩色像素的像素信号，以调整在彩色像素之间不同的灵敏度，然后放大灵敏度已被调整的像素信号，以便彩色电平信号扩展直到后级中执行的图像处理的动态范围，之后从每个像素信号中减去黑电平信号成分。从而，可提取具有充分利用动态范围的信号电平的彩色电平信号。
当以下详细描述被联系附图理解时，本发明的以上和其他目的以及新颖特征将从以下详细描述中更充分地显现出来。但是，要清楚的理解附图只是用于示例目的，并不想要充当对本发明的界限的限定。
附图说明
图1是示出图像设备的像素阵列的概念图；
图2是示出图像设备的输出信号的图；
图3是根据实施例的图像信号处理单元的电路框图；
图4是示出通过第一放大器(CDSamp)进行的灵敏度调整的概念图；
图5是示出由第二放大器(PGA)和计算单元执行的处理的概念图；
图6是根据实施例的图像信号处理方法的流程图。
具体实施方式
现参见图1至6，将根据本发明的优选实施例详细描述图像信号处理单元和图像信号处理方法。
本发明适用于在显示运动图像或静止图像时在重复获得图片信息的同时执行图像处理的情形。在以下描述中，将说明数码相机作为图像处理单元的示例。
图1示出单板图像设备1的像素阵列的一个示例的概念图，该图像设备例如是用于数码相机等中的CCD设备。图像设备1具有三个原色R、G、B的像素，即红色像素R、绿色像素G和蓝色像素B，以获得图片信息。
图像设备1具有有效图像区域2，其中排列了用于提供有效图片信息的彩色像素R、G、B。在有效图像区域2中，红色像素R和绿色像素G在图1的水平方向上交替排列的行与绿色像素G和蓝色像素B在图1的水平方向上交替排列的行交替，以使得相邻行中的绿色像素G在垂直方向上未对齐。此阵列就是所谓的“bayer阵列”。
一般而言，在有效像素区域2的周围，图像设备1具有蔽光区域3，该蔽光区域被例如由银(Ag)或铝(Al)制成的膜屏蔽了光。蔽光区域3被称为“OB区域”，也称为“黑电平区域”，因为它不允许光透过，并且不采集图片信息。虽然蔽光区域(OB区域)3被屏蔽了光，并且不基于图片信息产生彩色电平信号，但它生成黑电平信号，这些黑电平信号是噪声成分，并且主要是由作为泄漏电流流动的暗电流而引起的。诸如暗电流这样的泄漏电流是根据图像设备1的温度、图像设备1的配置和制造变化等而生成的。泄漏电流在所有像素中流动，不论是蔽光区域(OB区域)3还是有效像素区域2。
图像设备1被横向扫描。图2示出在图像设备1的横向扫描期间从图像设备1输出的输出信号CCDIN的波形，该波形与红色像素R和绿色像素G被交替排列的行相关联。像素分别生成像素信号，其中插入了预充电时段(Pre)。在前两个周期中，黑电平信号OBR、OBG被从OB区域输出。在随后的周期中，红色像素R和绿色像素G被相继交替输出。每个彩色像素R、G输出一个像素信号，在该像素信号中黑电平信号OBR或OBG(噪声成分)被叠加在彩色电平信号CR或CG上。取决于有效图片信息，彩色电平信号CR、CG的信号强度在彩色像素R、G之间是不同的，而黑电平信号ORB、OBG的信号强度在彩色像素R、G之间没有不同。为了获得精确的图片信息，必须在彩色电平信号CR、CG或CB不受影响的情况下，从由每个彩色像素R、G或B生成的像素信号中去除黑电平信号OBR、OBG或OBB。
尽管无关紧要，但是彩色像素R、G、B的黑电平信号OBR、OBG、OBB的信号强度可能彼此不同，因为黑电平信号主要源自诸如暗电流这样的泄漏电流，而泄漏电流可能取决于设备属性。因此，当从与黑电平信号相关联的像素信号中消除黑电平信号OBR、OBG、OBB时，最好为彩色像素R、G、B中的每一个估计黑电平信号。根据像素在有效像素区域2的行中的排列将像素排列在蔽光区域(OB区域)3中，从而分别获得彩色像素R、G、B的黑电平信号OBR、OBG、OBB。
在蔽光区域(OB区域)3中，由于在被扫描区域外的图像设备1的上端和下端处联系相邻行排列了彩色像素，因此可延伸被扫描区域，以获得位于这些部分中的黑电平信号。
在示出本实施例的电路框图的图3中，提供了图像信号处理单元10和DSP单元20。来自图像设备1(图1)的输出信号CCDIN被输入到图像信号处理单元10。输出信号CCDIN是模拟信号，并且诸如信号放大这样的模拟信号处理在图像信号处理单元10中被执行。经历了模拟信号处理的信号被进行A/D转换，以作为数字信号被输出到DSP单元20。在DSP单元20中，执行图像处理，如聚焦、曝光等的自动调整。被图像处理后的像素信号在必要时经历了算术处理后，返回图像信号处理单元10。从而，在图像信号处理单元10为来自图像设备1的下一输出信号CCDIN设置了适当的模拟处理条件。
在图像信号处理单元10中，CDS电路11连接到第一放大器(CDSamp)12，其中输出信号CCDIN被输入到CDS电路11，而第一放大器(CDSamp)12又依次连接到第二放大器(PGA)13。计算单元14的加法端(+)连接到第二放大器(PGA)13，其减法端(-)连接到D/A转换器(DAC)16。计算单元14的输出连接到A/D转换器(ADC)15，A/D转换后的彩色电平信号被从A/D转换器(ADC)15发送到DSP单元20。存储在寄存器单元17中的是各种参数，这些参数是由DSP单元20计算的，并且为由图像信号处理单元10执行的模拟信号处理所需要。
存储在寄存器17A到17C中的参数被输入到第一放大器(CDSamp)12。第一放大因子G1被存储，它被第一放大器(CDSamp)12用于调整灵敏度，该灵敏度在彩色像素R、G、B之间是不同的。存储在寄存器17D中的参数被输入到第二放大器(PGA)13。第二放大因子G2被存储，它用于扩展作为图片信息有效的彩色电平信号直到A/D转换器(ADC)15的动态范围。存储在寄存器17E到17G中的参数被输入到D/A转换器(DAC)16。在计算单元14中，用于彩色像素的蔽光区域(OB区域)3的黑电平信号OB被存储，以便分别从与其相关联的被第一放大器12和第二放大器13放大的像素信号中去除黑电平信号OB。
时序信号CLK被输入到第一放大器(CDSamp)12、A/D转换器(ADC)15和D/A转换器(DAC)16中。时序信号CLK是在图像设备1的扫描期间一旦被扫描的像素从一个变成另一个时所输出的信号。OB钳位信号CLPOB被负逻辑输入到计算单元14的使能端(EN)。OB钳位信号CLPOB是在图像设备1的蔽光区域(OB区域)3被扫描时被激活的信号。这里，高电平状态被视为激活状态。
接下来，将说明具有稍早所描述的配置的图像信号处理单元10的操作。来自图像设备1的输出信号CCDIN包括两类信号。CDS电路11用输出每个信号的时序对输出信号CCDIN进行采样，从而获得这些信号。这些信号之一是复位电平信号，它是在预充电时段(Pre)(参见图2)期间被采样的参考信号。另一信号是在预充电时段(Pre)之后的像素信号读出时段中被采样的信号。通过从复位电平信号中减去此信号所获得的差信号是像素信号。在CDS电路11中，输出信号CCDIN在预充电时段(Pre)及其后的像素信号读出时段期间被基于时序信号(未示出)而采样，并且像素信号，即差信号被释放。
从CDS电路11输出的像素信号是这样的信号，在这种信号中黑电平信号OBR、OBG或OBB被叠加在指示有效图片信息的彩色电平信号CR、CG或CB之上。一般而言，像素信号的灵敏度在彩色像素R、G、B之间是不同的。红色像素R的灵敏度和蓝色像素B的灵敏度通常低于绿色像素G的灵敏度。在第一放大器(CDSamp)12中，为彩色像素R、G、B中的每一个设置第一放大因子G1，并且利用其各自的放大因子G1来单独放大像素信号，以便调整彩色像素R、G、B的灵敏度之间的差异。
此调整的过程在图4中示出。图4示出这样的情况：被图示为CDS电路11的输出信号的从彩色像素R、B、G生成的像素信号CR(AV)+OBR(AV)、CG(AV)+OBG(AV)、CB(AV)+OBB(AV)的信号强度是这样的平均信号强度，以使得彩色电平信号CR(AV)、CG(AV)、CB(AV)的信号强度对应于彩色像素R、G、B的灵敏度。
为了消除彩色电平信号CR(AV)、CG(AV)、CB(AV)之间的灵敏度差异，彩色电平信号CR(AV)、CG(AV)、CB(AV)的信号强度被调整成由彩色电平信号CG(AV)所拥有的最大信号强度。更具体而言，分别为彩色电平信号CR(AV)、CG(AV)、CB(AV)设置第一放大因子G1R、G1G、G1B，这些放大因子是由DSP单元20所计算的，并且被存储在寄存器17A到17C中。
这里，红色像素R的放大因子G1R是根据G1R＝CG(AV)/CR(AV)来计算的。蓝色像素B的放大因子G1B是根据G1B＝CG(AV)/CB(AV)来计算的。绿色像素G的放大因子G1G由G1G＝CG(AV)/CG(AV)＝1所描述。正如稍后参考图6所描述的，这些放大因子可通过由DSP单元20所执行的数字算术处理来预先计算。
响应于时序信号CLK，寄存器17A到17C被相继选择。或者，如果存储在寄存器17A到17C中的第一放大因子G1R、G1G、G1B已经被取到了第一放大器(CDSamp)12中，则在第一放大器(CDSamp)12中相继选择第一放大因子G1R、G1G、G1B。从而，对于每个彩色像素R、G、B执行单独的放大，并且第一放大器(CDSamp)12输出通过调整彩色像素R、G、B中的每一个的灵敏度偏差所获得的信号。分别具有对应于彩色像素R、G、B的灵敏度的平均信号强度的彩色电平信号CR(AV)、CG(AV)、CB(AV)被放大。具体而言，彩色电平信号CR(AV)被第一放大因子G1R所放大，彩色电平信号CB(AV)被第一放大因子G1B所放大，以便它们的信号强度等同于彩色电平信号CG(AV)的信号强度。应该注意，黑电平信号OBR(AV)、OBG(AV)、OGB(AV)同时被类似地放大。
灵敏度已被调整的像素信号被从第一放大器(CDSamp)12输出，并被输入到第二放大器(PGA)13中。在第二放大器(PGA)13中，通过使用第二放大因子G2执行放大。
这里，将要被第一放大器(CDSamp)12所放大的每个像素信号具有对应于从图像设备1的有效像素区域2所获得的图片信息的各种信号强度分布。图5图示了像素信号，这些像素信号是通过分别用第一放大因子G1R、G1G、G1B放大彩色像素R、G、B的这种像素信号以便调整它们的灵敏度而获得的。如果具有最大信号强度的彩色电平信号CMAX与位于后级中的A/D转换器(ADC)15的动态范围DR一致，则灵敏度已被调整的所有像素信号将会被有效地A/D转换，从而最佳利用A/D转换器(ADC)15的转换能力。
在第二放大器(PGA)13中，算术处理被通过DSP单元20预先执行，并且存储在寄存器17D中的第二放大因子G2被设置为要使用的放大因子。基于在前的图像处理中所获得的彩色电平信号，第二放大因子G2被计算为A/D转换器(ADC)15的动态范围DR与具有最大信号强度的彩色电平信号CMAX之比。在此情况下，黑电平信号OB被同时用第二放大因子G2放大。
由第二放大器(PGA)13放大的每个像素信号是这样的信号：彩色电平信号成分被第二放大因子G2放大，直到动态范围DR，并且也被用第二放大因子G2放大的黑电平信号成分被叠加在彩色电平信号上。因此，必须从每个像素信号中减去黑电平信号，以便通过A/D转换器(ADC)15对彩色电平信号进行A/D转换，从而完全利用动态范围。此减法由计算单元14所执行。
在计算单元14要减去的黑电平信号是黑电平信号OBR、OBG和OBB，它们分别被叠加在从像素设备1输出的像素信号上，并且被第一放大器12和第二放大器13所放大。以下，这一将要被减去的黑电平信号被称为“放大后的黑电平信号”。正如稍后结合图6所描述的，放大后的黑电平信号OB(AV)是通过DSP单元20所执行的处理而获得的，在DSP单元20中，通过将蔽光区域(OB区域)3的像素与有效像素区域2的像素阵列联系起来，对从蔽光区域(OB区域)3获得的黑电平信号OBR、OBG或OBB积分和取平均，以作为对应于每个彩色像素R、G或B的像素信号的黑电平信号。算术处理被预先执行，并且用于彩色像素R、G、B的放大后的黑电平信号分别被存储在寄存17E到17G中。
响应于时序信号CLK，寄存器17E到17G被相继选择，以便每个放大后的黑电平信号OB(AV)被D/A转换器(DAC)16进行D/A转换。已被转换成模拟信号的放大后的黑电平信号OB(AV)被输入到计算单元14，并且被从输出自第二放大器(PGA)13的相关像素信号中减去，以便提取被扩展到A/D转换器(ADC)15的动态范围的彩色电平信号，并将其输入到A/D转换器(ADC)15中。
图6示出像素信号处理方法的流程图。在开始处理后，首先执行初始化(S1)。这里定义的初始化包括：每个彩色像素的R、G、B的灵敏度调整；放大直到后级中执行的图像处理所期望的动态范围；并且设置将要从每个像素信号中减去的黑电平成分。例如，执行初始化以便灵敏度调整和放大直到动态范围未完成(在此情况下，放大因子为1)，并且要从每个像素信号减去的黑电平成分变成零。更具体而言，在图3所示的图像信号处理单元10中，执行初始化以便存储在寄存器17A到17D中的所有放大因子G1、G2变成1，并且存储在寄存器17E到17G中的黑电平信号成分变成零。
在从图像设备取得图片信息后，在获得由有效像素区域2和蔽光区域(OB区域)3构成的一个屏幕的图像处理和像素信号之时，进行自动聚焦(S2)、自动曝光(S3)等。
在所获得的像素信号中，按照彩色像素被排列在有效像素区域2的行中的顺序，从蔽光区域(OB区域)3获得的黑电平信号OBR、OBG、OBB被分别分配给彩色像素R、G、B，然后被取平均。从而获得每个彩色像素R、G、B的平均黑电平信号OB(AV)。平均黑电平信号OB(AV)被存储在调整后黑电平信号存储单元D1中。更具体而言，在图3所示的图像信号处理单元10中，平均黑电平信号OB(AV)分别被存储在寄存器17E到17G中。
然后，对通过图像处理所获得的彩色电平信号CR、CG、CG取平均，从而获得每个彩色像素R、G、B的彩色电平信号C(AV)(S6)。从平均彩色电平信号C(AV)中提取具有最大信号强度的彩色电平信号C(AV)MAX(S7)。然后，为每个彩色像素R、G、B计算最大信号强度与平均彩色电平信号C(AV)的信号强度之比(S8)。算术处理的结果是第一放大因子G1(＝C(AV)MAX/C(AV))。放大因子G1是对每个像素R、G、B计算的，并且被存储在第一放大因子(G1)存储单元D2中。具体而言，在图3所示的图像信号处理单元10中，放大因子G1分别被存储在寄存器17A到17C中。应该注意步骤S7到S8对应于图4所示的处理。
从彩色电平信号C中提取最大信号强度CMAX(S9)，并且计算对应于图像处理的动态范围的信号强度DR与最大信号强度CMAX之比(S10)。算术处理的结果是第二放大因子G2(＝DR/CMAX)，其将被存储在第二放大因子(G2)存储单元D3中。具体而言，在图3所示的图像信号处理单元10中，第二放大因子G2被存储在寄存器17D中。步骤S9到S10对应于图5所示的处理。
在以上步骤之后，程序返回步骤S2并重复图像处理。对于要经历图像处理的像素信号，利用了从在前的图像处理中的计算所获得的黑电平信号OB(AV)、第一放大因子G1和第二放大因子G2。从而，对于每个彩色像素R、G、B进行灵敏度调整，并将指示图片信息的每个彩色电平信号的信号强度增大直到动态范围，以便可执行图像处理，从而完全利用该动态范围。
图6的流程图示出例如由图3所示的实施例的电路框图中的DSP单元20所执行的图像处理的流程。
正如稍早充分讨论的，根据本实施例的图像信号处理单元和图像信号处理方法，通过放大通过从像素信号中去除黑电平信号OBR、OBG、OBB而获得的彩色电平信号CR、CG、CB，可以将信号电平增大直到A/D转换器(ADC)15和其他设备所执行的图像处理的动态范围DR。通过在A/D转换后进行数字信号处理增大信号强度的传统技术在充分利用A/D转换器的分辨率方面被证明是不成功的，因为由A/D转换器所转换的彩色电平信号的信号强度没有达到A/D转换器的动态范围。与此相反，本实施例进行的放大是模拟信号处理，从而彩色电平信号C可被增大直到足够高的信号电平，以便完全利用A/D转换器的动态范围。
在由A/D转换器(ADC)15进行的转换和其他图像处理过程之前，作为像素信号的噪声成分的黑电平信号OBR、OBG、OBB在模拟信号处理级被去除。只有作为有效图片信息的彩色电平信号CR、CG、CB才被放大到最大程度，并且被发送到A/D转换器(ADC)15和其他图像处理设备。从而，可通过充分利用动态范围DR来处理由图像设备1提供的图片信息，并且可以以最大的分辨率执行由DSP单元20进行的图像处理和其他图像处理过程。因此，可将图像设备1的能力利用到可能的最大程度。
利用从图像设备1的蔽光区域(OB区域)3获得的像素信号计算要从像素信号中去除的黑电平信号OBR、OBG、OBB。蔽光区域(OB区域)3的像素排列具有与有效像素区域2的像素阵列的像素排列相同的连续性。因此，可通过对位于对应于有效像素区域2的像素阵列的像素位置处的黑电平信号OBR(OBG、OBB)取平均，来获得对应于每个彩色像素R、G、B的黑电平信号OBR(OBG、OBB)。
在对每个像素R(G、B)进行的像素调整中，可从像素信号中取出彩色电平信号CR(CG、CB)，并将其与整个有效像素区域2的平均信号强度相比较，以进行调整。这导致了与日本已公布未审查的专利申请2001-28716号中公开的技术相比灵敏度调整的精确度的提高，根据该专利申请，每个像素信号的SN比被增大，同时像素信号包含黑电平信号，从而黑电平信号即噪声成分不可避免地被放大，导致对每个彩色像素R、G、B进行的灵敏度调整的精确度较低。
很明显，本发明不必限于这里所示的具体实施例，并且在不脱离本发明的精神和范围的情况下，对公开的实施例做出各种变化和修改。
虽然在前述实施例中以单面板CCD为例讨论了图像设备，但是本发明不限于此。本发明同样适用于所谓的三面板设备配置，其中为彩色像素R、G、B中的每一个提供一个图像设备。
根据本发明，可将通过从像素信号中去除黑电平信号而获得的彩色电平信号放大直到动态范围。由于去除了黑电平信号，即像素信号的噪声成分，因此可将提供有效图片信息的彩色电平信号放大直到最大程度。可用对应于动态范围的上限的分辨率传输由图像设备提供的图片信息，以便可用具大分辨率执行后级处的图像处理。因此，可将图像设备的能力利用到可能的最大程度。
本发明基于并要求在先日本专利申请2005-157380号的优先权，这里通过引用并入其全部内容。

Claims (17)

1.一种图像信号处理单元，用于处理由图像设备的彩色像素提供的像素信号，每个像素信号包括彩色电平信号和叠加在所述彩色电平信号上的黑电平信号，所述处理单元包括：
第一放大器，用于为每个彩色像素的像素信号设置第一放大因子，以调整所述彩色像素的灵敏度；
第二放大器，用于用第二放大因子放大灵敏度已被调整的像素信号，所述第二放大因子允许灵敏度已被调整并且从所述第一放大器中输出的像素信号中具有最大信号强度的彩色电平信号具有等同于后级中执行的图像处理的动态范围的信号强度；以及
计算单元，用于从由所述第二放大器放大的所述像素信号中的每一个中减去黑电平信号成分。
2.如权利要求1所述的图像信号处理单元，还包括A/D转换器，用于对所述计算单元的输出信号进行A/D转换，
其中所述后级中执行的图像处理的动态范围是所述A/D转换器的动态范围。
3.如权利要求1所述的图像信号处理单元，
其中所述第一放大因子、所述第二放大因子和所述黑电平信号成分是基于预先执行的在前图像处理的结果来确定的。
4.如权利要求3所述的图像信号处理单元，
其中所述图像处理是数字算术处理，并且
其中在所述在前图像处理中，所述第一放大器根据最大信号强度与每个彩色像素的信号强度之比为每个彩色像素设置所述第一放大因子，
所述最大信号强度是所述彩色像素的平均彩色电平信号的信号强度中最高的，
所述每个彩色像素的信号强度是每个彩色像素的所述平均彩色电平信号的信号强度。
5.如权利要求3所述的图像信号处理单元，
其中所述图像处理是数字算术处理，并且
其中在所述在前图像处理中，所述第二放大器根据等同于所述动态范围的信号强度与所述彩色电平信号的信号强度中最高的所述最大信号强度之比设置所述第二放大因子。
6.如权利要求3所述的图像信号处理单元，
其中所述图像处理是数字算术处理，并且
其中在所述在前图像处理中，所述计算单元根据由对每个彩色像素的所述黑电平信号取平均获得的平均黑电平信号来执行减法操作，所述黑电平信号是由所述图像设备的蔽光区域提供的。
7.如权利要求6所述的图像信号处理单元，还包括D/A转换器，用于对由所述数字算术处理获得的所述平均黑电平信号进行D/A转换，
其中所述计算单元包括模拟减法器，用于从被所述第二放大器放大的与D/A转换后的黑电平信号相关联的像素信号中减去所述D/A转换后的黑电平信号。
8.如权利要求6所述的图像信号处理单元，
其中所述蔽光区域位于有效像素区域的周围，并且
其中对应于所述蔽光区域的顺序的所述黑电平信号被根据所述有效像素区域中排列的所述彩色像素的顺序而分配给所述彩色像素。
9.如权利要求1所述的图像信号处理单元，
其中由所述计算单元减去的所述黑电平信号成分是通过由所述第一放大器和所述第二放大器放大所述黑电平信号而获得的。
10.一种图像信号处理方法，用于处理由图像设备的彩色像素提供的像素信号，每个像素信号包括彩色电平信号和叠加在所述彩色电平信号上的黑电平信号，所述方法包括以下步骤：
通过单独放大每个彩色像素的像素信号而调整所述彩色像素之间的灵敏度；
放大在所述灵敏度调整步骤中其灵敏度已被调整的像素信号，以便所述像素信号的彩色电平信号被增大直到后级中执行的图像处理的动态范围：以及
从在所述放大灵敏度已被调整的像素信号的步骤中获得的每个像素信号中减去黑电平信号成分。
11.如权利要求10所述的图像信号处理方法，
其中所述后级中执行的图像处理的动态范围是已被减去了所述黑电平信号成分的所述像素信号被A/D转换时的动态范围。
12.如权利要求10所述的图像信号处理方法，
其中所述图像处理是数字算术处理，
所述方法还包括以下步骤：
对每个彩色像素的所述彩色电平信号的信号强度取平均；以及
计算最大信号强度与每个彩色像素的信号强度的每个比率，作为每个彩色像素的所述像素信号的每个第一放大因子，
所述最大信号强度是所述彩色像素的平均彩色电平信号的信号强度中最高的，
所述每个彩色像素的信号强度是每个彩色像素的所述平均彩色电平信号的信号强度，
所述取平均步骤和所述计算步骤是基于在所述灵敏度调整步骤之前预先执行的在前图像处理的结果执行的。
13.如权利要求10所述的图像信号处理方法，
其中所述图像处理是数字算术处理，
所述方法还包括以下步骤：
在所述放大灵敏度已被调整的像素信号的步骤之前，基于所述预先执行的在前图像处理的结果，计算等同于所述动态范围的信号强度与所述彩色电平信号中信号强度最高的所述最大信号强度之比，作为所述灵敏度已被调整的像素信号的第二放大因子。
14.如权利要求10所述的图像信号处理方法，
其中所述图像处理是数字算术处理，并且
所述方法还包括以下步骤：
在所述减去所述黑电平信号成分的步骤之前，基于所述预先执行的在前图像处理的结果，通过对由所述图像设备的蔽光区域提供的每个彩色像素的所述黑电平信号取平均，计算每个彩色像素的所述黑电平信号成分。
15.如权利要求14所述的图像信号处理方法，还包括对所述平均黑电平信号进行D/A转换的步骤，
其中所述减去所述黑电平成分的步骤是模拟算术处理。
16.如权利要求14所述的图像信号处理方法，
其中对应于所述蔽光区域的顺序的所述黑电平信号被根据有效像素区域中排列的所述彩色像素的顺序而分配给所述彩色像素。
17.如权利要求10所述的图像信号处理方法，
其中从每个像素信号中减去的所述黑电平信号成分是通过在所述灵敏度调整步骤和所述放大灵敏度已被调整的像素信号的步骤中放大所述黑电平信号而获得的。
CN2005101028772A 2005-05-30 2005-09-14 图像信号处理单元和方法 Expired - Fee Related CN1874429B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005157380 2005-05-30
JP2005157380A JP4781013B2 (ja) 2005-05-30 2005-05-30 画素信号処理装置、および画素信号処理方法
JP2005-157380 2005-05-30

Publications (2)

Publication Number Publication Date
CN1874429A true CN1874429A (zh) 2006-12-06
CN1874429B CN1874429B (zh) 2010-05-05

Family

ID=36968986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101028772A Expired - Fee Related CN1874429B (zh) 2005-05-30 2005-09-14 图像信号处理单元和方法

Country Status (6)

Country Link
US (1) US7782368B2 (zh)
EP (1) EP1729507B1 (zh)
JP (1) JP4781013B2 (zh)
KR (1) KR100748196B1 (zh)
CN (1) CN1874429B (zh)
TW (1) TWI265728B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621632B (zh) * 2008-06-30 2012-09-19 佳能株式会社 成像系统以及驱动所述成像系统的方法
CN101763175B (zh) * 2008-12-23 2013-07-03 原相科技股份有限公司 位移检测装置的图像处理方法及使用该方法的位移检测装置
CN103209301A (zh) * 2012-01-13 2013-07-17 佳能株式会社 摄像设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007028038B4 (de) * 2007-06-14 2019-10-31 Primes Gmbh Verfahren zur Korrektur der Diffusionseffekte in Halbleiter-Bildsensoren
JP5128889B2 (ja) * 2007-10-02 2013-01-23 オリンパス株式会社 固体撮像素子及びそれを用いた固体撮像システム
JP5106052B2 (ja) * 2007-11-08 2012-12-26 キヤノン株式会社 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
JP2013077945A (ja) * 2011-09-30 2013-04-25 Sony Corp 画像処理装置、補正方法、並びに、撮像装置
JP5855035B2 (ja) * 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
KR20220140267A (ko) 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940025306A (ko) 1993-04-08 1994-11-19 이헌조 수평/수직 양방향 흑레벨 보정회로
US6750910B1 (en) * 1998-07-15 2004-06-15 Texas Instruments Incorporated Optical black and offset correction in CCD signal processing
US6433632B1 (en) 1999-06-11 2002-08-13 Analog Devices, Inc. Correlated double sampling circuit with op amp
US7123301B1 (en) * 1999-06-11 2006-10-17 Analog Devices, Inc. Pixel gain amplifier
JP4845256B2 (ja) * 2000-10-18 2011-12-28 キヤノン株式会社 画像処理装置
JP2002209222A (ja) * 2001-01-09 2002-07-26 Sanyo Electric Co Ltd 撮像装置
JP3956875B2 (ja) * 2002-03-25 2007-08-08 セイコーエプソン株式会社 固体撮像装置
JP2003298953A (ja) * 2002-03-29 2003-10-17 Seiko Epson Corp 画像処理装置および画像処理方法
JP2004208240A (ja) 2002-12-26 2004-07-22 Matsushita Electric Ind Co Ltd 撮像装置
JP4218357B2 (ja) * 2003-01-31 2009-02-04 セイコーエプソン株式会社 デジタルクランプ回路およびデジタルクランプ処理方法
JP4500106B2 (ja) * 2003-05-27 2010-07-14 オリンパス株式会社 撮像装置、及び撮像装置の調整方法
JP2005109772A (ja) * 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法
KR100517363B1 (ko) 2003-11-26 2005-09-28 엘지전자 주식회사 플라즈마 디스플레이 패널의 구동장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621632B (zh) * 2008-06-30 2012-09-19 佳能株式会社 成像系统以及驱动所述成像系统的方法
CN101763175B (zh) * 2008-12-23 2013-07-03 原相科技股份有限公司 位移检测装置的图像处理方法及使用该方法的位移检测装置
CN103209301A (zh) * 2012-01-13 2013-07-17 佳能株式会社 摄像设备
US9191560B2 (en) 2012-01-13 2015-11-17 Canon Kabushiki Kaisha Image capturing apparatus that performs photoelectric conversion on incident light that has passed through an imaging lens and outputs an electric signal

Also Published As

Publication number Publication date
JP4781013B2 (ja) 2011-09-28
TWI265728B (en) 2006-11-01
KR20060124534A (ko) 2006-12-05
EP1729507A3 (en) 2011-09-28
JP2006333339A (ja) 2006-12-07
US7782368B2 (en) 2010-08-24
KR100748196B1 (ko) 2007-08-10
EP1729507B1 (en) 2016-04-20
TW200642442A (en) 2006-12-01
CN1874429B (zh) 2010-05-05
US20060268358A1 (en) 2006-11-30
EP1729507A2 (en) 2006-12-06

Similar Documents

Publication Publication Date Title
CN1874429A (zh) 图像信号处理单元和方法
EP2037668B1 (en) Image sensor apparatus and method for improved dynamic range with multiple readout circuit paths
TWI399086B (zh) 包含ｃｍｏｓ型影像感測器的固態攝影裝置
US7791775B2 (en) Imaging apparatus for generating image having wide dynamic range by using different exposures
KR101771252B1 (ko) 촬상 소자 및 카메라 시스템
US20140043514A1 (en) Solid-state image pickup device and signal processing method therefor
US9036052B2 (en) Image pickup apparatus that uses pixels different in sensitivity, method of controlling the same, and storage medium
CN102970487A (zh) 图像处理设备、图像处理方法和程序
CN1317831A (zh) 固态图象读取装置及其驱动方法和摄像系统
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP2015128215A (ja) 固体撮像装置及びそれを用いた撮像システム
US7489357B2 (en) Solid-state image pickup element having improved resolution and signal to noise ratio and solid-state image pickup apparatus using the same
US6559886B1 (en) Video signal processing method and device
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
CN1396764A (zh) 图像数据的修正方法及图像信号处理装置
KR100992091B1 (ko) Ｃｍｏｓ 이미지 센서를 위한 아날로그 이미지 신호 처리 회로
US9373158B2 (en) Method for reducing image artifacts produced by a CMOS camera
CN101150733A (zh) 影像像素干扰的补偿方法
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
CN1111823C (zh) 使用分段加权校正的影像处理装置及其处理方法
CN1234250C (zh) 扫描仪的rgb信号做色彩空间转换的电路
JP3114717B2 (ja) 映像信号処理装置及びプログラムを記憶した記憶媒体
KR102003815B1 (ko) 이미지 센서 및 그 동작 방법
JP2001197510A (ja) 固体撮像装置
Chan CCD camera design and ASIC applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FUJITSU MICROELECTRONICS CO., LTD.

Free format text: FORMER OWNER: FUJITSU LIMITED

Effective date: 20081024

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20081024

Address after: Tokyo, Japan, Japan

Applicant after: Fujitsu Microelectronics Ltd.

Address before: Kanagawa

Applicant before: Fujitsu Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: FUJITSU SEMICONDUCTORS CO., LTD

Free format text: FORMER NAME: FUJITSU MICROELECTRON CO., LTD.

CP03 Change of name, title or address

Address after: Kanagawa

Patentee after: Fujitsu Semiconductor Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Fujitsu Microelectronics Ltd.

ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: FUJITSU SEMICONDUCTOR CO., LTD.

Effective date: 20150514

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150514

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Kanagawa

Patentee before: Fujitsu Semiconductor Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100505

Termination date: 20200914