CN101420518B - 噪声校正电路、成像装置和噪声校正方法 - Google Patents
噪声校正电路、成像装置和噪声校正方法 Download PDFInfo
- Publication number
- CN101420518B CN101420518B CN2008101711698A CN200810171169A CN101420518B CN 101420518 B CN101420518 B CN 101420518B CN 2008101711698 A CN2008101711698 A CN 2008101711698A CN 200810171169 A CN200810171169 A CN 200810171169A CN 101420518 B CN101420518 B CN 101420518B
- Authority
- CN
- China
- Prior art keywords
- noise
- signal
- picture signal
- unit
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims abstract description 81
- 238000003384 imaging method Methods 0.000 title claims description 35
- 238000000034 method Methods 0.000 title claims description 17
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 41
- 206010019133 Hangover Diseases 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000001915 proofreading effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 201000005569 Gout Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明提供了噪声校正电路、成像装置和噪声校正方法。提供了一种检测并校正在从图像传感器输出的图像信号中包括的噪声的噪声校正电路。该噪声校正电路包括噪声确定单元、噪声去除单元和随机数加算单元。噪声确定单元被配置为计算在从图像传感器输出的图像信号的预定范围内的信号电平的平均值,并使用计算得到的平均值来计算在预定方向上的噪声分量。噪声去除单元被配置为响应于由噪声确定单元确定的噪声分量,从自图像传感器输出的图像信号中去除噪声。随机数加算单元被配置为向经噪声去除单元去除噪声之后的图像信号加上所述图像信号的量化精度以下的随机数。
Description
技术领域
本发明涉及去除从图像传感器输出的图像信号中包括的噪声的固定模式噪声校正电路、包括该固定模式噪声校正电路的成像装置、和应用于成像装置的固定模式噪声校正方法。
背景技术
过去,已经开发出并商业化使用诸如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器之类的传感器的各种固态成像装置。这种固态成像装置可能具有存在于相同像素位置处的与时间无关的固定模式噪声。已知类型的固定模式噪声的一个示例具有垂直线(即,纵线)的形式。即,当CMOS图像传感器被构造为使得对垂直方向上的每一列像素使用一个电路时,由于用于各列像素的电路的特性的不一致而产生垂直线形式的噪声。
已经提出用于校正垂直线形式的噪声的许多方法。但是,当在数字信号处理期间对这种垂直线进行校正时,从原始图像信号减去所检测到的垂直线分量,因而很难校正图像信号的量化精度以下的、垂直线形式的噪声。
此外,当使用固态成像装置来捕捉高亮度对象的图像时,存在在所捕捉的图像中在水平方向上产生称为“拖尾”(streaking)的噪声的情况。作为一个示例,可以通过校正相比于在对像素部分遮光的情况下捕捉图像之时的DC电平差来校正拖尾。日本未审查专利申请公布No.2005-130331公开了这样的用于校正拖尾的方法的一个示例。
发明内容
当存在垂直线形式的噪声时,如上所述,可以执行从原始图像信号减去检测到的垂直线分量的校正。但是,利用这种方法,很难校正图像信号的量化精度以下的垂直线。这意味着如果在执行数字放大的同时没有足够的光被输入到图像传感器并且模数转换之后的输出信号电平较低,则在量化精度以下的并因而没有校正的那些垂直线将与图像信号分量一起被放大,这导致明显的量化错误。这些错误显示作为垂直线的噪声,从而导致图像质量的显著恶化。
此外,在拖尾校正期间,如果在量化精度以下的错误被放大,则这将产生水平行的噪声,这也导致了图像质量的显著恶化。
希望有效地校正在图像传感器中产生的垂直线和水平行形式的噪声,以使得其不显眼。
根据本发明的一个实施例,提供了一种噪声校正方法。利用该噪声校正方法来检测并校正在从图像传感器输出的图像信号中包括的噪声。该噪声校正方法包括以下步骤:
计算在从图像传感器输出的图像信号的预定范围内的信号电平的平均值;
使用计算得到的平均值来计算从图像传感器输出的图像信号在预定方向上的噪声分量;
响应于计算得到的噪声分量,从自图像传感器输出的图像信号中去除噪声;以及
向去除噪声之后的图像信号的在量化精度以下的最低有效位加上从图像传感器输出的图像信号的量化精度以下的随机数,并在随后丢弃所述最低有效位。
通过向图像信号加上在量化精度以下的随机数,将存在以下情况:取决于随机数的值,最低有效位被提高到一或者保持不变。因此,防止了最低有效位的值在同一列上的统一,并且当输出图像信号被显示时,不存在连续垂直线形式的噪声,这防止了噪声变得显著。
根据本发明的一个实施例,加上了在量化精度以下的随机数,从而防止了输出图像信号的最低有效位的值在同一列上的统一,因此降低了垂直线噪声,并可以适当地去除噪声。
附图说明
图1是示出根据本发明第一实施例的成像装置的电路配置的框图;
图2是示出图像传感器的电路配置的框图;
图3是示出根据本发明第一实施例的噪声检测电路和校正电路的示例的框图;
图4是示出根据本发明第一实施例的随机数发生电路的配置的示图;
图5是示出利用图4所示的配置来生成的随机数的示例的示图;
图6是示出根据本发明第一实施例的对垂直线噪声分量的检测处理的示例的流程图;
图7是示出根据本发明第一实施例的针对垂直线的噪声校正处理的示例的流程图;
图8A和8B是用于比较根据本发明第一实施例的校正处理与过去的校正处理的示图,其中,图8A示出了根据本发明一个实施例的校正处理,图8B示出了根据背景技术的校正处理;
图9A到9D是示出根据本发明第一实施例的加上随机数的效果的示例的示图;
图10是示出根据本发明第二实施例的成像装置的电路配置的框图;
图11A和11B是示出图像传感器的配置和所发生的拖尾的示例的示图;
图12是示出根据本发明第二实施例的校正信号生成单元的电路配置的框图;
图13是示出根据本发明第二实施例的拖尾校正处理的示例的流程图;以及
图14是示出根据本发明第二实施例的信号电平和拖尾比的示例的特性曲线。
具体实施方式
以下将参考图1到9来描述本发明的第一实施例。图1是示出根据本发明一个实施例的成像装置100的整体配置的示图。成像装置100是三传感器彩色成像装置,其中,对每一种颜色提供独立的图像传感器。即,成像装置100包括图像传感器101R、101G和101B。图像传感器101R、101G和101B是分别捕捉红色、绿色和蓝色图像的图像传感器。在本实施例中,CMOS图像传感器被用作图像传感器。CMOS图像传感器的具体示例配置将在稍后描述。由图像传感器101R、101G和101B捕捉并输出的图像信号经视频放大器102R、102G和102B放大到合适水平,然后被模拟/数字转换器103R、103G和103B转换为相应颜色的数字数据R、G和B。转换后的数据在视频处理单元109中经历图像信号处理。
视频处理单元109包括:校正电路104,其对图像信号进行校正;增益调节电路105,其执行诸如白平衡调节之类的增益调节;亮度调节电路106,其调节亮度;伽玛校正电路107,其执行伽玛校正;以及输出信号生成电路108,其将信号转换为适当输出格式的图像信号。在校正电路104中执行的校正处理的示例包括针对成像仪的缺陷像素校正处理、垂直线校正、拖尾校正等。垂直线校正处理将在稍后详细描述。这里,作为一个示例,亮度数据Y和色差数据Cr、Cb被从输出信号生成电路108输出。
将简要描述成像装置100的操作。由光学系统(未示出)获得的来自对象的光入射在针对各原色提供的图像传感器101R、101G和101B的各自成像表面上,以在成像表面上形成各原色——红色、绿色和蓝色的图像。在图像传感器的成像表面上形成按矩阵布置的像素的受光元件读取原色图像作为像素信号,并且通过顺序地读取在各个传感器处获得的像素信号来输出一帧的图像信号。在模拟/数字转换器103R、103G和103B中将从图像传感器101R、101G和101B输出的图像信号转换为数字数据,随后在视频处理单元109内部的各个电路中执行上述图像处理。注意,如下所述,在本实施例中为每个垂直线提供模拟/数字转换器103R、103G和103B。
接下来,将参考图2来描述由CMOS图像传感器构成的图像传感器101R、101G和101B的配置。如图2所示,形成像素11的受光元件在成像表面上按矩阵布置。对与像素11相连接的开关14的开/关控制通过水平地址选择单元12来执行,而对开关15的开/关控制通过垂直地址选择单元13来执行,从而一次针对一个水平行来顺序地从像素11读取信号。使用开关14、15在各垂直线上选择的信号在放大器16中被放大,随后被为每个垂直线提供的模拟/数字转换器17转换为数字数据。在本实施例中,一个像素数据例如是八位(bit)数字数据。转换后的在各垂直线上的数字数据被同时传送到移位寄存器18,并且每次一水平行地被从移位寄存器18顺序输出。
图2所示的包括针对每个垂直线的放大器16和模拟/数字转换器17的配置是CMOS图像传感器的特性。因为该配置包括针对每个垂直线的放大器16和模拟/数字转换器17,如图2所示,由于放大器16和模拟/数字转换器17的特性的不一致,所以对于各垂直列像素可能发生噪声,即,产生了作为每个图像传感器所特有的噪声的垂直线噪声。在本实施例中,执行了校正该垂直线噪声的处理。垂直线噪声校正处理被执行作为图1所示的校正电路104中的校正处理之一。
图3示出了噪声检测单元30和去除噪声检测单元30所检测到的噪声的校正单元的一个示例配置,噪声检测单元30包括在图1所示的校正电路104中并且检测垂直线噪声。例如,在成像装置的制造期间执行通过噪声检测单元30检测垂直线噪声的处理,并且将检测到的噪声量存储在存储器22中。当使用成像装置来执行成像时,执行从通过成像获得的图像信号中减去存储在存储器22中的噪声量的噪声校正。
将描述图3所示的噪声检测单元30的配置。在校正电路104(参见图1)中的输入端子21处获得的图像信号被提供给噪声检测单元30。在噪声检测单元30中,黑电平积分器31针对黑电平对图像信号进行积分。因此,执行了对单个帧中的任意区域中的黑电平进行积分并获得平均黑电平的处理。通过由黑电平积分器31执行的积分而产生的值被提供给减法器32,减法器32从得自输入端子21的图像信号中减去由黑电平积分器31产生的值。
由减法器32通过减去黑电平积分值而产生的信号被提供给加法器33,加法器33的输出被与在行存储器34中延迟了一个水平行的时间段的信号相加。经加法器33相加并在行存储器34中经延迟的信号被提供给乘法器35,乘法器35将该信号乘以1/n(其中,n是图像传感器上的像素数目)从而产生每像素的噪声量。这样,通过顺序地将通过减去任意区域中的黑电平积分值来产生的值与在行存储器34中延迟了一个水平行的时间段的信号相加,各垂直线的噪声量得以检测。即,执行了这样的处理:求得在由图像传感器中的黑电平积分器31积分的范围的信号电平中的各垂直线的噪声量。
乘法器35的输出被存储在存储器22中,作为由噪声检测单元30检测到的各垂直线的噪声量。在初始设置期间,例如在成像装置的制造期间执行到存储器22中的存储操作。
当使用如图3所示的成像装置来执行成像时,通过捕捉图像而获得的并被输入到输入端子21的图像信号被提供给减法器23。在减法器23中,从该图像信号减去存储在存储器22中的噪声量。因为如上所述,噪声量被存储作为各垂直线的噪声量,所以与从输入端子21提供的图像信号的垂直线的位置相对应的噪声量被读出。利用这种配置,通过减法器23来执行对“垂直线噪声”的校正。到此为止的处理基本上与过去已知的对垂直线的校正处理相同。
在本实施例中,如图3所示,减法器23的输出被提供给加法器24,加法器24加上了从随机数发生器25提供的随机数,相加后的信号被提供给输出端子26以输出经过校正的信号。
更具体而言,在加法器24的加法处理中,已经从减法器23输出的经过校正的图像信号是通过减去作为平均来获得的噪声信号而产生的信号,并且由于平均化,其因而是这样的信号:其中,在原始图像信号的位数目以下的(即,在量化精度以下的)位数目已经被附加于最低有效位之后。在随机数发生器25中,位数不大于该附加位数的随机数被生成,并且所生成的随机数被加法器24加到最低有效位。随后,执行在加法器24的随机数加算之后丢弃图像信号的最低有效位的处理,并且从输出端子26向随后的电路提供具有预定位数(即,处于量化精度的位数)的图像信号。
图4是示出随机数发生器25的示例配置的示图。图4所示的配置是M系列的循环码发生器,其获得三位随机数。输入数据被提供给选择器42、43和44的一个输入端子,并且来自选择器42、43和44的输出被提供给触发器45、46和47的各自的D输入端子。触发器45、46和47被提供以相同的时钟。触发器45的输出被提供给选择器43的另一个输入端子,触发器46的输出被提供给选择器44的另一个输入端子,并且触发器46的输出和触发器47的输出经由EXOR(异或)门41而被提供给选择器42的另一个输入端子。在这种配置中,触发器45、46和47的输出被设置为三位输出OUT[0]、OUT[1]、OUT[2]。
使用图4所示的配置,三位输出OUT[0]、OUT[1]、OUT[2]例如如图5所示地顺序变化,以获得虚拟随机数。
即,当提供给各个选择器的LOAD脉冲为1时,通过选择器42、43和44来选择值SEED,并且所选择的值被输入到触发器45、46和47中。当LOAD脉冲为零时,选择器42、43和44选择不是SEED的输入。生成在每个时钟周期中发生变化的三位虚拟随机数的操作被执行,以使得当二进制值“111”被输入到SEED并被加载时,由于来自EXOR 41的反馈,所以在下一时钟中输出变化为“110”,在之后的时钟中为“100”,...。注意,LOAD脉冲例如受成像装置的控制单元(未示出)的控制,并且图像信号的任意位被输入到SEED。
接下来,将参考图6和7来描述当使用本实施例的配置来检测和校正垂直线噪声时的处理。首先,将参考图6的流程图来描述检测垂直线噪声分量的示例处理。当检测噪声分量的处理开始时(步骤S1),首先,遮挡各个颜色的图像传感器,并且在遮光状态下执行成像(步骤S2)。在这种状态下捕捉的图像信号是黑电平的成像信号,因而检测到黑电平信号(步骤S3)。从通过成像获得的图像信号中减去黑电平信号(步骤S4),已经减去黑电平的信号在垂直方向上被相加(步骤S6),并且判断该信号是否是针对最下位线(lowest line)的(步骤S7)。当该信号不是针对最下位线时,将图像信号延迟一个水平行的时间段(步骤S5)并且重复步骤S6中的相加。当在步骤S7中判定该信号是针对最下位线的时,响应于那时的加算值而计算针对垂直线分量的噪声量(步骤S8)。为各垂直线计算的噪声量被存储在存储器22中(步骤S9),并且检测处理完成(步骤S10)。
接下来,将参考图7中的流程图来描述以这种方式、在成像期间使用存储在存储器22中的数据来进行的噪声去除。当从输入端子21输入图像信号时(步骤S11),通过减法器23从输入信号减去垂直线分量的信号(步骤S12)。例如,在步骤S11中获得的图像信号可以是针对每个像素的每颜色八位。这里,步骤S12中的减算向最低有效位附加了两个位,从而将位数增加到十。
在这种情况下,利用加法器24向从减法器23输出的十位数据的最低两位加上两位随机数(步骤S13)。这里,该加算的结果被箝位(clip)于十位。最低有效两位也被舍弃(步骤S14)以获得校正后的值(步骤S15)。
图8A和8B用于说明图7的流程图中的处理。图8A示出了根据本实施例的处理的一个示例,图8B示出了根据背景技术的处理的一个比较示例。如图8A所示,在本实施例的示例中,一个像素用八位信号来表示,在垂直线分量的减算期间向该八位信号的最低有效位附加了两个位。这些最低两位是在模拟/数字转换器中在量化精度以下的信号。通过将两位随机数与该十位信号相加,获得了十位加算结果。删除十位加算结果的最低有效两位,并且输出包括最高有效八位的校正结果。通过执行这样的处理,将存在以下两种情况:输出八位值中的最低有效位的值根据随机数而变化的情况,和最低有效位的值可能不变化的情况。
另一方面,如图8B所示,根据背景技术校正处理,当用八位信号来表示一个像素并减去垂直信号分量以产生十位信号时,根据最低有效两位中的更有效的位来执行舍入处理。
图9A到9D示出了根据本实施例、对随机数进行加算的结果。图9A示出了最低有效两位为“11”的示例,图9B示出了最低有效两位为“10”的示例,图9C示出了最低有效两位为“01”的示例,图9D示出了最低有效两位为“00”的示例。在各幅图中的纵轴是加算之后输出的八位的最低有效位,而横轴是水平行的编号。在各幅图中用实线示出的特性示出了本实施例的值的变化特性d11、d12、d13和d14(即,通过加上随机数而产生的值)。用虚线示出的特性示出了背景技术示例的值的变化特性d21、d22、d23和d24(即,通过图8B所示的舍入处理而产生的值)。
从图9A到9D可见,当最低有效位为“11”、“10”、“01”时,通过加上随机数而产生的特性d11、d12、d13中的最低有效位的值根据随机数而变化。仅当最低有效两位为“00”时,最低有效位保持在“0”而没有变化。此外,因为以根据最低有效两位的值的概率来产生八位输出的最低有效位的进位(carry),所以当总体上看单个垂直线时,最低有效两位的信息得以保留。
另一方面,利用现有的舍入处理,在所图示的各种情况中,在相同垂直线上的所有值都相同。即,在最低有效两位为“11”的特性d21中,垂直线的最低有效位的值保持在“1”,并且在最低有效两位为“10”的特性d22中,垂直线的最低有效位的值也保持在“1”。另外,在最低有效两位为“01”的特性d23中,垂直线的最低有效位的值保持在“0”,并且在最低有效两位为“00”的特性d24中,垂直线的最低有效位的值也保持在“0”。
通过根据本实施例加上随机数,防止了经过校正的图像信号的最低有效位在垂直线上具有相同值的状态。另外,如前所述,如果总体上看一个垂直线,在垂直线分量的减算之后、十位中的最低有效两位的信息得以保留,并且垂直线将按四种模式之一变化。因此,即使在校正之后执行放大,也不会存在由于校正之后保持的噪声分量的影响而使得垂直线将变得显著的情况。具体而言,在由已经加上随机数的图像信号形成的显示图像中,即使在具有高增益的图像中垂直线也可能变得不再连续,并且垂直线将显得模糊,因此其结果是,显示图像中的垂直线可能不再显著。另一方面,因为在根据背景技术舍入处理的垂直线校正期间,沿像素的垂直列使用相同的校正数据,所以通过舍入产生的错误将沿像素的垂直列保持恒定,从而导致错误分量作为垂直线而可见。
如上所述,通过执行根据本实施例的处理,使用人眼的积分特性来降低了垂直线校正的量化错误,这使得在低光条件中执行数字放大时可以极大地提高图像质量。
注意,虽然以上描述了垂直线分量具有在图像信号的最低有效位以下的两个有效位的示例,但是当对更多线进行积分时,有效位的数目可以增加,并且通过增加随机数中的相应位数目,可以获得更大的效果。
图4所示的用于加上随机数的配置仅仅示出了对单个颜色的图像信号的处理。在实践上,使用相同配置来向各个颜色的图像信号R、G、B加上随机数。在这种情况下,可以为三个颜色的图像信号R、G、B提供分立的随机数发生器,从而分别加上不同的随机数。因此,各个颜色的最低有效位的状态即使在同一垂直线上也可能变化,从而更有效地分散量化错误以提高图像质量。
接下来,将参考图10到14来描述本发明的第二实施例。在此第二实施例中,在第一实施例中描述的、在垂直线的噪声校正期间加上随机数以防止在垂直线的量化精度以下的错误变得显著的处理被调整用于拖尾的校正,或者换而言之,水平方向上的噪声分量的校正。
根据第二实施例的成像装置具有类似于图1所示的上述成像装置100的整体配置。作为设在成像装置100中的图像传感器101R、101G和101B,可以使用诸如CMOS图像传感器和CCD图像传感器之类的各种传感器。由成像装置100中的校正电路104执行的一种校正处理是拖尾校正,即,水平方向上的错误校正。在拖尾校正期间,优选的是在增益调节之前检测和校正图像信号中的拖尾量。
拖尾校正通过从图像传感器的被遮光部分中检测拖尾量、生成校正量、并从原始信号中减去所生成的校正量来执行。
图10是示出根据本实施例的执行拖尾校正的示例配置的示图。如图10所示,红色校正信号生成电路211R、绿色校正信号生成电路211G、和蓝色校正信号生成电路211B是从各个颜色的图像信号中检测相应拖尾量的电路。
红色校正信号生成电路211R包括校正信号生成单元221、信号电平检测单元222、校正增益生成单元223、和乘法器单元224。用于其它颜色信号的生成电路211G和211B具有相同的配置。校正信号生成电路211响应于输入图像信号Rin而生成针对各行的拖尾校正信号Rst。校正信号生成电路211使用图像传感器的水平遮光部分(水平光学黑体(HOPB))和垂直遮光部分(垂直光学黑体(VOPB))的输出信号来生成各行的拖尾校正信号Rst″。
现在将参考图11A和11B来描述拖尾的发生。图11A示出了图像传感器101R的配置的一个示例和发生拖尾的状态。作为一个示例,图像传感器101R被形成为包括水平方向上的2200个像素和垂直方向上的1125个像素(即,1125行)。另外,图像传感器101R具有例如36个像素宽的水平遮光部分(HOPB)201,和例如10到20个像素高的垂直遮光部分(VOPB)202。图像传感器101R的其它部分形成了作为有效成像区域的受光部分203。
当使用图像传感器101R来捕捉高亮度光源204的图像时,出现了在水平方向上的条纹状的拖尾205。
图12示出了校正信号生成单元221的一个示例配置。校正信号生成单元221包括遮光部分波形检测单元230、黑电平检测单元240、减法单元250和取心(coring)单元260。
遮光部分波形检测单元230使用图像传感器的水平遮光部分(HOPB)201的输出信号来计算水平遮光部分(HOPB)201中的各行的信号电平,如图11B所示。如图12所示,在遮光部分波形检测单元230中,平均值计算单元231、数字滤波器(IIR滤波器)232、ε(epsilon)滤波器233和中值滤波器234按该顺序相连。
平均值计算单元231逐行地对形成水平遮光部分(HOPB)201的像素的值计算平均。这个平均值计算单元231降低了在水平方向上的空间随机的噪声。IIR滤波器232在时间轴上对平均值计算单元231所计算得到的各行的平均像素值求平均。IIR滤波器232使用反馈环路来过滤当前帧的输入信号和前面多帧的输出信号。使用IIR滤波器232,降低了在时间轴上随机的噪声。注意,可以使用FIR滤波器来取代IIR滤波器。
ε滤波器233是非线性滤波器,用于降低小幅度噪声。在垂直线方向上对从IIR滤波器232输出的各行的平均像素值使用ε滤波器233。使用ε滤波器,降低了垂直方向上的随机噪声。
在垂直方向上对从ε滤波器233输出的各行的平均像素值使用中值(即,中间值)滤波器234。中值滤波器234以经过处理的信号为中心来按幅度顺序排列奇数个值,并获得中间值。使用中值滤波器234,去除了脉冲型的噪声。从中值滤波器234获得了上述水平遮光部分201中的各行的信号电平(即,水平遮光部分201的波形)。
黑电平检测单元240使用图像传感器的垂直遮光部分202的输出信号来检测黑电平。如图11A和11B所示,因为在成像期间在水平遮光部分201的信号中出现拖尾,所以可能无法从水平遮光部分201的输出信号中精确地检测黑电平。因此,黑电平检测单元240使用垂直遮光部分202的输出信号来检测黑电平。
黑电平检测单元240包括顺序连接的平均值计算单元241和IIR滤波器242(作为数字滤波器)。在黑电平检测单元240中,因为IIR滤波器242是在时间轴上使用的,所以可以最小化噪声的影响同时维持实时操作。
平均值计算单元241计算形成垂直遮光部分202的像素的值的平均。平均值计算单元241降低了在水平方向和垂直方向上空间随机的噪声。IIR滤波器242在时间轴上对在平均值计算单元241中计算得到的平均像素值求平均。IIR滤波器242使用反馈环路来过滤当前帧的输入信号和前面多帧的输出信号。使用IIR滤波器242,降低了在时间轴上随机的噪声。
减法单元250从由遮光部分波形检测单元230检测到的水平遮光部分201中的各行的信号电平中减去由黑电平检测单元240检测到的黑电平,以计算各行的拖尾校正信号Rst′,或者换而言之,各行的拖尾分量。
取心单元260对在减法单元250处获得的各行的拖尾校正信号Rst′执行取心处理,并输出各水平行的最终拖尾校正信号Rst″。取心单元260包括ε滤波器261、减法器262、取心处理单元263和加法器264。
ε滤波器261是用于去除小幅度噪声的非线性滤波器。ε滤波器261被按与上述遮光部分波形检测单元230中的ε滤波器233相同的方式来配置。在垂直方向上对从减法单元250输出的各水平行的拖尾校正信号Rst′使用ε滤波器261。
减法器262从减法单元250所获得的各行的拖尾校正信号中减去已由ε滤波器261生成的与该行相对应的信号,以提取高频分量Lin。取心处理单元263对由减法器262获得的各行的高频分量Lin执行取心。即,取心处理单元263将输入信号Lin的绝对值的幅度与预先设定的取心水平进行比较,当输入信号的绝对值大于该取心水平时,输入信号Lin被毫无修改地设置为输出信号Lout。另一方面,当取心水平大于输入信号Lin的绝对值时,输出信号Lout被设置为零。即,由取心处理单元263执行的取心处理留下了相对较大的信号分量,例如边缘,并去除具有较低信号电平的其它分量。
在图10中,以这种方式由各校正信号生成电路211R、211G、211B生成的校正信号Rst、Gst、Bst被提供给减法器212,并分别被从各颜色的输入信号Rin、Gin、Bin减去。
在本实施例中,已经减去校正信号的各颜色的信号被提供给加法器271、272和273,它们各自加上了由随机数发生器274生成的随机数。当随机数被加上时,作为一个示例,随机数被加到对由拖尾校正处理生成的在图像信号的量化精度以下的最低有效位。在该加算之后,在量化精度以下的最低有效位被去除,以获得输出信号Rout、Gout和Bout。作为随机数发生器274,例如使用了针对各颜色的信号来生成不同随机数的设备。
图13是示出拖尾校正处理的流程图。首先,检测水平遮光部分的波形(步骤S21),在时间轴上执行滤波(步骤S22),然后在空间轴上执行滤波(步骤S23)。对垂直遮光部分的像素进行积分(步骤S24),并且在时间轴上执行滤波(步骤S25)。
随后,从水平遮光部分的波形中减去黑电平以生成校正信号(步骤S26),对该校正信号执行取心处理(步骤S27),对校正信号的增益进行调节(步骤S28),然后从图像信号中减去得到的校正信号(步骤S29)。另外,对已经减去校正信号的图像信号加上随机数(步骤S30)。
注意,存在这样的情况:由于图像信号电平和/或温度的变化,在水平遮光部分处检测到的电平和在有效像素区域处检测到的电平可能不一定匹配。这种情况的一个示例在图14中示出。图14示出了信号电平和拖尾比(即,有效像素区域的拖尾量/HOPB的拖尾量)之间的关系。为了克服这种特性,在校正量减法电路中,检测要被校正的目标像素的信号电平,并参考与图像传感器相对应地预先准备的查找表(LUT)来决定校正增益。
随后,以与第一实施例所述的垂直线校正相同的方式,因为拖尾校正信号是根据图像信号中的至少四个像素的平均值来生成的,所以当两个有效位存在于图像信号的最低有效位以下并且图像信号是八位时,减去拖尾分量的结果可以具有十个有效位。当这被恢复成八位时,使用图10所示的配置来执行以下处理:加上两位随机数,丢弃结果的最低有效两位以获得最高有效八位。作为加上量化错误值的细节处理,可以使用与图8A所示的第一实施例相同的处理。在此第二实施例中,也可以使用不同的位数目作为各个信号中的位数目。
通过加上该随机数,例如当在低光条件下执行数字放大时,可以在拖尾校正期间降低量化错误并极大地提高图像质量。
本领域技术人员应当了解,在所附权利要求书或其等同物的范围内,可以依据设计要求和其它因素来进行各种修改、组合、子组合和变更。
相关申请的交叉引用
本发明包含与在2007年10月22日向日本专利局提交的日本专利申请JP 2007-274496相关的主题,该申请的全部内容通过引用而结合于此。
Claims (9)
1.一种噪声校正电路,该噪声校正电路检测并校正在从图像传感器输出的图像信号中包括的噪声,包括:
噪声确定单元,被配置为计算在从所述图像传感器输出的所述图像信号的预定范围内的信号电平的平均值,并使用计算得到的所述平均值来计算在预定方向上的噪声分量;
噪声去除单元,被配置为响应于由所述噪声确定单元确定的所述噪声分量,从自所述图像传感器输出的所述图像信号中去除噪声;以及
随机数加算单元,被配置为向由所述噪声去除单元去除噪声之后的图像信号的在量化精度以下的最低有效位加上从所述图像传感器输出的所述图像信号的量化精度以下的随机数,并在随后丢弃所述最低有效位。
2.如权利要求1所述的噪声校正电路,
其中,所述噪声确定单元包括:
减法单元,被配置为从所述图像信号减去所述平均值;以及
垂直固定模式噪声计算单元,被配置为在预定方向上对已经减去所述平均值的所述图像信号进行积分,以计算在垂直方向上的条纹形式的固定模式噪声分量。
3.如权利要求2所述的噪声校正电路,
其中,所述随机数加算单元被配置为向由所述噪声去除单元去除噪声之后的所述图像信号的在量化精度以下生成的所述最低有效位加上至少两位的所述随机数。
4.如权利要求3所述的噪声校正电路,
其中,为从所述图像传感器输出的所述图像信号的每个颜色分量提供所述随机数加算单元,并且向各个颜色分量加上不同的随机数。
5.如权利要求1所述的噪声校正电路,
其中,所述噪声确定单元包括
遮光部分波形检测单元,被配置为使用所述图像传感器的水平遮光部分的输出信号来计算在所述水平遮光部分中的各行的信号电平,
黑电平检测单元,被配置为使用所述图像传感器的垂直遮光部分的输出信号来检测黑电平,以及
第一减法单元,被配置为从由所述遮光部分波形检测单元计算得到的在所述水平遮光部分中的各行的信号电平中减去由所述黑电平检测单元检测到的所述黑电平,以计算各行的拖尾校正信号;并且
其中,所述噪声去除单元包括
所校正增益生成单元,被配置为针对从所述图像传感器输出的图像信号的信号电平来生成所校正增益,并将由所述噪声确定单元生成的所述拖尾校正信号乘以所生成的所校正增益,以及
第二减法单元,被配置为从自所述图像传感器输出的所述图像信号中减去在所述所校正增益生成单元中被乘以所述所校正增益的所述拖尾校正信号。
6.一种成像装置,包括:
图像传感器单元;
噪声确定单元,被配置为计算在从所述图像传感器单元输出的图像信号的预定范围内的信号电平的平均值,并使用计算得到的所述平均值来计算从所述图像传感器单元输出的所述图像信号在预定方向上的噪声分量;
噪声去除单元,被配置为响应于由所述噪声确定单元确定的所述噪声分量,从自所述图像传感器单元输出的所述图像信号中去除噪声;以及
随机数加算单元,被配置为向由所述噪声去除单元去除噪声之后的图像信号的在量化精度以下的最低有效位加上从所述图像传感器单元输出的所述图像信号的量化精度以下的随机数,并在随后丢弃所述最低有效位。
7.如权利要求6所述的成像装置,
其中,所述噪声确定单元包括:
平均值计算单元,被配置为计算在所述图像传感器单元的任意范围中的所述信号电平的平均值;
减法单元,被配置为从所述图像信号减去所述平均值;以及
垂直固定模式噪声计算单元,被配置为在预定方向上对已经减去所述平均值的所述图像信号进行积分,以计算在垂直方向上的条纹形式的固定模式噪声分量。
8.如权利要求6所述的成像装置,
其中,所述噪声确定单元包括
遮光部分波形检测单元,被配置为使用所述图像传感器单元的水平遮光部分的输出信号来计算在所述水平遮光部分中的各行的信号电平,
黑电平检测单元,被配置为使用所述图像传感器单元的垂直遮光部分的输出信号来检测黑电平,以及
第一减法单元,被配置为从由所述遮光部分波形检测单元计算得到的在所述水平遮光部分中的各行的信号电平中减去由所述黑电平检测单元检测到的所述黑电平,以计算各行的拖尾校正信号;并且
其中,所述噪声去除单元包括
所校正增益生成单元,被配置为针对从所述图像传感器单元输出的图像信号的信号电平来生成所校正增益,并将由所述噪声确定单元生成的所述拖尾校正信号乘以所生成的所校正增益,以及
第二减法单元,被配置为从自所述图像传感器单元输出的所述图像信号中减去在所述所校正增益生成单元中被乘以所述所校正增益的所述拖尾校正信号。
9.一种噪声校正方法,该噪声校正方法检测并校正在从图像传感器输出的图像信号中包括的噪声,包括以下步骤:
计算在从所述图像传感器输出的所述图像信号的预定范围内的信号电平的平均值,并使用计算得到的所述平均值来计算从所述图像传感器输出的所述图像信号在预定方向上的噪声分量;
响应于计算得到的所述噪声分量,从自所述图像传感器输出的所述图像信号中去除噪声;以及
向去除所述噪声之后的所述图像信号的在量化精度以下的最低有效位加上从所述图像传感器输出的所述图像信号的量化精度以下的随机数,并在随后丢弃所述最低有效位。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007274496 | 2007-10-22 | ||
JP2007-274496 | 2007-10-22 | ||
JP2007274496A JP4396757B2 (ja) | 2007-10-22 | 2007-10-22 | ノイズ補正回路、撮像装置及びノイズ補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101420518A CN101420518A (zh) | 2009-04-29 |
CN101420518B true CN101420518B (zh) | 2013-03-27 |
Family
ID=40243731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101711698A Expired - Fee Related CN101420518B (zh) | 2007-10-22 | 2008-10-22 | 噪声校正电路、成像装置和噪声校正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8233737B2 (zh) |
EP (1) | EP2053842B1 (zh) |
JP (1) | JP4396757B2 (zh) |
CN (1) | CN101420518B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5493397B2 (ja) * | 2009-03-10 | 2014-05-14 | 株式会社リコー | 画像読み取り装置、画像読み取り方法、および、画像形成装置 |
US20110069204A1 (en) * | 2009-09-23 | 2011-03-24 | Zoran Corporation | Method and apparatus for image correction |
JP5523065B2 (ja) * | 2009-11-13 | 2014-06-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5445053B2 (ja) * | 2009-11-16 | 2014-03-19 | 株式会社ニコン | 撮像装置及び画像補正プログラム |
US9002004B2 (en) * | 2010-08-27 | 2015-04-07 | Tektronix, Inc. | Appending pseudo-random sub-LSB values to prevent intensity banding |
JP5631153B2 (ja) | 2010-10-21 | 2014-11-26 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP5632703B2 (ja) | 2010-10-21 | 2014-11-26 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP5648010B2 (ja) | 2012-03-30 | 2015-01-07 | 富士フイルム株式会社 | 機器の作動方法及び撮影装置と電子内視鏡装置 |
JP2014143497A (ja) | 2013-01-22 | 2014-08-07 | Toshiba Corp | 固体撮像装置 |
JP2015082732A (ja) | 2013-10-22 | 2015-04-27 | 株式会社東芝 | 固体撮像装置 |
CN105721799B (zh) * | 2014-12-04 | 2019-11-08 | 比亚迪股份有限公司 | 图像传感器及其去除帧间固有噪声的方法和装置 |
CN104657958B (zh) * | 2015-03-18 | 2017-09-29 | 西安科技大学 | 一种红外图像条纹噪声消除方法 |
CN109348147B (zh) * | 2018-11-21 | 2021-06-29 | 思特威(上海)电子科技股份有限公司 | Cmos图像传感器局部黑电平校准方法 |
JP7287227B2 (ja) * | 2019-09-30 | 2023-06-06 | 株式会社リコー | 信号補正装置、画像読取装置、画像処理装置、信号補正方法およびプログラム |
JP7453819B2 (ja) * | 2020-03-17 | 2024-03-21 | 日本放送協会 | イメージセンサ及び撮像装置 |
CN113645420B (zh) * | 2020-05-11 | 2024-06-28 | 瑞昱半导体股份有限公司 | 图像噪声抑制装置及其方法 |
CN112367477B (zh) * | 2020-10-30 | 2022-06-14 | 思特威(上海)电子科技股份有限公司 | 一种图像采集背光补偿方法及系统 |
US11616924B2 (en) * | 2020-10-30 | 2023-03-28 | SmartSens Technology (HK) Co., Ltd. | CMOS image sensor with image black level compensation and method |
US12096148B2 (en) | 2021-11-19 | 2024-09-17 | Samsung Electronics Co., Ltd. | Image sensor device and operation method thereof |
CN115290125B (zh) * | 2022-10-10 | 2023-02-10 | 泉州昆泰芯微电子科技有限公司 | 注入随机噪声进行信号修调的方法及磁性编码器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0673149A1 (en) * | 1994-03-15 | 1995-09-20 | Bayer Corporation | Method and apparatus for correcting dark-signal non-uniformity of a photo-sensor |
CN1719879A (zh) * | 2004-07-07 | 2006-01-11 | 索尼公司 | 图像摄取装置和信号处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2587470B2 (ja) * | 1988-09-02 | 1997-03-05 | 富士写真フイルム株式会社 | イメージセンサの暗時出力補正装置 |
US5245432A (en) * | 1989-07-31 | 1993-09-14 | Imageware Research And Development Inc. | Apparatus and method for transforming a digitized signal of an image to incorporate an airbrush effect |
JP3361124B2 (ja) * | 1991-07-30 | 2003-01-07 | ゼロックス・コーポレーション | テキストを含む2次元画像上での画像処理方法と画像処理装置 |
JP4310031B2 (ja) * | 2000-07-11 | 2009-08-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
JP2005130331A (ja) | 2003-10-27 | 2005-05-19 | Victor Co Of Japan Ltd | 撮像信号補正回路 |
JP4144517B2 (ja) * | 2003-12-05 | 2008-09-03 | ソニー株式会社 | 固体撮像装置、撮像方法 |
JP4363308B2 (ja) | 2004-11-02 | 2009-11-11 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
JP4192900B2 (ja) | 2005-02-08 | 2008-12-10 | ソニー株式会社 | 量子化精度再生方法、量子化精度再生装置、撮像装置、情報処理装置及びプログラム |
TWI271107B (en) * | 2005-08-01 | 2007-01-11 | Novatek Microelectronics Corp | Apparatus and method for color dithering |
KR100640663B1 (ko) * | 2005-08-12 | 2006-11-01 | 삼성전자주식회사 | 상수 및 동일 패턴을 갖는 파라미터들을 다변량 모델링하는방법 및 장치 그리고 이를 이용한 반도체 제조방법 |
-
2007
- 2007-10-22 JP JP2007274496A patent/JP4396757B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-07 EP EP08253255.7A patent/EP2053842B1/en not_active Not-in-force
- 2008-10-15 US US12/287,926 patent/US8233737B2/en not_active Expired - Fee Related
- 2008-10-22 CN CN2008101711698A patent/CN101420518B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0673149A1 (en) * | 1994-03-15 | 1995-09-20 | Bayer Corporation | Method and apparatus for correcting dark-signal non-uniformity of a photo-sensor |
CN1719879A (zh) * | 2004-07-07 | 2006-01-11 | 索尼公司 | 图像摄取装置和信号处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009105581A (ja) | 2009-05-14 |
EP2053842A3 (en) | 2009-11-25 |
EP2053842B1 (en) | 2013-07-03 |
US20090103829A1 (en) | 2009-04-23 |
JP4396757B2 (ja) | 2010-01-13 |
US8233737B2 (en) | 2012-07-31 |
EP2053842A2 (en) | 2009-04-29 |
CN101420518A (zh) | 2009-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101420518B (zh) | 噪声校正电路、成像装置和噪声校正方法 | |
US8089533B2 (en) | Fixed pattern noise removal circuit, fixed pattern noise removal method, program, and image pickup apparatus | |
US8798395B2 (en) | Image processing apparatus, image processing method, and program | |
CN101232576B (zh) | 图像摄取装置和信号处理方法 | |
KR100768057B1 (ko) | 반도체 집적 장치 및 이미지 센서의 흑 레벨 보정 방법 | |
US7545412B2 (en) | Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion | |
CN100394778C (zh) | 固态图像拾取元件的信号处理设备和方法及图像拾取设备 | |
CN101272453B (zh) | 拖尾校正信号发生电路、方法、拖尾校正电路和成像器件 | |
JP5060447B2 (ja) | ノイズキャンセル処理回路および固体撮像装置 | |
US20140218567A1 (en) | Image Sensor and Method of Generating Binning Image Using the Same | |
KR100880281B1 (ko) | 화상 처리 방법 및 화상 처리 회로 | |
JP2005167918A (ja) | 固体撮像装置、撮像方法 | |
JP2008141609A (ja) | 光電変換装置及び撮像システム | |
CN1874429B (zh) | 图像信号处理单元和方法 | |
JP2008092282A (ja) | 撮像装置 | |
JP4868003B2 (ja) | 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置 | |
US20210218911A1 (en) | Image capturing apparatus and control method thereof | |
JP7134786B2 (ja) | 撮像装置および制御方法 | |
WO2017013949A1 (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
US9013626B2 (en) | Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus | |
US7916188B2 (en) | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD | |
JP2018170703A (ja) | 撮像素子、撮像装置、及び撮像素子の制御方法 | |
US20240236501A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JPS61288667A (ja) | 固体撮像装置 | |
JP2005295383A (ja) | 欠陥画素補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130327 Termination date: 20191022 |