具体实施方式
以下对本发明的实施方式(以下简称为实施方式)进行说明。
图1是具有本实施方式的图像处理装置(图像处理LSI(Large ScaleIntegration,大规模集成))117的照相机的系统结构图。参照图1对系统结构和照相机的拍摄动作以及数据记录时的动作进行说明。
系统具有透镜单元103、CCD(Charge Coupled Device,电荷耦合器件)传感器104、AFE电路(Analog Front End Circuit,模拟前端电路)105、微型计算机(微型计算机、控制部分)119、TG(Timing Generator,定时发生器)120、透镜用电机121、光圈用电机122、图像处理LSI117、照相机影像信号输出部分118等。
透镜单元103具有透镜101和光圈102。透镜单元103具有变焦功能,光圈102对从透镜101获取的外部光的光量进行调整。
CCD传感器104将从透镜单元103照射的光变换为影像信号。
AFE电路105将所输入的影像信号变换为能够在图像处理LSI117中进行处理的信号。例如,AFE电路105对所输入的影像信号进行相关双取样(Correlated Double Sampling,以下简称为CDS)处理、模拟AGC(Automatic Gain Control,自动增益控制)处理、A/D(模拟/数字)变换等处理。并且,AFE电路105将变换后的信号输出到图像处理LSI117中。
微型计算机119控制TG120,使其产生驱动CCD传感器104所需的脉冲。此外,微型计算机119使透镜用电机121和光圈用电机122进行动作,将变焦位置和光圈位置分别控制到任意位置。微型计算机119还对图像处理LSI117进行控制。
TG120在微型计算机119的控制下产生用于驱动CCD传感器104的脉冲。
透镜用电机121对透镜101的变焦位置进行控制。光圈用电机122对光圈102的光圈位置进行控制。照相机影像信号输出部分118将从图像处理LSI117输出的信号输出到监视器等显示装置(未图示),以便在显示装置上显示影像。
图像处理LSI117具有对输入的影像信号进行周边光量下降修正处理和噪声降低处理的周边光量下降修正处理部分115、和对影像信号的图像进行使图像更加清晰的处理的图像处理部分116。
周边光量下降修正处理部分115对从AFE电路105输入的影像信号进行透镜周边光量下降修正处理、以及降低因该周边光量下降修正而被增强的噪声的处理。该周边光量下降修正处理部分115将噪声降低处理后的影像信号输出到图像处理部分116中。
图像处理部分116对从周边光量下降修正处理部分115输入的影像信号进行提高灵敏度UP的处理和提高颜色再现性的处理等使影像信号的图像变得更为清晰的处理,并将其输出到照相机影像信号输出部分118中。
(周边光量下降修正处理部分)
接着,对周边光量下降修正处理部分115进行详细的说明。周边光量下降修正处理部分115具有距离计算部分106、周边光量下降修正部分107、周边光量下降修正强度计算部分108、图像存储器111、噪声降低处理部分114。
(周边光量下降修正处理部分的处理流程)
周边光量下降修正处理部分115首先通过距离计算部分106计算各个像素与透镜中心之间的距离,接着通过周边光量下降修正强度计算部分108,根据该计算出的距离来计算对各个像素的修正强度。并且,周边光量下降修正部分107根据该计算出的修正强度,对各个像素进行周边光量下降修正。然后,在噪声降低处理部分114中,根据由距离计算部分106计算出的像素与透镜中心之间的距离而进行空间方向的噪声去除,并且针对空间方向的噪声去除后的影像信号,参照存储在图像存储器111中的过去的影像信号来进行时间方向的噪声去除修正。并且,噪声降低处理部分114将去除噪声后的影像信号输出到图像处理部分116中。
距离计算部分106将成为透镜101的中心的CCD传感器104的中心作为原点(0,0),计算与CCD传感器104上的任意像素的坐标(x1,y1)之间的距离d1。例如,如图2所示,该距离计算部分106将成为透镜101的中心的CCD传感器104的中心作为原点(0,0),根据下式(1)来计算与CCD传感器104上的任意像素的坐标(x1,y1)之间的距离d1。
…式(1)
周边光量下降修正部分107针对影像信号电平的下降,附加数字增益作为光量下降修正增益,从而进行修正。所附加的数字增益的值使用在周边光量下降修正强度计算部分108中计算出的值。周边光量下降修正强度计算部分108和周边光量下降修正部分107的功能例如采用专利文献1所公开的技术来实现。
在此,参照图3对因透镜周边的聚光能力的下降引起的影像信号电平下降进行说明。在图3中示出了图1的透镜101、经由透镜101照射图像的CCD传感器104的平面、以及在线a处观察该平面时观察到的影像信号电平的变化。在图3的线a上的影像信号电平中,随着朝向透镜101的周边,透镜101的聚光能力下降。因此,透镜周边的影像信号电平低于透镜101的中心的影像信号电平。因此,周边光量下降修正部分107为了提高透镜周边的影像信号电平,向透镜周边部分附加更大的数字增益。
图1的周边光量下降修正强度计算部分108根据由距离计算部分106计算出的距离d1,计算通过周边光量下降修正部分107附加在影像信号上的数字增益。数字增益的计算方法将在后面说明。
图像储存部分111存储比当前的影像信号早的过去的影像信号。在噪声降低处理部分114的时间方向噪声去除修正部分112进行时间方向噪声的修正时,使用该图像储存部分111上的影像信号。
噪声降低处理部分114对从周边光量下降修正部分107输入的影像信号进行噪声降低处理。噪声降低处理的详细情况将在后面说明。噪声降低处理部分114通过组合空间方向的噪声去除和时间方向的噪声去除,能够在尽可能防止分辨率下降的同时降低噪声。
(周边光量下降修正)
在此,说明周边光量下降修正强度计算部分108中的数字增益的计算。在将CCD传感器104上的任意像素的信号电平设定为e时,周边光量下降修正强度计算部分108根据下式(2),计算附加了数字增益X时的信号电平e’。
e’=e×10(数字增益X/20)(数字增益X[dB],X=A,B,C,…)…式(2)
周边光量下降修正强度计算部分108根据各个像素与透镜中心之间的距离d1,计算附加在各个像素上的数字增益X。图4表示与距离d1相对应的数字增益X的计算方法。在图4中,将透镜中心作为原点(0,0),将与原点之间的距离划分为5个阶段,即从距离较短的一侧起分别划分为距离A、距离B、距离C、距离D、距离E,并且针对以下(1)~(5)的5个阶段,使用这些距离分别计算数字增益X。
(1)如果原点≤距离d1<距离A,则设定为数字增益X=数字增益A。
(2)如果距离A≤距离d1<距离B,则设定为数字增益X=数字增益B。
(3)如果距离B≤距离d1<距离C,则设定为数字增益X=数字增益C。
(4)如果距离C≤距离d1<距离D,则设定为数字增益X=数字增益D。
(5)如果距离D≤距离d1<距离E,则设定为数字增益X=数字增益E。
此外,图1的周边光量下降修正处理部分115将周边光量下降修正强度计算部分108将(1)~(5)计算出的数字增益X附加到影像信号的任意像素的信号电平e上。
如图4所示,将数字增益X的大小设定为数字增益A≤数字增益B≤数字增益C≤数字增益D≤数字增益E,并且随着距离d1变大并朝向透镜周边,加大数字增益X。此外,由于图4的数字增益A位于透镜中心的附近,通常不会发生周边光量下降,所以将数字增益A设定为0。
周边光量下降修正部分107在将数字增益X附加在图4的线a处的影像信号电平时,随着朝向透镜周边,将修正电平从数字增益A增大到数字增益E,由此能够使周边光量的下降变得不太明显。
如上所述,图1的周边光量下降修正部分107对因透镜周边光量下降引起的影像信号在透镜周边处的电平下降进行修正。在此,由于周边光量下降修正部分107附加数字增益X,所以随着朝向透镜周边,噪声分量也会增大。因此,图像处理LSI117的噪声降低处理部分114在考虑了分辨率下降的基础上,对S/N比进行改进。
(噪声降低处理部分)
以下对该噪声降低处理部分114进行详细说明。噪声降低处理部分114具有空间方向噪声去除修正部分109、空间方向噪声去除修正强度计算部分110、时间方向噪声去除修正部分112、时间方向噪声去除修正强度计算部分113等。另外,空间方向噪声去除修正部分109和空间方向噪声去除修正强度计算部分110相当于使用空间滤波器的噪声去除部分,时间方向噪声去除修正部分112和时间方向噪声去除修正强度计算部分113相当于使用时间滤波器的噪声去除部分。
(噪声降低处理部分的处理流程)
噪声降低处理部分114首先在空间方向噪声去除修正强度计算部分110中根据由距离计算部分106计算出的各像素与透镜中心之间的距离,计算各像素在空间方向上的噪声去除修正强度。并且,在空间方向噪声去除修正部分109中,根据计算出的噪声去除修正强度对各像素进行空间噪声去除。之后,将去除空间噪声后的影像信号输出到时间方向噪声去除修正部分112中。时间方向噪声去除修正强度计算部分113根据由距离计算部分106计算出的各像素与透镜中心之间的距离,计算各像素在时间方向上的噪声去除修正强度。并且,在时间方向噪声去除修正部分112中,从图像存储器111读取影像信号中的过去的图像,并参照该过去的图像,对影像信号的当前图像的各像素进行时间方向的噪声去除修正。此外,时间方向噪声去除修正部分112将时间方向噪声去除修正后的影像信号输出到图像处理部分116中。
(空间方向噪声去除修正)
首先,说明空间方向噪声去除修正。空间方向噪声去除修正部分109针对从周边光量下降修正部分107输出的影像信号,进行与距离d1相应的空间噪声去除,由此改善S/N比。以下,对空间方向噪声去除进行详细说明。
图5表示空间方向噪声去除修正部分109中的空间方向噪声去除修正步骤。在图5中,将当前正在处理的任意像素的信号电平设定为e,将以该像素为中心像素时的周边像素的信号电平设定为a、b、c、d、f、g、h、i。
空间方向噪声去除修正部分109通过图5的S501开始处理。首先,针对透镜中心像素(中心像素)的信号电平e,空间方向噪声去除修正部分109相加中心像素与透镜周边像素(周边像素)的信号电平(SUM(a,b,c,d,e,f,g,h,i)),然后进行除法运算(/9)。由此,空间方向噪声去除修正部分109计算出透镜中心的9个像素的信号电平的平均值AVERAGE1(S502)。
在S503中,空间方向噪声去除修正部分109计算中心像素的信号电平e与在S502中计算出的平均值AVERAGE1之间的差分DIFF1。
在S504中,空间方向噪声去除修正部分109判断在S503中计算出的差分DIFF1是否大于阈值TH1,在差分DIFF1大于闽值TH1的情况下(S504中为“是”),将中心像素的信号电平e判断为噪声,在S505中将中心像素的信号电平e置换为在S502中计算出的平均值AVERAGE1,并结束处理(S506)。另一方面,在差分DIFF1小于阈值TH1时(S504中为“否”),空间方向噪声去除修正部分109不进行S505的处理,而是直接结束处理(S506)。空间方向噪声去除修正部分109针对影像信号的图像的各个像素执行上述处理。
由此,空间方向噪声去除修正部分109对影像信号的噪声进行平滑化。此时,在S504中所参照的阈值TH1是空间方向噪声去除修正强度计算部分110使用由距离计算部分106计算出的距离d1而计算出的值。
图6表示计算与距离d1相对应的阈值TH1的方法。与图4一样,将透镜中心作为原点(0,0),将与原点之间的距离划分为5个阶段,即分别划分为距离A、距离B、距离C、距离D、距离E,并且如以下的(1)~(5)所述的那样,设定用于判断是否使用这些距离对各像素进行空间方向噪声修正的阈值TH1。
(1)如果原点≤距离d1<距离A,则设定为阈值TH1=th1_A。
(2)如果距离A≤距离d1<距离B,则设定为阈值TH1=th1_B。
(3)如果距离B≤距离d1<距离C,则设定为阈值TH1=th1_C。
(4)如果距离C≤距离d1<距离D,则设定为阈值TH1=th1_D。
(5)如果距离D≤距离d1<距离E,则设定为阈值TH1=th1_E。
在此,将阈值TH1的大小设定为th1_B≤th1_C≤th1_D≤th1_E≤th1_A,随着距离d1变大且朝向透镜周边,加大阈值TH1的值。也就是说,随着朝向透镜周边,降低空间噪声去除修正的效果。此外,由于原点≤距离d1<距离A位于透镜的中心附近,所以周边光量下降修正处理部分115在周边光量下降修正中不会对其附加数字增益。因此,空间方向噪声去除修正强度计算部分110将th1_A作为最大值。也就是说,空间方向噪声去除修正强度计算部分110认为透镜中心部分实际上不需要进行空间噪声去除修正,所以关闭空间噪声去除修正功能。
在现有技术中,通常的做法是随着朝向透镜周边加强空间噪声去除修正,而在本实施方式的图像处理LSI117中,随着朝向透镜周边,减弱了空间噪声去除修正。由此,能够在透镜周边降低空间噪声去除修正的弊端、即分辨率的下降。
(时间方向噪声去除修正)
接着,对时间方向噪声去除修正进行说明。时间方向噪声去除修正部分112针对从空间方向噪声去除修正部分109输出的影像信号,进行与距离d1相对应的时间方向噪声去除修正,由此改善S/N比。
图7表示时间方向噪声去除修正部分112中的时间方向噪声去除修正的顺序。在图像存储器111(参照图1)中存储比当前的图像(image)1早的过去的图像(imgae)2、图像3、…。在图7中,以图像存储器111存储2张比当前图像1早的过去图像2、图像3的情况为例进行说明,但也可以是存储任意张的图像。
在图7中,将图1的时间方向噪声去除修正部分112当前正在处理的图像1中的任意像素的信号电平设定为1-e,将与过去的2张图像2、图像3中的与图像1相同的任意像素的信号电平分别设定为2-e、3-e。
时间方向噪声去除修正部分112在图7的S701开始处理。首先,时间方向噪声去除修正部分112在S702中,将当前图像1中的任意像素的信号电平1-e和过去图像2、图像3中的任意像素的信号电平2-e、3-e相加(SUM(1-e,2-e,3-e))后,进行除法运算(/3),由此计算出时间轴方向的任意像素的信号电平e的平均值AVERAGE2。
在S703中,时间方向噪声去除修正部分112计算当前图像1的任意像素的信号电平1-e与在S702中计算出的平均值AVERAGE2之间的差分DIFF2。
在S704中,时间方向噪声去除修正部分112判断在S703中计算出的差分DIFF2是否大于阈值TH2,在差分DIFF2大于阈值TH2时(S704中为“是”),将当前图像1中的任意像素的信号电平1-e判断为噪声,在S705中将当前图像1中的任意像素的信号电平1-e置换为在S702中计算出的平均值AVERAGE2,由此对噪声进行平滑化,结束处理(S706)。另一方面,当差分DIFF2在阈值TH2以下时(S704中为“否”),时间方向噪声去除修E部分112不进行S705的处理,而是直接结束处理(S706)。时间方向噪声去除修正部分112针对影像信号的图像的各个像素执行上述处理。
由此,时间方向噪声去除修正部分112对影像信号的噪声进行平滑化。此时,在S704中所参照的阈值TH2是使用在距离计算部分106中计算出的距离d1由时间方向噪声去除修正强度计算部分113计算出的。
图8表示计算与距离d1相对应的阈值TH2的方法。与图4一样,将透镜中心作为原点(0,0),将与原点之间的距离划分为5个阶段,即分别划分为距离A、距离B、距离C、距离D、距离E。并且,如以下的(1)~(5)所述的那样,设定用于判断是否使用这些距离对各像素进行时间方向噪声去除修正的阈值TH2。
(1)如果原点≤距离d1<距离A,则设定为阈值TH2=th2_A。
(2)如果距离A≤距离d1<距离B,则设定为阈值TH2=th2_B。
(3)如果距离B≤距离d1<距离C,则设定为阈值TH2=th2_C。
(4)如果距离C≤距离d1<距离D,则设定为阈值TH2=th2_D。
(5)如果距离D≤距离d1<距离E,则设定为阈值TH2=th2_E。
在此,将阈值TH2的大小设定为th2_E≤th2_D≤th2_C≤th2_B≤th2_A,随着距离d1变大且朝向透镜周边,减小阈值TH2的值。也就是说,随着朝向透镜周边,提高时间方向噪声去除修正的效果。此外,与上述空间方向噪声去除修正时一样,由于原点≤距离d1<距离A位于透镜的中心附近,周边光量下降修正处理部分115在周边光量下降修正中不对其附加数字增益。因此,时间方向噪声去除修正强度计算部分113将th2_A作为最大值。也就是说,时间方向噪声去除修正强度计算部分113判断为透镜中心部分实际上不需要进行时间方向噪声去除修正,所以关闭时间方向噪声去除修正功能。
时间方向噪声去除修正与空间方向噪声去除修正相比,能够在不降低分辨率的情况下改善S/N比,所以适用于改善透镜周边附近的S/N比。此外,本实施方式的时间方向噪声去除修正部分112设置成:随着朝向透镜周边,提高时间方向噪声去除修正的效果,而随着朝向透镜中心部分,减弱时间方向噪声去除修正的效果。并且,时间方向噪声去除修正部分112在透镜的中心部分(例如图8的距离A的区域)实际上不进行时间方向噪声去除修正。由此,还能够将进行了时间方向噪声去除修正时可能在画面上残留的残像限定在透镜的周边附近。此外,从人的视觉特性来说,与画面中心的残像相比,画面周边的残像不易引起人的注意,因此,根据本实施方式的时间方向噪声去除修正部分112,能够进一步减轻画面上的残像。
如上所述,本实施方式的系统能够在最大限度上抑制修正周边光量下降后执行了噪声降低处理时成为问题的透镜周边部分的分辨率下将,同时能够降低噪声。
此外,在上述实施方式中,距离计算部分106在式(1)中使用了距离d1,但由于只要知道各像素的距离的相对值即可,所以也可以使用d12。
此外,周边光量下降修正部分107附加的修正增益只要是能够附加在影像信号上的增益即可,也可以是数字增益以外的增益。
并且,在上述实施方式中,与透镜中心之间的距离的划分方法是将距离划分成了距离A~距离E这5个阶段,但也可以划分成任意个阶段,并且也可以与此相应地对由周边光量下降修正部分107附加的数字增益X进行更精细的设定。此时,在空间噪声去除修正中使用的阈值TH1以及在时间噪声去除修正中使用的阈值TH2也可以根据距离的范围进行精细的设定。
另外,在图1中,作为摄像元件使用了CCD传感器104,但例如也可以使用CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等CCD传感器以外的摄像元件。
本实施方式所涉及图像处理LSI117的功能可以由进行上述处理的硬件来实现,也可以通过由CPU(Central Processing Unit,中央处理装置)执行的程序处理来实现。