CN102547072A - 信号处理装置、信号处理方法和信号处理程序 - Google Patents

信号处理装置、信号处理方法和信号处理程序 Download PDF

Info

Publication number
CN102547072A
CN102547072A CN2011104284371A CN201110428437A CN102547072A CN 102547072 A CN102547072 A CN 102547072A CN 2011104284371 A CN2011104284371 A CN 2011104284371A CN 201110428437 A CN201110428437 A CN 201110428437A CN 102547072 A CN102547072 A CN 102547072A
Authority
CN
China
Prior art keywords
signal
convolution
signal processing
pass filter
low pass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104284371A
Other languages
English (en)
Inventor
茂木幸彦
玉山研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102547072A publication Critical patent/CN102547072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种信号处理装置、信号处理方法和信号处理程序。该信号处理装置包括:第一低通滤波器,第一低通滤波器用于对数据信号滤波;以及卷积部分,对所述第一低通滤波器获得的所述数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器用于补偿由于用第二低通滤波器对冲激响应进行滤波而获得的所述冲激响应的低频分量导致的信号劣化。

Description

信号处理装置、信号处理方法和信号处理程序
技术领域
本公开涉及信号处理装置、信号处理方法和信号处理程序。
背景技术
近来,利用诸如CCD或CMOS之类的成像设备的成像装置已广为普及,这种装置通过一组成像透镜拍摄在成像设备的光接收表面上形成的物体的光学图像。通过这种成像装置获得的图像的分辨率对应于光接收表面上的光接收像素的数量和成像透镜的分辨率。
因此,增加光接收像素的数量并提高成像透镜的分辨率能有效地提高通过成像装置获得的图像的分辨率。例如,可以通过增加光接收表面上设置的光接收像素的密度和提高成像透镜组的分辨率,使得通过成像透镜组投影在光接收表面上的点像在一个光接收像素的范围内,从而提高通过这种成像装置获得的图像的分辨率。
由于近年来技术的进步,使得增加形成成像设备的光接收像素的密度变得相对容易。一种提高成像透镜组的分辨率的有效方式是减少将形成成像透镜组的透镜成型和组装时出现的误差。然而,非常困难的是提高这种透镜的制造精度,即加工、组装和调整的精度。
作为另外一种提高分辨率的方法,JP-A-2009-141742(专利文献1)公开了提高通过成像装置获得的图像的分辨率的方法,所述方法包括根据PSF(点散布函数)对图像执行信号处理的步骤。
JP-A-2007-72558(专利文献2)公开了包括以下步骤的图像处理方法:使用分带滤波器(band division filter)将输入图像的频率分量分成多个波带并且仅对输入信号的低频分量与点像分布函数的反函数求卷积,从而使卷积的计算量加倍。
发明内容
专利文献2中公开的图像处理方法的问题在于,因为分带滤波器的影响,所以不能以足够高的分辨率重构图像。
在这种情况下,需要提供一种新的改进的信号处理装置、信号处理方法和信号处理程序,其使得将以高精度补偿数据信号与诸如点像分布函数之类的冲激响应的卷积。
本公开的实施例涉及包括第一低通滤波器和卷积部分的信号处理装置,所述第一低通滤波器用于对数据信号滤波,所述卷积部分对所述第一低通滤波器获得的所述数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器用于补偿由于用第二低通滤波器对冲激响应进行滤波而获得的所述冲激响应的低频分量导致的信号劣化。
第一低通滤波器和第二低通滤波器可以具有相同的特性。
信号处理装置还可以包括加法部分,所述加法部分用于将所述卷积部分执行的卷积的结果与所述数据信号相加。
所述数据信号可以是图像信号。所述图像处理设备还可以包括调整部分,所述调整部分用于根据某个区域的边缘信息来调整所述卷积部分执行的与所述区域相关的卷积的结果。所述加法部分可以将所述调整部分执行的调整的结果与所述数据信号相加。
所述调整部分可以根据所述边缘信息来调整与所述区域相关的卷积的结果,使得所述区域的边缘分量越弱,所获得的增益越高。
所述调整部分可以根据所述数据信号中的所述区域的边缘信息或者所述卷积的结果中的所述区域的边缘信息来调整与所述区域相关的卷积的结果。
本公开的另一个实施例涉及一种信号处理方法,所述方法包括:使用第一低通滤波器对数据信号滤波;使用第二低通滤波器对冲激响应滤波;设计补偿滤波器,所述补偿滤波器补偿由于使用所述第二低通滤波器获得的所述冲激响应的低频分量导致的信号劣化;以及对所述第一低通滤波器获得的所述数据信号的低频分量与所述补偿滤波器求卷积。
本公开的又一个实施例涉及用于致使计算机用作信号处理装置的程序,所述信号处理装置包括:第一低通滤波器,用于对数字信号滤波;以及卷积部分,所述卷积部分对所述第一低通滤波器获得的所述数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器用于补偿由于用第二低通滤波器对冲激响应进行滤波而获得的所述冲激响应的低频分量导致的信号劣化。
如上所述,根据本公开的实施例,可以用高精度补偿数据信号与诸如点像分布函数之类的冲激响应的卷积。
附图说明
图1是示出根据本公开的实施例的图像处理装置的构造的示意图;
图2是拜尔排列型CMOS成像设备的光接收表面上的像素布置的示图;
图3是具有拜尔排列的图像的频带的说明图;
图4是示出作为比较例的信号处理部分的构造的功能框图;
图5是示出作为比较例的信号处理部分的操作的流程图;
图6是示出作为比较例的通过信号处理部分设计的图像的二维频率响应的Y轴断面的曲线图;
图7是示出作为比较例的通过信号处理部分重构的图像的二维频率响应的Y轴断面的曲线图;
图8是示出输入图像的二维频率响应的Y轴断面的曲线图;
图9是示出作为比较例的根据图像处理方法获得的图8中示出的输入图像的重构结果的二维频率响应的Y轴断面的曲线图;
图10是示出根据本公开的第一实施例的信号处理部分的构造的功能框图;
图11是示出第一实施例中设计的逆滤波器的二维频率响应的Y轴断面的曲线图;
图12是示出本公开的第一实施例的操作的流程图;
图13是示出根据本公开的第二实施例的信号处理部分的构造的示意图;
图14是示出用于计算边缘信息的像素位置的示图;
图15是示出边缘信息和增益之间的关系的曲线图;
图16是示出本公开的第二实施例的操作的流程图;以及
图17是示出根据本公开的第二实施例重构的图像的二维频率响应的Y轴断面的曲线图。
具体实施方式
现在,将参照附图详细描述本公开的实施例。在下面的描述和附图中,将使用相同的附图标记指示功能和构造基本一致的元件。为了避免重复描述,可以省略这类元件的细节。
在下面的描述和附图中,对于多个功能和构造基本一致的元件,可以通过在对于所有元件都相同的附图标记后跟着的不同字母对彼此进行区分。当不需要彼此区分功能和构造基本一致的多个元件时,仅使用相同的附图标记表示元件。
将按照下面的顺序描述本公开的实施例。
1.图像处理装置的基本构造
2.由比较例执行的图像处理
3.第一实施例
3-1.第一实施例的信号处理部分的构造
3-2.第一实施例的操作
4.第二实施例
4-1.第二实施例的信号处理部分的构造
4-2.第二实施例的操作
5.对描述的总结
<1.图像处理装置的基本构造>
可以采用各种模式实现本公开,比如,通过举例的方式在″3.第一实施例″和″4.第二实施例″中详细描述的模式。根据这些实施例中的每个的图像处理装置(信号处理装置)包括:
A.第一低通滤波器220A,其用于对数据信号进行滤波;以及
B.卷积部分240,其用于对第一低通滤波器获得的数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器补偿由于用第二低通滤波器220B对冲激响应进行滤波而获得的冲激响应的低频分量导致的信号劣化。
现在,将参照图1至图3描述本公开的实施例共用的如此描述的基本构造。
图1是示出根据本公开的实施例的图像处理装置1的构造的示意图。如图1中所示,根据本公开的实施例的图像处理装置1包括成像光学系统10、光圈2、CMOS成像设备14、S/H AGC部分16、AD转换部分18、AE检测块24、微计算机26和光圈驱动器28。根据本公开的实施例的图像处理装置1可以被用作各种类型的装置,比如成像装置、移动装置、车载装置和医疗装置。
成像光学系统10包括多个透镜,并且所述系统通过光圈12在CMOS成像设备14的光接收表面上形成物体的光学图像。
CMOS(互补金属氧化物半导体)成像设备14将光接收表面上形成的光学图像转化为电信号。CMOS成像设备14仅是实施例中可用的成像设备的示例。例如,替代地,图像处理装置1可以包括CCD(电荷耦合器件)成像设备来替代CMOS成像设备14。
S/H AGC部分16对来自CMOS成像设备14的输出执行采样并保存(S/H)操作并对其实施AGC(自动增益控制)。AD转换部分18将来自S/H AGC部分16的输出转换成数字格式。将从AD转换部分18输出的数字信号提供到信号处理部分20和AE检测块24。
信号处理部分20对来自AD转换部分18的数字输出执行各种类型的信号处理并通过输出端子22将经过处理的信号输出到其下游设置的电路。例如,信号处理部分20执行信号处理,以提高作为数字输出向其输入的输入图像的分辨率,如后面本公开的实施例将详细描述的。
AE(自动曝光)检测块24检测从AD转换部分18输入的数字信号。微计算机26根据AE检测块24提供的检测值向光圈驱动器28提供用于控制打开光圈12的控制信号。光圈驱动器28根据微计算机26提供的控制信号驱动光圈12。
(拜尔排列)
CMOS成像设备14具有按拜尔排列布置的像素。下面将参照图2描述拜尔排列。
图2是拜耳排列型CMOS成像设备14的光接收表面上的像素布置的示图。如图2中所示,将检测B(蓝色)分量的像素和检测G(绿色)分量的像素交替布置在沿拜尔排列的水平方向延伸的第一线(顶部的线)上,并且将检测G分量的像素和检测R(红色)分量的像素交替布置在第二线上。在排列的垂直方向(用“V”表示)上设置了多条具有类似像素布置的线。在每个像素执行光电转换,以使得从CMOS成像设备14输出彩色图像。
图3是具有拜尔排列的图像的频带的说明图。如图3中所示,根据采样,具有拜尔排列的图像中的G分量的带宽是R和B分量的带宽的两倍。
<2.在比较例中的图像重构过程>
已经描述了根据本公开的实施例的图像处理装置的基本构造。现在,将参照图4至图9描述比较例中执行的图像重构过程。
图4是示出作为比较例的信号处理部分80的构造的功能框图。作为比较例的信号处理部分80包括PSF表82、逆滤波器设计部分84、卷积部分86和加法部分88。
与每个R、G和B分量及每个像素关联定义的点像分布函数P(z)被保存在PSF表82中。点像分布函数不均匀地分布在屏幕上,并且彼此相邻的像素的点像分布函数之间的差别不一定大。因此,在具有一定范围的块内的点像分布函数可能一律是接近的。例如,使用专利文献1中公开的方法获得点像分布函数。替代地,所使用的点像分布函数可以是光学设计值。
逆滤波器设计部分84设计与每个R、G和B分量及每个像素相关的点像分布函数P(z)的逆滤波器K(z)。例如,逆滤波器设计部分84使用专利文献1中公开的方法或者使用使基于维纳滤波器(Wiener filter)的输入信号的均方差最小的方法来设计逆滤波器K(z)。
具体地讲,逆滤波器设计部分84可以通过根据下面所示的表达式1计算逆滤波器的频率响应K(w)并执行逆滤波器的频率响应K(w)的傅里叶逆变换来设计逆滤波器K(z)。在表达式1中,P(w)表示PSF的频率响应,并且N(w)表示噪声分量的频率响应。
K(w)=J(w)-1
J ( w ) = P * ( w ) P ( w ) P * ( w ) + N ( w ) 表达式1
卷积部分86分别对拜尔排列中的输入图像X(z)的R、G和B分量与由逆滤波器设计部分84计算的用于R分量的逆滤波器Kr(z)、用于G分量的逆滤波器Kg(z)和用于B分量的逆滤波器Kb(z)求卷积。下面的表达式2中示出了由卷积部分86执行的这种计算。在表达式2中,Xr(z)、Xg(z)和Xb(z)分别表示输入图像中的R、G和B分量。
Yr(z)=Kr(z)Xr(z)
Yg(z)=Kg(z)Zg(z)
Yb(z)=Kb(z)Zb(z)    表达式2
加法部分88将卷积部分86获得的卷积结果Y(z)加到输入图像的R、G和B分量中的每个分量,如表达式3所示。在表达式3中,Or(z)、Og(z)和Ob(z)分别表示在所得的输出图像中的R、G和B分量。
Or(z)=Xr(z)+Yr(z)
Og(z)=Xg(z)+Yg(z)
Ob(z)=Xb(z)+Yb(z)    表达式3
上面已描述了作为比较例的信号处理部分80的构造。下面将参照图5描述信号处理部分80的操作。
(步骤S94)
如图5中所示,逆滤波器设计部分84设计与每个R、G和B分量及每个像素相关的点像分布函数P(z)的逆滤波器K(z),例如,如表达式1中所示。
(步骤S96)
此后,卷积部分86分别对拜尔排列中的输入图像X(z)的R、G和B分量与通过逆滤波器设计部分84计算的用于R分量的逆滤波器Kr(z)、用于G分量的逆滤波器Kg(z)和用于B分量的逆滤波器Kb(z)求卷积(S96)。
(步骤S98)
加法部分88将由卷积部分86获得的卷积结果Y(z)加到输入图像的R、G和B分量中的每个(例如,如表达式3中所示),并输出输出图像O(z)。
图6是示出作为比较例由信号处理部分80设计的逆滤波器的二维频率响应的Y轴断面(profile)的曲线图。图7是示出作为比较例由信号处理部分80重构的图像的二维频率响应的Y轴断面的曲线图。在图6和图7中,分别用实线、虚线和细线表示R、G和B分量。
(实施例的背景)
如图6中所示,假设尼奎斯特频率(Nyquist frequency)为1,比较例的G和B分量的逆滤波器甚至将0.5或更高的频率提升10dB或更高。然而,大多数已通过成像透镜的高频分量是噪声,而不是图像分量。因此,比较例的重构方法的问题在于,其不仅放大了图像的分辨率,而且放大了噪声分量。
当将比较例的重构方法用于图2中示出的拜尔排列图像时,因为G分量的带宽是R和G分量的带宽的两倍,所以在所得的图像中会出现不想要的颜色。如图7中所示,当G和B分量被重构至高波带时,R分量在频率约为0.4时陡降。因此,所得的重构图像具有红色的颜色。
存在一种图像处理方法,其包括使用分带滤波器将输入图像的频率分量分成数个波带,并且仅对输入信号的低频分量与点像分布函数的反函数求卷积。现在,将参照图8和图9描述这种图像处理方法。
图8是某输入图像的二维频率响应的Y轴断面的曲线图。图9是示出作为比较例根据图像处理方法获得的图8中示出的输入图像的重构结果的二维频率响应的Y轴断面的曲线图。如图9中所示,根据此图像处理方法的断面与图7中示出的二维频率响应的不同之处在于:所有的颜色分量在频率约为0.3时开始下降,并且因此可以消除颜色方面的问题。然而,因为低频分量没有被充分升高,所以这种方法的问题在于重构效果不足。
本公开的实施例已想到要考虑上述情形,并且本公开的实施例使得通过成像光学系统10获得的图像的质量在颜色和分辨率方面获得改善。现在,将详细描述本公开的这类实施例。
<3.第一实施例>
[3-1.第一实施例的信号处理部分的构造]
图10是示出根据本公开的第一实施例的信号处理部分20-1的构造的功能框图。如图10中所示,根据第一实施例的信号处理部分20-1包括PSF表210、低通滤波器220A和220B、逆滤波器设计部分230和卷积部分240。
与每个R、G和B分量及每个像素关联定义的点像分布函数P(z)被保存在PSF表210中。点像分布函数在屏幕上分布不均匀,并且彼此相邻的像素的点像分布函数之间的区别不一定大。因此,具有一定范围的块内的点像分布函数可能一律是接近的。例如,使用专利文献1中公开的方法获得点像分布函数。替代地,所使用的点像分布函数可以是光学设计值。
低通滤波器220A通过对每种颜色的点像分布函数P(z)滤波来计算每种颜色的点像分布函数P(z)的低频分量Pa(z),如表达式4中所示。在表达式4中,Lar(z)、Lag(z)和Lab(z)分别表示用于R分量的低通滤波器220A、用于G组份的低通滤波器220A和用于B分量的低通滤波器220A。
Par(z)=Lar(z)Pr(z)
Pag(z)=Lag(z)Pg(z)
Pab(z)=Lab(z)Pb(z)    表达式4
逆滤波器设计部分230设计逆滤波器Ka(z),逆滤波器Ka(z)的特性与通过与每个R、G和B分量及每个像素关联的低通滤波器220A获得的点像分布函数Pa(z)的特性相反。例如,逆滤波器设计部分230使用专利文献1中公开的方法或使用基于威纳(wiener)滤波器使输入信号的均方差最小的方法来设计逆滤波器Ka(z)。
具体地讲,通过根据下面示出的表达式5计算逆滤波器的频率响应Ka(w)并对逆滤波器的频率响应Ka(w)执行傅里叶逆变换,逆滤波器设计部分230可以设计出逆滤波器Ka(z)。在表达式5中,Pa(w)表示PSF的频率响应,并且N(w)表示噪声分量的频率响应。尽管在表达式5中省略了,但逆滤波器设计部分230计算与每个R、G和B分量及每个像素相关的逆滤波器Kr(z)、Kg(z)和Kb(z)。逆滤波器不需要严格地与PSF Pa(z)的特性相反,但可以是用于补偿由于PSFPa(z)导致的至少一部分信号劣化的补偿滤波器。
K a ( w ) = P a * ( w ) P ( w ) P a * ( w ) + N ( w ) 表达式5
低通滤波器220B分别对如图6中所示的拜尔排列中的输入图像X(z)的R、G和B分量滤波,以计算出经滤波的输入图像Xar(z)、Xag(z)和Xab(z)。低通滤波器220B的频率特性可以与低通滤波器220A的频率特性相同。
Xar(z)=Lar(z)Xr(z)
Xag(z)=Lag(z)Xg(z)
Xab(z)=Lab(z)Xb(z)    表达式6
卷积部分240分别对通过在低通滤波器220B滤波获得的输入图像Xar(z)、Xag(z)和Xab(z)与用逆滤波器设计部分230设计的逆滤波器Kar(z)、Kag(z)和Kab(z)求卷积。由卷积部分240执行的这种计算如下面表达式7所示。
Yar(z)=Kar(z)Xar(z)
Yag(z)=Kag(z)Zag(z)
Yab(z)=Kab(z)Zab(z)    表达式7
现在,将参照图11描述本公开的第一实施例的优点。
图11是示出第一实施例中设计的逆滤波器的二维频率响应的Y轴断面的曲线图。如图11中所示,当与图6中示出的比较例的逆滤波器比较时,在第一实施例中设计的逆滤波的使用导致所获得的R、G和B分量的特性之间的差异更小。因而消除了颜色方面的问题。在第一实施例中设计的逆滤波器与图6中示出的比较例的逆滤波器的相似之处在于:滤波器当重构低频分量时将低频分量升高10dB或更多。因为是由低通滤波器220执行滤波,所以在第一实施例中设计的逆滤波器对高频分量的频率响应弱。因此,可以使噪声分量的放大量保持为小的。
<3-2.第一实施例的操作>
上面已描述了根据本公开的第一实施例的信号处理部分20-1的构造。现在,将参照图12描述本公开的第一实施例的操作。
图12是示出本公开的第一实施例的操作的流程图。如图12中所示,低通滤波器220A如表达式4所示地对每种颜色的点像分布函数P(z)滤波,以针对每种颜色计算点像分布函数Pa(z)(步骤S310)。
接着,逆滤波器设计部分230设计逆滤波器Ka(z),逆滤波器Ka(z)的特性与通过在与每个R、G和B分量及每个像素关联的低通滤波器220A滤波获得的点像分布函数Pa(z)的特性相反(步骤S320)。
低通滤波器220B如表达式6中所示地分别对拜尔排列中的输入图像X(z)的R、G和B分量滤波,以计算经滤波的输入图像Xar(z)、Xag(z)和Xab(z)(步骤S330)。
此后,卷积部分240分别对低通滤波器220B通过滤波获得的输入图像Xar(z)、Xag(z)和Xab(z)与使用逆滤波器设计部分230设计的逆滤波器Kar(z)、Kag(z)和Kab(z)求卷积(步骤S340)。结果,获得输出图像Ya(z)。
<4.第二实施例>
上面已描述了本公开的第一实施例。现在,将参照图13至图17描述本公开的第二实施例。
[4-1.第二实施例的信号处理部分的构造]
图13是示出根据本公开的第二实施例的信号处理部分20-2的构造的示意图。如图13中所示,根据第二实施例的信号处理部分20-2包括PSF表210、低通滤波器220A和220B、逆滤波器设计部分230′、卷积部分240和调整部分250以及加法部分260。因为上面对第一实施例的描述中已详细介绍了PSF表210以及低通滤波器220A和220B,所以将不再对其详细描述。
逆滤波器设计部分230′设计逆滤波器Ka(z),逆滤波器Ka(z)的特性与通过与每个R、G和B分量及每个像素关联的低通滤波器220A执行滤波获得的点像分布函数Pa(z)的特性相反。
具体地讲,逆滤波器设计部分230′可以通过根据下面所示的表达式8计算逆滤波器的频率响应Ka(w)并执行逆滤波器的频率响应Ka(w)的傅里叶逆变换来设计逆滤波Ka(z)。在表达式8中,Pa(w)表示滤波之后获得的点像分布函数的频率响应。P a(w)表示频率响应Pa(w)的复共轭。N(w)表示噪声分量的频率响应。尽管在表达式8中省略了,但逆滤波器设计部分230′计算与每个R、G和B分量及每个像素相关的逆滤波器Kr(z)、Kg(z)和Kb(z)。
Ka(w)=Ja(w)-1
J a ( w ) = P a * ( w ) P a ( w ) P a * ( w ) + N ( w ) 表达式8
卷积部分240分别对通过在低通滤波器220B滤波获得的输入图像Xar(z)、Xag(z)和Xab(z)与用逆滤波器设计部分230′设计的逆滤波器Kar(z)、Kag(z)和Kab(z)求卷积。由卷积部分240执行的这种计算如下面表达式9所示。
Yar(z)=Kar(z)Xar(z)
Yag(z)=Kag(z)Xag(z)
Yab(z)=Kab(z)Xab(z)    表达式9
调整部分250根据所关注的某个像素附近的边缘信息来调整由卷积部分240执行的所关注的像素的卷积的结果Ya(z)。具体地讲,调整部分250首先如表达式中10所示地计算所关注的像素附近的边缘信息Diff。表达式10中的像素A、B、C和D相对于所关注的像素P位于如图14所示的位置。调整部分250可以计算输入图像中所关注的像素附近的边缘信息Diff。替代地,可根据卷积部分240所执行的卷积的结果来计算所关注的像素附近的边缘信息Diff。
Diff=abs(A-B)+abs(C-D)    表达式10
调整部分250根据边缘信息Diff计算增益G。例如,调整部分250可以根据图15中示出的边缘信息Diff和增益G之间的关系来计算增益G。根据图15中示出的关系,当边缘信息Diff等于或小于阈值时,所计算出的增益G为1.00,当边缘信息Diff落在阈值以上的范围时,增益G逐步减小。
另外,调整部分250如表达式11中所示地根据计算出的增益G调整由卷积部分240执行的卷积的结果Ya(z)。
Zar(z)=Gr(z)Yar(z)
Zag(z)=Gg(z)Yag(z)
Zab(z)=Gb(z)Yab(z)    表达式11
边缘信息Diff的值越大,所关注的像素P附近的边缘分量越强。因此,所关注的像素P附近的边缘分量越强,与所关注的像素相关的增益G的值越小。因此,因为边缘区域被过分加亮,所以可以防止所得的输出图像变得不自然。
加法部分260如表达式12中所示地将调整部分250执行的调整的结果Za(z)加到输入图像X(z),以获得输出图像O(z)。
Or(z)=Xr(z)Zar(z)
Og(z)=Xg(z)Zag(z)
Ob(z)=Xb(z)Zab(z)    表达式12
[4-2第二实施例的操作]
上面已描述了根据本公开的第二实施例的信号处理部分20-2的构造。现在,将参照图16描述本公开的第二实施例的操作。
图16是示出本公开的第二实施例的操作的流程图。如图16中所示,低通滤波器220A如表达式4中所示地对每种颜色的点像分布函数P(z)滤波,以针对每种颜色计算点像分布函数Pa(z)(步骤S310)。
接着,逆滤波器设计部分230′设计逆滤波器Ka(z),逆滤波器Ka(z)的特性与通过在与每个R、G和B分量及每个像素关联的低通滤波器220A滤波获得的点像分布函数Pa(z)的特性相反(步骤S320)。
低通滤波器220B如表达式6中所示分别对拜尔排列中的输入图像X(z)的R、G和B分量滤波,以计算经滤波的输入图像Xar(z)、Xag(z)和Xab(z)(步骤S330)。
此后,卷积部分240分别对通过在低通滤波器220B滤波获得的输入图像Xar(z)、Xag(z)和Xab(z)与用逆滤波器设计部分230设计的逆滤波器Kar(z)、Kag(z)和Kab(z)求卷积(步骤S340)。
接着,调整部分250根据所关注的某个像素附近的边缘信息调整由卷积部分240执行的所关注的像素的卷积的结果Ya(z)(步骤S350)。加法部分260将由调整部分250执行的调整的结果Za(z)加到输入图像X(z),以获得输出图像O(z)。
现在,将参照图17描述本公开的第二实施例的优点。
图17是示出根据本公开的第二实施例重构的图像的二维频率响应曲线的Y轴断面的曲线图。如图17中所示,当与图9中示出的比较例的图像处理方法相比时,本公开的第二实施例的优点在于,可以充分地重构频率高达约0.4的低频分量。在本公开的第二实施例中,如图17所示,所有的颜色分量在频率约为0.4时降低,因此消除了颜色方面的问题。另外,因为高频分量减少了-10dB或更多,所以没有放大高频噪声分量。另外,通过由调整部分250根据边缘信息执行调整,缓和了以黑白形式表示的边缘区域中可能出现像素变黑的问题。
<5.描述的总结>
如上所述,本公开的实施例使得可以设计出具有抑制R、G和B分量之间出现差别这种特性的逆滤波器,并且因此可以消除输出图像出现不想要的颜色这一问题。根据本公开的实施例,当与比较例的图像处理方法相比时,可以充分重构频率高达约0.4的低频分量,同时避免了高频波带中的噪声分量被放大。
已参照附图详细描述了本公开的实施例,但本公开不限于这类实施例。显而易见地,本公开所属领域的普通技术人员将能够在本文公开的技术构思范围内想到各种变化形式和修改形式,并且应该理解,的这类变化形式和修改形式是显而易见地包含在本公开的技术构思范围内。
例如,尽管上面已描述了补偿与点像分布函数卷积的输入图像的图像处理装置,但是本公开不限于这些实例。点像分布函数只是作为冲激响应的实例提出来的。输入图像只是数据信号的实例。图像处理装置只是补偿与冲激响应卷积的数据信号的信号处理装置的实例。本公开通常应用于补偿与冲激响应卷积的数据信号的信号处理装置。
不一定必须按流程图中示出的步骤依次按时间序列的方式执行本公开中描述的信号处理部分20的处理步骤。例如,可以按与流程图中示出的步骤的顺序不同的顺序执行信号处理部分20的处理步骤。替代地,可以并行执行这些步骤。可以使用创建的计算机程序替换诸如CPU、ROM和RAM之类的并入图像处理装置1中的硬件,以提供与上述信号处理部分20的各种特征的功能等价的功能。可以这样的计算机程序可以设置成在其中存储了程序的存储介质的形式。
本发明包含2010年11月28日在日本专利局提交的日本优先权专利申请JP2010-29307中公开的主题相关的主题,该日本优先权专利申请的全部内容以引用的方式并入本文。
本领域的技术人员应该理解,可以根据设计需求和其它因素而出现各种修改、组合、子组合及变化,只要它们都在所附权利要求书及其等同物的范围内。

Claims (9)

1.一种信号处理装置,包括:
第一低通滤波器,对数据信号滤波;以及
卷积部分,对所述第一低通滤波器获得的所述数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器用于补偿由于用第二低通滤波器对冲激响应进行滤波而获得的所述冲激响应的低频分量导致的信号劣化。
2.根据权利要求1所述的信号处理装置,其中所述第一低通滤波器和所述第二低通滤波器具有相同的特性。
3.根据权利要求2所述的信号处理装置,还包括加法部分,所述加法部分用于将所述卷积部分执行的卷积的结果与所述数据信号相加。
4.根据权利要求3所述的信号处理装置,其中
所述数据信号是图像信号,
所述装置还包括调整部分,所述调整部分用于根据某个区域的边缘信息来调整所述卷积部分执行的与所述区域相关的卷积的结果,
所述加法部分将所述调整部分执行的调整的结果与所述数据信号相加。
5.根据权利要求4所述的信号处理装置,其中所述调整部分根据所述边缘信息来调整与所述区域相关的卷积的结果,使得所述区域的边缘分量越弱,所获得的增益越高。
6.根据权利要求5所述的信号处理装置,其中所述调整部分根据所述数据信号中的所述区域的边缘信息或者所述卷积的结果中的所述区域的边缘信息来调整与所述区域相关的卷积的结果。
7.根据权利要求6所述的信号处理装置,其中
所述数据信号是由成像光学系统成像的图像信号;以及
所述冲激响应是所述成像光学系统的点像分布函数。
8.一种信号处理方法,包括:
使用第一低通滤波器对数据信号滤波;
使用第二低通滤波器对冲激响应滤波;
设计补偿滤波器,所述补偿滤波器补偿由于使用所述第二低通滤波器获得的所述冲激响应的低频分量导致的信号劣化;以及
对所述第一低通滤波器获得的所述数据信号的低频分量与所述补偿滤波器求卷积。
9.一种致使计算机用作信号处理装置的程序,所述信号处理装置包括:
第一低通滤波器,用于对数字信号滤波;以及
卷积部分,所述卷积部分对所述第一低通滤波器获得的所述数据信号的低频分量与补偿滤波器求卷积,所述补偿滤波器用于补偿由于用第二低通滤波器对冲激响应进行滤波而获得的所述冲激响应的低频分量导致的信号劣化。
CN2011104284371A 2010-12-28 2011-12-20 信号处理装置、信号处理方法和信号处理程序 Pending CN102547072A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010293307A JP2012141725A (ja) 2010-12-28 2010-12-28 信号処理装置、信号処理方法、およびプログラム
JP2010-293307 2010-12-28

Publications (1)

Publication Number Publication Date
CN102547072A true CN102547072A (zh) 2012-07-04

Family

ID=46316900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104284371A Pending CN102547072A (zh) 2010-12-28 2011-12-20 信号处理装置、信号处理方法和信号处理程序

Country Status (3)

Country Link
US (1) US8588543B2 (zh)
JP (1) JP2012141725A (zh)
CN (1) CN102547072A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723445A (zh) * 2013-11-12 2016-06-29 富士胶片株式会社 显示装置及其控制方法
CN113353091A (zh) * 2021-05-21 2021-09-07 龙岩学院 一种具有冗余功能的电子控制方法及控制系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101872233B1 (ko) 2011-04-19 2018-06-29 돌비 레버러토리즈 라이쎈싱 코오포레이션 고휘도 투사형 디스플레이들 및 관련 방법들
US10291899B2 (en) 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520194A (zh) * 2003-01-16 2004-08-11 三星电子株式会社 自适应色彩过渡的改进
CN1783939A (zh) * 2004-10-29 2006-06-07 三洋电机株式会社 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
JP2007072558A (ja) * 2005-09-05 2007-03-22 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
CN101406041A (zh) * 2006-05-08 2009-04-08 三菱电机株式会社 减少场景图像模糊的方法和场景图像去模糊方法
JP2009141742A (ja) * 2007-12-07 2009-06-25 Fujinon Corp 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
CN101790101A (zh) * 2010-04-01 2010-07-28 昆山锐芯微电子有限公司 图像饱和度调整方法与图像饱和度调整装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5947881A (ja) * 1982-09-10 1984-03-17 Pioneer Electronic Corp 画像処理フイルタ
JP2005217837A (ja) 2004-01-30 2005-08-11 Sony Corp サンプリングレート変換装置およびその方法、並びに、オーディオ装置
KR100640063B1 (ko) * 2005-02-18 2006-10-31 삼성전자주식회사 외부조도를 고려한 영상향상방법 및 장치
US8111318B2 (en) 2007-12-07 2012-02-07 Fujinon Corporation Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520194A (zh) * 2003-01-16 2004-08-11 三星电子株式会社 自适应色彩过渡的改进
CN1783939A (zh) * 2004-10-29 2006-06-07 三洋电机株式会社 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
JP2007072558A (ja) * 2005-09-05 2007-03-22 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
CN101406041A (zh) * 2006-05-08 2009-04-08 三菱电机株式会社 减少场景图像模糊的方法和场景图像去模糊方法
JP2009141742A (ja) * 2007-12-07 2009-06-25 Fujinon Corp 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
CN101790101A (zh) * 2010-04-01 2010-07-28 昆山锐芯微电子有限公司 图像饱和度调整方法与图像饱和度调整装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周维华: "Wiener滤波图像复原", 《计算机工程与科学》, vol. 29, no. 3, 31 March 2007 (2007-03-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723445A (zh) * 2013-11-12 2016-06-29 富士胶片株式会社 显示装置及其控制方法
US9818346B2 (en) 2013-11-12 2017-11-14 Fujifilm Corporation Display device and control method for same
CN113353091A (zh) * 2021-05-21 2021-09-07 龙岩学院 一种具有冗余功能的电子控制方法及控制系统

Also Published As

Publication number Publication date
US20120163729A1 (en) 2012-06-28
JP2012141725A (ja) 2012-07-26
US8588543B2 (en) 2013-11-19

Similar Documents

Publication Publication Date Title
US10580120B2 (en) Image filtering based on image gradients
US8391629B2 (en) Method and apparatus for image noise reduction using noise models
JP4341695B2 (ja) 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
CN110232356B (zh) 光学式指纹辨识器及其指纹辨识方法
DE112011101066B4 (de) Bildverarbeitungsgerät und steuerungsverfahren für ein bildverarbeitungsgerät
US7983503B2 (en) Advanced noise reduction in digital cameras
WO2008128772A2 (en) Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signals
US11948277B2 (en) Image denoising method and device, apparatus, and storage medium
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
JP2009303139A (ja) 固体撮像装置
CN102547072A (zh) 信号处理装置、信号处理方法和信号处理程序
CN101569174B (zh) 图像质量改善装置及图像质量改善方法
JP5524133B2 (ja) 画像処理装置
US9172869B2 (en) Image data aggregating high dynamic range imaging systems and associated methods
KR20140013891A (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
JP5914843B2 (ja) 画像処理装置及び画像処理方法
CN113840048B (zh) 一种智能调整摄像头画面四角亮度的方法
US7986856B2 (en) Method and apparatus for increasing brightness of image captured in low light
WO2017192366A1 (en) Defective pixel value correction for digital raw image frames
CN108632502B (zh) 一种图像锐化的方法及装置
WO2006112814A1 (en) Edge-sensitive denoising and color interpolation of digital images
JP2015100099A (ja) 撮像装置及び固定パターンノイズ除去方法
JP4487477B2 (ja) ノイズ抑圧装置
Faraji et al. Adaptive suppression of CCD signal-dependent noise in light space
CN112954232A (zh) 动态图像处理方法、装置、相机及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704