CN103873740B - 图像处理装置及信息处理方法 - Google Patents

Abstract

一种信息处理方法，包括：使用具有图像的分辨率各向异性的有限的第一空间滤波器和其中元素的总和的值为零并且至少两个元素具有非零值的有限滤波器来计算元素数目的大小大于图像的模糊大小的第二空间滤波器；以及根据第二空间滤波器来生成具有预定数目或少于预定数目个元素的多个空间滤波器。

Description

图像处理装置及信息处理方法

技术领域

本公开内容涉及一种图像处理装置、一种信息处理方法及其程序。

背景技术

例如由数字相机拍摄的图像的分辨率通常在图像周边劣化。具体地，由于对光圈的视角大小或透镜光学系统的像差的依赖，相对于光轴周围的中心位置，周边的分辨率往往会劣化。光圈的渐晕(vignetting)被认为是劣化原因之一。在圆周方向上形成的圆形径向光圈被渐晕以在视角宽的区域处形成椭圆形光圈，从而图像变得模糊。因此，径向上的分辨率劣化。

关于分辨率的劣化，存在以下技术：根据要被校正的图像的目标位置使用不同的滤波器数据来对图像进行滤波以例如应对PSF(点扩散函数)的根据入射光的角度而的变化。例如，参见日本公开专利公告No.2012-23498。

分辨率的水平往往因方向而不同，并且特性是指分辨率各向异性。例如，围绕光轴的径向分辨率水平不同于圆周方向上的分辨率水平。

虽然在传统技术中根据图像的位置来进行不同的滤波以校正图像的模糊，但是分辨率各向异性在传统技术中不会得到改善。

发明内容

本发明根据本公开内容的一个方面，提供了一种信息处理方法，包括：使用具有图像的分辨率各向异性的有限的第一空间滤波器和其中元素的总和的值为零并且至少两个元素具有非零值的有限滤波器来计算元素数目大于图像的模糊大小的第二空间滤波器；以及根据第二空间滤波器生成具有预定数目个元素或小于预定数目个元素的多个空间滤波器。

借助于在权利要求中具体指出的要素和组合来实现或获得本发明的目的和优点。应当理解，前述总体描述和以下详细描述是示例性的和说明性的并且不对如所要求保护的本发明构成限制。

附图说明

图1是示出了示例性光学系统的图；

图2是示出了根据图像中的位置的光圈的示例的图；

图3是示出了根据图像中的位置的模糊方向的图；

图4是示出了用于说明当使用楔形图时的分辨率的图；

图5是示出了使用楔形图测量的分辨率测量结果的图；

图6是示出了根据所拍摄图像中的位置的劣化的图；

图7是示出了所拍摄图像中的端部的楔形图的示例的图；

图8是示出了对于图7所示的楔形图的分辨率分析结果的图；

图9是示出了所拍摄图像的中心部分的楔形图的示例的图；

图10是示出了对于图9所示的楔形图的分辨率分析结果的图；

图11是示出了当对模糊函数进行傅里叶变换时的特征的示例的图；

图12是示出了K(ω)的倒数的图；

图13是示出了当将预定值添加至分母时的反向滤波器的图；

图14是示出了在较高频率处增益已经逐渐下降的情况下的反向滤波器的图；

图15是示出了椭圆形PSF的示例的图；

图16是示出了当对椭圆形模糊函数进行傅里叶变换时的特征的示例的图；

图17是示出了K(ω,θ)的倒数的图；

图18是示出了当将预定值添加至分母时的反向滤波器的图；

图19是示出了在较高频率处增益已经逐渐下降的情况下的反向滤波器的图；

图20是示出了用于提高分辨率各向异性的示例性反向滤波器的图；

图21是示出了包括空间滤波器生成装置的图像捕获装置的示例性示意配置的框图；

图22是说明旋转的图；

图23是示出了反向滤波器K_inv的二维空间频率分布的示例的图；

图24是示出了沿着反向滤波器K_inv的空间频率方向的分布的示例的图；

图25是示出了系数分析单元的示例性函数的框图；

图26是说明PSF的计算顺序的图；

图27是示出了拍摄了12张图的示例性图像的图；

图28是示出了空间滤波器表的示例的图；

图29是示出了空间滤波器的示例的图；

图30是示出了有限空间滤波器的强度的图；

图31是示出了在校正图像中生成的波纹(Moiré)的示例的图；

图32是示出了对于使用有限空间滤波器校正的图像的分辨率分析结果的图；

图33是示出了对于通过抑制波纹生成而校正的图像的分辨率分析结果的图；

图34是示出了表示图像的模糊的PSF的示例的图；

图35是示出了PSF的大小的图；

图36是示出了用于对假设PSF大小小于元素数目时所生成的图像进行校正的示例性配置的图；

图37是示出了当元素数目小于PSF大小时校正后的分辨率分析结果的示例的图；

图38是示出了实施方式1中多个级中的滤波器的示例的图；

图39是示出了实施方式1中包括图像处理装置的图像捕获装置的示例性示意配置的框图；

图40是示出了实施方式1中滤波器控制单元和滤波器处理单元的示例性(第一)示意配置的框图；

图41是用于说明目标像素的线性内插的图；

图42是示出了实施方式1中滤波器控制单元和滤波器处理单元的示例性(第二)示意配置的框图；

图43是示出了空间滤波器F9’在每个像素处的(第一)强度的图；

图44是示出了空间滤波器F9’在每个像素处的(第二)强度的图；

图45是示出了空间滤波器F9在每个像素处的强度的图；

图46是用于对根据划分方法1的获得多个级中的空间滤波器的方法进行说明的图；

图47是用于说明划分方法1的分析的图；

图48是示出了根据划分方法1的校正结果的图；

图49是用于说明划分方法2的图；

图50是用于说明划分方法3的图；

图51是用于说明划分方法4的图；

图52是用于说明划分方法5的概要的图；

图53是用于说明根据划分方法5的多个级中的滤波器的计算示例的图；

图54是示出了空间滤波器F5在每个像素处的强度的图；

图55是示出了空间滤波器F5’在每个像素处的强度的图；

图56是用于说明实施方式1中校正图像的生成的图；

图57是示出了根据划分方法5的校正后的图像的分辨率分析结果的图；

图58是示出了元素的预定数目与模糊的大小之间的(第一)关系的图；

图59是示出了元素的预定数目与模糊的大小之间的(第二)关系的图；

图60是示出了增益被相乘的情况下校正图像的生成的图；

图61是示出了实施方式1中滤波器处理的另一示例性示意配置的框图；

图62是示出了实施方式1中滤波器生成处理的示例的流程图；

图63是示出了实施方式1中增益确定处理的示例的流程图；

图64是示出了分辨率被校正前后的噪声的示例的图；

图65是示出了亮度减小的图；

图66是用于说明根据核化处理的幅度劣化的图；

图67是示出了对于应用了核化处理的图像的分辨率分析结果的图；

图68是示出了实施方式2中亮度值的输入-输出关系的示例的图；

图69是示出了实施方式2中滤波器处理的另一示例性示意配置的框图；

图70是用于说明实施方式2中(第一)校正图像生成处理的图；

图71是用于说明实施方式2中(第一)增益确定的图；

图72是用于说明根据实施方式2的(第一)效果的图；

图73是用于说明根据实施方式2的(第二)效果的图；

图74是示出了实施方式2中阈值处理之后的图像的分辨率分析结果的图；

图75是示出了实施方式2中校正图像生成处理的示例的图；

图76是示出了实施方式2中(第一)增益确定处理的示例的图；

图77是示出了实施方式2中(第二)增益确定处理的示例的图；

图78是用于说明实施方式2中(第二)校正图像生成处理的图；

图79是用于说明实施方式2中(第三)校正图像生成处理的图；

图80是用于说明实施方式2中(第四)校正图像生成处理的图；

图81是用于说明实施方式2中增益确定的另一示例的图；

图82是示出了实施方式3中图像处理装置的示例性示意配置的框图；

图83是示出了(第一)图的示例的图；

图84是示出了(第二)图的示例的图；以及

图85是示出了(第三)图的示例的图。

具体实施方式

由于频域中的计算如傅里叶变换需要大量运算，所以通常使用有限空间滤波器进行卷积校正以向如数字相机等硬件提供滤波功能。但是，具有各向异性的空间滤波器被限制为具有有限数目的元素，因此，高频分量的劣化水平取决于方向而变得彼此不同，从而生成取决于方向的波纹。

当使用有限空间滤波器进行卷积校正时，需要进一步减少元素的数目以降低处理成本。例如，当有限空间滤波器以硬件来安装时，需要将空间滤波器的大小减小至预定数目(例如，5×5)或小于预定数目个滤波器元素。当滤波器元素的数目加倍时，计算量增加三倍，因此期望将空间滤波器的大小限制到预定数目或少于预定数目个滤波器元素。

但是，当空间滤波器的元素数目变得较小时，表示模糊的PSF的大小可能变得大于空间滤波器的元素数目。在该情况下，模糊信息的量可能丢失，因此，可能不会防止产生分辨率各向异性或波纹。

因此，所公开的技术意在提供：一种图像处理装置，其能够在当具有分辨率各向异性的空间滤波器被限制为具有预定数目个元素时防止图像品质劣化；一种图像处理方法及其程序。

根据本公开内容的一个方面的图像处理装置包括：计算单元，其被配置成使用元素的总和为零并且至少两个元素具有非零值的有限滤波器来计算具有图像的分辨率各向异性的有限的第一空间滤波器和滤波器元素的数目大于图像的模糊大小的第二空间滤波器；以及生成单元，其被配置成根据所述第二空间滤波器生成具有预定数目或少于预定数目个元素的多个空间滤波器。

根据所公开的技术，可以防止在当具有分辨率各向异性的空间滤波器被限制为具有预定数目个元素时图像品质劣化。

将参考图1至图3来描述分辨率劣化的一个原因。图1是示出了示例性光学系统的图；图2是示出了根据图像中的位置的示例性光圈的图。当使用图1所示的光学系统时，光圈是如图2所示的光轴的中心处的圆圈。但是，当视角宽广时，由于该光圈而出现渐晕。如图2所示，光圈的形状根据图像中的位置变为椭圆。

图3是示出了根据图像中的位置的模糊的方向的图。当利用如图1所示的光学系统，如果光圈变窄，则分辨率劣化，因此，模糊的方向趋于在径向上劣化，如图3所示。

接着，将描述由本公开内容的发明人进行的对分辨率的分析。可以通过拍摄其中边缘径向地分布的西门子星(Siemens star)的照片来详细地分析分辨率劣化的趋势。

图4是用于说明当使用楔形图时的分辨率的图。在图4所示的示例中，在与由箭头表示的方向垂直的方向上的多个数据被获取以测量在箭头方向上的分辨率。当如图4所示的楔形西门子星被使用时，随着从端部到中心部分，线宽变得越来越窄并且每像素的线对越来越多。中心部分表示高频分量。此外，亮度值的幅度(强度)随着从端部到中心部分而越来越小。

如图4所示，径向地变宽的对象，例如，楔形对象可以被使用，因此，可以根据方向来分析分辨率(MTF：调制传递函数)。

图5是示出了使用所述楔形图测量的分辨率测量结果的图。图5示出了其中在图4所示的方向上测量分辨率的曲线图。图5所示的纵轴表示亮度值的幅度，横轴表示每像素的线对(LP)。可以从分析中看出以下形式(MTF)：随着向中心部分移动，幅度变得越来越小；随着朝向较高频率分量(横轴的右方向)移动，分辨率变得越来越低。

图6是示出了根据所拍摄的图像中的位置的图像恶化的图。在图6所示的示例中，当多张西门子星被并行布置并且被拍摄时，端部的分辨率劣化可以被分析。在图6所示的示例中，Dx方向和Dy方向分别表示圆周方向和径向。Dx方向和Dy方向的这些限定还适用于图7至图85。

从图6所示的分析结果可以看出，不仅分辨率劣化而且在包括图像的端部的周边出现分辨率各向异性。当西门子星的分辨率被比较时，在中心部分很少存在角度的依赖性，而在端部却存在角度的依赖性。

图7示出了对于所拍摄的图像的端部的楔形图的示例的图。关于图7所示的楔形图，在与Dx方向垂直的方向(径向)上以及与Dy方向垂直的方向(圆周方向)上分析分辨率。

图8是示出了针对图7所示的楔形图而分析的分辨率分析结果的图。如图8所示，相比圆周方向，径向上的分辨率更多地被降低。从而，可以看出，分辨率各向异性出现在图像的端部，并且分辨率还可以定量地被测量。

图9是示出了对于所拍摄的图像的中心部分的楔形图的示例的图。图7所示的楔形图，在与Dx方向垂直的方向(径向)上以及与Dy方向垂直的方向(圆周方向)上分析分辨率各向异性。

图10是示出了针对图9所示的楔形图而分析的分辨率分析结果的图。如图10所示，在径向上的分辨率与圆周方向上的分辨率之间的存在很小的差。从而，不会在图像的中心部分看到分辨率各向异性。

此处，存在以下校正方法：利用点扩散函数(PSF)以校正包括如上所述的分辨率的劣化的模糊。PSF例如是表示模糊的函数。下文中，表示模糊的函数还被称为模糊函数。

当假设原始图像为x并且PSF为k时，模糊图像y是通过将x与k进行卷积而获得的图像，并且被表示为以下等式(1)。

其中是卷积符号

实际上还包括有噪声n，但在此处将噪声省略以简化描述。

当对等式(1)进行傅里叶变换时，等式(1)被变换为以下等式(2)。

Y(ω)＝K(ω)X(ω)…(2)

其中ω表示空间频率。

接着，当意图简单地获得反向滤波器K_inv时，反向滤波器K_inv通过由以下等式(3)表示的K的倒数来获得。

K_inv(ω)＝1/K(ω)...(3)

从此，原始图像的傅里叶变换X(ω)通过以下等式(4)来获得，并且以下等式(4)经过反向傅里叶变换来计算原始图像。

X(ω)＝K_inv(ω)Y(ω)…(4)

如上所述，当使用倒数对PSF进行傅里叶变换以计算反向滤波器函数(下文中简单地称为反向滤波器)时，除以空间频率，从而可以在高频域进行零除。零除意味着被零处的值或接近零的值相除。当高频接近零时，倒数变为极大的值，因此，加强了噪声的高频分量。

图11是示出了当对模糊函数进行傅里叶变换时的特征的示例的图。图11表示K(ω)，并且K(ω)在较高的频率处变得接近零。

图12是示出了K(ω)的倒数的图。图12表示根据等式(3)的K_inv。例如，分母在较高的频率处变得接近零，因此增加了较高频率处的噪声。

因此，如在以下等式(5)中所表示的，将校正项插入分母中以防止在较高的频率处的噪声被加强从而减小较高频率处的噪声。

K_inv(ω)＝1/(K(ω)+λ)…(5)

由于反向滤波器是复数，所以反向滤波器由与以下等式(6)使用共轭复数来表示。

其中是共轭复数。

图13是示出了当预定值被添加至分母时的反向滤波器的图。图14是示出了当在较高频率处增益已经逐渐降低时的反向滤波器的图。如图13或图14所示，对每个频率分量施加权重以降低噪声。

此处，考虑PSF为椭圆的情况。图15是示出了椭圆形PSF的示例。在图15所示的示例中，Dy方向上的分辨率相比Dx方向上的分辨率较差。即，Dy方向上的分辨率相比Dx方向上的分辨率被进一步降低。

椭圆PSF由k(r,θ)来表示。“r”表示半径，θ表示方向。例如，椭圆PSF由半径“r”和方向θ的函数来表示。当对椭圆PSF进行傅里叶变换时，K(ω,θ)＝fk(r,θ)。“f”表示傅里叶变换。例如，傅里叶变换之后的K(ω,θ)是空间频率ω和方向θ的函数。

图16是示出了当椭圆模糊函数经受傅里叶变换时的特征的示例的图。图16利用了图15的模糊函数，并且该模糊函数的特征取决于方向θ而不同。如图16所示，可以看出Dx方向上的特征不同于具有较差分辨率的Dy方向上的特征。

图17示出了K(ω,θ)的倒数.图17表示由以下等式(7)表示的K_inv。例如，分母在较高的频率处变得接近零，因此增加了较高频率处的噪声。

K_inv(ω，θ)＝1/K(ω，θ)…(7)

因此，将校正项插入分母中以防止在较高的频率处的噪声被加强从而减小较高频率处的噪声。以下等式(8)表示减小噪声的高频成分的反向滤波器。

图18是示出了当预定值被添加至分母时的反向滤波器的图。图19是示出了当在较高频率处增益已经逐渐降低时的反向滤波器的图。如图18或图19所示，对每个频率分量施加权重以降低噪声。

即使当模糊函数(例如，PSF)为椭圆形函数时，噪声的高频成分也被减小校正的权重(λ)。但是，当使用权重进行校正时，沿着分辨率差的方向(例如，Dy方向)上的分辨率可能不被校正并且得到提高。从而，分辨率上的各向异性不可以仅通过简单地施加加权来提高。因此，本发明发现可以通过根据方向校准适当的权重函数来提高分辨率各向异性。

图20是示出了用于提高分辨率各向异性的示例性反向滤波器的图。在图20所示的示例中，增益已经在较高频率处逐渐劣化，但是具有较差分辨率的Dy方向上的分辨率的提高被进一步加强。

接着，将关于用于提高分辨率各向异性的空间滤波器的生成来进行描述。将使用增益如图20所示已经逐渐劣化的方法来描述一种装置，但是不限于该方法。例如，即使是如图13所示添加了预定值的方法，也可以提高分辨率各向异性。在该方法中，预定值被添加以使得相比Dx方向，Dy方向更加被加强。

<空间滤波器生成装置>

首选描述用于提高分辨率各向异性的空间滤波器的生成。

<配置>

图21是示出了包括空间滤波器生成装置的图像捕获装置的示例性示意配置的框图。如1所示的图像捕获装置包括光学系统1、图像捕获元件2、AFE(模拟前端)3、图像处理单元4、后处理单元5、驱动控制装置6、控制装置7、图像存储器8、显示单元9和系数分析单元10。

光学系统1将来自放射状物体(K)的光聚集到捕获图像的表面。例如，光学系统1包括透镜11a、11b、11c和光阑12。透镜11a、11b、11c和光圈12将来自对象(K)的光聚集到图像捕获元件2的图像捕获表面上以对该对象进行成像。驱动控制装置6能够控制例如透镜11a、11b、11c的位置或光阑12的窄化度。同时，光学系统1的配置不限于具体的配置。

图像捕获元件2将来自对象(K)的经光学系统聚集的光转换为电信号(模拟信号)。图像捕获元件2包括例如二维图像捕获元件如CCD/CMOS，并且该图像捕获元件将对象的图像转换为电信号(图像信号)并且将转换信号输出给AFE 3。

AFE 3将捕获图像的模拟信号转换为数字信号。AFE 3包括例如A/D(模拟到数字)转换器31和定时生成器32。定时生成器32基于来自控制装置7的控制信号生成用于驱动图像捕获元件2的定时脉冲，并且将该定时脉冲输出至图像捕获元件2和A/D转换器31。

图像处理单元4维护数字信号图像以对该图像进行预定的图像处理。图像处理单元4包括例如原始(RAW)存储器41，其中图像(原始图像)通过A/D转换器31转换成数字信号。图像处理单元4可以对RAW图像执行预定处理。对其进行该预定处理的图像被记录在图像存储器8中。

后处理单元5在该图像经过预定处理后对该图像进行一步的必要处理以生成显示图像。后处理单元5例如在该图像经过预定处理后从图像存储器8中读取该图像以进行必需的处理，并且生成用于显示的图像以将该图像输出给显示单元9。

图像存储器8在预定处理之后存储图像。显示单元9包括例如记录图像的VRAM和输出该VRAM的图像的显示器。同时，图像捕获装置可以不必包括显示功能，并且可以设置有记录用于显示的图像的记录单元(例如，VRAM)替代显示单元9。

驱动控制装置6控制光学系统1。控制装置7控制AFE 3和后处理单元5。

系数分析单元10对来自图像的每个图像位置的每个方向上的分辨率进行分析，针对此分析拍摄有图以确定用于提高分辨率各向异性的适当滤波器数据。随后将描述系数分析单元10的细节。

滤波器数据可以使用针对图像校正而滤波所必需的一组参数(类似于例如解卷积核)来形成。具体地，该解卷积核可以使用根据PSF的圆形或椭圆形对象图像分布在其中的区域和表示该区域中每个像素的权重的数据(这些数据指解卷积分布)来表示。

(反向滤波器)

将描述在本实施方式中使用的反向滤波器。下文中，提高分辨率各向异性的反向滤波器的计算序列例如针对分辨率差的方向进行调整。此外，反向滤波器还简单地指滤波器。

如由等式(1)所述表示的，考虑原始图像“x”、PSF“k”和模糊图像“y”。当原始图像“x”被获得时，如果以下等式(9)在反向问题中变得最小，可以获得接近原始图像的图像。

正常情况下，在解决上述反向问题时应用正则化项类型。从而，根据添加有正则化项的以下等式(10)来解决上述反向问题。

在相应的问题中，需要方向性，因此所表示的图像的横向(水平方向)上的微分项和纵向方向(竖直方向)上的微分项被作为正则化项添加在以下等式(11)中。

其中ε表示权重系数，d_m和d_n表示矩阵方向上的微分滤波器。此处，d_m是d_m＝[-1 1]并且d_n是

需要使得通过关于“x”对等式(11)求偏微分而获得结果为零以使得上述等式(11)最小。此外，当对等式(11)进行傅里叶变换并且针对X(ω)而求解时，可以获得以下等式(12)。

其中X(ω)、Y(ω)、K(ω)、Dm(ω)、Dn(ω)分别表示x、y、k、d_m、d_n。

频域中的反向滤波器K_inv满足以下等式(13)。

X(ω)＝K_inv(ω)Y(ω)…(13)

从而，反向滤波器K_inv满足以下等式(14)。

当使用共轭复数时，上面的等式(14)被表示为以下等式(15)。

其中是共轭复数。

本实施方式的特征为：微分系数的轴以角度为θ的方向使用旋转矩阵来选择以调整沿着分辨率差的方向的分辨率，如在以下等式(16)和(17)所述表示的。

D_X(ω，θ)＝D_m(ω)cosθ-D_n(ω)sinθ…(16)

D_Y(ω，θ)＝D_m(ω)sinθ+D_n(ω)cosθ…(17)

图22是说明旋转的图。在图22所示的示例中，Dy方向是通过将Dn方向旋转“θ”而形成，并且Dx方向是通过将Dm方向旋转角度θ而形成。

此处，椭圆PSF被限定为k(r,θ)，并且经过傅里叶变换的椭圆PSF被限定以使得K(ω,θ)＝fk(r,θ)。当根据方向的权重γ被设定，同时等式(16)、等式(17)和K(ω,θ)在等式(15)中被代入时，实施以下等式(18)。

其中，γ是根据反向滤波器的方向的权重系数，并且ε是权重系数。

利用等式(18)，以下变为可能：针对每个实施方式中所利用的反向滤波器的方向性进行权重调整。例如，系数分析单元10针对分辨率差的方向(Dy方向)调整权重γ。权重系数γ变小，因此，沿着分辨率差的方向的分辨率可以提高。

图23是示出了反向滤波器K_inv的二维空间频率分布的示例的图。图23所示的示例示出了当γ＝1/300时二维分布的示例。权重系数γ、ε(尤其是γ)以以下方式来确定：相比Dx方向上的分辨率，Dy方向上的分辨率被进一步提高。

图24是示出了反向滤波器K_inv的沿着空间频率方向的频率分布的示例的图。在图24中，使得对于Dy方向的权重系数较小，使得可以加强沿着Dy方向的分辨率的提高。此外，图24所示的Dy’表示针对γ＝1的分布。从而，根据本实施方式，可以使得反向滤波器的滤波器参数所乘的权重系数能够具有各向异性。

(系数分析单元)

随后，将描述系数分析单元10。系数分析单元10确定用于提高分辨率各向异性的空间滤波器。

图25是示出了系数分析单元10的功能的示例的框图。图25所示的系数分析单元10包括分辨率分析单元101和确定单元102。系数分析单元10对首先拍摄了图表的图像进行系数分析。在下面所描述的示例中，例如，对位于首先拍摄的图表的左上部的楔形图像进行系数分析。

分辨率分析单元101对图像的分辨率的劣化进行分析，其中，辐射状对象在至少两个方向上被捕获。该分析使用例如在图4和图5中描述的方法。当线对每像素被沿着横轴限定并且幅度的强度被沿着纵轴限定时，分辨率分析单元101可以分析MTF。每像素的线对可以使用对象的位置处的每单元距离的线对。具有楔形以及辐射形状的图表被使用，因此根据方向的MTF在本实施方式中可以如图5所示来分析。

图26是说明了PSF的计算序列的图。在图26所示的示例中，首先，确定单元102根据图像中的位置来计算角度和椭圆率。确定单元102可以获得当常阈值(大约为最大幅度的一半)的等高线使用针对每个预定角度而计算的MTF来描绘。

确定单元102可以使用所获得的长轴和短轴来计算椭圆率。确定单元102地理地基于图像中的位置来计算角度θ1。此外，确定单元102可以使用分辨率的椭圆率的长轴和短轴来计算角度θ1。在使用长轴和短轴计算角度θ1的过程中，可以按照实际模糊状态来计算角度。此处，当从光轴的中心描绘同心圆时，径向方向上的模糊很大，如图3所示。

确定单元102仅需计算例如纵向与径向之间角度。同时，光轴的中心基本上是图像的中心，但是光轴的中心可能由于透镜的偏移而未对准。确定单元102使用所计算的椭圆率和角度来确定PSF。所确定的PSF的椭圆被从根据MTF的等高线获得椭圆旋转90度。

参考图25，确定单元102关于根据图像的模糊函数(PSF)的滤波器(例如，上述的反向滤波器)而校正的图像、基于校正之后图像的分辨率分析结果来确定具有该反向滤波器的各向异性的滤波器数据。

此外，确定单元102关于图像的微分方向来改变和确定权重系数(例如，γ)。例如，Dx方向的权重系数被设定为1(一)，并且Dy方向的权重系数被设定为权重系数γ以改变γ。从而，可以提高分辨率各向异性。

此外，确定单元102关于微分方向将图像旋转了例如θ以确定权重系数。从而，分辨率差的方向可以被检测并且因此可以进行图像的滤波。

具体地，确定单元102例如调整权重系数ε和γ以确定适当的权重系数ε和γ。权重系数γ表示分辨率差的方向的滤波器参数的权重系数。分辨率差的方向的滤波器参数例如是关于等式(18)的权重系数γ的Dy(ω,θ)和Dy(ω,θ)的共轭复数。

确定单元102包括调整单元121、图像校正单元122、系数确定单元123和滤波器确定单元124以调整并且确定权重系数。

调整单元121例如调整不取决于方向的权重系数ε和取决于方向的权重系数γ。调整单元121设定权重系数ε、γ的初始值，并且将初始值提交给图像校正单元122。

图像校正单元122使用从调整单元121获取的权重系数来进行图像校正。图像校正单元122使用在等式(18)中表示的反向滤波器对图像滤波和校正。图像校正单元122将校正后的图像提交给分辨率分析单元101以再次分析分辨率的降低。

系数确定单元123基于对校正后的图像的分辨率分析结果确定权重系数以使得两个方向之间的分辨率降低的差变小。系数确定单元123维护通过各个权重系数校正的图像的分析结果并且确定权重系数ε和γ，以使得空间频率的值之间的差例如在幅度的预定强度方面变得最小(确定处理1)。

此外，系数确定单元123可以确定权重系数ε和γ，以使得幅度的强度之间的差在预定空间频率方面变得最小(确定处理2)。

多个阈值1和阈值2可以被设定，并且系数确定单元123可以确定权重系数以使得差的平方和变得最小。同时，系数确定单元123可以确定权重系数以使得预定差变为预设的阈值或更小。阈值可以例如通过预备试验来设定。

系数确定单元123可以确定权重系数以使得在图像的中心位置处在两个方向上的分辨率的差的平方和与除了图像的中心位置处以外的周边部分处在两个方向上的分辨率的差的平方和之间的差变为预定值或更小。此外，系数确定单元123可以确定权重系数以使得图像的中心部分与图像的周边部分之间的分辨率的差的平方和变得最小。

这是因为，当减小分辨率各向异性时，使图像的中心位置的分辨率和图像的周边部分的分辨率相等以使得图像的整体分辨率在这些方向上相等，因此可以提高图像的品质。

由系数确定单元123所进行的最小化确定可以使用最小化函数或人工计算。最小化函数例如包括单纯形搜索法、最陡劣化法或共轭梯度法。

确定单元102改变并且调整权重系数、在调整后使用权重系数获得反向滤波器、使用所获得的反向滤波器来校正图像并且基于对校正后的图像的分辨率分析结果确定最佳权重系数。权重系数的调整、反向滤波器的计算、使用滤波的校正和分辨率分析处理被重复直到最佳权重系数被确定。

滤波器确定单元124计算利用了如在以下等式(19)中的通过系数确定单元123确定的最佳权重系数的滤波器K_inv，并且如以下等式(20)中从频域中的反向滤波器K_inv获得空间域中的反向滤波器K_inv。下文中，空间域中的反向滤波器是指空间滤波器。

从要有限化的反向滤波器K_inv提取要处理的若干抽头(元素)。

系数分析单元10在图标在图像中呈现的每个位置处执行上述处理。系数分析单元10分析每个位置处的分辨率各向异性并且确定要改善各向异性的空间滤波器。

上述处理被执行，因此，要改善各向异性的空间滤波器可以被确定同时关于图像的预定位置来校正模糊。例如，相比其他方向分辨率较差的方向可以被检测到以确定权重系数，利用该权重系数来更加提高具有较差分辨率的方向上的分辨率。

系数分析单元10对图像中的每个位置处的空间滤波器进行计算。图27是示出了拍摄了12张图表的图像的示例的图。图27所示的示例仅是一个示例，并且即使图表的数目不是12张，每个图仍可以呈现在通过分割图像而形成的多个区域中。

系数分析单元10确定每个区域处的滤波器，在每个区域中，呈现每个图表以计算空间滤波器。系数分析单元10制备图像中的位置和空间滤波器被映射的表格。此外，系数分析单元10可以将所计算的椭圆的大小与该表格相关联。

图28是示出了空间滤波器表格的示例的图。在图28所示的空间滤波器表格中，每个区域的左上部的像素坐标和通过该区域的图表而计算的空间滤波器被映射。例如，将空间滤波器(FIL1)映射在位置(x1,y1)上。

从而，包括系数分析单元10的图像处理装置可以确定分辨率各向异性被提高的空间滤波器。分辨率各向异性被提高的空间滤波器不限于上述示例，并且可以包括通过例如在日本公开特许公告No.2012-23498中描述的技术而获得的空间滤波器。在该情况下，使得空间滤波器具有分辨率各向异性。

图像处理单元4可以例如通过DSP(数字信号处理器)来配置。在该情况下，原始存储器41可以构建在DSP中的存储器或外部存储器。此外，后处理单元5、图像存储器8、系数分析单元10、用于显示的VRAM可以与整个DSP和图像处理单元4整体地形成。此外，系数分析单元10可以形成为图像处理装置，该图像处理装置形成为单一单元或包括其他处理单元。

可替代地，预定程序不是由如DSP等针对特定处理的专用处理器来执行，而是通过如CPU等通用处理器来执行以实施图像处理单元4或系数分析单元10的功能。驱动控制装置6、控制装置7和后处理单元5还可以通过至少一个针对特定处理的专用处理器或通用处理来配置。

使得处理器用作图像处理单元4或系数分析单元10的程序以及记录有该程序的记录介质还包括在本公开内容的实施方式中。该记录介质是非瞬态介质，并且如信号本身等瞬态介质不作为记录介质而包括在本公开内容的实施方式中。

<空间滤波器的有限化所引起的问题>

下文中，将描述伴随空间滤波器的有限化的问题。当具有各向异性的空间滤波器被有限化时，除了提取空间滤波器的所提取的抽头(元素)的部分以外的部分的信息被丢失。空间滤波器具有各向异性，因此，变得丢失的信息因方向而不同。此外，元素的相加和不相等。

高频信息包括在所丢失的信息中，因此，当图像通过有限空间滤波器来校正时，校正度因校正的方向而不同。

图29是示出了空间滤波器的示例的图。图29所示的空间滤波器基于如上所述的等式(20)而具有各向异性。空间滤波器的元素的值在图29中用颜色来表示。

图30是示出了有限空间滤波器的强度的图。当抽头的数目例如为9(九)时，9×9个元素被从如30所示的示例中的中心被提取。有限空间滤波器的强度沿着图30所示的示例中的纵轴被表示。当元素的数目从有限空间滤波器被提取时，在a101部分处信息丢失。此外，空间滤波器具有各向异性，因此，变得丢失的高频信息取决于方向而不同。

因此，当有限空间滤波器被利用时，校正度取决于方向而不同。当使用如图31所示的9抽头空间滤波器校正图表时,生成波纹。图31是示出了在校正图像中生成波纹的示例。如图31所示由空间滤波器引起的波纹被生成。

图32是示出了使用有限空间滤波器校正的图像的分辨率分析结果的图。对频率劣化的校正度取决于如图32所示的方向而变得不同。

图33是示出了通过抑制波纹的生成而校正的图像的分辨率分析结果的图。在图33所示的示例中，高频的提高被抑制以防止波纹的生成，从而使得保持分辨率各向异性。

此外，当安装空间滤波器时，从计算和存储的量的观点来看，需要将空间滤波器的大小限制到预定数目个滤波器元素或更少。当前，可以使用具有大小例如为5×5个元素或更少的空间滤波器。

但是，当使得空间滤波器的元素的数目变小时，表示模糊的PSF的大小变得大于元素的数目，丢失一定量的信息。因此，图像的品质可能被降低。

图34是示出了表示图像的模糊的PSF的示例的图。像素的亮度表示图34所示的示例中的PSF的亮度值。

图35是示出了PSF的大小的示例的图。如图35所示，假设PSF大于5×5个像素的大小。同时，滤波器的一个元素对应于图像的一个像素。

在图35所示的示例中,空间滤波器的元素的数目小于模糊的大小，因此，当图像被校正时，模糊的信息丢失。

图36是示出了假设PSF大小小于元素的数目时所生成的校正图像的配置的示例的图。图36A是示出了配置1的示例。在图36A的配置中，校正图像“x”通过将所计算的空间滤波器F与原始图像“y”进行卷积并且将该结果从如在以下等式(21)中表示的原始图像减去而生成。

图36B示出了配置2的示例。在图36B的配置中，校正图像“x”通过将所计算的空间滤波器F’与原始图像“y”进行卷积而生成，如在以下等式(22)、(23)、(24)和(25)所表示的。

F′＝I0-F…(24)

图37是示出了当空间滤波器的元素的数目小于PSF大小时的分辨率分析结果的示例的图。在图37所示的示例中，元素的数目被设定为5×5个元素，并且空间滤波器的元素的数目小于PSF的大小，各向异性校正特征被恶化。

因此，在下面要描述的实施方式中，当具有分辨率各向异性的空间滤波器被有限化到预定数目个元素或更少时，要在安装中解决目标被实现以防止图像品质的恶化。

[实施方式1]

首先将描述防止波纹的生成的概要。如所详细描述的，具有分辨率各向异性的空间滤波器被有限化，因此，高频信息的丢失水平取决于方向而不同。因此，波纹被生成。即，频率的劣化的校正度取决于方向而不同，因此，波纹被生成。

因此，使得图像信号通过有限高通滤波器以滤除亮度突然变化的那一部分，从而，取决于方向而不同的高频信息的校正度的差被减小。从而，由取决于方向的频率信息的恶化而引起的波纹的生成可以被防止。

有限高通滤波器可以是以下有限滤波器：其中，元素的值的总和为0(零)并且至少两个元素具有非零值。下文中，使用有限高通滤波器作为有限滤波器来进行描述。

此外，在安装中要解决的目标可以通过分割所计算的空间滤波器以生成多个级中的空间滤波器来实现，并且每个空间滤波器具有预定数目的元素或较少。

图38是示出了在实施方式1中具有多个级的示例的图。在图38A所示的示例中，如在图36A所示的空间滤波器F被分割成位于多个级中的空间滤波器(5×5)。在图38所示的示例中，如在图36B所示的空间滤波器F被分割成位于多个级中的空间滤波器(5×5)。

在下述实施方式中,关于其大小大于空间滤波器的元素的数目的具有各向异性的模糊，具有各向异性的多个反向滤波器被形成并且与多个空间滤波器组合以改善各向异性。

接下来将描述包括实施方式1中的图像处理装置的图像捕获装置。在实施方式1中，可以防止当具有分辨率各向异性的空间滤波器的大小被有限化为预定数目个元素时的图像品质的恶化。

<配置>

图39是示出了包括实施方式1中的图像处理装置的图像捕获装置的示例性示意配置的框图。在图39所示的配置中，相同的附图标记会给予与图21相同的配置。下文中，将主要描述实施方式1中的图像处理单元15。

图像处理单元15包括原始存储器41、滤波器控制单元151和滤波器处理单元152。滤波器控制单元151维护如图28所示的空间滤波器表。滤波器控制单元151关于空间滤波器表中的每个空间滤波器计算元素数目大于模糊大小的空间滤波器。

滤波器控制单元151然后将所计算的空间滤波器分成多个级中的空间滤波器以具有预定数目个元素或更少。滤波器控制单元151将多个级中的空间滤波器输出至滤波器处理单元152。即，滤波器控制单元151将多个级中与要处理的图像中的每个位置对应的空间滤波器输出至滤波器处理单元152。

滤波器处理单元152使用从滤波器控制单元151获取的多个级中的空间滤波器来在图像的相应位置处进行滤波。从而，在图像的每个位置处不同的分辨率各向异性可以被提高以防止波纹的生成并且增强图像的品质。

(滤波器控制单元和滤波器处理单元)

接下来，将描述实施方式1中的滤波器控制单元151和滤波器处理单元152。图40是示出了实施方式1中的滤波器控制单元和滤波器处理单元的示例性(第一)示意配置的框图。首先描述滤波器控制单元151。滤波器控制单元151包括滤波器存储单元201、滤波器获取单元202、滤波器计算单元203和滤波器生成单元204。

滤波器存储单元201存储至少第一空间滤波器211、第二空间滤波器212和多个级中的空间滤波器213。每个滤波器分别存储在不同的存储区域中。

第一空间滤波器211是具有分辨率各向异性的空间滤波器。第一空间滤波器211例如对应于图28所示的空间滤波器表中的每个滤波器。第二空间滤波器212是由滤波器计算单元203计算的滤波器。第二空间滤波器例如是通过将高通滤波器与第一空间滤波器211进行卷积而获得的滤波器。多个级中的空间滤波器213是由滤波器生成单元204生成的一组空间滤波器。

滤波器获取单元202获取具有图像的分辨率各向异性的有限空间滤波器。滤波器获取单元202从例如滤波器存储单元201获取第一空间滤波器211。滤波器获取单元202将所获取的第一空间滤波器211输出给滤波器计算单元203。

滤波器计算单元203通过将元素的值的总和为0(零)并且至少两个元素具有非零值的有限滤波器与从滤波器获取单元202获取的第一空间滤波器211进行卷积来计算第二空间滤波器。

在该情况下，滤波器计算单元203计算元素数目大于模糊的大小(例如，PSF的椭圆的大小)的第二空间滤波器。滤波器计算单元203包括确定单元231，并且确定单元231根据例如存储在滤波器存储单元201中的PSF的大小来确定模糊大小。此外，在PSF可以通过例如在日本公开特许公告No.2012-23498中描述的模拟根据透镜设计值来获取的情况下，确定单元231可以根据所获取的PSF来确定模糊大小。

滤波器计算单元203通过将元素的数目大于图像的模糊的大小第一空间滤波器与有限高通滤波器进行卷积来计算第二空间滤波器。

滤波器计算单元203预先维护有限高通滤波器。当有限高通滤波器意被限定为例如具有3×3个元素的滤波器时，有限高通滤波器可以使用以下等式(26)和(27)来获得。

在本实施方式中描述的各向异性取决于任何方向上的某一角度的滤波器，因此，所有元素具有如在等式(27)中表示的非零系数的滤波器可以被使用。

滤波器计算单元203在当高通滤波器滤波器被限定为3×3个元素的滤波器时将空间滤波器k_inv限定为7×7个元素的滤波器，并且将这两个滤波器进行卷积来计算9×9个元素的滤波器。如上所述，滤波器计算单元203将高通滤波器与空间滤波器进行卷积以计算具有期望数目个抽头的滤波器。

此处，当7×7个元素的滤波器由F7来表示并且高通滤波器由“Lap”来表示时，在滤波器计算单元203中计算的9×9个元素的滤波器由以下等式(28)表示。

滤波器计算单元203将通过上述等式(28)而计算的第二空间滤波器F9存储在滤波器存储单元201中。

滤波器计算单元203可以被安装在单独的装置中，并且滤波器控制单元151可以存储从单独的装置获得的第二空间滤波器212。

滤波器生成单元204从滤波器存储单元201获取第二空间滤波器212，并且根据第二空间滤波器212生成具有预定数目个元素或更少的多个级中的空间滤波器。随后将描述关于多个级中的空间滤波器的生成的叙述。滤波器生成单元204将多个级中所生成的空间滤波器213存储在滤波器存储单元201中。

接着，将描述滤波器处理单元152。滤波器处理单元152包括卷积运算单元301和减法单元302。卷积运算单元301从原始存储器41中获取图像，并且将多个级中的空间滤波器213中的图像进行卷积以进行滤波。

卷积运算单元301可以以下面的方式来对图像进行滤波：多个级中的空间滤波器213使得单一卷积电路进行多次卷积，或准备并且使得多个卷积电路进行卷积。卷积运算单元301将经滤波的图像输出给减法单元302。

减法单元302将经滤波的图像从原始存储器41中获取的图像中减去以生成校正图像。校正图像被输出至后处理单元5或图像存储器8。

滤波器处理单元152在此处可以通过使用相邻空间滤波器而不是使用单一空间滤波器来对图像的每个区域的每个像素进行线性内插以获得目标像素的像素值。

图41是用于说明目标像素的线性内插的图。如图41所示，滤波器处理单元152可以使用在4个相邻空间滤波器中计算的每个区域的中心像素、根据每个像素的距离来进行线性内插以获得目标像素的像素值。在图41所示的示例中，滤波器处理单元152对从FIL1、FIL2、FIL5和FIL6获得的每个区域的像素值进行线性内插以计算目标像素的像素值。

此外，滤波器处理单元152可以在使用线性内插获得目标像素自身的的空间滤波器之后计算该像素值。此外，在上面的示例中，空间滤波器的数目设定成4个相邻空间滤波器，但是不限于此，并且可以使用不同的多个空间滤波器。此外，使用距离进行线性内插，但是还可以使用其他内插方案。此外，可以针对从区域的子划分而导致的每个子区域来进行内插，或可以针对每个像素来执行内插。

接下来将描述滤波器控制单元151和滤波器处理单元152的其他示例。图42是示出了实施方式1中的滤波器控制单元151和滤波器处理单元152的示例性(第二)示意配置的框图。首先将描述滤波器控制单元151。滤波器控制单元151包括滤波器存储单元401、滤波器获取单元202、滤波器计算单元402和滤波器生成单元403。

在图42所示的滤波器控制单元151的配置中，相同的附图标记将给予与图40所示相同的配置。

滤波器存储单元401存储由滤波器计算单元402计算的第三空间滤波器411和由滤波器生成单元403计算的多个级中的空间滤波器412。

滤波器计算单元402计算第三空间滤波器411，其无需上面所述的图像之间的减法处理。滤波器计算单元402可以通过使用等式(22)、(23)、(24)和(25)来进行等式的变形进行非必需的减法处理。在该示例中，假设9×9元素的第三空间滤波器F9’。

从而，可以获得与上述相同的结果，因此，不需要图像之间的减法处理的有限空间滤波器F9’可以被生成。

滤波器计算单元402将所计算的空间滤波器F9’存储在滤波器存储单元401中。空间滤波器F9’是第三空间滤波器411。

滤波器生成单元403从滤波器存储单元401获取第三空间滤波器411，并且根据第三空间滤波器411生成具有预定数目个元素或更少的多个级中的空间滤波器。随后将描述多个级中的空间滤波器的生成。滤波器生成单元403将多个级中所生成的空间滤波器412存储在滤波器存储单元401中。

滤波器处理单元152包括卷积运算单元501。卷积运算单元501对多个级中的空间滤波器412进行卷积并且生成校正图像“x”。

(空间滤波器的示例)

图43是示出了空间滤波器F9’的每个像素处的(第一)强度的图。在图43所示的示例中，每个像素处的强度用颜色来表示。

图44是示出了空间滤波器F9’的每个像素处的(第二)强度的图。空间滤波器F9’的两个方向(例如，Dx为横方向并且Dy为纵方向)上的强度变化被表示在图44所示的示例中。在该情况下，空间滤波器F9’的元素的总和变为1(一)。

图45是示出了空间滤波器F9在每个像素处的强度的图。空间滤波器F9的两个方向(例如，Dx为横方向并且Dy为纵方向)上的强度变化被表示在图44所示的示例中。在该情况下，包括高通信息的空间滤波器F9的元素的总和变为0(零)。

<多个级中的空间滤波器的生成>

接下来将描述多个级中的空间滤波器的生成。下文中，将描述图42所示的滤波器生成单元403生成多个级中的空间滤波器的示例，但是图40所示的滤波器生成单元204还以相同的方式生成多个级中的空间滤波器。

首先，当元素的数目大于模糊的大小的空间滤波器被划分成具有预定数目元素的滤波器组时，滤波器生成单元403假设一个滤波器作为用于划分的基础，并且使用基于所假设的滤波器的优化来获得其他滤波器。

例如，可以假设，第三空间滤波器F9’被划分成5×5的两个空间滤波器(每个被限定为F5A’和F5B’)。在该情况下，滤波器生成单元403可以限定以下等式(29)。

其中，项“e”是差的误差。下文中，将描述由发明人进行的划分为多个级中的空间滤波器的方法。

(划分方法1)

在划分方法1中，空间滤波器F5A’被限定为通过提取第三空间滤波器F9’的5×5元素的中心部分而形成的滤波器。

图46是用于说明根据空间滤波器1的获得多个级中的空间滤波器的方法。在图46所示的示例中，滤波器生成单元403可以确定空间滤波器F5A’以最小化由以下等式(30)表示的估计函数来获得空间滤波器F5B’。

所获得空间滤波器F5B’在图46中示出。

图47是用于说明划分方法1的分析的图。如图47A所示，在划分方法1中，划分方法F5A’仅是通过从空间滤波器F9’提取5×5元素来形成。在该情况下，如图47B所示，原始高通信息被丢失。即，变得不能满足元素的总和的条件。

图48是示出了根据划分方法1的校正的结果的图。图48A示出了根据划分方法1的校正图像。如图48A所示，高通信息被丢失，并且校正的效果取决于方向而不同，因此，波纹被生成。图48B示出了根据划分方法1的校正之后的结果。从图48B所示的结果可以看出，波纹被生成。

(划分方法2)

在划分方法2中，第一级中的空间滤波器F5A’被限定为具有各向异性的滤波器。例如，空间滤波器F5A’仅通过各向异性PSF的倒数形成。

图49是用于说明划分方法2的图。图49是示出了空间滤波器F5A’的示例的滤波器。图49B是通过最小化估计函数而获得的空间滤波器F5B’。

图49C示出了根据划分方法2的校正之后的MTF的结果。在图49C所示的结果中的每个方向上分辨率不同，因此波纹被生成。

(划分方法3)

在划分方法3中，第一级中的空间滤波器F5A’被限定为具有各向同性的滤波器。例如，空间滤波器F5A’仅通过各向同性PSF的倒数形成。

图50是用于说明划分方法3的图。图50A是示出了空间滤波器F5A’的示例的滤波器。图50B是通过最小化估计函数而获得的空间滤波器F5B’。

图50C示出了根据划分方法3的校正后的MTF的结果。图50C所示的结果不足以生成波纹,但是对于高频的改善是不足的。

(划分方法4)

在划分方法4中，第一级中的空间滤波器F5A’被限定为具有各向同性的滤波器并且通过将PSF的倒数与高通滤波器进行卷积来形成。

图51是用于说明划分方法4的图。图51A是示出了空间滤波器F5A’的示例的滤波器。图51B是通过最小化估计函数而获得的空间滤波器F5B’。

图51C示出了根据划分方法4的校正后的MTF的结果。各向异性的改善在图51C所示的结果中变得不足。这是因为高通滤波器是在第一级中的滤波器中被卷积的以不生成波纹，但是该滤波器是各向同性，因此各向异性可能在第二级中的滤波中不会得到改善。

此外，在第一级中的空间滤波器是各向同性时，各向异性的信息变为单一滤波器，因此，元素的数目变少。

存在以下情况：在如上所述的划分方法中可能不会获得期望的校正结果。因此，将描述用于将具有各向异性和大量元素的滤波器更加恰当地划分至多个级的方法。

(划分方法5)

图52是用于说明划分方法5的概要的图。在图52所示的示例中，滤波器生成单元403通过将具有各向异性的空间滤波器F3A(例如，第四空间滤波器)与高通滤波器F3进行卷积并且从I50减去该结果来计算第一级中的空间滤波器F5A’(例如，第五空间滤波器)。滤波器生成单元103通过最小化估计函数来计算第二级中的空间滤波器F5B’(例如，第六空间滤波器)。

从而，在第一级形成高通滤波器以防止生成波纹，此外，用于改善各向异性的配置被形成以使得滤波器被划分成多个级中的滤波器。因此，可以妥善解决大小大于元素数目的模糊的改善。

图53是用于说明根据划分方法5的多个级中的滤波器的计算的图。在图53所示的示例中，滤波器生成单元403从第一空间滤波器211中提取3x3元素的滤波器，并且通过将所提取的滤波器与3x3元素的高通滤波器(例如，等式(26)或等式(27))进行卷积以计算5x5元素的空间滤波器。滤波器生成单元403通过从I0中减去空间滤波器F5A来计算空间滤波器F5A’。

滤波器生成单元403通过使用第三空间滤波器F9’和空间滤波器F5A’最小化估计函数来计算第二级中的空间滤波器F5B’。

图54是示出了空间滤波器F5的每个像素处的强度的图。图54所示的示例表示空间滤波器F5的两个方向(例如，Dx是横向，并Dy是纵向)上的强度变化。在该情况下，空间滤波器F5的元素的总和变为0(零)。

图55是示出了空间滤波器F5’在每个像素处的强度的图。图55所示的示例表示空间滤波器F5’的两个方向(例如，Dx是横向，并Dy是纵向)上的强度变化。在该情况下，空间滤波器F5’的元素的总和变为1(一)。

图56是用于说明实施方式1中校正图像的生成的图。在图56A所示的示例中，滤波器处理单元152使用以下等式(31)和(32)来生成校正图像“x”。

在图56B所示的示例中，滤波器处理单元152使用以下等式(33)、(34)、(35)和(36)来生成校正图像“x”。

F5A＝I0-F5A′…(34)

F5B＝I0-F5B′…(36)

空间滤波器F5A’是具有各向异性的空间滤波器和高通滤波器的组合，并且空间滤波器F5B’负责补充具有各向异性的空间滤波器的丢失。此外，可以反转卷积序列。

图57是示出了根据划分方法5的校正后的图像的分辨率分析结果的图。如图57所示，根据划分方法5，当分辨率各向异性的空间滤波器被有限化为预定数目个元素，可以防止图像品质的恶化。即，空间滤波器可以被划分为多个级中的空间滤波器，因此，可以在划分方法5中改善各向异性的同时防止波纹的生成。

(级的数目)

当将空间滤波器划分成多个级中的空间滤波器时，滤波器生成单元204、403基于第一空间滤波器的大小和预定数目个元素来确定要划分的多个空间滤波器。

图58是示出了元素的预定数目与模糊的大小之间的(第一)关系的图。在图58所示的示例中,假设元素的预定数目为5×5个元素,并且模糊的大小小于9×9个元素。在该情况下，滤波器计算单元203、402计算9x9个元素的第一空间滤波器。滤波器生成单元204、403基于9×9个元素的第一空间滤波器生成5×5个元素的两级空间滤波器。

图59是示出了元素的预定数目与模糊的大小之间的(第二)关系的图。在图59所示的示例中，假设元素的预定数目为5×5，并且模糊的大小小于13×13个元素。在该情况下，滤波器计算单元203、402计算13×13个元素的第一空间滤波器。滤波器生成单元204、403基于13×13个元素的第一空间滤波器来生成5×5个元素的三级空间滤波器。

滤波器生成单元204、403首先将13×13个元素的第二空间滤波器或13×13个第三空间滤波器划分为9×9个元素的空间滤波器和5×5个元素的空间滤波器。接着，滤波器生成单元204、403以相同的方式将9×9个元素的空间滤波器划分成5x5个元素的两级空间滤波器。

当元素的预定数目为3x3时，滤波器生成单元204、403需要将空间滤波器划分成更多个级。此外，通过滤波器计算单元203生成的第一空间滤波器的元素的数目是7×7时，滤波器生成单元204、403将空间滤波器划分成5x5个元素和3×3个元素的两级空间滤波器。如此，要划分的滤波器的大小可以彼此不同。

但是，当多个级中的空间滤波器的元素的数目相等时，滤波器处理单元152使用一个卷积电路重复地进行相同的处理至少两次。因此多个级中具有相同数目的元素并且具有较大大小的空间滤波器更加有效。从而，当滤波器计算单元203将大小大于模糊的第一空间滤波器的大小设定为9×9个元素时，滤波器生成单元204、403可以生成具有相同数目个元素(例如，5×5个元素)的两级空间滤波器。

<增益乘法>

此处，差的误差“e”关于由以下等式(30)表示的估计函数不变为0。从而，增益被设定并且与通过最小化估计函数以提高准确度而获得的多个级中的空间滤波器相乘。

图60是示出了当乘以增益时的校正图像的生成的图。在图60A中，滤波器处理单元152将使用每个空间滤波器处理的值乘以预定增益。即，滤波器处理单元152使用以下等式(37)和(38)来生成校正图像“x”。

在等式(37)和等式(38)中，增益1(Gain1)和增益2(Gain2)例如通过使用如图4所示的图表以最小化估计函数来获得。增益估计函数例如是表示两个方向上的MTF的距离的函数，并且最小化估计函数的增益1和增益2被获得。此外，增益的估计函数可以例如是表示两个方向中间的MTF的距离的函数。增益计算可以通过后处理单元5来进行。

图60B示出了以下示例：滤波器处理单元152将每个空间滤波器乘以增益以生成新的空间滤波器。在图60B所示的示例中，滤波器处理单元152使用以下等式(39)和(40)来生成校正图像“x”。

图61是示出了实施方式1中的滤波器处理单元的另一示例性示意配置的框图。图61所示的滤波器处理单元152包括卷积运算单元301、增益乘法单元303和减法单元302。在图61所示的配置中，相同的附图标记赋予与图40所示相同的配置。

增益乘法单元303将在划分在多个级中的每个空间滤波器的处理后的值乘以预定增益。增益乘法单元303对增益乘法前后的分辨率进行分析，其中，执行增益乘法以从后处理单元5中获取利用其最佳地改善各向异性的增益作为预定增益。

图61所示的配置基于图60A的配置，但是增益乘法单元303可以包括在卷积运算单元301中(例如，参见图60B)。

<操作>

接下来，将描述实施方式1中的图像处理单元15的操作。图62是示出了实施方式1中的滤波器生成处理的示例的流程图。图62所示的处理表示通过划分方法5进行的滤波器生成处理。

在步骤S101处，滤波器获取单元202从滤波器存储单元201获取第一空间滤波器。

在步骤S102处，确定单元231确定PSF的模糊大小。确定单元231基于使用分辨率分析而获得的长轴和短轴来确定PSF的模糊大小。此外，确定单元231可以通过如在日本公开特许公告No.2012-23498中描述的模拟来获取作为根据透镜设计值获取的结果的PSF。

在步骤S103处，滤波器计算单元402从第一空间滤波器提取元素的数目大于模糊的大小的空间滤波器，并且对有限高通滤波器进行卷积以计算第二空间滤波器(例如，F9)。

此外，滤波器计算单元402从中心元素的值为1(一)并且除了中心元素以外的元素的值为0(零)的滤波器减去第二空间滤波器来计算第三空间滤波器(例如，F9’)。

在步骤S104处，滤波器生成单元403将第三空间滤波器划分成多个空间滤波器。例如，滤波器生成单元403从第一空间滤波器提取第四空间滤波器(例如，F3)。

此外，滤波器生成单元403生成通过将元素的值的总和为0(零)并且至少两个元素为非零的有限滤波器与第四空间滤波器进行卷积而获得的滤波器(例如，F5A)。滤波器生成单元403从中心元素的值为1(一)并且除了中心元素以外的元素的值为0(零)的滤波器减去所生成的滤波器来计算第五空间滤波器(例如，F5A’)。

此外，滤波器生成单元403使用第三空间滤波器和第五空间滤波器最小化估计函数以计算第六空间滤波器(例如，F5B’)。

在步骤S105处，滤波器生成单元403确定第五空间滤波器和第六空间滤波器是否为具有预定数目个元素或更少的滤波器。当确定每个所生成的空间滤波器具有预定属两个元素或更少时(步骤S105处的“是”)，第五空间滤波器和第六空间滤波器被限定为多个级中的空间滤波器。此外，当所生成的空间滤波器中至少之一的元素数目大于预定数目，则处理行进至步骤S104。生成多个空间滤波器的上述处理被重复直到所生成的空间滤波器中的每一个变为具有预定数目个元素或更少。

接着，将描述用于确定增益的处理。图63是示出了实施方式1中的增益确定处理的示例的流程图。在图63所示的步骤S201处,图像捕获装置拍摄图表图像。

在步骤S202处，后处理单元5对校正前的分辨率进行分析。在步骤S203处，后处理单元5设定增益的初始值。

在步骤S204处，图像处理单元15将上述多个空间滤波器乘以所设定的增益所以校正图像。

在步骤S205处，后处理单元5对校正后的分辨率进行分析。在步骤S206处，后处理单元5确定增益估计函数是否变得最小。当确定增益估计函数为最小时(步骤S205处的“是”)时，处理行进至步骤S207。当增益估计函数不是最小时(步骤S205处的“否”)时，处理返回至步骤S203，并且增益被改变。

在步骤S207处，后处理单元5确定增益估计函数变得最小时的增益并且将所确定的增益设定在增益乘法单元303中。

如上所述，根据实施方式1，当使得具有分辨率各向异性的空间滤波器具有预定数目的元素时，可以防止图像的恶化。

[实施方式2]

接下来将描述实施方式2中包括图像图像处理装置的图像捕获装置。在实施方式2中，通过为提高分辨率而进行的校正加强的噪声被减小。

平坦部分以及噪声分量被包括在所捕获的图像中。因此，即使平坦部分也使得图像包括微小幅度变化。

此处，如实施方式1所示，当对图像进行校正以提高分辨率时，幅度放大的效应出现，但是包括微小幅度变化的噪声分量使得幅度被放大。因此，平坦部分处的噪声被加强。

图64是示出了分辨率被校正前后的噪声的示例的图。图64A示出了所捕获的图像的平坦部分处的噪声的示例。图64B示出了分辨率被校正之后噪声的示例。由于如图64B所示的示例中的分辨率的校正而使得噪声被加强。

使用低通滤波器来减小噪声。但是，低通滤波器对整个图像进行滤波，因此，当平坦部分的噪声要被减小时，最初想要校正的边缘部分变为平缓形状。

因此，以下变得重要：针对平坦部分和边缘部分非线性地减小噪声。存在作为已知的非线性噪声处理的核化处理(coring process)。例如，参见日本公开特许公告No.2008-199448。

在核化处理中，当输入值为阈值或更小时，使得输出为0以防止噪声被加强。此外，在核化处理中，当输入值大于阈值时，输出的幅度被减小至很小以避免间断。

在实施方式1的每个空间滤波器的滤波之后就应用核化处理的情况下，出现待解决的以下目标。

图65是示出了亮度减小的图。如图65所示,亮度在核化处理中被减小。从而，即使当核化处理被应用于实施方式1中的多个级中的空间滤波器中的任意一个时，核化处理的对于幅度的劣化的增益平衡因为空间滤波器的各向异性取决于方向而不同，因此，不能改善各向异性。

图66是用于说明根据核化处理的幅度劣化的图。应用核化处理以使得亮度值的幅度如图66所示被减小。

图67是示出了应用了核化处理的图像的分辨率分析结果的图。图67A示出了在第一级中的空间滤波器的滤波之后对亮度值应用核化处理的情况下的分辨率分析结果。图67B示出了在第二级中的空间滤波器的滤波之后对亮度值应用核化处理的情况下的分辨率分析结果。图67C示出了在第一级和第二级中的空间滤波器的滤波处理之后对亮度值应用核化处理的情况下的分辨率分析结果。

如图67所示，伴随幅度的降低的核化处理在多个级中的具有各向异性的滤波器的滤波中被应用，增益的降低取决于方向而变化，因此，不能改善各向异性。

因此，在下面要描述的实施方式2中，以以下方式关于滤波器的滤波之后的值的绝对值来确定预定增益：当该绝对值等于或小于下阈值时，增益被设定为0(零)。当绝对值等于或大于上阈值时，增益被设定为常值，并且当该绝对值位于下阈值与上阈值之间时，使得增益以逐步的方式来变化。

图68是示出了实施方式2中亮度值的输入-输出关系的示例的图。如图68所示，当输入(in(dy))位于阈值Th0或更大与阈值Th0或更小之间时，输出被设定为0(零)，并且当输入(in(dy))大于阈值Th1时，输入和输出相同。此外，当输入位于阈值Th0与阈值Th1之间时，输出以逐步的方式来变化。

<配置>

第二实施方式2中的图像捕获装置类似于实施方式1中的图像捕获装置，因此，相同的附图标记给予相同的部件以描述实施方式2。

(滤波器处理单元)

接下来，将描述实施方式2中的滤波器处理单元152。图69是示出了实施方式2中的滤波器处理单元的另一示例性示意配置的框图。将描述滤波器处理单元152。滤波器处理单元152包括卷积运算单元301、增益确定单元601、增益乘法单元602、减法单元603和滤波器分析单元604。

相同的附图标记给予实施方式2中的滤波器处理单元152的与实施方式1中图40所示的配置相同的配置。

增益确定单元601确定经过卷积的亮度值的绝对值的阈值以确定增益。随后将描述增益确定处理。

增益乘法单元602将滤波之后的亮度值乘以由增益确定单元601确定的增益。此外，当在多个级处进行卷积时，增益乘法单元602可以进行至少一次增益乘法或可以在所有多个级处进行增益乘法。

减法单元603计算被乘以增益的图像与原始图像之间的差。执行所述处理的次数等于多个级的个数。

滤波器分析单元604基于滤波器系数对多个级中的空间滤波器的滤波器的强度进行分析，并且基于分析结果来确定被乘以增益的空间滤波器。例如，滤波器分析单元604以以下方式来确定空间滤波器：经受具有滤波器的最大强度的空间滤波器的滤波的值被乘以增益。同时，滤波器分析单元604不是滤波器处理单元152所必需的部件。此外，滤波器分析单元604仅需要确定：随着最大滤波器系数与最小滤波器系数之间的差逐渐变大，滤波器的强度越强。

图70是用于说明实施方式2中的(第一)校正图像生成处理的图。在图70所示的示例中,通过将原始图像与第一级中的5×5个元素的滤波器进行卷积而获得亮度值由值(dy(in))来表示。增益确定单元601通过值(dy)来确定增益。增益乘法单元602将“dy”乘以所确定的增益。

从原始图像中减去乘以增益的“dy”。减法之后的原始图像经受第二级中的滤波。校正图像是通过将滤波器的第二级的结果从减法后的原始图像减去而生成。

图71是用于说明第二实施方式2中的增益的(第一)确定的图。如图71所示，为通过对滤波器激进行卷积而获得值的绝对值准备两个阈值(例如，Cth也指阈值识别系数)。当Cth等于或小于下阈值Th0时，增益确定单元601将增益设定为0(零)。当Cth等于或大于上阈值Th1时，增益确定单元601将增益设定为常值(例如，增益＝1)。此外，当Cth在下阈值Th0与上阈值Th1之间时，增益确定单元601将增益设定成以步进的方式来变化。结果，输入(dy)与输出(out)之间的关系如图68来表示。

<效果>

接下来，将描述根据实施方式2的效果。图72是用于说明实施方式2中的(第一)效果的图。图72所示的表达“阈值处理缺失”表示在实施方式1中执行的处理的结果。图72所示的表达“阈值处理存在”表示在实施方式2中执行的处理的结果。

如图72A所示，在幅度很大的部分，相比“阈值处理缺失”，在“阈值处理存在”中幅度劣化可以忽略。图72B是放大了幅度的变化小于阈值的部分(例如，平坦部分)的图。如图72B所示，可以看出：在平坦部分，相比在“阈值处理缺失”，在“阈值处理存在”情况下，幅度没有被加强很多。

图73是用于说明实施方式2中的(第二)效果的图。图73所示的表达“在校正之前”表示原始图像。

如图73A所示，在幅度很大的部分处，“阈值处理存在”中的分辨率相比“校正之前”中的分辨率增加。此外，如图73B所示，在平坦部分处，在“阈值处理存在”中增益被设定为零，因此，“阈值处理存在”等于“校正之前”，并且噪声不被加强。

图74是示出了第二实施方式2中的阈值处理后的图像的分辨率分析结果的图。如图74所示，存在提高取决于方向的分辨率各向异性的效果。即，在实施方式2中，在平坦部分处分辨率各向异性被改善并且噪声被防止加强。

<操作>

接下来，将描述实施方式2中的图像处理单元15的操作。图75是示出了实施方式2中的校正图像生成处理的示例的图。在图75所示的步骤S301处，卷积运算单元301对原始图像进行滤波的第一级。

在步骤S302处，增益确定单元601基于滤波器的第一级之后的值确定增益。随后将描述增益确定处理。

在步骤S303处，增益乘法单元602将值(dy)乘以在增益确定单元601中确定的增益。

在步骤S304处，减法单元603从原始图像减去乘以增益的值(dy)。

在步骤S305处，卷积运算单元301对进行减法的原始图像进行滤波的第二级。

在步骤S306处，减法单元603从进行减法的原始图像减去滤波的第二级的结果以生成校正图像。

虽然在上述处理中是在滤波的第一级之后乘以增益，但是还可以在滤波的第二级之后或每次滤波之后乘以增益，如随后所描述的。

图76是示出了实施方式2中(第一)增益确定处理的示例的图。在如图76所示的步骤S401处，增益确定单元601获得经受了卷积的值(dy)的绝对值(Cth)。

在步骤S402处，增益确定单元601确定绝对值(Cth)是否等于或大于上阈值Th1。当确定Cth等于或大于Th1(Cth≥Th1)时(步骤S402处的“是”)，处理行进至步骤S403。当Cth小于Th1(Cth<Th1)时(步骤S402处的“否”)，处理行进至步骤S404。

在步骤S403处，增益确定单元601将输出增益(Gain_th)设定为“Gain”。“Gain”是预设值，并且可以例如是1(一)。

在步骤S404处，增益确定单元601确定绝对值(Cth)是否等于或大于下阈值Th0。当确定Cth等于或大于Th0(Cth≥Th0)时(步骤S404处的“是”)，处理行进至步骤S405。当Cth小于Th0(Cth<Th0)时(步骤S404处的“否”)，处理行进至步骤S406。

在步骤S405处，增益确定单元601从以下等式41获得输出增益(Gain_th)。

Gain_th＝(Cth-Th0)/Th1×Gain···(41)

在步骤S406处，增益确定单元601将输出增益(Gain_th)设定为0(零)。

图77是示出了实施方式2中(第二)增益确定处理的示例的图。在如图77所示的步骤S501处，增益确定单元601获得经受了卷积的值(dy)的绝对值(Cth)。

在步骤S502处，增益确定单元601确定绝对值(Cth)是否等于或大于下阈值Th0。当确定绝对值(Cth)等于或大于阈值Th0(Cth≥Th0)时(步骤S502处的“是”)，处理行进至步骤S503。当确定绝对值(Cth)小于阈值Th0(Cth<Th0)时(步骤S502处的“否”)，处理行进至步骤S504。

在步骤S503处，增益确定单元601从以下等式42获得输出增益(Gain_th)。

Gain_th＝(Cth-Th0)×Keisya···(42)

其中，输出增益(Gain_th)以MAX值截断。Keisya＝1/(Th1-Th0)×Gain

在步骤S504处，增益确定单元601将输出增益(Gain_th)设定为零(0)。

如上所述，根据实施方式2，在平坦部分处，分辨率各向异性可以被提高并且可以防止噪声被加强。

(实施方式2的修改示例)

首先将描述实施方式2中的增益处理的其他配置。图78是用于说明实施方式2中的(第二)校正图像生成处理的图。在图78所示的示例中，通过将第二级中的5x5元素的滤波器与进行减法的原始图像进行卷积而获得的亮度值由值(dy(in))来表示。增益确定单元601根据“dy”的值来确定增益。增益乘法单元602将(dy)乘以所确定的增益。

从原始图像减去经受了滤波的第一级之后的图像。减法之后的原始图像经受滤波的第二级。滤波的第二级之后的亮度值被乘以增益。校正图像是通过从减法之后的原始图像减去增益乘法之后的图像而生成。

具有较大强度的滤波器是由滤波器分析单元604基于滤波器系数来确定，并且增益确定单元601和增益乘法单元602可以在由滤波器分析单元604确定的滤波器经受了滤波之后分别进行增益确定和增益乘法。

图79是用于说明实施方式2中的(第三)校正图像生成处理的图。在图79所示的示例中，通过将第一级中的5x5个元素的滤波器与原始图像进行卷积而获得的亮度值由值(dy)来表示，并且通过将第二级中的5x5个元素的滤波器与进行减法处理的原始图像进行卷积而获得亮度值由值(dy’(in))表示。增益确定单元601根据值(dy)和值(dy’)的值来确定增益。增益乘法单元602将值(dy)和值(dy’)乘以所确定的每个增益。

滤波的第一级之后的值(dy)被乘以增益，然后从原始图像减去该值。减法之后的原始图像经受滤波的第二级。滤波的第二级之后的值(dy’)被乘以增益。校正图像是通过从减法之后的原始图像减去增益乘法之后的图像而生成。同时，图79所示的示例可以在以下情况下应用：第一级和第二级中的滤波器的强度是大约相同的强度程度。

图80是用于说明实施方式2中的(第四)校正图像生成处理的图。在图80所示的示例中，通过将第一级中的5x5元素的滤波器与原始图像进行卷积而获得的亮度值由值(dy)来表示。增益确定单元601根据值(dy)来确定增益。增益乘法单元602将(dy)乘以所确定的增益。

在该情况下,当校正图像的加强程度被控制时，增益值可以在第一级和第二级中变得相同。因此，例如，当增益处理仅在第一级滤波中执行时，增益乘法单元602需要仅乘以滤波的第二级中与滤波的第一级相同的最大增益(Gain)。

此外，当增益处理仅在第二级滤波中执行时，增益乘法单元602需要仅乘以滤波的第一级中与滤波的第二级相同的最大增益(Gain)。此外，当增益处理在第一级滤波和第二级滤波两者中执行时，增益确定单元601需要使得第一级滤波与第二级滤波两者中的最大增益(Gain)相同。

图81是用于说明实施方式2中的增益确定的另一个示例的图。图81A是用于说明实施方式2中的(第二)增益确定的图。存在以下情况：下阈值(Th0)被设定为0(零)，如图81A所示。

图81B是用于说明实施方式2中的(第三)增益确定的图。如图81B所示，当最上阈值Th2被限定并且绝对值(Cth)变得等于或大于最上阈值Th2时，增益确定单元601可以以步进的方式来确定增益。

[实施方式3]

接下来，将描述实施方式3中的图像处理装置。在实施方式3中，使得实施方式1或实施方式2的由上述系数分析单元10进行的处理和图像处理单元15的处理例如通过CPU或DSP分别来执行。

<配置>

图82是示出了实施方式3中图像处理装置的示例性示意配置的框图。图82所示的图像处理装置包括控制单元702、主存储单元704、辅助存储单元706、通信单元708、记录介质I/F单元710和相机I/F单元712。每个单元被连接以能够通过总线彼此发送和接收数据。图像处理装置可以配备有信息处理功能例如PC(个人计算机)、服务器、智能手机和平板电脑终端。

控制单元720例如可以是CPU(中央处理单元)，其在计算机中控制各个装置或操作或利用数据。此外，控制单元702可以是执行存储在主存储单元704或辅助存储单元706中的程序的操作装置。

此外，控制单元702可以执行存储在辅助存储单元706中的用于系数分析处理或图像处理的程序以执行如上所述的每个处理。

主存储单元704可以包括例如ROM(只读存储器)或RAM(随机存取存储器)，并且是临时存储如应用软件等数据或程序或作为由控制单元702执行的基本软件的OS的存储装置。

辅助存储单元706可以包括例如HDD(硬盘驱动器)，并且可以是存储与例如应用软件相关的数据的存储装置。此外，辅助存储单元706可以存储从例如记录介质714获取的用于系数分析处理或图像处理的程序。

通信单元708可以进行有线或无线通信。通信单元708可以从例如服务器获取多个图像，并且例如将所述多个图像存储在辅助存储单元706中。

记录介质I/F(接口)单元710是通过如USB(通用串行总线)等数据输出路径而连接的记录介质714(例如，闪存)与图像处理装置之间的接口。

此外，在实施方式1和实施方式2中描述的图像处理程序或系数分析程序可以存储在记录介质714中，并且存储在记录介质714中的程序可以通过记录介质I/F单元710安装在图像处理装置。从而，所安装的系数分析程序和图像处理程序可以由图像处理装置来执行。

相机I/F单元712是与相机716进行通信的接口。从相机716捕获的要校正的图表或普通图像由相机I/F单元712从相机716获取，并且存储在例如辅助存储单元706中。

相机716可以拍摄如图6所示的图表或普通场景和人物。所拍摄的图像由图像处理装置通过相机I/F单元712来接收。同时，相机716可以构建在图像处理装置中。

从而，图像处理装置可以获取图表并且计算每个位置处的空间滤波器以使用所计算的空间滤波器来校正要校正的图像。

因此，用于实施系数分析处理或图像处理的程序可以存储在记录介质714中以使得计算机执行上述系数分析处理或图像处理。

例如，程序可以存储在记录介质中，并且记录有程序的记录介质可以允许由例如计算机、便携式终端、智能手机和平板电脑终端来读取以实施系数分析处理或图像处理。

此外，记录介质可以包括各种记录介质，其中，信息被光学地、电子、或磁地由例如CD-ROM、软盘、光磁盘以及半导体存储器来记录。记录介质还可以包括ROM和闪存，其中，信息被电子记录。此外，记录介质不包括瞬态介质如载波。

此外，可以使用图83至图85所示的图表作为示例性图表。图83是示出了(第一)图表的示例的图。在图83所示的图表中，可以在至少两个方向上分析分辨率。

图84是示出了其中分辨率在所有方向上径向地被分析的(第二)图表的示例的图。图84所示的图表适于分辨率分析。

图85示出了其中中心部分的分辨率与外侧部分的分辨率不同的(第三)图表的示例的图。尽管图84所示的图表适于分析，但是分辨率各向异性还可以使用图83或图85所示的图表来分析。

本文所引用的所有示例和条件性语言意在于教学目的以帮助读者理解本发明以及本发明人对进一步促进本领域技术而贡献的概念，并且应该被解释为不限于这样的具体列出的示例和条件，也不不限于说明书中这样的示例的与表明本发明的优势和劣势相关的组织形式。尽管已经详细描述了本发明的实施方式，但是应当理解，在不背离本发明的精神和范围的情况下，可以对其做出各种改变、替换和替代等。

Claims (11)

1.一种图像处理装置，包括：

计算单元，其被配置成：使用有限的第一空间滤波器和其中元素的总和值为零并且至少两个元素具有非零值的有限滤波器来计算第二空间滤波器，其中，所述第一空间滤波器具有图像的分辨率各向异性，所述第二空间滤波器的元素数目大于所述图像的模糊大小；以及

生成单元，其被配置成：根据所述第二空间滤波器生成具有预定数目或少于预定数目个元素的多个空间滤波器。

2.根据权利要求1所述的图像处理装置，

其中，所述生成单元被配置成：根据通过从其中中心元素的值为1并且中心元素以外的元素的值为0的滤波器减去所述第二空间滤波器而计算出的第三空间滤波器生成所述多个空间滤波器。

3.根据权利要求2所述的图像处理装置，

其中，所述生成单元被配置成：通过将使用从所述第一空间滤波器提取的第四空间滤波器和其中元素的值的总和为0并且至少两个元素具有非零值的有限滤波器而生成的滤波器从其中中心元素的值为1并且中心元素以外的元素的值为0的另一滤波器减去，来计算第五空间滤波器，以及

所述生成单元使用所述第五空间滤波器和所述第三空间滤波器来生成所述多个空间滤波器。

4.根据权利要求3所述的图像处理装置，

其中，所述生成单元被配置成：计算第六空间滤波器，使得所述第三空间滤波器与通过使用所述第五空间滤波器和第六空间滤波器而生成的滤波器之间的差变为最小值，以及

当大小大于元素的所述预定数目的所述第五空间滤波器或所述第六空间滤波器出现时，所述生成单元重复所述多个空间滤波器的生成，直到所述第五空间滤波器和所述第六空间滤波器中的每一个的大小变为元素的所述预定数目或小于所述预定数目。

5.根据权利要求1所述的图像处理装置，还包括确定单元，所述确定单元被配置成通过所述图像的模糊函数来确定模糊大小，

其中，所述计算单元被配置成：计算元素数目的大小大于所述确定单元所确定的所述模糊大小的所述第二空间滤波器。

6.根据权利要求1所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元被配置成：对输入图像进行滤波，并且将所述滤波器处理后的图像从所述输入图像中减去以生成校正图像。

7.根据权利要求2所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元被配置成：使用所述多个空间滤波器对输入图像进行滤波以生成校正图像。

8.根据权利要求6所述的图像处理装置，还包括乘法单元，所述乘法单元被配置成：使在所述多个空间滤波器的任意滤波器的所述滤波后获得的值乘以预定增益。

9.根据权利要求8所述的图像处理装置，还包括增益确定单元，所述增益确定单元被配置成：当所述滤波后的值的绝对值等于或小于下阈值时，将所述增益设定为0；当所述绝对值等于或大于上阈值时，将所述增益设定为常数，以及

其中，所述增益确定单元还被配置成：当所述绝对值落在所述下阈值与所述上阈值之间时，允许所述增益步进式地变化，从而确定所述预定增益。

10.根据权利要求9所述的图像处理装置，还包括分析单元，所述分析单元被配置成：根据通过基于滤波器系数对所述滤波器的强度进行分析而获得的结果，在所述多个空间滤波器中确定用于乘以增益的目标空间滤波器。

11.一种信息处理方法，包括：

使用具有图像的分辨率各向异性的有限的第一空间滤波器和其中元素的总和的值为0并且至少两个元素具有非零值的有限滤波器来计算元素数目的大小大于图像的模糊大小的第二空间滤波器；以及

根据所述第二空间滤波器生成具有预定数目个元素或少于预定数目个元素的多个空间滤波器。