CN105009579B - 复原滤波器生成装置和方法、图像处理装置和方法以及摄像装置 - Google Patents

Abstract

得到多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据，并取得对该亮度系图像数据实施复原处理的数码相机(2)的光学系统(17)的调制传递函数MTF。基于调制传递函数MTF，生成用于对亮度系图像数据的复原处理的复原滤波器(12)。复原滤波器(12)以将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的方式生成。由此，防止各色的图像的MTF值的过度校正。

Description

复原滤波器生成装置和方法、图像处理装置和方法以及摄像 装置

技术领域

本发明涉及生成用于复原处理的复原滤波器的复原滤波器生成装置和方法、使用该复原滤波器来进行复原处理的图像处理装置和方法、具备该图像处理装置的摄像装置以及用于生成复原滤波器的程序、记录介质。

背景技术

在利用数码相机等摄像装置对被摄体进行摄像而得到的图像中，有时产生由光学系统(摄影透镜等)的各种像差引起的图像劣化。该由像差引起的图像劣化能够利用点像分布函数(PSF：Point Spread Function)等来表示。因此，通过基于PSF等光学系统的劣化特性而生成复原滤波器，使用该复原滤波器对图像数据实施点像复原处理(复原处理)，能够降低图像劣化。

这种点像复原处理大致区分为频率复原处理和相位复原处理。频率复原处理使因光学系统而劣化的图像的调制传递函数(MTF：Modulation Transfer Function)特性均衡。相位复原处理通过依赖频率而使像移动以使非对称的PSF形状尽可能复原为点。

此时，摄影透镜等光学系统的像差因波长而不同，因此优选为，对应RGB的各色的图像使用不同的复原滤波器来进行点像复原处理。然而，由于按照颜色的处理的运算负载较大，因此考虑仅对视觉效果变大的亮度成分进行点像复原处理。在该情况下，对于亮度的PSF形状不能定义，因此需要考虑一些基准而以不会对复原性能产生不良影响的方式寻找折中点。

专利文献1记载的图像处理装置算出对于RGB的各色的PSF，利用预先设定的各色的权重系数对各色的PSF进行合成而算出对于亮度系图像(也称作亮度成分图像)的PSF，基于该PSF，生成对于亮度系图像的复原滤波器。并且，在该图像处理装置中，在使用复原滤波器对亮度系图像实施点像复原处理之后，基于复原处理后的亮度系图像和非点像复原处理对象的色差系图像(也称作颜色成分图像)而生成RGB图像。由此，能够使伪色等图像劣化降低。

现有技术文献

专利文献

专利文献1：日本特开2010-140442号公报

发明内容

发明要解决的课题

专利文献1的图像处理装置能够使RGB图像平均地均衡(使MTF值与1.0一致；均衡(equalize))。然而，专利文献1的图像处理装置仅对亮度系图像进行点像复原处理，因此在特定的波长(颜色)中可能产生过度校正。在此所谓的过度校正是指与点像复原处理后的亮度系图像对应的RGB图像中的至少任一个的MTF值比1.0大(参照图10的(D))。

本发明的目的在于提供在对亮度系图像实施复原处理时生成能够防止各色的图像的MTF值的过度校正的复原滤波器的复原滤波器生成装置和方法、使用该复原滤波器来进行复原处理的图像处理装置和方法、具备该图像处理装置的摄像装置以及用于生成复原滤波器的程序、记录介质。

用于解决课题的手段

用于实现本发明的目的的复原滤波器生成装置生成复原滤波器， 上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述复原滤波器生成装置具备：MTF获取单元，取得光学系统的调制传递函数MTF；及复原滤波器生成单元，基于MTF获取单元所取得的调制传递函数MTF，生成将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器。

根据本发明，将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值在至少特定的空间频率以下的区域内抑制为1.0以下。

优选为，MTF获取单元对应多个颜色的每色取得调制传递函数MTF，复原滤波器生成单元对应每个空间频率从各色的调制传递函数MTF中选择MTF值的最大值，基于该每个空间频率的MTF值的最大值来确定维纳滤波的频率特性，并生成在亮度系中实现该频率特性的复原滤波器。由此，能够期待将与点像复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值抑制为1.0以下的一定的效果。

优选为，具备放大率获取单元，取得与复原处理后的亮度系图像数据的每个空间频率的MTF值的放大率对应的、对该亮度系图像数据进行逆转换处理而生成的多个颜色的各色的图像数据的每个空间频率的MTF值的放大率，MTF获取单元对应多个颜色的每色取得调制传递函数MTF，复原滤波器生成单元基于各色的调制传递函数MTF，分别求算各色用的复原滤波器的频率特性，并基于这些频率特性，对应每个空间频率选择各色用的复原滤波器的放大率的最小值，并基于该每个空间频率的放大率的最小值和放大率获取单元的取得结果，生成复原滤波器。由于能够使用每个空间频率对应于MTF值较低的颜色而设 计的复原滤波器来进行复原处理，因此能够将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值抑制为1.0以下。另外，能够防止由于在特定的空间频率中对应于MTF较高的颜色而设计的复原滤波器的频率特性而使其它颜色中的噪声放大的情况。

优选为，多个颜色的图像数据包含RGB的各色的图像数据，具备放大率获取单元，取得与复原处理后的亮度系图像数据的每个空间频率的MTF值的放大率对应的、对该亮度系图像数据进行逆转换处理而生成的多个颜色的各色的图像数据的每个空间频率的MTF值的放大率，MTF获取单元对应多个颜色的每色取得调制传递函数MTF，复原滤波器生成单元基于RGB的各色的调制传递函数MTF和放大率获取单元的取得结果，算出满足复原处理后的各色的图像数据的MTF值为1.0以下这一条件的维纳滤波的滤波系数，并基于该滤波系数生成复原滤波器。由此，能够将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值抑制为1.0以下。另外，能够稍微允许特定颜色的噪声增强，并平均地进行最佳的频率复原，并且能够保证在全部颜色中不产生MTF值的过度的增强。

优选为，多个颜色的图像数据包含RGB的各色的图像数据，MTF获取单元取得G色的调制传递函数MTF，复原滤波器生成单元基于MTF获取单元所取得的G色的调制传递函数MTF确定维纳滤波的频率特性，并生成在亮度系中实现该频率特性的复原滤波器。能够期待将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的一定的效果。另外，能够使复原滤波器的生成所需的运算处理简化。此外，即使不取得对于光学系统的全部颜色的调制传递函数MTF，也能够进行复原滤波器的生成。

优选为，特定的空间频率为摄像单元所含的摄像元件的奈奎斯特频率的一半以下。在该情况下，在摄像元件的奈奎斯特频率的一半以 下的频率区域中，光学系统的G色的调制传递函数MTF比其他颜色的调制传递函数MTF高。

优选为，MTF获取单元取得具有对相位进行调制而使景深扩大的透镜部的光学系统的调制传递函数MTF。由此，对于EDoF系统的复原处理，也能够在被扩大的景深(焦深)的范围内进行良好的图像复原。

另外，本发明的一方式所涉及的图像处理装置具备：图像数据生成单元，基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；复原滤波器存储单元，存储由上述的各方式所涉及的复原滤波器生成装置生成的复原滤波器；及复原处理单元，使用存储于复原滤波器存储单元的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理。

另外，本发明的摄像装置具备：摄像单元，具有光学系统且输出多个颜色的每色的图像数据；及上述的方式所涉及的图像处理装置。

另外，本发明的复原滤波器生成方法生成复原滤波器，上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述复原滤波器生成方法具有：MTF获取步骤，取得光学系统的调制传递函数MTF；及复原滤波器生成步骤，基于由MTF获取步骤所取得的调制传递函数MTF，生成将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器。

另外，本发明的一方式所涉及的图像处理方法具有：图像数据生 成步骤，基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；及复原处理步骤，使用由上述的方式所涉及的复原滤波器生成方法生成的复原滤波器，对由图像数据生成步骤生成的亮度系图像数据实施复原处理。

另外，本发明的程序用于生成复原滤波器，上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述程序使计算机执行如下步骤：MTF获取步骤，取得光学系统的调制传递函数MTF；及复原滤波器生成步骤，基于由MTF获取步骤所取得的调制传递函数MTF，生成将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器。

发明效果

本发明的复原滤波器生成装置和方法、图像处理装置和方法、摄像装置以及程序生成将与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器，或者进行使用了该复原滤波器的复原处理，因此在进行对亮度系图像数据的复原处理的情况下，也能够防止各颜色的图像的MTF值的过度校正。

附图说明

图1是从复原滤波器生成装置和该复原滤波器生成装置取得复原滤波器而进行点像复原处理的数码相机的图。

图2是数码相机的后视立体图。

图3是表示数码相机和复原滤波器生成装置的电气结构的框图。

图4是数码相机的图像处理电路的功能框图。

图5是用于对点像复原处理进行说明的说明图。

图6是用于对复原滤波器生成处理进行说明的说明图。

图7是表示复原滤波器的生成处理的流程的流程图。

图8是表示数码相机的摄影处理的流程的流程图。

图9是用于对点像复原处理进行说明的说明图。

图10是用于对使用以往的复原滤波器来进行点像复原处理的比较例进行说明的说明图。

图11是表示第二实施方式的复原滤波器生成装置的电气结构的框图。

图12是用于对放大率获取部进行说明的说明图。

图13是用于对第二实施方式的复原滤波器生成处理进行说明的说明图。

图14是表示第二实施方式的复原滤波器的生成处理的流程的流程图。

图15是用于对第二实施方式的作用效果进行说明的说明图。

图16是用于对第三实施方式的复原滤波器进行说明的说明图。

图17是表示第三实施方式的复原滤波器生成装置的电气结构的框图。

图18是表示第三实施方式的复原滤波器的生成处理的流程的流程图。

图19是用于对第三实施方式的作用效果进行说明的说明图。

图20是表示第四实施方式的复原滤波器生成装置的电气结构的框图。

图21是用于对第四实施方式的复原滤波器生成处理进行说明的说明图。

图22是表示第四实施方式的复原滤波器的生成处理的流程的流程图。

图23是表示具备EDoF光学系统的摄像模块的电气结构的框图。

图24是EDoF光学系统的概略图。

图25是表示由构成摄像模块的复原处理部进行的复原处理的流程的流程图。

图26是智能手机的立体图。

图27是表示智能手机的电气结构的框图。

具体实施方式

[第一实施方式]

＜数码相机的结构＞

在图1和图2中，数码相机2与本发明的摄像装置相当。在该数码相机2的相机主体3的前表面，设有包含光学系统等的镜头镜筒4、闪光发光部5等。在相机主体3的上表面，设有快门按钮6、电源开关7等。

在相机主体3的背面设有显示部8和操作部9等。显示部8在摄影待机状态时作为电子取景器而发挥功能，并显示即时预览图像(也称作实时取景图像)。另外，在重放图像时，基于记录于存储卡10的图像数据，在显示部8对图像进行重放显示。

操作部9由模式切换开关、十字键、执行键等构成。模式切换开关在对数码相机2的动作模式进行切换时被操作。数码相机2具有对被摄体进行摄像而得到摄影图像数据的摄影模式、基于摄影图像数据而进行重放显示的重放模式等。

在显示部8显示各种菜单画面、设定画面时，或者使显示于这些菜单画面、设定画面内的光标移动时，或者对数码相机2的各种设定进行确定时等，操作十字键、执行键。

在相机主体3的底面，虽然省略图示，但是设有装填存储卡10的卡插槽和对该卡插槽的开口进行开闭的装填盖。将对被摄体进行摄像而得到的摄影图像数据作为各种文件形式的图像文件而记录于存储卡10。

上述结构的数码相机2为了降低由光学系统的各种像差产生的图像劣化，而使用从复原滤波器生成装置11取得的复原滤波器12来进行点像复原处理。另外，数码相机2的复原滤波器12的取得由相机制造商进行。

如图3所示，数码相机2的相机CPU(Central Processing Unit)13基于来自操作部9的控制信号，依次执行从存储器14读出的各种程序、数据，对数码相机2的各部集中地进行控制。

在与本发明的复原滤波器存储单元相当的存储器14的ROM(Read Only Memory：只读存储器)区域，除了存储上述的各种程序，还存储从复原滤波器生成装置11取得的复原滤波器12。另外，存储器14的RAM(Random Access Memory：随机存取存储器)区域作为相机CPU13用于执行处理的工作存储器、各种数据的暂时保存处而发挥功能。

在镜头镜筒4装入有由变焦透镜15和聚焦透镜16等构成的光学系统17。变焦透镜15和聚焦透镜16分别由变焦机构19、聚焦机构20所驱动，并沿光学系统17的光轴OA前后移动。

机械快门18具有移动部(图示省略)，该移动部在阻止被摄体光向彩色摄像元件23的入射的封闭位置和允许被摄体光的入射的开放位置之间移动。机械快门18通过使移动部向各位置移动，而将从光学系统17到达彩色摄像元件23的光路开放/隔断。另外，在机械快门18含有对向彩色摄像元件23入射的被摄体光的光量进行控制的光圈。机械快门18、变焦机构19和聚焦机构20经由镜头驱动器24而由相机CPU13进行动作控制。

在光学系统17的背后配置有单板式的彩色摄像元件23。在彩色摄像元件23的摄像面形成有以预定的图案排列(拜尔排列、G条纹R/G完全交错相间的棋盘格纹、X-Trans排列(注册商标)、蜂窝排列等) 配置成矩阵状的多个像素。各像素包含微透镜、滤色器(在本例中为R(红)G(绿)B(蓝)滤色器)和光电二极管而构成。彩色摄像元件23与光学系统17一起构成本发明的摄像单元，利用光学系统17将成像于摄像面的被摄体像转换为电输出信号而输出。另外，作为彩色摄像元件23，使用CCD(Charge Coupled Device：电荷耦合元件)彩色摄像元件、CMOS(Complementary Metal Oxide Semiconductor：互补性金属氧化物半导体)彩色摄像元件等各种摄像元件。摄像元件驱动器25在相机CPU13的控制下对彩色摄像元件23的驱动进行控制。

信号调整电路28对从彩色摄像元件23输出的输出信号实施各种信号调整处理，而生成与彩色摄像元件23的滤色器排列相称的RGB的马赛克图像数据R1、G1、B1(参照图4)。另外，在彩色摄像元件23是CCD型的情况下，信号调整电路28例如由CDS/AGC(CorrelatedDouble Sampling/Automatic Gain Control：相关双采样/自动增益控制)电路、A/D转换电路等构成，在是CMOS型的情况下，信号调整电路28例如由放大器等构成。

＜图像处理电路的结构＞

图像处理电路29与本发明的图像处理装置相当。该图像处理电路29对从信号调整电路28输入的马赛克图像数据R1、G1、B1实施黑电平调整处理、白平衡校正处理、伽马校正处理、去马赛克处理、YC转换处理、点像复原处理等，而生成亮度系图像数据Y和色差系图像数据Cb、Cr(参照图4)。亮度系图像数据Y和色差系图像数据Cb、Cr暂时性地存储于存储器14的VRAM(Video Random Access Memory：视频随机访问存储器)区域(也可以另行设置VRAM)。

VRAM区域具有存储连续的2场图像量的即时预览图像用的存储器区域。存储于VRAM区域的亮度系图像数据Y和色差系图像数据Cb、Cr依次向显示部8输出。由此，在显示部8显示即时预览图像。

在摄影模式中按下快门按钮6时，压缩扩展处理电路31对存储于VRAM区域的亮度系图像数据Y和色差系图像数据Cb、Cr实施压缩处理。另外，压缩扩展处理电路31对经由介质I/F32从存储卡10得到的压缩图像数据实施扩展处理。介质I/F32进行对存储卡10的压缩图像数据的记录和读出等。

如图4所示，图像处理电路29主要具有输入部35、去马赛克处理部36、转换部(图像数据生成单元)37和点像复原处理部(复原处理单元)38。另外，图像处理电路29也具有进行白平衡校正处理、伽马校正处理等的校正处理部，但是为了防止说明的复杂化，省略对这些校正处理部的图示、说明。

输入部35将从信号调整电路28输入的RGB的各颜色的马赛克图像数据R1、G1、B1向去马赛克处理部36输出。即，输入部35作为被输入通过彩色摄像元件23的摄像得到的各颜色的图像数据的输入I/F而发挥功能。

去马赛克处理部36基于各颜色的马赛克图像数据R1、G1、B1，进行对应每个像素算出RGB的全部的颜色信息(以去马赛克算法的方式进行转换)的去马赛克处理(也称作去马赛克算法处理)，而生成由RGB的三面的颜色数据构成的RGB图像数据R2、G2、B2。去马赛克处理部36将RGB图像数据R2、G2、B2向转换部37输出。

转换部37对RGB图像数据R2、G2、B2实施YC转换处理，而生成亮度系图像数据Y和色差系图像数据Cb、Cr。亮度系图像数据Y例如根据式[Y＝0.3R+0.6G+0.1B]而生成。在该式中，G色的贡献率为60％，因此G色与R色(贡献率30％)、B色(贡献率10％)相比贡献率高。因此，G色成为三原色中最有助于亮度信号的颜色。

在此，在本实施方式中，作为亮度系图像数据Y，列举由“Y、 Cb、Cr”表示的颜色空间的亮度信号的值为例进行了说明，但是，只要是有助于图像的亮度的数据，则不特别限定，是指具有与拍摄到的图像的与亮度相关的信息的各种数据。例如，能够列举CIELAB(Commission internationale de l'eclairage：国际照明委员会)颜色空间中的表示明亮度L的数据、用于得到亮度信号的贡献率最高的数据、与最有助于亮度的颜色的滤色器对应的数据等。

点像复原处理部38读出存储于存储器14的复原滤波器12，使用该复原滤波器12对亮度系图像数据Y进行点像复原处理(本发明的复原处理)。该点像复原处理为了降低运算处理的负载而仅对视觉效果变大的亮度系图像数据Y进行。通过进行点像复原处理，能够如图5所示修正图像的模糊。

如图5的(A)所示，透过光学系统17后的点像(光学像)作为较大的点像(模糊的图像)而成像于彩色摄像元件23的摄像面，但是通过点像复原处理，复原为图5的(B)所示的较小的点像(具有高分辨率的图像)。

另外，如上所述，点像复原处理大致区分为频率复原处理和相位复原处理。在此，本申请的目的在于在对亮度系图像数据Y实施点像复原处理的情况下防止RGB的各色的图像的MTF值的过度校正，因此作为点像复原处理仅对频率复原处理进行说明，省略对相位复原处理的说明。

＜复原滤波器生成装置的结构＞

返回到图3，复原滤波器生成装置11生成用于数码相机2的点像复原处理的复原滤波器12。该复原滤波器生成装置11具备装置CPU40、操作部41、储存器43和通信I/F44。

装置CPU40基于输入到操作部41的操作指示，从储存器43适当 地读出各种程序而执行，从而对装置整体进行集中控制。另外，操作部41例如是键盘、鼠标。

在储存器43存储有与本发明的程序相当的复原滤波器生成程序46、与光学系统17的RGB的各色的调制传递函数MTF相当的镜头MTF47R、47G、47B等。

通信I/F44与对光学系统17的镜头MTF进行测定的MTF测定装置49连接。在此，关于由MTF测定装置49对镜头MTF47R、47G、47B的测定方法，是公知技术，因此省略具体的说明。通信I/F44在装置CPU40的控制下，从MTF测定装置49取得与光学系统17对应的镜头MTF47R、47G、47B，并存储于储存器43内。

另外，通信I/F44能够经由各种通信线缆、通信线路(包含无线)而与数码相机2的通信I/F(省略图示)连接，并将由装置CPU40生成的复原滤波器12发送到数码相机2。由此，在数码相机2的存储器14内存储复原滤波器12。

＜复原滤波器的生成处理＞

在利用操作部41进行复原滤波器生成操作的情况下，装置CPU40从储存器43读出并执行复原滤波器生成程序46，从而作为MTF获取部50、复原滤波器生成部(复原滤波器生成单元)51而发挥功能。

MTF获取部50与上述的通信I/F44一起作为本发明的MTF获取单元而发挥功能，将存储于储存器43的RGB的各色的镜头MTF47R、47G、47B向复原滤波器生成部51输出。

复原滤波器生成部51基于镜头MTF47R、47G、47B，生成抑制与点像复原处理后的亮度系图像数据Y对应的RGB图像数据(以下，简单称作“复原RGB图像数据”)的MTF值的过度校正那样的复原 滤波器12。在此，复原RGB图像数据与将点像复原处理后的亮度系图像数据Y和非点像复原处理对象的色差系图像数据Cb、Cr逆转换为RGB图像数据所得到的数据相当。另外，抑制复原RGB图像数据的MTF值的过度校正是将复原RGB图像数据的MTF值抑制为1.0以下。以下，使用图6，对由复原滤波器生成部51进行的复原滤波器12的生成具体地进行说明。另外，镜头MTF、复原滤波器表示为二维的空间频率的函数，但是为了防止附图的复杂化，在本说明书中表示为一维的空间频率的函数。

如图6的(A)所示，复原滤波器生成部51基于镜头MTF47R、47G、47B的频率特性(空间频率-MTF值)，对镜头MTF47R、47G、47B的每个空间频率的MTF值的大小进行比较。在此，镜头MTF的频率特性表示空间频率与根据空间频率而变化的MTF值的关系，空间频率越高，MTF值越低。并且，如图6的(B)所示，复原滤波器生成部51对应每个空间频率从各色的镜头MTF47R、47G、47B中选择MTF值的最大值(由实线显示)，求算最大镜头MTF。具体来说，在将镜头MTF47R、47G、47B的频率特性分别设为MTF_R(ω_x，ω_y)、MTF_G(ω_x，ω_y)、MTF_B(ω_x，ω_y)的情况下，复原滤波器生成部51利用下述式(1)求算最大镜头MTF的频率特性即MTF(ω_x，ω_y)。

[数学式1]

MTF(ω_x，ω_y)＝max{MTF_R(ω_x，ω_y)，MTF_G(ω_x，ω_y)，MTF_B(ω_x，ω_y)}…(1)

接下来，如图6的(C)所示，复原滤波器生成部51基于最大镜头MTF(MTF(ω_x，ω_y))，运算用于生成复原滤波器的维纳滤波的运算式。由此，确定维纳滤波的频率特性(空间频率-放大率)。在此，维纳滤波的频率特性表示空间频率和与每个空间频率的MTF值的降低对应的放大率的关系的特性。该维纳滤波是与最大镜头MTF对应的复原滤波器，因此，在此确定与最大镜头MTF对应的复原滤波器的频率 特性。另外，维纳滤波的运算式本身是公知的(例如，参照后述的式(8)、(9))，使用该运算式来确定与镜头MTF对应的复原滤波器的频率特性的方法也是公知，因此在此省略具体的说明。

如图6的(D)所示，基于与最大镜头MTF对应的维纳滤波的频率特性，确定在亮度系中实现该频率特性的复原滤波器12的滤波系数。另外，对于根据频率特性(空间频率-放大率)对实现该频率特性的复原滤波器(滤波系数)进行设计的方法，能够使用公知的各种方法。

在此，对于亮度系的复原滤波器12，根据对亮度的镜头MTF而生成为优选，但是难以准确地求算对亮度的镜头MTF。因此，在本实施方式中，替代对亮度的镜头MTF，使用图6的(B)所示的最大镜头MTF来生成亮度系的复原滤波器12。复原滤波器12在各空间频率中按照色别确定与频率响应最高的MTF值对应的校正量(放大率)，因此至少防止对点像复原处理后的亮度系图像数据Y的RGB信号成分(Y＝0.3R+0.6G+0.1B)的过度校正。

复原滤波器生成部51所生成的复原滤波器12经由通信I/F44输出到数码相机2后存储于存储器14内。

＜第一实施方式的复原滤波器生成装置的作用＞

接下来，对上述结构的数码相机2和复原滤波器生成装置11的作用进行说明。首先，对由复原滤波器生成装置11进行的复原滤波器12的生成处理进行说明。另外，在开始复原滤波器12的生成处理之前，执行由MTF测定装置49进行的镜头MTF47R、47G、47B的测定和各镜头MTF47R、47G、47B向储存器43内的存储。

当利用操作部41进行复原滤波器生成操作时，装置CPU40读出并执行储存器43内的复原滤波器生成程序46，从而作为MTF获取部50、复原滤波器生成部51而发挥功能。

如图7所示，MTF获取部50从储存器43取得镜头MTF47R、47G、47B，并将这些镜头MTF47R、47G、47B向复原滤波器生成部51输出(步骤S1，MTF获取步骤)。

如上述的图6的(A)、(B)和式(1)所示，复原滤波器生成部51对应每个空间频率从各色的镜头MTF47R、47G、47B中选择MTF值的最大值，求算最大镜头MTF的MTF(ω_x，ω_y)(步骤S2)。并且，如图6的(C)所示，复原滤波器生成部51基于最大镜头MTF的MTF(ω_x，ω_y)运算维纳滤波的运算式，确定与最大镜头MTF对应的维纳滤波的频率特性(步骤S3)。

接下来，复原滤波器生成部51确定在亮度系中实现维纳滤波的频率特性的复原滤波器12的滤波系数。由此，由复原滤波器生成部51生成复原滤波器12(步骤S4，复原滤波器生成步骤)。该复原滤波器12存储于储存器43内。

在制造数码相机2时，装置CPU40读出存储于储存器43的复原滤波器12并向通信I/F44输出。通信I/F44将复原滤波器12向经由未图示的通信电缆等而连接的数码相机2输出。由此，将复原滤波器12存储于存储器14(步骤S5)。

＜第一实施方式的数码相机的作用＞

接下来，对使用复原滤波器12来进行点像复原处理的数码相机2的作用进行说明。

如图8所示，当利用操作部9将数码相机2的动作模式设定为摄影模式时(步骤S9)，相机CPU13经由摄像元件驱动器25对彩色摄像元件23进行驱动，开始摄像处理(步骤S10)。以预定的快门速度对机械快门18开闭，并在彩色摄像元件23的各像素分别蓄积信号电 荷。并且，在摄像元件驱动器25的控制下，从彩色摄像元件23的各像素输出信号。

信号调整电路28对从彩色摄像元件23输出的输出信号实施各种信号调整处理而生成RGB的马赛克图像数据R1、G1、B1，并将各马赛克图像数据R1、G1、B1向图像处理电路29输出(步骤S11)。各马赛克图像数据R1、G1、B1经由输入部35输入到去马赛克处理部36。去马赛克处理部36对马赛克图像数据R1、G1、B1进行去马赛克处理而生成RGB图像数据R2、G2、B2，并将RGB图像数据R2、G2、B2向转换部37输出(步骤S12)。

转换部37对RGB图像数据R2、G2、B2实施YC转换处理而生成亮度系图像数据Y和色差系图像数据Cb、Cr(步骤S13，图像数据生成步骤)。并且，转换部37将亮度系图像数据Y向点像复原处理部38输出。

在将数码相机2的动作模式设定为摄影模式时，点像复原处理部38读出预先存储于存储器14的复原滤波器12。并且，点像复原处理部38使用复原滤波器12，如上述的图5的(A)、(B)所示对从转换部37输入的亮度系图像数据Y实施点像复原处理(步骤S14，复原处理步骤)。点像复原处理后的亮度系图像数据Y和非点像复原处理对象的色差系图像数据Cb、Cr作为摄影图像数据存储于存储器14的VRAM区域。

图像处理电路29(也可以由相机CPU13)根据存储于存储器14的VRAM区域的摄影图像数据而生成即时预览图像数据，并向显示部8输出。由此，在显示部8显示即时预览图像。以下，在按下快门按钮6之前(步骤S15中为否)，反复执行从步骤S10到步骤S14的处理。

当按下快门按钮6时(步骤S15中为是)，由图像处理电路29生 成1帧量的摄影图像数据(点像复原处理后的亮度系图像数据Y、色差系图像数据Cb、Cr)，并存储于存储器14的VRAM区域。该摄影图像数据在由压缩扩展处理电路31压缩后，经由介质I/F32存储于存储卡10(步骤S16)。以下，反复执行上述的处理(步骤S17)，直至摄影模式结束。另外，在本实施方式中，在显示即时预览图像时进行点像复原处理，但是，在显示即时预览图像时也可以不进行点像复原处理(省略步骤S14)。在该情况下，在按下快门按钮6的情况下，对从彩色摄像元件23输出的输出信号，执行从步骤S11到步骤S14的处理，生成记录用的摄影图像数据即可。由此，能够降低运算处理的负载。

＜第一实施方式的作用效果＞

此时，如图9的(A)、(B)所示，在本实施方式中，采用使用最大镜头MTF而生成的复原滤波器12即在各空间频率中按照色别具有与频率响应最高的镜头MTF值对应的校正量(放大率)的复原滤波器12，进行点像复原处理。因此，如上所述，防止对点像复原处理后的亮度系图像数据Y的RGB信号成分(Y＝0.3R+0.6G+0.1B)的MTF值的过度校正。

如此，防止亮度系图像数据Y的RGB信号成分的MTF值的过度校正，这具有抑制与该亮度系图像数据Y对应的复原RGB图像数据的各色的MTF值的过度校正的一定的效果。因此，如图9的(C)所示，能够期待通过采用使用最大镜头MTF生成的复原滤波器12来进行点像复原处理而将与点像复原处理后的亮度系图像数据Y对应的复原RGB图像数据的各色的MTF值抑制为1.0以下的一定的效果。

相对于此，在图10的(A)～(D)所示的比较例中，对应每个空间频率，求算各色的镜头MTF47R、47G、47B的MTF值的平均值(图10的(A)、(B))，基于该平均值即平均镜头MTF生成亮度系的复原滤波器(图10的(C))。在该情况下，有可能因复原RGB图像 数据的颜色而产生MTF值的过度校正。例如，在图10的(B)中，镜头MTF47B是比平均镜头MTF低的值，因此，即使在利用图10的(C)所示的复原滤波器进行点像复原处理的情况下，也不用担心产生复原B图像数据的MTF值的过度校正。可是，镜头MTF47G、47R是基本上比平均镜头MTF高的值。因此，在利用图10的(C)所示的复原滤波器进行点像复原处理的情况下，有可能由于图10的(D)所示G信号、R信号过度地增强而产生复原R图像数据和复原G图像数据的MTF值的过度校正。

相对于这种比较例，在本实施方式中，通过采用使用最大镜头MTF而生成的复原滤波器12来进行点像复原处理，能够与比较例相比减少复原RGB图像数据的各色的MTF值的过度校正的发生。

[第二实施方式]

接下来，对本发明的第二实施方式的复原滤波器生成装置进行说明。图9的(B)所示的上述第一实施方式的复原滤波器12是也与在高频区域中MTF值比镜头MTF47B高的镜头MTF47R、47G对应的设计。因此，复原滤波器12以高频区域(图15中的低SN比区域)的放大率变高的方式进行设计，因此有可能由于对B信号的SN比较低的区域(以下，称为低SN比区域，参照图15)实施了过度的频率增强而使B信号的噪声放大。

因此，在第二实施方式的复原滤波器生成装置中，生成如下的复原滤波器：能够防止通过对应于MTF值较高的颜色而设计的复原滤波器的频率特性而使其他颜色中的噪声放大的副作用。

＜复原滤波器生成装置的结构＞

如图11所示，第二实施方式的复原滤波器生成装置55除了具备装置CPU56并且在储存器43内存储复原滤波器生成程序57(与本发明的程序相当)、与本发明的放大率相当的函数d_K(χ)这一点外，是 与第一实施方式基本上相同的结构。因此，对于与上述第一实施方式功能/构成方面相同的结构，附加相同附图标记而省略其说明。

在利用操作部41进行复原滤波器生成操作的情况下，装置CPU56从储存器43读出并执行复原滤波器生成程序57，从而除了作为上述的MTF获取部50而发挥功能之外，还作为放大率获取部(放大率获取单元)59和复原滤波器生成部(复原滤波器生成单元)60而发挥功能。

在赋予了亮度系中的复原滤波器的放大率χ(≥0)时，放大率获取部59通过运算处理，确定赋予复原RGB图像数据的各自的MTF值的放大率的函数d_K(χ)，K∈{R，G，B}并存储于储存器43。求算该函数d_K(χ)的运算处理、向储存器43的存储在生成复原滤波器之前预先执行。以下，对函数d_K(χ)的运算处理进行说明。

＜函数d_K(χ)的运算处理＞

如图12所示，放大率获取部59的运算处理部59a使用亮度系的复原模型61，估算通过亮度系的复原滤波器将亮度增益设为“χ”倍的情况下的、对复原RGB图像数据的RGB的各个平面(plane)的增益(向MTF的影响程度)。在此，在复原模型61，例如使用转换部61a、式61b、逆转换部61c。

转换部61a是将输入图像数据(信号、像素值)r_in、g_in、b_in转换为亮度系图像数据(信号)Y和色差系图像数据(信号)Cb、Cr的任意的转换式，由“M”表示。式61b是用于上述的估算的式子，与实际的复原滤波器不同。逆转换部61c是将亮度系图像数据Y和色差系图像数据Cb、Cr逆转换为输出图像数据(信号、像素值)r_out、g_out、b_out的任意的转换式，由“M-1”表示。使用该复原模型61的情况下的输入图像数据r_in、g_in、b_in和输出图像数据r_out、g_out、b_out的关系由下述的式(2)表示。

[数学式2]

$\left(\begin{array}{c}{r}_{out}\\ g_{out}\\ b_{out}\end{array}\right)=M^{-1}\left(\begin{array}{ccc}x& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)M\left(\begin{array}{c}{r}_{in}\\ g_{in}\\ b_{in}\end{array}\right)...\left(2\right)$

在此，由于通常从RGB空间向YCbCr空间的转换中包含伽马校正，因此需要非线形的转换，但是根据亮度系复原处理的实际安装，也存在成为直线转换的情况。利用这一点，RGB的各平面的MTF放大率能够如下述式(3)那样表示。

[数学式3]

d_R(x|r_in，g_in，b_in)＝r_out/r_in

d_G(x|r_in，g_in，b_in)＝g_out/g_in…(3)

d_B(x|r_in，g_in，b_in)＝b_out/b_in

如上述式(3)所示，RGB的各平面的MTF放大率不仅因为滤波放大率“χ”而受到影响，而且也因为输入图像数据r_in、g_in、b_in而受到影响。可是，对全部的输入图像数据r_in、g_in、b_in准确地进行考虑后的复原滤波器的适用从削减运算量的观点出发较为困难。因此，如以下的式(4)所示，运算处理部59a假设输入图像数据r_in、g_in、b_in的事先分布w(r_in、g_in、b_in)，与此相关地采用期望值，从而确定d_K(χ)。并且，运算处理部59a将函数d_K(χ)存储于储存器43。另外，式(4)中的“Z”是以整个定义域对事先分布w(r_in、g_in、b_in)进行积分后的标准化常数。

[数学式4]

$d_K\left(x\right)=\frac{1}{Z}\∫\∫\∫d_K\left(x\right|r_{in},g_{in},b_{in})w(r_{in},g_{in},b_{in}){\mathrm{dr}}_{in}{\mathrm{dg}}_{in}{\mathrm{db}}_{in}...\left(4\right)$

返回到图11，放大率获取部59在生成复原滤波器时从储存器43取得函数d_K(χ)并向复原滤波器生成部60输出。

＜复原滤波器生成处理＞

复原滤波器生成部60基于镜头MTF47R、47G、47B，与第一实施方式的复原滤波器12同样地，生成抑制复原RGB图像数据的MTF值的过度校正、即将MTF值抑制为1.0以下的亮度系的复原滤波器62。

如图13的(A)、(B)所示，复原滤波器生成部60基于镜头MTF47R、47G、47B的频率特性，算出与镜头MTF47R、47G、47B分别对应的RGB的各色用的复原滤波器的频率特性(空间频率-放大率)。该各色用的复原滤波器是R色用的复原滤波器64R、G色用的复原滤波器64G、B色用的复原滤波器64B。

具体来说，在将频率(ω_x，ω_y)中的各色用的复原滤波器64R、64G、64B的频率特性分别设为h_R(ω_x，ω_y)、h_G(ω_x，ω_y)、h_B(ω_x，ω_y)的情况下，复原滤波器生成部60分别根据下述的维纳滤波的运算式(5)来求算这些。在此，K∈{R，G，B}。另外，S_K(ω_x，ω_y)、N_K(ω_x，ω_y)分别是各色中的信号功率/噪声功率，是预先求出的已知的值。

[数学式5]

$h_K\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)=\frac{{\mathrm{MTF}}_K^{*}\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)}{\left|\right|{\mathrm{MTF}}_K\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)|{|}^2+N_K\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)/S_K\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)}...\left(5\right)$

接下来，复原滤波器生成部60对应每个空间频率选择各色用的复原滤波器64R、64G、64B的放大率的最小值，并基于该每个空间频率的放大率的最小值和函数d_K(χ)来生成亮度系的复原滤波器62。具体 来说，在将亮度系的复原滤波器62的频率特性设为f(ω_x，ω_y)时，复原滤波器生成部60基于下述式(6)算出如图13的(C)所示的频率特性f(ω_x，ω_y)，确定实现该频率特性f(ω_x，ω_y)的复原滤波器62的滤波系数。由此，生成复原滤波器62。该复原滤波器62与第一实施方式同样地，存储于数码相机2的存储器14。

[数学式6]

$f\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)=\min \left\{d_R^{-1}\left(h_R\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)\right),d_G^{-1}\left(h_G\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)\right),d_B^{-1}\left(h_B\left({\mathrm{\ω}}_x,{\mathrm{\ω}}_y\right)\right)\right\}...\left(6\right)$

＜第二实施方式的复原滤波器生成装置的作用＞

接下来，使用图14对由上述结构的复原滤波器生成装置55对复原滤波器62的生成处理进行说明。另外，在开始复原滤波器62的生成处理之前，执行由MTF测定装置49对镜头MTF47R、47G、47B的测定和存储以及由运算处理部59a对函数d_K(χ)的运算和存储。

当利用操作部41进行复原滤波器生成操作时，装置CPU56读出并执行储存器43内的复原滤波器生成程序57，从而作为MTF获取部50、放大率获取部59、复原滤波器生成部60而发挥功能。

MTF获取部50从储存器43取得镜头MTF47R、47G、47B，将各镜头MTF47R、47G、47B向复原滤波器生成部60输出(步骤S20)。另外，放大率获取部59从储存器43取得函数d_K(χ)，将该函数d_K(χ)向复原滤波器生成部60输出(步骤S20)。

复原滤波器生成部60基于从MTF获取部50取得的镜头MTF47R、47G、47B和已知的S_K、N_K，利用上述的式(5)分别算出各色用的复原滤波器64R、64G、64B的频率特性h_R(ω_x，ω_y)、h_G(ω_x，ω_y)、h_B(ω_x，ω_y)(步骤S21)。

接下来，复原滤波器生成部60基于频率特性h_R(ω_x，ω_y)、h_G (ω_x，ω_y)、h_B(ω_x，ω_y)和函数d_K(χ)，利用上述的式(6)算出亮度系的复原滤波器62的频率特性f(ω_x，ω_y)。即，复原滤波器生成部60基于每个空间频率的各色用的复原滤波器64R、64G、64B的放大率的最小值和函数d_K(χ)，算出复原滤波器62的频率特性f(ω_x，ω_y)(步骤S22)。

复原滤波器生成部60基于频率特性f(ω_x，ω_y)的计算结果，确定实现该频率特性f(ω_x，ω_y)的复原滤波器62的滤波系数。由此，由复原滤波器生成部60生成复原滤波器62(步骤S23)。该复原滤波器62存储于储存器43内。以下，与第一实施方式同样地，将该复原滤波器62存储于存储器14(步骤S5)。

＜第二实施方式的数码相机的作用＞

第二实施方式的数码相机2的摄像处理除了替代第一实施方式的复原滤波器12使用复原滤波器62来进行点像复原处理这一点外，与图8所示的第一实施方式的摄像处理的流程基本上相同，因此在此省略说明。

＜第二实施方式的作用效果＞

在第二实施方式的数码相机2中，使用复原滤波器62进行点像复原处理，上述复原滤波器62是基于每个空间频率的各色用的复原滤波器64R、64G、64B的放大率的最小值以及赋予与亮度系的复原滤波器的放大率x对应的、复原RGB图像数据各自的MTF值的放大率的函数d_K(χ)而生成的。即，在第二实施方式中，使用每个空间频率对应于MTF值较低的颜色而设计的复原滤波器62来进行点像复原处理，因此将复原RGB图像数据的各MTF值抑制为1.0以下。另外，由于在复原滤波器62的生成中使用函数d_K(χ)，因此能够考虑亮度校正系中的向RGB的各平面的频率放大率的差异。

此外，如图15所示，由于使用每个空间频率对应于MTF值较低 的颜色而设计的复原滤波器62来进行点像复原处理，因此与第一实施方式的使用复原滤波器12的情况不同，防止对B信号的低SN比区域施加过度的频率增强。其结果为，能够抑制B信号的噪声的放大。即，能够防止由于在特定的空间频率中对应于MTF较高的颜色而设计的复原滤波器(例如复原滤波器12)的频率特性而使其他颜色(本实施方式中为B色)中的噪声放大。

另外，在上述式(5)中，对应RGB的每色，基于单独的信号功率S_K、噪声功率N_K来求算各色用的复原滤波器64R、64G、64B的频率特性h_R、h_G、h_B，并基于该结果，利用上述式(6)求算复原滤波器62的频率特性f。由此，能够单独地设定每个颜色的假设信号功率/噪声功率，能够防止由于对每色所假设的信号/噪声功率不同而产生的过度校正。

[第三实施方式]

接下来，对本发明的第三实施方式的复原滤波器生成装置进行说明。如图16所示，在使用上述第二实施方式的复原滤波器62来进行点像复原处理的情况下，防止对B信号的低SN比区域施加过度的频率增强，但是相反没有对与该低SN比区域对应的R、G信号的频率区域施加频率增强。因此，R、G信号有可能衰减。另外，如上所述，在使用上述第一实施方式的复原滤波器12来进行点像复原处理的情况下，对B信号的低SN比区域施加过度的频率增强，B信号的噪声有可能放大。

因此，在第三实施方式的复原滤波器生成装置中，生成满足分别抑制了RG信号的衰减和B信号的噪声的放大那样的中间解的复原滤波器66。

＜第三实施方式的复原滤波器生成装置的结构＞

如图17所示，第三实施方式的复原滤波器生成装置68除了具备 装置CPU69并且在储存器43内存储复原滤波器生成程序70(与本发明的程序相当)这一点外，是与第二实施方式基本上相同的结构。因此，对于与上述第一实施方式功能/构成方面相同的结构，附加相同附图标记而省略其说明。

在利用操作部41进行复原滤波器生成操作的情况下，装置CPU69从储存器43读出并执行复原滤波器生成程序70。由此，装置CPU69除了作为上述的MTF获取部50和放大率获取部59而发挥功能之外，还作为复原滤波器生成部(复原滤波器生成单元)71而发挥功能。

＜复原滤波器生成处理＞

复原滤波器生成部71基于镜头MTF47R、47G、47B和函数d_K(χ)，生成抑制复原RGB图像数据的MTF值的过度校正、即将MTF值抑制为1.0以下的亮度系的复原滤波器66。此时，复原滤波器生成部71直接生成满足RG信号的衰减和B信号的噪声的放大被分别抑制这一中间解的复原滤波器66。以下，具体来说，对复原滤波器66的生成处理进行说明。

复原滤波器生成部71从MTF获取部50取得镜头MTF47R、47G、47B，并且从放大率获取部59取得函数d_K(χ)。

另外，复原滤波器生成部71基于已知的镜头MTF47R、47G、47B的频率特性(MTF_K(ω_x，ω_y)，K∈{R，G，B})，确定亮度系的镜头MTF的频率特性(MTF_Y(ω_x，ω_y))。例如，MTF_Y(ω_x，ω_y)根据MTF_R(ω_x，ω_y)、MTF_G(ω_x，ω_y)、MTF_B(ω_x，ω_y)的平均或均方根进行求算。

此外，复原滤波器生成部71基于已知的各色中的信号功率(S_K(ω_x，ω_y)，K∈{R，G，B})、噪声功率(N_K(ω_x，ω_y)，K∈{R，G，B})，分别确定亮度系的信号功率(S_K(ω_x，ω_y)、噪声功率(N_K (ω_x，ω_y))。这些与上述的MTF_Y(ω_x，ω_y)同样地，根据各色中的S_K、N_K(K∈{R，G，B})的各自的平均或均方根进行求算。

接下来，复原滤波器生成部71开始生成复原滤波器66的运算处理。将抽头数为N×N的复原滤波器66的滤波系数设为x∈R^N×N、将其频率特性设为f(ω_x，ω_y|x)时，该f(ω_x，ω_y|x)由以下的式(7)表示。在此，设N为奇数，M＝(N－1)/2。另外，u、v分别是满足－M≤u、v≤M的变量。

[数学式7]

$f({\mathrm{\ω}}_x,{\mathrm{\ω}}_y|x)=\underset{u=-M}{\overset{M}{\Σ}}\underset{v=-M}{\overset{M}{\Σ}}{e}^{-j({\mathrm{\ω}}_{x}u+{\mathrm{\ω}}_{y}v)}{\[x\]}_{u+M+1,v+M+1}...\left(7\right)$

如下述式(8)所示，复原滤波器生成部71求算以式(8)的“s.t.”以下的附加条件使由下述的式(9)定义的泛函数J[x]最小化的滤波系数x。

在此，式(8)中的“J[x]”是用于生成复原滤波器的维纳滤波的最小化基准。即，复原滤波器生成部71基于镜头MTF47R、47G、47B的频率特性(MTF_K(ω_x，ω_y)、K∈{R，G，B})以及函数dK(χ)，算出满足复原RGB图像数据的每色的MTF值为1.0以下那样的维纳滤波的滤波系数x。由此，由复原滤波器生成部71生成复原滤波器66。该复原滤波器66与第一和第二实施方式同样地存储于数码相机2的存储器14。

[数学式8]

minimize J[x]s.t.||d_K(f(ω_x，ω_y|x))MTF_K(ω_x，ω_y)||≤1，K∈{R，G，B}…(8)

[数学式9]

J[x]＝∫∫(||1-f(ω_x，ω_y|x)MTF_Y(ω_x，ω_y)||²S_Y(ω_x，ω_y)+||f(ω_x，ω_y|x)||²N_Y(ω_x，ω_y))dω_xdω_y

…(9)

＜第三实施方式的复原滤波器生成装置的作用＞

接下来，使用图18对由上述结构的复原滤波器生成装置68对复原滤波器66的生成处理进行说明。当利用操作部41进行复原滤波器生成操作时，装置CPU69读出并执行储存器43内的复原滤波器生成程序70，从而作为MTF获取部50、放大率获取部59、复原滤波器生成部71而发挥功能。另外，将由MTF获取部50和放大率获取部59分别取得的镜头MTF47R、47G、47B、函数d_K(χ)输入到复原滤波器生成部71之前的处理与上述第二实施方式基本上相同，因此，在此省略其说明(步骤S20)。

首先，复原滤波器生成部71基于镜头MTF47R、47G、47B的频率特性MTF_K、RGB的各颜色中的信号功率S_K和噪声功率N_K，分别求算亮度系的镜头MTF的频率特性MTF_Y、信号功率S_Y和噪声功率N_Y。

接下来，复原滤波器生成部71如上述的式(8)、(9)所示算出以满足复原RGB图像数据的每色的MTF值为1.0以下这一附加条件而使泛函数J[x]最小化的滤波系数x(维纳滤波的滤波系数x)(步骤S25)。由此，生成复原滤波器66(步骤S26)。

将由复原滤波器生成部71生成的复原滤波器66存储于储存器43内。以下，与第一实施方式同样地，将该复原滤波器66存储于存储器14(步骤S5)。

＜第三实施方式的数码相机的作用＞

第三实施方式的数码相机2的摄像处理除了替代第一实施方式的 复原滤波器12使用复原滤波器66来进行点像复原处理这一点外，与图8所示的第一实施方式的摄像处理的流程基本上相同，因此在此省略说明。

＜第三实施方式的作用效果＞

如图19所示，在第三实施方式的数码相机2中，使用复原滤波器66而进行点像复原处理，上述复原滤波器66是运算以满足复原RGB图像数据的每色的MTF值为1.0以下这一附加条件使泛函数J[x]最小化的滤波系数x而生成的。由此，复原RGB图像数据的各MTF值被抑制为1.0以下。

另外，通过运算以上述附加条件使泛函数J[x]最小化的滤波系数x，能够直接生成以RG信号的衰减和B信号的噪声的放大被分别抑制的方式最佳化后的复原滤波器66。在第二实施方式中，在RGB中的特定颜色的SN比变差而与特定颜色对应的MTF值变低那样的情况下，有可能发生如下现象：复原滤波器为了抑制噪声增强而成为衰减特性，与此牵连而全部的颜色的频率受衰减特性所影响，但是第三实施方式中能够防止该情况。即，在第三实施方式中，能够稍微允许特定颜色的噪声增强，并进行平均最佳的频率复原，并且能够保证在全部颜色中不产生MTF值的过度的增强。

此外，能够防止由于复原滤波器的抽头数限制而由不能实现按照理想的频率特性引起的MTF值的过度校正。

[第四实施方式]

接下来，对本发明的第四实施方式的复原滤波器生成装置进行说明。在上述各实施方式中，基于镜头MTF47R、47G、47B分别生成复原滤波器12、62、66。相对于此，在第四实施方式的复原滤波器生成装置中，基于特定颜色(本实施方式中为G色)的镜头MTF47G，进行复原滤波器73(参照图20、图21)的生成。

＜第四实施方式的复原滤波器生成装置的结构＞

如图20所示，第四实施方式的复原滤波器生成装置74除了具备装置CPU75并且在储存器43内存储复原滤波器生成程序76(与本发明的程序相当)这一点外，是与第一实施方式基本上相同的结构。因此，对于与上述第一实施方式功能/结构上相同的结构，附加相同附图标记而省略其说明。

在利用操作部41进行复原滤波器生成操作的情况下，装置CPU75从储存器43读出并执行复原滤波器生成程序76。由此，装置CPU75作为MTF获取部(MTF获取单元)77和复原滤波器生成部(复原滤波器生成单元)78而发挥功能。

如图21的(A)、(B)所示，MTF获取部77选择存储于储存器43的RGB的各色的镜头MTF47R、47G、47B中G色的镜头MTF47G，并向复原滤波器生成部78输出。另外，在第四实施方式中，也可以仅从MTF测定装置49取得镜头MTF47G，并将该镜头MTF47G存储于储存器43内。

如图21的(C)所示，复原滤波器生成部78基于镜头MTF47G，生成能够抑制复原RGB图像数据的每色的MTF值的过度校正的复原滤波器73。在此，通常，镜头重视RGB中最影响视觉特性的G而设计。因此，在至少彩色摄像元件23的奈奎斯特频率的一半以下(0.25Fs以下)的频率区域中，镜头MTF47R、47G、47B中G平面的镜头MTF47G最高。因此，如果以对G平面的镜头MTF47G进行校正的方式设计复原滤波器，则在至少0.25Fs(本发明的特定的空间频率)以下的区域中防止复原RGB图像数据的MTF值的过度校正。

复原滤波器生成部78基于镜头MTF47G的频率特性(MTF_G(ω_x、ω_y))，运算与镜头MTF47G对应的维纳滤波的频率特性。接下来， 复原滤波器生成部78基于维纳滤波的频率特性，确定在亮度系中实现该频率特性的复原滤波器73的滤波系数。另外，如第一实施方式中所述的那样，对于根据频率特性来设计实现该频率特性的复原滤波器(滤波系数)的方法，能够使用公知的各种方法。由此，能够由复原滤波器生成部78生成复原滤波器73。该复原滤波器73与上述各实施方式同样地存储于数码相机2的存储器14。

＜第四实施方式的复原滤波器生成装置的作用＞

接下来，使用图22对由上述结构的复原滤波器生成装置74对复原滤波器73的生成处理进行说明。当利用操作部41进行复原滤波器生成操作时，装置CPU75读出并执行储存器43内的复原滤波器生成程序76，从而作为MTF获取部77、复原滤波器生成部78发挥功能。另外，此时，在储存器43内至少预先存储镜头MTF47G。

MTF获取部77从储存器43取得镜头MTF47G，将该镜头MTF47G向复原滤波器生成部78输出(步骤S28，MTF获取步骤)。

复原滤波器生成部78基于镜头MTF47G的频率特性，运算出与镜头MTF47G对应的维纳滤波的频率特性之后(步骤S29)，确定在亮度系中实现该频率特性的复原滤波器73的滤波系数。由此，由复原滤波器生成部78生成复原滤波器73(步骤S30，复原滤波器生成步骤)。

由复原滤波器生成部71生成的复原滤波器73存储于储存器43内。以下，与第一实施方式同样地，将该复原滤波器73存储于存储器14(步骤S5)。

＜第四实施方式的数码相机的作用＞

第四实施方式的数码相机2的摄像处理除了替代第一实施方式的复原滤波器12使用复原滤波器73来进行点像复原处理这一点外，也与图8所示的第一实施方式的摄像处理的流程基本上相同，因此在此 省略说明。

＜第四实施方式的作用效果＞

在第四实施方式中，由复原滤波器生成装置74基于RGB中的G色的镜头MTF47G来生成亮度系的复原滤波器73，由数码相机2使用该复原滤波器73进行点像复原处理。在至少奈奎斯特频率的一半以下(0.25Fs以下)的频率区域中，镜头MTF47R、47G、47B中镜头MTF47G的MTF值最高。因此，在使用基于镜头MTF47G而生成的复原滤波器73来进行点像复原处理的情况下，在至少0.25Fs以下的频率区域中防止对点像复原处理后的亮度系图像数据Y的RGB信号成分的MTF值的过度校正。即，在至少0.25Fs以下的频率区域中，在光学系统17的G色的调制传递函数MTF比其他颜色的调制传递函数MTF高的情况下，在至少0.25Fs以下的频率区域内防止对与复原处理后的亮度系图像数据对应的多个颜色的各色的图像数据的MTF值的过度校正。因此，即使在替代对亮度的镜头MTF而使用镜头MTF47G来生成复原滤波器73的情况下，在至少0.25Fs以下的频率区域中，能够期待将与点像复原处理后的亮度系图像数据Y对应的复原RGB图像数据的各色的MTF值抑制为1.0以下的一定的效果。特别是，G色的镜头MTF47G的值相对于R色、B色的镜头MTF47R、MTF47B的值的差越大，则越能够得到效果。

另外，在第四实施方式中，基于RGB中的G色的镜头MTF47G来生成复原滤波器73，因此与上述各实施方式相比，能够将复原滤波器的生成所需的运算处理简化(将复原滤波器的设计步骤简化)。另外，与上述各实施方式不同，即使不取得RGB的全部颜色的镜头MTF47R、47G、47B，也能够进行复原滤波器73的生成。

另外，上述第四实施方式中，通常，镜头被设计成在至少0.25Fs以下的频率区域中与最影响视觉特性的G色对应的镜头MTF47G最高，因此规定为本发明的特定的空间频率是0.25Fs以下。因此，通过 镜头的设计，在与G色对应的镜头MTF47G最高的频率区域从0.25Fs以下增减的情况下，本发明的特定的空间频率也可以与此对应地增减。

另外，上述第四实施方式中，基于与G色对应的镜头MTF47G来生成复原滤波器73，但是在彩色摄像元件23的滤色器包含RGB以外的颜色的情况下，例如也可以基于与最有助于亮度的颜色对应的镜头MTF来生成复原滤波器。

[其他适用例]

＜向EDoF系统的适用例＞

上述各实施方式中的点像复原处理是通过根据特定的摄影条件(例如光圈值、F值、焦距、镜头种类等)对图像劣化(点像模糊、点扩散)进行复原修正而对本来的被摄体像进行复原的图像处理(复原处理)，但是能够适用本发明的点像复原处理不限于此。例如，即使对于对利用具备具有被扩大的景深(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)的摄像装置拍摄到的图像数据的复原处理，也能够适用本发明所涉及的点像复原处理。通过对由EDoF光学系统在扩大景深(焦深)后的状态下所摄影取得的模糊图像的图像数据进行复原处理，能够复原生成在大范围内对焦的状态的高分辨率的某图像数据。在该情况下，能够进行使用如下的复原滤波器的复原处理：是基于EDoF光学系统的点扩散函数(PSF、OTF(Optical Transfer Function：光学传递函数)、MTF、PTF(Phase Transfer Function：相位传递函数)等)的复原滤波器，具有以在被扩大的景深(焦深)的范围内能够进行良好的图像复原的方式设定的滤波系数。

以下，对与经由EDoF光学系统而摄影取得的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，以下所示的例子中，说明对从去马赛克处理后的图像数据(RGB图像数据)得到的亮度系图像数据Y进行复原处理的例子，但是进行复原处理的时刻不特别限定，例如也可以对“去马赛克处理前的图像数据(马赛克图像数据)”、 “去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。

图23是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(摄像装置)101包括：EDoF光学系统(光学系统)110、CCD型的彩色摄像元件112(也可以是CMOS型，摄像单元)、AD转换部114以及作为本发明的复原处理单元而发挥功能的复原处理部120。

图24是表示EDoF光学系统110的一例的图。EDoF光学系统110具有单焦点被固定的摄影透镜110A和配置于光瞳位置的光学滤光片111。光学滤光片111对相位进行调制，并以得到被扩大的景深(焦深)(EDoF)的方式构成EDoF光学系统110(摄影透镜110A)(EDoF化)。如此，摄影透镜110A和光学滤光片111构成对相位进行调制而使景深扩大的透镜部。

另外，EDoF光学系统110根据需要包含其他结构要素，例如在光学滤光片111的附近配置有光圈(省略图示)。另外，光学滤光片111可以是1片，也可以将多片组合。另外，光学滤光片111不过是光学的相位调制单元的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以由其他单元实现。例如，也可以替代设置光学滤光片111，利用以具有与本例的光学滤光片111等同的功能的方式设计了透镜的摄影透镜110A来实现EDoF光学系统110的EDoF化。即，能够利用使向摄像元件112的受光面的成像的波面变化的各种单元，来实现EDoF光学系统110的EDoF化。例如，能够采用“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“厚度、折射率因向透镜表面的涂层等而变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化单元。如此，本发明不仅能够适用 于可以利用光波面调制元件(光学滤光片111(相位板))来生成规则地分散的图像的情况，而且也能够适用于可以不使用光波面调制元件而利用摄影透镜110A自身来形成与使用光波面调制元件的情况同样的分散图像的情况。

本实施方式的EDoF光学系统110由于能够省略机械地进行调焦的调焦机构，因此能够小型化，能够适当地搭载于带相机的移动电话、移动信息终端。

返回到图23，EDoF化后的通过EDoF光学系统110后的光学像成像于彩色摄像元件112的摄像面，并在此转换为电信号。

彩色摄像元件112是与上述各实施方式的彩色摄像元件23基本上相同的结构。CCD型的彩色摄像元件112将利用EDoF光学系统110成像于摄像面的被摄体光转换为与其入射光量相应的量的信号电荷，并输出模拟的RGB图像信号。

AD转换部114将从彩色摄像元件112输出的模拟的RGB图像信号转换为数字的RGB的各色的马赛克图像数据。各色的马赛克图像数据向复原处理部120输入。

复原处理部120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部(以下，简称为转换部，图像数据生成单元)126和Y信号复原处理部(复原处理单元)127。

黑电平调整部122对从AD转换部114输出的各色的马赛克图像数据实施黑电平调整。黑电平调整能够采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求算与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件分别对应的暗 电流量取得用信号的平均，并从与该有效光电转换元件对应的暗电流量取得用信号减去该平均，从而进行黑电平调整。

白平衡增益部123进行与黑电平数据调整后的各色的马赛克图像数据的白平衡增益对应的增益调整。

伽马处理部124进行伽马校正，上述伽马校正以白平衡调整后的各色的马赛克图像数据成为期望的伽马特性的方式进行中间色调等的灰度校正。

去马赛克处理部125对伽马校正后的各色的马赛克图像数据实施去马赛克处理，并输出由RGB的三面的颜色数据构成的RGB图像数据。

转换部126是与上述各实施方式的转换部37基本上相同的结构，对从去马赛克处理部125输出的RGB图像数据实施YC转换处理，而生成并输出亮度系图像数据Y和色差系图像数据Cb、Cr。

Y信号复原处理部127基于预先存储的复原滤波器，对来自转换部126的亮度系图像数据Y进行复原处理。复原滤波器例如由具有7×7的内核尺寸的逆卷积内核(与M＝7、N＝7的抽头数对应)和与该逆卷积内核对应的运算系数(与复原增益数据、滤波系数对应)构成，用于光学滤光片111的相位调制量的逆卷积处理(逆卷积运算处理)。另外，复原滤波器的与光学滤光片111对应的内容存储于未图示的存储器。另外，逆卷积内核的内核尺寸不限于7×7的尺寸。

接下来，使用图25所示的流程图，对复原处理部120的复原处理进行说明。

在黑电平调整部122的一方的输入中从AD转换部114输入各色 的马赛克图像数据，在其他输入中输入黑电平数据。黑电平调整部122从各色的马赛克图像数据减去黑电平数据，并将该减算处理后的各色的马赛克图像数据向白平衡增益部123输出(步骤S31)。由此，各色的马赛克图像数据不包含黑电平成分。

对黑电平调整后的各色的马赛克图像数据，依次实施由白平衡增益部123、伽马处理部124进行的处理(步骤S32和S33)。

伽马校正后的各色的马赛克图像数据在由去马赛克处理部125进行去马赛克处理后，在转换部126中转换为亮度系图像数据Y和色差系图像数据Cb、Cr(步骤S34)。

Y信号复原处理部127对亮度系图像数据Y进行实施与EDoF光学系统110的光学滤光片111的相位调制相应的量的逆卷积处理的复原处理(步骤S35)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素组对应的亮度信号(在此是7×7像素的亮度信号)和预先存储于存储器等的复原滤波器(7×7的逆卷积内核和其运算系数)的逆卷积处理(逆卷积运算处理)。Y信号复原处理部127通过以覆盖摄像面的整个区域的方式反复进行该预定单位中的每个像素组的逆卷积处理而进行将图像整体的像模糊消除的复原处理。复原滤波器根据实施逆卷积处理的像素组的中心的位置而确定。即，相邻的像素组适用共通的复原滤波器。此外，为了将复原处理简化，优选为，全部的像素组适用共通的复原滤波器。

通过EDoF光学系统110后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于彩色摄像元件112(参照图5的(A))，但是通过由Y信号复原处理部127进行的逆卷积处理而复原为较小的点像(具有高分辨率的图像)(参照图5的(B))。

通过如上所述对去马赛克处理后的亮度系图像数据Y施加复原处 理，不需要对应RGB分别持有复原处理的参数，能够使复原处理高速化。另外，由于不是将与位于分散的位置的R/G/B的像素对应的各个R/G/B的图像信号分别汇总为1单位而进行逆卷积处理，而是将相邻的像素的各个亮度信号彼此汇总为预定的单位并对该单位适用共通的复原滤波器而进行逆卷积处理，因此复原处理的精度提高。另外，对于色差系图像数据Cb、Cr，在基于人眼的视觉的特性方面，即使没有通过复原处理提高分辨率，在画质方面也是允许的。另外，在以JPEG(Joint Photographic Experts Group：联合图像专家组)那样的压缩形式记录图像的情况下，色差系图像数据Cb、Cr以比亮度系图像数据Y高的压缩率被压缩，因此缺乏以复原处理提高分辨率的必要性。如此，能够兼顾复原精度的提高以及处理的简化和高速化。

对如以上说明的EDoF系统的复原处理，也能够适用本发明的各实施方式所涉及的复原处理。在该情况下，上述各实施方式的复原滤波器生成装置基于EDoF光学系统的MTF，生成具有以能够在被扩大的景深(焦深)的范围内进行良好的图像复原的方式设定的滤波系数的复原滤波器。

＜智能手机适用例＞

在上述各实施方式中，作为本发明的图像处理装置和摄像装置，列举数码相机2为例进行了说明，但是，例如也能够将本发明适用于具有摄影功能的移动电话、智能手机、PDA(Personal Digital Assistants：个人数字助理)、平板终端、便携式游戏机。以下，列举智能手机为例，参照附图详细地进行说明。

图26是表示智能手机500的外观的图。智能手机500具有平板状的壳体501。在壳体501的一面，具备显示输入部502、扬声器503、麦克风504、操作部505和相机部506。另外，壳体501的结构不限于此，例如也能够采用使显示部和输入部独立而成的结构、具有折叠构造、滑动机构的结构。另外，相机部506也可以设于壳体501的另一 面。

显示输入部502显示图像(静止图像和动态图像)、文字信息等。另外，显示输入部502具有检测对所显示的信息进行的用户操作的所谓的触摸面板。该显示输入部502由显示面板510和操作面板512构成。

显示面板510使用LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectro-Luminescence Display：有机电致发光显示器)等作为显示装置。操作面板512具有透光性，载置于显示面板510的显示面上。该操作面板512是检测由用户的手指、尖笔所操作的一个或多个坐标的设备。当通过用户的手指、尖笔对该设备进行操作时，将由于操作而发生的检测信号输出到智能手机500的CPU。CPU基于所接收到的检测信号，检测显示面板510上的操作位置(坐标)。作为由这种操作面板512采用的位置检测方式，能够列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等。

如图27所示，智能手机500除了具备显示输入部502、扬声器503、麦克风504、操作部505、相机部506、CPU507、显示处理部508，还具备无线通信部515、通话部516、存储部517、外部输入输出部518、GPS(Global Positioning System：全球定位系统)接收部519、运动传感器部520和电源部521。

操作部505例如是使用按钮式的开关、十字键等的硬件键，接收来自用户的指示。该操作部505例如搭载于壳体501的显示部的下部、壳体501的侧面。

相机部506是与上述各实施方式的数码相机2基本上相同的结构。在该相机部506的存储器14中存储有上述各实施方式的复原滤波器 12、62、66、73中的任一个。

显示处理部508按照CPU507的指示，使显示输入部502显示图像、文字信息。

无线通信部515按照CPU507的指示，对收纳于移动通信网的基站装置进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

通话部516具备扬声器503、麦克风504。通话部516将经由麦克风504而输入的用户的声音转换为声音数据并输出到CPU507，或者对由无线通信部515等接收到的声音数据进行解码并从扬声器503输出。

存储部517存储CPU507的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据等，另外暂时性地存储流数据等。另外，存储部517由智能手机内置的内部存储部517a和装拆自如的具有外部存储器插槽的外部存储部517b构成。另外，作为内部存储部517a和外部存储部517b，能够使用闪存式、硬盘式等公知的各种存储介质。

外部输入输出部518起到与连接于智能手机500的所有的外部设备的接口的作用，用于通过通信等而与其他外部设备直接或者间接地连接。

GPS接收部519接收从GPS卫星ST1～STn发送的GPS信号，并执行基于所接收到的多个GPS信号的测位运算处理。检测智能手机500的由纬度、经度、高度构成的位置。该检测结果输出到CPU507。

运动传感器部520例如具备三轴加速度传感器等，能够检测智能手机500的物理性移动。由此，检测智能手机500移动的方向、加速 度。该检测结果输出到CPU507。另外，电源部521将蓄积于未图示的蓄电池的电力供给到智能手机500的各部。

CPU507根据从存储部517读出的控制程序、控制数据而动作，并对智能手机500的各部集中地进行控制。另外，CPU507执行对显示面板510的显示控制、检测经由操作部505、操作面板512进行的用户操作的操作检测控制等。

通过执行显示控制，CPU507显示用于启动应用软件的图标、滚动条等软件键，或者使显示面板510显示用于创建电子邮件的窗口。另外，滚动条是指用于对于没有完全收纳于显示面板510的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。

另外，通过执行操作检测控制，CPU507检测经由操作部505进行的用户操作，或者通过操作面板512接收对于上述图标的操作、对于上述窗口的输入栏的字符串的输入，或接收通过滚动条进行的显示图像的滚动请求。

此外，通过执行操作检测控制，CPU507具备如下的操作面板控制功能：判定对于操作面板512的操作位置是与显示面板510重叠的重叠部分(显示区域)还是除此以外的未与显示面板510重叠的外缘部分(非显示区域)，并对操作面板512的感应区域、软件键的显示位置进行控制。

另外，CPU507也能够检测对于操作面板512的手势操作，根据所检测出的手势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指通过手指等来描绘轨迹或者同时指定多个位置，或者将这些组合而从多个位置对至少一个位置描绘轨迹的操作。

上述结构的智能手机500的相机部506如上所述是与上述各实施 方式的数码相机2基本上相同的结构，因此能够得到与上述各实施方式同样的效果。

[其他]

在上述各实施方式中，作为进行本发明的复原处理的图像处理装置，列举数码相机2、智能手机500等具有摄影功能的摄像装置为例进行了说明，但是摄影功能并非必须。例如，也能够将本发明适用于对经由互联网、记录介质等而取得的图像数据实施复原处理的平板终端、智能手机、PC等的各种图像处理装置。

本发明例如能够作为如下形式而提供：摄像装置、用于使具备摄像装置的电子设备执行上述的处理的计算机能够读取的程序代码、存储该程序代码的非暂时的(non-transitory)且计算机能够读取的记录介质(例如光盘(例如，CD(Compact Disc：压缩盘)、DVD(Digital Versatile Disc：数字多功能盘)、BD(Blu-ray(注册商标)Disc：蓝光光盘))、磁盘(例如，硬盘、光磁盘)、USB(Universal Serial Bus：通用串行总线)存储器)以及存储用于该方法的能够执行的代码的计算机/程序/产品。

在上述各实施方式中，与本发明的图像处理装置和摄像装置相当的数码相机2、智能手机500等存储在上述各实施方式的复原滤波器生成装置中另行生成的复原滤波器，但是也可以使数码相机2等和复原滤波器生成装置一体化。

附图标记说明

2…数码相机，11、55、68、74…复原滤波器生成装置，12、62、66、73…复原滤波器，29…图像处理电路，37…转换部，38…点像复原处理部，46、57、70、76…复原滤波器生成程序，47R、47G、47B…镜头MTF，50、77…MTF获取部，51、60、71、78…复原滤波器生成部，59…放大率获取部。

Claims (10)

1.一种复原滤波器生成装置，生成复原滤波器，所述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，所述亮度系图像数据是基于由具有所述光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，

所述复原滤波器生成装置具备：

MTF获取单元，取得所述光学系统的调制传递函数MTF；及

复原滤波器生成单元，基于所述MTF获取单元所取得的所述调制传递函数MTF，生成将与复原处理后的所述亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器，

所述特定的空间频率为所述摄像单元所含的摄像元件的奈奎斯特频率的一半以下。

2.根据权利要求1所述的复原滤波器生成装置，其中，

所述MTF获取单元对应所述多个颜色的每色取得所述调制传递函数MTF，

所述复原滤波器生成单元对应每个空间频率从各色的所述调制传递函数MTF中选择MTF值的最大值，基于该每个空间频率的MTF值的最大值来确定维纳滤波的频率特性，并生成在亮度系中实现该频率特性的所述复原滤波器。

3.根据权利要求1所述的复原滤波器生成装置，其中，

具备放大率获取单元，取得与复原处理后的所述亮度系图像数据的每个空间频率的MTF值的放大率对应的、对该亮度系图像数据进行逆转换处理而生成的多个颜色的各色的图像数据的每个空间频率的MTF值的放大率，

所述MTF获取单元对应所述多个颜色的每色取得所述调制传递函数MTF，

所述复原滤波器生成单元基于各色的所述调制传递函数MTF，分别求算各色用的复原滤波器的频率特性，并基于这些频率特性，对应每个空间频率选择所述各色用的复原滤波器的放大率的最小值，并基于该每个空间频率的放大率的最小值和所述放大率获取单元的取得结果，生成所述复原滤波器。

4.根据权利要求1所述的复原滤波器生成装置，其中，

所述多个颜色的图像数据包含RGB的各色的图像数据，

所述复原滤波器生成装置具备放大率获取单元，取得与复原处理后的所述亮度系图像数据的每个空间频率的MTF值的放大率对应的、对该亮度系图像数据进行逆转换处理而生成的多个颜色的各色的图像数据的每个空间频率的MTF值的放大率，

所述MTF获取单元对应所述多个颜色的每色取得所述调制传递函数MTF，

所述复原滤波器生成单元基于RGB的各色的所述调制传递函数MTF和所述放大率获取单元的取得结果，算出满足复原处理后的所述各色的图像数据的MTF值为1.0以下这一条件的维纳滤波的滤波系数，并基于该滤波系数生成所述复原滤波器。

5.根据权利要求1所述的复原滤波器生成装置，其中，

所述多个颜色的图像数据包含RGB的各色的图像数据，

所述MTF获取单元取得G色的调制传递函数MTF，

所述复原滤波器生成单元基于所述MTF获取单元所取得的所述G色的调制传递函数MTF，确定维纳滤波的频率特性，并生成在亮度系中实现该频率特性的所述复原滤波器。

6.根据权利要求1～5中任一项所述的复原滤波器生成装置，其中，

所述MTF获取单元取得具有对相位进行调制而使景深扩大的透镜部的所述光学系统的所述调制传递函数MTF。

7.一种图像处理装置，具备：

图像数据生成单元，基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；

复原滤波器存储单元，存储由权利要求1～6中任一项所述的复原滤波器生成装置生成的复原滤波器；及

复原处理单元，使用存储于所述复原滤波器存储单元的所述复原滤波器，对由所述图像数据生成单元生成的所述亮度系图像数据实施复原处理。

8.一种摄像装置，具备：

摄像单元，具有光学系统且输出多个颜色的每色的图像数据；及

权利要求7所述的图像处理装置。

9.一种复原滤波器生成方法，生成复原滤波器，所述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，所述亮度系图像数据是基于由具有所述光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，

所述复原滤波器生成方法具有：

MTF获取步骤，取得所述光学系统的调制传递函数MTF；及

复原滤波器生成步骤，基于由所述MTF获取步骤所取得的所述调制传递函数MTF，生成将与复原处理后的所述亮度系图像数据对应的多个颜色的各色的图像数据的MTF值至少在特定的空间频率以下的区域内抑制为1.0以下的复原滤波器，

所述特定的空间频率为所述摄像单元所含的摄像元件的奈奎斯特频率的一半以下。

10.一种图像处理方法，具有：

图像数据生成步骤，基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；及

复原处理步骤，使用由权利要求9所述的复原滤波器生成方法生成的复原滤波器，对由所述图像数据生成步骤生成的所述亮度系图像数据实施复原处理。