CN105009168B - 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置 - Google Patents

复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置 Download PDF

Info

Publication number
CN105009168B
CN105009168B CN201380074234.4A CN201380074234A CN105009168B CN 105009168 B CN105009168 B CN 105009168B CN 201380074234 A CN201380074234 A CN 201380074234A CN 105009168 B CN105009168 B CN 105009168B
Authority
CN
China
Prior art keywords
wave filter
view data
color
recovery
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380074234.4A
Other languages
English (en)
Other versions
CN105009168A (zh
Inventor
成濑洋介
林健吉
杉本雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105009168A publication Critical patent/CN105009168A/zh
Application granted granted Critical
Publication of CN105009168B publication Critical patent/CN105009168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

复原滤波器生成装置(80)生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据与基于由具有光学系统(14)的摄像单元(18)所得到的多个颜色的每个颜色的图像数据而生成的亮度有关，所述复原滤波器生成装置(80)包括：信息取得部(82)，按多个颜色的每个颜色取得与光学系统(14)中的点像分布对应的传递函数信息；以及复原滤波器生成部(84)，基于传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器。

Description

复原滤波器生成装置以及方法、图像处理装置以及方法、摄像 装置
技术领域
本发明涉及生成复原滤波器的复原滤波器生成装置以及方法、使用该复原滤波器进行复原处理的图像处理装置以及方法、具备该图像处理装置的摄像装置、以及用于生成复原滤波器的程序以及记录介质，该复原滤波器用于进行对于基于多个颜色的每个颜色的图像数据而生成的亮度系图像数据的复原处理。
背景技术
存在在通过数码相机等的摄像装置拍摄被摄体而得到的图像中，产生由光学系统(摄影透镜等)的各种像差所引起的图像劣化的情况。由该像差所引起的图像劣化能够通过点像分布函数(PSF：Point Spread Function)等而表现。因此，基于PSF等的光学系统的劣化特性而生成复原滤波器，使用该复原滤波器对图像数据实施点像复原处理(复原处理)，能够降低图像劣化。
专利文献1(尤其，参照段落0043-0048)公开了如下发明：从自摄像设备输入的图像数据分离亮度分量Y，使用该亮度分量Y(＝Wr×R+Wg×G+Wb×B)中的R、G、B的系数(Wr，Wg，Wb)，合成R、G、B各颜色的点像分布函数(PSFr，PSFg，PSFb)，从而取得亮度分量的点像分布函数PSFy(＝Wr×PSFr+Wg×PSFg+Wb×PSFb)，基于该亮度分量的点像分布函数PSFy而计算对于亮度分量Y的校正系数。
专利文献2公开了如下发明：在选择了振幅特性作为复原滤波器的调整参数的情况下，根据用户通过调整杆进行了调整的量，变更复原滤波器的增益(振幅特性)，在选择了相位特性作为调整参数的情况下，根据用户通过调整杆进行了调整的量，变更复原滤波器的相位角(相位特性)。
专利文献3公开了如下发明：通过相对的平行移动而降低点像分布函数的颜色分量间的差异(色差)，并基于该点像分布函数而生成复原滤波器。
现有技术文献
专利文献
专利文献1：特开2010-140442号公报
专利文献2：特开2011-193277号公报
专利文献3：特开2012-129932号公报
发明内容
发明要解决的课题
专利文献1中记载的发明存在如下问题：由于只对校正对象的图像数据的亮度分量进行校正，所以虽然在全部颜色中能够将R、G、B的相位偏移量平均地恢复，但在特定的波长的颜色中发生相位偏移的过度恢复(过校正)。尤其，在对亮度系图像数据进行相位校正的情况下，与对多个颜色(R，G，B)的各颜色的图像数据(R图像数据、G图像数据、B图像数据)单独进行相位校正的情况不同地，容易产生相位的过校正。若相位成为过校正，则有时产生假象(Artifact)，画质反而会劣化。
专利文献2中记载的发明存在如下问题：虽然能够通过用户输入而对复原滤波器的振幅特性(调制特性)和相位特性单独进行调整，但会发生过校正。
专利文献3中记载的发明存在如下问题：虽然能够生成对于色差校正后的图像数据的复原滤波器，但会发生过校正。
本发明的目的在于，提供一种复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、以及程序以及记录介质，其在对亮度系图像数据进行复原处理的情况下，能够防止作为相位偏移的过度恢复的过校正。
用于解决课题的手段
为了实现上述的目的，本发明的一个方式提供一种复原滤波器生成装置，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，所述复原滤波器生成装置包括：信息取得单元，按多个颜色的每个颜色取得与光学系统中的点像分布对应的传递函数信息；以及复原滤波器生成单元，基于由信息取得单元所取得的传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器。
作为由信息取得单元所取得的“传递函数信息”，例举如下：PSF(Point SpreadFunction：也称为“点像分布函数”或者“点扩散函数”)；对PSF进行傅里叶变换而得到的OTF(Optical Transfer Function：也称为“光学传递函数”)；PTF(Phase Transfer Function：也称为“相位传递函数”)；MTF(调制传递函数(Modulation Transfer Function))。此外，“传递函数信息”并不限定于直接表示“相位偏移量”的信息。也可以通过对“传递函数信息”进行特定的运算处理而计算“相位偏移量”。即，“传递函数信息”包括间接表示“相位偏移量”的信息。
在复原滤波器生成单元中的“生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器”这样的复原滤波器生成处理中，包括：第一，在一张亮度系图像数据的整体(一个图像面的整体)中，只使用多个颜色中的单色的传递函数信息的情况；第二，按一张亮度系图像数据(一个图像面的整体)的每个位置，从多个颜色的每个颜色的传递函数信息中选择单色的传递函数信息的情况。
根据本发明的一个方式，由于生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器，所以与对多个颜色的每个颜色的图像数据单独进行相位校正的情况相比，运算负荷减轻，且能够防止作为相位偏移的过度恢复的过校正。
在本发明的一个方式中，复原滤波器生成单元从根据多个颜色的每个颜色的传递函数信息而分别得到的多个颜色的每个颜色的相位偏移量中，选择绝对值最小的单色的相位偏移量，生成以与所选择的单色的相位偏移量对应的相位校正量来对亮度系图像数据的相位偏移进行校正的复原滤波器。由此，即使是在相位偏移量的绝对值成为最小的颜色因每个光学系统而异的情况下，也能够通过复原滤波器可靠地防止过校正。
在本发明的一个方式中，复原滤波器生成单元按图像面内的每个位置选择单色的相位偏移量，生成根据单色的相位偏移量来对亮度系图像数据的相位偏移进行校正的复原滤波器。由此，即使是在相位偏移量的绝对值成为最小的颜色因亮度系图像数据中的每个位置而异的情况下，也能够可靠地防止过校正。此外，即使是在将PSF(点扩散函数(PointSpread Function))用作传递函数信息的情况下，也能够可靠地防止过校正。
在本发明的一个方式中，复原滤波器生成单元按每个空间频率选择单色的相位偏移量，生成根据单色的相位偏移量来对亮度系图像数据的相位偏移进行校正的复原滤波器。由此，即使是在相位偏移量的绝对值成为最小的颜色因每个空间频率而异的情况下，也能够可靠地防止过校正。此外，即使是在将依赖频率而定义的PTF(相位传递函数(PhaseTransfer Function))用作传递函数信息的情况下，也能够可靠地防止过校正。
在本发明的一个方式中，复原滤波器生成单元在多个颜色中相位偏移量的符号不同的情况下，将对于亮度系图像数据的相位校正量设定为零，在多个颜色的全部中相位偏移量的符号相同的情况下，选择绝对值最小的单色的相位偏移量，采用与单色的相位偏移量对应的相位校正量，生成复原滤波器。由此，即使是在多个颜色中相位偏移量的符号不同的情况下，也能够可靠地防止过校正。
在本发明的一个方式中，复原滤波器生成单元包括运算部，该运算部将复原滤波器的抽头数作为输入参数，且按每个空间频率，将复原滤波器的相位校正量的绝对值作为光学系统中的相位偏移量的绝对值以下而运算复原滤波器的滤波器系数。这样，由于将复原滤波器的滤波器系数通过“将复原滤波器的抽头数作为输入参数”且“将复原滤波器的相位校正量的绝对值作为光学系统中的相位偏移量的绝对值以下”的运算而求出，所以能够生成能够可靠地防止由存在抽头数限制所引起的过校正的复原滤波器。
在本发明的一个方式中，多个颜色中的一个颜色为绿色(G)，信息取得单元取得多个颜色中的至少绿色(G)的传递函数信息，复原滤波器生成单元生成以与绿色(G)的传递函数信息对应的相位校正量来对亮度系图像数据的相位偏移进行校正的复原滤波器。这样，由于只基于绿色(G)的传递函数信息而生成复原滤波器，所以能够生成在绿色中能够可靠地防止过校正的复原滤波器，且能够生成在其他的颜色中过校正的发生概率也少的复原滤波器。一般对亮度系图像数据贡献最多的颜色为绿色(G)，所以一般以该绿色(G)的模糊最少的方式设计光学系统。在这样的情况下，通过生成进行与绿色(G)单色的传递函数信息对应的相位校正的复原滤波器，关于红色(R)以及蓝色(B)，也能够防止相位校正的过校正。即，能够非常容易地生成在多个颜色中的任一个颜色中过校正都少的复原滤波器。
在本发明的一个方式中，包括切换单元，该切换单元切换是否使复原滤波器进行对于亮度系图像数据的相位校正，复原滤波器生成单元在使复原滤波器不进行相位校正的情况下，将传递函数信息在多个颜色间混合，基于在多个颜色间混合的传递函数信息，生成对亮度系图像数据不改变相位分量而进行点像复原处理的复原滤波器。由此，能够切换是否使复原滤波器进行对于亮度系图像数据的相位校正，在不进行相位校正的情况下，不需要对于相位校正所引起的过校正的对应。因此，基于在多个颜色间混合的传递函数信息，生成对亮度系图像数据不改变相位分量而进行点像复原处理的复原滤波器，能够生成提供良好的画质的复原滤波器。
此外，本发明的其他方式提供一种复原滤波器生成装置，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，所述复原滤波器生成装置包括：信息取得单元，按多个颜色的每个颜色取得与光学系统中的点像分布对应的传递函数信息；以及复原滤波器生成单元，基于由信息取得单元所取得的传递函数信息而生成复原滤波器，复原滤波器生成单元将传递函数信息在多个颜色间混合，基于在该多个颜色间混合而得到的传递函数信息，生成用于对亮度系图像数据不改变相位分量而进行复原处理的复原滤波器。根据本方式，由于不需要对于相位校正所引起的过校正的对应，基于在多个颜色间混合的传递函数信息，生成对亮度系图像数据不改变相位分量而进行点像复原处理的复原滤波器，能够生成提供良好的画质的复原滤波器。
在本发明的一个方式中，信息取得单元通过对光学系统中的多个颜色的每个颜色的点像分布函数分别进行傅里叶变换，取得光学系统中的多个颜色的每个颜色的光学传递函数，在使复原滤波器不进行相位校正的情况下，复原滤波器生成单元将作为各颜色的光学传递函数的振幅分量的各颜色的调制传递函数在多个颜色之间混合，基于在多个颜色之间混合而得到的调制传递函数，生成对亮度系图像数据不改变相位分量而进行复原处理的复原滤波器。
在本发明的一个方式中，信息取得单元取得表示在生成亮度系图像数据前是否对多个颜色的每个颜色的图像数据实施倍率色差校正的倍率色差校正信息，在基于倍率色差校正信息而检测出实施倍率色差校正的情况下，复原滤波器生成单元对由信息取得单元所取得的各颜色的传递函数信息进行倍率色差校正中的校正量的坐标移动处理，将进行了坐标移动处理之后的各颜色的传递函数信息在多个颜色间混合。由此，能够生成即使是在对多个颜色的颜色间的位置偏移(倍率色差)进行校正的情况下，也能够可靠地防止过校正的复原滤波器。
在本发明的一个方式中，光学系统具有透镜部，该透镜部对相位进行调制而使景深扩大。
此外，本发明的其他方式提供一种图像处理装置，包括：图像数据取得单元，取得亮度系图像数据，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据；复原滤波器存储单元，存储由上述的复原滤波器生成装置所生成的复原滤波器；以及复原处理单元，对由图像数据取得单元所取得的亮度系图像数据，使用在复原滤波器存储单元中存储的复原滤波器而实施复原处理。
此外，本发明的其他方式提供一种图像处理装置，包括复原滤波器生成装置。
此外，本发明的其他方式提供一种摄像装置，包括：摄像单元，具有光学系统，且输出多个颜色的每个颜色的图像数据；以及图像处理装置。
此外，本发明的其他方式提供一种复原滤波器生成方法，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，其中，所述复原滤波器生成方法包括以下步骤：信息取得步骤，按多个颜色的每个颜色取得与光学系统中的点像分布对应的传递函数信息；以及复原滤波器生成步骤，基于通过信息取得步骤而取得的传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器。
此外，本发明的其他方式提供一种图像处理方法，包括以下步骤：图像数据取得步骤，取得亮度系图像数据，该亮度系图像数据作为是由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据；以及复原处理步骤，使用所生成的复原滤波器，对在图像数据取得步骤中取得的亮度系图像数据实施复原处理。
此外，本发明的其他方式提供一种程序，用于生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，所述程序用于使计算机执行如下步骤：信息取得步骤，按多个颜色的每个颜色取得与光学系统中的点像分布对应的传递函数信息；以及复原滤波器生成步骤，基于通过信息取得步骤而取得的传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器。
发明效果
根据本发明，在通过进行亮度系图像数据的相位校正而比按每个颜色进行相位校正时减轻运算负荷的情况下，能够防止作为相位偏移的过度恢复的过校正。
附图说明
图1是表示包括应用了本发明的复原滤波器生成装置和作为图像处理装置的一例的数码相机的系统结构例的框图。
图2是用于说明点像复原处理的原理的说明图。
图3是表示复原滤波器生成处理的一例的概略的流程图。
图4是表示复原处理的一例的概略的框图。
图5是用于说明在多个颜色的位置偏移方向相同的情况下的相位偏移量和不会成为过校正的相位校正量的关系的说明图。
图6是用于说明在多个颜色的位置偏移方向不同的情况下的相位偏移量和不会成为过校正的相位校正量的关系的说明图。
图7是表示有无实施相位校正的切换处理的概略的流程图。
图8是第一实施方式中的复原滤波器生成处理例的流程图。
图9是表示数码相机的硬件结构例的框图。
图10是表示图9的图像处理电路的结构例的框图。
图11是表示复原滤波器生成装置的硬件结构例的框图。
图12是包括复原滤波器生成装置以及图像处理装置的数码相机的框图。
图13是包括复原滤波器生成装置以及图像处理装置的计算机装置的框图。
图14是表示具有EDoF光学系统的摄像模块的一方式的框图。
图15是表示EDoF光学系统的一例的图。
图16是表示具有EDoF光学系统的数码相机的复原处理部中的复原处理的一例的流程图。
图17是智能手机的外观图。
图18是表示图17所示的智能手机的结构的框图。
具体实施方式
参照附图说明本发明的实施方式。
＜系统结构例＞
图1是表示包括应用了本发明的复原滤波器生成装置和作为图像处理装置的一例的数码相机的系统结构例的框图。
数码相机10(摄像装置)包括以下部分而构成：摄像部18(摄像单元)，具有光学系统14以及摄像元件16；亮度系图像数据生成部22(亮度系图像数据生成单元)，基于由摄像部18所得到的多个颜色(在本例中，R、G、B)的每个颜色的图像数据，生成作为与亮度有关的图像数据的亮度系图像数据；复原滤波器存储部24(复原滤波器存储单元)，存储用于对亮度系图像数据进行复原处理的复原滤波器F；复原处理部26(复原处理单元)，使用在复原滤波器存储部24中存储的复原滤波器F，对亮度系图像数据实施点像复原处理。
复原滤波器生成装置80包括以下部分而构成：信息取得部82(信息取得单元)，按多个颜色的每个颜色取得与数码相机10的光学系统14中的点像分布对应的传递函数信息；复原滤波器生成部84(复原滤波器生成单元)，基于由信息取得部82所取得的传递函数信息，生成复原滤波器F；切换部86(切换单元)，切换是否使复原滤波器F进行亮度系图像数据的相位校正。
作为由信息取得部82所取得的“传递函数信息”，例举如下：PSF(Point SpreadFunction：也称为“点像分布函数”或者“点扩散函数”)；对PSF进行傅里叶变换而得到的OTF(Optical Transfer Function：也称为“光学传递函数”)。OTF由MTF(Modulation TransferFunction：也称为“调制传递函数”)以及PTF(Phase Transfer Function：也称为“相位传递函数”)构成。还包括只将MTF或者PTF作为“传递函数信息”而取得的情况。此外，也可以根据“传递函数信息”而计算“相位偏移量”。即，“传递函数信息”也可以包括间接地表示“相位偏移量”的信息。
复原滤波器生成部84生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数据的相位校正的复原滤波器。
这里，“根据单色的传递函数信息而进行亮度系图像数据的相位校正”大致区分为如下。第一，有如下方式：按多个颜色的每个颜色取得传递函数信息，按实际空间中的图像面的每个位置，从多个颜色的每个颜色的相位偏移量中选择单色的相位偏移量。这里，“图像面的位置”相当于与图2所示的摄像元件16的摄像面上的二维位置对应的、劣化图像数据(例如，亮度系图像数据)的图像面上的二维位置。此外，“按图像面的每个位置”选择相位偏移量并不限定于按图像面上的每个点选择相位偏移量的情况，也可以按图像面上的每个部分区域选择相位偏移量。第二，有如下方式：按多个颜色的每个颜色取得传递函数信息，按频率空间中的每个空间频率，从多个颜色的每个颜色的相位偏移量中选择单色的相位偏移量。此外，在第二方式中，包括按实际空间中的图像面的每个位置且按频率空间中的每个空间频率选择相位偏移量的情况。此外，“按每个空间频率”选择相位偏移量并不限定于按频率的每个单位选择相位偏移量的情况，也可以按每个频域选择相位偏移量。在上述的第一个方式以及第二方式中，计算复原滤波器的滤波器系数，使得以与所选择的单色的相位偏移量对应的相位校正量来对相位偏移进行校正。第三，有如下方式：取得单色的传递函数信息，计算复原滤波器的滤波器系数，使得以与该单色的相位偏移量对应的相位校正量来对相位偏移进行校正。
数码相机10的亮度系图像数据生成部22对RGB图像数据R、G、B实施YC转换处理，生成亮度系图像数据Y、色差系图像数据Cb、Cr。亮度系图像数据Y例如根据式[Y＝0.3R+0.6G+0.1B]而生成。由于在该式中G色的贡献率成为60％，所以G色的贡献率比R色(贡献率30％)和B色(贡献率10％)高。因此，G色成为在三原色中对亮度信号贡献最大的颜色。
在本实施方式中，作为“亮度系图像数据”，举由“Y、Cb、Cr”表示的颜色空间的亮度信号的值为例进行说明，但“亮度系图像数据”只要是对图像的亮度产生贡献的数据则并不特别限定，意味着具有与拍摄到的图像的亮度有关的信息的各种数据。例如，举出表示CIELAB颜色空间(国际照明委员会(Commission internationale de l'eclairage))中的明度L的数据、用于得到亮度信号的贡献率最高的数据、与对亮度贡献最大的颜色的滤色器对应的数据等。
＜点像复原的原理＞
图2是用于说明点像复原处理的原理的说明图。在图2中，为了容易理解，表示作为被摄体像而拍摄了点像的情况。被摄体像经由包括透镜11以及光圈12的光学系统14在摄像元件16的摄像面成像，由该摄像元件16所拍摄。从该摄像元件16输出由光学系统14的像差所引起的被摄体像劣化的图像数据即劣化图像数据。因此，将光学系统14中的劣化的特性作为与摄影条件(例如，光圈值、焦点距离、被摄体距离、透镜种类等)对应的传递函数信息而预先求出。此外，通过图1的复原滤波器生成部84，基于求出的传递函数信息，生成点像复原处理用的复原滤波器F。由图1的复原处理部26使用复原滤波器F进行消除劣化图像数据的劣化的点像复原处理。于是，能够得到劣化被消除的复原图像数据。
点像复原处理能够大致区分为“相位校正”(以下，也称为“相位复原”)和“振幅校正”(以下，也称为“振幅复原”、“频率校正”、“频率复原”)。“相位校正”是将在光学系统中劣化的相位特性(PTF)进行复原的图像处理。通过相位校正，能够将非对称的点扩散形状校正为点对称的点扩散形状。“振幅校正”是将在光学系统中劣化的振幅特性(MTF)进行复原的图像处理。通过振幅校正，能够将点扩散形状校正为点(Delta函数)。但是，若模糊严重或者SN差，则有时无法完全返回到点形状。
此外，由于光学系统14的像差因波长而异，所以理想的是优选按每个颜色(例如，R、G、B)使用不同的复原滤波器进行点像复原处理。但是，若对多个颜色(例如，R、G、B)的每个颜色的图像数据分别进行点像复原处理，则运算处理的负荷大。因此，通过图1的复原处理部26，对视觉上的效果大的亮度系图像数据进行点像复原处理。图1的复原滤波器生成部84生成亮度系图像数据用的复原滤波器F。
图3是表示基于复原滤波器生成部84的复原滤波器生成处理的一例的概略的流程图。
在步骤S1中，通过信息取得部82，按多个颜色的每个颜色取得与光学系统14中的点像分布对应的传递函数信息。
在步骤S2中，通过复原滤波器生成部84，基于通过步骤S1而取得的传递函数信息，将在多个颜色中的单色的相位偏移量决定为代表相位偏移量。
在步骤S3中，通过复原滤波器生成部84，生成基于通过步骤S2而决定的代表相位偏移量而进行亮度系图像数据的相位校正的复原滤波器。
此外，在图3中，为了容易本发明的理解，只说明了与相位校正功能有关的部分，但也可以生成如后所述那样具有振幅校正(频率校正)功能的复原滤波器。
图4是表示复原处理的一例的概略的框图。
复原处理是主要使用复原滤波器F而从劣化图像数据生成复原图像数据的点像复原处理。点像复原处理使用例如由N×M(N、M为2以上的整数)个抽头构成的实际空间上的复原滤波器F进行。这样，通过将对各抽头分配的滤波器系数和对应的图像数据(劣化图像数据的处理对象像素数据以及相邻像素数据)进行卷积运算，能够计算点像复原处理后的像素数据(复原图像数据)。通过将使用了该复原滤波器F的卷积运算对构成图像数据的全部像素数据应用来代替轮流对对象像素进行，能够进行点像复原处理。
另外，由N×M个抽头构成的实际空间上的复原滤波器(实际空间滤波器)能够通过对频率空间(也称为“空间频域”)上的复原滤波器(频率空间滤波器)进行傅里叶逆转换而导出。因此，实际空间上的复原滤波器能够通过确定成为基础的频率空间上的复原滤波器并指定实际空间上的复原滤波器的抽头数而适当计算。
＜不会成为过校正的相位校正的原理＞
在对亮度系图像数据进行相位校正的情况下，与对多个颜色(R，G，B)的各颜色的图像数据(R图像数据、G图像数据、B图像数据)单独进行相位校正的情况不同地，容易产生相位的过校正。若相位成为过校正，则有时产生假象，画质反而会劣化。
因此，复原滤波器生成部84以在多个颜色的各颜色中相位校正不会成为过校正的方式，选择多个颜色(R，G，B)的每个颜色的传递函数信息中的单色的传递函数信息，并基于该所选择的传递函数信息而计算相位校正量，生成具有以该所计算的相位校正量来进行相位校正的功能的复原滤波器。
使用图5以及图6，说明特定的空间频率中的多个颜色(R，G，B)的每个颜色的相位偏移量(θR，θG，θB)和不会成为过校正的相位校正量φ的关系。
在图5以及图6中，左右方向表示图像数据的x轴方向上的相位偏移量θx，上下方向表示图像数据的y轴方向上的相位偏移量θy。即，在图5以及图6中，离中心点O的距离{±(θx2+θy2)1/2}对应于实际空间的图像面中的位置偏移量。
这里，图像面是在图2中相当于x方向以及y方向的2个方向的二维的图像(劣化图像数据以及复原图像数据)的平面，并且是与摄像元件16的摄像面对应的平面。
图5表示在某特定的空间频率(ωx，ωy)中，多个颜色(R，G，B)的全部中位置偏移方向相同的情况(即，相位偏移量的符号相同的情况)。
如图5所示，在多个颜色的全部中相位偏移量的符号相同的情况下，将绝对值最小的绿色(G)的相位偏移量θG的复共轭设为复原滤波器的相位校正量φ。由于在亮度系图像数据中不能进行按每个颜色的校正，所以对其他的颜色(R，B)的相位偏移量θR、θB也以相同的相位校正量φ来进行相位校正。但是，由于将在θR、θG、θB中最小的相位偏移量θG的复共轭设为相位校正量φ，所以能够防止在相位校正前后位置偏移的方向不同的情况。
图6表示在某特定的空间频率(ωx，ωy)中，多个颜色(R，G，B)中位置偏移方向不同的情况(即，相位偏移量的符号不同的情况)。
如图6所示，在多个颜色中相位偏移量的符号不同的情况下，不进行相位校正(设为相位校正量φ＝0)。由于在亮度系图像数据中不能进行按每个颜色的校正，所以在判定为成为过校正的情况下，不进行校正。由此，能够得到与成为过校正时相比画质更好的图像数据。
此外，以在空间频域中按每个空间频率决定相位校正量的情况为例进行了说明，但也可以在实际空间区域中按图像面内的每个位置决定相位校正量。
此外，也可以按每个亮度系图像数据切换是否进行相位校正。
＜复原滤波器生成的切换处理＞
图7是表示基于图1的复原滤波器生成装置80的切换部86的有无实施相位校正的切换处理的概略的流程图。
在图7中，切换部86判定是否使复原滤波器F通过对于亮度系图像数据的点像复原处理而进行相位校正(相位复原)(步骤S11)。
在使复原滤波器F进行相位校正的情况下(步骤S11中“是”的情况下)，复原滤波器生成部84生成具有通过对于亮度系图像数据的点像复原处理而进行相位校正的功能的复原滤波器，该复原滤波器防止了亮度系图像数据的相位的过校正(步骤S12)。
在使复原滤波器F不进行相位校正的情况下(步骤S11中“否”的情况下)，复原滤波器生成部84将多个颜色(R，G，B)的每个颜色的传递函数信息(PSF或者MTF)在多个颜色间混合，基于该在多个颜色间混合的传递函数信息(PSF或者MTF)，生成对亮度系图像数据进行不改变相位分量的同时只改变振幅分量的点像复原处理的复原滤波器(步骤S13)。即，复原滤波器生成部84生成复原滤波器，该复原滤波器具有通过对于亮度系图像数据的点像复原处理而不进行相位校正且只进行振幅校正(频率校正)的功能。
此外，由于在对于亮度系图像数据的频率校正中，不是按多个颜色(R，G，B)的每个颜色来校正频率，所以存在在多个颜色(R，G，B)中的任一个或者多个颜色中，发生校正不足(MTF低于1.0)或过校正(MTF超过1.0)的可能性。但是，通过复原滤波器生成部84，将传递函数信息(PSF或者MTF)在多个颜色(R，G，B)间混合，并基于该进行了混合的传递函数信息(PSF或者MTF)，生成进行将调制传递函数MTF平均地接近“1”的频率校正的复原滤波器。由此，能够生成抑制了校正不足以及过校正的良好的复原滤波器。即，在不进行相位校正的情况下，由于不需要对于相位校正所引起的过校正的对应，所以基于在多个颜色间混合的传递函数信息，生成对亮度系图像数据进行不改变相位分量而改变振幅分量的点像复原处理的复原滤波器。由此，能够生成良好的复原滤波器。
＜第一实施方式＞
第一实施方式中的复原滤波器生成部84从由光学系统14的每个颜色的传递函数信息所表示的多个颜色的每个颜色的相位偏移量中，选择绝对值最小的单色的相位偏移量，生成以与该所选择的单色的相位偏移量对应的相位校正量来对亮度系图像数据的相位偏移进行校正的复原滤波器。由此，以对于亮度系图像数据的相位校正在多个颜色的各颜色中“不会成为过校正”的方式抑制相位偏移的校正量。
这里，“不会成为过校正”意味着“作为相位偏移的恢复量的相位校正量的绝对值不超过相位偏移量的绝对值”。在空间频域中，优选在“多个颜色的各颜色、且各空间频率”中不会成为过校正。此外，在实际空间中，优选在“多个颜色的各颜色、且亮度系图像数据的各区域(图像面内的各位置)”中不会成为过校正。
以下，具体说明在基于相位传递函数(PTF)而求出相位校正量的情况下的复原滤波器生成处理例。在本例中，按每个空间频率(ωx，ωy)，从多个颜色的每个颜色的相位偏移量中选择单色的相位偏移量。
图8是表示第一实施方式中的复原滤波器生成处理例的流程的流程图。
首先，通过信息取得部82，按多个颜色(R，G，B)的每个颜色取得与光学系统14中的点像分布对应的传递函数信息(步骤S21)。在本例中，设为取得包括调制传递函数MTF和相位传递函数PTF的光学传递函数OTF。
为了简单进行说明，将多个颜色(R，G，B)的各颜色的相位传递函数PTFR(ωx，ωy)、PTFG(ωx，ωy)、PTFB(ωx，ωy)定义为PTFK(ωx，ωy)，其中，K∈{R，G，B}。于是，各颜色的相位传递函数PTFK(ωx，ωy)由下式表示。
[算式1]
这里，θK(ωx，ωy)表示多个颜色(R，G，B)的各颜色的相位偏移量。各颜色的PTFK(ωx，ωy)是绝对值为“1”的复数。各颜色的相位传递函数PTFK(ωx，ωy)和各颜色的调制传递函数MTFK(ωx，ωy)之积是对各颜色的点像分布函数PSFK(x，y)进行了傅里叶变换的各颜色的光学传递函数OTFK(ωx，ωy)。
复原滤波器生成部84按每个空间频率(ωx，ωy)判定在多个颜色(R，G，B)的全部中各颜色的相位偏移量θK(ωx，ωy)的符号(+/-)是否相同(步骤S22)。
复原滤波器生成部84在多个颜色(R，G，B)的全部中各颜色的相位偏移量θK(ωx，ωy)的符号相同的情况下(步骤S22中“是”的情况下)，如由下式表示那样，选择单色的相位偏移量θS(ωx，ωy)(步骤S23)。
[算式2]
θs(ωx，ωy)＝sign(θK(ωx，ωy))×min{|θR(ωx，ωy)|，|θG(ωx，ωy)|，|θB(ωx，ωy)|}
这里，sign为符号函数，sign(x)＝{1：x＞0，0：x＝0，-1：x＜0}。此外，min是求出最小值的函数。
即，复原滤波器生成部84按每个空间频率(ωx，ωy)，从多个颜色(R，G，B)的每个颜色的相位偏移量θK(ωx，ωy)＝{θR(ωx，ωy)，θG(ωx，ωy)，θB(ωx，ωy)}中，选择绝对值最小的单色的相位偏移量，作为θs(ωx，ωy)。
此外，复原滤波器生成部84在多个颜色(R，G，B)中相位偏移量θK(ωx，ωy)的符号不同的情况下(步骤S22中“否”的情况下)，如由下式表示那样，作为相位偏移量θs(ωx，ωy)而采用零，从而将相位校正量设定为零(步骤S24)。
[算式3]
θs(ωx，ωy)＝0
复原滤波器生成部84判定在对象范围的全部空间频率(ωx，ωy)中是否进行了步骤S22～S24的选择处理(步骤S25)。
通过根据上述的算式2以及算式3而求出的相位偏移量θS(ωx，ωy)(以下，称为“代表相位偏移量”)，表示下式的相位传递函数PTFS(ωx，ωy)(以下，称为“代表相位传递函数”)。
[算式4]
复原滤波器生成部84通过计算滤波器系数，使以与上述的代表相位偏移量θS(ωx，ωy)对应的相位校正量来对亮度系图像数据的相位偏移进行校正，从而生成复原滤波器(步骤S26)。换言之，可以说复原滤波器生成部84基于代表相位传递函数PTFS(ωx，ωy)计算复原滤波器的相位特性，生成与该特性信息对应的复原滤波器。
在复原滤波器为威纳(Wiener)滤波器的情况下，该威纳滤波器的相位特性(表示“相位校正量”)成为代表相位传递函数PTFS(ωx，ωy)的复共轭。
根据本实施方式中的复原滤波器生成部84，从由多个颜色的每个颜色的相位传递函数PTFR(ωx，ωy)、PTFG(ωx，ωy)、PTFB(ωx，ωy)表示的多个颜色的每个颜色的相位偏移量θR(ωx，ωy)、θG(ωx，ωy)，θB(ωx，ωy)中，选择绝对值最小的单色的相位偏移量，生成具有以与该所选择的单色的相位偏移量对应的相位校正量来对亮度系图像数据的相位偏移进行校正的功能的复原滤波器。因此，能够容易生成在多个颜色中的哪个颜色中也都不会成为过校正的复原滤波器。
此外，在同一个空间频率中每个颜色的相位偏移量的符号不同的情况下(即，在实际空间中每个颜色的位置偏移的方向不同的情况下)，能够使得不会进行相位校正。这是因为在亮度系图像数据中不能按每个颜色沿不同的方向移动。另外，此时，也可以基于在多个颜色间混合的传递函数信息，生成对亮度系图像数据进行不改变相位分量而改变振幅分量的点像复原处理的复原滤波器。
＜第二实施方式＞
第二实施方式中的复原滤波器生成部84包括运算部，该运算部将复原滤波器的抽头数作为输入参数，且按每个空间频率，将复原滤波器的相位校正量的绝对值作为光学系统中的相位偏移量的绝对值以下而计算复原滤波器的滤波器系数。这样，即使是在抽头数被限定的情况下，也可靠地不会成为过校正。
以下，具体说明在基于光学系统14中的相位传递函数(PTF)，作为复原滤波器而运算威纳滤波器的滤波器系数时的复原滤波器生成处理例。
在将复原滤波器的抽头数设为N×N时，复原滤波器的滤波器系数由将cuy设为N行N列的元素的行列C表示。此外，复原滤波器的复频率特性f(ωx，ωy|C)由下式表示。
[算式5]
这里，N为奇数，设为M＝(N-1)/2。u、v分别是行、列的索引。
如由下式表示那样，通过求出将泛函数J[C]附带s.t.(such that)以下的条件而进行最小化的行列C，从而生成作为复原滤波器的一例的威纳滤波器。
[算式6]
minimize J[C]s.t.φ(ωx，ωy)θK(ωx，ωy)≤0，|φ(ωx，ωy)|≤|θK(ωx，ωy)|，K∈{R，G，B}
这里，θK(ωx，ωy)是由各颜色的相位传递函数PTFK表示的各颜色的相位偏移量。此外，φ(ωx，ωy)是对于想要生成的复原滤波器的亮度系图像数据的相位校正量。
s.t.以下是表示基于复原滤波器的对于亮度系图像数据的相位校正不会成为过校正的条件的条件式。
上述的条件式中的前半的{φ(ωx，ωy)θK(ωx，ωy)≤0}是，以复原滤波器的对于亮度系图像数据的相位校正量φ(ωx，ωy)的符号与光学系统中的多个颜色(R，G，B)的每个颜色的相位偏移量θK(ωx，ωy)成为正负相反的方式，计算滤波器系数的行列C的条件。即，在多个颜色的各颜色中，沿与相位偏移相反的方向进行相位校正。但是，在多个颜色(R，G，B)中相位偏移量θK(ωx，ωy)的符号不同的情况下，将相位校正量φ(ωx，ωy)设定为零。
此外，条件式中的后半的{|φ(ωx，ωy)|≤|θK(ωx，ωy)|}是，以复原滤波器的相位校正量的绝对值|φ(ωx，ωy)|不超过光学系统中的多个颜色(R，G，B)的每个颜色的相位偏移量的绝对值|θK(ωx，ωy)|的方式，计算滤波器系数的行列C的条件。
此外，复原滤波器的复频率特性f(ωx，ωy|C)和相位校正量φ(ωx，ωy)的关系由下式表示。
[算式7]
这里，A(ωx，ωy)是想要生成的复原滤波器的振幅校正量。
此外，泛函数J[C]例如由下式表示。
这里，A(ωx，ωy)是想要生成的复原滤波器的振幅校正量，在本发明中不叙述对于此的限制条件。此外，泛函数J[C]例如利用由下式表示那样的威纳滤波器的最小化基准。
[算式8]
J[C]＝∫∫(||1-f(ωx，ωy|C)OTFY(ωx，ωy)||2SY(ωx，ωy)+||f(ωx，ωy|C)|2NY(ωx，ωy))dωxdωy
这里，OTFY(ωx，ωy)、SY(ωx，ωy)、NY(ωx，ωy)分别是与亮度系图像数据对应的、光学传递函数、信号功率、噪声功率。OTFY是与亮度系图像数据对应的调制传递函数MTFY和与亮度系图像数据对应的相位传递函数PTFY之积。MTFY基于多个颜色的每个颜色的调制传递函数MTFR、MTFG、MTFB而计算。SY基于多个颜色的每个颜色的信号功率SR、SG、SB而计算。NY基于多个颜色的每个颜色的噪声功率NR、NG、NB而计算。
本实施方式中的复原滤波器生成部84由于包括运算部，该运算部在复原滤波器的滤波器系数中，“将复原滤波器的抽头数作为输入参数”，且按每个空间频率，“将复原滤波器的相位校正量的绝对值作为光学系统中的相位偏移量的绝对值以下”，所以能够可靠地防止由存在抽头数限制所引起的过校正。若仅仅以相位偏移量不会成为过校正的方式从多个颜色的每个颜色的相位偏移量选择一个的话，实际上有时会发生由抽头数限制所引起而计算出成为过校正的滤波器系数的问题。但是，通过以附带相位校正不会成为过校正的条件来运算复原滤波器的滤波器系数，保证不会产生相位的过校正。此外，由于在滤波器生成时进行非线性最佳化的处理，所以运算量增大，但在运算部的处理能力高的情况下，从过校正防止的观点出发，适合本实施方式。
＜第三实施方式＞
第三实施方式中的复原滤波器生成部84生成以与绿色(G)的传递函数信息对应的相位校正量来对亮度系图像数据的相位偏移进行校正的复原滤波器。信息取得部82取得多个颜色中的至少绿色(G)的传递函数信息。信息取得部82也可以只取得绿色(G)的传递函数信息。
一般，摄像装置的光学系统重视在多个颜色(R，G，B)中对视觉特性影响最大的绿色(G)而被设计。此外，若限定于在视觉上重要的低空间频率，则绿色(G)的相位偏移量倾向于最小。因此，若以只基于由绿色(G)的传递函数信息表示的相位偏移量来可靠地对绿色(G)的相位偏移量进行校正的方式生成复原滤波器，则关于绿色(G)以外的颜色(R，B)的相位偏移，也能够大致防止过校正。
尤其，在光学系统14中，在绿色(G)的相位偏移量比其他的颜色的相位偏移量小的情况下，优选以与绿色(G)的传递函数信息对应的相位校正量来对亮度系图像数据的相位偏移进行校正。即，在光学系统14中，在绿色(G)的相位偏移量比其他的颜色的相位偏移量小的情况下，若以可靠地对绿色(G)的相位偏移量进行校正的方式生成复原滤波器，则关于绿色(G)以外的颜色(R，B)的相位偏移，也能够防止过校正。
此外，由于只基于绿色(G)的传递函数信息而设计复原滤波器的相位校正功能，所以不能完美地防止过校正，但由于能够减小运算量，所以在运算部的处理能力低的情况下，适合本实施方式。
＜第四实施方式＞
本实施方式中的信息取得部82通过对R、G、B的每个颜色的点像分布函数{PSFR(x,y)，PSFG(x,y)，PSFB(x,y)}分别进行傅里叶变换，计算R、G、B的每个颜色的光学传递函数{OTFR(x,y)，OTFG(x,y)，OTFB(x,y)}。在光学传递函数{OTFR(x,y)，OTFG(x,y)，OTFB(x,y)}中，包括R、G、B的每个颜色的振幅传递函数{MTFR(ωx，ωy)，MTFG(ωx，ωy)，MTFB(ωx，ωy)}和R、G、B的每个颜色的相位传递函数{PTFR(ωx，ωy)，PTFG(ωx，ωy)，PTFB(ωx，ωy)}。
此外，本实施方式中的复原滤波器生成部84在使复原滤波器不进行相位校正的情况下，将通过摄像部18(摄像单元)拍摄被摄体而得到的多个颜色的每个颜色的图像(R图像、G图像、B图像)的各个振幅传递函数{MTFR(ωx，ωy)，MTFG(ωx，ωy)，MTFB(ωx，ωy)}进行混合，从而计算与亮度系图像数据对应的振幅传递函数MTFY(ωx，ωy)，并基于该振幅传递函数MTFY(ωx，ωy)而计算滤波器的系数(行列x)。
具体而言，首先，如下式所示，将R、G、B的每个颜色的振幅传递函数{MTFR(ωx，ωy)，MTFG(ωx，ωy)，MTFB(ωx，ωy)}，使用在根据R、G、B的每个颜色的图像而生成亮度系图像数据时的R、G、B的每个颜色的权重，通过线性和进行混合，从而计算与亮度系图像数据对应的振幅传递函数MTFY。
[算式9]
MTFY(ωX，ωY)＝CR×MTFR(ωX，ωY)+CG×MTFG(ωX，ωY)+CB×MTFB(ωX，ωY)
此外，在本实施方式中，R、G、B的每个颜色的相位传递函数{PTFR(ωx，ωy)，PTFG(ωx，ωy)，PTFB(ωx，ωy)}不用于滤波器的系数的计算，所以消除。
接着，基于振幅传递函数MTFY(ωx，ωy)，计算对亮度系图像数据的振幅特性进行校正的滤波器的系数(行列C)。
在第四实施方式中，由于不使用R、G、B的每个颜色的相位传递函数，而是使用在生成亮度系图像时的对于R、G、B的每个颜色的图像数据的权重和R、G、B的每个颜色的振幅传递函数而计算滤波器系数，所以成为排除R、G、B的颜色间的相位的偏移的信息(相位的相关信息)而计算滤波器的系数。
<倍率色差校正对应处理>
在复原处理部26进行倍率色差校正的情况下，优选在第一实施方式至第四实施方式中说明的复原滤波器生成装置80中，进行如下的倍率色差校正对应处理。
信息取得部82取得表示在亮度系图像数据的生成前是否对多个颜色的每个颜色的图像数据实施倍率色差校正的倍率色差校正信息。
复原滤波器生成部84在基于倍率色差校正信息而检测出通过复原处理而实施了倍率色差校正的情况下，对由信息取得部82所取得的各颜色的传递函数信息进行倍率色差校正中的校正量的坐标移动处理，将进行了该坐标移动处理之后的各颜色的传递函数信息如在第三实施方式中所说明那样在颜色间混合。
＜数码相机的结构例＞
图9是表示数码相机10的硬件结构例的框图。
在图9中，相机CPU(中央处理器(CPU：Central Processing Unit))33基于输入到操作部9的指示，逐次执行从存储器34读出的各种程序或数据，统一控制数码相机10的各部。
相当于图1的复原滤波器存储部24的存储器34除了上述的各种程序之外，还存储复原滤波器F。此外，存储器34作为CPU33用于执行处理的工作存储器、各种数据的临时保管目的地发挥作用。
在光学系统14的背后，配置有单板式的彩色的摄像元件16。在摄像元件16的摄像面，形成有通过预定的图案排列(Bayer排列、G条纹R/G完全方格、X-Trans(注册商标)排列、蜂巢排列等)以矩阵状配置的多个像素。各像素包括微透镜、滤色器(在本例中，R(红)G(绿)B(蓝)的滤色器)以及光电二极管而构成。摄像元件16是与光学系统14一同构成本发明中的摄像单元的元件，将通过光学系统14而在摄像面成像的被摄体像转换为电输出信号而输出。另外，作为摄像元件16，使用CCD(电荷耦合器件(Charge Coupled Device))彩色摄像元件、CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))彩色摄像元件等的各种摄像元件。在CPU33的控制下，摄像元件驱动器45对摄像元件16的驱动进行控制。
信号调整电路48对从摄像元件16输出的输出信号实施各种信号调整处理，生成伴随着摄像元件16的滤色器排列的RGB的马赛克图像数据R1、G1、B1。另外，信号调整电路48在摄像元件16为CCD型的情况下，例如由CDS/AGC(相关双采样/自动增益控制(CorrelatedDouble Sampling/Automatic Gain Control))电路或A/D转换电路等构成，在CMOS型的情况下，例如由放大器等构成。
图像处理电路49相当于本发明的图像处理装置。该图像处理电路49对从信号调整电路48输入的多个颜色R、G、B的各颜色的马赛克图像数据实施黑电平调整处理、白平衡校正处理、伽马校正处理、去马赛克处理、YC转换处理、点像复原处理等，生成亮度系图像数据Y以及色差系图像数据Cb、Cr。亮度系图像数据Y以及色差系图像数据Cb、Cr临时存储到存储器34的VRAM(视频随机存取存储器(Video Random Access Memory))区域(也可以另外设置VRAM)。
VRAM区域具有对连续的2个字段图像量进行存储的即时预览图像用的存储器区域。存储到VRAM区域的亮度系图像数据Y以及色差系图像数据Cb、Cr逐次输出到显示部8。由此，在显示部8中显示即时预览图像。
压缩扩展处理电路51在摄影模式中快门按钮6被按压时，对存储到VRAM区域的亮度系图像数据Y以及色差系图像数据Cb、Cr实施压缩处理。此外，压缩扩展处理电路51对经由介质I/F52从存储卡30得到的压缩图像数据实施扩展处理。介质I/F52进行对于存储卡30的压缩图像数据的记录以及读出等。
如图10所示，图像处理电路49主要具有输入部49a、去马赛克处理部49b、转换部49c(相当于图1的亮度系图像数据生成部22)、复原处理部49d(图1的26)。另外，图像处理电路49还具有进行白平衡校正处理或伽马校正处理等的校正处理部，但为了防止说明的复杂化，省略关于这些校正处理部的图示或说明。
输入部49a将从信号调整电路48输入的RGB的各颜色的马赛克图像数据R1、G1、B1输出到去马赛克处理部49b。即，输入部49a作为被输入通过摄像元件16的摄像而得到的各颜色的图像数据的输入I/F发挥作用。
去马赛克处理部49b基于各颜色的马赛克图像数据R1、G1、B1，进行按每个像素计算(转换为同时式)RGB的全部颜色信息的去马赛克处理(也称为同时化处理)，生成由RGB的3面的颜色数据构成的RGB图像数据R2、G2、B2。去马赛克处理部49b将RGB图像数据R2、G2、B2输出到转换部49c。
转换部49c(亮度系图像数据生成部22)对RGB图像数据R2、G2、B2实施YC转换处理，生成亮度系图像数据Y和色差系图像数据Cb、Cr。亮度系图像数据Y例如通过式[Y＝0.3R+0.6G+0.1B]而生成。在该式中，G色的贡献率成为60％，所以G色的贡献率比R色(贡献率30％)和B色(贡献率10％)高。因此，G色成为在三原色中对亮度信号贡献最大的颜色。
这里，在本实施方式中，作为亮度系图像数据Y，举由“Y、Cb、Cr”表示的颜色空间的亮度信号的值为例进行了说明，但若是对图像的亮度产生贡献的数据则并不特别限定。亮度系图像数据Y意味着具有与所拍摄的图像的亮度有关的信息的各种数据。作为亮度系图像数据Y，例如举出用于得到亮度信号的贡献率最高的数据、与对亮度贡献最大的颜色的滤色器对应的数据等。
复原处理部49d(图1的26)读出在存储器34中存储的复原滤波器F，使用该复原滤波器F对亮度系图像数据Y进行复原处理。该复原处理只对用于减少运算处理的负荷而视觉上的效果大的亮度系图像数据Y进行。通过进行点像复原处理，由光学系统14的像差所引起的图像的劣化(模糊等)被修正。
透过了光学系统14的点像(光学像)如在图1中作为“劣化图像数据”所示那样作为大的点像(模糊的图像)在摄像元件16的摄像面成像，但通过点像复原处理，在图2中作为“复原图像数据”所示那样复原为小的点像(高分辨率的图像)。
＜复原滤波器生成装置的结构例＞
图11是表示用作复原滤波器生成装置80的计算机装置180的硬件结构例的框图。
在图11中，CPU(中央处理器(Central Processing Unit))181控制计算机装置180的各部。存储部182存储复原滤波器生成处理程序以及传递函数信息。通信部183经由网络与服务器装置(省略图示)进行通信，并经由网络从服务器装置取得传递函数信息。操作部184接受来自操作者的指示输入。显示部185显示各种信息。
在图11的计算机装置180中，由通信部183构成图1的信息取得部82。此外，由CPU181(或者，操作部184)构成图1的切换部86。此外，由CPU181构成图1的复原滤波器生成部84。
＜系统的变形＞
在前述的实施方式中，如图1所示，以复原滤波器生成装置80和作为图像处理装置的数码相机10单独构成的情况为例进行了说明，但本发明并不限定于这样的情况。
如图12所示，也可以是数码相机10包括复原滤波器生成装置以及图像处理装置的情况。图12的数码相机10包括构成了图1的复原滤波器生成装置80的信息取得部82、复原滤波器生成部84以及切换部86。
此外，如图13所示，也可以是计算机装置180(例如，图11的硬件结构)包括复原滤波器生成装置以及图像处理装置的情况。图13的计算机装置180包括构成了图1的数码相机10的复原滤波器存储部24以及复原处理部26、取得亮度系图像数据的亮度系图像数据取得部92。亮度系图像数据取得部92例如由图11的通信部183构成。
此外，系统结构并不限定于图1、图12以及图13中记载的情况，也可以是其他的结构。也可以在服务器装置等的其他的装置中设置有复原滤波器生成部84或复原处理部26。例如，在服务器装置具备复原处理部26的情况下，例如也可以从数码相机10或计算机装置180对服务器装置发送图像数据，在服务器装置的复原处理部26中对该图像数据进行点像复原处理，点像复原处理后的图像数据(恢复图像数据)发送/提供给发送源。
此外，能够应用本发明的方式并不限定于数码相机、计算机以及服务器。例如，除了将摄像作为主要的功能的相机类以外，还能够对除了摄像功能之外还具有摄像以外的其他的功能(通话功能、通信功能、其他的计算机功能)的移动设备类应用。作为能够应用本发明的其他的方式，例如举出具有相机功能的便携电话机或智能手机、PDA(个人数字助理(Personal Digital Assistants))、便携式游戏机等。关于能够应用本发明的智能手机的一例，在后面叙述。
＜对于EDoF系统的应用例＞
上述的实施方式中的点像复原处理(复原处理)是，根据特定的摄影条件(例如，光圈值、F值、焦点距离、透镜种类等)，对由光学系统的像差所引起的图像的劣化进行校正，从而复原原来的被摄体像的图像处理，但能够应用本发明的复原处理并不限定于上述的实施方式中的复原处理。例如，对于通过具有被放大的景深(焦点)深度(EDoF：Extended Depthof FieLd(Focus))的光学系统(透镜、光圈等)而被拍摄取得的图像数据的复原处理，也能够应用本发明的复原处理。通过对以通过EDoF光学系统而景深(焦点深度)被放大的状态拍摄取得的模糊图像的图像数据进行复原处理，能够复原生成在宽范围内焦点对准的状态的高分辨率的图像数据。在该情况下，进行使用了基于EDoF光学系统的传递函数信息(PSF、OTF、MTF、PTF等)的复原滤波器的复原处理，该复原滤波器具有设定为在被放大的景深(焦点深度)的范围内能够进行良好的图像复原的滤波器系数。
以下，说明有关经由EDoF光学系统而拍摄取得的图像数据的复原的系统(EDoF系统)的一例。另外，在以下所示的例中，说明对从去马赛克处理后的图像数据(RGB数据)得到的亮度系图像数据进行复原处理的例。
图14是表示具备EDoF光学系统的摄像模块101的一个方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统110(光学系统)、摄像元件112、AD转换部114、图像处理部120。
图15是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的固定的摄影透镜110A和配置在光瞳位置的光学滤波器111。光学滤波器111是对相位进行调制的器件，以得到被放大的景深(焦点深度)(EDoF)的方式将EDoF光学系统110(图1的光学系统14)构成(EDoF化)。这样，摄影透镜110A以及光学滤波器111构成对相位进行调制而使景深放大的透镜部。
另外，EDoF光学系统110根据需要而包括其他的结构元素，例如在光学滤波器111的附近配设有光圈(省略图示)。此外，光学滤波器111既可以是一个，也可以组合多个。此外，光学滤波器111只不过是光学相位调制单元的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他的单元而实现。例如，也可以代替设置光学滤波器111，通过以具有与本例的光学滤波器111同等的功能的方式进行了透镜设计的摄影透镜110A而实现EDoF光学系统110的EDoF化。
即，通过改变对于摄像元件112的受光面的成像的波面的各种单元，能够实现EDoF光学系统110的EDoF化。例如，能够将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对于透镜表面的编码等而厚度或折射率变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”采用作为EDoF光学系统110的EDoF化单元。这样，本发明除了通过光波面调制元件(光学滤波器111(相位板))而能够进行有规律地分散的图像形成的情形之外，还能够应用于能够由摄影透镜110A自身而不使用光波面调制元件来形成与在使用了光波面调制元件时相同的分散图像的情形。
本例的EDoF光学系统110由于能够省略机械地进行焦点调节的焦点调节机构，所以能够进行小型化，能够适合搭载于附带相机的便携电话或便携信息终端。
通过了进行了EDoF化的EDoF光学系统110之后的光学像在图14所示的摄像元件112的摄像面成像，在这里转换为电信号。
摄像元件112是与上述各实施方式的摄像元件16基本相同的结构。摄像元件112将通过EDoF光学系统110而在摄像面成像的被摄体光转换为与其入射光量对应的信号，输出模拟的RGB图像信号。
AD转换部114将从摄像元件112输出的模拟的RGB图像信号变化为数字的R、G、B的各颜色的马赛克图像数据。各颜色的马赛克图像数据输入到图像处理部120。
图像处理部120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126、Y信号复原处理部127(复原处理部)。
黑电平调整部122对从AD转换部114输出的各颜色的马赛克图像数据实施黑电平调整。在黑电平调整中，能够采用公知的方法。例如，在着眼于某有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中包含的多个OB光电转换元件的各个对应的暗电流量取得用信号的平均，从与该有效光电转换元件对应的暗电流量取得用信号减去该平均。由此，进行黑电平调整。
白平衡增益部123进行与在调整了黑电平数据的马赛克图像数据中包含的RGB各颜色信号的白平衡增益对应的增益调整。
伽马处理部124进行进行半色调等的灰度校正的伽马校正，使得进行了白平衡调整的各颜色的马赛克图像数据成为期望的伽马特性。
去马赛克处理部125对伽马校正后的各颜色的马赛克图像数据实施去马赛克处理，输出由R、G、B的3面的颜色数据构成的RGB图像数据。
RGB/YCrCb转换部126是与上述各实施方式的亮度系图像数据生成部22基本相同的部分，对从去马赛克处理部125输出的R、G、B的3面的颜色数据实施YC转换处理，生成以及输出亮度系图像数据Y和色差系图像数据Cr、Cb。
Y信号复原处理部127基于预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度系图像数据Y进行复原处理。复原滤波器例如由具有7×7的内核大小的反卷积内核(例如，对应于M＝7、N＝7的抽头数)和与该反卷积内核对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器存储在与光学滤波器111对应的部分未图示的存储器中。此外，反卷积内核的内核大小并不限定于7×7。
接着，使用图16所示的流程图，说明图像处理部120的复原处理。
在黑电平调整部122的一个输入中，从AD转换部114输入各颜色的马赛克图像数据，在另一个输入中输入黑电平数据。黑电平调整部122从各颜色的马赛克图像数据减去黑电平数据，并将该减法处理后的各颜色的马赛克图像数据输出到白平衡增益部123(步骤S51)。由此，在各颜色的马赛克图像数据中，不包括黑电平分量。
对黑电平调整后的各颜色的马赛克图像数据顺次实施白平衡增益部123、伽马处理部124的处理(步骤S52以及S53)。
进行了伽马校正的各颜色的马赛克图像数据在去马赛克处理部125中进行了去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度系图像数据Y和色差系图像数据Cr、Cb(步骤S54)。
Y信号复原处理部127进行对亮度信号Y施加EDoF光学系统110的光学滤波器111的相位调制量的反卷积处理的复原处理(步骤S55)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素群对应的亮度信号(这里，7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的反卷积内核和其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127通过将该预定单位的每个像素群的反卷积处理以覆盖摄像面的全部区域的方式重复，从而进行去除图像整体的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素群的中心的位置而确定。即，对近接的像素群应用共同的复原滤波器。进一步，为了简化复原处理，优选对全部像素群应用共同的复原滤波器。
通过了EDoF光学系统110后的亮度信号的点像(光学像)作为大的点像(模糊的图像)而在摄像元件112成像，但通过在Y信号复原处理部127中的反卷积处理，复原为小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理后的亮度系图像数据施加复原处理，不需要RGB分别具有复原处理的参数，就能够将复原处理高速化。此外，由于不将与位于分散的位置的R、G、B的像素对应的R、G、B的图像信号分别汇集为一个单位而进行反卷积处理，而是将近接的像素的亮度信号之间以预定的单位汇集，对该单位应用共同的复原滤波器而进行反卷积处理，所以复原处理的精度提高。另外，关于色差系图像数据Cr、Cb，在人的眼睛的视觉的特性上，即使在复原处理中不提高分辨率，在画质上也会被允许。此外，在以如JPEG(联合图像专家组(Joint Photographic Experts Group))这样的压缩格式来记录图像的情况下，色差系图像数据Cr、Cb以比亮度系图像数据Y高的压缩率而被压缩，所以缺少在复原处理中提高分辨率的必要性。这样，能够兼顾复原精度的提高和处理的简化以及高速化。
对以上说明的EDoF系统的复原处理，也能够应用本发明的各实施方式所涉及的点像复原处理。此时，上述各实施方式的复原滤波器生成装置基于EDoF光学系统的传递函数信息，生成具有设定为在被放大的景深(焦点深度)的范围内能够进行良好的图像复原的滤波器系数的复原滤波器。
＜智能手机的结构＞
在上述各实施方式中，作为本发明的图像处理装置以及摄像装置，举数码相机、计算机装置为例进行了说明，但例如对具有摄影功能的便携电话机或智能手机、PDA(个人数字助理(Personal Digital Assistants))、平板终端、便携式游戏机，也能够应用本发明。以下，举智能手机为例，参照附图详细说明。
图17是表示作为本发明的摄影装置的一实施方式的智能手机201的外观的图。图17所示的智能手机201具有平板状的壳体202，在壳体202的一个面包括作为显示部的显示面板221和作为输入部的操作面板222成为一体的显示输入部220。此外，该壳体202包括扬声器231、话筒232、操作部240、相机部241。另外，壳体202的结构并不限定于此。例如，也可以采用显示部和输入部独立的结构，或者采用壳体202具有折叠结构或滑动机构的结构。
图18是表示图17所示的智能手机201的结构的框图。如图18所示，作为智能手机的主要的结构元素，包括无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(全球定位系统(Global Positioning System))接收部270、运动传感器部280、电源部290、主控制部200。此外，作为智能手机201的主要的功能，包括与基站装置BS进行经由移动通信网NW的移动无线通信的无线通信功能。
无线通信部210根据主控制部200的指示，对在移动通信网NW中容纳的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等的各种文件数据、电子邮件数据等的发送接收、Web数据或流数据等的接收。
显示输入部220是通过主控制部200的控制，显示图像(静止图像以及活动图像)或字符信息等而在视觉上对用户传递信息，且检测对于所显示的信息的用户操作的、所谓的触摸面板，包括显示面板221和操作面板222。
显示面板221将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备。操作面板222是放置成能够对在显示面板221的显示面上显示的图像进行视觉辨认，检测由用户的手指或尖笔操作的一个或者多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由操作起因而产生的检测信号输出到主控制部200。接着，主控制部200基于接收到的检测信号，检测显示面板221上的操作位置(坐标)。
如图17所示，作为本发明的摄影装置的一实施方式而例示的智能手机201的显示面板221和操作面板222成为一体而构成显示输入部220，但也可以成为操作面板222完全覆盖显示面板221的配置。在采用了这个配置的情况下，操作面板222也可以对显示面板221外的区域也具有检测用户操作的功能。换言之，操作面板222也可以具有关于与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。
此外，也可以使显示区域的大小和显示面板221的大小完全一致，但不需要使两者必须一致。此外，操作面板222也可以具有外缘部分和除此以外的内侧部分的2个感应区域。进一步，外缘部分的宽度根据壳体202的大小等而适当设计。进一步，作为在操作面板222中采用的位置检测方式，举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。
通话部230包括扬声器231和话筒232，将通过话筒232输入的用户的声音转换为能够在主控制部200中处理的声音数据而输出到主控制部200，或者对从无线通信部210或者外部输入输出部260接收到的声音数据进行解码而使从扬声器231输出。此外，如图17所示，例如，能够将扬声器231搭载在与设置了显示输入部220的面相同的面，将话筒232搭载在壳体202的侧面。
操作部240是使用了键开关等的硬件键，接受来自用户的指示。例如，如图17所示，操作部240搭载在智能手机201的壳体202的侧面，是若通过手指等被按下则接通、若挪走手指则通过弹簧等的恢复力而成为断开状态的按钮式的开关。
存储部250存储主控制部200的控制程序或控制数据、应用软件、将通信对方的名称或电话号等建立对应的地址数据、发送接收的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，临时存储流数据等。此外，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251和外部存储部252使用闪存类(flash memory type)、硬盘类(harddisk type)、微型多媒体卡类(multimedia card micro type)、卡类的存储器(例如，MicroSD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等的存储介质而实现。
外部输入输出部260起到与连接到智能手机201的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN(局域网(Local Area Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(RadioFrequency Identification))、红外线通信(红外数据联盟(Infrared Data Association：IrDA))(注册商标)、UWB(超宽带(Ultra Wideband))(注册商标)、紫峰(ZigBee)(注册商标)等)直接或者间接连接到其他的外部设备。
作为连接到智能手机201的外部设备，例如有经由有线/无线头组、有线/无线外部充电器、有线/无线数据端口、印刷电路板座(card socket)而连接的存储卡(Memory card)或SIM(用户识别模块卡(Subscriber Identity Module Card))/UIM(用户身份模块卡(User Identity Module Card))卡、经由音频视频I/O(输入/输出(Input/Output))端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部260能够进行将这样从外部设备接受传输的数据传递到智能手机201的内部的各结构元素、将智能手机201的内部的数据传输到外部设备。
GPS接收部270根据主控制部200的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的定位运算处理，检测由智能手机201的纬度、经度、高度而成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如，无线LAN)取得位置信息时，还能够使用该位置信息而检测位置。
运动传感器部280具有例如3轴的加速度传感器等，根据主控制部200的指示，检测智能手机201的物理上的动作。通过检测智能手机201的物理上的动作，检测智能手机201移动的方向和加速度。该检测结果输出到主控制部200。
电源部290根据主控制部200的指示，对智能手机201的各部分提供在电池(未图示)中蓄积的电力。
主控制部200具有微处理器，根据存储部250存储的控制程序或控制数据而动作，统一控制智能手机201的各部分。此外，主控制部200为了通过无线通信部210而进行声音通信或数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部250存储的应用软件，主控制部200动作而实现。作为应用处理功能，例如有控制外部输入输出部260而与对向设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能。
此外，主控制部200具有基于接收数据或下载的流数据等的图像数据(静止图像或活动图像的数据)，将影像在显示输入部220中显示等的图像处理功能。图像处理功能是指，主控制部200对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部220中显示的功能。
进一步，主控制部200执行对于显示面板221的显示控制和检测通过了操作部240、操作面板222的用户操作的操作检测控制。
通过显示控制的执行，主控制部200显示用于启动应用软件的图标或滚动条等的软件键，或者用于制作电子邮件的窗。另外，滚动条是指，关于不能在显示面板221的显示区域中容纳的大的图像等，用于接受移动图像的显示部分的指示的软件键。
此外，通过操作检测控制的执行，主控制部200检测通过了操作部240的用户操作，或者通过操作面板222接受对于上述图标的操作、对于上述窗的输入栏的字符串的输入，或者接受通过了滚动条的显示图像的滚动请求。
进一步，通过操作检测控制的执行，主控制部200具有判定对于操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并对操作面板222的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
此外，主控制部200还能够检测对于操作面板222的手势操作，并与检测到的手势操作对应地执行预先设定的功能。手势操作意味着，不是现有的单纯的触摸操作，而是通过手指等而描画轨迹，或者同时指定多个位置，或者将这些进行组合而从多个位置至少对一个位置描画轨迹的操作。
相机部241是使用CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))或CCD(电荷耦合器件(Charge-Coupled Device))等的摄像元件进行电子摄影的数码相机。此外，相机部241通过主控制部200的控制，能够将通过拍摄而得到的图像数据例如转换为JPEG(联合图像专家组(Joint Photographic coding Experts Group))等的压缩的图像数据，并记录在存储部250中，或者通过输入输出部260或无线通信部210而输出。虽然在图17所示的智能手机201中，相机部241搭载在与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，也可以搭载在显示输入部220的背面，或者，也可以搭载多个相机部241。此外，在搭载了多个相机部241的情况下，也能够切换供于拍摄的相机部241而单独拍摄，或者同时使用多个相机部241而拍摄。
此外，相机部241能够利用于智能手机201的各种功能。例如，作为在显示面板221中显示在相机部241中取得的图像或者操作面板222的操作输入之一，能够利用相机部241的图像。此外，在GPS接收部270检测位置时，还能够参照来自相机部241的图像而检测位置。进一步，还能够参照来自相机部241的图像，不使用3轴的加速度传感器或者与3轴的加速度传感器并用地，判断智能手机201的相机部241的光轴方向或者判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
除此之外，也可以在静止画面或者动画的图像数据中附加由GPS接收部270取得的位置信息、由话筒232取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部280取得的姿势信息等而记录在存储部250中，或者通过外部输入输出部260或无线通信部210而输出。
在上述的智能手机201中，与点像复原处理有关的上述的各处理部例如能够通过主控制部200、存储部250等而适当实现。
本发明能够作为用于使设备(例如，数码相机、附带相机的便携电话、智能手机)进行上述的处理的计算机能够读取的程序代码、存储有该程序代码的非临时性(non-transitory)且计算机能够读取的记录介质(例如，光盘(例如，CD(紧凑盘(CompactDisc))、DVD(数字多功能盘(Digital Versatile Disc))、BD(蓝光盘((Blu-ray(注册商标)Disc)))、磁盘(例如，硬盘、光磁盘)、USB(通用串行总线(Universal Serial Bus))存储器)以及存储用于该方法的能够执行的代码的计算机程序产品而提供。
本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形而不言而喻的。
另外，本发明并不限定于在本说明书中说明的例和在附图中图示的例，当然可以在不脱离本发明的宗旨的范围内进行各种设计变更或改良。
附图标记说明
数码相机10、光学系统14、摄像元件16、摄像部18、亮度系图像数据生成部22(亮度系图像数据生成单元)、复原滤波器存储部24(复原滤波器存储单元)、复原处理部26(复原处理单元)、复原滤波器生成装置80、信息取得部82(信息取得单元)、复原滤波器生成部84(复原滤波器生成单元)、切换部86(切换单元)。

Claims (16)

1.一种复原滤波器生成装置，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，其中，所述复原滤波器生成装置包括：
信息取得单元，按所述多个颜色的每个颜色取得与所述光学系统中的点像分布对应的传递函数信息；
复原滤波器生成单元，基于由所述信息取得单元所取得的所述传递函数信息而生成所述复原滤波器，并且，生成根据所述多个颜色中的单色的所述传递函数信息而进行所述亮度系图像数据的相位校正的所述复原滤波器；以及
切换单元，切换是否使所述复原滤波器进行对于所述亮度系图像数据的所述相位校正，
在使所述复原滤波器不进行所述相位校正的情况下，所述复原滤波器生成单元将所述传递函数信息在多个颜色间混合，基于在该多个颜色间混合而得到的传递函数信息，生成对所述亮度系图像数据不改变相位分量而进行复原处理的所述复原滤波器。
2.如权利要求1所述的复原滤波器生成装置，其中，
所述复原滤波器生成单元从根据所述多个颜色的每个颜色的所述传递函数信息而分别得到的所述多个颜色的每个颜色的相位偏移量中，选择绝对值最小的单色的相位偏移量，生成以与所选择的单色的相位偏移量对应的相位校正量来对所述亮度系图像数据的相位偏移进行校正的所述复原滤波器。
3.如权利要求2所述的复原滤波器生成装置，其中，
所述复原滤波器生成单元按图像面内的每个位置选择所述单色的相位偏移量，生成根据该单色的相位偏移量来对所述亮度系图像数据的相位偏移进行校正的所述复原滤波器。
4.如权利要求2所述的复原滤波器生成装置，其中，
所述复原滤波器生成单元按每个空间频率选择所述单色的相位偏移量，生成根据该单色的相位偏移量来对所述亮度系图像数据的相位偏移进行校正的所述复原滤波器。
5.如权利要求3所述的复原滤波器生成装置，其中，
所述复原滤波器生成单元在所述多个颜色中所述相位偏移量的符号不同的情况下，将对于所述亮度系图像数据的相位校正量设定为零，在所述多个颜色中所述相位偏移量的符号相同的情况下，选择所述绝对值最小的单色的相位偏移量，采用与该单色的相位偏移量对应的相位校正量，生成所述复原滤波器。
6.如权利要求1所述的复原滤波器生成装置，其中，
所述复原滤波器生成单元包括运算部，该运算部将所述复原滤波器的抽头数作为输入参数，且按每个空间频率，使所述复原滤波器的相位校正量的绝对值为所述光学系统中的相位偏移量的绝对值以下来运算所述复原滤波器的滤波器系数。
7.如权利要求1所述的复原滤波器生成装置，其中，
所述多个颜色中的一个颜色为绿色，
所述复原滤波器生成单元生成以与所述绿色的传递函数信息对应的相位校正量来对所述亮度系图像数据的相位偏移进行校正的所述复原滤波器。
8.一种复原滤波器生成装置，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，其中，所述复原滤波器生成装置包括：
信息取得单元，按所述多个颜色的每个颜色取得与所述光学系统中的点像分布对应的传递函数信息；以及
复原滤波器生成单元，基于由所述信息取得单元所取得的所述传递函数信息而生成所述复原滤波器，
所述复原滤波器生成单元将所述传递函数信息在多个颜色间混合，基于在该多个颜色间混合而得到的传递函数信息，生成用于对所述亮度系图像数据不改变相位分量而进行复原处理的复原滤波器。
9.如权利要求8所述的复原滤波器生成装置，其中，
所述信息取得单元通过对所述光学系统中的多个颜色的每个颜色的点像分布函数分别进行傅里叶变换，取得所述光学系统中的多个颜色的每个颜色的光学传递函数，
在使所述复原滤波器不进行相位校正的情况下，所述复原滤波器生成单元将作为各颜色的所述光学传递函数的振幅分量的各颜色的调制传递函数在所述多个颜色之间混合，基于在该多个颜色之间混合而得到的调制传递函数，生成对所述亮度系图像数据不改变相位分量而进行复原处理的所述复原滤波器。
10.如权利要求8所述的复原滤波器生成装置，其中，
所述信息取得单元取得表示在生成所述亮度系图像数据前是否对所述多个颜色的每个颜色的图像数据实施倍率色差校正的倍率色差校正信息，
在基于所述倍率色差校正信息而检测出实施所述倍率色差校正的情况下，所述复原滤波器生成单元对由所述信息取得单元所取得的各颜色的所述传递函数信息进行所述倍率色差校正中的校正量的坐标移动处理，将进行了该坐标移动处理之后的各颜色的所述传递函数信息在多个颜色间混合。
11.如权利要求1至10的任一项所述的复原滤波器生成装置，其中，
所述光学系统具有透镜部，该透镜部对相位进行调制而使景深扩大。
12.一种图像处理装置，包括：
图像数据取得单元，取得亮度系图像数据，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据；
复原滤波器存储单元，存储由权利要求1至11的任一项所述的复原滤波器生成装置所生成的所述复原滤波器；以及
复原处理单元，对由所述图像数据取得单元所取得的所述亮度系图像数据，使用在所述复原滤波器存储单元中存储的所述复原滤波器而实施复原处理。
13.如权利要求12所述的图像处理装置，还包括所述复原滤波器生成装置。
14.一种摄像装置，包括：
摄像单元，具有光学系统，且输出多个颜色的每个颜色的图像数据；以及
权利要求12或13所述的图像处理装置。
15.一种复原滤波器生成方法，生成用于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，其中，所述复原滤波器生成方法包括以下步骤：
信息取得步骤，按所述多个颜色的每个颜色取得与所述光学系统中的点像分布对应的传递函数信息；
复原滤波器生成步骤，基于通过所述信息取得步骤取得的所述传递函数信息而生成所述复原滤波器，并且，生成根据所述多个颜色中的单色的所述传递函数信息而进行所述亮度系图像数据的相位校正的所述复原滤波器；以及
切换步骤，切换是否使所述复原滤波器进行对于所述亮度系图像数据的所述相位校正，
在使所述复原滤波器不进行所述相位校正的情况下，在所述复原滤波器生成步骤中，将所述传递函数信息在多个颜色间混合，基于在该多个颜色间混合而得到的传递函数信息，生成对所述亮度系图像数据不改变相位分量而进行复原处理的所述复原滤波器。
16.一种图像处理方法，包括以下步骤：
图像数据取得步骤，取得亮度系图像数据，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据；以及
复原处理步骤，使用通过权利要求15所述的复原滤波器生成方法而生成的所述复原滤波器，对在所述图像数据取得步骤中取得的所述亮度系图像数据实施复原处理。
CN201380074234.4A 2013-03-04 2013-11-13 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置 Active CN105009168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-042186 2013-03-04
JP2013042186 2013-03-04
PCT/JP2013/080648 WO2014136322A1 (ja) 2013-03-04 2013-11-13 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
CN105009168A CN105009168A (zh) 2015-10-28
CN105009168B true CN105009168B (zh) 2017-12-15

Family

ID=51490867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074234.4A Active CN105009168B (zh) 2013-03-04 2013-11-13 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置

Country Status (4)

Country Link
US (1) US9799101B2 (zh)
JP (1) JP5864813B2 (zh)
CN (1) CN105009168B (zh)
WO (1) WO2014136322A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2014185172A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
WO2015151590A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN106134177B (zh) * 2014-03-31 2019-05-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
JP6240813B2 (ja) 2015-04-23 2017-11-29 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2016171091A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN105472366B (zh) * 2015-12-07 2016-11-02 京东方科技集团股份有限公司 基于心理视觉调制的图像处理方法、装置及显示设备
US9952422B2 (en) * 2016-01-14 2018-04-24 University Of Vienna Enhancing the resolution of three dimensional video images formed using a light field microscope
CN108605094B (zh) * 2016-02-26 2019-08-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6790384B2 (ja) * 2016-03-10 2020-11-25 富士ゼロックス株式会社 画像処理装置及びプログラム
CN110249619B (zh) * 2017-02-17 2021-04-20 富士胶片株式会社 图像处理装置、图像处理方法及相机系统
JP6932036B2 (ja) * 2017-07-31 2021-09-08 シスメックス株式会社 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
EP3471418A1 (en) * 2017-10-12 2019-04-17 Thomson Licensing Method and apparatus for adaptive transform in video encoding and decoding
KR102648198B1 (ko) * 2019-01-14 2024-03-19 삼성디스플레이 주식회사 잔상 보상부 및 이를 포함하는 표시 장치
CN112532957B (zh) * 2020-11-25 2022-08-26 展讯通信（上海）有限公司 一种图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193277A (ja) * 2010-03-15 2011-09-29 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102244730A (zh) * 2010-05-14 2011-11-16 卡西欧计算机株式会社 摄像装置及手抖动修正方法
CN102280074A (zh) * 2010-05-19 2011-12-14 索尼公司 图像显示设备和系统、电子装置、获取图像的方法和程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642440A (en) * 1994-12-08 1997-06-24 Grumman Aerospace Corporation System using ergodic ensemble for image restoration
JP5235642B2 (ja) 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN102822863B (zh) * 2010-03-31 2015-11-25 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5676962B2 (ja) * 2010-08-03 2015-02-25 キヤノン株式会社 焦点検出装置および撮像装置
JP5660711B2 (ja) 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
JP5409589B2 (ja) 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5361976B2 (ja) * 2011-08-25 2013-12-04 キヤノン株式会社 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
CN105009563B (zh) * 2013-03-04 2018-01-12 富士胶片株式会社 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
DE112013004507T5 (de) * 2013-03-28 2015-12-31 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
CN105432069B (zh) * 2013-07-25 2018-09-25 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
JP2015165610A (ja) * 2014-02-28 2015-09-17 株式会社リコー 撮像装置、撮像システムおよび撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193277A (ja) * 2010-03-15 2011-09-29 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102244730A (zh) * 2010-05-14 2011-11-16 卡西欧计算机株式会社 摄像装置及手抖动修正方法
CN102280074A (zh) * 2010-05-19 2011-12-14 索尼公司 图像显示设备和系统、电子装置、获取图像的方法和程序

Also Published As

Publication number Publication date
WO2014136322A1 (ja) 2014-09-12
US20150379695A1 (en) 2015-12-31
US9799101B2 (en) 2017-10-24
JP5864813B2 (ja) 2016-02-17
JPWO2014136322A1 (ja) 2017-02-09
CN105009168A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105009168B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置
US9489719B2 (en) Image processing device, imaging device, computer, image processing method and computer readable non-transitory medium
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
CN104969545B (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN107431760A (zh) 摄像装置、摄像装置的图像处理方法以及程序
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453534B (zh) 图像处理装置及方法
US10083500B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
WO2015156151A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN108141530A (zh) 图像处理装置、图像处理方法及程序
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant