CN105009563B - 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质 - Google Patents

复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质 Download PDF

Info

Publication number
CN105009563B
CN105009563B CN201380074190.5A CN201380074190A CN105009563B CN 105009563 B CN105009563 B CN 105009563B CN 201380074190 A CN201380074190 A CN 201380074190A CN 105009563 B CN105009563 B CN 105009563B
Authority
CN
China
Prior art keywords
unit
wave filter
color
transmission function
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380074190.5A
Other languages
English (en)
Other versions
CN105009563A (zh
Inventor
成濑洋介
林健吉
杉本雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105009563A publication Critical patent/CN105009563A/zh
Application granted granted Critical
Publication of CN105009563B publication Critical patent/CN105009563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Abstract

复原滤波器生成装置由第一传递函数取得部(51)和校正信息取得部(56)取得光学系统的RGB的各色的点像分布函数(第一传递函数)和校正信息，上述校正信息表示通过图像数据的放缩对由光学系统产生的倍率色差进行了校正的情况下的、倍率色差的校正量或校正残余量。第二传递函数取得部(52)取得为了抵消校正残余量而使第一传递函数平行移动的第二传递函数，第三传递函数计算部(53)基于每色的第二传递函数，算出对亮度系图像数据的第三传递函数，复原滤波器生成部(57)基于第三传递函数而生成用于进行复原处理的复原滤波器。

Description

复原滤波器生成装置和方法、图像处理装置、摄像装置、复原 滤波器生成程序以及记录介质
技术领域
本发明涉及复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质，特别是涉及基于光学系统的点像分布函数(PSF：Point SpreadFunction)或光学传递函数(OTF：Optical Transfer Function)而生成用于进行经由上述光学系统拍摄到的图像的复原处理的复原滤波器的技术。
背景技术
拍摄到的图像的复原处理是如下的处理：预先求算由光学系统(摄影透镜)的像差等引起的劣化(PSF/OTF)的特性，使用基于PSF/OTF而生成的复原滤波器对拍摄到的图像(劣化的图像)进行复原处理，从而复原为分辨率较高的图像。
PSF与OTF处于傅立叶变换的关系，PSF是实函数，OTF是复变函数。作为具有与这些等价的信息的函数，存在调制传递函数或振幅传递函数(MTF：Modulation TransferFunction)和相位传递函数(PTF：Phase Transfer Function)，分别表示OTF的振幅成分和相位成分。将MTF和PTF合并而具有与OTF、PSF等价的信息量。
使用基于PSF/OTF而生成的复原滤波器的复原处理能够大致区分为“频率复原”和“相位复原”。“频率复原”是使由于光学系统而劣化的MTF特性均衡的处理，“相位复原”是通过依赖频率而使像移动以尽量使非对称的PSF形状恢复为点的处理。
光学系统的像差因波长而不同，因此理想地，优选为，对应红(R)、绿(G)、蓝(B)的每色图像适用不同的复原滤波器。然而，按照颜色的处理的运算负荷较大，因此考虑到仅对视觉效果较大的亮度成分进行复原处理。
针对亮度的PSF形状无法定义，因此，需要考虑一些基准，以不会对复原性能产生不良影响的方式找到折中点。
作为对该问题的解决对策，在专利文献1中示出了如下方法：直接利用对亮度的转换式，将RGB的每色的PSF混合，而求算对亮度成分图像的PSF。
在亮度中，在进行复原处理的情况下，由于不能进行与倍率色差校正相当的校正，因此需要另行进行倍率色差校正。
在专利文献2中记载了将复原处理和倍率色差校正分离而进行的技术。
专利文献2记载的图像处理方法中，基于通过相对的平行移动使点像分布函数的颜色成分间的差异降低的点像分布函数来生成复原滤波器，或者根据除去了与倍率色差对应的直线成分的光学传递函数来生成复原滤波器。即，生成仅进行“频率复原”而不进行“相位复原”的复原滤波器。并且，对输入图像，在利用上述所生成的复原滤波器进行复原处理后，检测与复原处理后的图像的倍率色差对应的色差，并进行降低所检测出的色差的校正(倍率色差校正)。
另外，作为其他实施方式，利用与光学系统的设计上的倍率色差对应的色差校正量来进行输入图像的倍率色差校正，接着利用仅进行“频率复原”的复原滤波器来进行复原处理。可是，即使进行上述的倍率色差校正和基于复原滤波器进行的复原处理，也可能因为光学系统的制造偏差、光源分光的变动这样的画质劣化原因而使得色差残留，因此检测复原处理后的图像的色差，并进行降低所检测出的色差的倍率色差校正。
现有技术文献
专利文献
专利文献1：日本特开2010-140442号公报
专利文献2：日本特开2012-129932号公报
发明内容
发明所要解决的课题
专利文献1记载的技术方案存在如下问题：求算针对亮度成分图像的PSF，利用基于所求出的PSF而生成的复原滤波器，仅对亮度成分图像实施复原处理，在该复原处理中不能进行与倍率色差校正相当的校正。
另一方面，专利文献2记载的技术方案中，利用仅进行“频率复原”的复原滤波器而进行复原处理，从而对应每色成分取得清晰的复原图像，之后，检测与每色成分的复原图像的倍率色差对应的色差，并进行降低所检测出的色差的倍率色差校正。因此，存在如下问题：基于复原滤波器进行的复原处理需要对应每色成分进行，运算负荷变大。另外，专利文献2记载的技术方案的特征在于，虽然不通过复原处理进行相位复原，但是考虑通过复原处理使边缘部的清晰度对应每色成分发生变化而使色差量变动这一情况，最初进行复原处理，之后检测复原图像的色差，并进行降低该检测出的色差的倍率色差校正。因此，降低所检测出的色差的倍率色差校正需要在复原处理后进行。此外，也需要进行从复原图像检测色差的检测处理。
本发明鉴于这种情形而提出，其目的在于提供能够减轻对校正了倍率色差的图像的复原处理的运算负荷、特别是无论倍率色差校正的校正残余量如何都能够生成可进行适当的复原处理的复原滤波器的复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质。
用于解决课题的手段
为了实现上述目的，本发明的一方式所涉及的复原滤波器生成装置生成复原滤波器，上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于通过具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述复原滤波器生成装置具备：第一传递函数取得单元，对应多个颜色的每色取得与光学系统的点像分布相关的第一传递函数；校正信息取得单元，对应多个颜色的每色取得校正信息，上述校正信息表示通过多个颜色的每色的图像数据的放大或缩小而对由光学系统产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残余量；第二传递函数取得单元，基于由校正信息取得单元取得的校正信息，取得为了抵消校正残余量而使多个颜色的每色的第一传递函数平行移动的第二传递函数；第三传递函数计算单元，基于由第二传递函数取得单元取得的多个颜色的每色的第二传递函数，算出对亮度系图像数据的第三传递函数；及复原滤波器生成单元，基于由第三传递函数计算单元算出的第三传递函数，生成用于进行复原处理的复原滤波器。
根据本发明的一个方式，对基于倍率色差校正后的多个颜色的每色的图像数据而生成的亮度系图像数据，生成用于进行复原处理的复原滤波器，因此与对每色的图像数据进行复原处理的情况相比能够降低复原处理的运算负荷，且能够减少所生成的复原滤波器的数目。另外，倍率色差校正因安装方面的限制而不能实现进行任意的坐标变换的放大/缩小，因此有时不能完全校正色差。因此，每当生成对亮度系图像数据的复原滤波器时，考虑倍率色差校正的校正残余量，为了抵消校正残余量而使多个颜色的每色的第一传递函数平行移动，而求算多个颜色的每色的第二传递函数。并且，基于每色的第二传递函数，算出对亮度系图像数据的第三传递函数，基于第三传递函数而生成复原滤波器(即，考虑基于校正残余量的亮度的切向方向上的MTF的变化而生成复原滤波器)，因此能够生成对亮度系图像数据的适当的复原滤波器。根据如此生成的复原滤波器，能够对根据具有倍率色差校正的校正残余量的每色的图像数据所生成的亮度系图像数据进行良好的复原处理。
本发明的其他方式所涉及的复原滤波器生成装置中，优选为，第三传递函数计算单元将多个颜色的每色的第二传递函数混合而算出对亮度系图像数据的第三传递函数。
本发明的另一其他方式所涉及的复原滤波器生成装置中，优选为，第三传递函数计算单元算出多个颜色的每色的第二传递函数乘以每色的加权系数所得到的值的线性和作为对亮度系图像数据的第三传递函数。作为算出第三传递函数时的加权线性和，设为使用了与亮度转换同样的加权系数的线性和为优选。
本发明的另一其他方式所涉及的复原滤波器生成装置也可以具备：校正精度评价单元，对倍率色差的校正精度是否为阈值以下进行评价，在校正精度评价单元评价为倍率色差的校正精度为阈值以下的情况下，复原滤波器生成单元从由第三传递函数计算单元算出的第三传递函数除去相位信息，并基于除去了相位信息的第三传递函数，生成仅进行频率复原的复原滤波器。特别是，在没有准确地得知倍率色差校正的校正残余量的情况下、校正精度较低的情况下(评价为倍率色差的校正精度为阈值以下的情况下)，第三传递函数所包含的相位信息不准确。因此，优选为，从第三传递函数除去相位信息，基于除去了相位信息的第三传递函数，生成仅进行频率复原的复原滤波器。
本发明的又一其他的方式所涉及的复原滤波器生成装置也可以具备：第四传递函数计算单元，从由第一传递函数取得单元取得的多个颜色的每色的第一传递函数分别除去相位信息，并将除去了相位信息的多个颜色的每色的第一传递函数混合而算出对亮度系图像数据的第四传递函数；及校正精度评价单元，对倍率色差的校正精度是否为阈值以下进行评价，在校正精度评价单元评价为倍率色差的校正精度为阈值以下的情况下，复原滤波器生成单元基于由第四传递函数计算单元算出的第四传递函数，生成仅对亮度系图像数据进行频率复原的复原滤波器。在如上所述没有准确得知倍率色差校正的校正残余量的情况下、校正精度较低的情况下，第三传递函数所包含的相位信息不准确。因此，从多个颜色的每色的第一传递函数分别除去相位信息，将除去了相位信息的多个颜色的每色的第一传递函数混合而算出第四传递函数，基于所算出的第四传递函数，生成仅对亮度系图像数据进行频率复原的复原滤波器。另外，从第三传递函数除去相位信息并基于除去了相位信息的第三传递函数而生成的复原滤波器比如下的复原滤波器更为优选：从多个颜色的每色的第一传递函数分别除去相位信息，基于将除去了相位信息的多个颜色的每色的第一传递函数混合而成的第四传递函数所生成的复原滤波器。是因为前者的复原滤波器在算出第三传递函数时考虑了颜色之间的位置偏离相关性。
本发明的又一其他方式所涉及的复原滤波器生成装置中，第四传递函数计算单元算出除去了相位信息的多个颜色的每色的第一传递函数乘以每色的加权系数所得到的值的平方和的平方根作为对亮度系图像数据的第四传递函数。
本发明的又一其他方式所涉及的复原滤波器生成装置中，第四传递函数计算单元算出除去了相位信息的多个颜色的每色的第一传递函数乘以每色的加权系数所得到的值的线形和作为对亮度系图像数据的第四传递函数。
本发明的又一其他方式所涉及的复原滤波器生成装置中，第一传递函数取得单元取得光学系统的多个颜色的每色的第一传递函数，上述光学系统具有对相位进行调制而使景深扩大的透镜部。作为光学系统，在具有对相位进行调制而使景深扩大的透镜部(景深(焦点)深度扩大光学系统(EDoF(Extended Depth of Field(Focus))透镜)的结构的情况下也能够适用本发明。
本发明的又一其他方式所涉及的复原滤波器生成装置具备：切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；及第五传递函数计算单元，当由切换单元切换为不实施倍率色差校正的情况时，上述第五传递函数计算单元将多个颜色的每色的第一传递函数混合，而算出对亮度系图像数据的第五传递函数，当由切换单元切换为不实施倍率色差校正的情况时，复原滤波器生成单元基于由第五传递函数计算单元算出的第五传递函数，生成对亮度系图像数据的复原滤波器。
在没有刻意地进行倍率色差校正的情况下，将没有考虑倍率色差校正的每色的第一传递函数(包含相位信息在内的第一传递函数)混合，而算出对亮度系图像数据的第五传递函数，并基于该第五传递函数生成对亮度系图像数据的复原滤波器。由此，可以生成能够通过亮度系图像数据的复原处理对因未进行倍率色差校正引起的亮度系图像数据的MTF劣化进行校正的复原滤波器。根据该所生成的复原滤波器，能够对亮度系图像数据进行频率复原和相位复原，但是不能进行与倍率色差校正相当的校正。
本发明的又一其他方式所涉及的复原滤波器生成装置优选为具备：切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换，多个颜色的图像数据包含红(R)、绿(G)、蓝(B)的各色的图像数据，当由切换单元切换为不实施倍率色差校正的情况时，复原滤波器生成单元基于由第一传递函数取得单元取得的多个颜色的每色的第一传递函数中的与G色对应的第一传递函数，生成对亮度系图像数据的复原滤波器。
在没有刻意地进行倍率色差校正的情况下，切向方向上的MTF劣化的程度较小，在所劣化的MTF值比根据SN比(信号相对于噪声的比)规定的阈值大的情况下，有时频率在切向方向上增强、明显看见色差。在这种情况下，优选为，基于与最有助于生成亮度系图像数据的单色的G色的图像数据对应的第一传递函数，生成对亮度系图像数据的复原滤波器。
本发明的又一其他方式所涉及的图像处理装置具备：图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；倍率色差校正单元，通过使由图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由光学系统产生的每色的倍率色差进行校正；图像数据生成单元，基于由倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；复原滤波器存储单元，存储由上述任一复原滤波器生成装置生成的复原滤波器；及复原处理单元，使用存储于复原滤波器存储单元的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理。使用存储于复原滤波器存储单元的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理，因此与分别对每色的图像数据进行复原的情况相比能够减轻复原处理的运算负荷。另外，由于使用考虑了倍率色差校正单元的校正残余量而生成的复原滤波器来进行复原处理，因此能够降低由校正残余量引起的切向方向上的频率增强。
本发明的又一其他方式所涉及的图像处理装置具备：图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；倍率色差校正单元，当由切换单元切换为实施倍率色差校正的情况时，上述倍率色差校正单元通过使由图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由光学系统产生的每色的倍率色差进行校正；图像数据生成单元，当由切换单元切换为实施倍率色差校正的情况时，上述图像数据生成单元基于由倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据，当由切换单元切换为不实施倍率色差校正的情况时，上述图像数据生成单元基于由图像数据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据；复原滤波器存储单元，存储由上述任一复原滤波器生成装置生成的复原滤波器；及复原处理单元，使用存储于复原滤波器存储单元的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理。由此，能够使用根据进行倍率色差校正的情况或不进行倍率色差校正的情况而生成的复原滤波器，对基于倍率色差校正后的多个颜色的每色的图像数据而生成的亮度系图像数据或没有进行倍率色差校正的多个颜色的每色的图像数据而生成的亮度系图像数据实施复原处理。
本发明的又一其他方式所涉及的图像处理装置具备：图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；倍率色差校正单元，通过使由图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由光学系统产生的每色的倍率色差进行校正；图像数据生成单元，基于由倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据；上述的任一复原滤波器生成装置；及复原处理单元，使用由复原滤波器生成装置生成的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理。该图像处理装置在具备复原滤波器生成装置这一点与具备复原滤波器存储单元的上述的图像处理装置不同。
本发明的又一其他方式所涉及的图像处理装置具备：图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；倍率色差校正单元，当由切换单元切换为实施倍率色差校正的情况时，上述倍率色差校正单元通过使由图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由光学系统产生的每色的倍率色差进行校正；图像数据生成单元，当由切换单元切换为实施倍率色差校正的情况时，上述图像数据生成单元基于由倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据，当由切换单元切换为不实施倍率色差校正的情况时，上述图像数据生成单元基于由图像数据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据；上述的任一复原滤波器生成装置；及复原处理单元，使用由复原滤波器生成装置生成的复原滤波器，对由图像数据生成单元生成的亮度系图像数据实施复原处理。
本发明的又一其他方式所涉及的摄像装置具备摄像单元，具有光学系统且输出多个颜色的每色的图像数据；及上述的图像处理装置。
本发明的又一其他方式所涉及的复原滤波器生成方法生成复原滤波器，上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述复原滤波器生成方法包括：第一传递函数取得工序，对应多个颜色的每色取得与光学系统的点像分布相关的第一传递函数；校正信息取得工序，对应多个颜色的每色取得校正信息，上述校正信息表示通过多个颜色的每色的图像数据的放大或缩小而对由光学系统产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残余量；第二传递函数取得工序，基于由校正信息取得工序所取得的校正信息，取得为了抵消校正残余量而使多个颜色的每色的第一传递函数平行移动的第二传递函数；第三传递函数计算工序，基于由第二传递函数取得工序所取得的多个颜色的每色的第二传递函数，算出对亮度系图像数据的第三传递函数；及复原滤波器生成工序，基于由第三传递函数计算工序算出的第三传递函数，生成用于进行复原处理的复原滤波器。
本发明的又一其他方式所涉及的程序是生成复原滤波器的程序，上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，上述亮度系图像数据是基于由具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，上述程序使计算机执行如下功能：第一传递函数取得功能，对应多个颜色的每色取得与光学系统的点像分布相关的第一传递函数；校正信息取得功能，对应多个颜色的每色取得校正信息，上述校正信息表示通过多个颜色的每色的图像数据的放大或缩小而对由光学系统产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残余量；第二传递函数取得功能，基于由校正信息取得功能所取得的校正信息，取得为了抵消校正残余量而使多个颜色的每色的第一传递函数平行移动的第二传递函数；第三传递函数计算功能，基于由第二传递函数取得功能所取得的多个颜色的每色的第二传递函数，算出对亮度系图像数据的第三传递函数；及复原滤波器生成功能，基于由第三传递函数计算功能算出的第三传递函数，生成用于进行复原处理的复原滤波器。
发明效果
根据本发明，由于生成用于仅对校正了倍率色差的图像数据即视觉效果较大的亮度系图像数据进行复原处理的复原滤波器，因此能够减轻复原处理的运算负荷。特别是，由于考虑倍率色差校正的校正残余量而生成对亮度系图像数据的复原滤波器，因此能够对亮度系图像数据进行适当的复原处理。
附图说明
图1是复原滤波器生成装置和从该复原滤波器生成装置取得复原滤波器而进行复原处理的数码相机的图。
图2是数码相机的后视立体图。
图3是表示数码相机和复原滤波器生成装置的电气结构的框图。
图4是表示数码相机的图像处理电路的实施方式的框图。
图5是用于说明复原处理的图。
图6A是用于说明存储于储存器的RGB的各色的PSFR、PSFG、PSFB的概念图。
图6B是用于说明存储于储存器的RGB的各色的PSFR、PSFG、PSFB的概念图。
图7是表示复原滤波器生成装置的第一实施方式的框图。
图8是表示复原滤波器生成装置的第二实施方式的框图。
图9是表示复原滤波器生成装置的第三实施方式的框图。
图10是表示复原滤波器生成装置的第四实施方式的框图。
图11是表示复原滤波器生成装置的第五实施方式的框图。
图12是表示PSFR、PSFG、PSFB沿切向方向产生相位偏离的情况的图。
图13是表示具备EDoF光学系统的摄像模块的一方式的框图。
图14是表示EDoF光学系统的一例的图。
图15是表示由构成摄像模块的复原处理部进行的复原处理的流程的流程图。
图16是表示智能手机的外观的立体图。
图17是表示智能手机的结构的框图。
具体实施方式
以下，根据附图，对本发明所涉及的复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质的优选实施方式进行说明。
[第一实施方式]
＜数码相机的结构＞
在图1和图2中，数码相机2与本发明的摄像装置相当。在该数码相机2的相机主体3的前表面，设有包含光学系统等的镜头镜筒4、闪光发光部5等。在相机主体3的上表面设有快门按钮6、电源开关7等。
在相机主体3的背面设有显示部8和操作部9等。显示部8在摄影待机状态时作为电子取景器而发挥功能，显示即时预览图像(也称作实时取景图像)。另外，在重放图像时，基于存储于存储卡10的图像数据，在显示部8对图像进行重放显示。
操作部9由模式切换开关、十字键、执行键等构成。模式切换开关在对数码相机2的动作模式进行切换时被操作。数码相机2具有对被摄体进行摄像而得到摄影图像数据的摄影模式、基于摄影图像数据进行重放显示的重放模式等。
在显示部8显示各种菜单画面、设定画面，或者使显示于这些菜单画面、设定画面内的光标移动，或者在对数码相机2的各种设定进行确定等时，十字键、执行键被操作。
在相机主体3的底面，虽然省略图示，但是设有装填存储卡10的卡插槽和对该卡插槽的开口进行开闭的装填盖。对被摄体进行摄像而得到的摄影图像数据作为各种文件形式的图像文件而记录于存储卡10。
上述结构的数码相机2为了降低由光学系统的各种像差产生的图像劣化，而使用从复原滤波器生成装置11取得的复原滤波器12进行复原处理。另外，由数码相机2进行的复原滤波器12的取得由相机制造商进行。
图3是表示数码相机2和复原滤波器生成装置11的电气结构的框图。如图3所示，数码相机2的相机CPU(中央处理装置)13基于来自操作部9的控制信号，依次执行从存储器14读出的各种程序、数据，对数码相机2的各部集中地进行控制。
在与本发明的复原滤波器存储单元相当的存储器14的ROM(Read Only Memory：只读存储器)区域，除了存储上述的各种程序，还存储从复原滤波器生成装置11取得的复原滤波器12。另外，存储器14的RAM(Random Access Memory：随机存取存储器)区域作为相机CPU13用于执行处理的的工作存储器、各种数据的暂时保存处而发挥功能。
在镜头镜筒4装入有由变焦透镜15和聚焦透镜16等构成的光学系统17。变焦透镜15和聚焦透镜16分别由变焦机构19、聚焦机构20驱动，并沿光学系统17的光轴OA前后移动。
机械快门18具有移动部(省略图示)，该移动部在阻止被摄体光向彩色摄像元件23的入射的封闭位置和允许被摄体光的入射的开放位置之间移动。机械快门18通过使移动部向各位置移动，而将从光学系统17到达彩色摄像元件23的光路开放/隔断。另外，在机械快门18含有对向彩色摄像元件23入射的被摄体光的光量进行控制的光圈。机械快门18、变焦机构19和聚焦机构20经由镜头驱动器24由相机CPU13进行动作控制。
在光学系统17的背后配置有单板式的彩色摄像元件23。在彩色摄像元件23的摄像面形成有以预定的图案排列(拜尔排列、G条纹R/G完全交错相间的棋盘格纹、X-Trans(注册商标)排列、蜂窝排列等)配置成矩阵状的多个像素。各像素包含微透镜、滤色器(本例中R(红)G(绿)B(蓝)滤色器)和光电二极管而构成。彩色摄像元件23与光学系统17一起构成本发明的摄像单元，将通过光学系统17成像于摄像面的被摄体像转换为电输出信号而输出。另外，作为彩色摄像元件23，使用CCD(Charge Coupled Device：电荷耦合元件)彩色摄像元件、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)彩色摄像元件等各种摄像元件。摄像元件驱动器25在相机CPU13的控制下对彩色摄像元件23的驱动进行控制。
信号调整电路28对从彩色摄像元件23输出的输出信号实施各种信号调整处理，而生成与彩色摄像元件23的滤色器排列相称的RGB的马赛克图像数据R1、G1、B1(图4)。另外，在彩色摄像元件23为CCD型的情况下，信号调整电路28例如由CDS/AGC(Correlated DoubleSampling/Automatic Gain Control：相关双采样/自动增益控制)电路、A/D转换电路等构成，在彩色摄像元件23为CMOS型的情况下，信号调整电路28例如由放大器等构成。
＜图像处理电路的结构＞
图像处理电路29与本发明的图像处理装置相当。该图像处理电路29对从信号调整电路28输入的马赛克图像数据R1、G1、B1实施黑电平调整处理、白平衡校正处理、伽玛校正处理、去马赛克处理、倍率色差校正、YC转换处理、点像复原处理等，而生成亮度系图像数据Y和色差系图像数据Cb、Cr(参照图4)。亮度系图像数据Y和色差系图像数据Cb、Cr暂时性地存储于存储器14的VRAM(Video RAM)区域(也可以另行设置VRAM)。
VRAM区域具有对连续的2场图像量进行存储的即时预览图像用的存储区域。存储于VRAM区域的亮度系图像数据Y和色差系图像数据Cb、Cr依次向显示部8输出。由此，在显示部8显示即时预览图像。
在摄影模式中按下快门按钮6时，压缩扩展处理电路31对存储于VRAM区域的亮度系图像数据Y和色差系图像数据Cb、Cr实施压缩处理。另外，压缩扩展处理电路31对经由介质接口(I/F)32从存储卡10得到的压缩图像数据实施扩展处理。介质I/F32对存储卡10进行压缩图像数据的记录和读出等。
图4是表示数码相机2的图像处理电路29的实施方式的框图。
如图4所示，图像处理电路29主要具有输入部35、去马赛克处理部36、倍率色差校正部(倍率色差校正单元)37、RGB/YC转换部(图像数据生成单元)38、复原处理部(复原处理单元)39。另外，图像处理电路29也具有进行白平衡校正处理、伽玛校正处理等的校正处理部，但是省略这些校正处理部的图示、说明。
输入部(图像数据取得单元)35将从信号调整电路28输入的RGB的各色的马赛克图像数据R1、G1、B1向去马赛克处理部36输出。即，输入部35作为被输入通过彩色摄像元件23的摄像得到的各色的图像数据的输入I/F而发挥功能。
去马赛克处理部36基于各色的马赛克图像数据R1、G1、B1，进行对应每个像素算出RGB的全部的颜色信息(以去马赛克算法的方式进行转换)的去马赛克处理(也称作去马赛克算法处理)，而生成由RGB的三面的颜色数据构成的RGB图像数据R2、G2、B2。倍率色差校正部37通过对应每色对RGB图像数据R2、G2、B2进行放大或缩小，而对光学系统17所具有的倍率色差进行校正。另外，倍率色差的校正量根据光学系统17的设计上的倍率色差而预先生成，并存储于存储器14的ROM区域，倍率色差校正部37使用对应于摄像条件(变焦倍率、光圈值等)而读出的校正量对倍率色差进行校正。
倍率色差校正部37将对RGB图像数据R2、G2、B2进行倍率色差校正而生成的RGB图像数据R3、G3、B3向RGB/YC转换部38输出。另外，倍率色差校正部37能够根据操作部41(切换单元)中的用户指示的倍率色差校正开启/关闭的信息，选择该倍率色差校正的功能。即，在倍率色差校正开启的情况下，将进行倍率色差校正后的RGB图像数据R3、G3、B3输出到RGB/YC转换部38，在倍率色差校正关闭的情况下，不进行倍率色差校正，而将所输入的RGB图像数据R2、G2、B2直接向RGB/YC转换部38输出。
RGB/YC转换部38对RGB图像数据R3、G3、B3(在倍率色差校正关闭的情况下为RGB图像数据R2、G2、B2)实施YC转换处理，而生成亮度系图像数据Y和色差系图像数据Cb、Cr。亮度系图像数据Y例如根据式[Y＝0.3R+0.6G+0.1B]而生成。在该式中，G色的贡献率为60％，因此G色与R色(贡献率30％)、B色(贡献率10％)相比贡献率高。因此，G色成为三原色中最有助于亮度信号的颜色。
在此，在本实施方式中，作为亮度系图像数据Y，列举以“Y、Cb、Cr”所表示的颜色空间的亮度信号的值为例进行了说明，但是只要是有助于图像的亮度的数据，则不特别限定。亮度系图像数据Y是指具有与拍摄到的图像的亮度相关的信息的各种数据。例如，能够列举出：CIELAB(Commission internationale de l'eclairage：国际照明委员会)颜色空间中的表示明亮度L的数据、用于得到亮度信号的贡献率最高的数据、与最有助于亮度的颜色的滤色器对应的数据等。
复原处理部39读出存储于存储器14的复原滤波器12，使用该复原滤波器12对亮度系图像数据Y进行复原处理。该复原处理为了降低运算处理的负荷而仅对视觉效果变大的亮度系图像数据Y进行。通过进行复原处理，如图5所示修正图像的模糊。
如图5的(A)所示，透过光学系统17后的点像(光学像)作为较大的点像(模糊的图像)而成像于彩色摄像元件23的摄像面，但是，通过复原处理，复原为如图5的(B)所示的较小的点像(高分辨率的图像)。
＜复原滤波器生成装置的结构＞
返回到图3，复原滤波器生成装置11生成用于数码相机2的复原处理的复原滤波器12。该复原滤波器生成装置11具备装置CPU40、操作部41、储存器43和通信I/F44。
装置CPU40基于输入到操作部41的操作指示，从储存器43适当地读出并执行各种程序，从而对装置整体进行集中控制。另外，操作部41例如是键盘、鼠标。
在储存器43存储有本发明所涉及的复原滤波器生成程序46、与光学系统17的RGB的各色的点像分布相关的相当于第一传递函数的点像分布函数(PSFR、PSFG、PSFB)、与光学系统17的倍率色差相关的校正信息等。
通信I/F44与对光学系统17的PSF进行测定的PSF测定装置49连接。在此，对于由PSF测定装置49进行的PSFR、PSFG、PSFB的测定方法，由于是公知技术，因此省略具体的说明。通信I/F44在装置CPU40的控制下，从PSF测定装置49取得与光学系统17对应的RGB各色的点像分布函数(PSFR、PSFG、PSFB)，并存储于储存器43内。
另外，通信I/F44能够经由各种通信线缆、通信电路(包含无线)而与数码相机2的通信I/F(省略图示)连接，并将由装置CPU40生成的复原滤波器12发送到数码相机2。由此，在数码相机2的存储器14内存储复原滤波器12。
＜复原滤波器的生成处理＞
在利用操作部41进行复原滤波器生成操作的情况下，装置CPU40从储存器43读出并执行复原滤波器生成程序46，从而作为后述的第一、第二传递函数取得部51、52(第一、第二传递函数取得单元)、第三～第五传递函数计算部53～55(第三～第五传递函数计算单元)、校正信息取得部56(校正信息取得单元)以及复原滤波器生成部57(复原滤波器生成单元)而发挥功能，并生成与亮度系图像数据Y对应的复原滤波器12。另外，装置CPU40的动作的详细内容留作后述。
PSF根据摄影倍率、光圈值等摄影条件、像面内的位置而具有各种各样的大小、形状、强度分布，另外，光学系统的像差根据波长而不同，因此对应RGB的每色而不同。
图6A是存储于储存器43的、与物面上的某点光源对应的像面上的RGB的各色的PSFR、PSFG、PSFB的概念图。
图6A所示的PSFR、PSFG、PSFB的数据形式设为由如下数据构成：使PSFR、PSFG、PSFB的各自的重心位置一致的PSF数据(以PSF重心成为中心(坐标x＝0，y＝0)的方式配置的数据)和表示各自的重心位置的数据αR(r)、αG(r)、αB(r)。
另外，为了便于说明，重心位置αR(r)、αG(r)、αB(r)如图6B所示，设为与某点光源应成像的像高位置r对应的位置。由于倍率色差，PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)如图6B所示沿切向方向偏离。
在以G平面为基准进行倍率色差校正的情况下，基于像高位置r中的RGB的每色的PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)，以对于R面使位置偏离变小αR(r)－αG(r)、对于B面使位置偏离变小αB(r)－αG(r)的方式对R平面、B平面的彩色图像进行放大或缩小，从而进行倍率色差校正。
然而，通常，根据安装方面的情况，并非能够实现任意的坐标转换，而是仅能够在根据特定的参数化的模型的范围内进行倍率色差校正。即，图4所示的倍率色差校正部37根据光学系统17的设计上的倍率色差，按照预先生成的倍率色差的校正量，将R、B图像数据适当放大或缩小，从而对光学系统17所具有的倍率色差进行校正。
因此，在由倍率色差校正部37进行的倍率色差校正中，不能以RGB的每色PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)完全一致的方式进行校正，因此产生校正残余。
首先，当将倍率色差校正中的校正量标记为βR(r)、βB(r)时，倍率色差校正后的校正残余量γR(r)、γB(r)能够表示为下式。
[数学式1]
γR(r)＝(αR(r)-αG(r))-βR(r)
γB(r)＝(αB(r)-αG(r))-βB(r)
复原处理部39如图4所示使用复原滤波器12对根据倍率色差校正后的RGB图像数据R3、G3、B3生成的亮度系图像数据Y进行复原处理。因此，每当生成复原滤波器12时，若倍率色差校正中存在校正残余，则RGB的每色的PSFR、PSFG、PSFB(图6A和图6B)的重心位置沿切向方向产生位置偏离，亮度中的切向方向上的MTF劣化。
因此，本发明在亮度用复原处理中通过以下所述的步骤生成考虑了上述MTF劣化的复原滤波器。
首先，基于[数学式1]所示的校正残余量γR(r)、γB(r)，使将PSF重心配置于中心(坐标x＝0，y＝0)的PSFR(x，y)、PSFB(x，y)平行移动校正残余量γR(r)、γB(r)。
具体来说，使PSFR(x，y)、PSFB(x，y)以下式所示平行移动。
[数学式2]
PSFR(x，y)：PSFR(x+γR(r)cosθ，y+γR(r)sinθ)
PSFB(x，y)：PSFB(x+γB(r)cosθ，y+γB(r)sinθ)
在此，θ如图6B所示是其画面内位置中的表示切向方向的角度。
接着，基于PSFR(x，y)、分别根据校正残余量γR(r)、γB(r)平行移动后的PSFR(x+γR(r)cosθ，y+γR(r)sinθ)、PSFB(x+γB(r)cosθ，y+γB(r)sinθ)以及加权系数cR、cG、cB，如下式所示，利用加权线性和，算出对亮度系图像数据Y的PSFY(x，y)。
[数学式3]
PSFY(x，y)＝cR·PSFR(x+γR(r)cosθ，y+γR(r)sinθ)
+cG·PSFG(x，y)
+cB·PSFB(x+γB(r)cosθ，y+γB(r)sinθ)
另外，作为加权系数cR、cG、cB，能够使用与根据RGB图像数据生成亮度系图像数据Y时的系数相同的系数，但是本发明不限于此。
利用如此算出的PSFY(x，y)，生成对亮度系图像数据Y的复原滤波器。在该方法中，与使用后述的MTF的情况相比，存在由于相位信息残留而能够进行相位校正这样的特征。
[第一实施方式]
图7是表示复原滤波器生成装置11的第一实施方式的框图，主要是表示图3所示的装置CPU40的功能的功能框图。
装置CPU40具备：第一、第二传递函数取得部51、52(第一、第二传递函数取得单元)；第三传递函数计算部53(第三传递函数计算单元)；校正信息取得部56(校正信息取得单元)；及复原滤波器生成部57(复原滤波器生成单元)。
第一传递函数取得部51从储存器43取得与光学系统17的点像分布相关的第一传递函数(RGB的各色的PSFR、PSFG、PSFB)，并将PSFR、PSFG、PSFB和PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)输出到第二传递函数取得部52。另外，PSFR、PSFG、PSFB如由图6A中所说明的那样，以各PSF的重心成为中心(坐标x＝0，y＝0)的方式配置。
校正信息取得部56从储存器43取得对光学系统17的倍率色差进行校正的校正量βR(r)、βB(r)、即由图4所示的倍率色差校正部37校正的、像高位置r处的校正量βR(r)、βB(r)(图6B所示的切向方向上的、以G像素为基准的R、B像素的校正量)，并将所取得的校正量βR(r)、βB(r)输出到第二传递函数取得部52。另外，校正量βR(r)、βB(r)根据所取得的PSFR、PSFG、PSFB的像高位置而不同，这是不言而喻的。
第二传递函数取得部52基于从第一传递函数取得部51输入的PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)和从校正信息取得部56输入的倍率色差的校正量βR(r)、βB(r)，利用上述的[数学式1]算出倍率色差校正后的校正残余量γR(r)、γB(r)。并且，为了抵消校正残余量γR(r)、γB(r)，基于所算出的校正残余量γR(r)、γB(r)和画面内位置中的表示切向方向的角度θ，如上述的[数学式2]所示使PSFR、PSFB平行移动。
第二传递函数取得部52将从第一传递函数取得部51取得的PSFG和根据校正残余量γR(r)、γB(r)平行移动后的PSFR、PSFB作为第二传递函数而输出到第三传递函数计算部53。
第三传递函数计算部53利用上述的[数学式3]算出所输入的RGB的每色的第二传递函数的加权线性和，并将其计算结果作为对亮度系图像数据Y的PSFY(x，y)(第三传递函数)而输出到复原滤波器生成部57。
复原滤波器生成部57利用所输入的PSFY(x，y)，生成对亮度系图像数据Y的复原滤波器。
通常，在基于PSF进行的模糊的复原中，能够利用卷积型的维纳滤波器。能够参照对PSFY(x，y)进行傅立叶变换后的OTF和SN比的信息，利用以下的式算出复原滤波器的频率特性d(ωx，ωy)。
[数学式4]
在此，H(ωx，ωy)表示OTF，H*(ωx，ωy)表示其复共轭。另外，SNR(ωx，ωy)表示SN比。
复原滤波器的滤波系数的设计是以滤波器的频率特性成为最接近所期望的维纳频率特性的方式选择系数值的最佳化问题，能够利用任意的公知的方法来适当算出滤波系数。
该复原滤波器设计成为求算使评价泛函数Jp[x]最小化的
[数学式5]
的问题。泛函数Jp[x]是利用任意的公知的评价手法对复原滤波器的理想的频率特性d(ωx，ωy)和利用滤波系数x实现的实际的滤波器的频率特性的近似度进行定义的函数。能够实现滤波器的频率特性的范围依存于滤波器格式，因此评价泛函数根据标识符p而成为不同的定义。
应求算的滤波系数x0能够表示为如下所示。
[数学式6]
装置CPU40如上所述基于画面内位置、对应每个摄像条件(变焦倍率、光圈值等)的第一传递函数和倍率色差的校正信息，分别算出复原滤波器(复原滤波器的滤波系数)。
[第二实施方式]
图8是表示复原滤波器生成装置11的第二实施方式的框图，主要是表示图3所示的装置CPU40的功能的功能框图。另外，对与图7所示的第一实施方式共通的部分附加相同的附图标记，省略其详细的说明。
在图8中，校正信息取得部56a(校正精度评价单元)从储存器43取得对光学系统17的倍率色差进行校正的校正量βR(r)、βB(r)和表示校正量βR(r)、βB(r)的倍率色差校正的可靠度的信息(表示倍率色差的校正量βR(r)、βB(r)或校正残余量γR(r)、γB(r)的可靠度的信息)。
即，因为镜头的个体偏差较大，或者为了手抖控制而使镜头的特性变化，因此不能准确地得知倍率色差的校正量(倍率色差的校正精度较低)，或者在发生变动这样的状况下，倍率色差的校正量βR(r)、βB(r)或校正残余量γR(r)、γB(r)的可靠度较低。
在储存器43存储如上所述的表示倍率色差校正的可靠度的信息。校正信息取得部56a从储存器43取得表示倍率色差校正的可靠度的信息，将表示倍率色差校正的可靠度是否比基准值低的信息(表示倍率色差的校正精度是否为阈值以下的评价信息)输出到第三传递函数计算部53a。在此，作为用于判断倍率色差校正的可靠度是否较低的基准值，由于不能准确地得知倍率色差校正的校正残余量，因此当利用根据第一实施方式的PSFY(x，y)生成的复原滤波器进行复原处理时，以是否反而色差可能变大为基准。
第三传递函数计算部53a将从第二传递函数取得部52输入的PSFG和根据校正残余量γR(r)、γB(r)平行移动的PSFR、PSFB混合而生成对亮度系图像数据Y的PSFY(x，y)(第三传递函数)，但是在从校正信息取得部56a输入表示倍率色差校正的可靠度较低的信息的情况下，从PSFY(x，y)消除相位信息。具体来说，对PSFY(x，y)进行傅立叶变换而算出OTFY(ωx，ωy)，采用其振幅(绝对值)算出MTFY(ωx，ωy)。并且，在倍率色差校正的可靠度较高的情况下，第三传递函数计算部53将PSFY(x，y)作为第三传递函数输出到复原滤波器生成部57a。另一方面，在倍率色差校正的可靠度较低的情况下，第三传递函数计算部53将除去了相位信息的OTFY(ωx，ωy)、即MTFY(ωx，ωy)作为第三传递函数输出到复原滤波器生成部57a。
复原滤波器生成部57a根据倍率色差校正的可靠度是否较高，使用从第三传递函数计算部53a输入的PSFY(x，y)或MTFY(ωx，ωy)而生成用于对亮度系图像数据Y进行复原处理的复原滤波器。由此，在倍率色差校正的可靠度较低的情况下，能够生成在复原处理时不进行相位校正的复原滤波器，在倍率色差的校正残余量不清楚的情况下，也能够生成可进行最佳的复原处理的复原滤波器。另外，在算出MTF时，考虑了颜色之间的位置偏离相关性(校正残余量)，因此与后述的单纯的MTF混合等相比，能够降低切向方向上的MTF劣化。
[第三实施方式]
图9是表示复原滤波器生成装置11的第三实施方式的框图，是主要表示图3所示的装置CPU40的功能的功能框图。另外，对与图7和图8所示的第一、第二实施方式共通的部分附加相同的附图标记，省略其详细的说明。
第三实施方式与第二实施方式同样地，是根据倍率色差校正的可靠度是否较低而对复原滤波器的生成方法进行切换的实施方式。
在图9中，第四传递函数计算部54(第四传递函数计算单元)从第一传递函数取得部51输入RGB的每色的PSFR、PSFG、PSFB，并算出从PSFR、PSFG、PSFB分别除去了相位信息的MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)。能够通过分别对PSFR、PSFG、PSFB进行傅立叶变换而算出OTFR(ωx，ωy)、OTFG(ωx，ωy)、OTFB(ωx，ωy)并采用其绝对值，从而算出这些MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)。并且，将所算出的MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)混合，而算出对亮度系图像数据Y的MTFY(ωx，ωy)(第四传递函数)。
由第四传递函数计算部54进行的MTFY(ωx，ωy)的计算能够基于MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)和加权系数cR、cG、cB，利用下式算出。
[数学式7]
即，第四传递函数计算部54通过算出MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)分别乘以加权系数cR、cG、cB所得到的值的平方和的平方根，算出对亮度系图像数据Y的MTFY(ωx，ωy)。
另外，作为将MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)混合并算出对亮度系图像数据Y的MTFY(ωx，ωy)的其他MTF混合方法，也可以基于加权系数cR、cG、cB，基于下式进行。
[数学式8]
MTFY(ωx，ωy)=cRMTFR(ωx，ωy)+cGMTFG(ωx，ωy)+cBMTFB(ωx，ωy)
即，第四传递函数计算部54利用MTFR(ωx，ωy)、MTFG(ωx，ωy)、MTFB(ωx，ωy)和加权系数cR、cG、cB，算出加权线性和，从而求算MTFY(ωx，ωy)。
由第四传递函数计算部54算出的对亮度系图像数据Y的MTFY(ωx，ωy)作为第四传递函数而输出到复原滤波器生成部57b。
复原滤波器生成部57b根据表示从校正信息取得部56a输入的倍率色差校正的可靠度是否较高的信息，使用从第三传递函数计算部53输入的第三传递函数(PSFY(x，y))或从第四传递函数计算部54输入的第四传递函数(MTFY(ωx，ωy))，生成用于对亮度系图像数据Y进行复原处理的复原滤波器。即，在倍率色差校正的可靠度较低的情况下，能够使用(MTFY(ωx，ωy))生成在复原处理时不进行相位校正的复原滤波器。
由此，即使在因偏差等而倍率色差的校正残余量不清楚的情况下，也能够生成可进行适当的复原处理的复原滤波器。
[第四实施方式]
图10是表示复原滤波器生成装置11的第四实施方式的框图，是主要表示图3所示的装置CPU40的功能的功能框图。另外，在与图7所示的第一实施方式共通的部分附加相同的附图标记，并省略其详细的说明。
第四实施方式是根据进行倍率色差校正的情况(倍率色差校正开启)或不进行倍率色差校正的情况(倍率色差校正关闭)而对复原滤波器的生成方法进行切换的实施方式。
在图10中，第五传递函数计算部55(第五传递函数计算单元)从第一传递函数取得部51输入RGB的各色的PSFR、PSFG、PSFB和PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)，并利用上述的[数学式1]算出校正残余量γR(r)、γB(r)。在此，能够在[数学式1]中，将倍率色差校正中的校正量βR(r)、βB(r)分别设为0，从而算出倍率色差校正关闭的情况下的校正残余量γR(r)、γB(r)。
基于如此算出的校正残余量γR(r)、γB(r)，利用上述的[数学式2]，算出根据校正残余量γR(r)、γB(r)平行移动后的PSFR(x，y)、PSFB(x，y)。第五传递函数计算部55将从第一传递函数取得部51输入的PSFG和平行移动后的PSFR、PSFB混合，而算出对亮度系图像数据Y的PSFY(x，y)，将该PSFY(x，y)作为第五传递函数而输出到复原滤波器生成部57c。另外，RGB的PSF混合能够利用[数学式3]进行。
复原滤波器生成部57c输入图3所示的操作部41(切换单元)中的用户指示的倍率色差校正开启/关闭的信息或设定于储存器43(切换单元)的倍率色差校正开启/关闭的信息，并根据倍率色差校正开启/关闭的信息，使用从第三传递函数计算部53输入的第三传递函数(PSFY(x，y))或从第五传递函数计算部55输入的第五传递函数(PSFY(x，y))，生成用于对亮度系图像数据Y进行复原处理的复原滤波器。
即，复原滤波器生成部57c在倍率色差校正关闭的情况下(在切换成不进行倍率色差校正的情况下)使用从第五传递函数计算部55输入的第五传递函数来生成复原滤波器，因此可以生成能够利用亮度系图像数据的复原处理对因不进行倍率色差校正引起的亮度系图像数据的MTF劣化进行校正的复原滤波器。
[第五实施方式]
图11是表示复原滤波器生成装置11的第五实施方式的框图，是主要表示图3所示的装置CPU40的功能的功能框图。另外，在与图10所示的第四实施方式共通的部分上附加相同的附图标记，省略其详细的说明。
第五实施方式是根据倍率色差校正开启/关闭而对复原滤波器的生成方法进行切换的其他实施方式。
在图11中，从第三传递函数计算部53向复原滤波器生成部57d施加第三传递函数(PSFY(x，y))，从第一传递函数取得部51向复原滤波器生成部57d施加G的PSFG(x，y)。复原滤波器生成部57d根据倍率色差校正开启/关闭的信息，使用从第三传递函数计算部53输入的PSFY(x，y)或从第一传递函数取得部51输入的G的PSFG(x，y)而生成用于对亮度系图像数据Y进行复原处理的复原滤波器。
在此，复原滤波器生成部57d在倍率色差校正关闭的情况下(在切换成不进行倍率色差校正的情况下)，使用单色(G)的PSFG(x，y)而生成复原滤波器。因此，与使用将RGB的各色的PSFR、PSFG、PSFB混合而成的PSFY而生成的复原滤波器相比，能够生成在复原处理时不产生切向方向上的频率增强的复原滤波器。
如图12所示，在PSFR、PSFG、PSFB沿切向方向产生了相位偏离的情况下，将PSFR、PSFG、PSFB混合而生成的PSFY沿切向方向产生MTF劣化。因此，根据该PSFY生成的复原滤波器成为增强向劣化方向的复原的处理。
即，在切向方向上的MTF劣化的程度较小、劣化的MTF值比根据SN比所规定的阈值大的情况下，有时频率在切向方向上增强、明显看见色差(边缘部分的色差被增强的情况)。在这种情况下，优选为，使用单色的G的PSFG(x，y)，以不产生切向方向上的频率增强的方式生成复原滤波器。
具体来说，切向方向上的MTF劣化的程度较小是满足以下的[数学式9]所示的条件的情况。
[数学式9]
切向方向上的MTF劣化的程度较小、换言之是因为将PSF或MTF混合而切向方向上的低/中频的维纳滤波器的频率增强的大小超过1.0的情况。
在此，(ωx，ωy)设为是视觉上重要的0.25Fs(Fs：采样频率)以下左右。如此，在设为倍率色差校正关闭的色差明显的状态下，使用单色的G的PSFG(x，y)而生成复原滤波器。由此，通过使用将RGB的各色的PSFR、PSFG、PSFB混合而成的PSFY而生成的复原滤波器，反而能够防止色差明显的方向上的频率增强。另外，使用G的PSFG(x，y)是因为RGB中G的图像数据最有助于亮度系图像数据的生成的缘故。
另外，在该实施方式中，如图6A所示，作为PSFR、PSFG、PSFB的数据形式，使用了由以下数据构成的数据：以PSF重心成为中心(坐标x＝0，y＝0)的方式配置的数据和表示各自的重心位置的数据αR(r)、αG(r)、αB(r)，但是本发明不限于此。例如，即使使用具有绝对位置的PSFR、PSFG、PSFB，也同样能够算出各种传递函数。另外，PSF与OTF处于傅立叶变换的关系，因此也可以替代上述实施方式中的PSF而使用OTF，另外，OTF由于具有将MTF和PTF合并后的信息量，因此也可以使用MTF和PTF。
＜向EDoF系统的适用例＞
上述的实施方式中的复原处理是通过根据特定的摄影条件(例如光圈值、F值、焦距、镜头种类等)来对点扩散(点像模糊)进行复原修正而对原来的被摄体像进行复原的图像处理，但是能够适用本发明的图像复原处理不限于上述的实施方式中的复原处理。例如，即使对于对利用具有被扩大的景深(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学系统(摄影镜头等)所摄影取得的图像数据进行的复原处理，也能够适用本发明所涉及的复原处理。通过对在利用EDoF光学系统扩大了景深(焦点深度)的状态下所摄影取得的模糊图像的图像数据进行复原处理，能够对以大范围对焦的状态的高分辨率的图像数据进行复原生成。在该情况下，能够进行使用了复原滤波器的复原处理，上述复原滤波器是基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器，且具有以能够在被扩大的景深(焦点深度)的范围内进行良好的图像复原的方式设定的滤波系数。
以下，对与经由EDoF光学系统而摄影取得的图像数据的复原相关的系统(EDoF系统)的一例进行说明。
图13是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、摄像元件112、AD转换部114和复原处理模块(图像处理部)120。
图14是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点被固定的摄影透镜110A和配置于光瞳位置的光学滤光片111。光学滤光片111对相位进行调制，并以得到被扩大的景深(焦点深度)(EDoF)的方式构成EDoF光学系统110(摄影透镜110A)(EDoF化)。如此，摄影透镜110A和光学滤光片111构成对相位进行调制而使景深扩大的透镜部。
另外，EDoF光学系统110根据需要包含其他结构要素，例如在光学滤光片111的附近配置有光圈(省略图示)。另外，光学滤光片111可以是1片，也可以是将多片组合而成的结构。另外，光学滤光片111不过是光学的相位调制单元的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以由其他单元实现。例如，可以替代设置光学滤光片111，利用以具有与本例的光学滤光片111同等的功能的方式设计了透镜的摄影透镜110A来实现EDoF光学系统110的EDoF化，也可以采用各种光波面调制元件。
即，能够利用使向摄像元件112的受光面的成像的波面变化的各种单元来实现EDoF光学系统110的EDoF化。例如，能够采用“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“厚度、折射率根据向透镜表面的涂层等而变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化单元。如此，本发明不仅可以适用于能够利用光波面调制元件(光学滤光片111(相位板))形成规则地分散的图像的例子，而且也可以适用于不使用光波面调制元件而能够利用摄影透镜110A自身形成与使用光波面调制元件的情况同样的分散图像的例子。
图14所示的EDoF光学系统110由于能够省略机械地进行调焦的调焦机构，因此能够小型化，能够适当地搭载于带相机的移动电话、移动信息终端。
EDoF化后的通过EDoF光学系统110后的光学像成像于图13所示的摄像元件112，并在此转换为电信号。
摄像元件112由以预定的图案排列(拜尔排列、G条纹R/G完全交错相间的棋盘格纹、X-Trans(注册商标)排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(在本例中为RGB滤色器)和光电二极管而构成。经由EDoF光学系统110入射到摄像元件112的受光面上的光学像通过排列于该受光面的各光电二极管而被转换为与入射光量相应的量的信号电荷。并且，蓄积于各光电二极管的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而依次输出。
AD转换部114将从摄像元件112对应每个像素输出的模拟的R/G/B信号转换为数字的图像信号。由AD转换部114转换为数字的图像信号后的数字图像信号被施加于复原处理模块120。
复原处理模块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YC转换部126和复原处理部(Y信号复原处理部)127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整能够采用公知的方法。例如，在着眼于某有效光电转换元件的情况下，求算与包含该有效光电转换元件的光电转换元件行中所包含的多个OB(Optical Black：光学黑体)光电转换元件分别对应的暗电流量取得用信号的平均，从与该有效光电转换元件对应的暗电流量取得用信号减去该平均，从而进行黑电平调整。
白平衡增益部123进行与对黑电平数据进行了调整的数字图像信号所包含的RGB各色信号的白平衡增益对应的增益调整。
伽马处理部124进行伽马校正，该伽马校正以被白平衡调整后的R、G、B图像信号成为所期望的伽马特性的方式进行中间色调等的灰度校正。
去马赛克处理部125对伽玛校正后的R、G、B图像信号实施去马赛克处理。具体来说，去马赛克处理部125通过对R、G、B的图像信号实施颜色插值处理，从而生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，颜色去马赛克处理之前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个，但是颜色去马赛克处理之后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。
RGB/YC转换部126将去马赛克处理后的每个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y和色差信号Cr、Cb。
复原处理部127基于预先存储的复原滤波器，对来自RGB/YC转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的内核尺寸的逆卷积内核(与M＝7、N＝7的抽头数对应)和与该逆卷积内核对应的运算系数(与复原增益数据、滤波系数对应)构成，用于光学滤光片111的相位调制量的逆卷积处理(逆卷积运算处理)。另外，复原滤波器中，与光学滤光片111对应的存储于未图示的存储器(例如附带地设有复原处理部127的存储器)。另外，逆卷积内核的内核尺寸不限于7×7的大小。
接着，对复原处理模块120的复原处理进行说明。图15是表示图13所示的复原处理模块120中的复原处理的一例的流程图。
在黑电平调整部122的一输入中从AD转换部114施加数字图像信号，在其他输入中施加黑电平数据。黑电平调整部122从数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(步骤S1)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整后的图像数据，依次实施由白平衡增益部123、伽马处理部124进行的处理(步骤S2和S3)。
伽玛校正后的R、G、B信号在由去马赛克处理部125进行去马赛克处理后，在RGB/YC转换部126中被转换为亮度信号Y和色差信号(色度信号)Cr、Cb(步骤S4)。
复原处理部127对亮度信号Y进行实施与EDoF光学系统110的光学滤光片111的相位调制相应的量的逆卷积处理的复原处理(步骤S5)。即，复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素组对应的亮度信号(在此是7×7像素的亮度信号)与预先存储于存储器等的复原滤波器(7×7的逆卷积内核和其运算系数)的逆卷积处理(逆卷积运算处理)。复原处理部127通过以覆盖摄像面的整个区域的方式反复进行该预定单位的每个像素组的逆卷积处理而进行将图像整体的像模糊消除的复原处理。
通过EDoF光学系统110后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于摄像元件112，但是利用由复原处理部127进行的逆卷积处理，复原为较小的点像(高分辨率的图像)。
通过如上所述对去马赛克处理后的亮度信号施加复原处理，无需对RGB分别具有复原处理的参数，能够使复原处理高速化。另外，对于色差信号Cr/Cb，即使在人眼的视觉的特性上，没有利用复原处理提高分辨率，画质上也是被允许的。另外，在以如JPEG(JointPhotographic Experts Group：联合图像专家组)那样的压缩形式记录图像的情况下，由于色差信号以比亮度信号高的压缩率被压缩，因此缺乏以复原处理提高分辨率的必要性。如此，能够兼顾复原精度的提高以及处理的简化和高速化。
对于如以上说明那样的EDoF系统的复原处理，也能够生成本发明的第一到第五实施方式所涉及的复原滤波器。
另外，能够适用本发明的方式不限于数码相机2、复原滤波器生成装置11，除了以摄像为主要的功能的相机类以外，也能够适用于除摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他的计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如能够列举具有相机功能的移动电话、智能手机、PDA(Personal DigitalAssistants：个人数字助理)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图16是表示作为数码相机2的其他实施方式的智能手机500的外观的立体图。图16所示的智能手机500具有平板状的壳体502，并在壳体502的一面具备由作为显示部的显示面板521和作为输入部的操作面板522成为一体而成的显示输入部520。另外，壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外，壳体502的结构不限于此。例如，能够采用使显示部和输入部独立而成的结构，或采用壳体502具有折叠构造、滑动机构的结构。
图17是表示图16所示的智能手机500的结构的框图。如图17所示，作为智能手机的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能手机500的主要的功能，具备经由基站装置BS和移动通信网NW进行的移动无线通信的无线通信功能。
无线通信部510按照CPU501的指示，对收容于移动通信网的基站装置进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制来显示图像(静止图像以及动态图像)、文字信息等而视觉性地向用户传递信息并检测对所显示的信息的用户操作的所谓操作面板。显示输入部520具备显示面板521和操作面板522。在对所生成的3D图像进行欣赏的情况下，显示面板521优选为是3D显示面板。
显示面板521使用LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectro-Luminescence Display：有机电致发光显示器)等作为显示装置。
操作面板522是载置成能够对显示于显示面板521的显示面上的图像进行目视确认且检测通过用户的手指、尖笔操作的一个或多个坐标的设备。当通过用户的手指、尖笔来操作该设备时，将因操作而产生的检测信号向主控制部501输出。接着，主控制部501基于接收到的检测信号而检测显示面板521上的操作位置(坐标)。
如图16所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但是成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情况下，操作面板522也可以具备对显示面板521以外的区域也检测用户操作的功能。换言之，操作面板522也可以具备对与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)和对除此以外的未与显示面板521重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但是没有必要必须使两者一致。另外，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。而且，作为由操作面板522采用的位置检测方式，能够列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一种方式。
通话部530具备扬声器531、麦克风532，将通过麦克风532输入的用户的声音转换为能够由主控制部501处理的声音数据并向主控制部501输出，或者对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图16所示，也可以例如将扬声器531搭载于与设有显示输入部520的面相同的面。另外，能够将麦克风532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键，接收来自用户的指示。例如，操作部540搭载于智能手机500的壳体502的显示部的下部、下侧面。操作部540例如是如下的按钮式开关：当利用手指等按下时接通，当松开手指时通过弹簧等的复原力而成为断开状态。
存储部550存储主控制部501的控制程序、控制数据、本发明所涉及的复原滤波器、将通信对方的名称、电话号码等建立对应而成的地址数据，所收发的电子邮件的数据、通过Web浏览下载的Web数据、所下载的内容数据，另外暂时性地存储流数据等。另外，存储部550由智能手机内置的内部存储部551和装拆自如的具有外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存式(flashmemory type)、硬盘式(hard disk type)、微型多媒体卡式(multimedia card microtype)、卡式存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。
外部输入输出部560起到与连接于智能手机500的所有外部设备的接口的作用，用于通过通信等(例如通用串行总线(USB)、IEEE1394等)或网络(例如互联网、无线LAN(LocalArea Network)、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(UltraWideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。
作为与智能手机500连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座连接的存储卡(Memory card)、SIM(SubscriberIdentity Module Card：客户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output：输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备，有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部560能够将从这样的外部设备接收到传送的数据传递给智能手机500的内部的各结构要素、将智能手机500的内部的数据传送给外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如，无线LAN)取得位置信息时，也能够使用该位置信息来检测位置。
运动传感器部580例如具备三轴加速度传感器等，按照主控制部501的指示，检测智能手机500的物理性移动。通过检测智能手机500的物理性移动，检测智能手机500所移动的方向、加速度。该检测结果向主控制部501输出。
电源部590按照主控制部501的指示，向智能手机500的各部供给存储于蓄电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据进行动作，对智能手机500的各部集中地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
应用处理功能通过使主控制部501根据存储部550所存储的应用软件进行动作而实现。作为应用处理功能，例如有对外部输入输出部560进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览网页的Web浏览功能等。
另外，主控制部501具备基于接收数据、所下载的流数据等的图像数据(静止图像、动态图像的数据)而影像显示于显示输入部520的图像处理功能等。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，而将图像显示于显示输入部520的功能。
此外，主控制部501执行对显示面板521的显示控制和检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对未完全收纳于显示面板521的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或者通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部501具备如下的操作面板控制功能：判定对于操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的外缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制。
另外，主控制部501也能够检测对操作面板522的手势操作，根据所检测出的手势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指通过手指等来描绘轨迹或者同时指定多个位置或者将这些组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部541是利用CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合元件)等摄像元件而进行电子摄影的数码相机。该相机部541能够适用上述的数码相机2。
另外，相机部541能够通过主控制部501的控制，将通过摄像得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家小组)等压缩后的图像数据，并存储于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图16所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置不限于此。相机部541例如可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄影的相机部541进行切换而单独地进行摄影，或者也能够同时使用多个相机部541来进行摄影。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541取得的图像、作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像而检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三轴加速度传感器并用来判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
[其他]
本实施方式的数码相机2将由复原滤波器生成装置11生成的复原滤波器经由复原滤波器生成装置11的通信I/F44存储于相机内的存储器14，但是也可以使数码相机2和复原滤波器生成装置11一体化。在该情况下，数码相机也生成复原滤波器，且使用所生成的复原滤波器来实施复原处理。另外，作为数码相机，可以是互换镜头式相机，也可以通过与互换镜头的通信来取得所安装的互换镜头的PSF等，并基于所取得的PSF等生成复原滤波器。
另外，本发明包含通过安装于通用的个人计算机而使该个人计算机作为复原滤波器生成装置发挥功能的复原滤波器生成程序和记录有该复原滤波器生成程序的(非暂时性(non-transitory)且计算机能够读取的)记录介质。复原滤波器生成程序至少使计算机实现与复原滤波器生成装置的第一传递函数取得单元、校正信息取得单元、第二传递函数取得单元、第三传递函数计算单元和复原滤波器生成单元对应的各功能。
此外，本发明不限于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种变形，这是不言而喻的。
附图标记说明
2…数码相机，11…复原滤波器生成装置，12…复原滤波器，14…存储器，13…相机CPU，17…光学系统，29…图像处理电路，36、125…去马赛克处理部，37…倍率色差校正部，38、126…RGB/YC转换部，39…复原处理部，40…装置CPU，41…操作部，43…储存器，46…复原滤波器生成程序，51…第一传递函数取得部，52…第二传递函数取得部，53、53a…第三传递函数计算部，54…第四传递函数计算部，55…第五传递函数计算部，56、56a…校正信息取得部，57、57a、57b、57c、57d…复原滤波器生成部，101…摄像模块，110…EDoF光学系统，110A…摄影透镜，111…光学滤光片，112…摄像元件，120…复原处理模块，200…主控制部，201…智能手机。

Claims (16)

1.一种复原滤波器生成装置，生成复原滤波器，所述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，所述亮度系图像数据是基于由具有所述光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，
所述复原滤波器生成装置的特征在于，具备：
第一传递函数取得单元，对应所述多个颜色的每色取得与所述光学系统的点像分布相关的第一传递函数；
校正信息取得单元，对应所述多个颜色的每色取得校正信息，所述校正信息表示通过所述多个颜色的每色的图像数据的放大或缩小而对由所述光学系统产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残余量；
第二传递函数取得单元，基于由所述校正信息取得单元取得的所述校正信息，取得为了抵消所述校正残余量而使所述多个颜色的每色的第一传递函数平行移动的第二传递函数；
第三传递函数计算单元，基于由所述第二传递函数取得单元取得的所述多个颜色的每色的第二传递函数，算出对所述亮度系图像数据的第三传递函数；及
复原滤波器生成单元，基于由所述第三传递函数计算单元算出的第三传递函数，生成用于进行所述复原处理的复原滤波器。
2.根据权利要求1所述的复原滤波器生成装置，其中，
所述第三传递函数计算单元将所述多个颜色的每色的第二传递函数混合而算出对所述亮度系图像数据的第三传递函数。
3.根据权利要求2所述的复原滤波器生成装置，其中，
所述第三传递函数计算单元算出所述多个颜色的每色的第二传递函数乘以每色的加权系数所得到的值的线性和作为对所述亮度系图像数据的第三传递函数。
4.根据权利要求1所述的复原滤波器生成装置，其中，
具备校正精度评价单元，对倍率色差的校正精度是否为阈值以下进行评价，
在所述校正精度评价单元评价为所述倍率色差的校正精度为阈值以下的情况下，所述复原滤波器生成单元从由所述第三传递函数计算单元算出的第三传递函数除去相位信息，并基于除去了相位信息的第三传递函数来生成仅进行频率复原的复原滤波器。
5.根据权利要求1所述的复原滤波器生成装置，其中，
具备：
第四传递函数计算单元，从由所述第一传递函数取得单元取得的所述多个颜色的每色的第一传递函数分别除去相位信息，并将除去了相位信息的多个颜色的每色的第一传递函数混合而算出对所述亮度系图像数据的第四传递函数；及
校正精度评价单元，对倍率色差的校正精度是否为阈值以下进行评价，
在所述校正精度评价单元评价为所述倍率色差的校正精度为阈值以下的情况下，所述复原滤波器生成单元基于由所述第四传递函数计算单元算出的第四传递函数，生成仅对所述亮度系图像数据进行频率复原的复原滤波器。
6.根据权利要求5所述的复原滤波器生成装置，其中，
所述第四传递函数计算单元算出除去了所述相位信息的多个颜色的每色的第一传递函数乘以每色的加权系数所得到的值的平方和的平方根作为对所述亮度系图像数据的第四传递函数。
7.根据权利要求5所述的复原滤波器生成装置，其中，
所述第四传递函数计算单元算出除去了所述相位信息的多个颜色的每色的第一传递函数乘以每色的加权系数所得到的值的线性和作为对所述亮度系图像数据的第四传递函数。
8.根据权利要求1所述的复原滤波器生成装置，其中，
所述第一传递函数取得单元取得所述光学系统的多个颜色的每色的第一传递函数，所述光学系统具有对相位进行调制而使景深扩大的透镜部。
9.根据权利要求1～8中任一项所述的复原滤波器生成装置，其中，
具备：
切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；及
第五传递函数计算单元，当由所述切换单元切换为不实施倍率色差校正的情况时，所述第五传递函数计算单元将所述多个颜色的每色的第一传递函数混合，而算出对所述亮度系图像数据的第五传递函数，
当由所述切换单元切换为不实施倍率色差校正的情况时，所述复原滤波器生成单元基于由所述第五传递函数计算单元算出的第五传递函数，生成对所述亮度系图像数据的复原滤波器。
10.根据权利要求1～8中任一项所述的复原滤波器生成装置，其中，
具备切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换，
所述多个颜色的图像数据包含红(R)、绿(G)、蓝(B)的各色的图像数据，
当由所述切换单元切换为不实施倍率色差校正的情况时，所述复原滤波器生成单元基于由所述第一传递函数取得单元取得的所述多个颜色的每色的第一传递函数中的与绿(G)色对应的第一传递函数，生成对所述亮度系图像数据的复原滤波器。
11.一种图像处理装置，具备：
图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；
倍率色差校正单元，通过使由所述图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由所述光学系统产生的每色的倍率色差进行校正；及
图像数据生成单元，基于由所述倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据，
所述图像处理装置的特征在于，还具备：
复原滤波器存储单元，存储由权利要求1～8中任一项所述的复原滤波器生成装置生成的复原滤波器；及
复原处理单元，使用存储于所述复原滤波器存储单元的所述复原滤波器，对由所述图像数据生成单元生成的所述亮度系图像数据实施复原处理。
12.一种图像处理装置，具备：
图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，
所述图像处理装置的特征在于，还具备：
切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；
倍率色差校正单元，当由所述切换单元切换为实施倍率色差校正的情况时，所述倍率色差校正单元通过使由所述图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由所述光学系统产生的每色的倍率色差进行校正；
图像数据生成单元，当由所述切换单元切换为实施倍率色差校正的情况时，所述图像数据生成单元基于由所述倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据，当由所述切换单元切换为不实施倍率色差校正的情况时，所述图像数据生成单元基于由所述图像数据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据；
复原滤波器存储单元，存储由权利要求9或10所述的复原滤波器生成装置生成的复原滤波器；及
复原处理单元，使用存储于所述复原滤波器存储单元的所述复原滤波器，对由所述图像数据生成单元生成的所述亮度系图像数据实施复原处理。
13.一种图像处理装置，具备：
图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据；
倍率色差校正单元，通过使由所述图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由所述光学系统产生的每色的倍率色差进行校正；及
图像数据生成单元，基于由所述倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据，生成与亮度相关的图像数据即亮度系图像数据，
所述图像处理装置的特征在于，还具备：
权利要求1～8中任一项所述的复原滤波器生成装置；及
复原处理单元，使用由所述复原滤波器生成装置生成的所述复原滤波器，对由所述图像数据生成单元生成的所述亮度系图像数据实施复原处理。
14.一种图像处理装置，具备：
图像数据取得单元，取得由具有光学系统的摄像单元得到的多个颜色的每色的图像数据，
所述图像处理装置的特征在于，还具备：
切换单元，对实施倍率色差校正的情况和不实施倍率色差校正的情况进行切换；
倍率色差校正单元，当由所述切换单元切换为实施倍率色差校正的情况时，所述倍率色差校正单元通过使由所述图像数据取得单元取得的多个颜色的每色的图像数据放大或缩小，而对由所述光学系统产生的每色的倍率色差进行校正；
图像数据生成单元，当由所述切换单元切换为实施倍率色差校正的情况时，所述图像数据生成单元基于由所述倍率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据，当由所述切换单元切换为不实施倍率色差校正的情况时，所述图像数据生成单元基于由所述图像数据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图像数据即亮度系图像数据；
权利要求9或10所述的复原滤波器生成装置；及
复原处理单元，使用由所述复原滤波器生成装置生成的所述复原滤波器，对由所述图像数据生成单元生成的所述亮度系图像数据实施复原处理。
15.一种摄像装置，具备：
摄像单元，具有光学系统且输出多个颜色的每色的图像数据
所述摄像装置的特征在于，还具备：
权利要求11～14中任一项所述的图像处理装置。
16.一种复原滤波器生成方法，生成复原滤波器，所述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分布的复原处理，所述亮度系图像数据是基于由具有所述光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数据，
所述复原滤波器生成方法的特征在于，包括：
第一传递函数取得工序，对应所述多个颜色的每色取得与所述光学系统的点像分布相关的第一传递函数；
校正信息取得工序，对应所述多个颜色的每色取得校正信息，所述校正信息表示通过所述多个颜色的每色的图像数据的放大或缩小而对由所述光学系统产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残余量；
第二传递函数取得工序，基于由所述校正信息取得工序所取得的所述校正信息，取得为了抵消所述校正残余量而使所述多个颜色的每色的第一传递函数平行移动的第二传递函数；
第三传递函数计算工序，基于由所述第二传递函数取得工序所取得的所述多个颜色的每色的第二传递函数，算出对所述亮度系图像数据的第三传递函数；及
复原滤波器生成工序，基于由所述第三传递函数计算工序算出的第三传递函数，生成用于进行所述复原处理的复原滤波器。
CN201380074190.5A 2013-03-04 2013-11-13 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质 Active CN105009563B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-042187 2013-03-04
JP2013042187 2013-03-04
PCT/JP2013/080649 WO2014136323A1 (ja) 2013-03-04 2013-11-13 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
CN105009563A CN105009563A (zh) 2015-10-28
CN105009563B true CN105009563B (zh) 2018-01-12

Family

ID=51490868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074190.5A Active CN105009563B (zh) 2013-03-04 2013-11-13 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质

Country Status (4)

Country Link
US (1) US9536289B2 (zh)
JP (1) JP5851650B2 (zh)
CN (1) CN105009563B (zh)
WO (1) WO2014136323A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3169053B1 (en) * 2013-02-01 2018-09-19 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9674431B2 (en) 2013-02-01 2017-06-06 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2015151590A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN106134177B (zh) * 2014-03-31 2019-05-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
JP2016119532A (ja) * 2014-12-19 2016-06-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6043334B2 (ja) * 2014-12-22 2016-12-14 京セラドキュメントソリューションズ株式会社 表示装置、画像形成装置、及び、表示方法
JP6835091B2 (ja) * 2016-08-01 2021-02-24 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP6407330B2 (ja) * 2017-03-10 2018-10-17 キヤノン株式会社 画像投射装置
JP6821526B2 (ja) * 2017-08-15 2021-01-27 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、プログラム
JP7432141B2 (ja) * 2020-02-03 2024-02-16 セイコーエプソン株式会社 画像読取装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
US7583442B2 (en) * 1995-02-03 2009-09-01 Omnivision Cdm Optics, Inc. Extended depth of field optical systems
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法
CN102472621A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法
CN102754107A (zh) * 2010-02-22 2012-10-24 索尼公司 图像信号处理电路、图像捕获装置、图像信号处理方法及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966894B2 (ja) * 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
US8477206B2 (en) * 2008-09-30 2013-07-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image restoration using restoration filter
JP5235642B2 (ja) * 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5660711B2 (ja) 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
JP5409589B2 (ja) 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5414752B2 (ja) * 2011-08-08 2014-02-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583442B2 (en) * 1995-02-03 2009-09-01 Omnivision Cdm Optics, Inc. Extended depth of field optical systems
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法
CN102754107A (zh) * 2010-02-22 2012-10-24 索尼公司 图像信号处理电路、图像捕获装置、图像信号处理方法及程序
CN102472621A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法

Also Published As

Publication number Publication date
WO2014136323A1 (ja) 2014-09-12
US9536289B2 (en) 2017-01-03
CN105009563A (zh) 2015-10-28
US20160027155A1 (en) 2016-01-28
JP5851650B2 (ja) 2016-02-03
JPWO2014136323A1 (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN104995911B (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN104854858B (zh) 图像处理装置、摄像装置、计算机
CN105009168B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN104969545B (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN105103534B (zh) 摄像装置及校准方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN104641625B (zh) 图像处理装置、摄像装置及图像处理方法
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN104704806A (zh) 图像处理装置、摄像装置、图像处理方法、程序以及记录介质
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN105453534B (zh) 图像处理装置及方法
CN104272732B (zh) 图像处理装置、方法及摄像装置
US20170004606A1 (en) Image processing device, imaging device, image processing method, and image processing program
CN105409198A (zh) 摄像装置及图像处理方法
CN104584532B (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant