CN105453540A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

Abstract

本发明提供一种图像处理装置、摄像装置、图像处理方法及程序，所述图像处理装置中，即使在动态图像中存在摄影环境的急剧变化时，也能够维持帧之间的复原处理的连续性的同时获取画质良好的动态图像。作为本发明的一方式的图像处理装置具备复原控制处理部(36)，其对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据，复原控制处理部(36)根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息，控制对多个帧中的处理对象帧进行的复原处理。

Description

图像处理装置、摄像装置、图像处理方法及程序

技术领域

本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种进行基于点扩散函数的复原处理的图像处理装置、摄像装置、图像处理方法及程序。

背景技术

在经由摄像光学系统而被摄影的被摄体像中，由于由摄像光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的、所谓的点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：PointSpreadFunction)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。

由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的复原处理(点像复原处理)来恢复画质。复原处理是如下处理，即，预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的复原滤波器的图像处理来消除摄影图像的点扩散。

若进行复原处理，则基本上可期待画质的提高，但有时通过进行复原处理反而会导致画质劣化。为了应对这种情况，提出有各种方法。

例如，专利文献1中公开有抑制不必要的摇晃校正处理的执行的摇晃校正装置。该校正装置从两张推断用图像推断校正対象图像中包含的摇晃的均匀性，根据该均匀性，利用PSF进行摇晃校正处理。

而且，若对饱和像素或散焦区域进行复原处理，则有时反而会导致画质劣化，还提出有应对因对饱和像素或散焦区域进行复原处理而产生的画质劣化的各种方法。

例如，专利文献2中，公开有抑制在对白化区域即包含饱和像素的区域进行复原处理时产生的噪声，从而减少摄像光学系统引起的画质劣化的图像处理装置。该图像处理装置根据曝光量的校正对已实施恢复处理的摄像数据进行增益调整。

并且，专利文献3中公开有设定散焦位置并参考与该散焦位置有关的信息来进行利用PSF的模糊校正的技术。

而且，针对对动态图像进行的点像复原处理，也提出有各种方法。

例如，专利文献4中公开有使用针对动态图像的PSF来进行复原处理的摄像装置。该摄像装置在对静态图像进行图像复原处理时使用第1滤波器，对动态图像进行图像复原处理时使用第2滤波器。

以往技术文献

专利文献

专利文献1：日本专利公开2009-171341号公报

专利文献2：日本专利公开2010-283527号公报

专利文献3：日本专利公开2012-65114号公报

专利文献4：日本专利公开2008-11492号公报

发明内容

发明要解决的技术课题

然而，对存在“摄影环境的急剧变化”的动态图像进行复原处理时，专利文献1至专利文献4中公开的技术中，根据每一帧的摄影环境改变复原处理的内容，因此有时复原处理的内容在帧之间产生较大差异。这种帧之间的复原处理内容的较大差异在要求图像的连续性的动态图像中，并不理想。

本发明是鉴于这种情况而完成的，其目的在于提供一种即使存在“摄影环境的急剧变化”时也能够维持帧之间的复原处理的连续性的同时获取画质良好的动态图像的图像处理装置、摄像装置、图像处理方法及程序。

用于解决技术课题的手段

本发明的一方式涉及一种图像处理装置，其具备：复原控制处理部，对通过利用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据，复原控制处理部根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息，控制对多个帧中的处理对象帧进行的复原处理。

根据本方式，根据参考帧的摄像信息进行对处理对象帧的复原处理。由此，本方式能够维持处理对象帧与参考帧之间的复原处理的连续性的同时获取画质良好的动态图像。

另外，“处理对象帧”是进行在复原控制处理部内执行的复原处理的对象的帧。

并且，“参考帧”是构成动态图像的多个帧中除了处理对象帧以外的帧，并且是至少包含在时序列上比处理对象帧靠后的帧的帧。另外，参考帧可以是单数也可以是复数。

优选参考帧包含在时序列上比处理对象帧更靠前的帧。

根据本方式，作为参考帧包含在时序列上比处理对象帧更靠前的帧，因此参考帧具有在时序列上靠前的帧及在时序列上靠后的帧。由此，本方式能够在处理对象帧的前后进行连续性更优异的复原处理。

优选参考帧包含在时序列上紧靠处理对象帧的前一帧及紧靠处理对象帧的后一帧。

根据本方式，根据在时序列上紧靠处理对象帧的前一帧及紧靠处理对象帧的后一帧中的摄像信息来调整复原处理的内容。由此，本方式能够在紧靠处理对象帧之前及紧靠处理对象帧之后进行连续性更良好的复原处理。

优选复原控制处理部根据参考帧的摄像信息及处理对象帧的摄像信息，控制对处理对象帧进行的复原处理。

根据本方式，根据参考帧及处理对象帧的摄像信息来调整复原处理的内容，因此本方式能够在处理对象帧与参考帧之间进行更具有连续性的复原处理。

优选摄像信息包含处理对象帧及参考帧的摄影条件信息。

根据本方式，根据处理对象帧及参考帧的摄影条件信息来调整复原处理的内容。由此，本方式中，即使在摄影条件信息在处理对象帧及参考帧之间发生较大变化时，也能够进行具有连续性的复原处理。

优选摄影条件信息包含光圈值及变焦倍率中的至少任一个。

根据本方式，根据光圈值或变焦倍率调整复原处理的内容。由此，本方式中，即使光圈值或变焦倍率急剧变化，也能够进行具有连续性的复原处理。

优选复原控制处理部根据处理对象帧及参考帧的摄影条件信息中频率最高的摄影条件，进行复原处理。

根据本方式，根据频率最高的摄影条件，稳定地调整复原处理的内容。由此，本方式中，与摄影条件相应的复原处理的内容变得稳定，能够进行具有连续性的复原处理。

优选复原处理包含使用基于点扩散函数的复原滤波器的滤波处理，复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理。

根据本方式，根据处理对象帧的复原滤波器及参考帧的复原滤波器，计算新的复原滤波器，并根据该新的复原滤波器执行复原处理。由此，本方式中，能够对处理对象帧进行更适当的复原处理，且能够在帧之间进行具有连续性的复原处理。

优选复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理。

根据本方式，通过对处理对象帧的复原滤波器与参考帧的复原滤波器进行加权平均，计算新的复原滤波器。由此，本方式能够根据各帧的重要度进行具有连续性的复原处理。并且，本方式中，即使被摄体移动时，也能够提供画质良好的动态图像。

优选复原控制处理部将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据根据通过将与处理对象帧的摄影条件信息对应的复原滤波器适用于处理对象帧来计算出的图像数据及通过将与参考帧的摄影条件信息对应的复原滤波器适用于参考帧来计算出的图像数据的加权平均计算。

根据本方式，将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据通过对处理对象帧进行复原处理来获得的图像数据及对参考帧进行复原处理来获得的图像数据的加权平均来获得。由此，本方式能够根据各帧的重要度进行具有连续性的复原处理。

优选图像处理装置具备检测动态图像的被摄体的移动的被摄体检测部，当通过被摄体检测部检测出的处理对象帧及参考帧中的被摄体的移动量为阈值以上时，复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理，当通过被摄体检测部检测出的处理对象帧及参考帧中的被摄体的移动量小于阈值时，复原控制处理部将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据根据通过将与处理对象帧的摄影条件信息对应的复原滤波器适用于处理对象帧来计算出的图像数据及通过将与参考帧的摄影条件信息对应的复原滤波器适用于参考帧来计算出的图像数据的加权平均计算。

根据本方式，根据被摄体的移动，将复原处理的内容分为如下情况：重新生成复原滤波器并进行复原处理，从而求出处理对象帧所涉及的恢复图像数据的情况；及通过处理对象帧的恢复图像数据与参考帧的恢复图像数据的加权平均，求出处理对象帧所涉及的恢复图像数据的情况。由此，本方式能够根据被摄体的移动进行良好的图像处理。

另外，“移动量”只要定量地表示动态图像中的被摄体像的移动，则并无特别限定，能够使用表示各种被摄体例如主要被摄体的移动的数值等。并且，“阈值”并无特别限定，能够根据移动量与本发明的图像处理之间的关系来适当确定。

优选摄像信息包含处理对象帧及参考帧的图像信息。

根据本方式，根据处理对象帧及参考帧的图像信息进行复原处理。由此，本方式能够根据图像信息进行具有连续性的复原处理。

优选图像信息包含处理对象帧及参考帧中是否包含饱和像素的信息、以及处理对象帧及参考帧中是否包含散焦区域的信息中的至少任一个。

根据本方式，根据有无饱和像素或散焦区域来调整复原处理的内容。由此，本方式中，即使在动态图像的中途产生饱和像素或散焦区域时，也能够进行连续性良好的复原处理。

优选图像信息包含处理对象帧及参考帧中是否包含饱和像素的信息，复原控制处理部判别参考帧中是否包含饱和像素，当判别为参考帧中包含饱和像素时，根据包含该饱和像素的参考帧的摄像信息，调整对处理对象帧进行的复原处理的复原强度。

根据本方式，当为具有包含饱和像素的帧的动态图像时，根据包含饱和像素的帧的摄像信息调整复原处理的复原强度。由此，本方式中，即使动态图像中存在饱和像素时，也能够进行具有连续性的复原处理。

优选复原控制处理部分析参考帧中的光源的闪烁状态，并根据光源的闪烁状态，调整对处理对象帧进行的复原处理的复原强度。

根据本方式，动态图像中存在闪烁光源时，根据该闪烁光源调整复原处理的复原强度。由此，本方式中，即使动态图像中存在闪烁光源时，也能够进行具有连续性的复原处理。

优选图像信息包含处理对象帧及参考帧中是否包含散焦区域的信息，复原控制处理部判别参考帧中是否包含散焦区域，当判别为参考帧中包含散焦区域时，根据包含该散焦区域的参考帧的摄像信息，调整对处理对象帧进行的复原处理的复原强度。

根据本方式，动态图像中存在散焦区域时，根据该动态图像调整复原处理的复原强度。由此，本方式中，即使动态图像中存在散焦区域时，也能够进行连续性良好的复原处理。

优选图像处理装置具备在动态图像中检测运动物体的运动物体检测部，当通过运动物体检测部在处理对象帧及参考帧中检测到运动物体时，复原控制处理部对处理对象帧进行基于反映出根据运动物体的移动的相位特性的点扩散函数的复原处理。

根据本方式，当为拍摄了运动物体的动态图像时，能够根据该运动物体的检测来进行复原处理。由此，本方式中，即使是拍摄了运动物体的动态图像，也能够进行画质良好的复原处理。

优选复原控制处理部具有：滤波器适用部，对动态图像的原图像数据适用基于光学系统的点扩散函数的复原滤波器来获取复原图像数据；及增益调整部，进行原图像数据与复原图像数据之间的差分的增幅率的调整，根据已进行该调整之后的差分及原图像数据获取动态图像的恢复图像数据，根据参考帧的摄影信息，调整复原滤波器及增幅率中的至少任一个，由此控制对处理对象帧进行的复原处理。

根据本方式，通过滤波器适用部及增益调整部进行复原处理的控制。由此，本方式中，能够通过复原滤波器的调整或增益的调整来进行复原处理的控制。

优选光学系统具有通过调制相位来扩大景深的透镜部。

根据本方式，对经由所谓的EDoF(ExtendedDepthofField(Focus))光学系统获得的原图像数据，也能够进行抑制画质劣化的复原处理。另外，调制透镜部中的相位的方法(光学相位调制机构)并无特别限定，还能够在透镜之间设置相位调制部，或使透镜本身(例如透镜的入射面和/或输出面)具有相位调制功能。

本发明的另一方式为涉及一种摄像装置的技术，所述摄像装置具备：通过使用光学系统进行的摄影获取动态图像的成像元件；及上述图像处理装置。

优选所述摄像装置具备显示即时预览图像的显示部，复原控制处理部对即时预览图像进行基于光学系统的点扩散函数的复原处理，对即时预览图像的复原处理中，不根据在时序列上在该处理对象帧之前或之后获取的帧的摄像信息而是根据该处理对象帧的摄像信息来控制对构成即时预览图像的多个帧中的处理对象帧进行的复原处理。

根据本方式，不对即时预览图像进行与参考帧的摄像信息相应的处理对象帧的复原处理，因此能够减少与图像处理相关的计算的负荷。由此，本方式能够获取响应性良好的即时预览图像。

优选摄像装置具备显示即时预览图像的显示部，复原控制处理部不对即时预览图像进行基于光学系统的点扩散函数的复原处理。

根据本方式，对即时预览图像不进行复原处理，因此能够减少与图像处理相关的计算的负荷。由此，本方式能够获取响应性良好的即时预览图像。

本发明的另一方式为涉及一种图像处理方法的技术，所述图像处理方法为对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据的方法，其中，图像处理方法根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息控制对多个帧中的处理对象帧进行的复原处理。

本发明的另一方式为涉及一种程序的技术，所述程序使计算机执行如下步骤，即，对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据，其中，程序执行如下动作：根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息控制对多个帧中的处理对象帧进行的复原处理。

发明效果

根据本发明，根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息，对控制进行复原处理的帧即处理对象帧的复原处理，因此即使动态图像中存在摄影环境的急剧变化，也能够从该变化的前阶段逐渐调整复原处理的内容，并能够抑制复原处理的内容的急剧变化来进行连续性良好的复原处理，并且通过复原处理抑制画质劣化。

附图说明

图1是表示连接于计算机的数码相机的概略的框图。

图2是表示相机主体控制器的功能结构例的框图。

图3是表示从图像摄影至点像复原处理的概略的图。

图4是表示点像复原处理的一例的概略的框图。

图5是表示第1实施方式中的图像处理部的功能结构的一例的框图。

图6是说明处理对象帧与参考帧的一例的图。

图7是说明由复原调整部进行的与复原处理内容的调整有关的例子的图。

图8是说明由复原调整部进行的与复原处理内容的调整有关的例子的图。

图9是表示确定最频值时的复原调整部的动作流程的图。

图10是说明通过对复原滤波器的系数进行加权平均来生成新的复原滤波器的情况的图。

图11是通过对复原滤波器的系数进行加权平均来生成新的复原滤波器时的复原调整部的动作流程图。

图12是通过对图像数据进行加权平均来获取恢复图像数据时的复原调整部的动作流程图。

图13是复原执行部的控制框图的一例。

图14是表示第2实施方式中的图像处理部的功能结构的一例的框图。

图15是说明第3实施方式中的根据图像信息的复原处理的图。

图16是表示第4实施方式中的图像处理部的功能结构的一例的框图。

图17是表示具备EDoF光学系统的摄像模块的一方式的框图。

图18是表示EDoF光学系统的一例的图。

图19是表示基于图17所示的复原处理块的复原处理流程的一例的图。

图20是表示经由EDoF光学系统获取的图像的复原例的图，(a)表示复原处理之前的模糊的图像，(b)表示复原处理之后的已消除模糊的图像(点像)。

图21是智能手机的外观图。

图22是表示图21所示的智能手机的结构的框图。

具体实施方式

参考附图对本发明的实施方式进行说明。以下说明中，作为一例，对将本发明适用于能够与计算机(PC：个人计算机)60连接的数码相机10(摄像装置)的例子进行说明。

另外，以下的例子中，对组合分开构成的光学系统12及相机主体14的透镜更换式数码相机10进行说明，但对光学系统12及相机主体14具有一体结构的透镜固定式的数码相机10，也能够进行相同的复原处理。并且，数码相机10可以是以动态图像摄影作为主要功能的摄像机，也可以是能够摄影静态图像及动态图像两者的摄像装置。

图1是表示连接于计算机60的数码相机10的概略的框图。

数码相机10具备可更换的光学系统12及具备成像元件26的相机主体14，光学系统12与相机主体14通过光学系统12的光学系统输入输出部22及相机主体14的相机主体输入输出部30而电连接。

光学系统12具备透镜16和光圈17等光学部件、及控制该光学部件的光学系统操作部18。光学系统操作部18包含连接于光学系统输入输出部22的光学系统控制器20、操作光学部件的驱动器(省略图示)。光学系统控制器20根据经由光学系统输入输出部22从相机主体14发送过来的控制信号，通过驱动器控制光学部件，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈量控制等。

成像元件26具有聚光用微透镜、RGB等滤色器及图像传感器(光电二极管；CMOS(ComplementaryMetalOxideSemiconductor)、CCD(ChargeCoupledDevice)等)。成像元件26将通过光学系统12捕捉的被摄体像的光转换为电信号，将图像信号(原图像数据)发送至相机主体控制器28的图像处理装置。

相机主体控制器28统一控制相机主体14，如图2所示，具有设备控制部34及图像处理部(图像处理装置)35。设备控制部34生成例如用于控制来自成像元件26的图像信号(图像数据)的输出或控制光学系统12的控制信号，并经由相机主体输入输出部30发送至光学系统12(光学系统控制器20)或者向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制数码相机10所具备的显示部33(EVF：ElectronicViewFinder、背面液晶显示部)等各种设备类。

图像处理部35可根据需要对来自成像元件26的图像信号进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、伽马转换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。而且，本例的图像处理部35包含对图像信号(原图像数据)进行基于光学系统12的点扩散函数的复原处理(点像复原处理)的复原控制处理部36。对于复原处理的详细内容将进行后述。

另外，图1所示的数码相机10具备摄影等中需要的其他设备类(快门等)，用户能够经由设置于相机主体14的用户界面37适当确定及变更用于摄影等的各种设定。用户界面37连接于相机主体控制器28(设备控制部34及图像处理部35)，通过来自用户的命令确定及变更的各种设定反映在相机主体控制器28中的各种处理。

在相机主体控制器28中经图像处理的图像数据发送至连接于输入输出接口32的计算机60等。从数码相机10(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为RAW、MPEG-4等任意格式。并且，在计算机60内进行以下说明的本发明的图像处理时，数码相机10中，例如在时序列上连续的多个滤波器被发送至计算机60，在计算机60的内部进行图像处理。

计算机60经由相机主体14的输入输出接口32及计算机输入输出部62与数码相机10连接，并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自数码相机10的图像数据进行图像处理，或进行与经由因特网70等网络线路与计算机输入输出部62连接的服务器80等的通信控制。

计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户一边确认显示器66的显示一边操作键盘等输入机构(省略图示)，从而能够向计算机控制器64输入数据和指令，由此控制计算机60，或控制与计算机60连接的设备类(数码相机10、服务器80)。

服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，经由因特网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制命令信号，与计算机控制器64协同动作，根据需要在与计算机控制器64之间进行数据类的收发，能够将数据类下载到计算机60，或通过进行运算处理而将其运算结果发送至计算机60。

各控制器(光学系统控制器20、相机主体控制器28、计算机控制器64及服务器控制器84)具备控制处理所需的电路类，例如具备运算处理电路(CPU等)或存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线的也可以是无线的。并且，可一体构成计算机60及服务器80，并且也可省略计算机60和/或服务器80。并且，也可以使数码相机10具有与服务器80的通信功能，由此在数码相机10与服务器80之间直接进行数据类的收发。

接着，对经由成像元件26获得的被摄体像的摄像数据(图像数据)的复原处理进行说明。

本例中，对在相机主体14(相机主体控制器28)中实施复原处理的例子进行说明，但也能够在其他控制器(光学系统控制器20、计算机控制器64、服务器控制器84等)中实施复原处理的全部或一部分。

复原处理是对通过利用光学系统12及成像元件26进行的摄影而获取的原图像数据，进行利用基于光学系统12的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据的处理。

图3是表示从图像摄影至复原处理的概略的图。将点像作为被摄体来进行摄影时，被摄体像经由光学系统12被成像元件26(图像传感器)受光，并从成像元件26输出原图像数据Do。由于因光学系统12的特性导致的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。

为了由该模糊图像的原图像数据Do复原原来的被摄体像(点像)，对原图像数据Do进行利用复原滤波器F的复原处理P10，由此获得表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据Dr。

根据与获取原图像数据Do时的摄影条件相应的光学系统12的点像信息(点扩散函数)，通过规定的复原滤波器计算算法P20获得复原处理P10中使用的复原滤波器F。图3中的符号α表示与摄影条件相应的点像信息，该光学系统12的点像信息即点扩散函数不仅会根据透镜16的种类而变动，还会根据光圈量、焦距、被摄体距离、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时，获取这些摄影条件。

图4是表示复原处理的一例的概略的框图。

如上述，复原处理(点像复原处理)P10为通过使用复原滤波器F进行的滤波处理来从原图像数据Do创建恢复图像数据Dr的处理，例如由N×M(N及M为2以上的整数)的抽头构成的实际空间上的复原滤波器F适用于处理对象的图像数据。由此，通过将分配给各抽头的滤波器系数和所对应的像素数据(原图像数据Do的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算复原处理之后的像素数据(恢复图像数据Dr)。通过依次替换对象像素来将使用了该复原滤波器F的加权平均处理适用于构成图像数据的所有像素数据，能够进行复原处理。图4中的符号β表示适用于处理对象像素数据的抽头(滤波器系数)。

另外，通过N×M的抽头构成的实际空间上的复原滤波器能够通过对频率空间上的复原滤波器进行傅里叶逆变换来导出。因此，通过确定成为基础的频率空间上的复原滤波器并指定实际空间上的复原滤波器的构成抽头数，能够适当计算实际空间上的复原滤波器。并且，成为复原处理的处理对象的原图像数据的种类并无特别限定，例如可以是颜色成分数据(RGB等颜色成分信号)，也可以是亮度数据。

上述复原处理还能够对连续摄影的多个图像(动态图像)进行。对动态图像进行复原处理时，对在时序列上连续的多个帧进行复原处理。

＜第1实施方式＞

图5是有关第1实施方式的动态图像的复原处理的功能框图，表示由图像处理部35(参考图2)构成的各种功能块。另外，图中的功能块无需一定要分开设置，可通过构成为一体的硬件和/或软件实现多个功能块。

图像处理部35包含缓冲存储器部41及复原控制处理部36，复原控制处理部36包含复原调整部43及复原执行部45。并且，缓冲存储器部41及复原控制处理部36(复原调整部43及复原执行部45)能够相互进行数据通信。

缓冲存储器部41临时保存摄影条件信息，所述摄影条件信息表示通过利用光学系统12及成像元件26进行的摄影而获取的、在时序列上连续的多个帧的图像数据及拍摄各帧时的摄影条件(光圈值、焦距、被摄体距离等)。并且，在图像处理部35中，对保存在缓冲存储器部41的图像数据进行各种处理。作为缓冲存储器部41，例如使用RAM(RandomAccessMemory)。另外，将每一帧的图像信息(图像数据)及摄影条件信息称为该帧的摄影信息。

复原调整部43对在复原执行部45中进行的复原处理的内容进行调整。即，复原调整部43根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息控制对处理对象帧进行的复原处理。在此，“处理对象帧”是进行复原处理的帧，“参考帧”是获得与处理对象帧的复原处理内容的调整有关的信息的帧。并且，“复原处理的内容”是指影响复原处理效果的内容，例如指复原滤波器的滤波器系数或与增益有关的系数。

图6是说明“处理对象帧”及“参考帧”的图。

拍摄动态图像时，经由光学系统12及成像元件26以规定帧速率连续拍摄被摄体，获取由在时序列上连续的多个帧构成的动态图像的图像数据。在此，帧速率是帧速率为单位时间的帧数(图像数、慧形象数)，通常通过在一秒内生成的帧数(单位：fps(framepersecond))表示。例如，本方式的数码相机10中，帧速率为30fps时，在一秒内生成30张图像，帧速率为60fps时，在一秒内生成60张图像。

并且，动态图像由在时序列上连续的多个帧构成，例如为包含记录动态图像、即时预览图像的含义。

图6表示对在时间t拍摄的帧(t)进行复原处理的情况。此时，帧(t)成为处理对象帧。并且，在时间t-1拍摄的帧(t-1)、在时间t-2拍摄的帧(t-2)及在时间t-3拍摄的帧(t-3)为在时序列上比处理对象帧更靠前的帧。并且，在时间t+1拍摄的帧(t+1)、在时间t+2拍摄的帧(t+2)及在时间t+3拍摄的帧(t+3)为在时序列上比处理对象帧更靠后的帧。另外，图6中为了便于说明，仅记载了3帧相对于处理对象帧在时序列上靠前的帧及3帧在时序列上靠后的帧，但实际上，根据摄影时间，存在多个帧。

参考帧至少包含1帧在时序列上比处理对象帧(帧(t))更靠后的帧即可。并且，参考帧可以是单数也可以是复数。例如，参考帧为单数时，在时序列上比处理对象帧(帧(t))更靠后的帧即帧(t+1)被选为参考帧。并且，例如参考帧为多个时，选择在时序列上比处理对象帧(帧(t))更靠后的帧即帧(t+1)及在时序列上比处理对象帧(帧(t))更靠前的帧即帧(t+1)。

图6中，帧(t-1)为在时序列上紧靠处理对象帧的前一帧，帧(t+1)为在时序列上紧靠处理对象帧的后一帧。可将这种前一帧(帧(t-1))或后一帧(帧(t+1))选作参考帧。

作为从在时序列上连续的多个帧中选择参考帧的方法可使用各种方法。例如，作为选择参考帧的方法，考虑预先通过用户界面37指定用户选择参考帧的方法的方法。并且，例如可预先确定选择参考帧的方法。

复原调整部43根据参考帧的摄像信息对处理对象帧的复原处理的内容进行调整。复原调整部43为了在帧之间实现具有连续性的复原处理，通过各种方法并根据参考帧的摄像信息调整复原处理的内容。

而且，复原调整部43能够根据参考帧的摄像信息及处理对象帧的摄像信息，对处理对象帧的复原处理的内容进行调整。通过根据处理对象帧的摄像信息及参考帧的摄像信息进行处理对象帧的复原处理，能够在处理对象帧与参考帧之间进行具有连续性的复原处理，且还能够进行适于处理对象帧的复原处理。

接着，通过具体例对由复原调整部43进行的与复原处理的内容有关的调整的方法进行说明。

复原调整部43能够根据参考帧的摄像信息的最频值调整复原处理的内容。

图7表示在图6中进行说明的帧(t-3)至帧(t+3)的每一个中，作为摄影条件信息(摄像信息)添加光圈值(F值)的情况。具体而言，图7所示的情况下，帧(t-3)以光圈值F2拍摄，帧(t-2)以光圈值F2拍摄，帧(t-1)以光圈值F2拍摄，帧(t)以光圈值F2.8拍摄，帧(t+1)以光圈值F2拍摄，帧(t+2)以光圈值F2拍摄，帧(t+3)以光圈值F2拍摄。

对将处理对象帧作为帧(t-1)，将参考帧作为帧(t-3)、帧(t-2)、帧(t)及帧(t+1)的情况进行说明。此时，帧(t-3)、帧(t-2)、帧(t-1)及帧(t+1)以F2的光圈值拍摄，帧(t)以F2.8的光圈值拍摄。因此，在处理对象帧及参考帧中，作为摄影条件信息的光圈值的最频值为F2。如此一来，对处理对象帧(帧(t-1))进行复原处理时，使用以F2的光圈值拍摄的帧用的复原滤波器。

同样地，将处理对象帧作为帧(t)、帧(t+1)时，包含处理对象帧的前后5帧的光圈值的最频值也是F2，对任一处理对象帧，均使用以F2的光圈值拍摄的帧用的复原滤波器。

并且，图8表示选择另一参考帧的例子。帧(t-3)以光圈值F2拍摄，帧(t-2)以光圈值F2拍摄，帧(t-1)以光圈值F2拍摄，帧(t)以光圈值F2.8拍摄，帧(t+1)以光圈值F1.4拍摄，帧(t+2)以光圈值F1.4拍摄，帧(t+3)以光圈值F1.4拍摄。

将帧(t-2)、帧(t-1)、帧(t+1)及帧(t+2)作为参考帧，将帧(t)作为处理对象帧时，帧(t-2)及帧(t-1)以F2的光圈值拍摄，帧(t+1)及帧(t-2)以F1.4的光圈值拍摄，因此摄影条件信息的最频值为光圈值F2及光圈值F1.4这两个。此时，处理对象帧的摄影条件信息为光圈值F2.8，因此处理对象帧的摄影条件信息不符合最频值，因此采用在时序列上的处理对象帧之后的参考帧所具有的摄影条件信息的最频值(此时为光圈值F1.4)。

并且，将帧(t-1)及帧(t+3)作为参考帧时，摄影条件信息的最频值有F2及F1.4这两个，但帧(t-1)在时序列上比帧(t+3)更靠近处理对象帧，因此采用作为帧(t-1)的摄影条件信息的光圈值F2作为最频值。

图9是表示复原调整部43确定参考帧的摄影条件信息(摄像信息)的最频值的动作流程的图。

首先，复原调整部43获取处理对象帧的摄影条件信息(步骤S10)。之后，复原调整部43获取参考帧的摄影条件信息(步骤S12)。另外，复原调整部43能够通过各种方法获取处理对象帧的摄影条件信息，例如，复原调整部43能够从设备控制部34获取处理对象帧的摄影条件信息。并且，复原调整部43提取参考帧的摄影条件信息中的最频值(步骤S14)。并且，复原调整部43判断最频值为单数还是复数，当最频值为一个时(步骤S16的否时)，采用最频值的摄影条件(步骤S18)，调整复原处理的内容。

另一方面，最频值有多个时(步骤S16的是时)，判断多个最频值中的一个是否为处理对象帧的摄影条件信息。并且，多个最频值中的一个不是处理对象帧的摄影条件信息时(步骤S20的否时)，复原调整部43选择多个最频值中在时序列上靠近处理对象帧的帧的最频值(步骤S22)。并且，复原调整部43在多个最频值中的所有最频值均在时序列上与处理对象帧相同间隔时，选择包含在时序列上比处理对象帧更靠前的帧的最频值(步骤S22)。如此，通过选择包含在时序列上比处理对象帧更靠前的帧的最频值，时序列上的连续性变得良好。

另一方面，多个最频值中的一个为处理对象帧的摄影条件信息时(步骤S20的是时)，复原调整部43采用处理对象帧的摄影条件信息作为最频值(步骤S24)。之后，对下一处理对象帧进行处理。

接着，通过具体例对由复原调整部43进行的与复原处理的内容有关的调整的其他方法进行说明。

复原调整部43可根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器，获取新的复原滤波器。复原调整部43可通过各种方法，从与处理对象帧的摄影条件信息对应的滤波器及与参考帧的摄影条件信息对应的滤波器获取新的复原滤波器。

图10是说明通过与处理对象帧的摄影条件信息对应的帧及与参考帧的摄影条件信息对应的帧的加权平均来求出新的复原滤波器的图。

图10(A)表示与图6中进行说明的帧(t-1)的摄影条件对应的静态图像用的复原滤波器及滤波器系数。并且，图10(B)表示与图6中进行说明的帧(t)的摄影条件对应的静态图像用的复原滤波器及滤波器系数。图10(C)表示与图6中进行说明的帧(t+1)的摄影条件对应的静态图像用的复原滤波器及滤波器系数。

并且，对图10(A)的复原滤波器系数进行W(t-1)的加权，对图10(B)的复原滤波器系数进行W(t)的复原滤波器系数的W(t)的加权，对图10(C)的复原滤波器系数进行W(t+1)的加权。另外，该加权可任意设定，例如W(t)与处理对象帧对应，因此能够将W(t)的系数设定为大于与其他参考帧对应的W(t-1)及W(t+1)。并且，W(t)、W(t-1)及W(t+1)可由用户通过用户界面37设定，也可预先设定。

图10(D)表示在处理对象帧的复原处理中使用的动态图像用的复原滤波器及复原滤波器系数。该动态图像用的复原滤波器及复原滤波器系数表示根据与处理对象帧的摄影条件信息对应的复原滤波器系数及与参考帧的摄影条件信息对应的复原滤波器系数的加权平均计算出的复原滤波器系数。具体而言，复原调整部43中，图10(A)所示的复原滤波器系数乘以W(t+1)，图10(B)所示的复原滤波器系数乘以W(t+1)，图10(C)所示的复原滤波器系数乘以W(t-1)，由此进行加权平均，生成具有图10(D)所示的动态图像用的滤波器系数的复原滤波器(动态图像用复原滤波器)。并且，复原执行部45使用所生成的复原滤波器(图10(D))来对处理对象帧进行复原处理。

图11是表示由复原调整部43根据处理对象帧的复原滤波器及参考帧的复原滤波器获取新的滤波器时的复原调整部43的动作流程的图。

首先，复原调整部43获取与处理对象帧的摄影条件信息相应的静态图像用的滤波器系数(步骤S30)。并且，复原调整部43获取与参考帧的摄影条件信息相应的静态图像用的滤波器系数(步骤S32)。另外，复原调整部43预先保持与各摄影条件信息相应的多个滤波器，复原调整部43能够根据需要获取滤波器系数或滤波器。

之后，复原调整部43进行与处理对象帧的摄影条件信息相应的静态图像用的滤波器系数及与参考帧的摄影条件信息相应的静态图像用的滤波器系数的加权平均，获取动态图像用滤波器系数(步骤S34)。并且，复原执行部45通过基于所获取的动态图像用滤波器系数的复原滤波器来对处理对象帧进行复原处理(步骤S36)。之后，获取下一处理对象帧的摄影条件信息中的静态图像用滤波器系数。

上述图10及图11的情况下，对静态图像用滤波器系数进行加权平均来求出动态图像用滤波器系数，通过基于该动态图像用滤波器系数的复原滤波器，对处理对象帧进行复原处理。(式1)是表示图10及图11中进行说明的复原处理的式。Ave表示加权平均，K(t)表示时间t中的静态图像用滤波器系数，Val(t)表示时间t中的图像数据，*表示卷积积分(Convolution)。

(式1)

处理对象帧的恢复图像数据＝Ave(K(t+1)、K(t)、K(t-1))*Val(t)

上述方式中，通过处理对象帧的静态图像用滤波器系数与参考帧的静态图像用滤波器系数的加权平均重新获取动态图像用滤波器系数，并使用该动态图像用滤波器系数来对处理对象帧进行复原处理。由此，上述方式中，能够进行与帧的重要度相应的连续性良好的动态图像的图像处理。并且，上述方式中，即使是被摄体移动的动态图像，也能够进行良好的图像处理。

另一方面，复原调整部43通过如图12所示的处理，也能够对处理对象帧进行利用加权平均的复原处理。

图12是表示复原调整部43根据通过对处理对象帧进行复原处理来获取的图像数据及通过对参考帧进行复原处理来获取的图像数据，获取处理对象帧的恢复图像数据时的复原调整部43的动作流程的图。

首先，复原执行部45通过与处理对象帧的摄影条件信息相应的静态图像用滤波器对处理对象帧执行复原处理，复原调整部43获取图像数据(步骤S40)。之后，复原执行部45通过与参考帧的摄影条件信息相应的静态图像用滤波器对参考帧执行复原处理，复原调整部43获取图像数据(步骤S42)。之后，复原调整部43通过对与处理对象帧对应的恢复图像数据及与参考帧对应的恢复图像数据进行加权平均，能够获取处理对象帧所涉及的利用加权平均的恢复图像数据(步骤S44)。式2是表示该复原处理的式。

(式2)

处理对象帧的恢复图像数据＝Ave(Val(t+1)K*(t+1)、Val(t)*K(t)、Val(t-1)*K(t-1))

上述方式中，对与处理对象帧对应的恢复图像数据及与参考帧对应的恢复图像数据进行加权平均，将该恢复图像数据作为处理对象帧的恢复图像数据。由此，上述方式中，能够进行与帧的重要度相应的连续性良好的动态图像的图像处理。

图13是表示复原执行部45中的复原处理例的控制框图。

首先，复原滤波器F适用于原图像数据Do(滤波器适用处理P_f)(滤波器适用部)，从而计算复原图像数据Dr1。适用于原图像数据Do的复原滤波器F只要是基于光学系统12(透镜16、光圈17等)的点扩散函数(PSF、OTF、MTF、PTF等)的滤波器，则并无特别限定，可以是实际空间滤波器也可以是频率空间滤波器。

之后，导出复原处理前后的图像数据的差分(差分导出处理P_d)，进行对该差分的增幅率(复原增益)的调整(增益调整处理P_g)(增益调整部)。即，差分导出处理P_d中，计算出经滤波器适用处理P_f的复原图像数据Dr1与原图像数据Do之间的差分数据ΔD(ΔD＝Dr1-Do)。并且，增益调整处理P_g中，通过调整该差分数据ΔD的增幅率(复原增益)G来计算增幅率调整后差值(G×ΔD)，并对该增幅率调整后差值(G×ΔD)与原图像数据Do进行加法运算处理Pa来计算恢复图像数据Dr2(Dr2＝Do+G×ΔD)。另外，作为复原处理，可采用与上述方法相同的其他方法，例如可设为如下处理。复原滤波器F被适用于原图像数据Do(滤波器适用处理P_f)，从而计算出复原图像数据Dr1。之后，可作为增益调整处理P_g对该复原图像数据Dr1进行增幅率(复原增益)G的调整(Dr1×G)，对该值与原图像数据Do乘以(1-G)的值进行加法运算处理Pa来计算出恢复图像数据Dr2。

如此，基于复原处理的复原强度根据滤波器适用处理P_f中的复原滤波器(滤波器系数)与增益调整处理P_g中的增幅率(复原增益)G发生变动。因此，复原处理的复原强度的调整可通过“在滤波器适用处理P_f中使用的复原滤波器(滤波器系数)的切换”和/或“增益调整处理P_g中的增幅率(复原增益)G的变更”来执行。

因此，复原执行部45能够通过调节复原滤波器F的滤波器系数或调节复原增益G来调节复原处理的复原强度。

另外，也可不对即时预览图像实施根据参考帧的摄像信息对处理对象帧进行的复原处理。即，复原调整部43也可将对构成即时预览图像的多个帧中的处理对象帧的复原处理控制成如下，即，不根据参考帧的摄像信息而是根据该处理对象帧的摄像信息进行复原处理。

即时预览显示是要求接近实时的显示的功能，因此通常尤其希望与参考在时序列上靠后摄影的参考帧的摄影信息来控制复原处理相比更优先即时的显示，并且显示对被摄体的变化的响应较好的动态图像。另一方面，记录动态图像中，由于在之后播放确认所记录的动态图像，不要求接近实时的显示，而是希望将连续性良好的画质的获取放在优先地位，因此还参考在时序列上至少靠后的参考帧的摄影信息来控制复原处理即可。

并且，复原调整部43能够不对即时预览图像进行基于光学系统的点扩散函数的复原处理，而是仅对记录动态图像进行上述复原处理。由此，进而即时预览图像能够获得相对于被摄体的变化的响应较好的动态图像。

如以上说明，上述第1实施方式根据参考帧的摄像信息进行对处理对象帧进行的复原处理。由此，即使存在“摄影环境的急剧变化”时，也能够维持帧之间的复原处理的连续性，并且获取画质良好的动态图像。

＜第2实施方式＞

本实施方式中，根据被摄体的移动改变复原处理的处理内容，由此即使是被摄体移动的动态图像，也能够进行更适当的复原处理。

本实施方式中，对与上述第1实施方式相同的结构及作用，省略说明。

图14是有关第2实施方式的复原处理的功能框图，表示由图像处理部35(参考图2)构成的各种功能块。

图像处理部35包含缓冲存储器部41、复原控制处理部36及被摄体检测部47，缓冲存储器部41、复原控制处理部36及被摄体检测部47能够相互进行数据通信。

被摄体检测部47在由时序列上连续的多个帧构成的动态图像中检测被摄体(主要被摄体)的移动。即，被摄体检测部47从临时保存于缓冲存储器部41的图像数据检测被摄体的移动且检测该移动量是否为阈值以上或该移动量是否小于阈值。

能够通过各种方法进行由被摄体检测部47进行的被摄体的移动的检测，例如，被摄体检测部47能够通过分析动态图像来检测被摄体的移动。并且，移动量只要定量地表示动态图像中的被摄体像的移动，则并无特别限定。例如，可将被摄体在规定的时间(例如，每一帧)内移动的像素数作为移动量。此时，阈值例如能够设为图像的短边的四分之一的像素数。

复原调整部43从被摄体检测部47获取与被摄体的移动有关的信息，根据所获取的与被摄体的移动有关的信息，改变处理对象帧的复原处理。具体而言，当被摄体的移动量为阈值以上时，复原调整部43使用根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器的加权平均计算出的滤波器来进行复原处理(参考图10及图11)。并且，被摄体的移动量小于阈值时，复原调整部43将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据根据将与处理对象帧的摄影条件信息对应的复原滤波器适用于处理对象帧来计算出的图像数据及将与参考帧的摄影条件信息对应的复原滤波器适用于参考帧来计算出的图像数据的加权平均计算(参考图12)。

如以上说明，上述第2实施方式中，根据被摄体的移动将复原处理的内容分为：重新生成复原滤波器并进行复原处理，从而求出处理对象帧所涉及的恢复图像数据的情况；及通过处理对象帧的恢复图像数据与参考帧的恢复图像数据的加权平均来求出处理对象帧所涉及的恢复图像数据的情况。由此，本方式中，即使是被摄体移动的动态图像，也能够根据被摄体的移动进行良好的图像处理。

＜第3实施方式＞

本实施方式中，复原调整部43根据处理对象帧及参考帧的图像信息进行复原处理的调整。

本实施方式中，对与上述第1实施方式相同的结构及作用，省略说明。在此，不适于复原处理的区域Q是指具有若进行复原处理则反而会导致画质劣化的特性的区域。例如，不适于复原处理的区域Q为散焦(未对焦于被摄体)区域。即，若对散焦区域进行复原处理，则反而会导致画质劣化，因此散焦区域为不适于复原处理的区域Q。

并且，作为不适于复原处理的区域Q，例如可举出检测出饱和像素的区域。即，若对检测出饱和像素的区域进行复原处理，则会导致振铃的产生，反而会导致动态图像的画质劣化。

复原调整部43分析作为摄像信息而临时保存于缓冲存储器部41的在时序列上连续的多个帧的图像，从而获取图像信息。具体而言，复原调整部43通过对动态图像进行图像分析，获取处理对象帧及参考帧中是否包含饱和像素的信息和/或处理对象帧及参考帧中是否包含散焦区域的信息。换言之，复原调整部43通过动态图像分析进行处理对象帧及参考帧中是否包含饱和像素或、和/或处理对象帧及参考帧中是否包含散焦区域的判别。

处理对象帧及参考帧中是否包含饱和像素的信息的获取方法并无特别限定，例如，复原调整部43能够根据测光值或图像数据的峰值进行饱和像素的检测。并且，处理对象帧及参考帧中是否包含散焦区域的信息的获取方法并无特别限定，例如，复原调整部43可根据AF(自动聚焦)的评价值进行散焦区域的检测。

图15表示在上述图6中进行说明的情况下，在时间t+1的帧(t+1)、时间t+2的帧(t+2)及时间t+3的帧(t+3)中存在不适于复原处理的区域Q的情况。

图15中，对作为处理对象帧选择帧(t)，作为参考帧选择在时序列上比处理对象帧更靠后的帧即帧(t+1)的情况进行说明。

不考虑复原处理的连续性而进行图像处理时，帧(t)中未检测到不适于复原处理的区域Q，因此进行通常的复原处理。即，进行不存在不适于复原处理的区域Q时的复原处理。另一方面，帧(t+1)中有存在不适于复原处理的区域Q的区域(图15中的Q)，因此使用具有不适于复原处理的区域时的复原滤波器来对帧(t+1)进行复原处理。如此一来，在帧(t)与帧(t+1)之间，在复原处理中使用的复原滤波器不同，因此导致在复原处理中产生急剧变化，有时会降低复原处理的连续性。

并且，本方式中，当判断为不适于复原处理的区域Q存在于处理对象帧及参考帧的至少任一个时，复原调整部43调整为根据参考帧的摄像信息(图像信息)来对处理对象帧进行复原处理。

具体而言，图15所示的情况下，若判断为帧(t+1)(参考帧)中包含不适于复原处理的区域Q，则复原调整部43对在帧(t)(处理对象帧)中使用的通常的复原滤波器的滤波器系数与在帧(t+1)(参考帧)中使用的具有不适于复原处理的区域时的复原滤波器的滤波器系数进行混合，由此重新生成复原滤波器。并且，复原执行部45使用该生成的复原滤波器对处理对象帧进行复原处理。由此，能够抑制处理对象帧与参考帧之间的复原处理的内容的变化，并且适当地进行复原处理。

在此，作为复原滤波器系数的混合方法，能够采用各种方法，例如能够通过对复原滤波器的系数进行加权平均来求出新的滤波器系数。

并且，参考帧中包含不适于复原处理的区域Q时，还能够根据包含该不适于复原处理的区域Q的参考帧的摄像信息，调整对处理对象帧进行的复原处理的复原强度。

不考虑复原处理的连续性而进行图像处理时，对包含不适于复原处理的区域Q的帧，减弱复原处理的复原强度，对不包含不适于复原处理的区域Q的帧，通过通常的强度进行复原处理。但是，这种复原处理中，在包含不适于复原处理的区域Q的帧与不包含不适于复原处理的区域Q的帧之间，产生复原处理的复原强度的差异，在重视连续性的动态图像中并不理想。

并且，图15所示的情况下，本方式中，判断为帧(t+1)即参考帧中包含不适于复原处理的区域Q，复原调整部43调整帧(t)即处理对象帧的复原处理的复原强度。由此，本方式中，能够抑制处理对象帧与参考帧之间的复原处理的复原强度的差异，并且抑制复原处理引起的画质劣化。

并且，当在参考帧中通过图像分析检测到闪烁光源时，复原调整部43根据光源的闪烁状态来调整处理对象帧的复原处理。即，在打开闪烁光源时及关闭闪烁光源时，复原处理的处理内容发生变化，因此抑制其变化来进行具有连续性的复原处理。

例如，复原调整部43可分析闪烁光源的闪烁状态来调整复原处理的复原强度。并且，复原调整部43能够根据打开光源的帧(例如，参考帧)中使用的复原滤波器及关闭光源的帧(例如，处理对象帧)中使用的复原滤波器，获取处理对象帧的复原滤波器。

并且，当在参考帧中通过图像分析检测到恒定光源(例如，太阳)的入镜、出镜(framein、frameout)时，复原调整部43根据该恒定光源的出入镜来调整处理对象帧的复原处理。即，在恒定光源入镜前后或出镜前后，复原处理的内容发生变化，因此抑制该变化来进行具有连续性的复原处理。

例如，复原调整部43也可根据该恒定光源的出入镜，调整复原处理的复原强度。并且，复原调整部43能够根据恒定光源入镜之前的帧(例如，参考帧)中使用的复原滤波器及恒定光源入镜之后的帧(例如，处理对象帧)中使用的复原滤波器，获取处理对象帧的复原滤波器。

如以上说明，上述第3实施方式根据参考帧的图像信息，改变处理对象帧的复原处理的内容。由此，第3实施方式能够维持复原处理的内容的连续性的同时抑制复原处理引起的画质劣化。

＜第4实施方式＞

本实施方式中，通过运动物体检测部49在动态图像内检测到移动的物体(运动物体)时，复原调整部43改变复原处理的内容。

本实施方式中，对与上述第1实施方式相同的结构及作用，省略说明。

图16是有关第4实施方式的复原处理的功能框图，表示由图像处理部35(参考图2)构成的各种功能块。

图像处理部35包含缓冲存储器部41、复原控制处理部36及运动物体检测部49，缓冲存储器部41、复原控制处理部36及运动物体检测部49能够相互进行数据通信。

运动物体检测部49在临时保存于缓冲存储器部41的、由在时序列上连续的多个帧构成的动态图像中检测运动物体。并且，运动物体检测部49将在处理对象帧及参考帧中检测到运动物体的内容的信息发送至复原调整部43。作为运动物体检测部49的运动物体检测方法，可采用各种方法。例如，运动物体检测部49能够通过对保存于缓冲存储器部41的动态图像进行图像分析来检测运动物体。另外，运动物体检测部49不仅能够检测主要被摄体的移动，还能够检测背景等非主要被摄体的移动。

复原调整部43从运动物体检测部49获取在处理对象帧及参考帧中存在运动物体的信息。并且，复原调整部43根据该信息，对处理对象帧进行基于反映出与运动物体的移动相应的相位特性的点扩散函数的复原处理。

另外，基于反映出与运动物体的移动相应的相位特性的点扩散函数的复原处理是使用对点扩散函数(PSF)进行傅里叶变换的结果的光学传递函数(OTF：Opticaltransferfunction)的相位成分即相位传递函数(PTF：PhaseTransferFunction)来进行的复原处理。并且，将光学传递函数的振幅成分称为调制传递函数(ModulationTransferFunction)。

另一方面，复原调整部43在从运动物体检测部49获取到处理对象帧及参考帧中不存在运动物体的信息时，进行基于点扩散函数的复原处理。此时，可进行基于反映出振幅特性及相位特性的点扩散函数的复原处理，也可进行基于仅反映出振幅特性的点扩散函数的复原处理。

如以上说明，上述第4实施方式中，在处理对象帧及参考帧中检测到运动物体时，根据该运动物体，利用与运动物体的移动相应的相位特性来进行复原处理。由此，对运动物体也能够适当进行复原处理。

＜其他实施方式＞

本发明还包含通过上述图像处理装置及摄像装置进行的图像处理方法。

并且，本发明还包含在计算机中执行上述图像处理的程序。另外，本发明还包含记录有程序代码的存储介质。

作为用于供给程序代码的存储介质，例如可使用软盘(注册商标)、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

并且，前述的实施方式的功能可通过计算机执行所读出的程序来实现。并且，该程序的执行还包含根据该程序的命令，由在计算机上运行的OS等进行实际处理的一部分或全部的情况。

＜在EDoF系统中的适用例＞

上述实施方式中的复原处理是通过根据特定的摄影条件信息(例如，光圈值、F值、焦距、透镜种类、变焦倍率等)对点扩散(点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对于针对通过具有被扩大的景深(焦深)(EDoF：ExtendedDepthofField(Focus))的光学系统(摄影透镜等)摄影获取的图像数据的复原处理，也能够适用本发明所涉及的复原处理。对通过EDoF光学系统在景深(焦深)被扩大的状态下摄影获取的模糊图像的图像数据进行复原处理，从而能够在广范围内复原生成对焦状态的高分辨率的图像数据。此时，进行利用复原滤波器的复原处理，所述滤波器为基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器，且具有设定成能够在被扩大的景深(焦深)范围内进行良好的图像复原的滤波器系数。

以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对从去马赛克处理之后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理的例子进行说明，但进行复原处理的时刻并无特别限定，例如可对“去马赛克处理之前的图像数据(马赛克图像数据)”或“去马赛克处理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)”进行复原处理。

图17是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、成像元件112、AD转换部114及复原处理块(图像处理部35)120。

图18是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111是调制相位的要件，其使EDoF光学系统110(摄影透镜110A)进行EDoF化，以获得被扩大的景深(焦深)(EDoF)。如此，摄影透镜110A及滤光器111构成通过调制相位来扩大景深的透镜部。

另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，可代替设置滤光器111，通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。

即，通过使成像元件112向受光面的成像的波面发生变化的各种机构，能够实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(波面调制混合式透镜或在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅对于能够通过光波面调制元件(滤光器111(相位板))形成规则地分散的图像的情况，而且对于不使用光波面调制元件而可通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况，也能够应用本发明。

图18所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。

通过被EDoF化的EDoF光学系统110之后的光学图像成像于图17所示的成像元件112，在此转换成电信号。

成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到成像元件112的受光面的光学图像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，蓄积在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)，被依次输出。

AD转换部114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被添加在复原处理块120。

复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件的每一个相对应的暗电流量获取用信号的平均，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均，由此进行黑电平调整。

白平衡增益部123进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益相应的增益调整。

伽马处理部124进行以使已被白平衡调整的R、G、B图像信号成为所希望的伽马特性的方式进行半色调等灰度校正的伽马校正。

去马赛克处理部125对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B的图像信号实施颜色插值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B的图像信号中的任一个，但在颜色去马赛克处理之后，会输出与各受光像素相对应的R、G、B信号的3个像素信号组。

RGB/YCrCb转换部126将已进行去马赛克处理的每个像素的R、G、B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器111相对应的滤波器被存储于未图示的存储器(例如附带设置有Y信号复原处理部127的存储器)。并且，反卷积核的核尺寸并不限于7×7。

接着，对基于复原处理块120的复原处理进行说明。图19是表示基于图17所示的复原处理块120的复原处理流程的一例的图。

对于黑电平调整部122的一输入中，从AD转换部114添加数字图像信号，对另一输入添加有黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将被减去黑电平数据的数字图像信号输出至白平衡增益部123(步骤S50)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。

对黑电平调整之后的图像数据依次实施通过白平衡增益部123、伽马处理部124进行的处理(步骤S52及步骤S54)。

被伽马校正的R、G、B信号在去马赛克处理部125中被去马赛克处理之后，在RGB/YCrCb转换部126中转换成亮度信号Y和色度信号Cr、Cb(步骤S56)。

Y信号复原处理部127进行对亮度信号Y施以EDoF光学系统110的滤光器111的相位调制量的反卷积处理的复原处理(步骤S58)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)、与预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每个像素组的反卷积处理，由此进行消除整个图像的图像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置而设定。即，在接近的像素组中适用共同的复原滤波器。为了进一步简化复原处理，优选对所有像素组适用共同的复原滤波器。

如图20(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学图像)作为较大的点像(模糊的图像)而成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理，如图20(b)所示那样，复原成较小的点像(高分辨率的图像)。

如上所述，通过对去马赛克处理之后的亮度信号施以复原处理，RGB无需分别具有复原处理的参数，能够使复原处理高速化。并且，并不是将与位于分散位置的R、G、B像素相对应的R、G、B图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上，即使不通过复原处理来提高分辨率，在画质上也是可以接受的。并且，以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。

对于如以上说明的EDoF系统的复原处理，也能够适用上述实施方式所涉及的点像复原处理。

并且，能够适用本发明的方式并不限定于数码相机10、计算机60及服务器80，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够适用本发明。作为能够适用本发明的其他方式，例如，可举出具有相机功能的移动电话和智能手机、PDA(PersonalDigitalAssistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图21是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图21所示的智能手机201具有平板状框体202，在框体202的一侧的面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图22是表示图21所示的智能手机201的结构的框图。如图22所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(GlobalPositioningSystem)接收部270、动作传感器部280、电源部290及主控制部200(包含上述相机主体控制器28)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。

显示输入部220是所谓的触摸面板，其具备显示面板221及操作面板222，所述显示输入部通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。

显示面板221是将LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图21所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定要使两者一致。并且，操作面板222可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。

通话部230具备扬声器231和麦克风232，且将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200、或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图21所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风232搭载于框体202的侧面。

操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图21所示，操作部240搭载于智能手机201的框体202的侧面，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部250存储主控制部200的控制程序和控制数据、应用软件、对通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、及已下载的内容数据，并且临时存储流数据等。并且，存储部250由内置于智能手机的内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)等存储介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由语音/视频I/O(Input/Output)端子连接的外部语音/视频设备、无线连接的外部语音/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。

GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行测位运算处理，检测包括智能手机201的纬度、经度、高度的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果输出至主控制部200。

电源部290根据主控制部200的命令，向智能手机201的各部供给蓄积在电池(未图示)中的电力。

主控制部200具备微处理器，且根据存储部250所存储的控制程序或控制数据进行动作，统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行音频通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部200具备根据所接收的数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法落入显示面板221的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触摸面板控制功能。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部241是使用CMOS(ComplementaryMetalOxideSemiconductor)或CCD(Charge-CoupledDevice)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过摄像获得的图像数据转换成例如JPEG(JointPhotographiccodingExpertsGroup)等压缩的图像数据，并记录于存储部250，或者能够通过外部输入输出部260和无线通信部210输出。图21所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换用于进行摄影的相机部241来单独摄影、或者同时使用多个相机部241来进行摄影。

并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示通过相机部241获取的图像，或者作为操作面板222的操作输入之一利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)、或通过动作传感器部280获取的姿势信息等等来记录于存储部250，或者还能够通过外部输入输出部260或无线通信部210输出。

在上述的智能手机201中，与点像复原处理相关的上述各处理部例如可通过主控制部200、存储部250等适当地实现。

本发明并不限定于上述实施方式，当然也能够在不脱离本发明宗旨的范围内进行各种变形。

符号说明

10-数码相机、12-光学系统、14-相机主体、16-透镜、17-光圈、18-光学系统操作部、20-光学系统控制器、22-光学系统输入输出部、26-成像元件、28-相机主体控制器、30-相机主体输入输出部、32-输入输出接口、33-显示部、34-设备控制部、35-图像处理部、36-复原控制处理部、37-用户界面、41-缓冲存储器部、43-复原调整部、45-复原执行部、47-被摄体检测部、49-运动物体检测部、60-计算机、62-计算机输入输出部、64-计算机控制器、66-显示器、70-因特网、80-服务器、82-服务器输入输出部、84-服务器控制器、101-摄像模块、110-EDoF光学系统、110A-摄影透镜、111-滤光器、112-成像元件、114-AD转换部、120-复原处理块、122-黑电平调整部、123-白平衡增益部、124-伽马处理部、125-去马赛克处理部、126-转换部、127-Y信号复原处理部、127-部、200-主控制部、201-智能手机、202-框体、210-无线通信部、220-显示输入部、221-显示面板、222-操作面板、230-通话部、231-扬声器、232-麦克风、240-操作部、241-相机部、250-存储部、251-内部存储部、252-外部存储部、260-外部输入输出部、270-GPS接收部、270-接收部、280-动作传感器部、290-电源部。

Claims (24)

1.一种图像处理装置，其具备：

复原控制处理部，对通过利用光学系统进行的摄影获取的包含多个帧的动态图像进行基于所述光学系统的点扩散函数的复原处理，由此获取恢复图像数据，

所述复原控制处理部根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息，控制对所述多个帧中的所述处理对象帧进行的所述复原处理。

2.根据权利要求1所述的图像处理装置，其中，

所述参考帧包含在时序列上比所述处理对象帧更靠前的帧。

3.根据权利要求2所述的图像处理装置，其中，

所述参考帧包含在时序列上紧靠所述处理对象帧的前一帧及紧靠所述处理对象帧的后一帧。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，

所述复原控制处理部根据所述参考帧的所述摄像信息及所述处理对象帧的所述摄像信息，控制对所述处理对象帧进行的所述复原处理。

5.根据权利要求1至4中任一项所述的图像处理装置，其中，

所述摄像信息包含所述处理对象帧及所述参考帧的摄影条件信息。

6.根据权利要求5所述的图像处理装置，其中，

所述摄影条件信息包含光圈值及变焦倍率中的至少任一个。

7.根据权利要求5或6所述的图像处理装置，其中，

所述复原控制处理部根据所述处理对象帧及所述参考帧的所述摄影条件信息中频率最高的摄影条件，进行所述复原处理。

8.根据权利要求5或6所述的图像处理装置，其中，

所述复原处理包含使用基于所述点扩散函数的复原滤波器的滤波处理，

所述复原控制处理部对所述处理对象帧进行将根据与所述处理对象帧的所述摄影条件信息对应的复原滤波器及与所述参考帧的所述摄影条件信息对应的复原滤波器计算出的滤波器用作复原滤波器的滤波处理，由此进行对所述处理对象帧的所述复原处理。

9.根据权利要求8所述的图像处理装置，其中，

所述复原控制处理部对所述处理对象帧进行将根据与所述处理对象帧的所述摄影条件信息对应的复原滤波器及与所述参考帧的所述摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对所述处理对象帧的所述复原处理。

10.根据权利要求8所述的图像处理装置，其中，

所述复原控制处理部将如下图像数据作为所述处理对象帧的所述恢复图像数据，所述图像数据根据通过将与所述处理对象帧的所述摄影条件信息对应的复原滤波器适用于所述处理对象帧来计算出的图像数据及通过将与所述参考帧的所述摄影条件信息对应的复原滤波器适用于所述参考帧来计算出的图像数据的加权平均计算。

11.根据权利要求8所述的图像处理装置，其中，

所述图像处理装置具备检测所述动态图像的被摄体的移动的被摄体检测部，

当通过所述被摄体检测部检测出的所述处理对象帧及所述参考帧中的所述被摄体的移动量为阈值以上时，所述复原控制处理部对所述处理对象帧进行将根据与所述处理对象帧的所述摄影条件信息对应的复原滤波器及与所述参考帧的所述摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对所述处理对象帧的所述复原处理，

当通过所述被摄体检测部检测出的所述处理对象帧及所述参考帧中的所述被摄体的移动量小于阈值时，所述复原控制处理部将如下图像数据作为所述处理对象帧的所述恢复图像数据，所述图像数据根据通过将与所述处理对象帧的所述摄影条件信息对应的复原滤波器适用于所述处理对象帧来计算出的图像数据及通过将与所述参考帧的所述摄影条件信息对应的复原滤波器适用于所述参考帧来计算出的图像数据的加权平均计算。

12.根据权利要求1至11中任一项所述的图像处理装置，其中，

所述摄像信息包含所述处理对象帧及所述参考帧的图像信息。

13.根据权利要求12所述的图像处理装置，其中，

所述图像信息包含所述处理对象帧及所述参考帧中是否包含饱和像素的信息及所述处理对象帧及所述参考帧中是否包含散焦区域的信息中的至少任一个。

14.根据权利要求12所述的图像处理装置，其中，

所述图像信息包含所述处理对象帧及所述参考帧中是否包含饱和像素的信息，

所述复原控制处理部判别所述参考帧中是否包含饱和像素，当判别为所述参考帧中包含饱和像素时，根据包含该饱和像素的所述参考帧的所述摄像信息，调整对所述处理对象帧进行的所述复原处理的复原强度。

15.根据权利要求14所述的图像处理装置，其中，

所述复原控制处理部分析所述参考帧中的光源的闪烁状态，

并根据所述光源的闪烁状态，调整对所述处理对象帧进行的所述复原处理的复原强度。

16.根据权利要求12所述的图像处理装置，其中，

所述图像信息包含所述处理对象帧及所述参考帧中是否包含散焦区域的信息，

所述复原控制处理部判别所述参考帧中是否包含散焦区域，当判别为所述参考帧中包含散焦区域时，根据包含该散焦区域的所述参考帧的所述摄像信息，调整对所述处理对象帧进行的所述复原处理的复原强度。

17.根据权利要求1至16中任一项所述的图像处理装置，其中，

所述图像处理装置具备在所述动态图像中检测运动物体的运动物体检测部，

当通过所述运动物体检测部在所述处理对象帧及所述参考帧中检测到所述运动物体时，所述复原控制处理部对所述处理对象帧进行基于反映出根据所述运动物体的移动的相位特性的所述点扩散函数的所述复原处理。

18.根据权利要求1至17中任一项所述的图像处理装置，其中，

所述复原控制处理部具有：

滤波器适用部，对所述动态图像的原图像数据适用基于所述光学系统的点扩散函数的复原滤波器来获取复原图像数据；及

增益调整部，进行所述原图像数据与所述复原图像数据之间的差分的增幅率的调整，根据已进行该调整之后的差分及所述原图像数据获取所述动态图像的所述恢复图像数据，

根据所述参考帧的摄影信息，调整所述复原滤波器及所述增幅率中的至少任一个，由此控制对所述处理对象帧进行的所述复原处理。

19.根据权利要求1至18中任一项所述的图像处理装置，其中，

所述光学系统具有通过调制相位来扩大景深的透镜部。

20.一种摄像装置，其具备：

通过使用光学系统进行的摄影获取动态图像的成像元件；及

权利要求1至19中任一项所述的图像处理装置。

21.根据权利要求20所述的摄像装置，其中，

所述摄像装置具备显示即时预览图像的显示部，

所述复原控制处理部对所述即时预览图像进行基于所述光学系统的点扩散函数的所述复原处理，对所述即时预览图像的所述复原处理中，不根据在时序列上在该处理对象帧之前或之后获取的帧的摄像信息而是根据该处理对象帧的摄像信息来控制对构成所述即时预览图像的多个帧中的所述处理对象帧进行的所述复原处理。

22.根据权利要求20所述的摄像装置，其中，

所述摄像装置具备显示即时预览图像的显示部，

所述复原控制处理部不对所述即时预览图像进行基于所述光学系统的点扩散函数的所述复原处理。

23.一种图像处理方法，其包含如下步骤，即，对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于所述光学系统的点扩散函数的复原处理，由此获取恢复图像数据，其中，

根据包含在时序列上比所述处理对象帧更靠后的帧的参考帧的摄像信息控制对所述多个帧中的处理对象帧进行的所述复原处理。

24.一种程序，其使计算机执行如下步骤，即，对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于所述光学系统的点扩散函数的复原处理，由此获取恢复图像数据，其中，

根据包含在时序列上比所述处理对象帧更靠后的帧的参考帧的摄像信息控制对所述多个帧中的处理对象帧进行的所述复原处理。