CN102907083B

CN102907083B - 摄像装置、图像处理装置及图像处理方法

Info

Publication number: CN102907083B
Application number: CN201180025062.2A
Authority: CN
Inventors: 石井育规; 物部祐亮
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-05-21
Filing date: 2011-05-11
Publication date: 2016-09-28
Anticipated expiration: 2031-05-11
Also published as: EP2574039A1; US20130063616A1; CN102907083A; EP2574038B1; US9071754B2; WO2011145296A1; EP2574039B1; EP2574038A1; JP5756099B2; EP2574039A4; JP5596138B2; US9036032B2; US20130057714A1; JPWO2011145296A1; JPWO2011145297A1; CN102907082A; CN102907082B; EP2574038A4; WO2011145297A1

Abstract

本发明提供一种摄像装置、图像处理装置、图像处理方法及图像处理程序。摄像装置生成减少了因摄像时的手抖动所引起的模糊的复原图像。摄像装置具备摄像元件(10)、光学系统(20)、和对由摄像元件(10)获取到的图像信号进行处理的图像处理部(220)。图像处理部(220)具有：模糊核决定部，其决定对所获取到的图像的因手抖动所引起的模糊进行规定的模糊核；和图像复原部，其生成复原图像。模糊核决定部基于光学系统(20)的变焦倍率等给图像的模糊的程度带来影响的信息来改变模糊核的尺寸。

Description

摄像装置、图像处理装置及图像处理方法

技术领域

本发明涉及生成减少了因摄像时的手抖动所引起的模糊的复原图像的摄像装置、图像处理装置、图像处理方法及图像处理程序。

背景技术

若由数码相机获取图像(摄像)，则由于CCD(Charge-CoupledDevice)或者CMOS的读出电路的特性、传输路线的特性会在图像中添加噪声。另外，会产生因在摄像时没有对焦(焦点偏离：out-of-focus)所引起的图像的模糊(模糊：blur)、因手抖动(camera shake)等所引起的图像的模糊。由此，在摄像图像中，在因摄像图像固有的特性所引起的噪声之中会添加以摄影时的人为操作为起因的模糊，从而导致图像劣化。有时将这些“模糊”之中的、摄影(曝光)中的因照相机的运动所引起的图像的模糊称作“运动模糊(motion blur)”。

近年来，尤其随着高灵敏度摄影的需求的增大，而需要将因模糊导致劣化后的图像(以下称为“劣化图像”)复原到尽可能接近于原始图像(以下称为“理想图像”)的图像。为了实现高灵敏度摄影要求的明亮且没有噪声、模糊的图像，大致有提高灵敏度的观点和增长曝光时间的观点。

然而，若提高灵敏度，则噪声也会被放大，因而信号会被埋在噪声中从而成为噪声占大半的图像这样的情况居多。另一方面，通过增长曝光时间，在此处产生的光将蓄积得较多，从而得到噪声少的图像。在该情况下，虽然信号不会被噪声埋没，但是却存在下述问题：由于手抖动，使得在图像中容易产生运动模糊。

因此，以往采取了用两种观点增长曝光时间时的应对方法。一种方法为：透镜移位、传感器移位这样的光学式手抖动补偿。另一种方法为：利用所获得的图像、传感器求出运动模糊的方向/大小，此后利用信号处理来复原图像的方法(基于信号处理的复原方法)。

在光学式手抖动补偿中，补偿的范围存在限制。若增长曝光时间，则由于容易产生手抖动，因而需要增大透镜、传感器的工作范围。但是，若工作范围变大，则存在着在透镜、传感器移动时产生时间延迟这样的问题。另外，在大型化方面存在尺寸的物理限制。

基于信号处理的复原方法例如已经被专利文献1、非专利文献1、非专利文献2等公开。以下，说明基于信号处理的复原方法。

在此，假设用I(x，y)来表示在摄像元件的摄像面所形成的图像的亮度分布。坐标(x，y)为表示摄像面的像素(光感测单元)的位置的2维坐标。在图像例如由被排列成矩阵状的M×N个像素构成的情况下，若假设x以及y分别为满足0≤x≤M-1以及0≤y≤N-1关系的整数，则能够利用坐标(x，y)来确定构成图像的各个像素的位置。在此，假设将坐标的原点(0，0)置于图像的左上角，x轴沿着垂直方向延伸，y轴沿着水平方向延伸。其中，坐标的取法是任意的。

若将没有模糊(blur)的图像(理想图像或源图像)的亮度分布设为L(x，y)，将对模糊进行规定的PSF即“点扩散函数(Point Spread Function)”设为PSF(x，y)，将噪声设为n(x，y)，则以下的式1成立。

[数学式1]

I(x，y)＝PSF(x，y)*L(x，y)+n(x，y) (式1)

其中，记号“*”表示2维的卷积运算(convolution)。

手抖动的点扩散函数PSF(x，y)依赖于摄影(曝光)中的手抖动的轨迹。由于手抖动的轨迹因每次照相机的摄影而不同，因而PSF(x，y)也因每次照相机摄影而变化。

利用陀螺仪传感器等检测摄影中的手抖动的轨迹，在PSF(x，y)为已知的情况下，通过使用该PSF(x，y)来进行反卷积运算(deconvolution)，从而可以从劣化图像I(x，y)来复原图像L(x，y)。另一方面，在PSF(x，y)为未知的情况下，需要根据劣化图像I(x，y)来推测PSF(x，y)进而复原图像L(x，y)。将前者称为“非盲·反卷积”，将后者称为“盲·反卷积”。在盲·反卷积中，由于需要根据劣化图像I(x，y)来推测PSF(x，y)以及图像L(x，y)双方，因而与非盲·反卷积相比难以降低模糊。

对因手抖动所引起的模糊进行规定的PSF的卷积运算是由线性滤波器进行的。2维卷积运算的线性滤波器，通常利用由具有N×N像素的尺寸的系数矩阵构成的积分核(核)来表现。其中，N为3以上的整数。对模糊进行规定的PSF可利用模糊核(blur kernel)来表现。为了根据有模糊的图像来复原减低了模糊的图像(包括去除了模糊后的图像)，需要推测对模糊进行规定的模糊核。

作为基于信号处理的图像复原，例如非专利文献1公开了：在根据有模糊的1枚图像来推测模糊核以及复原图像的情况下使用多尺度推测法(multi-scale inference scheme)。在该多尺度推测法中，最初使用分辨率低的劣化图像来推测具有3×3像素的尺寸的模糊核。然后，通过逐渐提高在推测中所用的劣化图像的分辨率，从而模糊核的分辨率也得以提高。图18(a)～(h)是用于说明在非专利文献1中公开的方法的图。图18(a)的上半部分示出3×3像素的模糊核，下半部分示出所对应的分辨率的复原图像。图18(b)～(h)也同样，分辨率逐渐提高。

在分辨率低的劣化图像中，由于像素数少，因而因手抖动所引起的模糊的像素尺寸也变小。其结果，在分辨率低的劣化图像中，模糊核的尺寸也变小，推测模糊核所需的计算量也变少。另外，若从最初开始便使用像素数大的高分辨率的劣化图像来进行模糊核的推测，则会在不同于真正模糊核的模糊核(局部解：local minima)产生收敛。由此，根据多尺度推测法能够提高模糊核的推测精度。

现有技术文献

专利文献

专利文献1：日本特开2009-111596号公报

非专利文献

非专利文献1：Rob Fergus et al.，″Removing camera shake from a singleimage″，Barun Singh Aaron Hertzmann，SIGGRAPH 2006

非专利文献2：″High-quality Motion Deblurring from a Single Image″，Qi Shan，Jiaya Jia，and Aseem Agarwala，SIGGRAPH 2008

发明内容

发明要解决的技术问题

根据在非专利文献1、2中公开的方法，最终的模糊核的尺寸预先被设定为固定值。因而，为了对运动模糊的程度大的劣化图像正确地进行复原处理，需要预先将模糊核的尺寸设定为较大的值。然而包括超过了所设定的模糊核的尺寸这样的较大运动模糊在内的劣化图像却无法正确地复原。

尤其，较之为了拍摄远处的被摄体而增大光学系统的变焦倍率(或焦点距离)的情况、变焦倍率小的情况，图像的运动模糊的程度会变大。因此，在为了拍摄远处的场景而增大变焦倍率的情况下，需要将模糊核的尺寸预先设定为较大的值。其中，本说明书中的“变焦倍率”是指，摄影时的焦点距离相对于摄像装置中的光学系统的最小(广角侧)焦点距离的比例。因此，假设在摄影时的焦点距离为最小焦点距离时，变焦倍率为1倍。本说明书中的“变焦倍率”并非是指，一般采用的望远侧的焦点距离相对于广角侧的焦点距离的比例。

另外，在黑暗环境中进行拍摄时，为了确保充分的受光量，需要增长曝光时间。但是，若增长曝光时间，则因照相机的运动所引起的图像的运动模糊的程度一般会变大。因此，为了拍摄黑暗场景而增长曝光时间的情况仍需要将模糊核的尺寸预先设定为较大的值。

然而，若增大模糊核的尺寸，则需要对运动模糊的程度小的图像也进行基于具有较大尺寸的模糊核的复原处理，因而存在复原处理所需的计算量变多的问题。例如，在模糊核的尺寸被设定为100×100像素时，在利用其中的10×10像素来复原能规定运动模糊的图像的情况下，不需要产生相对于100×100-10×10＝9900像素的计算。

专利文献1公开了：针对包括超过了预先设定的模糊核的尺寸的运动模糊在内的图像，在缩小了像素尺寸之后再进行模糊核的算出以及复原处理。由此，针对运动模糊的程度大的图像也能利用所设定的尺寸的模糊核正确地进行复原。根据该方法，在运动模糊的程度小的图像中不用进行像素尺寸的缩小，只针对运动模糊的程度大的图像进行像素尺寸的缩小即可，因而能够将模糊核的尺寸抑制得较低。

然而，在专利文献1中公开的技术之中，由于针对运动模糊的程度大的图像，在缩小像素尺寸之后才进行复原处理，因而被复原的图像也被缩小。由于被复原的图像需要按照成为与源图像相同的像素尺寸的方式进行放大，因而最终获得的图像与源图像相比，画质劣化了。

本发明是为了解决上述现有技术中的问题而提出的。本发明的目的在于提供一种图像复原技术，在劣化图像的运动模糊的程度小的情况下能够抑制复原处理所需的计算量、且即便在劣化图像的运动模糊的程度大的情况下也不会产生复原图像的画质劣化。

为了解决技术问题所采用的技术方案

本发明的摄像装置是生成减少了因摄像时的手抖动所引起的模糊的复原图像的摄像装置，所述摄像装置具备：摄像元件；光学系统，其在所述摄像元件的摄像面形成像；和图像处理部，其对由所述摄像元件获取到的信号进行处理。所述图像处理部具有：模糊核决定部，其决定模糊核，该模糊核对由所述摄像元件获取到的图像的因手抖动所引起的模糊进行规定；和图像复原部，其使用所决定出的所述模糊核来生成从所述图像之中减少了因手抖动所引起的模糊的复原图像，所述模糊核决定部基于给所述图像的模糊的程度带来影响的信息来决定所述模糊核的尺寸。

在某实施方式中，所述模糊核决定部根据所述光学系统的变焦倍率来改变所述模糊核的尺寸。

在某实施方式中，摄像装置还具备变换表格，该变换表格对所述光学系统的变焦倍率与所述模糊核的尺寸之间的对应关系进行规定，所述模糊核决定部基于所述变换表格来决定所述模糊核的尺寸。

在某实施方式中，所述变换表格对所述光学系统的变焦倍率与所述模糊核相对于基准尺寸的倍率之间的对应关系进行规定。

在某实施方式中，所述模糊核决定部基于所述光学系统的变焦倍率以及曝光时间的两个信息来决定所述模糊核的尺寸。

在某实施方式中，摄像装置还具备变换表格，该变换表格对所述光学系统的变焦倍率以及所述曝光时间的组合与所述模糊核的尺寸之间的对应关系进行规定，所述模糊核决定部基于所述变换表格来决定所述模糊核的尺寸。

在某实施方式中，所述模糊核决定部根据曝光时间来改变所述模糊核的尺寸。

在某实施方式中，摄像装置还具备变换表格，该变换表格对所述曝光时间与所述模糊核的尺寸之间的对应关系进行规定，所述模糊核决定部基于所述变换表格来决定所述模糊核的尺寸。

在某实施方式中，所述变换表格对所述曝光时间与所述模糊核相对于基准尺寸的倍率之间的对应关系进行规定。

在某实施方式中，摄像装置还具备手抖动检测部，该手抖动检测部对摄像时的手抖动的大小进行检测，所述模糊核决定部基于由所述手抖动检测部检测到的所述手抖动的大小来决定所述模糊核的尺寸。

在某实施方式中，所述手抖动检测部为陀螺仪传感器。

本发明的图像处理装置是生成从由摄像装置获取到的图像之中减少了因手抖动引起的模糊的复原图像的图像处理装置。所述图像处理装置具备：图像获取部，其获取图像以及给所述图像的模糊的程度带来影响的信息；模糊核决定部，其决定模糊核，该模糊核对所述图像的因手抖动所引起的模糊进行规定；和图像复原部，其使用所决定出的所述模糊核来生成从所述图像之中减少了因手抖动所引起的模糊的复原图像。所述模糊核决定部基于给所述图像的模糊的程度带来影响的信息来决定所述模糊核的尺寸。

在某实施方式中，所述摄像信息为摄像时的光学系统的变焦倍率、曝光时间、表示手抖动的大小的信息之中的至少一个。

本发明的图像处理程序是用于生成从由摄像装置获取到的图像之中减少了因手抖动所引起的模糊的复原图像的程序。所述程序使计算机执行下述步骤：获取图像以及给所述图像的模糊的程度带来影响的信息的步骤；基于给所述图像的模糊的程度带来影响的信息来决定对所述图像的因手抖动所引起的模糊进行规定的模糊核的尺寸的步骤；决定所述模糊核的步骤；和使用所决定出的所述模糊核来生成从所述图像之中减少了因手抖动所引起的模糊的复原图像的步骤。

在某实施方式中，给所述图像的模糊的程度带来影响的信息为摄像时的光学系统的变焦倍率、曝光时间以及表示手抖动的大小的信息之中的至少一个。

本发明的图像处理方法是生成从由摄像装置获取到的图像之中减少了因手抖动所引起的模糊的复原图像的图像处理方法。所述图像处理方法包括下述步骤：获取图像以及给所述图像的模糊的程度带来影响的信息的步骤；基于给所述图像的模糊的程度带来影响的信息来决定对所述图像的因手抖动所引起的模糊进行规定的模糊核的尺寸的步骤；决定所述模糊核的步骤；和使用所决定出的所述模糊核来生成从所述图像之中减少了因手抖动所引起的模糊的复原图像的步骤。

发明效果

根据本发明，在劣化图像的运动模糊的程度小的情况下能够抑制复原处理所需的计算量、且即便在劣化图像的运动模糊的程度大的情况下也可进行没有产生复原图像的画质劣化的图像复原。

附图说明

图1A是表示本发明的摄像装置的概略构成的一例的图。

图1B是表示本发明的图像处理装置的概略构成的一例的图。

图1C是表示由图像处理部或图像处理装置进行的图像复原处理流程的概略的流程图。

图2(a)是表示具有3×3像素的尺寸的模糊核的一例的图，图2(b)是表示没有模糊的图像的像素值的排列例的图。

图3A是表示相对于图2(b)的图像中的位置(x，y)＝(2，2)的像素的卷积运算结果的图。

图3B是表示相对于图2(b)的图像中的位置(x，y)＝(2，3)的像素的卷积运算结果的图。

图4(a)是表示9×9像素的模糊核的系数矩阵的一例的图，图4(b)是将图4(a)所示的系数之中的、具有非零值的要素涂黑、将具有零值的要素涂白之后的图。

图5(a)是例示性表示模糊核尺寸相对于变焦倍率的变化的图，图5(b)是示意性表示在照相机以某角度旋转时变焦倍率越大图像的运动模糊的程度越大的图。

图6(a)是表示在被假定的手抖动小的情况下模糊核的尺寸被设定为较小的值的图，图6(b)是表示在被假定的手抖动大的情况下模糊核的尺寸被设定为较大的值的图。

图7是表示实施方式1中的摄像装置的概略构成的框图。

图8是示意性表示摄像部100中的摄像元件10、摄影透镜20、光学系统驱动部40的概略构成的图。

图9是摄像元件10的摄像面10a的示意性俯视图。

图10是表示图6所示的图像处理部220的构成例的框图。

图11(a)是表示实施方式1中的变换表格的一例的图，图11(b)是表示实施方式1中的变换表格的其他例的图。

图12是表示在实施方式1中被执行的复原处理的例子的流程图。

图13(a)是表示与曝光时间相关的变换表格的一例的图，图13(b)是表示与曝光时间相关的变换表格的其他例的图。

图14(a)是表示与变焦倍率以及曝光时间的组合相关的变换表格的一例的图，图14(b)是表示与变焦倍率以及曝光时间的组合相关的变换表格的其他例的图。

图15是表示实施方式2中的摄像装置的概略构成的框图。

图16是表示实施方式2中的变换表格的一例的图。

图17是表示在实施方式2中被执行的复原处理的例子的流程图。

图18(a)～(h)是用于说明在非专利文献1中公开的方法的图。

具体实施方式

以下，在说明本发明的优选实施方式之前，先说明本发明的基本原理。其中，在本说明书中，以与它们的“像素数”或“像素尺寸”相同含义来说明图像或模糊核的“尺寸”。

图1A是表示本发明的摄像装置的概略构成的一例的图。摄像装置具备：摄像部100，其具有摄像元件10以及光学系统20；和图像处理部220，其对由摄像元件10获取到的图像信号进行处理。图像处理部220具有：模糊核决定部227，其决定模糊核，该模糊核对由摄像元件10获取到的图像的运动模糊进行规定；和图像复原部224，其生成复原图像。模糊核决定部227能够基于变焦倍率或曝光时间等给图像的运动模糊的程度带来影响的信息(以下有时称为“摄像信息”。)来改变模糊核的尺寸。

图1B是表示本发明的图像处理装置的概略构成的一例的图。图像处理装置250具备：图像获取部223，其获取由摄像装置获取到的图像以及摄像时的变焦倍率或曝光时间等摄像信息；模糊核决定部227，其决定对图像的运动模糊进行规定的模糊核；和图像复原部224，其生成复原图像。模糊核决定部227能够基于变焦倍率或曝光时间等摄像信息来改变模糊核的尺寸。

图1C是表示由图像处理部220或图像处理装置250进行的图像复原处理流程的一例的流程图。首先，在步骤S101中，获取由摄像装置获取到的劣化图像以及摄像信息。其次，在步骤102中，决定对劣化图像的运动模糊的程度进行规定的模糊核尺寸。接着，在步骤S103中，决定模糊核。然后，在步骤104中，使用所决定出的模糊核来生成复原图像。根据以上的处理获得了从劣化图像之中去除了运动模糊的复原图像。根据本发明，通过基于给图像的运动模糊的程度带来影响的信息来适当地决定模糊核的尺寸，从而可以在抑制运算量的同时进行高精度的复原。关于各处理的详细内容将在后面叙述。

其次，参照图2来具体说明本发明的模糊核。

图2(a)示出具有3×3像素的尺寸的模糊核的一例。该模糊核对由于曝光中的手抖动而使得照相机在水平方向上仅移动了3像素时的模糊的一例进行规定。图2(b)是表示没有模糊的图像的像素值的排列例的图。假设没有模糊的图像具有5×5像素的尺寸。图2(b)示出的25个数值为构成图像的像素的亮度值的例子。

在用图2(a)所示的模糊核所表示的因手抖动所引起的模糊产生时，通过对图2(b)的图像执行基于图2(a)的模糊核的2维卷积运算，从而获得了劣化图像。

若将模糊核设为K，将源图像设为L，将噪声设为N，则通过摄影所获取到的图像(劣化图像)I由以下的式2进行表示。

[数学式2]

I＝K*L+N (式2)

图3A示出对图2(b)的图像中的位置(x，y)＝(2，2)的像素的卷积运算结果。该运算是针对图3A的左端的图像中的被虚线矩形包围的3×3像素＝9个像素值而进行的。模糊核中的9个系数之中的3个要素具有0.2、0.4、0.4的值，其他6个要素具有零值。若进行使用了该模糊核的卷积运算，则0.2、0.4、0.4的系数分别与图像内的位置(2，1)、(2，2)、(2，3)的像素值相乘，并求出总和。其结果，获得了18×0.2+19×0.4+21×0.4＝19.6的值，该值作为运算后的像素值而被保存在位置(2，2)处。

另一方面，图3B示出对图2(b)的图像中的位置(x，y)＝(2，3)的像素的卷积运算结果。该运算是针对图3B的左端的图像中的被虚线矩形包围的3×3像素＝9个像素值而进行的。若进行使用了模糊核的卷积运算，则0.2、0.4、0.4的系数分别与图像内的位置(2，2)、(2，3)、(2，4)的像素值相乘，并求出总和。其结果，获得了19×0.2+21×0.4+18×0.4＝19.4的值，该值作为运算后的像素值而被保存在位置(2，3)处。

对于被赋予的分辨率(像素数)的图像的像素值，通过在使模糊核的中心位置发生位移的同时进行上述计算，从而决定出卷积运算后的图像、即具有因手抖动所引起的模糊的图像(劣化图像)。

为了从劣化图像来复原没有模糊的图像，需要推测成为劣化原因的模糊核的系数矩阵。若推测出模糊核，则能够利用反卷积运算获得(复原)劣化前的图像。

图4(a)示出9×9像素的模糊核的系数矩阵的一例。该系数矩阵之中的非零系数的总和被标准化为等于1。图4(b)是将图4(a)所示的系数之中的、具有非零值的要素涂黑、将具有零值的要素涂白之后的图。图4(b)的黑色要素的集合对应于手抖动的轨迹。根据曝光中的手抖动的轨迹的不同，图4(b)的黑色要素的集合具有不同图案。

手抖动是由于曝光中的照相机的活动而产生的，因此该轨迹由连结起点和终点的直线或曲线构成。如图4(b)所示，在利用具有有限尺寸的模糊核所表现的手抖动轨迹中，其一部分中包含的“曲线”也是通过用直线连接2个像素而获得的。

在本发明中，关于模糊核的尺寸，并非在摄影前被预先设定，而是基于所假定的图像的运动模糊的程度的大小来适应性决定。模糊核的尺寸例如基于变焦的倍率或曝光时间等来决定。

图5(a)是例示性表示图像的运动模糊的程度与变焦倍率之间关系的曲线图。如图示那样，一般，变焦倍率越大，图像的运动模糊的程度也越大。图5(b)是示意性表示手抖动产生时的图像的运动模糊的程度随着变焦倍率而变化的图。在此，考虑通过在曝光中因手抖动导致摄像装置以某角度旋转时的、摄像装置的重心A、和将旋转前后的光轴上的对应点彼此之间连结起来的线段所形成的三角形。变焦倍率小时的三角形ΔABB′和变焦倍率大时的三角形ΔACC′彼此相似。如图示那样，变焦倍率越大则所形成的三角形越大，因而可知图像的运动模糊的程度也变大。简单进行考虑，由于在具有相似关系的2个三角形中在1边被设为m倍(m：正的数)时其余的边也为m倍，因而图像的运动模糊的程度与变焦倍率成比例地增大。然而，实际上，曝光时间中的摄像装置并不以一定的角速度进行活动而是进行不规则的活动，因而若曝光时间变长则变焦倍率与运动模糊的程度之间的关系会偏离简单的比例关系。

同样情况在增长摄影时的曝光时间时也会产生。一般，即便变焦倍率一定，由于曝光时间越长也会蓄积较多因手抖动所引起的模糊，因而图像的运动模糊的程度变大。

以下，示出在本发明中可设定的模糊核的尺寸的例子。图6(a)示出运动模糊的程度较小的图像中的模糊核的尺寸。这对应于例如变焦倍率小的情况、曝光时间短的情况等。此时，模糊核的尺寸被设定为较小的尺寸。图6(b)示出运动模糊的程度较大的图像中的模糊核的尺寸的例子。这对应于例如变焦倍率大的情况、曝光时间长的情况等。此时，模糊核的尺寸被设定为较大的尺寸。

由此，根据本发明，基于变焦倍率或曝光时间等的、给图像的运动模糊的程度带来影响的信息，设定与被假定的运动模糊的程度相符合的模糊核的尺寸。其结果，在对运动模糊的程度小的图像的复原处理中，能够防止计算量不必要地增多。另外，与在专利文献1中公开的技术不同，由于不会伴有源图像的像素尺寸的缩小以及复原图像的像素尺寸的放大处理，因而最终的复原图像的分辨率不会降低。其结果，可以获得高画质的复原图像。其中，在本发明中，给图像的运动模糊的程度带来影响的信息并不限于变焦倍率、曝光时间。例如，如后述那样，也可以为表示利用被搭载于摄像装置的手抖动检测机构所检测到的手抖动的大小的信息。

以下，参照图7～图17来说明本发明的优选实施方式。在以下的说明中，针对同一构成要素赋予相同的参考符号。

(实施方式1)

首先，参照图7～图14来说明本发明的第1实施方式。

图7是表示本实施方式的摄像装置的概略构成的框图。本实施方式的摄像装置为数字式的电子照相机，具备：摄像部100；信号处理部200，其进行各种信号处理；摄像显示部300，其对通过摄像所获取到的图像进行显示；记录介质400，其对图像的数据进行记录；和系统控制部500，其对各部进行控制。

摄像部100具有：摄像元件(图像传感器)10，其具备被排列在摄像面上的多个光感测单元(光电二极管)；快门15，其具有光圈功能；和摄影透镜20，其用于在摄像元件10的摄像面上形成像。另外，摄像部100还具有：光学系统驱动部40，其对快门15以及摄影透镜20进行驱动；和摄像元件驱动部30，其对摄像元件10进行驱动。摄像元件10的典型例为CCD或CMOS传感器。本实施方式中的摄影透镜20具有公知构成，在现实中为由多个透镜构成的透镜单元。光学系统驱动部40例如由透镜驱动器等LSI构成，对快门15以及摄影透镜20进行驱动，执行光学变焦、自动曝光(AE：Auto Exposure)、自动对焦(AF：Auto Focus)所需的动作。摄像元件驱动部30例如由CCD驱动器等LSI构成。摄像元件驱动部30通过驱动摄像元件10，由此从摄像元件10之中读出模拟信号并变换成数字信号。

信号处理部200具备：图像处理部(图像处理器)220、存储器240、接口(IF)部260以及变换表格280。变换表格280是对摄影时的变焦倍率与模糊核的尺寸之间的关系进行规定的表格。图像处理部220基于变换表格280的信息来改变模糊核的尺寸。此外，变换表格280也可以被保存在存储器240或其他记录介质中。以下，将在变换表格中所记录的信息称为“变换表格信息”。另外，信号处理部200与液晶显示面板等显示部300、以及存储卡等记录介质400连接。记录介质可以从摄像装置拆卸下来。

图像处理部220除了进行色调补偿、分辨率变更、自动曝光、自动对焦、数据压缩等的动作所需的各种信号处理之外，还执行本发明的劣化图像的复原处理。图像处理部220通过公知的数字信号处理器(DSP)等硬件、和执行包括本发明涉及的图像复原处理在内的图像处理的软件的组合而被适当地实现。存储器240由DRAM等构成。该存储器240对从摄像部100获得的图像数据进行记录，并且对由图像处理部220受理了各种图像处理之后的图像数据或被压缩过的图像数据进行暂时性记录。在这些图像数据被变换为模拟信号之后，或者被显示部300显示，或者以数字信号的形式直接经由接口部260记录至记录介质400中。

上述的构成要素由包括未图示的中央运算处理单元(CPU)以及闪存在内的系统控制部500进行控制。此外，本实施方式的摄像装置可具备取景器、电源(电池)、闪光灯等的公知构成要素，但是由于这些说明对于本发明的理解不是特别需要，因而将其省略。

其次，参照图8以及图9来说明摄像部100的构成。

图8示意性示出摄像部100中的摄像元件10、透镜20以及光学系统驱动部40的概略构成。如图示那样，摄像元件10具有摄像面10a。在摄像面10a上排列有多个光感测单元。透镜20基于来自光学系统驱动部40的信号在与摄像面垂直的方向上进行移动，由此能够改变焦点距离，改变变焦倍率。此外，在图8中，为了便于说明，描绘出透镜20为1个透镜的情形，但是实际上透镜20可由多个透镜的组合构成。

图9是示意性表示摄像面10a的俯视图。在该例子中，光感测单元11被排列成矩阵状。其中，光感测单元11的排列方式并不限于图示的例子，各个光感测单元的平面形状也并不限于正方形。为了生成彩色的图像信号，作为典型的情况而在多个光感测单元11之上配置了原色滤色器或补色滤色器。此外，也可采用下述构成：具备3个摄像元件，在将光分离成例如RGB的3色之后，用各自不同的摄像元件来接收各个颜色的光。

根据以上的构成，摄像部100向信号处理部200送出通过摄像所获取到的图像以及表示摄像时的变焦倍率的信息(变焦信息)。

其次，参照图10来说明图像处理部220的构成。

图10是表示图像处理部220的概略构成的框图。图像处理部220获取劣化图像、变焦信息以及变换表格信息，输出从劣化图像之中减低了因手抖动所引起的模糊的复原图像。图像处理部220包括：图像获取部223、核尺寸决定部221、初始核设定部222、图像复原部224、核推测部226、参数更新部228。

图像获取部223从摄像部100之中获取劣化图像以及变焦信息。

核尺寸决定部221基于从摄像部100之中获取到的变焦信息、以及在变换表格280中所记录的变换表格信息，决定模糊核的尺寸。具体而言，根据变换表格来求出与劣化图像获取时的变焦倍率相对应的“模糊核倍率”，并将所求出的模糊核倍率与基准尺寸相乘之后的值决定为模糊核的尺寸。其中，“基准尺寸”是指，变焦倍率为1倍时的模糊核的尺寸。基准尺寸既可以作为固定值预先被设定在摄像装置中，也可以由用户手动地进行设定。在由用户手动地设定了模糊核的尺寸的情况下，能够设定在考虑了因用户的差异所引起的运动模糊的程度的差异的基础上的、更优选的基准尺寸。或者，也可以基于图像获取时的各种摄影参数来决定因摄影的不同而不同的尺寸。关于变换表格的详细内容将在后面叙述。

初始核设定部222对复原处理所需的初始模糊核进行设定。初始模糊核既可以手动地设定，也可以预先被设定为固定的系数矩阵。或者，也可以基于图像获取时的各种摄影参数来决定因摄影的不同而不同的初始模糊核。从缩短图像处理所需的时间这一观点出发，虽然优选初始模糊核接近于实际的模糊核，但是即便在并不一定接近的情况下也可以进行复原处理。其中，初始模糊核的尺寸可设定为因后述的复原算法的不同而不同的值。例如，在使用非专利文献1所公开的算法的情况下，初始模糊核的尺寸被设定为3×3像素等的较小的值。另外，在使用在复原过程中不会伴有模糊核的尺寸的变化的算法的情况下，初始模糊核的尺寸被设定为由上述核尺寸决定部221所决定的尺寸。

图像复原部224使用初始模糊核而从劣化图像来生成复原图像。核推测部226基于劣化图像、以及由图像复原部224所生成的复原图像，进行模糊核的推测。参数更新部228以由核推测部226所推测出的模糊核来更新初始模糊核。被更新的初始模糊核赋予给图像复原部224，从而反复执行上述处理。

图10所示的构成示出图像处理部220的功能块的一例，图像处理部220可分割给其他功能块。图像处理部220还可以通过在例如公知硬件中组合图像处理的软件来适当地实现。其中，将图10中的核尺寸决定部221以及核推测部226一并称为模糊核决定部227。

其次，说明本实施方式中的变换表格。图11(a)是表示本实施方式中的变换表格的一例的图。在该例子中，在变换表格之中规定了变焦倍率的范围与模糊核倍率之间的对应关系。通过参照这样的变换表格，可知：例如在变焦倍率处于z1倍～z2倍的范围内时，核尺寸决定部221应将模糊核的倍率设定为A1倍。图11(b)是表示变换表格的其他例的图。如该例所示，也可按照根据变焦倍率直接决定模糊核的尺寸的方式进行规定。在该情况下，无需设定上述的模糊核的基准尺寸。例如，在变焦倍率处于z1倍～z2倍的范围内时，模糊核的尺寸被设定为N1×N1(N1：3以上的整数)。此外，由于通过改变光学系统的焦点距离来调整变焦倍率，因而也可在变换表格中取代“变焦倍率”而规定“焦点距离”。变换表格并不限于上述内容，只要表示光学系统的变焦倍率与模糊核的尺寸之间的对应关系，无论什么样的表格均可。

变换表格预先被制成为事前信息。以下，说明变换表格的制成方法的一例。

首先，在被设定为某变焦倍率的状态下，拍摄多个人多次作为目标的物体(在图像内能测量移动距离的这种图表、点光源等)，并分别测量移动量。其次，关于其他变焦倍率也进行同样的测量，按每个变焦倍率求出移动量的平均值。表示由此获得的平均移动量与变焦倍率之间关系的信息被记录至变换表格中。

此外，在变换表格中所保存的信息也可以根据需要进行重写。例如，摄像装置也可以具备对用户过去进行过的摄影中的图像的运动模糊的趋势进行学习，并与该用户相匹配地重写变换表格的功能。

其次，说明使用本实施方式的摄像装置进行摄影时的概略顺序的例子。

首先，用户使摄像装置面向被摄体，选择所期望的变焦倍率。接着，若用户半按下快门按钮，则通过自动对焦动作使得焦点对焦于被摄体。若用户深按下快门按钮，则开始“曝光”。此时，在摄像元件10的摄像面形成了被摄体的像。若在曝光中由于用户而使得摄像装置不稳定地活动，则像在摄像元件10的摄像面上移动，因而因手抖动所引起的模糊被附加在图像上。若曝光结束，则摄像部100向信号处理部200中的图像处理部220送出所获取到的图像(劣化图像)以及表示变焦倍率的信息(变焦信息)。

其次，参照图12来说明图像处理部220中的动作顺序。

图像处理部220在步骤S1中获取劣化图像。同样地，在步骤S2中，获取变焦信息。其中，步骤S1和步骤S2也可以互逆。其次，在步骤S3中，由核尺寸决定部221决定模糊核的尺寸。此时，核尺寸决定部221参照变换表格信息来决定与变焦倍率对应的模糊核的尺寸。接下来，在步骤S4中由初始模糊核设定部222决定初始模糊核。

接着，在步骤S5中，图像复原部224使用在步骤S1中获取到的劣化图像和在步骤S4中设定出的初始模糊核来执行图像复原处理。该图像复原处理是由图像复原部224利用公知的复原算法来执行的。图像复原部224将所获得到的复原图像暂时记录至存储器240中。在步骤S6中，核推测部226根据复原图像来进行模糊核的推测，参数更新部228利用所推测出的模糊核来更新以前的模糊核。

接下来，在步骤S7中，判定更新前后的模糊核以及更新前后的复原图像的变化是否小于规定的阈值。在变化为阈值以上的情况下，再次进行步骤S5的处理，以后直到变化变得小于阈值为止反复进行步骤S5～S7。在变化不小于阈值的情况下，判断出处理已收敛，在步骤S8中将复原结果保存至存储器240中。

以下，说明在步骤S5、S6中可进行的模糊核的推测以及图像复原的详细内容。

在此，说明基于在非专利文献2中公开的信号处理法进行的图像复原方法。在采用非专利文献2的信号处理法的情况下，首先基于在步骤S4中设定出的初始模糊核来进行第1图像复原。该阶段的模糊核并非一定与真正模糊核(正解)一致，但是被复原的结果与劣化图像相比要接近于源图像。

接下来，根据作为第1图像复原结果的第1复原图像来进行模糊核的推测。由于第1复原图像比劣化图像更接近于源图像，因而被推测的模糊核接近于正解。使用在此推测出的模糊核来进行第2图像复原，即通过用接下来的模糊核来更新初始模糊核由此进行第2图像复原。直到模糊核无变化以及图像复原结果无变化为止反复进行该处理，由此同时进行模糊核推测和图像复原。

以下，叙述图像复原处理的更具体的方法。

图像复原部224根据被赋予的模糊核(最初为初始值，接着以后为更新值)和劣化图像来进行图像的复原。将在该处理中使用的评价式E_L表示为式3。

[数学式3]

(式3)

其中，I为劣化图像，L为没有模糊的图像L，f为模糊核。变量wk、λ1、λ2是被手动设定的“权重”。Θ为规定对图像实施什么样微分的运算符的组(set)。Θ具体而言具有：0次微分、1次微分(x、y方向各一次)、2次微分(x方向2次、y方向2次、x和y方向各1次)的合计6个微分参数。d*为微分运算符。若使用d*来表现Θ，则表现为Θ＝{d⁰，d_x，d_y，d_xx，d_xy，d_yy}。可利用d*来进行使用了亮度信息和边缘信息双方的处理，仅由亮度无法获得的信息也能够得到。M为2维的掩码(mask)，在图像中的平坦区域、即局部平滑区域(Ω)所包含的像素之中具有“1”要素，在除此之外的像素之中具有“0”要素。||·||_p为p范数运算符。Ф(x)为近似地表示被自然观察到的图像中的亮度梯度x与其分布密度(对数显示)之间关系的函数。

式3的右边中的第1项为表示进行复原图像L和模糊核f的卷积所得到的图像与劣化图像I之差(距离)的项。通过对图像实施6个微分参数的运算，从而能够基于亮度以外的信息来评价图像的近似度。

式3的右边中的第2项为表示图像内的亮度梯度的性质(称为“heavytail”)的项。Ф(d_xL)、Ф(d_yL)具有下述统计性质：在使复原图像的亮度梯度直方图化时，梯度在0附近出现了出现概率陡峭的峰值，随着梯度的增大而出现概率变小。在第2项中，针对x方向的梯度和y方向的梯度分别算出距表示上述统计性质的分布的距离。即便在非专利文献1所公开的方法中也利用了该统计性质。

式3的右边中的第3项为使用掩码M、微分劣化图像和微分复原图像来进行平坦度的评价的项。在平坦区域中，在劣化图像与复原图像之间具有亮度的梯度值接近的值。因而，将x、y方向的梯度值的误差用作评价值。

通过求出使式3的右边最小化的L，从而能够求出复原图像L(L的最优化)。L的最优化的具体计算方法已经被非专利文献2公开。

其次，详细说明在获得了复原图像L之后进行的、基于核推测部226的处理。

模糊核推测是使用由图像复原部224获得到的复原图像L和劣化图像I来推测模糊核f的问题。关于f，按照使以下的式4的右边最小化的方式决定f，由此能够求出模糊核f(f的最优化)。

[数学式4]

(式4)

式4的右边中的第1项相当于式3的右边中的第1项，赋予表示复原图像L和模糊核f的卷积是否接近于劣化图像I的评价基准。式4的右边中的第2项为模糊核f的1范数。第2项为基于被称为稀疏编码(sparsecoding)的观点的项。由于模糊核f的矩阵中的大部分的要素为0(没有活动)，因而使用该最优化项。在本实施方式中，与非专利文献2同样地进行基于“interior point method”的最优化，从而能实现整体最优化。

此外，图像复原的顺序并不限定于上述例子。例如，也可以使用在非专利文献1中公开的方法、其他盲·反卷积法。

在本实施方式中的图像复原之中重要之处在于：使模糊核的尺寸随着变焦倍率的变化而变化。由此，在容易产生图像的运动模糊的高倍率的变焦摄影时，模糊核的尺寸被设定为较大的值，故能够防止模糊核的尺寸超过预先设定的尺寸。相反，在低倍率的变焦摄影时，模糊核的尺寸被设定为较小的值，故能够防止计算量不必要地变多。另外，根据本实施方式的摄像装置，由于在复原处理的过程中不包括对劣化图像的像素尺寸进行缩小的处理，因而能够在不降低分辨率的情况下复原图像。

此外，在上述的说明中，基于变焦倍率来决定模糊核的尺寸，但是也可取代变焦倍率而基于曝光时间来决定模糊核的尺寸。在该情况下，在变换表格280中规定了曝光时间与模糊核的尺寸之间的关系。另外，图像处理部220从摄像部100中获取表示图像获取时的曝光时间的信息。通过这种构成，核尺寸决定部221能够根据从摄像部100获得到的曝光时间和变换表格的信息来决定模糊核的最优尺寸。

图13示出在使模糊核的尺寸随着曝光时间的变化而变化的构成之中可使用的变换表格的例子。图13(a)示出对曝光时间的范围与模糊核倍率之间关系进行规定的变换表格的例子，图13(b)示出对曝光时间的范围与模糊核的尺寸之间关系进行规定的变换表格的例子。无论使用图13(a)、图13(b)的哪个变换表格都能根据曝光时间来决定最优尺寸。例如，在使用了图13(a)所示的变换表格时，在图像获取时的曝光时间处于T1～T2的范围内的情况下，模糊核倍率被设定为B1。

而且，摄像装置也可以使模糊核的尺寸根据变焦倍率以及曝光时间双方的变化而变化。在该情况下，只要将与变焦倍率相关的变换表格以及与曝光时间相关的变换表格双方记录至摄像装置中即可。此时，通过将基于变焦倍率以及曝光时间从各表格中获得的倍率与基准尺寸相乘，由此决定模糊核的尺寸。例如，在图11(a)所示的与变焦倍率相关的变换表格和图13(a)所示的与曝光时间相关的变换表格被记录至摄像装置中的情况下，在变焦倍率处于z2～z3之间的范围内、且曝光时间处于T10～T11的范围内时，模糊核的尺寸被设定为基准尺寸乘以(A2×B10)的尺寸。

另外，与变焦倍率相关的变换表格和与曝光时间相关的变换表格也可以综合到1个表格中。图14是表示综合了这些信息之后的表格的例子的图。图14(a)示出对变焦倍率以及曝光时间的组合、与模糊核倍率之间的对应关系进行规定的变换表格的例子。图14(b)示出对变焦倍率以及曝光时间的组合、与模糊核尺寸之间的对应关系进行规定的变换表格的例子。无论使用图14(a)、图14(b)的哪个变换表格都能在考虑变焦倍率以及曝光时间双方的信息的基础上决定最优的模糊核的尺寸。例如，在使用了图14(a)所示的变换表格的情况下，在变焦倍率处于z2～z3之间的范围内、且曝光时间处于T2～T3的范围内时，模糊核倍率被设定为C22。

此外，在本实施方式中，如果能使模糊核的尺寸随着变焦倍率或曝光时间等的变化而适当地变化，则不必一定需要使用变换表格。例如，如果使用表示变焦倍率或曝光时间与模糊核尺寸之间关系的函数，则可以进行同样的处理。在该情况下，首先预先在改变变焦倍率、曝光时间的同时拍摄已知的摄影对象，获取各种各样的变焦倍率或曝光时间下的模糊核尺寸。其次，在以变焦倍率或曝光时间为横轴、以模糊核尺寸为纵轴的二维空间内，绘制所获取到的数据。接下来，对被绘制出的数据进行线性回归或曲线拟合，将变焦倍率或曝光时间与模糊核尺寸之间关系表示为多维函数。若由此求出多维函数，则通过将在摄影时获得的变焦倍率或曝光时间输入到所求出的多维函数中，从而获得模糊核尺寸。根据这种方法，无需变换表格。

此外，本实施方式的图像复原处理还可利用与摄像装置独立的图像处理装置来执行。例如，通过将由摄像装置获取到的劣化图像、变焦信息、曝光时间信息等输入到图像处理装置中，并使该图像处理装置内的计算机执行对图12所示的处理进行规定的程序，也能够获得复原图像。

(实施方式2)

其次，参照图15～图17来说明本发明的第2实施方式。在本实施方式的摄像装置中，也与实施方式1的摄像装置同样地，基于变焦倍率的变化与模糊核尺寸的变化之间关系来决定模糊核尺寸。其中，本实施方式的摄像装置不同于实施方式1的摄像装置，是基于在摄像装置中所设的手抖动检测部的信息来决定模糊核的尺寸。以下，说明本实施方式的摄像装置与实施方式1的摄像装置之间的不同点，并省略对重复部分的说明。

图15是表示本实施方式的摄像装置的概略构成的图。如图示那样，摄像部100具备手抖动检测部50。手抖动检测部50例如为陀螺仪传感器等的角速度传感器，通过检测摄影时的摄像装置的角速度来生成表示照相机的移动量的信息(手抖动信息)。在此，手抖动检测部50只要能检测手抖动的大小就可以为公知的任何传感器。手抖动信息与劣化图像以及变焦信息一起被赋予给信号处理部200中的图像处理部220。

本实施方式中的变换表格280除了与变焦倍率相关的信息之外，还包括与照相机的移动量相关的信息。图16是表示这种变换表格280的例子的图。例如，在变焦倍率处于z1～z2的范围内、且根据手抖动信息所获得的照相机的移动量处于M2～M3的范围内时，模糊核倍率被设定为A12。在此，照相机的移动量例如能够定义为：因在曝光中产生的手抖动所引起的表示像最大程度移动几个像素的数值。此外，变换表格280并不限于上述例子，也可以单独地记录与变焦倍率相关的变换表格和与手抖动的大小相关的变换表格。在该情况下，能够通过相乘从各表格所获得的倍率来决定模糊核倍率。

图17是表示本实施方式中的图像处理部220中的图像处理流程的流程图。在步骤S11、S12中，与实施方式1中的步骤S1、S2同样地，获取劣化图像以及变焦信息。在步骤S13中，核尺寸决定部221获取由手抖动检测部50所生成的手抖动信息。接下来，在步骤S14中，核尺寸决定部221基于变焦倍率、手抖动信息以及变换表格信息来决定模糊核的尺寸。关于步骤S15以后的处理，执行与实施方式1同样的处理。

此外，在步骤S15中，也可使用由手抖动检测部50获得的信息利用公知方法来推测模糊核，将所推测出的模糊核设定为初始模糊核。根据手抖动检测部的信息来推测模糊核的方法例如已经被日本特开2006-129236公开。在由此设定了初始模糊核的情况下，也可取代步骤S16～S18而利用公知的维纳滤波法(Weiner Filter)或RL(Richardson-Lucy)法等的非盲·反卷积法来获得复原图像。

本实施方式中的变换表格的制成方法与实施方式1中的制成方法大致相同。其中，不仅考虑变焦倍率(焦点距离)还需要考虑来自手抖动检测部的信息来进行测量。

根据本实施方式的摄像装置，由于利用手抖动检测部50的信息，因而能够在考虑实际产生的手抖动的大小的基础上决定模糊核的尺寸。因此，与实施方式1的摄像装置相比，能够将模糊核的尺寸设定为更优值。

在本实施方式中，基于变焦倍率以及手抖动信息来决定模糊核的尺寸，但是本发明并不限于这种决定方式。例如，也可与实施方式1同样地，进而使用表示曝光时间的信息来决定模糊核的尺寸。另外，也可不利用表示变焦倍率的信息，取而代之使用表示曝光时间的信息。而且，不使用与变焦倍率或曝光时间相关的信息，仅基于由手抖动检测部50所获得的信息就能决定模糊核的尺寸。这种构成尤其在不具有变焦透镜而具有焦点距离被固定的单焦点透镜的摄像装置中是有用的。

此外，本实施方式的复原处理也可由与摄像装置独立的图像处理装置来执行。例如，通过将由摄像装置所获取到的劣化图像、变焦信息、手抖动信息等输入到图像处理装置中，并使该图像处理装置执行对图17所示的处理进行规定的程序，也能够获得复原图像。

产业上的可利用性

本发明的摄像装置适用于由于手抖动可产生模糊的摄像装置，具有较高的产业上的可利用性。在PSF为未知的状况下，由于能够推测PSF以及复原图像双方，因而不用设置特殊的手抖动防止机构，或者可与这种手抖动防止机构一起获得模糊少的图像。

本发明的图像处理装置无需内置于摄像装置中，可构成为对由摄像装置所获取到的图像的数据进行接受、处理。

符号说明

10 摄像元件

11 光感测单元

15 具有光圈功能的快门

20 摄影透镜

30 摄像元件驱动部

40 光学系统驱动部

50 手抖动检测部

100 摄像部

200 信号处理部

220 图像处理部

221 核尺寸决定部

222 初始核推测部

223 图像获取部

224 图像复原部

226 核推测部

227 模糊核决定部

228 参数更新部

240 存储器

250 图像处理装置

260 接口(IF)

280 变换表格

300 显示部

400 记录介质

500 系统控制部

Claims

1.一种摄像装置，其生成减少了因摄像时的手抖动所引起的模糊的复原图像，

所述摄像装置具备：

摄像元件；

光学系统，其在所述摄像元件的摄像面形成像；和

图像处理部，其对由所述摄像元件获取到的信号进行处理，

所述图像处理部具有：

模糊核决定部，其决定表示点扩散函数的N×N的尺寸的系数矩阵即模糊核，该点扩散函数对由所述摄像元件获取到的劣化图像的因手抖动所引起的模糊进行规定，其中N为3以上的整数；

图像复原部，其使用所决定出的所述模糊核来生成从所述劣化图像之中减少了因手抖动所引起的模糊的复原图像；和

变换表格，其对所述光学系统的变焦倍率以及曝光时间的组合、与所述模糊核的尺寸之间的对应关系进行规定，

所述模糊核决定部基于所述变换表格，首先来决定所述模糊核的所述尺寸，决定具有所决定的所述尺寸的第1模糊核，

所述图像复原部，根据所述第1模糊核和所述劣化图像，生成第1复原图像，

所述模糊核决定部，根据所述第1复原图像，用具有所述尺寸的新的模糊核对所述第1模糊核进行更新，

所述图像复原部，根据所述新的模糊核和所述劣化图像，以新的复原图像对所述第1复原图像进行更新，

所述模糊核决定部以及所述图像复原部，通过交替重复所述模糊核的更新和所述复原图像的更新，来分别生成最终的模糊核和最终的复原图像，

所述曝光时间越长，所述模糊核的所述尺寸越大。

2.根据权利要求1所述的摄像装置，其中，

所述变换表格对所述光学系统的变焦倍率以及所述曝光时间、与所述模糊核相对于基准尺寸的倍率之间的对应关系进行规定。

3.根据权利要求1或2所述的摄像装置，其中，

所述摄像装置还具备手抖动检测部，该手抖动检测部对摄像时的手抖动的大小进行检测，

所述模糊核决定部还基于由所述手抖动检测部检测到的所述手抖动的大小来决定所述模糊核的尺寸。

4.根据权利要求3所述的摄像装置，其中，

所述手抖动检测部为陀螺仪传感器。

5.一种图像处理装置，其生成从由摄像装置获取到的劣化图像之中减少了因手抖动引起的模糊的复原图像，

所述图像处理装置具备：

模糊核决定部，其决定表示点扩散函数的N×N的尺寸的系数矩阵即模糊核，该点扩散函数对所述劣化图像的因手抖动所引起的模糊进行规定，其中N为3以上的整数；

变换表格，其对光学系统的变焦倍率以及曝光时间的组合、与所述模糊核的尺寸之间的对应关系进行规定，

所述曝光时间越长，所述模糊核的所述尺寸越大。

6.一种图像处理方法，生成从由摄像装置获取到的劣化图像之中减少了因手抖动所引起的模糊的复原图像，

所述图像处理方法包括下述步骤：

获取所述劣化图像以及表示获取所述劣化图像时的光学系统的变焦倍率以及曝光时间的信息的步骤；

基于表示所述变焦倍率以及所述曝光时间的信息来决定表示点扩散函数的N×N的尺寸的系数矩阵即模糊核的所述尺寸的步骤，该点扩散函数对所述劣化图像的因手抖动所引起的模糊进行规定，其中N为3以上的整数；

决定具有所决定的所述尺寸的第1模糊核的步骤；

使用所决定出的所述第1模糊核和所述劣化图像，来生成第1复原图像的步骤；

根据所述第1复原图像，用具有所述尺寸的新的模糊核对所述第1模糊核进行更新的步骤；

根据所述新的模糊核和所述劣化图像，以新的复原图像对所述第1复原图像进行更新的步骤；

通过交替重复所述模糊核的更新和所述复原图像的更新，来生成最终的模糊核、和从所述劣化图像之中减少了因手抖动所引起的模糊的最终的复原图像的步骤，

所述曝光时间越长，所述模糊核的所述尺寸越大。