CN102388402B - 图像处理装置及图像处理方法 - Google Patents

Abstract

图像处理装置在图像块选定部(226)中分别从劣化图像以及临时的复原图像将彼此位于同一坐标的两个图像块的对提取多个，并按每个图像块对来估计点扩散函数(PSF)。且从估计出的PSF选定认为接近真实的PSF的PSF作为候选PSF。通过以块单位来进行PSF的估计，能够削减PSF的估计所需的计算量。另外，通过使用不受包含噪声的图像块的影响的估计方法，能够估计接近真实的PSF的PSF。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及用于对图像进行复原的图像处理装置、图像处理方法及具备图像处理装置的摄像装置。

背景技术

若用数码相机对图像进行摄像，则有时会因CCD(Charge-CoupledDevice：电荷耦合元件)或CMOS(互补金属氧化物半导体)的读出电路的特性、或者传输线路的特性而对图像引入噪声。另外，在摄像时会产生因未对准焦点(失焦：out-of-focus)而引起的图像的模糊(blur)、因相机抖动(camera shake)等而引起的图像的模糊。像这样除了对摄像图像引入基于摄像图像固有的特性的噪声之外，还引入因拍摄时的人为操作而引起的模糊，因此图像会劣化。在这些“模糊”之中，将在拍摄(曝光)中因相机的运动而引起的图像的模糊称为“动态模糊(motion blur)”，来与因失焦而引起的模糊相区别。

近年，特别由于高灵敏度拍摄的需求增多，需要把因模糊而劣化的图像(以下，称为“劣化图像”)尽可能复原成接近原始图像(以下，称为“理想图像”)的图像。为了实现高灵敏度拍摄所要求的、明亮且无噪声和模糊的图像，大致上有提高灵敏度的观点和延长曝光时间的观点。

然而，在提高灵敏度后，噪声也会被放大。因此，在较多情况下，信号被掩埋在噪声之中，从而成为噪声占据大部分的图像。另一方面，通过延长曝光时间来多蓄积在曝光中产生的光，从而得到噪声少的图像。在这种情况下，虽然信号不会被噪声掩埋，但是存在因相机抖动而在图像中产生动态模糊的问题。

因此，在现有技术中，采用在以两种途径来延长曝光时间的情况下的对应法。一种途径是称为镜头位移或传感器位移的光学式相机抖动校正。另一种途径是从得到的图像中求取动态模糊的方向/大小，然后通过信号处理来对图像进行复原的方法(基于信号处理的复原方法)。基于信号处理的复原方法例如在专利文献1、专利文献2、非专利文献1～5等中公开。

能按如下所示，将图像因相机抖动而从理想图像向劣化图像劣化的现象模型化。认为表示劣化图像中的各像素的亮度的函数能通过表示理想图像中的各像素的亮度的函数、和表示因在图像拍摄时相机抖动而引起的图像的动态模糊的点扩散函数(PSF；Point Spread Function)之间的卷积(convolution)而得到。因此为了使得到的劣化图像复原至理想图像，进行劣化图像和PSF之间的去卷积(deconvolution)即可。由于卷积运算在频率空间中是乘法运算，因此通过在频率空间中用劣化图像除以PSF，能够得到复原图像。

如此在PSF为已知的情况下，若忽视噪声的影响，则通过上述去卷积运算能够比较容易地得到复原图像。另一方面，在PSF为未知的情况下，为了得到复原图像，需要根据劣化图像来估计PSF。关于PSF的估计，例如在非专利文献1中公开的基于稀疏编码(sparse coding)的方法等是公知的。

在该方法中，首先根据手动给出的初始PSF和劣化图像来得到第1复原结果。接着通过使用第1复原结果和劣化图像来估计认为更接近真实PSF的PSF，并用估计出的PSF来修正初始PSF。使用修正的PSF来根据劣化图像得到第2复原结果。以后，根据第(N-1)PSF和劣化图像得到第N复原图像，根据第N复原图像和劣化图像来估计第N PSF，通过如此反复操作，同时进行PSF的估计和劣化图像的复原。

专利文献

专利文献1日本特开2006-129236号公报

专利文献2日本特表2009-522825号公报

专利文献3日本特开2008-092515号公报

非专利文献

非专利文献1：“High-quality Motion Deblurring from a SingleImage”，Qi Shan，Jiaya Jia，and Aseem Agarwala，SIGGRAPH 2008

非专利文献2：米司·田中·奥富合作编撰，“用于线性相机抖动图像复原的psf参数估计方法”，信息处理学会研究报告，第2005卷，第38号，p.47-52，2005年(米司·田中·奥富共著，[直線的手ぶれ画像復元のためのpsfパラメ一タ推定手法」，情報処理学会研究報告，第2005巻，第38号，p.47-52，2005年)

非专利文献3：J.Bioucas-Dias，“Bayesian wavelet-based imagedeconvolution：a gem algorithm exploiting a class of heavy-tailed priors”，IEEE Trans.Image Proc.，vol.4，pp.937-951，April 2006

非专利文献4：Levin，“Blind Motion Deblurring Using ImageStatistics”，Advances in Neural Information Processing Systems(NIPS)，Dec 2006

非专利文献5：Bob Fergus et al.，“Removing camera shake from asingle image”，Barun Singh Aaron Hertzmann，SIGGRAPH 2006

发明内容

若为了在暗的环境下聚集充足的光量而延长曝光时间，则容易发生相机抖动。而为了在此暗的环境下通过光学式相机抖动校正来应对动态模糊，需要增大镜头和传感器的操作范围。但是，若操作范围变大，则存在当镜头等移动时会产生时间延迟的问题。另外，增大操作范围有物理性界限。因此，光学式相机抖动校正有其局限性。

另一方面，现有信号处理的复原方法是基于图像整体的信息来进行PSF的估计和图像的复原，因此存在处理所需的计算量和存储量增多的问题。一般而言，若将构成图像的像素的数量设为n，则需要的计算量和存储量表示为O(n^2)。因此，为了复原像素数量多的图像，需要大量的计算资源。另外，在图像中包含噪声和被摄体动态模糊等情况下，若使用图像整体来进行复原处理，则PSF的估计会产生误差，从而难以估计出与真实的PSF接近的PSF。

在专利文献3中，公开了削减用于提取在图像中所包含的主要的被摄体的运算量的技术。根据该技术，将图像分割成多个部分领域，并根据在部分领域中是否包含主要被摄体来切换处理。但是，不能将专利文献3所公开的技术应用于图像的复原。为了复原包含动态模糊的图像，无论对图像的哪一个领域，都需要进行同样的复原处理。即，即使在将图像分割成多个部分领域的情况下，也需要基于同样PSF的复原处理。

本发明鉴于上述问题而提出。着眼于劣化图像及复原图像的尺寸在绝大多数情况下比PSF的尺寸大的事实，通过使用对估计而言最低限度所需的数据，能在保持精度的前提下实现计算量的削减。本发明的目的在于，提供在保持复原的精度的同时削减用于PSF估计的计算量的图像处理装置、方法、以及具备该图像处理装置的摄像装置。

本发明的图像处理装置，从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像，具备：初始图像设定部，其设定临时的复原图像；图像块选定部，其从所述劣化图像以及所述临时的复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述临时的复原图像中位于同一坐标的两个图像块构成；PSF估计部，其得到与所述多个图像块对分别对应的多个点扩散函数；PSF选择部，其从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和图像复原部，其使用所述候选的点扩散函数从所述劣化图像生成复原图像。

在某实施方式中，本发明的图像处理装置具备初始PSF设定部，该初始PSF设定部设定临时的点扩散函数，所述初始图像设定部使用所述临时的点扩散函数从所述劣化图像生成所述临时的复原图像。

在某实施方式中，当将所述劣化图像以及所述临时的复原图像的横方向设为X方向，纵方向设为Y方向时，包含在所述多个图像块对中的各图像块的X方向尺寸以及Y方向尺寸分别与由所述临时的点扩散函数取有限值的像素构成的区域的X方向尺寸以及Y方向尺寸之中大的一方相等。

在某实施方式中，所述图像块选定部从所述劣化图像以及所述临时的复原图像随机选定所述多个图像块对。

在某实施方式中，当设n＝1，2，…N(N为2以上的整数)，所述临时的复原图像为第n临时的复原图像，所述复原图像为第n复原图像时，在生成所述第n复原图像后，所述初始图像设定部通过所述第n复原图像来更新所述第n临时的复原图像作为第(n+1)临时的复原图像，所述图像块选定部从所述劣化图像以及所述第(n+1)临时的复原图像选定与所述多个图像块对相比至少一部分不同的多个图像块对，由此反复所述候选的点扩散函数以及所述复原图像的更新。

在某实施方式中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为f_k(k为1以上的整数)，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为i_b(b为1以上的整数)，将通过i_b和f_k之间的去卷积运算而得到的函数表示为s_kb时，所述PSF选择部基于通过s_kb和f_k之间的卷积运算而得到的函数(s_kb*f_k)与i_b之间的差，来选定所述候选的点扩散函数。

在某实施方式中，所述PSF选择部针对所述多个点扩散函数的每一个，算出(s_kb*f_k)和i_b之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。

在某实施方式中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，并从所述临时的复原图像选定各自与包含在所述第1图像块群中的各图像块位于同一坐标的多个图像块作为第2图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为f_k(k为1以上的整数)，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为i_b(b为1以上的整数)，将表示包含在所述第2图像块群中的与所述i_b对应的图像块中的亮度分布的函数表示为s_b(b为1以上的整数)时，所述PSF选择部基于通过s_b和f_k之间的卷积运算而得到的函数(s_b*f_k)与i_b之间的差，来选定所述候选的点扩散函数。

在某实施方式中，所述PSF选择部针对所述多个点扩散函数的每一个，算出(s_b*f_k)和i_b之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。

在某实施方式中，所述图像块选定部从所述劣化图像随机选定所述第1图像块群。

在某实施方式中，所述PSF选择部将由所述PSF估计部得到的所述多个点扩散函数划分成由彼此类似的多个点扩散函数构成的多个簇，并按每个簇来决定所述多个簇的每一个中的平均的点扩散函数作为代表PSF，从决定的多个代表PSF中选定候选的代表PSF，且从与所述候选的代表PSF对应的簇中选定所述候选的点扩散函数。

本发明的摄像装置具备本发明的图像处理装置，该摄像装置具备固体摄像元件，并将由所述固体摄像元件取得的信号作为所述劣化图像输入到所述图像处理装置。

本发明的图像处理方法是从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像的方法，当n＝1，2，…N(N为2以上的整数)时，包括：步骤(A)，设定第n复原图像；步骤(B)，从所述劣化图像以及所述第n复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第n复原图像中位于同一坐标的两个图像块构成；步骤(C)，得到与所述多个图像块对分别对应的多个点扩散函数；步骤(D)，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和步骤(E)，使用所述候选的点扩散函数从所述劣化图像生成第n+1复原图像，在该方法中，从n＝1起开始从所述步骤(A)至所述步骤(E)的各步骤，且直到生成第N+1复原图像为止都反复从所述步骤(A)至所述步骤(E)的各步骤，由此复原所述劣化图像。

本发明的程序控制图像处理装置的动作，该图像处理装置通过从输入的劣化图像反复复原处理，来生成动态模糊较所述劣化图像少的复原图像，所述程序使图像处理装置执行处理，当n＝1，2，…N(N为2以上的整数)时，所述处理包括：步骤(A)，设定第n复原图像；步骤(B)，从所述劣化图像以及所述第n复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第n复原图像中位于同一坐标的两个图像块构成；步骤(C)，得到与所述多个图像块对分别对应的多个点扩散函数；步骤(D)，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和步骤(E)，使用所述候选的点扩散函数从所述劣化图像生成第n+1复原图像，在所述处理中，从n＝1起开始从所述步骤(A)至所述步骤(E)的各步骤，且直到生成第N+1复原图像为止都反复从所述步骤(A)至所述步骤(E)的各步骤。

另外，可以将本发明的程序容纳于计算机可读取的记录介质。

根据本发明，在通过PSF估计来对劣化图像进行复原的系统中，能够实现计算量及存储量的削减。

附图说明

图1是表示图像的像素构成的图。

图2是表示理想图像中的点像和劣化图像中的像的不同的图。

图3是表示本发明第1实施方式中的图像处理装置的概略构成的图。

图4是表示本发明第1实施方式中的图像处理装置的功能构成的框图。

图5是表示本发明第1实施方式中的图像处理装置的流程的流程图。

图6是表示本发明第1实施方式中的PSF的估计方法的概念图。

图7是表示本发明第1实施方式中的PSF的评价方法的概念图。

图8是表示本发明第2实施方式中的PSF的评价方法的概念图。

图9是表示本发明第3实施方式中的PSF选择部的处理流程的流程图。

图10是表示本发明第3实施方式中的PSF的簇的概念图。

图11是表示本发明第4实施方式中的摄像装置的概略构成的图。

具体实施方式

在说明本发明的实施方式前，先说明本发明的基本原理。

图1是示意地表示本说明书中的图像的构成的图。在本说明书中，将表示劣化图像的函数表示为i(x，y)。坐标(x，y)是表示图像中的像素的位置的二维坐标。在图像130例如由排列成行列状的M×N个像素135构成的情况下，若使x和y为各自满足0≤x≤M-1、0≤y≤N-1关系的整数，则通过坐标(x，y)能够确定构成图像的各个像素的位置。在此，将坐标的原点(0，0)置于图像的左上角，X轴在垂直方向，Y轴在水平方向上延伸。但是，坐标的取法是任意的。令i(x，y)表示在劣化图像上的坐标(x，y)处的亮度。在本说明书中，有时将图像上的坐标(x，y)处的亮度称为“像素值”。

在以下的说明中，设劣化图像i(x，y)因相机抖动而产生，“动态模糊”意为因相机抖动而引起的模糊。将没有动态模糊的图像(理想图像)的亮度分布设为s(x，y)，并将对动态模糊进行规定的点扩散函数(PSF)设为f(x，y)。f(x，y)基于曝光中的相机的轨迹而决定。由于在曝光中相机移动，因此包含在理想图像中的一个像素的像(点像)在劣化图像中成为扩展到多个周边像素的像。图2举例说明了理想图像中的点像在劣化图像中成为模糊像的样子。若设这样的动态模糊在全部的点像中均等地产生(shift-invaliant：平移不变)，则可以说f(x，y)是表示如下的函数：从某点像起，该点像以怎样的权重扩展到位于以该点像为原点的相对坐标(x，y)的周边像素。在本说明书中，将f(x，y)设为具有仅在-m≤x≤m、-n≤y≤n(m，n为1以上的整数)范围内的有限的值的函数。换言之，将因相机抖动而在理想图像中的一个点像上产生动态模糊的范围设为包含在具有(2m+1)×(2n+1)尺寸的矩形领域内。关于i(x，y)、s(x，y)、f(x，y)，若忽视噪声的影响，则以下的式子1成立。

[数1]

i(x，y)＝s(x，y)*f(x，y)     (式子1)

此处记号“*”表示卷积运算(卷积)。式子1的右边一般用以下的式子2来表现。

[数2]

$s(x,y)*f(x,y)=\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}s(x-j,y-k)f(j,k)\mathrm{djdk}$ (式子2)

在f(x，y)由(2m+1)×(2n+1)个像素构成的情况下，上述的式子2能够用以下的式子3来表现。

[数3]

$s(x,y)*f(x,y)=\frac{1}{m\×n}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}\underset{k=-n}{\overset{n}{\mathrm{\Σ}}}s(x-j,y-k)f(j,k)$ (式子3)

在动态模糊的点扩散函数f(x，y)为已知的情况下，通过针对所得到的劣化图像i(x，y)的去卷积运算(反卷积)，能够复原没有动态模糊的图像s(x，y)。另外，在f(x，y)不是已知的情况下，需要在根据图像来估计f(x，y)的基础上求取s(x，y)。

两个函数的卷积的傅立叶变换一般通过各个函数的傅立叶变换的乘积来表现。因此，若i(x，y)、s(x，y)、f(x，y)的傅立叶变换各自表示为I(u，v)、S(u，v)、F(u，v)，则根据式子1推导出以下的式子4。另外，(u，v)是频率空间中的坐标，各自与实际图像中的x方向以及y方向的空间频率对应。

[数4]

I(u，v)＝S(u，v)·F(u，v)   (式子4)

此处记号“·”表示频率空间中的函数的“乘积”。若对式子(4)变形，则得到以下的式子5。

[数5]

$S(u,v)=\frac{I(u,v)}{F(u,v)}$ (式子5)

该式子5示出了：用劣化图像i(x，y)的傅立叶变换I(u，v)除以作为点扩散函数PSF的f(x，y)的傅立叶变换F(u，v)而得到的函数相当于理想图像s(x，y)的傅立叶变换S(u，v)。即，若求得i(x，y)和f(x，y)，则能够决定S(u，v)。由于I(u，v)是对劣化图像i(x，y)进行傅立叶变换而得到的产物，因此若求得作为相机抖动的点扩散函数PSF的f(x，y)，则能通过信号处理来从劣化图像对图像进行复原(接近真实的图像)。

在本发明中，使用劣化图像和复原过程的图像(临时的复原图像)来决定作为点扩散函数PSF的f(x，y)。在f(x，y)的决定的过程中，从劣化图像和临时的复原图像中提取多个图像块对，并按每个图像块对来估计PSF。这些PSF能够通过公知的盲去卷积手法来求取。由于图像块对包含噪声和被摄体动态模糊等原因，能估计出与真实的PSF相差很大的PSF。因此，所估计的各PSF能成为按每个图像块对而不同的函数。从这些PSF中选定认为接近真实的PSF的PSF来作为候选PSF。对于候选PSF的选定，例如使用基于RANSAC(随机抽样一致性)的方法。根据此方法，能按每个PSF来判定通过PSF和临时的复原图像的卷积而得到的图像究竟有多接近劣化图像。判定的结果是，排除误差大的PSF，并选定误差小的PSF作为候选PSF。因此，排除根据包含噪声和被摄体动态模糊等的图像块对而估计出的PSF，并选定接近真实的PSF的PSF作为候选PSF。从所选定的候选PSF和劣化图像通过去卷积来生成复原图像。

如此，由于不是针对图像整体，而是针对作为图像一部分的每个图像块对来进行PSF的估计，因此能够削减复原所需的处理量以及存储量。另外，能够不受局部的噪声和被摄体动态模糊等的影响来选定接近真实的PSF的PSF。

以下，参照附图来说明本发明的实施方式。在以下的说明中，对同样的要素标注同样的符号。

(第1实施方式)

图3是表示本发明的第1实施方式中图像处理装置200的概略构成图。本实施方式的图像装置200通过从输入的劣化图像100反复复原处理来生成接近理想图像的复原图像120。图像处理装置200具备：图像处理部220，其基于输入的劣化图像100来进行信号处理；以及存储器240，其容纳在处理的过程中生成的各种数据。

劣化图像100是由数码相机等摄像装置拍摄的图像的数据，包含因相机抖动而引起的动态模糊。图像处理部220不仅执行劣化图像100的复原处理，还进行色调校正、分辨率变更、数据压缩等各种信号处理。图像处理部220通过公知的数字信号处理器(DSP)等硬件、和用于执行图像处理的软件的组合而合理实现。存储器240由DRAM等构成。存储器240不仅记录劣化图像100，还暂时记录由图像处理部220受理各种图像处理后的图像数据、经压缩的图像数据等。由图像处理部220最终生成的复原图像120能经由未图示的通信装置通过无线或者有线发送到其他装置(未图示)。

以下，参照图4来说明图像处理部220的构成。

图像处理部220具备：图像输入部250；PSF决定部260；以及复原部270。图像输入部250具有：初始PSF设定部222，其设定临时的PSF；初始图像设定部224，其使用临时的PSF来从劣化图像100生成临时的复原图像。PSF决定部260具有：图像块选定部226，其从劣化图像和临时的复原图像提取多个图像块对；PSF估计部228，其根据各个图像块对来估计PSF；PSF选择部230，其从估计出的多个PSF中选定候选PSF。复原部270具有：图像复原部232，其使用所选定的候选PSF来从劣化图像100生成复原图像；以及结束判定部234，其判定复原处理是否结束，在判定为结束的情况下输出复原结果。

以下，更详细地说明各构成要素。

初始PSF设定部222设定图像复原处理所需的临时的PSF。临时的PSF例如基于表示由搭载于拍摄了劣化图像100的摄像装置的陀螺仪或加速度传感器等检测器检测出的、拍摄时的相机的轨迹的数据而设定。那样的数据例如容纳于存储器240或未图示的记录介质等，并由初始PSF设定部222读入。临时的PSF也可以不依赖于由这些检测器检测出的数据而由使用者手动输入。尽管从缩短图像处理所需时间的观点出发，优选使临时的PSF接近真实的PSF，但即使较大偏离真实的PSF，也能通过后述的处理来复原。

初始图像设定部224不仅取得容纳于存储器240或未图示的记录介质等的劣化图像100，还设定后述的PSF估计处理所需的临时的复原图像。在第1循环处理中，临时的复原图像根据临时的PSF和劣化图像100生成。在第2循环以后的处理中，将通过一循环前的处理而复原的图像设定为临时的复原图像。作为使用临时的PSF来复原劣化图像100的方法，能够使用公知的维纳滤波器法和理查德森·露西(RL)法等非盲去卷积手法。另外，还能使用在非专利文献1等中公开的盲去卷积手法。临时的复原图像在第1循环的处理中，可以由初始图像设定部224生成，也可以由其他设备生成并预先容纳于存储器240或未图示的记录介质。

图像块选定部226分别从劣化图像100以及临时的复原图像将彼此位于同一坐标的两个图像块的对随机提取多个。将图像块的尺寸设定为比临时的PSF和所估计的PSF的尺寸大的尺寸。在本实施方式中，将图像块的X方向尺寸及Y方向尺寸设定为与临时的PSF或者在上次的步骤估计出的PSF的X方向尺寸及Y方向尺寸之中大的一方一致。例如，在将劣化图像的尺寸设为1000×1000像素，且临时的PSF或者估计出的PSF的像素值取有限的值(大于0的值)的像素全部包含在50×100像素中的情况下，提取具有100×100像素的矩形领域的图像块。另外，若图像块过小，则不包含易判别动态模糊的边缘(edge)部分(亮度在空间上变化大的部分)的图像块的比例大。在那样的图像块中，由于不能判断亮度的变化是基于动态模糊还是纹理(样子)，因此估计与真实的PSF接近的PSF变得困难。因此，在PSF的尺寸太小的情况下(例如30×30像素以下的情况)，优选例如将图像块的尺寸设定为PSF的尺寸的3～5倍以上。另外，虽然在本实施方式中各个图像块具有同样的尺寸，但是即使每个图像块的尺寸不同也能够进行处理。

虽然图像块的数量越多，能够估计出接近真实PSF的PSF的概率越高，但是其需要的计算量及存储量也会增大。所提取的图像块对的数量能够对应计算资源而任意设定。在本实施方式中，作为一例，提取(劣化图像的全部像素数)/(一个图像块的像素数)个图像块对。另外，虽然图像块对被设定为随机选定，但是也可以基于给定的基准来选定。例如，后述的PSF估计部228知道对与真实的PSF不接近的PSF进行估计的图像块，因此可以在第2循环以后的处理中，进行控制使得随机选定该块附近之外的块。为了选定接近真实的PSF的PSF，特别优选从包含边缘的场所选定图像块对。具体而言，可以使用公知的索贝尔滤波器和普鲁维特滤波器等来算出各图像块的边缘，并基于算出的边缘强度来选定图像块对。例如，可以从随机选出的多个图像块中，只选定将边缘强度为一定值以上的像素包含50％以上的图像块。

图像块选定部226还从劣化图像100提取多个图像块用于PSF的评价。这些图像块(劣化图像块)是为了后述的PSF选择部230从多个PSF中选定候选PSF而使用。能与上述PSF估计用的图像块对独立地提取这些劣化图像块。另外，从减少计算量和存储量的观点出发，能反复使用上述PSF估计用而选定的图像块。为了有效进行后述PSF选择部230中的评价，优选这些评价用的图像块的尺寸及选定场所与在上述图像块对的选定时不同。但是，即使相同，也能进行处理。另外，劣化图像块能够随机选定，也可以与上述图像块对同样，基于给定的基准来选定。另外，特别优选从包含边缘的场所选定。与上述图像块对的数量同样，劣化图像块的数量能够对应计算资源而任意设定。

PSF估计部228基于由图像块选定部226选定的多个图像块对的每一个来估计PSF。作为估计方法，能够使用公知的盲去卷积法。例如能通过在非专利文献1中公开的稀疏编码来估计PSF。

PSF选择部230从由PSF估计部228估计出的多个PSF中选定认为接近真实的PSF的PSF作为候选PSF。关于候选PSF选定的细节将后述。

图像复原部232使用所选定的候选PSF来复原劣化图像100。此处的复原处理与初始图像设定部224中的复原处理同样，通过公知的复原方法来实现。另外，在本实施方式中，虽然将图像复原部232和初始图像设定部224作为不同的功能块，但也可以是一个功能部来实现这些功能的构成。

结束判定部234对图像复原部232复原的图像和临时的复原图像进行比较，在变化小于给定阈值的情况下，判断为复原处理已经结束，输出此图像作为复原图像120。在变化为阈值以上的情况下，将此图像输入到初始图像设定部224，并设定为新的临时的复原图像。

图4所示的构成是图像处理部220的功能块的一例，图像处理部220能分割为其他的功能块。另外，各功能块可以通过专门的硬件实现，还能通过嵌入使公知的硬件执行上述处理的软件来合理实现。

接着，参照图5来说明复原处理的流程。

首先，初始图像设定部224从存储器240等取得复原对象的劣化图像100(S502)。其次，初始PSF设定部222从存储器240等取得初始PSF(S504)。初始图像设定部224使用所取得的劣化图像100和初始PSF来生成临时的复原图像(S506)。另外，初始PSF的设定和劣化图像的取得的顺序可以交替，也可以同时。

接着，图像块选定部226从劣化图像100和临时的复原图像选定多个图像块对(S508)。PSF估计部从估计出的多个图像块对的每一个来估计PSF(S510)。然后，PSF设定部230从估计出的PSF中选定认为与真实的PSF接近的PSF，并将其设定为候选PSF(S512)。

以下，参照图6和图7来说明图像块的选定(S508)、各个图像块中的PSF的估计(S510)、以及候选PSF的选定(S512)的细节。

图6是示意地表示图像块的选定和各图像块中的PSF的估计的情况的图。图像块选定部226从劣化图像和临时的复原图像选定多个图像块对。如图所示，将选定数设为K(K是2以上的整数)，将表示从劣化图像选定的第k个图像块的函数设为i_k(k＝1，2，…K)，并将表示从临时的复原图像选定的第k个图像块的函数设为s_k(k＝1，2，…K)。使用公知的PSF估计方法根据i_k和s_k来估计作为PSF的f_k。其结果是，从K个图像块对得到K个PSF(f₁，f₂，…，f_k)。

在此，作为一例，说明基于非专利文献1所公开的手法的PSF估计手法。作为PSF的f_k通过求取使以下的式子6的右边最小的f_k而决定(f_k的优化)。

[数6]

$E\left(f_k\right)=\left(\underset{{\∂}^{*}\∈\mathrm{\Θ}}{\mathrm{\Σ}}{w}_{\mathrm{\κ}\left({\∂}^{*}\right)}{\left|\right|{\∂}^{*}{s}_k*f_k-{\∂}^{*}{i}_k\left|\right|}_2^2\right)+{\left|\right|f_k\left|\right|}_1$ (式子6)

式子6的右边的第1项给出了复原图像块s_k和作为PSF的f_k之间的卷积表示是否接近劣化图像块i_k的评价基准。变量w_k是手动设定的“权重”。Θ是规定对图像实施怎样的微分的运算符的集合。具体而言，具有0次微分、1次微分(分别在x、y方向)、2次微分(在x方向2次、在y方向2次、在x和y方向各1次)的共计6个微分参数。d*是微分运算符。若使用d*来表现Θ，则Θ＝{d⁰、d_x、d_y、d_xx、d_xy、d_yy}。通过d*能进行使用亮度信息和边缘信息两者的处理，还能得到仅凭亮度而不能得到的信息。式子6的右边的第2项是f_k的一个模(norm)。此项是基于稀疏编码的项。根据表示f_k的矩阵中的大部分元素为0(没有运动)的情况，采用此优化项。在本实施方式中，与非专利文献1同样，进行基于“内点法(interior point method)”的优化，从而能够实现整体优化。f_k的优化的具体的计算方法在非专利文献1中公开。

接着，参照图7来说明候选PSF的选定(S512)的细节。

若由PSF估计部228按每个图像块对求取f_k，则图像块选定部226从劣化图像100选定评价用的多个图像块(劣化图像块)。如图7所示，将劣化图像块的选定数设为B(B为2以上的整数)，将表示第b个劣化图像块的函数表示为i_b(b＝1，2，…B)。PSF选择部230通过在f_k和劣化图像块i_b之间进行去卷积运算，来得到表示被复原的图像块(复原图像块)的函数s_kb。其结果是，对于有K个的PSF的每一个，生成B个复原图像块。PSF选择部230在复原图像块s_kb和f_k之间进一步进行卷积，并基于所得到的结果(s_kb*f_k)和劣化图像块i_b之间的误差来评价各PSF。

以下，说明基于误差的PSF的评价方法。首先，设在一个劣化图像块中包含J个像素，并将劣化图像块i_b中的第i个像素值表示为i_bj(j＝1，2，…J)。另外，将通过复原图像块s_kb和f_k之间的卷积而得到的图像中的第j个像素值表示为(s_kb*f_k)j(j＝1，2，…J)。在本实施方式中，将(s_kb*f_k)和i_b之间的平方误差定义为Δ_kb，并基于该Δ_kb成为给定的阈值t以下的图像块的数量来选定候选PSF。例如，选定满足以下的式子7的图像块的数量最大的f_k作为候选PSF。

[数7]

${\mathrm{\Δ}}_{\mathrm{kb}}\≡\underset{j}{\mathrm{\Σ}}{|{(s_{\mathrm{kb}}*f_k)}_j-i_{\mathrm{bj}}|}^2\≤t$ (式子7)

此评价方法基于RANSAC(随机抽样一致性)。根据此评价方法，在从多个图像块对估计出的PSF中，从包含噪声和被摄体动态模糊等的图像块对估计出的PSF的误差大，故而被排除。且由于将从噪声和被摄体动态模糊等较少的图像块对估计出的PSF中的任一个作为候选PSF，因此即使在图像中包含噪声和被摄体动态模糊等，也能够估计接近真实的PSF的PSF。

另外，在本实施方式中，候选PSF不需要非得是满足式子7的图像块的数量为最大的f_k。例如，可以从满足式子7的图像块的数量大于给定的阈值的f_k中选择任意一个，来将其作为候选PSF。另外，虽然将估计出的多个PSF中的一个选定为候选PSF，但是并不限于这样的选定方法。例如，可以基于式子7来选择多个(例如图像块对的数量的5％左右)PSF中的一部分，并将它们的平均作为候选PSF。

若候选PSF被选定，则图像复原部232使用候选PSF来复原劣化图像100(S514)。复原处理使用公知的理查德森·露西(LR)法和维纳滤波器法等公知的方法。

结束判定部234将复原后的图像与临时的复原图像比较，来判定复原处理是否结束(S518)。复原处理是否结束的判定能够基于任意的基准而进行。例如，能在复原后的图像和临时的复原图像之间的每像素的误差的平均(像素值的差的绝对值/总像素数)满足0.0001时判定为已结束。在判定为已结束的情况下，输出复原后的图像作为最终的复原图像120(S520)。在判定为未结束的情况下，初始图像设定部224将复原后的图像设定为新的临时的复原图像(S519)，并反复S508至S518的处理。

如上所述，本实施方式中的图像处理装置200基于输入的劣化图像100来反复进行复原处理，输出与真实的图像(理想图像)接近的复原图像120。在复原的过程中，选定多个图像块，按每个图像块进行PSF的估计以及评价，来选定候选PSF。由于能够按尺寸小的每图像块来进行计算，因此本实施方式中的图像处理装置200与现有技术比较，能实现计算量和存储量的削减。另外，由于基于RANSAC来选定候选PSF，因此能不受局部的噪声和被摄体动态模糊等影响来选定接近真实的PSF的PSF。

以下，说明在本实施方式的图像处理装置200进行的复原处理中所需的运算量及存储量与现有技术比较所改善的程度。若将图像的像素数设为N，将用于PSF估计的各像素块所含的像素数设为n，将复原处理的重复次数设为m，则相对于现有技术中的运算量O(N²)，本实施方式中的运算量表示为O(m×n²)。作为一例，若使N＝10⁶、n＝10⁴、m＝10²，则在使用现有技术的情况下需要的运算量为O(10¹²)，而本实施方式中的运算量为O(10¹⁰)，从而运算量减小到约1/100。另一方面，关于存储量，复原运算用到的临时的存储区域在现有技术中大概与N成正比，在本实施方式中大概与n成正比，因此需要的存储量与n/N成正比地变小。在N＝10⁶、n＝10⁴的情况下，需要的存储量减小到约1/100。

在以上的说明中，虽然将图像处理装置200作为单体的装置来描述，但是图像处理装置200能够以各种各样的方式来实现。例如，能通过使任意的计算机执行可执行上述复原处理的程序，来作为图像处理装置200产生功能，所述程序记录于CD-ROM或闪存等记录介质，或者通过电气通信线路而提供。

在本说明书中，设劣化图像的像素值i(x，y)和复原图像的像素值s(x，y)表示在坐标(x，y)处的亮度。此处的“亮度”不仅指所谓的亮度信号的强度，还可以解释成RGB的任一颜色分量的信号强度、或者RGB各分量的信号强度的和等。另外，在本实施方式的图像处理装置用于通过X射线照相机或红外线照相机所拍摄的图像的复原处理的情况下，“亮度”也可以解释为表示X射线或红外线的信号强度。

(第2实施方式)

接着，参照图8来说明本发明的第2实施方式。本实施方式的图像处理装置与第1实施方式中的图像处理装置相比，只是PSF选择部230中的候选PSF的选定的方法不同，除此以外相同。因此，针对与第1实施方式中的图像处理装置重复的点省略说明，并仅说明不同的点。

本实施方式的图像处理装置与第1实施方式中的图像处理装置的不同之处在于，在图5中的S512中，评价用的图像块不仅从劣化图像，还从临时的复原图像中提取。在图5所示的S508中，若PSF估计部228按每个图像块对求取f_k(k＝1，2，…K)，则图像块选定部226从劣化图像100以及临时的复原图像将由彼此位于同一坐标的两个图像块构成的评价用的图像块对选定多个。以下，在评价用的图像块对中，将从劣化图像提取的图像块称为“劣化图像块”，从临时的复原图像提取的图像块称为“复原图像块”。

如图8所示，将评价用的图像块对的选定数设为B(B为2以上的整数)，将表示第b个劣化图像块的函数表示为i_b(b＝1，2，…B)。同样，将表示第b个复原图像块的函数表示为s_b(b＝1，2，…B)。PSF选择部230在f_k和复原图像块s_b之间进行卷积，并基于所得到的结果(s_b*f_k)和劣化图像块i_b之间的误差来评价各PSF。

关于本实施方式中基于误差的PSF的评价方法与第1实施方式中的评价方法相同。将劣化图像块i_b中的第j个像素值表示为i_bj(j＝1，2，…J)，将通过复原图像块s_b和f_k之间的卷积而得到的图像中的第j个像素值表示为(s_b*f_k)_j(j＝1，2，…J)。将给定的阈值设为t，并选定满足以下的式子8的图像块的数量最大的f_k作为候选PSF。

[数8]

${\mathrm{\Δ}}_{\mathrm{kb}}\≡\underset{j}{\mathrm{\Σ}}{|{(s_b*f_k)}_j-i_{b_j}|}^2\≤t$ (式子8)

该评价方法也与第1实施方式中的评价方法同样，将从包含噪声和被摄体动态模糊等的图像块对估计出的PSF排除。由于仅选定从噪声和被摄体动态模糊等较少的图像块对估计出的PSF来作为候选PSF，因此即使在图像中包含噪声和被摄体动态模糊等，也能够估计接近真实的PSF的PSF。

在本实施方式中，候选PSF也不需要非得是满足式子8的图像块的数量为最大的f_k。例如，可以从满足式子8的图像块的数量大于给定的阈值的f_k中选择任意一个，来将其作为候选PSF。另外，虽然将估计出的多个PSF中的一个选定为候选PSF，但是并不限于这样的选定方法。例如，可以基于式子7来选择多个(例如图像块对的数量的5％左右)PSF中的一部分，并将它们的平均作为候选PSF。

(第3实施方式)

接着，说明本发明的第3实施方式。本实施方式的图像处理装置与第1、第2实施方式中的图像处理装置比较，只是PSF选择部230进行的候选PSF的选定的方法不同，除此以外与第1、第2实施方式相同。因此，以下针对与第1、第2实施方式中的图像处理装置重复的点省略说明，并仅说明不同的点。

本实施方式中的PSF选择部230在图5所示的步骤S512中，基于估计出的多个PSF的相互类似的程度而分类成多个簇，之后从认为包含与真实的PSF接近的PSF的簇中选定候选PSF。由此，能够进一步削减处理量。

图9是表示本实施方式中的PSF选择部230在步骤512中进行的处理的流程的流程图。首先，PSF选择部230针对多个PSF(f₁、f₂、…f_k)，基于它们类似的程度而将它们分类成多个簇(S601)。其次，按每个簇计算在该簇中的平均的PSF(代表PSF)(S602)。接着，从算出的多个代表PSF中选定认为最接近真实的PSF的代表PSF(S603)。最后，从与选定出的代表PSF对应的簇中，选定认为最接近真实的PSF的PSF作为候选PSF(S604)。

以下，更具体地说明各步骤中的处理。

图10是示意地表示本实施方式中的模式处理的概念图。图10(a)表示在步骤S510所算出的多个PSF(f₁、f₂、…、f_k)的例子。PSF选择部230在步骤S601中，如图10(b)所示，把这些PSF分类成多个簇。

例如，对多个簇的分类按照以下的过程进行。首先，从多个PSF选择从_kC₂种组合中的两个PSF。其次，算出已选择的两个PSF的差的绝对值(L1模)Δf。若将已选择的两个PSF表示为f_k1及f_k2，将它们考虑为图像时的第j个像素中的亮度值分别表示为(f_k1)_j、(f_k2)_j，则Δf由以下的式子9表示。

[数9]

$\mathrm{\Δf}=\underset{j}{\mathrm{\Σ}}|{\left(f_{k1}\right)}_j-{\left(f_{k2}\right)}_j|$ (式子9)

PSF选择部230在Δf比给定的阈值ft小的情况下把两个PSF分类成相同的簇，在Δf为阈值ft以上的情况下把两个PSF分类成不同的簇。通过对任意的两个PSF的组合进行以上的处理，能够基于它们的类似度来将多个PSF分类成多个簇。

PSF选择部230在步骤S602中从分类的多个簇的每一个决定代表PSF。代表PSF能够通过取属于各个簇的全部PSF的平均值而求取。另外，也可以不是平均值，而是取中位数来求取代表PSF。图10(c)表示如此求取的代表PSF(f_s1、f_s2、…、f_sK)的例子。

在接下来的步骤S603中，PSF选择部230从多个代表PSF中选定认为最接近真实的PSF的代表PSF。作为选定方法，能使用与基于第1实施方式中的式子7或者第2实施方式中的式子8而进行的候选PSF的选定方法同样的方法。

接着，在步骤S604中，PSF选择部230从属于与已选定的代表PSF对应的簇的多个PSF中选定认为最接近真实的PSF的PSF作为候选PSF。候选PSF的选定方法使用第1或第2实施方式中的方法即可。

根据本实施方式，不是针对由PSF估计部228估计出的全部的PSF来进行式子7或者式子8所示的判定，而是在首先确定了认为与真实的PSF接近的PSF的组(簇)的基础上，针对属于那样的簇的较少的PSF来进行式子7或者式子8所示的判定。由于与对簇的分类相关的处理是差分运算，因此计算量较作为卷积运算的式子7、8的处理少。因此，能够减少整体处理的计算量。

(第4实施方式)

接着，参照图11来说明本发明的第4实施方式。本实施方式涉及具备第1实施方式中的图像处理装置的摄像装置。因此，针对与第1实施方式重复的部分省略说明，并仅说明不同点。

图11是表示在本实施方式中的摄像装置的概略构成的框图。虽然本实施方式的摄像装置是数字式的电子照相机，但是本发明并不限于此。本实施方式的摄像装置，如图11所示，具备：摄像部300；图像处理装置200，其进行各种信号处理及图像的复原；摄像显示部600，其显示通过摄像而取得的图像；记录部400，其记录图像的数据；以及系统控制部500，其控制各部。本实施方式的摄像装置与公知的摄像装置的主要不同点是图像处理装置200的动作。

本实施方式中的摄像部300具有：固体摄像元件(图像传感器)，其具备排列在摄像面上的多个光感知单元(光电二极管)；快门315，其具有光圈功能；以及摄像镜头320，其用于在固体摄像元件310的摄像面上形成像。固体摄像元件310的典型例子是CCD或者CMOS传感器。摄像镜头320具有公知的结构，在现实中能够是由多个镜头构成的镜头组件。快门315以及摄像镜头320由未图示的机构驱动，执行光学变焦、自动曝光(AE：Auto Exposure)、自动对焦(AF：Auto Focus)所需的动作。

摄像部300还具备驱动固体摄像元件310的摄像元件驱动部330。摄像元件驱动部330例如能由CCD驱动器等半导体集成电路构成。摄像元件驱动部300通过驱动固体摄像元件310来从固体摄像元件310读出模拟信号(光电变换信号)并变换成数字信号。

本实施方式中的图像处理装置200具备：图像处理部(图像处理器)220；以及存储器240。图像处理装置200与液晶显示面板等的显示部300、以及存储卡等的记录介质400连接。

图像处理部220除了进行色调校正，分辨率变更，数据压缩等各种信号处理以外，还执行基于本发明的劣化图像的复原处理。图像处理部220通过公知的数字信号处理器(DSP)等硬件、和用于执行图像处理的软件的组合而合理实现。存储器240由DRAM等构成。该存储器240不仅记录从摄像部300得到的图像数据，还暂时地记录由图像处理部220受理的各种图像处理的图像数据、经压缩的图像数据。图像数据在被变换成模拟信号之后由显示部300显示，或者保持数字信号的形态记录于记录介质400。图像数据可以经由未图示的通信装置通过无线或者有线而发送到其他装置(未图示)。

上述构成要素由包含未图示的中央运算处理单元(CPU)以及闪存的系统控制部500控制。另外，虽然本实施方式的摄像装置能够具备光学取景器，电源(电池)，闪光灯等公知的构成要素，但是它们的说明对于本发明的理解不是特别需要，故而省略。

以上的构成充其量只是一例，只要本实施方式的摄像装置能对图像处理装置200输入由固体摄像元件310取得的劣化图像，无论具有怎样的构成都可以。

若用户使用本实施方式的摄像装置来拍摄被摄体，则在摄像部300中的固定摄像元件310取得与形成于摄像面的像对应的信号。图像处理装置200接收由固体摄像元件310取得的信号。如此得到的图像是式子7左边的i(x，y)所表示的劣化图像。图像处理装置200中的图像处理部220进行用于从i(x，y)复原s(x，y)的处理。该复原处理的流程与图5所示的复原处理的流程相同。通过复原处理而得到的复原图像s(x，y)由显示部600显示。

根据本实施方式的摄像装置，图像处理装置200基于由固体摄像元件310取得的劣化图像来反复进行复原处理，并输出接近真实的图像(理想图像)的复原图像。在复原的过程中，选定多个图像块，并按每个图像块进行PSF的估计以及评价，来选定候选PSF。由于按尺寸小的每个图像块来进行计算，因此本实施方式中的摄像装置与进行图像复原处理的现有的摄像装置比较，能实现高速的复原处理。另外，由于进行基于RANSAC的候选PSF的选定，因此本实施方式的摄像装置即使在拍摄的图像中包含局部的噪声和被摄体动态模糊等，也能得到接近真实的图像的复原图像。

另外，虽然在本实施方式中利用了第1实施方式的装置作为图像处理装置，但是并不限于此。可以利用第2、第3实施方式的装置作为图像处理装置，也可以利用本发明的其他的图像处理装置。

产业上的可利用性

根据本发明，能在保持复原精度的基础上削减图像的复原所需的处理时间，因此合理地用于图像处理装置、具备图像处理功能的摄像装置等。

符号说明

100 劣化图像

120 复原图像

130 图像

135 像素

200 图像处理装置

220 图像处理部

222 初始PSF设定部

224 初始图像设定部

226 图像块选定部

228 PSF估计部

230 PSF选择部

232 图像复原部

234 参数更新部

240 存储器

250 图像输入部

260 PSF决定部

270 复原部

300 摄像部

310 固体摄像元件

320 摄像镜头

315 具有光圈功能的快门

330 摄像元件驱动部

400 记录介质

500 系统控制部

600 显示部

Claims (12)

1.一种图像处理装置，包括：

初始图像设定部，其设定临时的期望图像；

图像块选定部，其从源图像以及所述临时的期望图像选定多个图像块对，每个图像块对由各自在所述源图像以及所述临时的期望图像中位于同一坐标的两个图像块构成；

PSF估计器，配置为得到与所述多个图像块对分别对应的多个点扩散函数；

PSF选择器，配置为从由所述PSF估计器得到的所述多个点扩散函数中选择对所述源图像的动态模糊进行规定的候选的点扩散函数；和

输出设备，配置为使用所述候选的点扩散函数从所述源图像生成复原图像；

其中，在设n＝1，2，…N，N为2以上的整数，所述临时的期望图像为第n临时的期望图像，所述复原图像为第n复原图像时，

在生成所述第n复原图像后，所述PSF估计器通过所述第n复原图像来更新所述第n临时的期望图像，作为第n+1临时的期望图像，

所述PSF估计器从所述源图像以及所述第n+1临时的期望图像选择与所述多个图像块对相比至少一部分不同的其他多个图像块对，由此反复所述候选的点扩散函数以及所述复原图像的更新。

2.如权利要求1所述的图像处理装置，其中

所述PSF估计器使用所述临时的点扩散函数从所述源图像生成所述临时的期望图像。

3.如权利要求2所述的图像处理装置，其中，

当将所述源图像以及所述临时的期望图像的横方向设为X方向，纵方向设为Y方向时，

包含在所述多个图像块对中的各图像块的X方向尺寸以及Y方向尺寸分别与由所述临时的点扩散函数取有限值的像素构成的区域的X方向尺寸以及Y方向尺寸之中较大的一方相等。

4.如权利要求1～3中任意一项所述的图像处理装置，其中，

所述PSF估计器从所述源图像以及所述临时的期望图像中随机选择所述多个图像块对。

5.如权利要求1～3中任意一项所述的图像处理装置，其中，

所述PSF估计器相对所述多个图像块对的选择独立地从所述源图像选择多个图像块作为第1图像块群，

所述PSF选择器基于通过s_kb和f_k之间的卷积运算而得到的函数(s_kb*f_k)与i_b之间的差，来选择所述候选的点扩散函数，

其中，f_k表示由所述PSF估计器得到的所述多个点扩散函数中的、第k个点扩散函数，k为1以上的整数，

i_b表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数，b为1以上的整数，

s_kb表示通过i_b和f_k之间的去卷积运算而得到的函数。

6.如权利要求5所述的图像处理装置，其中，

所述PSF选择器针对所述多个点扩散函数的每一个，算出(s_kb*f_k)和i_b之间的平方误差成为给定的阈值以下的值的图像块的数量，并选择所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。

7.如权利要求1～3中任意一项所述的图像处理装置，其中，

所述PSF估计器相对所述多个图像块对的选择独立地从所述源图像中选择多个图像块作为第1图像块群，并从所述临时的期望图像中选择各自与包含在所述第1图像块群中的各图像块位于同一坐标的多个图像块作为第2图像块群，

所述PSF选择器基于通过s_b和f_k之间的卷积运算而得到的函数(s_b*f_k)与i_b之间的差，来选择所述候选的点扩散函数，

f_k表示由所述PSF估计器得到的所述多个点扩散函数中的、第k个点扩散函数，k为1以上的整数，

i_b表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数，b为1以上的整数，

s_b表示包含在所述第2图像块群中的与所述i_b对应的图像块中的亮度分布的函数，b为1以上的整数。

8.如权利要求7所述的图像处理装置，其中，

所述PSF选择器针对所述多个点扩散函数的每一个，算出(s_b*f_k)和i_b之间的平方误差成为给定的阈值以下的值的图像块的数量，并选择所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。

9.如权利要求5所述的图像处理装置，其中，

所述PSF估计器从所述源图像随机中选择所述第1图像块群。

10.如权利要求1～3、6、8和9中任意一项所述的图像处理装置，其中，

所述PSF选择器将由所述PSF估计器得到的所述多个点扩散函数划分成由彼此类似的多个点扩散函数构成的多个簇；按每个簇来决定所述多个簇的每一个中的平均的点扩散函数作为代表PSF；从决定的多个代表PSF中选择候选的代表PSF；以及从与所述候选的代表PSF对应的簇中选择所述候选的点扩散函数。

11.一种摄像装置，包括：

如权利要求1～10中任意一项所述的图像处理装置，以及

固体摄像元件，

其中，将由所述固体摄像元件取得的信号作为所述源图像输入到所述图像处理装置。

12.一种从输入的劣化图像生成复原图像的方法，所述复原图像比所述劣化图像具有较少的动态模糊，所述方法包括步骤：

步骤A，设定第n复原图像，n＝1，2，…N，N为2以上的整数；

步骤B，从所述劣化图像以及所述第n期望图像选择多个图像块对，该图像块对由各自在所述劣化图像以及所述第n期望图像中位于同一坐标的两个图像块构成；

步骤C，得到与所述多个图像块对分别对应的多个点扩散函数；

步骤D，从由所述步骤C得到的所述多个点扩散函数中选择对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和

步骤E，使用所述候选的点扩散函数从所述劣化图像生成第n+1复原图像，

从n＝1起开始从所述步骤A至所述步骤E的各步骤，且直到生成第N+1复原图像为止反复执行从所述步骤A至所述步骤E的各步骤，由此复原所述劣化图像。