CN102104730A - 信息处理设备、信息处理方法及程序 - Google Patents

Abstract

本发明公开了一种信息处理设备、信息处理方法及程序。所述信息处理设备包括第一生成单元、第二生成单元和更新单元。第一生成单元生成代表输入图像中生成的模糊的程度的点扩散函数。第二生成单元生成通过基于所述点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像。更新单元执行一次或更多次更新处理来更新所述校正块图像，随后将更新的校正块图像的结构分量组成新的校正块图像。

Description

信息处理设备、信息处理方法及程序

技术领域

本发明涉及一种信息处理设备、信息处理方法及程序。具体地，本发明涉及一种用于收集拍摄时的手抖模糊的信息处理设备、信息处理方法及程序，因焦距偏移引起的所谓散焦等可被校正。

背景技术

迄今为止，本领域中已知用于收集在拍摄的图像中出现的手抖模糊或散焦(下文中，也被简单地称为模糊)的技术。

例如，存在由L.B.Lucy和William Hardley Richardson提出的Richardson-Lucy方法。然而，Richardson-Lucy方法在利用落入点扩散函数(PSF(点扩散函数))的频率轴上的零点的频谱解决逆问题时引起零点处噪声的放大、振铃的出现等。另外，当未精确地获得点扩散函数时，噪声的放大、振铃的出现等频繁地出现在零点处。

因此，随增益地图的引入，存在残差去卷积技术，在可精确地获得点扩散函数的情况下可通过该技术抑制振铃(例如，参见Lu Yuan，Jian Sun，Long Quan，Heung-Yeung Shum，Image deblurring with blurred/noisy image pairs，ACM Transactions on Graphics(TOG)，v.26n.3，July 2007)。

发明内容

然而，利用根据背景技术的残差去卷积技术，在点扩散函数包括误差的情况下，图像的结构分量(结构)以及残差(残差部分)的重建并不被很好地执行，因此振铃频繁出现。因此，希望通过抑制振铃等校正因手抖或焦距偏移引起的模糊。

根据本发明的第一实施例，信息处理设备包括第一生成单元、第二生成单元以及更新单元。第一生成单元生成代表输入图像中生成的模糊程度的点扩散函数。第二生成单元生成通过基于该点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像。在第二生成单元中，多个输入块图像是通过对经分割该输入图像而获得的多个第一块的外围进行放大而获得的多个第二块中的图像。更新单元执行一次或更多次更新处理来利用该点扩散函数更新该校正块图像，以减小校正块图像中生成模糊的模糊再生块图像与对应于该模糊再生块图像的输入块图像之间的残差，随后将更新的校正块图像的结构分量组成新的校正块图像。

第二生成单元可以基于用于生成该点扩散函数的快速傅立叶变换的抽头数设定第二块的大小。

第二生成单元可以基于分离滤波器的重复计算次数设定第二块的大小，该分离滤波器将校正块图像的结构分量与纹理分量彼此分离。

第二生成单元可以设定第二块的每一个的大小和位置，以使得预定方向上第二块的预定侧的坐标对应于预定整数的倍数。

该更新单元还可以更新该点扩散函数，以减小模糊再生块图像与输入块图像之间的残差。

第三生成单元可以生成校正图像，其中通过在完成更新处理后连接校正块图像来校正输入图像的模糊。

根据本发明的第二实施例，一种信息处理方法，包括允许校正图像中生成的模糊的信息处理设备执行下述处理的步骤。即，该处理包括以下步骤：生成代表输入图像中生成的模糊的程度的点扩散函数；生成通过基于该点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中该多个输入块图像是通过对经分割该输入图像获得的多个第一块的外围放大而获得的多个第二块中的图像；以及执行一次或更多次更新处理来利用该点扩散函数更新校正块图像，以减少校正块图像中生成模糊的模糊再生块图像与对应于该模糊再生块图像的输入块图像之间的残差，随后将更新的校正块图像的结构分量组成新的校正块图像。

根据本发明的第三实施例，一种程序允许计算机执行下述处理。即，该处理包括以下步骤：生成代表输入图像中生成的模糊的程度的点扩散函数；生成通过基于该点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中该多个输入块图像是通过对经分割该输入图像获得的多个第一块的外围放大而获得的多个第二块中的图像；以及执行一次或更多次更新处理来利用该点扩散函数更新校正块图像，以减少校正块图像中生成模糊的模糊再生块图像与对应于该模糊再生块图像的输入块图像之间的残差，随后将更新的校正块图像的结构分量组成新的校正块图像。

根据本发明的一个实施例，可以校正因手抖或焦距偏移引起的图像模糊。具体地，根据本发明的一个实施例，可以校正图像模糊同时避免图像质量的下降。

附图说明

图1是示出了应用本发明的实施例的信息处理设备的第一配置示例的框图；

图2是示出了默认估计PSF的估计方法的概况的图；

图3是示出了用于生成关于模糊图像的倒频谱的生成方法的图；

图4A到4C是描述用于计算关于倒频谱的亮点的最大值的计算方法的图；

图5是示出了用于确定默认估计PSF的估计是否成功的确定方法的图；

图6是示出了用于生成默认估计PSF的生成方法的图；

图7是示出了结构U的默认值U_init的生成方法的图；

图8是示出了通过双线性插值的插值方法的图；

图9A到9B是描述由支持限制单元执行的支持限制处理的图；

图10是描述重复更新处理的流程图；

图11是示出了应用本发明的实施例的信息处理设备的第二配置示例的框图；

图12是示出了关于YUV空间的重复更新处理的图；

图13是示出了应用本发明的实施例的信息处理设备的第三配置示例的框图；

图14是示出了边缘处理的第一图；

图15是示出了边缘处理的第二图；

图16是示出了原始图像和放大图像的每一个的大小的定义的图；

图17是示出了用于设定放大块的宽度的方法的图；

图18是示出了用于设定放大块的高度的方法的图；

图19是示出了用于设定放大块的位置的方法的图；

图20是示出了用于通过将放大结构彼此连接而生成重建图像的处理的第一图；

图21是示出了用于通过将放大结构彼此连接而生成重建图像的处理的第二图；

图22是示出了用于通过将放大结构彼此连接而生成重建图像的处理的第三图；

图23是示出了用于通过将放大结构彼此连接而生成重建图像的处理的第四图；

图24是示出了用于通过将放大结构彼此连接而生成重建图像的处理的第五图；

图25是示出了边缘处理的效果的第一图；

图26是示出了边缘处理的效果的第二图；以及

图27是示出了计算机的配置示例的框图。

具体实施方式

下文中，将以下列顺序详细描述用于执行本发明的模式(下文中被称为实施例)：

1.第一实施例

2.修改的示例1

3.第二实施例

4.修改的示例2

<1.第一实施例>

(信息处理设备的配置)

图1是示出了根据本发明的第一实施例的信息处理设备1的示例性配置的图。

信息处理设备1接收包括拍摄时出现的手抖模糊并且是由JPEG(联合图像专家组)压缩来压缩的图像的模糊图像。

信息处理设备1将输入的模糊图像分割为多个块g，并且对每个块执行关于点扩散函数h和结构f的默认估计，该点扩散函数h代表块g处生成的模糊(的方向和长度)，结构f代表块g的诸如平坦部分或边缘等的大幅度分量。

继而，信息处理设备1对每个块重复地更新进行了默认估计的点扩散函数h和结构f，以使得点扩散函数h和结构f分别逼近真实的点扩散函数和真实的结构。

这里，在下面的描述中，执行k次更新的点扩散函数h将被称为点扩散函数h^k，而执行k次更新的结构f被称为结构f^k。

另外，在不需要对每个块区分点扩散函数h^k的情况下，这将被简单地称为点扩散函数H^k。此外，在不需要对每个块区分结构f^k的情况下，这将被简单地称为结构U^k。

此外，在块g不需要彼此区分的情况下，这将被简单地称为模糊图像G。

信息处理设备1包括H_init生成单元21、支持限制单元22、乘法单元23、加法单元24、重心校正(重心修正)单元25、H生成单元26、卷积单元27、处理单元28、残差生成单元29、相关单元30、相关单元31、平均(平均)单元32、减法单元33、U_init生成单元34、U生成单元35、乘法单元36以及总偏差(Total Variation)滤波器37。

模糊图像G输入到H_init生成单元21。H_init生成单元21根据输入模糊图像中的像素的亮度值(Y分量)检测倒频谱上的特征点以执行PSF的线性估计，并将根据其线性估计获得的默认估计PSF提供给支持限制单元22和H生成单元26作为点扩散函数H的H_init默认值(＝H0)。

注意，除了输入模糊图像G的像素的Y分量之外，H_init生成单元21可以通过根据输入模糊图像G的像素的R分量、G分量、B分量、以及由R分量G分量B分量相加获得的R+G+B分量检测倒频谱上的特征点来执行PSF的直线估计。

支持限制单元22生成支持限制信息，用于仅对来自H_init生成单元21的H_init默认值(＝默认估计PSF)附近作为要更新的区域进行更新，并且将其提供给乘法单元23。

现在，将支持限制信息称为模板信息，其中仅默认估计PSF的附近作为要更新的区域，而要更新的区域以外的区域固定为零。

乘法单元23从来自减法单元33的减法结果U^ko(G-H^kOU^k)-mean(H^k)中仅提取对应于默认估计PSF周围的减法结果的那个，随后将该结果提供给加法单元24。

换言之，例如，乘法单元23将来自支持限制单元22的支持限制信息与来自减法单元的对应减法结果U^ko(G-H^kOU^k)-mean(H^k)相乘，仅提取对应于PSF周围的减法结果的那个，并将其提供给加法单元24。

注意o代表相关计算，O代表卷积计算。另外，mean(H^k)代表点扩散函数H^k的平均值。

加法单元24将来自乘法单元23的值U^ko(G-H^kOU^k)-mean(H^k)的值U^ko(G-H^kOU^k)乘以未确定乘数λ。继而，加法单元24将来自H生成单元26的点扩散函数H^k加到作为其结果获得的值λU^ko(G-H^kOU^k)-mean(H^k)上，对作为其结果获得的值H^k+λU^ko(G-H^kOU^k)-mean(H^k)应用针对未确定乘数的拉格朗日方法，从而计算值a作为未确定乘数λ的解。

加法单元24用针对未确定乘数的拉格朗日方法计算的值a替换值H^k+λU^ko(G-H^kOU^k)-mean(H^k)，并将作为其结果获得的值H^k+aU^ko(G-H^kOU^k)-mean(H^k)提供给重心校正单元25。从而，针对多个块获得的H^k+aU^ko(G-H^kOU^k)-mean(H^k)＝H^k+ΔH^k分别提供给重心校正单元25。

重心校正单元25通过双线性插值将点扩散函数H^k+ΔH^k(其中ΔH^k是更新量)的重心移动到屏幕的中心(点扩散函数的默认值H_init的重心)，并将重心已被移动的点扩散函数H^k+ΔH^k提供给H生成单元26。注意，随后将参照图8描述其细节。

H生成单元26将来自H_init生成单元21的默认值H_init提供给加法单元24、卷积单元27以及相关单元30作为点扩散函数H⁰。

另外，H生成单元26将来自重心校正单元25的点扩散函数H^k+ΔH^k提供给加法单元24、卷积单元27以及相关单元30作为更新后的点扩散函数H^k+1。

在通过更新点扩散函数H^k-1获得的点扩散函数H^k-1+ΔH^k-1已经从重心校正单元25提供的情况下，H生成单元26类似地将来自重心校正单元25的点扩散函数H^k-1+ΔH^k-1提供给加法单元24、卷积单元27以及相关单元30作为更新后的点扩散函数H^k。

卷积单元27执行来自H生成单元26的点扩散函数H^k与来自U生成单元35的结构U^k之间的卷积运算，并且将其计算结果H^kOU^k提供给处理单元28。注意，计算结果H^kOU^k是利用点扩散函数H^k在结构U^k上引起模糊的图像。

处理单元28从输入模糊图像G中减去来自卷积单元27的计算结果H^kOU^k，然后将其减法结果G-H^kOU^k提供给残差生成单元29。

残差生成单元29将来自处理单元28的减法结果G-H^kOU^k提供给相关单元30以及相关单元31作为残差E^k。

相关单元30执行来自残差生成单元29的残差E^k与来自H生成单元26的结构H^k之间的相关计算，并随后将其计算结果H^ko(G-H^kOU^k)提供给乘法单元36。

相关单元31执行来自残差生成单元29的残差E^k与来自U生成单元35的结构U^k之间的相关计算，并随后将其计算结果U^ko(G-H^kOU^k)提供给减法单元33。

从H生成单元26经处理单元28、残差生成单元29以及相关单元31将点扩散函数H^k提供给平均单元32。

平均单元32计算来自相关单元31的点扩散函数H^k的平均值mean(H^k)，并随后将其提供给减法单元33。

减法单元33从由相关单元31提供的计算结果U^ko(G-H^kOU^k)中减去来自平均单元32的mean(H^k)，并随后将作为其结果获得的减法结果U^ko(G-H^kOU^k)-mean(H^k)提供给乘法单元23。

U_init生成单元34使用H_init生成单元21生成的默认值H_init(＝默认估计PSF)来利用默认估计PSF缩小输入模糊图像G(块g)以将卷积PSF返回到一点，从而生成其中模糊图像G的模糊已经被去除(减少)的图像的缩小图像。

另外，U_init生成单元34利用默认估计PSF大小对缩小图像进行放大，以生成作为因放大被模糊的其模糊已经被去除的图像的图像，并将其设置为结构U的默认值U_init，随后将其提供给U生成单元35。

注意，将参照之后描述的图7来描述用于通过U_init生成单元34设置默认值U_init的方法的细节。

U生成单元35将来自总偏差滤波器37的结构U^k+1提供给卷积单元27、相关单元31以及乘法单元36。

另外，从总偏差滤波器37向U生成单元35提供结构U^k。U生成单元35将来自总偏差滤波器37的结构U^k提供给卷积单元27、相关单元31以及乘法单元36。

乘法单元36将来自相关单元30的计算结果H^ko(G-H^kOU^k)乘以来自U生成单元35的结构U^k，并随后将其乘法结果U^k{H^ko(G-H^kOU^k)}提供给总偏差滤波器37作为更新后的结构。总偏差滤波器37将来自乘法单元36的乘法结果U^k{H^ko(G-H^kOU^k)}分离为结构分量和纹理分量，并随后将通过分离获得的结构分量提供给U生成单元35作为用作下一个要更新的目标的结构U^k+1。

如上所述，卷积单元27通过相关单元31、U生成单元35、总偏差滤波器37等使用由H_init生成单元21生成的点扩散函数H的默认值H_init(＝H⁰)来通过Richardson-Lucy方法执行结构U⁰的更新。

另外，在点扩散函数H^k-1已经更新的情况下，卷积单元27通过相关单元31、U生成单元35、总偏差滤波器37等使用通过更新获得的最新的点扩散函数H^k来通过Richardson-Lucy方法执行结构U^k的更新。

利用Richardson-Lucy方法，通过由总偏差滤波器37对更新结构U^k获得的结构U^k+1分离结构分量和纹理分量消除了放大的噪声和生成的振铃，由此可以大大抑制噪声和振铃。

这里，结构分量代表构成图像构架的分量，诸如图像中几乎没有变化出现的平坦部分、图像中出现渐进变化的倾斜部分、对象的轮廓、边缘等。另外，它代表构成图像细节的分量，诸如对象的精细图案。因此，大多数结构分量是具有低空间频率的低频分量，而大多数纹理分量是具有高空间频率的高频分量。

另外，在“Structure-Texture Image Decomposition Modeling，Algorithms，and Parameter Selection(Jean-Francois Aujol)”中详细描述了总偏差滤波器37。

注意，向总偏差滤波器37设置表明结构分量和纹理分量之间的边界的滤波器阈值作为参数之一，并且调整其参数，由此可以在要输出的结构分量(结构)中包括更多细节。

然而，对于重复更新处理(后面在图10中描述)的初始阶段，其中结构U^k和后面描述的点扩散函数H^k交替地重复更新，点扩散函数H^k没有充分更新，因此，在某些情况下点扩散函数H^k可能包括许多误差。

因此，当利用包括许多误差的点扩散函数H^k来执行结构U^k的更新时，对于要通过更新获得的结构U^k+1出现与在点扩散函数H^k中包括的误差对应的振铃等。

类似地，对于结构U^k，也出现与在点扩散函数H^k中包括的误差对应的振铃等。

这也引起对要利用其中出现振铃等的结构U^k更新的点扩散函数H^k的不利影响。

因此，当点扩散函数H^k没有充分更新时，要向总偏差滤波器37设置的滤波器阈值被设置为高，从而强力消除振铃和噪声，并防止要更新的结构U由于出现振铃等而恶化。

当点扩散函数H^k被更新到一定程度并且逼近更真实的点扩散函数时，向总偏差滤波器37设置的滤波器阈值被设定为低，因此由真实的点扩散函数H^k执行细节的重建。

换言之，当点扩散函数H^k没有被充分地更新时，滤波器阈值被设定为高，以使得在组成从总偏差滤波器37输出的结构U^k的像素中，代表相邻像素之间亮度差绝对值和的总偏差变得小。

另外，在点扩散函数H^k被更新到一定程度并且逼近更真实的点扩散函数时，滤波器阈值被设置为低，以使得从总偏差滤波器37输出的结构U^k的总偏差不再变得更小。

从而，利用总偏差滤波器37，平滑了结构U^k，同时保留了结构U^k中包括的边缘，由此可以消除包括在结构U中的振铃和噪声。

此外，在第一实施例中，总偏差滤波器37被设计为通过由总偏差滤波器37在不管点扩散函数H^k的更新程度而将滤波器阈值设置得足够低的状态下分离结构分量和纹理分量来对结构U^k消除放大的噪声和生成的振铃。

H生成单元26通过残差生成单元29、相关单元31、U生成单元35等利用结构U^k的默认值U_init来通过landweber方法执行点扩散函数H^k的更新。

另外，在结构U^k-1已经更新的情况下，H生成单元26通过残差生成单元29、相关单元31、U生成单元35等使用通过更新获得的最新结构U^k来通过landweber方法执行点扩散函数H^k的更新。

下面将描述关于组成模糊图像的多个块的预定块g的结构f^k(通过更新获得的最新结构)被用作结构U^k并且预定块g的点扩散函数h^k随着通过landweber方法点扩散函数H^k的更新而更新的处理。

现在，假定当前结构f^k是f，当前点扩散函数h^k是h，由下式(1)提供代价函数：

e²＝‖g-h*f‖²                        …(1)

注意，在式1中，‖‖代表范数，*代表乘法。

在当前结构f是固定的情况下，为了最小化式(1)中的e²，如下式(2)所示，式(1)对变量h(点扩散函数h)取偏微分，从而获得下降方向。

$\&dtri;e^2=\frac{{\&PartialD;e}^2}{\&PartialD;h}(-2)\mathrm{fo}(g-h\&CircleTimes;f)...\left(2\right)$

当沿着通过式(2)获得的下降方向搜索当前点扩散函数h时，存在式(2)的最小值。如式(3)所示，当在通过式(2)获得的下降方向上以步长λ推进当前点扩散函数h时，可以获得更新的点扩散函数h。

$h^{k+1}=h^k+\mathrm{\&lambda;}{f}^{k}o(g-h^k\&CircleTimes;f^k)...\left(3\right)$

注意，在式(2)和式(3)中，圆圈代表相关算子，由圆圈内的x标记组成的符号代表卷积计算。

另外，在式(3)中，点扩散函数h^k+1代表更新后的点扩散函数，点扩散函数h^k代表当前点扩散函数h(更新之前的点扩散函数)。此外，结构f^k代表当前结构f。

然而，对于组成模糊图像的多个块的每一个的点扩散函数h^k+1(i)，强迫h^k+1满足

因此，通过由H生成单元26经残差生成单元29、相关单元31、U生成单元35等形成的回路将点扩散函数h^k+1归一化。因此，当作为归一化的结果点扩散函数h^k的更新量Δh^k变成与点扩散函数h^k符号相同时，点扩散函数h^k+1无意间返回更新前的值。

$\underset{i}{\mathrm{\&Sigma;}}h\left(i\right)=1$

当式(3)增加限制

以应用针对未确定乘数的拉格朗日方法时，导出下式(4)。

$h^{k+1}=h^k+\mathrm{\&lambda;}{f}^{k}o(g-h^k\&CircleTimes;f^k)-\mathrm{mean}\left(h\right)...\left(4\right)$

注意，在式(4)中，mean(h)表示h^k的平均值。由减法单元33减去mean(h)。

另外，根据舍入误差，当更新点扩散函数h^k时，重心有时偏离屏幕的中心，并因此获得不精确的残差e，这引起对结构f^k的更新(重建)的不利影响。

因此，重心校正单元25通过在一个像素(pix)处或其下方的双线性插值执行平行运动，以使得点扩散函数h^k+Δh^k(＝h^k+1)以及重心到达屏幕的中心。

如上所述，信息处理设备1计算更新后的结构U^k作为代表组成模糊图像的已从中去除模糊的块的结构。继而，信息处理设备1通过拼凑每一个计算的结构U^k以变成一个图像来获得已经从中去除模糊的原始图像。

[用于获得默认估计PSF的估计方法]

接下来，将描述关于H_init生成单元21执行的用于默认估计PSF的估计方法的概况。

可以通过无模糊的原始图像(对应于模糊图像的原始图像)和PSF之间的卷积来对模糊图像建模。

直线PSF的频谱具有模糊的长度周期性地落入零点的特征，并且根据原始图像和PSF之间的卷积，对于模糊图像的频谱，模糊的长度也周期性地落入零点。

获得模糊的长度落入零点的间隔和方向，由此可以逼近PSF的直线模糊的长度和方向。因此，对模糊图像进行FFT(快速傅立叶变换)来计算模糊图像的频谱，并获得计算的频谱的对数，从而变换为原始图像频谱与PSF频谱(MTF)之间的总和。

这里需要使用的信息仅是MTF，因此，关于模糊图像的频谱增加和平均了许多修补(patch)，由此原始图像的频谱的特征丢失，仅可表现MTF的特征。

下面，将参照图3到图6描述用于估计默认估计PSF的具体估计方法。

图3示出了用于生成关于模糊图像的倒频谱的生成方法。

H_init生成单元21将输入的模糊图像分割为多个块，对每个分割的块执行FFT(快速傅立叶变换)以计算对应于每个块的频谱。

换言之，例如，H_init生成单元21对作为组成通过分割模糊图像获得的块的像素的Y分量、R分量、G分量和B分量之一以及R+G+B分量进行FFT以计算对应的频谱。

另外，H_init生成单元21获得关于对应于每个块的频谱的平方和的对数，并通过用于去除JPEG压缩时生成的失真的JPEG去除滤波器去除失真。这防止在JPEG压缩时生成的失真影响频谱精度。

另外，H_init生成单元21在由JPEG去除滤波器进行失真去除之后，对与每个块g对应的频谱gs的平方和的对数log∑|gs|²执行由HPF(高通滤波器)进行的滤波处理以强调因模糊引起的周期性下落，从而减少因模糊引起的平滑改变。

H_init生成单元21对减去运动平均的残差分量、即在HPF进行滤波处理之后频谱的平方和的对数log∑|gs|²进行IFFT(快速傅立叶反变换)来生成一种倒频谱。

更具体地，H_init生成单元21将在HPF进行滤波处理后频谱的平方和的对数log∑|gs|²的正/负号反转。

继而，H_init生成单元21丢弃包括正/负号已经被反转的log∑|gs|²的负号的部分，并仅基于包括正号的部分生成一种倒频谱。

继而，H_init生成单元21对生成的倒频谱计算亮点的最大值。

换言之，H_init生成单元21计算包括生成的倒频谱的最大值的倒频谱作为亮点的最大值。

下面，图4A到4C示出了用于关于生成的倒频谱计算亮点最大值的计算方法。

如图4A所示，H_init生成单元21对生成的倒频谱执行由点滤波器进行的滤波处理，该点滤波器比较相邻的像素并与具有高亮度的多像素块强烈反应。

另外，如图4B所示，在由如图4A所示的点滤波器的滤波处理之后，H_init生成单元21从倒频谱中取出包括最大值的一个峰。

另外，如图4C所示，H_init生成单元21确定点位置。注意，点位置代表产生一个包括最大值的峰的多个倒频谱组成的点的重心位置。

下面，图5描述了用于确定默认估计PSF的估计是否成功的确定方法。注意，将参照随后描述的图6来描述用于默认估计PSF的估计方法。

亮点关于原点对称，因此，在关于原点对称的位置存在另一个特征点。换言之，存在两个关于原点对称的点作为特征点。

在邻近这两个点的最小正方形范围内存在超过阈值的部分的情况下，即在最小正方形范围内存在具有超出阈值的值的倒频谱的情况下，H_init生成单元21确定默认估计PSF的默认估计已经失败。

在该情况下，H_init生成单元21将进行默认估计的默认估计PSF逼近其中模糊的分布遵循高斯分布(正态分布)的PSF，并且将作为其结果获得的PSF设置为默认H_init。

另外，在邻近这两个点的最小正方形范围内没有超过阈值的部分的情况下，即在最小正方形范围内没有具有超出阈值的值的倒频谱的情况下，H_init生成单元21确定默认估计PSF的默认估计已经成功，并将默认估计PSF设置为默认值H_init。

下面，图6示出了用于基于该两点估计(生成)默认估计PSF的估计方法。

在邻近这两个点的最小正方形范围内没有超过阈值的部分的情况下，如图6所示，H_init生成单元21生成连接关于原点对称的点位置的直线作为默认估计PSF，并且将其设置为默认值H_init。

[用于生成结构U^k的默认值U_init的生成方法]

下面，将参照图7描述U_init生成单元34执行的、用于生成结构U^k的默认值U_init的生成方法。

U_init生成单元34按默认估计PSF的大小缩小要输入的模糊图像来生成缩小图像，并且按默认估计PSF的大小对生成的缩小图像进行放大来生成放大图像。继而，U_init生成单元34将生成的放大图像分离为结构分量和纹理分量，并随后将通过分离获得的结构分量提供给U生成单元35作为结构U的默认值U_init。

换言之，例如，U_init生成单元34按与块的默认估计PSF被缩小到一点的缩小大小一样的缩小大小来缩小从H_init生成单元21提供的组成输入模糊图像的块，从而生成块中生成的模糊已被去除(减少)的缩小块。

继而，U_init生成单元34以与被缩小到一个点的默认估计PSF被放大到原始默认估计PSF的放大大小相同的放大大小来放大生成的缩小块，从而生成已经出现因放大引起的散焦的放大块，但模糊没有出现。

U_init生成单元34将生成的放大块提供给U生成单元35作为默认值U_init(结构U⁰)。

[用于校正重心的校正方法]

现在参将照图8描述由重心校正单元25执行的用于校正重心的校正方法。

图8示出了通过双线性插值的插值方法。

如上所述，存在当H生成单元26通过残差生成单元29、相关单元31、U生成单元35等更新结构H^k时，重心因舍入误差偏离屏幕的中心的可能性，因此，如图8所示，重心校正单元25通过双线性插值执行平行移动以使得点扩散函数H^k+ΔH^k的重心到达屏幕的中心。

[支持限制处理]

下面，将参照图9A和9B描述支持限制单元22执行的支持限制处理。

当H生成单元26通过残差生成单元29、相关单元31、U生成单元35等更新点扩散函数H^k时，ΔH的更新量的自由度高，并且如图9A所示，其中更新后的点扩散函数H^k+ΔH^k代表的模糊没有被精确地反映的虚假像素出现在远离真实PSF(点扩散函数)的部分。因此，如图9B所示，支持限制单元22仅允许更新默认估计PSF附近，并且即使更新量ΔH^k处存在像素也掩盖默认估计PSF附近之外的区域，从而施加支持限制以便仅更新默认估计PSF附近。

顺便提及，利用点扩散函数H^k的更新回路，结构U^k的更新量ΔU^k逐渐地减小，并且当被减小到一定程度时，残差E^k＝G-H^k*(U^k+ΔU^k)饱和(残差E几乎没有改变)，并停止点扩散函数H^k的更新。因此，调整向总偏差滤波器37设定的滤波器阈值，从而故意地降低(减小)残差E^k，这成为继续更新点扩散函数H^k的触发。

另外，利用总偏差滤波器37，在已经完成最终输出的情况下，减小滤波器阈值(依次降低)，由此可克服因结构输出引起的细节缺乏。

除了亮度Y(代表通过对R分量、G分量和B分量中的每一个加权而获得的乘法结果的和的Y分量)之外，还可以利用R、G、B三个通道的总和(R分量、G分量和B分量的和)作为在更新点扩散函数H^k时使用的结构U^k的信息。相对于仅利用亮度Y更新的情况，不同在于即使对于包括模糊仅反映在R和B通道上的边缘的模糊图像也可以获得与G通道类似的高反馈。

另外，可以使用R分量、G分量和B分量作为在更新点扩散函数H^k时使用的结构U^k的信息。

[重复更新处理]

现在将参照图10a中的流程图描述信息处理设备1执行的重复更新处理。

注意，对于重复更新处理，采用如下算法：其中基于彼此相关的默认值交替更新点扩散函数H^k和结构U^k，而不单独地更新点扩散函数H^k和结构U^k。

在步骤S31和步骤S32中，执行关于默认值H_init和默认值U_init的默认估计以及每个参数、全局变量的初始化等。

具体地，例如，在步骤S31中，H_init生成单元21从输入模糊图像G中检测倒频谱上的特征点，执行PSF的直线估计，将其直线估计获得的默认估计PSF设置为点扩散函数H的默认值H_init，并随后将其提供给支持限制单元22和H生成单元26。

在步骤S32中，U_init生成单元34使用由H_init生成单元21设置的默认值H_init(＝默认估计PSF)来按默认估计PSF的大小缩小输入模糊图像，并且将卷积PSF返回到一点，从而生成作为其中模糊图像的模糊已经被去除的图像的缩小的原始图像。

另外，U_init生成单元34按默认估计PSF的大小放大缩小的原始图像来生成曾经是因插值而模糊的图像并已经对其模糊进行校正的图像，并将其设置为结构U^k的默认值U_init，将其提供给U生成单元35。

具体地，例如，U_init生成单元34按与块的默认PSF被缩小为一点的缩小大小相同的缩小大小来缩小从H_init生成单元21提供的、组成输入模糊图像的块，从而生成了其中块中生成的模糊已经被去除(减少)的缩小块。

继而，U_init生成单元34按与被缩小为一点的默认估计PSF被放大到原始默认估计PSF的放大大小相同的放大大小对生成的缩小块进行放大，从而生成其中出现因放大引起的散焦但没有出现模糊的放大块。

U_init生成单元34将生成的放大块提供给U生成单元35作为默认值U_init(结构U⁰)。

在结构U^k和点扩散函数H^k两者都没有被精确识别的情况下，在步骤S33中，利用最新点扩散函数H^k的信息更新结构U^k，并且在步骤S34中，利用最新结构U^k的信息更新点扩散函数H^k。

根据这样的重复，随着结构U^k和点扩散函数H^k交替地更新，结构U^k逐渐收敛到更真实的结构U，点扩散函数H^k逐渐收敛到更真实的点扩散函数H。

具体地，在步骤S33中，卷积单元27通过相关单元31、U生成单元35、总偏差滤波器37等使用点扩散函数H^k的默认值H_init(＝默认估计PSF)来通过根据背景技术的Richardson-Lucy方法执行结构U⁰的更新。

在步骤S33中，卷积单元27执行来自H生成单元26的作为点扩散函数H^k的默认值H_init的点扩散函数H⁰与来自U生成单元35的结构U⁰之间的卷积计算，随后将其计算结果H⁰OU⁰提供给处理单元28。

处理单元28从输入模糊图像G中减去来自卷积单元27的计算结果H⁰OU⁰，并随后将其减法结果G-H⁰OU⁰提供给残差生成单元29。

残差生成单元29将来自处理单元28的减法结果G-H⁰OU⁰提供给相关单元30和相关单元31。

相关单元30执行来自残差生成单元29的减法结果G-H⁰OU⁰与来自H生成单元26的点扩散函数H⁰之间的相关计算，并随后将其计算结果H⁰o(G-H⁰OU⁰)提供给乘法单元36。

乘法单元36将来自相关单元30的计算结果H⁰o(G-H⁰OU⁰)乘以来自U生成单元35的结构U⁰，并随后将乘法结果U⁰{H⁰o(G-H⁰OU⁰)}提供给总偏差滤波器37作为更新后的结构。

总偏差滤波器37执行用于抑制作为来自乘法单元36的乘法结果U⁰{H⁰o(G-H⁰OU⁰)}的放大的噪声和生成的振铃的处理。

继而，总偏差滤波器37从由其处理获得的乘法结果U⁰{H⁰o(G-H⁰OU^θ)}的结构分量和纹理分量中提供结构分量给U生成单元35。

U生成单元35获得由总偏差滤波器37提供的结构分量作为结构U¹，结构U¹是要更新的下一个结构的目标。

继而，为了进一步更新获得的结构U¹，U生成单元35将结构U¹提供给卷积单元27、相关单元31以及乘法单元36。

在步骤S34中，H生成单元26通过残差生成单元29、相关单元31、U生成单元35等使用结构U^k的默认值U_init来通过landweber方法执行点扩散函数H⁰的更新。

注意，在上述步骤S33中，残差生成单元29将来自处理单元28的减法结果G-H⁰OU⁰提供给相关单元30和相关单元31。

在步骤S34中，相关单元31执行来自残差生成单元29的减法结果G-H⁰OU⁰与来自U生成单元35的结构U⁰之间的相关计算，并随后将其计算结果U⁰o(G-H⁰OU⁰)提供给减法单元33。

另外，相关单元31将来自H生成单元26的点扩散函数H⁰经卷积单元27、处理单元28以及残差生成单元29提供给平均单元32。

平均单元32计算来自相关单元31的点扩散函数H⁰的平均值mean(H⁰)，并随后将其提供给减法单元33。

减法单元33从由相关单元31提供的计算结果U⁰o(G-H⁰OU⁰)中减去来自平均单元32的mean(H⁰)，并随后将作为其结果获得的减法结果U⁰o(G-H⁰OU⁰)-mean(H⁰)提供给乘法单元23。

乘法单元23基于来自支持限制单元22的支持限制信息从来自减法单元33的减法结果U⁰o(G-H⁰OU⁰)-mean(H⁰)中仅提取对应于默认估计PSF周围的减法结果的结果，并随后将其提供给加法单元24。

加法单元24将来自乘法单元23的值U^ko(G-H^kOU^k)-mean(H^k)中的值U^ko(G-H^kOU^k)乘以未确定乘数λ。继而，加法单元24将来自H生成单元26的点扩散函数H^k加到作为其结果获得的值λU^ko(G-H^kOU^k)-mean(H^k)上，并对作为其结果获得的值H^k+λU^ko(G-H^kOU^k)-mean(H^k)应用针对未确定乘数的拉格朗日方法，从而计算值a作为未确定乘数λ的解。

加法单元24用通过针对未确定乘数的拉格朗日方法计算的值a替换值H^k+λU^ko(G-H^kOU^k)-mean(H^k)，并随后将作为其结果获得的a值H^k+aU^ko(G-H^kOU^k)-mean(H^k)提供给重心校正单元25。

从而，为每个组成模糊图像的多个块获得的H⁰+aU⁰o(G-H⁰OU⁰)-mean(H⁰)＝H⁰+ΔH⁰提供给重心校正单元25。

重心校正单元25通过双线性插值将点扩散函数H⁰+ΔH⁰的重心移动到屏幕的中心(点扩散函数的默认值H init的重心)，并随后将其重心已被移动的点扩散函数H⁰+ΔH⁰提供给H生成单元26。

H生成单元26从重心校正单元25获得点扩散函数H⁰+ΔH⁰作为更新的默认点扩散函数H¹。

随后，为了进一步更新获得的点扩散函数H¹，H生成单元26将点扩散函数H¹提供给加法单元24、卷积单元27和相关单元30。

在步骤S35中，确定是否终止重复更新处理。具体地，例如，确定(至少结构H^k或)更新的结构U^k是否已经收敛。

在确定更新的结构U^k还没有收敛的情况下，处理返回步骤S33。

注意，例如由残差生成单元29基于对应于组成模糊图像的每一个块的值G-H^kOU^k(＝E^k)的平方和∑|E^k|²是否小于预定值来确定更新的结构U^k是否已经收敛。

或者，总偏差滤波器37可以基于组成来自乘法单元36的结构U^k的像素中代表相邻像素之间的亮度差绝对值总和的总偏差是否从增大改变为减小来确定。

在步骤S33中，在步骤S34中之前的处理中更新的点扩散函数H^k(例如，H¹)用于通过传统Richardson-Lucy方法执行对步骤S33中之前的处理中更新的结构U^k(例如，U¹)的更新。

具体地，在步骤S33中，卷积单元27通过相关单元31、U生成单元35、总偏差滤波器37等使用步骤S34中之前处理中更新的点扩散函数H^k(例如H¹)来通过传统Richardson-Lucy方法执行对结构U^k(例如，U¹)的更新。

在步骤S33中的处理结束之后，在步骤S34中，步骤S33中之前的处理中更新的结构U^k(例如，U¹)用来通过Landweber方法执行对步骤S34中之前处理中的点扩散函数H^k(例如，H¹)的更新。

换言之，在步骤S34中，H生成单元26通过残差生成单元29、相关单元31、U生成单元35等使用步骤S33中之前的处理中的更新的结构U^k(例如，U¹)来通过Landweber方法执行对更新的点扩散函数H^k(例如，H¹)的更新。

处理从步骤S34进行到步骤S35，其后将重复同样的处理。

注意，在步骤S35中确定更新的结构U^k已经收敛的情况下，重复更新处理结束。

如上所述，对于重复更新处理，进行了重复执行结构U^k和点扩散函数H^k的更新的安排，由此结构U^k收敛到真实结构U(并且点扩散函数H^k收敛到真实点扩散函数H)，因此，可以抑制最终获得的结构U^k处生成的振铃和噪声。

另外，即使从作为默认H_init获得的PSF(＝点扩散函数H⁰)不精确的状态，也可以获得精确的PSF即真实PSF、或逼近真实PSF的PSF。

另外，根据PSF的支持限制，在默认估计方向上更新默认值H_init(＝默认估计PSF)，由此可以获得真实PSF或接近真实PSF的PSF而不会发散。

<2.修改的示例1>

[重复更新处理的修改示例]

注意，例如，对重复更新处理，进行如下安排：在步骤S31中默认值H_init(＝点扩散函数H⁰)的估计(生成)成功的情况下，在步骤S33中利用默认值H_init执行结构U⁰的更新，并且在步骤S31中默认值H_init的估计(生成)失败的情况下，在步骤S33中通过高斯(高斯分布)逼近PSF，逼近的PSF被设置为默认值H_init，从而执行结构U⁰的更新。在这种情况下，可以防止因默认值H_init(＝默认估计PSF)的偏移引起的结构U⁰的恶化。

另外，在步骤S33中，卷积单元27通过相关单元31、U生成单元35、总偏差滤波器37等执行通过传统Richardson-Lucy方法对结构U^k的更新。或者，如果采用其中Richardson-Lucy方法的处理速度提高的R-L高速算法，则结构U^k可以更快速地更新到真实结构U。

另外，虽然已经进行了如下描述：其中对于图10中的重复更新处理，在步骤S35中，根据更新的结构U^k是否收敛来确定是否要结束重复更新处理，但是本发明不限于此。

具体地，例如，可以进行如下安排：在步骤S35中确定结构U^k和点扩散函数H^k是否已经更新了预定次数，并且在确定已经更新了预定次数的情况下，结束重复更新处理。注意，例如，某种程度上即使利用低精度PSF振铃也不发生的次数或者某种程度上可消除由总偏差滤波器37轻微生成的振铃的次数是期望的预定次数。

[残差去卷积的应用方法]

顺便提及，对于本发明的第一实施例，具有被充分减小的滤波器阈值的结构U^k被作为最终输出，但是可以使用模糊图像和更新的结构U^k执行根据传统残差去卷积的方法。

图11示出了被配置为执行使用模糊图像和更新的结构U^k根据传统残差去卷积的方法的信息处理设备61的配置示例。

该信息处理设备61包括卷积单元91、减法单元92、加法单元93、R-L去卷积单元94、减法单元95、加法单元96、偏移单元97和增益地图(Gain Map)98。

更新的H^k和更新的U^k提供给卷积单元91。卷积单元执行更新的H^k和更新的U^k之间的卷积计算，并随后将作为其结果获得的值H^kOU^k提供给减法单元92。

模糊图像G提供给减法单元92。减法单元92从提供的模糊图像G中减去来自卷积单元91的值H^kOU^k，并随后将其减法结果G-H^kOU^k作为残差分量提供给加法单元93。

为了将来自减法单元92的残差分量G-H^kOU^k改变为正值，加法单元93将来自偏移单元97的偏移值加到残差分量G-H^kOU^k上，并随后将其加法结果提供给R-L去卷积单元94。注意，将偏移值加到残差分量G-H^kOU^k上以将残差分量G-H^kOU^k改变为正值的原因在于R-L去卷积单元94进行的处理操作的是正值。

R-L去卷积单元94基于增益地图(Gain Map)单元98中保存的增益地图以及更新的H^k对来自加法单元93的加法结果执行Image Deblurring with Blurred/Noisy Image Pairs(Lu Yuan)中描述的残差去卷积。从而，抑制了向其增加了偏移值的振铃的残差分量。

减法单元95从来自R-L去卷积单元94的处理结果中减去与在加法单元93处加上的偏移值相同的偏移值，并获得振铃已经被抑制的残差分量，即模糊图像的纹理已经被重建的重建结果。随后，减法单元95将获得的纹理的重建结果提供给加法单元96。

更新的结构U^k提供给加法单元96。加法单元96将来自减法单元95的纹理重建结果与提供的更新的结构U^k相加，并输出作为其结果获得的其中已从模糊图像中去除模糊的重建图像。

换言之，例如，加法单元96将纹理重建结果与对应于组成模糊图像的块的更新的结构U^k相加，从组成模糊图像的块中获得其中模糊已经被去除的重建块作为其加法结果。继而，加法单元96获得与组成模糊图像的块的每一个对应的重建块，将每个重建块相连接，从而输出重建图像。

偏移单元97预先保存要被相加以将残差分量G-H^kOU^k改变为正值的偏移值。偏移单元97将预先保存的偏移值提供给加法单元93和减法单元95。

增益地图单元98预先保存要用于调整残差分量G-H^kOU^k的增益的增益地图。

如图11所示，对于更新的结构U^k通过更新的点扩散函数PSF(点扩散函数H^k)生成模糊，对于来自模糊图像G的残差分量G-H^kOU^k执行去卷积(由R-L去卷积单元94执行的处理)，并将其获得的结果(其中模糊图像的纹理已经被重建的重建结果)加到更新的结构U^k上，由此重建了残差的详细信息，并且获得良好的重建结果。

[对RGB空间以外的色彩空间的应用方法]

注意，利用本发明的第一实施例，已经对RGB空间(由R分量、G分量、B分量代表的像素组成的模糊图像)执行了重复更新处理，但是对于其他色彩空间如YUV空间等可以执行类似的重复更新处理。

图12是示出了对YUV空间执行重复更新处理的图。

如图12所示，可以进行如下安排：对于YUV空间，在仅对Y应用重复更新处理(GSDM，渐进结构去卷积方法)以计算精确PSF之后，对U/V分量利用某种程度上振铃不出现的计算的精确PSF进行通过Richardson-Lucy方法等的处理，并将其加到Y上。

注意，利用上面的第一实施例，进行了如下安排：使用landweber方法更新点扩散函数H^k，并且使用Richardson-Lucy方法更新结构U^k。或者，例如，可以进行如下安排：使用Richardson-Lucy方法更新点扩散函数H^k，并且使用landweber方法更新结构U^k。

<第二实施例>

[信息处理设备的配置]

现在将参照图13对信息处理设备121进行描述，其使用Richardson-Lucy方法更新点扩散函数H^k，并且使用landweber方法更新结构U^k。

图13示出了作为本发明的第二实施例的信息处理设备121。

注意，对于该信息处理设备121，在作为图1中所示第一实施例的信息处理设备1的部件中，用相同的参考标号表示共同的部件，并将适当省略其描述。

具体地，以与信息处理设备1相同的方式配置信息处理设备121，除了对于信息处理设备121，分别设置了乘法单元151代替加法单元24、加法单元152代替乘法单元36、乘法单元153代替乘法单元23、平均单元32以及减法单元33。

分别从乘法单元153向乘法单元151提供对应于默认估计PSF周围区域的计算结果U^ko(G-H^kOU^k)，从H生成单元26向乘法单元151提供点扩散函数H^k。

乘法单元151将来自乘法单元153的计算结果U^ko(G-H^kOU^k)与来自H生成单元26的点扩散函数H^k相乘，并随后将作为其结果获得的点扩散函数H＝H^kU^ko(G-H^kOU^k)提供给重心校正单元25。

分别从相关单元30向加法单元152提供计算结果H^ko(G-H^kOU^k)，从U生成单元35向加法单元152提供结构U^k。

加法单元152将来自U生成单元35的结构U^k加到通过将来自相关单元30的计算结果H^ko(G-H^kOU^k)乘以未确定乘数λ获得的值λH^ko(G-H^kOU^k)上。继而，加法单元152对作为其结果获得的加法结果U^k+λH^ko(G-H^kOU^k)(＝U^k+1)通过针对未确定乘数的拉格朗日方法计算未确定乘数λ。

加法单元152用计算作为未确定乘数λ的解的常数a替换加法结果U^k+λH^ko(G-H^kOU^k)，并随后将作为其结果获得的结构U^k+1＝U^k+λH^ko(G-H^kOU^k)提供给总偏差滤波器37。

分别从相关单元31向乘法单元153提供计算结果U^ko(G-H^kOU^k)，从支持限制单元22向乘法单元153提供支持限制信息。

乘法单元153基于来自支持限制单元22的支持限制信息从来自相关单元31的计算结果U^ko(G-H^kOU^k)中仅提取对应于默认估计PSF周围区域的计算结果，并随后将其提供给加法单元151。

采用该信息处理设备121，也可以提供与作为第一实施例的信息处理设备1相同的操作效果。

<4.修改示例2>

对于第二实施例，进行了如下安排：使用Richardson-Lucy方法更新点扩散函数H^k，并且使用landweber方法更新结构U^k。或者，可以使用Richardson-Lucy方法更新点扩散函数H^k和结构U^k，或可以使用landweber方法更新点扩散函数H^k和结构U^k。

注意，对于第一和第二实施例，进行了对组成模糊图像的多个块执行重复更新处理的安排，但是可以将模糊图像本身作为一个块来执行该重复更新处理。

[边缘处理]

具体地，例如，可以执行边缘处理，其中模糊图像被分割为多个块，使用作为第一实施例的信息处理设备1或作为第二实施例的信息处理设备121对每个块执行重复更新处理，如图14和图15所示，连接重复更新处理后的多个块，从而生成重建后的重建图像。

现在将参照图14描述用于生成与组成模糊图像的多个块的每一个对应的结构U^k的处理。

如图14所示，组成模糊图像的多个块的每一个(例如，图14中所示的G)被放大(延伸)以保持相邻块之间的连续性，从而使得相邻块具有两者部分重叠的大小。这样，生成放大块(例如，图14中所示的附加虚拟部(dummy)的G’)。

另外，与组成模糊图像的多个块的每一个对应的结构U⁰(例如，图14中所示的U)也按相同的大小放大。这样，生成放大结构(例如，图14中所示的附加虚拟部的U’)。

继而，通过Richardson-Lucy方法基于放大块、放大结构以及基于放大块生成的点扩散函数H⁰(例如，图14中所示的PSF)执行放大结构的更新。

通过Richardson-Lucy方法更新放大结构而获得的更新后放大结构(例如，如图14中所示附加虚拟部的更新的U)被缩小到原始结构U⁰的大小。这样，获得保持相邻块之间连续性的结构(例如，图14所示更新的U)作为与组成模糊图像的多个块的每一个对应的结构，并且如图15所示，连接获得的结构，由此可以获得模糊已经减少(去除)的重建图像。

这里，现在将参照图16到图24详细描述边缘处理的示例。

下文中，要作为重建目标的模糊图像也被称为原始图像。另外，在下面的描述中，要增加到每个块以生成放大块的区域被称为虚拟区域。

在下面的描述中，图16中白色区域代表的原始图像的宽度被称为“OrgWidth”，其高度被称为“OrgHeight”。另外，在下面的描述中，图16中灰色区域代表的虚拟区域的宽度被称为“OffsetX”，其高度被称为“OffsetY”。注意，后面将描述用于设定虚拟区域的宽度(OffsetX)和高度(OffsetY)的示例性方法。

另外，在下面的描述中，通过将虚拟区域增加到原始图像获得的图像被称为放大图像。放大图像的宽度被称为FullWidth，其高度被称为FullHeight。此外，在下面的描述中，放大图像在横向上分割的部分数被称为“DivNum”，与其竖直方向中的情形一样。换言之，放大块可以被分割为多个放大块(竖直方向上的DivNum×水平方向上的DivNum)。

另外，在下文中，在放大图像的坐标系中，位于左上角的像素被定义为原点(0，0)并且放大方向的水平方向被定义为x轴方向，放大方向的垂直方向被定义为y轴方向。另外，向右方向被定义为正x轴方向，向下方向被定义为正y轴方向。

下文中，执行重复更新处理的信息处理设备1或信息处理设备121的处理器，被设计为执行SIMD(单指令多数据)并在执行SIMD期间每命令最大处理16字节数据。这里，在下面的描述中，每个图像的每像素数据量是四字节。

首先将参照图17描述一种设定延伸块的宽度(ROIWindth)的方法。

首先，在下式(5)中，按分割数目DivNum将原始图像简单地分割为块(下文中称之为原始块)来获得每个块的宽度DivWidth。

DivWidth＝OrgWidth/DivNum          …(5)

在该式(5)中，宽度DivWidth的值是通过小数点后舍入获得的值。因此，例如，如图17中所示，如果从左侧以宽度DivWidth分割原始图像，则只要原始图像的宽度OrgWidth没有被分割数目DivNum除尽，则位于最右侧的原始块的宽度大于任何其他原始块的宽度。最右侧原始块的宽度MaxDivWidth可以通过下式(6)获得：

MaxDivWidth＝OrgWidth-(DivWidthx(DivNum-1))  …(6)

随后，放大块的宽度ROIWidth可以通过下式(7)获得：

ROIWidth＝MaxDivWidth+2x OffsetX+MaxAlign    …(7)

在式(7)中，术语“MaxAlign”指的是当放大图像中的各个像素的数据在存储器中以光栅顺序排列时，在执行每个放大块的左端(左侧)上的像素数据的存储器对齐以对应于信息处理设备1或信息处理设备121的处理器的数据处理单元时的对齐的最大量。

这里，例如，将考虑分割数目DivNum等于四(DivNum＝4)的情况。

如上所述，信息处理设备1或信息处理设备121的处理器执行16字节单位的SIMD。另外，放大图像的每个像素具有四字节的数据量。因此，如果执行存储器对齐以使得位于放大图像左上角的像素数据的存储地址可以是16的倍数，则每个放大块左侧的像素的x坐标可以被设置为4的倍数以执行每个放大块左侧上像素数据的存储器对齐。

例如，如果从左侧第二到第四放大块的对齐量被称为A2到A4，则对齐量A2到A4可通过下式(8)到(10)获得：

A2＝{(OffsetX+DivWidth x 1)-OffsetX}&0x 03  …(8)

A3＝{(OffsetX+DivWidth x 2)-OffsetX}&0x 03  …(9)

A4＝{(OffsetX+DivWidth x 3)-OffsetX}&0x 03  …(10)

然后，可通过下式(11)获得MaxAlign：

MaxAlign＝max(A2，A3，A4)  …(11)

现在将参照图18描述用于设定放大块的高度ROIHeight的方法。

首先，当原始图像简单地按分割数目DivNum分割时，可通过下式(12)获得原始块的高度DivHeight：

DivHeight＝OrgWidth/DivNum   …(12)

在该式(12)中，宽度值DivWidth是通过小数点后舍入获得的。因此，例如，如图18所示，如果从上侧按高度DivHeight分割原始图像，则只要原始图像的高度OrgHeight没有被分割数目DivNum除尽，位于最下侧的原始块的高度大于任何其他原始块的高度。下侧的原始块的高度MaxDivHeight可以通过下式(13)获得：

MaxDivHeight＝OrgHeight-(DivHeight x(DivNum-1))  …(13)

随后，放大块的高度ROIHeight可以通过下式(14)获得：

ROIHeight＝MaxDivHeight+2x OffsetY  …(14)

因此，当宽度是MaxDivWidth的右侧放大块的对齐量达到最大值时，放大块的宽度ROIWidth等于右侧放大块的宽度。换言之，每个放大块的宽度ROIWidth被设置为可能放大块的最大宽度。类似地，每个放大块的高度ROIHeight被设置为可能放大块的最大高度。因此，各个放大块的大小彼此相等以使得可以实现处理速度和效率的提高。

如果不期望特别考虑处理的速度和效率，则可以根据DivWidth和MaxDivWidth之差、DivHeight和MaxDivHeight之差以及对齐量之差设定各个放大块的大小可。

现在将参照图19描述用于设置每个放大块的位置的方法。在下面的描述中，放大块的块单元的坐标由(blkX，blkY)代表，左上角处的放大块的坐标设置为(blkX，blkY)＝(0，0)。

每个放大块左上角的像素的坐标(x，y)可以通过下式(15)和(16)获得：

x＝(DivWidth x blkX)&^0x 03    …(15)

y＝DivHeight x blkY      …(16)

这里，^0x03是二进制形式的11111100。因此，基本上以对应于宽度DivWidth的间隔设定各个放大块的左上角的像素的x坐标。然而，如果x坐标值不是四的倍数，则执行存储器对齐来将x坐标值调整为四的倍数。另外，以对应于高度DivHeight的间隔设定各个放大块左上角的像素的y坐标。

这里，在本示例中，前提是图像的各个像素的数据以光栅顺序排列。因此，在本示例中，已经描述了被执行以使得每个放大块的左侧的x轴坐标为四的倍数的存储器对齐。或者，如果放大图像中的各个像素的数据在存储器中以非光栅顺序排列，则安排不局限于这样的示例。例如，可以执行存储器对齐以使得放大块的另一侧的x轴坐标或y轴坐标可以是四的倍数。然而，用于存储器对齐的坐标值并不局限于四的倍数。其可以根据放大图像中每个像素的数据量(字节)以及信息处理设备1或信息处理设备121的处理器的SIMD的处理单位(字节)改变。

如上所述，每一个具有“高ROIHeight”ד宽ROIWidth”大小的放大块的数目被设置为“垂直方向DivNum”ד水平方向DivNum”。针对每个放大块执行上述重复更新处理以生成对应于每个放大块的结构U^k(即放大结构)。然后，彼此连接生成的放大结构以生成重建图像。

这里，现在将参照图20到图24描述通过彼此连接各个放大结构生成重建图像的处理。

如图20所示，根据放大结构各自的位置将它们分类为四种不同的模式1到4。具体地，将对应于放大图像左上角的放大块的放大结构分类为模式1。另外，可以将对应于放大图像上侧的除左上角的放大块以外的任何放大块的放大结构分类为模式2。此外，可以将对应于放大图像左侧的除左上角放大块以外的任何放大块的放大结构分类为模式3。此外，将那些被分类为模式1到3以外的放大结构分类为模式4。

如图21所示，从模式1的放大结构中去除从右侧延伸到宽度OffsetX并从下侧延伸到高度OffsetY的黑色区域。然后，布置剩余区域以使得左上角的像素的坐标(x，y)可以对应于放大系统的坐标系的坐标(0，0)。

如图22所示，从模式2的放大结构中去除从左侧延伸到宽度OffsetX并从下侧延伸到高度OffsetY的黑色区域。然后，布置剩余区域以使得左上角的像素的坐标(x，y)可以对应于由下式(17)和(18)计算的坐标：

x＝(DivWidth x blkX)&^0x 03+offsetX    …(17)

y＝0…(18)

如图23所示，从模式3的放大结构中去除从右侧延伸到宽度OffsetX并从上侧延伸到高度OffsetY的黑色区域。然后，布置剩余区域以使得左上角的像素的坐标(x，y)可以对应由下式(19)和(20)计算的坐标：

x＝0      …(19)

y＝DivHeight x blkY+offsetY      …(20)

如图24所示，从模式4的放大结构中去除从左侧延伸到宽度OffsetX并从上侧延伸到高度OffsetY的黑色区域。然后，布置剩余区域以使得左上角的像素坐标(x，y)可以对应于由下式(21)和(22)计算的坐标：

x＝(DivWidth x blkX)&^0x 03+offsetX    …(21)

y＝DivHeight x blkY+offsetY    …(22)

因此，当将放大结构彼此连接时，在连接前按每个模式改变要去除的区域和用于布置的坐标，并且随后对相同大小的块执行处理。因此，可以实现处理的速度和效率的提高。

继而，去除通过设置每个延伸的结构生成的图像周围的具有宽OffsetX和高OffsetY的大小的区域。结果，可以获得重建图像。

因此，可以通过执行边缘处理确保块之间的连续性。从而，可以防止分割为块之后因处理引起的图像质量的降低。

另外，可以加速重复更新处理或者可以减小重复更新处理中期望的中间缓存的大小。

例如，如图25所示，将考虑可以由四个线程203a到203d并行执行重复更新处理的情况。在该情况下，例如，放大图像201分割为四个放大块201a到201d。继而，利用四组中间缓存202a到202d以及线程203a到203d，分别对各个放大块执行重复更新处理以高速生成放大结构204a到204d。

另外，如图26所示，执行仅有一个线程212进行重复更新处理的情况。在该情况下，例如，放大图像201分割为放大块201a到201d。使用一组中间缓存211和线程212对每个放大结构213执行重复更新处理。因此，可以使得期望的中间缓存的大小变小。

注意，可以描述用于设定宽度OffsetX、高度OffsetY和分割数目DivNum的示例性方法。

例如，可以通过允许H_init生成单元21基于用于生成点扩散函数H的初始值H_init的FFT(快速傅立叶变换)的抽头数Nt和由总偏差滤波器37执行的用于分离结构分量和纹理分量的重复计算次数Nr估计PSF来设定虚拟区域的宽度OffsetX和高度OffsetY。更具体地，虚拟区域的宽度OffsetX和高度OffsetY被设置为等于或大于FFT抽头数Nt与总偏差滤波器37的重复计算数Nr之和的值。

如果对无数据区域或不连续区域执行FFT，则会由于信号的不连续引起失真，导致图像处理中的噪声。为防止原始块中的图像受到因FFT引起的噪声的影响，虚拟区域的宽度OffsetX和高度OffsetY被设置为等于或大于FFT的抽头数Nt。

此外，设计总偏差滤波器37为每重复一次计算将作为计算目标的图像的范围延伸一个像素。为防止原始块中的图像受到因FFT而从其生成噪声的区域的影响，将虚拟区域的宽度OffsetX和高度OffsetY设置为等于或大于FFT的抽头数Nt加上总偏差滤波器37的重复计算次数Nr。

如上所述，将虚拟区域的宽度OffsetX和高度OffsetY设置为等于或大于FFT的抽头数Nt与总偏差滤波器37的重复计算次数Nr之和。因此，避免了不连续区域中生成的噪声的影响。从而，可以防止分割为块后因处理引起的图像质量的下降。

此外，例如，设定分割数目DivNum以使得放大块的数据大小不超出可用的存储器大小。另外，在这种情况下，可以与可用存储器大小的改变成比例地动态改变分割数目DivNum。

另外，可以根据诸如CPU之类的处理器的数目或可并行执行延伸块的重复更新处理的核的数目设定分割数目DivNum。此外，在这种情况下，如果由于另一个处理发生处理器的利用率的改变以及发生可并行执行各个处理的处理器数目的改变，则可以根据这样的改变来动态改变分割数目DivNum。

此外，例如，可以设定分割数目DivNum以使得通过从原始块中减去延伸块获得的帧大小不大于原始块的大小来防止处理速度急剧延迟。

此外，在上面的描述中，已经描述了示例以使得竖直方向上的分割数目和水平方向上的分割数目彼此相等。或者，竖直方向的分割数目可以与水平方向上的不同。

或者，可以更新点扩散函数H^k，最终获得的点扩散函数可以随后用作另一个延伸块的点扩散函数来更新与另一个延伸块对应的结构U^k。

在这种情况下，在另一个延伸块中，不期望更新点扩散函数H^k。可以仅更新结构U^k。因此，与对每个放大块更新对应的点扩散函数H^k相比，可以减小用于计算每个延伸块的点扩散函数的存储器大小(其存储容量)。另外，还可以减小用于更新(计算)点扩散函数的计算消耗。

[另一个修改示例]

另外，对于第一实施例，进行了如下安排：模糊图像被分割为多个块，针对每个块重复地更新点扩散函数H^k和结构U^k。然而，也可进行如下安排：针对多个块中的预定块单独执行点扩散函数H^k的更新，最终获得的点扩散函数用作另一个块的点扩散函数，由此用于计算每个块的点扩散函数H^k的存储器可以减少，而且用于更新(计算)点扩散函数的计算量也可以减小。

顺便提及，对于重复更新处理，进行了对模糊图像执行处理的安排，但是除此以外，对于出现因焦距偏移引起的散焦、平面均匀模糊、平面非均匀环绕模糊等的模糊图像也可以执行该处理。

另外，对于重复更新处理，可以对于已经出现模糊的预先记录的运动图像执行处理，并且也可执行处理以检测对运动图像成像时生成的模糊以实时去除该模糊。

对于图1中的第一实施例，进行了为了分离结构分量和纹理分量而使用总偏差滤波器37的安排，但除此以外例如可采用双边滤波器或ε滤波器。

对于第一和第二实施例，进行了如下安排：处理单元28从模糊图像G中减去来自卷积单元27的计算结果H^kOU^k，并随后将其减法结果G-H^kOU^k提供给残差生成单元29。

或者，即使采用将模糊图像G除以来自卷积单元的计算结果H^kOU^k并且将其除法结果(H^kOU^k)/G提供给残差生成单元29的安排，也可以获得相同的结果。

对于上述重复更新处理，进行了如下安排：其中在步骤S33中，使用点扩散函数H^k执行结构U^k的更新，并且与此同时，在步骤S34中，使用结构U^k执行点扩散函数H^k的更新。但是本发明不限于此。

换言之，例如，对于重复更新处理，可以交替地执行结构的更新和点扩散函数的更新。

具体地，例如，可以进行如下安排：其中在步骤S33中使用点扩散函数H^k执行结构U^k的更新，在步骤S34中，通过其更新获得的结构U^k+1用于执行点扩散函数H^k的更新。此外，在下一步骤S33中，通过更新获得的点扩散函数H^k+1用于执行结构U^k+1的更新，在下一步骤S34中，通过更新获得的结构U^k+2用于执行点扩散函数H^k+1的更新，由此可以交替地执行结构和点扩散函数的更新。

在这种情况下，例如，与使用结构U^k执行点扩散函数H^k的情况相比，逼近更真实结构的结构U^k+1用于执行点扩散函数H^k，由此可获得逼近更真实点扩散函数的点扩散函数H^k+1作为点扩散函数H^k的更新结果。

另外，作为第一实施例的信息处理设备1和作为第二实施例的信息处理设备121可以应用于例如通过其可再生或记录图像的记录/再生设备等。

[计算机的示意性配置]

顺便提及，上述一系列处理可由硬件执行，也可由软件执行。在通过软件执行这一系列处理的情况下，从程序存储介质将组成其软件的程序安装到所谓的嵌入式计算机或能够通过安装各种类型的程序执行各种功能的通用个人计算机等。

图27示出了通过程序执行上述一系列处理的计算机的配置示例。CPU(中央处理单元)301根据存储在ROM(只读存储器)302或存储单元308中的程序执行各种类型的处理。CPU 301执行的程序、数据等适当地存储在RAM(随机访问存储器)303中。CPU 301、ROM 302以及RAM 303通过总线304互相连接。

输入/输出接口305也经由总线304连接到CPU 301。由键盘、鼠标、麦克风等组成的输入单元306和由显示器、扬声器等组成的输出单元307连接到输入/输出接口305。CPU 301根据从输入单元306输入的命令执行各种类型的处理。随后，CPU 301向输出单元307输出处理结果。

连接到输入/输出接口305的存储单元308例如由硬盘组成，并存储CPU 301执行的程序和各种类型的数据。

通信单元309经由诸如因特网、局域网等的网络与外部设备通信。

另外，可以经由通信单元309获得程序以将其存储于存储单元308。

当安装诸如磁盘、光盘、磁光盘、半导体存储器等可移除介质311时，连接到输入/输出接口305的驱动器310对其驱动以获得其上记录的程序或数据等。获得的程序和数据传输到存储单元308并适当地存储其中。

如图27所示，存储安装到计算机中并由计算机转到可执行状态的程序的程序存储介质由可移除介质311或临时或永久存储程序的ROM302以及组成存储单元308的硬盘等构成，其中可移除介质311是由磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器))、DVD(数字多功能盘)、磁光盘(包括MD(迷你盘))、半导体存储器等组成的封装介质。经由作为对路由器或调制解调器等的接口的通信单元309使用诸如局域网、因特网、数字卫星广播等有线或无线通信介质适当地执行在程序存储介质中存储程序。

注意，在本说明书中，描述将程序存储在程序存储介质中的步骤不仅包括根据上述顺序按时间顺序执行的处理，而且包括不一定按时间顺序执行而是并行或单独执行的处理。

本发明包含与2009年12月18日提交于日本专利局的日本在先专利申请JP 2009-288187中公开的主题相关的主题，其全部内容通过引用结合于此。

另外，本发明的实施例并不局限于上述实施例。本领域的技术人员应当理解根据设计需要和其它因素可以进行各种修改、组合、子组合以及改变，只要这些修改、组合、子组合以及改变处于所附权利要求及其等价内容的范围内。

Claims (9)

1.一种信息处理设备，包括：

第一生成装置，生成代表输入图像中生成的模糊的程度的点扩散函数；

第二生成装置，生成通过基于所述点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中所述多个输入块图像是通过对分割所述输入图像获得的多个第一块的外围进行放大而获得的多个第二块中的图像；以及

更新装置，执行一次或更多次更新处理来利用所述点扩散函数更新所述校正块图像，以减小所述校正块图像中生成模糊的模糊再生块图像与对应于所述模糊再生块图像的所述输入块图像之间的残差，随后将所述更新的校正块图像的结构分量组成新的校正块图像。

2.如权利要求1所述的信息处理设备，其中

所述第二生成装置基于用于生成所述点扩散函数的快速傅立叶变换的抽头数设定所述第二块的大小。

3.如权利要求1所述的信息处理设备，其中

所述第二生成装置基于分离滤波器的重复计算次数设定所述第二块的大小，所述分离滤波器将所述校正块图像的结构分量与纹理分量彼此分离。

4.如权利要求1所述的信息处理设备，其中

所述第二生成装置设定所述第二块的每一个的大小和位置，以使得预定方向上所述第二块的预定侧的坐标对应于预定整数的倍数。

5.如权利要求1所述的信息处理设备，其中

所述更新装置进一步更新所述点扩散函数，以减小所述模糊再生块图像与所述输入块图像之间的残差。

6.如权利要求1所述的信息处理设备，还包括：

第三生成装置，生成校正图像，其中通过在完成所述更新处理后连接所述校正块图像来校正所述输入图像的模糊。

7.一种信息处理方法，包括允许校正图像中生成的模糊的信息处理设备执行下述处理的步骤，所述处理包括：

生成代表输入图像中生成的模糊的程度的点扩散函数；

生成通过基于所述点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中所述多个输入块图像是通过对分割所述输入图像获得的多个第一块的外围进行放大而获得的多个第二块中的图像；以及

执行一次或更多次更新处理以利用所述点扩散函数更新所述校正块图像，来减少所述校正块图像中生成模糊的模糊再生块图像与对应于所述模糊再生块图像的所述输入块图像之间的残差，随后将所述更新的校正块图像的结构分量组成新的校正块图像。

8.一种程序，包括允许计算机执行下述处理，所述处理包括：

生成代表输入图像中生成的模糊的程度的点扩散函数；

生成通过基于所述点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中所述多个输入块图像是通过对分割所述输入图像获得的多个第一块的外围进行放大而获得的多个第二块中的图像；以及

执行一次或更多次更新处理以利用所述点扩散函数更新所述校正块图像，来减少所述校正块图像中生成模糊的模糊再生块图像与对应于所述模糊再生块图像的所述输入块图像之间的残差，随后将所述更新的校正块图像的结构分量组成新的校正块图像。

9.一种信息处理设备，包括：

第一生成单元，生成代表输入图像中生成的模糊的程度的点扩散函数；

第二生成单元，生成通过基于所述点扩散函数校正多个输入块图像的结构分量的模糊获得的多个校正块图像，其中所述多个输入块图像是通过对分割所述输入图像而获得的多个第一块的外围进行放大而获得的多个第二块中的图像；以及

更新单元，执行一次或更多次更新处理来利用所述点扩散函数更新所述校正块图像，以减小所述校正块图像中生成模糊的模糊再生块图像与对应于所述模糊再生块图像的所述输入块图像之间的残差，随后将所述更新的校正块图像的结构分量组成新的校正块图像。

Images