CN102144244A

CN102144244A - 图像处理设备

Info

Publication number: CN102144244A
Application number: CN2009801347558A
Authority: CN
Inventors: 渡边郁夫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-04
Filing date: 2009-09-04
Publication date: 2011-08-03
Anticipated expiration: 2029-09-04
Also published as: US20100111368A1; CN102144244B; US8369576B2; JP2010061440A; WO2010027102A1; JP5419403B2

Abstract

提供了使得能够减少超分辨率处理的收敛的误判断、并提高超分辨率处理的精度的图像处理装置。该图像处理装置包括：距离测量部(2)，用于测量到要拍摄的被摄体的距离；劣化图像重建部(134)，用于通过重复计算来重建该被摄体的图像；以及结束判断部件，用于进行图像重建的结束判断。仅对使用距离测量部(2)所测量出的距离信息的特定距离层、或对使用该距离信息的每个距离层进行图像重建的结束判断。

Description

图像处理设备

技术领域

本发明涉及用于重建劣化图像的图像处理设备。

背景技术

迄今为止，在利用诸如数字照相机等的摄像设备拍摄被摄体的情况下，存在当随后观看图像时、该图像由于失焦等而变为劣化图像的情况。在这种情况下，尝试通过超分辨率处理来重建该劣化图像，并且考虑超分辨率处理用的各种算法。例如，Irani和Peleg在Improving Resolution by Image Registration CVGIP：GRAPHICAL MODELS AND IMAGE PROCESSING Vol.53，No.3，pp.231-239，May 1991中，提出了用于根据多个模糊图像进行重建的代表性方法(以下称为Irani-Peleg方法)。

在Irani-Peleg方法的图像重建处理中使用以下的公式(1)。根据该系统，在重复处理中根据劣化图像逐渐推定未知的原始图像。此时，计算公式(1)所示的通过对紧前的重建图像f⁽ⁿ⁾和示出所假定的模糊的点扩散函数(h^PSF)进行卷积所形成的伪模糊图像g⁽ⁿ⁾、和通过拍摄所获得的模糊图像g的范数(各像素的差分平方和)，并且假定该范数为f⁽ⁿ⁺¹⁾。也就是说，计算以下的公式(2)中的e⁽ⁿ⁾，并且将e⁽ⁿ⁾最小的情况看作为图像重建完成。

f⁽ⁿ⁺¹⁾＝f⁽ⁿ⁾+(g-g⁽ⁿ⁾)×h^AUX/c

＝f⁽ⁿ⁾+(g-f⁽ⁿ⁾×h^PSF)×h^AUX/c ...公式(1)

其中，c：标准化常数，ω：空间频率，h^AUX可以是针对所有ω均满足0＜|1-H^PSF(ω)·H^AUX(ω)/c |＜1的函数，一般地使用H^PSF，并且H：h的傅立叶变换。

e⁽ⁿ⁾＝‖g⁽ⁿ⁾-g⁽⁰⁾‖ ...公式(2)

其中，‖ ‖：示出各像素的差分平方和或差分绝对值和的范数。

日本特开2006-242746号公报已经公开了通过改进使用用于原始图像的推定的B ayes推定的、代表性的Richardson-Lucy方法所获得的算法。日本特开2006-195856号公报已经公开了与超分辨率处理有关的15种非专利文献。

用于测量到要拍摄的被摄体的距离、并获得各像素的距离信息的技术也是已知的。例如，日本特开平11-257951号公报已经公开了被称为立体方法(stereo method)的如下方法：通过将望远镜与用于测量到要拍摄的被摄体的距离的技术组合来提高远距离处的距离测量精度。

发明内容

在执行劣化图像重建处理的情况下，通常，由于各被摄体的失焦程度的差异，在重复重建单元的处理中，图像中的多个被摄体的最佳劣化重建次数不同。也就是说，如图9所示，存在以下问题：用于判定收敛的评价函数，例如处理前后的图像或重建图像与示出模糊的点扩散函数(h^PSF)的卷积、和模糊图像的范数具有多个最小值，并且不知晓这些最小值中的哪一个是正确解。

为了解决该问题，日本特开平05-205048号公报已经公开了以下技术：按每个像素进行最佳劣化重建判定并且冻结重建完成像素的处理，由此重建所有的像素。根据该方法，对重建图像的各像素的邻近区域执行用于获得邻接像素之间的差分的滤波，由此推定该邻近区域中的噪声(＝由于高频增强滤波器引起的振铃(ringing))并获得所推定出的噪声的分散。对于像素值的分散和噪声的分散之间的差小于预定值的像素，判断为该像素已经收敛。然而，以上系统是仅基于该推定的方法，并且在振铃噪声和实际图像混合存在的部分中有可能混入了误差。

本发明的目的是提供以下的图像处理设备：在该图像处理设备中，可以消除与超分辨率处理的收敛有关的误判定，并且可以提高超分辨率处理的精度。

根据本发明，提供一种图像处理设备，用于重建包括被摄体的图像的劣化图像，所述图像处理设备包括：测量单元，用于测量到所述被摄体的距离，由此设置所述被摄体所属的距离层；图像重建单元，用于通过重复计算来重建所述劣化图像；以及结束判定单元，用于进行所述图像重建单元的重复计算的结束判定，其中，所述结束判定单元仅对距离层中的特定距离层或对每个距离层进行所述结束判定。

附图说明

图1是示出根据本发明的图像处理设备的第一实施例的框图。

图2是用于说明本发明第一实施例中的拍摄处理的流程图。

图3是示出距离图像的示例的图。

图4是用于说明本发明第一实施例中的图像处理的流程图。

图5是示出已经基于距离信息分离了拍摄图像的部分图像的示例的图。

图6是用于说明本发明第二实施例中的图像处理的流程图。

图7A、7B和7C是各自示出重建各距离信息的图像时的范数的图。

图8是示出本发明第三实施例的PC中的处理的流程图。

图9是示出整个显示画面的范数的图。

具体实施方式

随后，将参考附图来详细说明用于执行本发明的最佳模式。

第一实施例

图1是示出根据本发明的图像处理设备的第一实施例的结构的框图。特别地，第一实施例示出执行属于特定距离层的被摄体的分辨率重建处理的例子。

在该图中，附图标记1表示拍摄单元，并且附图标记2表示距离测量单元。例示出在距离测量单元2中使用双镜头立体方法的例子。在拍摄单元1中配置摄像透镜120、光圈121和诸如CCD等的摄像装置122。附图标记123表示用于对来自摄像装置122的摄像信号进行A/D转换的ADC(A/D转换器)；附图标记124表示用于执行滤波处理等的照相机处理单元；附图标记130表示存储器控制器；并且附图标记131表示诸如SDRAM等的存储器。

附图标记132表示图像缩小单元；附图标记133表示P SF表；附图标记134表示劣化图像重建单元；附图标记135表示图像处理效果判定单元；附图标记140表示编码解码器；附图标记141表示闪速存储器控制器；并且附图标记142表示闪速存储器。此外，附图标记143表示显示器接口；附图标记144表示诸如液晶等的显示单元；附图标记98表示十字小键盘；附图标记99表示快门；并且附图标记100表示用于控制整个系统的系统控制器。

在距离测量单元2中配置摄像透镜104R和104L。还分别与这两个摄像透镜相对应地配置了光圈105R和105L、摄像装置(CCD等)106R和106L、以及ADC(A/D转换器)107R和107L。附图标记108表示用于判定到被摄体的距离的距离判定单元，并且附图标记109表示距离图像形成单元。ADC 123以及ADC 107R和107L各自具有AGC(自动增益控制)功能。

在图1的左下部中示出被摄体的例子(通过俯视图示出各被摄体)。在图1中示出了3个被摄体。附图标记101表示(实际上存在于由箭头所示的左侧遥远的位置处的)远景被摄体；附图标记102表示中间距离被摄体；并且附图标记103表示近景被摄体。

随后，将通过使用图1、2和3来说明本实施例中的拍摄处理操作。图2是示出本实施例中的拍摄处理的流程图。图3示出距离图像形成单元109所获得的距离图像的示例。

1.准备拍摄时

首先，当半按下快门99时(图2中的S101)，系统控制器100执行拍摄单元1和距离测量单元2的AE(自动曝光)处理和AF(自动调焦)处理，从而为拍摄作准备(S102)。通常，在AE处理中，按以下方式对光圈121、光圈105L和105R、ADC 107L和107R以及ADC 123中的AGC进行控制：重要的被摄体所位于的中央部的亮度等于预定值，而没有过曝光或曝光不足。

另一方面，在AF处理中，按与AE的情况相同的方式，以中央部的ADC输出的高频成分的量增多的方式，利用登山方法(mountain climbing method)来调整摄像透镜104R和104L以及摄像透镜120。距离测量单元2使用如上所述的双透镜立体方法。通常，在距离测量单元2中，由于相对于拍摄单元1使用直径小的透镜和直径小的单色CCD，因此景深深并且感光度高。

2.拍摄时

随后，当全按下快门99时(S103)，拍摄单元1执行摄像处理，并且距离测量单元2测量距离图像(S104)。此时，照相机处理单元124通过滤波处理将ADC 123的输出从拜尔(Bayer)阵列图像转换成RGB图像，并且通过存储器控制器130将该输出写入存储器131中。

距离测量单元2将ADC 107R和107L的各像素的输出输入至距离判定单元108。在这种情况下，各像素的左右两侧上的多个像素向左向右偏移，并且计算一个范数(差分绝对值和)。根据获得最小值时的偏移量来计算该像素所属于的层的距离。在距离图像形成单元109中，通过按每个像素计算该距离，形成如图3所示的距离图像，并且按与拍摄图像相同的方式，通过存储器控制器130将该距离图像写入存储器131中(S105)。记录距离信息作为由约8位的位图信息所表示的距离图像。

在图3所示的距离图像中，以黑色示出近景，以(由黑色和白色之间的中间颜色所表示的)灰色示出中间距离，并且以白色示出远景。在本实施例中，假定已经预先设置了示出近景层、中间距离层和远景层之间的边界的距离信息(近景层：0～5m，中间距离层：5～20m，远景层：20m-)。可以基于距离信息的直方图来确定示出这些边界的信息。例如，通过将频率小的距离设置为这些层的边界，可以使由各层的图像重建处理的差异所引起的不均匀最小化。距离层的数量不限于近景层、中间距离层和远景层这三层。层数可以等于自然数N(N≥2)。由于景深根据光瞳(光圈)的大小而不同，因此需要根据景深来调整层数。例如，当在直径大的透镜中打开光圈时，由于景深浅，因此需要的层数较多。对于分割间隔，期望按距离的倒数几乎恒定的方式细微地分割近景。如图1的左下部所示，尽管摄像装置106L和106R拍摄到的近景被摄体103的位置向外侧偏离，但在这两个摄像装置的同一位置处拍摄到光束将变为几乎平行的光束的、实际上无限远的远景图像101。日本特开平11-257951号公报已经详细公开了这一点。

在拍摄之后，除了写入存储器131中的拍摄图像和距离图像以外，通过存储器控制器130读出拍摄参数(诸如调焦、变焦和光圈等的信息)。根据需要，通过编码解码器140和闪速存储器控制器141将这些拍摄图像写入闪速存储器142中。

3.拍摄后的图像确认

在拍摄之后，当操作员通过操作十字小键盘98进行指示时，系统控制器100通过闪速存储器控制器141从闪速存储器142中读出所拍摄图像，并通过存储器控制器130将所拍摄图像写入存储器131中。

首先，图像缩小单元132缩小所读出的几兆像素的图像，并且小型的VGA程度的显示单元144显示该图像。在降低缩小程度的情况下仔细确认被摄体的图像时，出现以下情况：AF位置已经聚焦于背景的中间距离被摄体102，而不是所期望的被摄体(近景被摄体)103。

特别地，在如图1所示的结构图的情况下，根据点测距系统，焦点聚焦于中心，并且易发生所谓的跳过中心的后焦点现象(center-skip rear focus phenomenon)。然而，由于该状态并非聚焦于无限远的远景被摄体101的大模糊状态，因此存在许多以下情况：即使在紧挨拍摄之后利用小的监视器显示画面简单观看图像，也不能确认后焦点状态。

4.图像重建

图4是示出本实施例中的图像重建处理的流程图。图5示出已经基于距离信息分离了拍摄图像的部分图像的示例。现在将通过使用图1、4和5来说明本实施例中图像重建时的操作。

4.1图像重建预处理

因此，执行图像重建处理。此时，通过对劣化图像进行重复计算来执行图像重建处理。首先，操作员操作十字小键盘98并指示应当重建哪个图像，以使得系统控制器100开始当前所显示的图像的重建处理。在该例子中，假定已经指示了近景的人物被摄体中的一个的情况。根据所指示的像素存在的距离图像，系统控制器100判断出进行重建的区域是近景。假定使用劣化图像gN⁽ⁿ⁾的像素来进行收敛判定。

gN⁽ⁿ⁾表示劣化图像g⁽ⁿ⁾中、与图3中以黑色示出的距离图像中的近景(Near)相对应的一部分的像素的集合，并且是图5所示的Near的图像。通过存储器控制器130将存储器131中的拍摄参数和劣化图像(假定为g⁽⁰⁾)发送至劣化图像重建单元134。将用于对图像重建处理次数进行计数的重复处理计数器n设置为0(初始化)。

为了将劣化图像处理的初始图像f⁽⁰⁾设置为g⁽⁰⁾，将g⁽⁰⁾复制到存储器中。根据拍摄参数和P SF表133获得拍摄时的gN⁽ⁿ⁾的点扩散函数hN^PSF(图4中的S201)。

4.2图像重建重复处理

随后，劣化图像重建单元134执行一个步骤的图像重建处理(S 202)，通过存储器控制器130将重建图像再次写入存储器131中的其它区域，并将其设置为新的重建中图像f⁽ⁿ⁺¹⁾。将说明在图像重建处理中使用Irani-Peleg方法的情况作为例子，并且使用在背景技术中所述的公式(1)。

在图4中示出这种情况下的计算公式。hN^PSF表示点扩散函数。标准化常数c和h^AUX如背景技术所述。

4.3收敛判定

随后，系统控制器100进行收敛判定(结束判定)(S 203)。具体而言，计算并保持‖gN⁽ⁿ⁾-gN⁽⁰⁾‖。‖gN⁽ⁿ⁾-gN⁽⁰⁾‖表示以下的伪模糊图像gN⁽ⁿ⁾和拍摄时获得的模糊图像gN⁽⁰⁾的范数，该伪模糊图像gN⁽ⁿ⁾是通过对被判断为是图3中的黑色部分的近景Near的区域中的像素的、图像重建处理之后获得的图像fN⁽ⁿ⁾和点扩散函数hN^PSF进行卷积所形成的。

将‖gN⁽ⁿ⁾-gN⁽⁰⁾‖与‖gN⁽ⁿ⁺¹⁾-gN⁽⁰⁾‖进行比较。如果通过后一处理所获得的值比前一处理的值大，则通过看作为过剩处理来判断收敛(结束判定)，并且将最佳重建处理图像f设置为该时间点时的f⁽ⁿ⁾。如果尚未进行收敛，则系统控制器100代入f⁽ⁿ⁾＝f⁽ⁿ⁺¹⁾。使处理例程返回至S202(4.2的处理)，执行图像重建处理，并且在S 203中进行结束判定。

如果判断为已经进行了收敛，则系统控制器100通过存储器控制器130从存储器131中读出最佳重建图像f，并通过闪速存储器控制器141将该最佳重建图像f写入闪速存储器142中(S204)。这样，图像重建处理完成。例如，操作员通过使用十字小键盘98指示来确定以下模式中的任一个就足够了：利用编码解码器140再次压缩图像的模式；重写并擦除以前的模糊图像的模式；以及利用最佳重建图像f仅替换模糊图像的近景(Near)部的模式。

在本实施例中，在执行超分辨率处理时的收敛判定函数仅使用所指定的距离层的像素。也就是说，距离层由距离信息构成，并且仅对特定距离层进行超分辨率处理的结束判定。因此，收敛评价的最小值的数量等于1。结果，由于没有生成多个示出判定结果的最小值，因此从未进行误判定，并且可以执行精确的图像重建处理。尽管在本实施例中已经说明了单色图像的情况，但在彩色图像的情况下，通常，将RGB信号转换成示出亮度和色差的YUV信号，仅对Y进行收敛判定，并且对所有的YUV同等执行图像处理。期望在图像重建完成之后执行UV信号的子采样处理并执行JPEG压缩。

第二实施例

随后，将通过使用图1、3和6来说明本发明的第二实施例。图6是示出本实施例中的图像重建处理的流程图。本实施例涉及以下例子：执行属于所有的距离层、在这种情况下为近景(N)、中间距离(M)和远景(F)这三个距离层的被摄体的分辨率重建处理。各个距离层中的图像重建处理与第一实施例中的图像重建处理基本相同。本实施例的结构与图1中的结构相同。由于1.准备拍摄时的操作、2.拍摄时的操作、3.拍摄后的图像确认的操作与第一实施例中的这些操作相同，因此这里省略对这些操作的说明。

4.图像重建

4.1图像重建预处理

当操作员操作十字小键盘98、并指示该操作员想要重建所有的距离图像时，系统控制器110开始当前所显示的图像的重建处理。根据这些距离图像，系统控制器110判断为可以将执行重建的区域分成近景(N)、中间距离(M)和远景(F)这三层。假定在收敛判定时使用各个劣化图像gN、gM和gF的像素。

根据拍摄时的参数和拍摄图像中存在的距离信息，在本实施例中，系统控制器100从P SF表133获得假定的点扩散函数hN^PSF、hM^PSF和hF^PSF(S301)。

此外，为了将重建中图像的初始图像设置为(fN⁽⁰⁾＝fM⁽⁰⁾＝fF⁽⁰⁾＝g⁽⁰⁾)，将用于对图像重建处理次数进行计数的重复处理计数器n设置为0(初始化)(S301)。

4.2图像重建重复处理

随后，系统控制器100通过存储器控制器130将存储器131中的重建中图像(fN⁽ⁿ⁾、fM⁽ⁿ⁾和fF⁽ⁿ⁾)发送至劣化图像重建单元134，并且执行一个步骤的图像重建处理。系统控制器100通过存储器控制器130将重建中图像再次写入至存储器131中的其它区域中，并将这些重建中图像设置为新的重建中图像(fN⁽ⁿ⁺¹⁾、fM⁽ⁿ⁺¹⁾、fF⁽ⁿ⁺¹⁾)。在近景图像、中间距离图像和远景图像的图像重建处理中，以与第一实施例的方式相同的方式，使用前述的公式(1)。

在图6中，在S302中对近景图像执行近景图像重建处理，在S305中对中间距离图像执行中间距离图像重建处理，并且在S308中对远景图像执行远景图像重建处理。如以上所述，在S302中近景图像的图像重建处理中、在S305中中间距离图像的图像重建处理中以及在S308中远景图像的图像重建处理中，均使用公式(1)。

在图6中分别示出了图像重建处理的计算公式。hN^PSF、hM^PSF和hF^PSF表示如上所述的点扩散函数。

4.3收敛判定

在图6中，分别在S 303中进行近景图像收敛判定(结束判定)，在S306中进行中间距离图像结束判定，并且在S309中进行远景图像结束判定。现在将详细说明S303、S306和S309中的收敛判定处理。系统控制器100分别计算‖gN⁽ⁿ⁺¹⁾-gN⁽⁰⁾‖、‖gM⁽ⁿ⁺¹⁾-gM⁽⁰⁾‖和‖gF⁽ⁿ⁺¹⁾-gF⁽⁰⁾‖并保持它们。

将说明‖gN⁽ⁿ⁺¹⁾-gN⁽⁰⁾‖。也就是说，‖gN⁽ⁿ⁺¹⁾-gN⁽⁰⁾‖是根据以下两者计算出的范数：通过对被判断为是图3中的近景Near的层的、图像重建处理之后获得的图像和相关距离的模糊函数hN^PSF进行卷积所形成的伪模糊图像gN⁽ⁿ⁺¹⁾；以及拍摄时获得的模糊图像g⁽⁰⁾的区域gN⁽⁰⁾。

将说明‖gM⁽ⁿ⁺¹⁾-gM⁽⁰⁾‖。也就是说，‖gM⁽ⁿ⁺¹⁾-gM⁽⁰⁾‖是根据以下两者计算出的范数：通过对被判断为是图3中的中间距离Middle的层的、图像重建处理之后获得的图像和相关距离的模糊函数hM^PSF进行卷积所形成的伪模糊图像gM⁽ⁿ⁺¹⁾；以及拍摄时获得的模糊图像g⁽⁰⁾的区域gM⁽⁰⁾。

将说明‖gF⁽ⁿ⁺¹⁾-gF⁽⁰⁾‖。也就是说，‖gF⁽ⁿ⁺¹⁾-gF⁽⁰⁾‖是根据以下两者计算出的范数：通过对被判断为是图3中的远景Far的层的、图像重建处理之后获得的图像和相关距离的模糊函数hF^PSF进行卷积所形成的伪模糊图像gF⁽ⁿ⁺¹⁾；以及拍摄时获得的模糊图像g⁽⁰⁾的区域gF⁽⁰⁾。

随后，针对近景图像，将‖gN⁽ⁿ⁾-g⁽⁰⁾‖与‖gN⁽ⁿ⁺¹⁾-g⁽⁰⁾‖进行比较。如果通过后一处理所获得的值比前一处理的值大，则通过看作为过剩处理来判断收敛(S303)，并且将最佳重建处理图像保持为添加有该时间点时的n的fN⁽ⁿ⁾(S304)。同样，还针对其它的中间距离图像和远景图像的距离部分进行计算，并且保持在步骤S306或S309中判断为处理是过剩处理时的fM⁽ⁿ⁾和fF⁽ⁿ⁾(S307、S310)。

如果判断为在各距离部分中收敛尚未完成，则在收敛未完成的距离的情况下，例如，在近景图像的情况下，系统控制器100代入fN⁽ⁿ⁾＝fN⁽ⁿ⁺¹⁾，并且返回至S302(4.2的图像重建处理)。同样，执行近景图像重建处理，并且在S303中进行收敛判定。

在中间距离图像的情况下，代入fM⁽ⁿ⁾＝fM⁽ⁿ⁺¹⁾，使处理例程返回至S305，同样，执行中间距离图像重建处理，并且在S306中进行收敛判定。此外，在远景图像的情况下，代入fF⁽ⁿ⁾＝fF⁽ⁿ⁺¹⁾，使处理例程返回至S308，同样，执行远景图像重建处理，并且在S309中进行收敛判定。

图7A、7B和7C示出每个距离信息(Far、Middle、Near)的图像重建时的范数。在以上所有情况中，收敛评价的最小值的数量等于1，并且没有生成多个示出判定结果的最小值。

5.图像合成

随后，分别通过使用在S 304中保持的fN⁽ⁿ⁾来合成图3所示的距离图像中的黑色近景部分，通过使用在S307中保持的fM⁽ⁿ⁾来合成中间距离部分，并且通过使用在S310中保持的fF⁽ⁿ⁾来合成远景部分(各个n均不同)(S311)。结果，可以获得在所有的距离处进行了重建的劣化图像的图像f。

随后，系统控制器100通过存储器控制器130从存储器131读出重建图像f，并且通过闪速存储器控制器141将该重建图像f写入闪速存储器142中(S311)。这样，图像重建处理完成。以与第一实施例的方式相同的方式，例如，操作员通过使用十字小键盘98指示来确定以下模式中的任一个就足够了：利用编码解码器140再次压缩图像的模式；和重写并擦除以前的模糊图像的模式。

在本实施例中，由于距离层由距离信息构成、并且按每个距离层进行超分辨率处理的收敛判定，因此收敛评价的最小值的数量等于1，并且没有生成多个示出判定结果的最小值。结果，从未进行误判定，并且可以执行精确的图像重建处理。

尽管在本实施例中已经示出了属于三个距离层的被摄体的分辨率重建处理的例子，但本发明不限于该例子，而是可以按数量小于或大于3的距离层中的每个距离层来执行这些处理。

第三实施例

随后，将说明本发明的第三实施例。在本实施例中，示出了在PC侧上重建劣化图像的情况下的例子。也就是说，示出了将图1中的照相机所拍摄到的图像发送至PC、并且在PC侧上重建劣化图像的例子。图8是示出本实施例中的处理的流程图。由于1.准备拍摄时的操作、2.拍摄时的操作、3.拍摄后的图像确认的操作是照相机侧的处理，因此这些操作与第一实施例中的操作相同。

在图8中，用户将闪速存储器插入至PC中，并且在PC上启动劣化图像重建处理应用程序。因而，该劣化图像重建处理应用程序从闪速存储器读出所拍摄图像、距离图像和照相机参数，将它们写入PC的记录介质中，并且显示各图像(S401)。

用户确认显示画面上的图像，输入示出第一实施例中的特定区域的劣化图像重建处理、或第二实施例中的整个区域的劣化图像重建处理的期望条件，并且指定用于重建图像的系统(S402)。

劣化图像重建处理应用程序利用在第一或第二实施例中所述的算法，根据所指定的系统执行处理(S403)。此时，尽管在第二实施例中已经针对三个距离层重建了图像，但本发明不限于该例子。

当在步骤S404中图像重建完成时，PC向用户呈现在这些处理完成之后所获得的重建图像。如果重建图像成功(OK)，则用户将该图像写入PC的记录介质中(S406)。例如，尽管已经重建了整个区域中的劣化图像，但如果由于用户想要背景上存在模糊感觉、因而判断为重建图像失败(NG)，则该用户再次指示特定区域的劣化图像重建处理，改变重建条件，并且执行劣化图像重建处理。在这些处理结束之后，用户确认图像，之后将该图像写入PC的记录介质中。

具体而言，如果在S405中用户判断为重建图像为“否”，则使处理例程返回至S402。用户如上所述指定在期望条件下重建图像，并且改变该图像的重建条件。此时，例如，如果用户想要背景上存在模糊感觉，则按以下方式指定条件就足够了：保持背景部分作为劣化图像，并且对诸如人物被摄体等的其它图像执行图像重建处理。

其它实施例

还通过执行以下处理来实现本发明。也就是说，通过网络或各种类型的存储介质向系统或设备供给用于实现以上所述的实施例的功能的软件(程序)，并且该系统或设备的计算机(或者CPU或MPU等)读出该程序并且执行与该程序相对应的处理。在这种情况下，程序和已经存储有该程序的存储介质构成本发明。

本申请要求2008年9月4日提交的日本专利申请2008-226976的优先权，在此通过引用包含其全部内容。

Claims

1.一种图像处理设备，用于重建包括被摄体的图像的劣化图像，所述图像处理设备包括：

测量单元，用于测量到所述被摄体的距离，由此设置所述被摄体所属的距离层；

图像重建单元，用于通过重复计算来重建所述劣化图像；以及

结束判定单元，用于进行所述图像重建单元的重复计算的结束判定，

其中，所述结束判定单元仅对距离层中的特定距离层或对每个距离层进行所述结束判定。

2.根据权利要求1所述的图像处理设备，其特征在于，在对每个距离层进行所述结束判定的情况下，所述图像重建单元合成每个距离层的重建图像。

3.根据权利要求1或2所述的图像处理设备，其特征在于，还包括：

指定单元，用于指定图像的重建条件；以及

呈现单元，用于呈现重建得到的重建图像，

其中，在改变所呈现的重建图像的情况下，所述指定单元再次指定图像的重建条件，并且重建劣化图像。

4.根据权利要求3所述的图像处理设备，其特征在于，当所述指定单元指定图像的重建条件、并且再次重建劣化图像时，如果在重建图像中存在要保持为劣化图像的图像，则将该图像保持为劣化图像，并且对其它距离层的图像进行重建处理。

5.一种图像处理方法，用于重建包括被摄体的图像的劣化图像，所述图像处理方法包括：

测量步骤，用于测量到所述被摄体的距离，由此设置所述被摄体所属的距离层；

图像重建步骤，用于通过重复计算来重建所述劣化图像；以及

结束判定步骤，用于进行所述图像重建步骤中的重复计算的结束判定，

其中，所述结束判定步骤包括仅对距离层中的特定距离层或对每个距离层进行所述结束判定。