CN102804751A - 图像恢复装置、摄像装置以及图像恢复方法 - Google Patents

Abstract

本发明涉及的图像恢复装置(110)具备：PSF存储部(111)，存储用于对作为扫描范围(133)为第一范围时的扫描图像(131)的第一扫描图像执行恢复处理的第一范围PSF(121)、用于对作为扫描范围(133)为不包含第一范围的第二范围时的扫描图像(131)的第二扫描图像执行恢复处理的第二范围PSF(122)、以及用于对作为扫描范围(133)为合并了第一范围和第二范围的范围的第三范围时的扫描图像(131)的第三扫描图像执行恢复处理的第三范围PSF之中的某两个PSF；以及PSF计算部(112)，通过对所述两个PSF进行加法运算或减法运算，从而计算第一范围PSF、第二范围PSF以及第三范围PSF之中的剩下的一个。

Description

图像恢复装置、摄像装置以及图像恢复方法

技术领域

本发明涉及图像恢复装置、摄像装置以及图像恢复方法，尤其涉及一种图像恢复装置，对摄像元件或使光聚集于所述摄像元件的透镜被驱动而在曝光中在与包含想要合焦的所希望的距离范围的扫描范围对应的像面侧合焦点间被进行聚焦扫描的、由该摄像元件拍摄的扫描图像执行恢复处理，从而生成景深扩展了的恢复图像。

背景技术

一般而言，对于实现景深扩展(以下，称为EDOF)的方式，可以主要示出以下的三个方式。第一方式是指，将所谓相位板的光学元件插入在光学系统，从而使深度方向的模糊均匀。而且，该方式，针对得到的图像，利用预先测定的模糊模式、或通过模拟而计算出的模糊模式，进行图像恢复处理。据此，该方式，生成EDOF图像。该方式被称为，WavefrontCoding(以下，称为WFC)。

第二方式是指，通过设法光圈形状，从而对图像的每个部分范围高精度地进行距离测定。而且，该方式，针对各个部分范围，利用与预先测定的各个距离相对应的模糊模式，进行图像恢复处理。据此，该方式，生成EDOF图像。该方式被称为，CodedAperture(以下，称为CA)。

第三方式是指，在曝光期间使聚焦透镜或摄像元件变动，从而折叠一律合焦于深度方向的图像(即，与在各个深度使模糊均匀同义)。而且，该方式，针对得到的图像，利用预先测定的模糊模式、或通过模拟而计算出的模糊模式，进行图像恢复处理。据此，该方式，生成EDOF图像。该方式被称为，Flexible DOF(以下，称为F-DOF)(例如，参照专利文献1)。

这样的三个方式中的第三方式的F-DOF是，其中能够得到最良好的画质的方式，EDOF效果也高。并且，由于轴外特性也依赖于透镜特性本身，因此能够容易提高性能。但是，由于即使正在曝光中使合焦位置变动，也需要同一被摄体被折叠在同一图像位置上，因此需要利用像方远心透镜，以作为光学上的条件。

对于所述EDOF技术的应用目的，历史最长的是显微镜用途。

并且，对于EDOF技术的其他的应用目的，可以示出近些年搭载在移动电话等中的相机。通过将EDOF技术利用于该相机，从而能够实现该相机的小型化。也就是说，这是因为，根据EDOF效果，不具有自动聚焦机构，也能够得到全焦点图像(合焦于所有的被摄体的图像)的缘故。

进而，对于另一个应用目的，可以考虑通常的数字静态相机以及数字摄像机。对于这样的数字静态相机以及数字摄像机的近年的倾向，需要进一步简单且失败少的拍摄。EDOF技术，可以期待全焦点图像的效果，即可以期待从合焦失败解放的效果。从本应用目的的观点来看，由于高画质、EDOF效果大、能够任意地变更合焦范围、应用通常的自动聚焦机构就能够实现(不准备特别的光学系统即可)、以及容易切换EDOF拍摄与通常拍摄等，因此所述方式中最佳方式是F-DOF。

(现有技术文献)

(专利文献)

专利文献1：美国专利申请公开第2008/0013941号说明书

发明概要

发明要解决的问题

然而，为了实现具有能够扫描多个合焦范围的F－DOF功能的摄像装置(摄像机)，而需要用于对在多个合焦范围分别拍摄的图像执行恢复处理的PSF(Point Spread Function：点扩散函数)数据。

因此，随着该合焦范围的模式增加，需要的PSF数据的数量就增加。据此，产生用于存放PSF数据的存储器的容量增加的问题。

发明内容

为了解决所述的以往的问题，本发明的目的在于提供能够减少用于存放PSF数据的存储器的容量的图像恢复装置、摄像装置以及图像恢复方法。

用于解决问题的手段

为了实现所述目的，本发明的实施方案之一涉及的图像恢复装置，通过对由摄像元件拍摄的扫描图像执行恢复处理，从而生成景深扩展了的恢复图像，所述扫描图像是，摄像元件或使光聚集于所述摄像元件的透镜被驱动，从而在曝光中在与扫描范围对应的像面侧合焦点间被进行聚焦扫描的图像，并且，所述扫描范围包含想要合焦的所希望的距离范围，所述图像恢复装置具备：PSF存储部，存储第一PSF(Point Spread Function：点扩散函数)、第二PSF、以及第三PSF之中的某两个PSF，(1)所述第一PSF用于对第一扫描图像执行恢复处理，所述第一扫描图像是所述扫描范围为第一范围时的所述扫描图像，(2)所述第二PSF用于对第二扫描图像执行恢复处理，所述第二扫描图像是所述扫描范围为不包含所述第一范围的第二范围时的所述扫描图像，(3)所述第三PSF用于对第三扫描图像执行恢复处理，所述第三扫描图像是所述扫描范围为第三范围时的所述扫描图像，所述第三范围是合并了所述第一范围和所述第二范围的范围；PSF计算部，通过对所述两个PSF进行加法运算或减法运算，从而计算所述第一PSF、所述第二PSF以及所述第三PSF之中的剩下的一个；以及图像恢复部，利用所述第一PSF，对所述第一扫描图像执行恢复处理来生成所述恢复图像，利用所述第二PSF，对所述第二扫描图像执行恢复处理来生成所述恢复图像，利用所述第三PSF，对所述第三扫描图像执行恢复处理来生成所述恢复图像。

根据该结构，本发明的实施方案之一涉及的图像恢复装置，由于能够根据第一PSF、第二PSF以及第三PSF中的两个PSF计算剩下的PSF，因此不需要在PSF存储部中存储该剩下的PSF。据此，本发明的实施方案之一涉及的图像恢复装置，能够减少PSF存储部中存储的PSF数据的容量。

并且，也可以是，所述PSF计算部，通过对所述第一PSF和所述第二PSF进行加法运算，从而计算所述第三PSF。

根据该结构，本发明的实施方案之一涉及的图像恢复装置，由于能够根据第一PSF和第二PSF计算第三PSF，因此不需要在PSF存储部中存储第三PSF。据此，本发明的实施方案之一涉及的图像恢复装置，能够减少PSF存储部中存储的PSF数据的容量。

并且，本发明的实施方案之一涉及的摄像装置具备：所述图像恢复装置；所述摄像元件；所述透镜；扫描范围决定部，将所述第一范围、所述第二范围以及所述第三范围的某一个决定为所述扫描范围；以及扫描摄像部，求出与所述扫描范围对应的所述像面侧合焦点，以能够获得在曝光中在所述像面侧合焦点间被进行聚焦扫描的图像的方式，使所述透镜或所述摄像元件驱动，从而使所述摄像元件拍摄所述扫描图像。

根据该结构，本发明的实施方案之一涉及的摄像装置，能够减少PSF存储部中存储的PSF数据的容量。

并且，也可以是，所述扫描范围决定部，根据由用户指定的指定范围，将所述第一范围、所述第二范围以及所述第三范围的某一个决定为所述扫描范围。

根据该结构，本发明的实施方案之一涉及的摄像装置，能够实现能够扫描由用户指定的合焦范围的摄像装置。

并且，也可以是，所述扫描范围决定部，在所述指定范围与所述第一范围、所述第二范围以及所述第三范围都不一致的情况下，将所述第一范围、所述第二范围以及所述第三范围之中的、所述指定范围全部被包含在内且最窄的范围决定为所述扫描范围。

根据该结构，本发明的实施方案之一涉及的摄像装置，能够减少PSF存储部中存储的PSF数据的容量。

并且，也可以是，所述扫描摄像部，通过使作为所述摄像元件与所述透镜的距离的像面侧距离变位，从而使所述摄像元件的所述被摄体侧的焦点位置变位，用于使所述被摄体侧的焦点位置在所述第一范围进行扫描的所述像面侧距离的变位量，与用于使所述被摄体侧的焦点位置在所述第二范围进行扫描的所述像面侧距离的变位量相等。

根据该结构，由于第一范围和第二范围的扫描距离相同，因此能够提高第一PSF与第二PSF的类似度。也就是说，若在可允许的范围内确认类似性，则不记录两种PSF，而仅记录一种PSF即可，因此能够减少PSF数据的容量。

而且，本发明，除了可以作为这样的图像恢复装置以及摄像装置来实现以外，也可以作为将图像恢复装置所包含的特征单元作为步骤的图像恢复方法或摄像装置的控制方法来实现，还可以作为使计算机执行这样的特征步骤的程序来实现。而且，当然也可以通过CD-ROM等的非暂时的计算机可读取的记录介质以及互联网等传输介质来分发这样的程序。

进而，本发明，可以以实现这样的图像恢复装置的功能的一部分或全部的半导体集成电路(LSI)来实现。

发明效果

以上，本发明能够提供能够减少用于存放PSF数据的存储器的容量的图像恢复装置、摄像装置以及图像恢复方法。

附图说明

图1是本发明的实施例1涉及的摄像装置的方框图。

图2是本发明的实施例1涉及的由摄像装置的处理的流程图。

图3是本发明的实施例1涉及的PSF计算处理的流程图。

图4是示出本发明的实施例1涉及的PSF计算处理的一个例子的图。

图5是示出本发明的实施例1涉及的被摄体距离和像面侧距离的图。

图6是示出本发明的实施例1涉及的PSF的模型的图。

图7是示出本发明的实施例1涉及的像面侧距离的变位模式的一个例子的图。

图8是示出本发明的实施例1涉及的被摄体距离和像面侧距离的关系的图表。

图9是示出本发明的实施例1涉及的像面侧距离的变位量的图。

图10是本发明的实施例1涉及的图像恢复装置的方框图。

图11是本发明的实施例1涉及的由图像恢复装置的处理的流程图。

图12是本发明的实施例2涉及的扫描范围决定处理的流程图。

图13是示出本发明的实施例2涉及的扫描范围决定处理的一个例子的图。

具体实施方式

以下，参照附图详细说明本发明涉及的摄像装置的实施方式。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立请求要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

(实施例1)

本发明的实施例1涉及的摄像装置，通过对第一范围的PSF与第二范围的PSF进行加法运算，从而计算第三范围的PSF。据此，该摄像装置，由于不需要将第三范围的PSF存储到存储器，因此能够减少要存储到存储器的PSF数据的容量。

首先，说明本发明的实施例1涉及的摄像装置的结构。

图1是本发明的实施例1涉及的摄像装置100的方框图。

摄像装置100是，例如数字静态相机或数字摄像机。该摄像装置100，具有能够扫描任意的合焦范围的F－DOF功能。具体而言，摄像装置100，生成在作为由用户指定的合焦范围的指定范围130扫描合焦位置后的扫描图像131。而且，摄像装置100，利用PSF，对生成的扫描图像131执行恢复处理，从而生成对焦于指定范围130全部的恢复图像132。

该摄像装置100具备，摄像元件101、透镜102、扫描范围决定部103、扫描摄像部104、以及图像恢复装置110。

摄像元件101，通过对射入光进行光电变换，从而生成图像数据(扫描图像131)。透镜102，使光聚光于摄像元件101。

扫描范围决定部103，根据由用户指定的指定范围130，决定扫描范围133。在此，扫描范围，不示出像面侧，而示出被摄体侧的范围概念。例如，扫描范围决定部103，将预先规定的多个范围中的、指定范围130所示的范围，决定为扫描范围133。

扫描摄像部104，一边使摄像元件101的焦点位置在扫描范围133扫描，一边使摄像元件101拍摄扫描图像131。具体而言，扫描摄像部104，求出与扫描范围133对应的像面侧合焦点位置的两点，使透镜102或摄像元件102驱动，以使得能够获得在曝光中在该像面侧合焦点位置的两点间被进行聚焦扫描的图像，从而使所述摄像元件拍摄所述扫描图像。也就是说，扫描图像131是，在摄像元件101的被摄体侧的焦点位置在扫描范围133扫描的期间，由该摄像元件101拍摄的图像。换而言之，扫描图像131是，摄像元件101或透镜102被驱动，从而在曝光中在与包含想要合焦的所希望的距离范围的扫描范围对应的像面侧合焦点间被进行聚焦扫描的图像。而且，在此，可以使透镜102整体变动，也可以使构成透镜的一部分的聚焦透镜驱动。

图像恢复装置110，通过对扫描图像131执行恢复处理，从而生成景深扩展了的恢复图像132。具体而言，图像恢复装置110，利用与扫描范围133对应的PSF，对扫描图像131执行恢复处理。在此，恢复图像132是，对焦于扫描范围133全部的图像。

该图像恢复装置110具备，PSF存储部111、PSF计算部112、以及图像恢复部113。

PSF存储部111，存储与多个扫描范围133对应的多个PSF数据。而且，在此，说明PSF存储部111存储四个PSF数据(第一范围PSF121、第二范围PSF122、第三范围PSF123以及第四范围PSF124)的例子。并且，用户能够指定的扫描范围，比由PSF存储部111存储的PSF数据的数量多。

PSF计算部112，通过对由PSF存储部111存储的多个PSF数据之中的两个以上进行加法运算以及归一化，从而计算与扫描范围133对应的新的PSF数据。

图像恢复部113，利用由PSF存储部111存储的多个PSF数据的某一个、或由PSF计算部112计算出的PSF数据，对扫描图像131执行恢复处理，从而生成恢复图像132。

接着，说明摄像装置100的工作。

图2是由摄像装置100的拍摄处理的流程图。

首先，扫描范围决定部103，根据由用户指定的指定范围130，决定扫描范围133(S101)。例如，用户，选择预先规定的多个扫描范围之中的某一个。扫描范围决定部103，将由用户指定的范围决定为扫描范围133。

接着，一边使摄像元件101的焦点位置在扫描范围133内扫描，一边使摄像元件101拍摄扫描图像131(S102)。

接着，PSF计算部112，计算与扫描范围133对应的PSF数据(S103)。

以下，详细说明该步骤S103的处理。

图3是由PSF计算部112的PSF计算处理的流程图。并且，图4是由PSF计算部112的PSF计算处理的一个例子的图。

如图3示出，首先，PSF计算部112，获得由扫描范围决定部103决定的扫描图像131的扫描范围133(S111)。

在此，如图4示出，扫描范围133是，将1m、3m、5m以及10m的某一个作为一端、将3m、5m、10m以及无穷远(∞)的某一个作为另一端的10种范围。并且，由PSF存储部111存储的第一范围PSF121，与1m至3m的扫描范围对应，第二范围PSF122与3m至5m的扫描范围对应，第三范围PSF123与5m至10m的扫描范围对应，第四范围PSF124与10m至无穷远的扫描范围对应。

如此，在本发明的实施例1涉及的摄像装置100中，PSF存储部111，仅存储与将扫描可能范围(在此，1m至无穷远)划分为多个后的各个部分范围对应的PSF数据。并且，用户能够指定的扫描范围是，这样的多个部分范围、和合并了该多个部分范围中连续的两个以上的部分范围的多种范围。

接着，PSF计算部112，判定与在步骤S111中获得的扫描范围133对应的PSF数据是否被存储在PSF存储部111中(S112)。在所述例子中，PSF计算部112，在扫描范围133为1m至3m、3m至5m、5m至10m、以及10m至无穷远的某一个的情况下，判定为与扫描范围133对应的PSF数据被存储在PSF存储部111中(S112的“是”)。并且，PSF计算部112，在扫描范围133为它们以外(例如，1m至10m等)的情况下，判定为与扫描范围133对应的PSF数据没有被存储在PSF存储部111中(S112的“否”)。

在与扫描范围133对应的PSF数据被存储在PSF存储部111中的情况下(S112的“是”)，PSF计算部112，将与该扫描范围133对应的PSF数据从PSF存储部111获得(S113)。而且，PSF计算部112，将获得的PSF数据传递给图像恢复部113。

另一方面，在与扫描范围133对应的PSF数据没有被存储在PSF存储部111中的情况下(S112的“否”)，PSF计算部112，将与扫描范围133中包含的多个部分范围对应的PSF数据从PSF存储部111获得(S114)。

接着，PSF计算部112，通过对获得的与多个部分范围对应的PSF数据进行加法运算以及归一化，从而计算与扫描范围133对应的PSF数据(S115以及S116)。而且，PSF计算部112，将计算出的PSF数据传递给图像恢复部113。

例如，如图4示出，在扫描范围133为1m至5m的情况下，PSF计算部112，通过对第一范围PSF121和第二范围PSF122进行加法运算以及归一化，从而计算与1m至5m对应的PSF数据。并且，在扫描范围133为1m至10m的情况下，PSF计算部112，通过对第一范围PSF121和第二范围PSF122和第三范围PSF123进行加法运算以及归一化，从而计算与1m至10m对应的PSF数据。

再次，利用图2示出的流程图进行说明。

在PSF计算处理(S103)之后，图像恢复部113，利用从PSF计算部112传递的、与扫描范围133对应的PSF数据，对扫描图像131执行恢复处理，从而生成恢复图像132(S104)。而且，图像恢复部113，将生成的恢复图像132，输出给摄像装置100的外部、或存储到摄像装置100具备的存储部(未图示)。

如上所述，本发明的实施例1涉及的摄像装置100，根据由PSF存储部111存储的多个PSF数据，能够计算与新的范围对应的PSF数据。据此，PSF存储部111，不需要存储该与新的范围对应的PSF数据。据此，本发明的实施例1涉及的摄像装置100，能够减少要存储到PSF存储部111的PSF数据的容量。

并且，对于图2示出的步骤S102至S104的处理，在拍摄静止图像的情况下，按每一张静止图像的拍摄进行，在拍摄运动图像的情况下，按每一帧进行。并且，在拍摄静止图像的情况下，对于步骤S101的处理，可以按每一张静止图像的拍摄进行，也可以预先进行步骤S101的处理，然后，利用在步骤S101中设定的扫描范围133，拍摄多张静止图像。并且，在拍摄运动图像的情况下，典型而言，对于步骤S101的处理，按照一次或多次的运动图像的拍摄进行。

并且，在所述说明中，扫描范围决定部103，根据由用户指定的指定范围130决定扫描范围133，但是，扫描范围决定部103也可以，按照摄像装置100具备的传感器的检测结果，自动决定扫描范围133。例如，扫描范围决定部103也可以，按照用于自动对焦功能等的到被摄体为止的距离、或被摄景物的状态(例如，亮度)，决定扫描范围133。并且，这样的到被摄体为止的距离以及被摄景物的状态是，也可以是从拍摄的图像计算出的。进而，扫描范围决定部103，可以根据这样的信息和指定范围130决定扫描范围133，也可以按照这样的信息对扫描范围133进行调整。

进而，在拍摄运动图像时，在如此自动决定或调整扫描范围133的情况下，扫描范围133的决定或调整处理是，每一个或多个帧进行的。

并且，在所述说明中，说明了PSF存储部111存储四个PSF数据的例子，但是，对于PSF存储部111存储的PSF数据的数量，若是两个以上，则可以是任意的数量。换而言之，将扫描可能范围(所述例子中，1m至无穷远)划分后的多个部分范围的数量为两个以上即可。也就是说，摄像装置100，对于扫描范围133，能够至少选择第一范围、与该第一范围连续的第二范围、以及作为合并了该第一范围和该第二范围的范围的第三范围即可。并且，在此情况下，PSF存储部111存储与第一范围以及第二范围对应的PSF数据即可。并且，所述第二范围也可以是，不包含第一范围的范围。

而且，从各种处理的效率化的观点来看，优选的是，部分范围的数量为，2的n幂(n为1以上的整数)。例如，该部分范围的数量为4、8、16、32或64。

以下，对于通过对多个连续的部分范围的PSF数据进行加法运算，从而能够计算合并了该多个部分范围的范围的PSF数据的原理，进行说明。

图5是示出被摄体、透镜102以及摄像元件101的关系的图。

如图5示出，将被摄体M与透镜102之间的距离设为被摄体距离u，将透镜102与摄像元件101之间的距离设为像面侧距离v。在此情况下，在被摄体距离u和像面侧距离v和焦点距离f中，一般而言，根据透镜的公式，成立下述(式1)的关系。

【算式1】

$\frac{l}{f}=\frac{l}{u}+\frac{l}{v}$ ···(式1)

在此，如图5示出，在摄像元件101从像面侧距离v的位置变位到像面侧距离p的位置的情况下，模糊的直径b，由下述(式2)表示。

【算式2】

$b=\frac{a}{v}\left|(v-p)\right|$ ···(式2)

在此，a为开口的大小。

并且，例如，在Pillbox等的透镜模型中，作为PSF的P，由下述(式3)表示。

【算式3】

$P(r,u,p)=\frac{4}{{\mathrm{\πb}}^2}\mathrm{\Π}\left(\frac{r}{b}\right)$ ···(式3)

在此，r是从模糊圈的中心的距离。并且，Π(x)是矩形函数，是在|x|＜1／2时成为1、在除此以外时成为0的函数。

图6是示出该Pillbox的透镜模型的PSF的图。

在此，将用于扫描图像的PSF称为IPSF。在时刻0至时刻T之间扫描焦点位置时的IPSF，由下述(式4)表示。

【算式4】

$\mathrm{IP}(r,u)={\∫}_0^{T}P(r,u,p\left(t\right))\mathrm{dt}$ ···(式4)

如(式4)示出，以积分来表示IPSF。也就是说，时刻T1至时刻T2的IPSF与时刻T2至时刻T3的IPSF之和，成为时刻T1至时刻T3的IPSF。

并且，积分项的函数本身是，在扫描工作p(t)为一定速度这样的规则下不变的。因此，时刻T1至时刻T3的IPSF，与将积分的开始时刻以及结束时刻设为时刻T1以及时刻T3等效。

如上所述，通过对多个连续的部分范围的PSF数据进行加法运算，从而能够计算合并了该多个部分范围的范围的PSF数据。

接着，说明扫描工作的具体例。

图7是示出曝光中的像面侧距离v的变位的情况、和曝光量的图。如图7示出，例如，扫描摄像部104，通过使像面侧距离v等速变位，从而使作为摄像元件101的被摄体侧的焦点位置的被摄体距离u变位。而且，扫描摄像部104，可以通过使透镜102的位置变位，从而使像面侧距离v变位，也可以通过使摄像元件101的位置变位，从而使像面侧距离v变位，还可以通过使透镜102以及摄像元件101的双方变位，从而使像面侧距离v变位。

图8是示出焦点距离f为18[mm]时的像面侧距离v和被摄体距离u的关系的图表。如图8示出，即使像面侧距离v等速度变位，被摄体距离u也不等速度变位。

如图4示出，在本发明的实施例1涉及的摄像装置100中，部分范围、即被摄体距离u的范围不是等间隔。

另一方面，该摄像装置100，决定多个部分范围，以使与多个部分范围对应的像面侧距离v的变位量成为一定。

图9是示出本发明的实施例1涉及的像面侧距离v的变位量的图。

如图9示出，用于扫描各个部分范围的像面侧距离v的变位量dv为一定。而且，图9示出的像面侧距离v0至v1的范围，与10m至无穷远的扫描范围对应，像面侧距离v1至v2的范围，与5m至10m的扫描范围对应，像面侧距离v2至v3的范围，与3m至5m的扫描范围对应，像面侧距离v3至v4的范围，与1m至3m的扫描范围对应。

如此，通过将像面侧距离v的变位量dv成为一定，从而能够将各个部分范围的S／N比成为相同程度。因此，能够提高与各个部分范围对应的PSF的类似度。据此，由于能够将针对各个部分范围的处理量等成为相同程度，因此能够高效率地进行各种控制。

而且，在所述说明中，说明了将本发明适用于摄像装置的例子，但是，本发明，也可以作为所述的图像恢复装置110来实现。图10是本发明的实施例1涉及的图像恢复装置110的方框图。该图像恢复装置110，例如，可以作为用于所述的摄像装置100的半导体集成电路来实现。并且，也可以作为对由摄像装置拍摄的扫描图像131执行恢复处理的、与摄像装置独立的装置来实现。并且，该图像恢复装置110，也可以搭载在个人电脑等的装置中。

并且，图11是该图像恢复装置110的拍摄处理的流程图。而且，图11示出的步骤S103以及S104的处理，与图2示出的步骤S103以及S104的处理同样。

以上，本发明的实施例1涉及的摄像装置100以及图像恢复装置110，将某扫描范围133的PSF数据，从构成该扫描范围133的多个部分范围的PSF数据计算。据此，本发明的实施例1涉及的摄像装置100以及图像恢复装置110，能够减少要存储到PSF存储部111的PSF数据的容量。

进而，通过将本发明适用于数字静态相机、数字摄像机、以及移动电话用相机等的便携型相机，从而能够减少存储容量有限的便携型相机的存储容量，因此是更有效的。

(实施例2)

在本发明的实施例2中，说明所述的实施例1涉及的摄像装置100的变形例。而且，以下，主要说明与实施例1的不同之处，省略重复的说明。

在所述的实施例1中，用户从预先规定的多个扫描范围中选择某一个，但是，在实施例2中，用户能够指定任意的扫描范围。

并且，本发明的实施例2涉及的摄像装置100，扫描范围决定部103的功能与实施例1不同。

图12是实施例2涉及的扫描范围决定部103的扫描范围决定处理(图2的步骤S101)的流程图。并且，图13是示出该扫描范围决定处理的一个例子的图。

如图12示出，首先，扫描范围决定部103，获得来自用户的指定范围130(S121)。在此，指定范围130是，例如，用户指定的任意的扫描范围。

接着，扫描范围决定部103，判定指定范围130是否与预先登记的多个范围(以下，登记范围)之中某一个一致(S122)。在此，多个登记范围是指，例如，实施例1中说明的图4示出的10种范围。

在指定范围130与多个登记范围之中某一个一致的情况下(S122的“是”)，扫描范围决定部103，将指定范围130决定为扫描范围133(S123)。

另一方面，在指定范围130与多个登记范围都不一致的情况下(S122的“否”)，扫描范围决定部103，判定指定范围130的全部是否包含在扫描可能范围(例如，1m至无穷远)内(S124)。

在指定范围130的全部包含在扫描可能范围内的情况下(S124的“是”)，扫描范围决定部103，将多个登记范围中的、指定范围130全部被包含在内且最窄的范围，决定为扫描范围133(S125)。

例如，如图13示出，在指定范围130为4m至无穷远的情况下，扫描范围决定部103，将3m至无穷远决定为扫描范围133。

另一方面，在指定范围130超过扫描可能范围的情况下(S124的“否”)，扫描范围决定部103，将多个登记范围中的、与指定范围130最近的范围决定为扫描范围133(S126)。

例如，在指定范围130为0.5m至3m的情况下，扫描范围决定部103，将1m至3m决定为扫描范围133。

换而言之，扫描范围决定部103，在指定范围130的最近端(与摄像装置100近的一侧的端部)比扫描可能范围的最近端近的情况下，将扫描范围133的最近端设定为扫描可能范围的最近端。同样，扫描范围决定部103，在指定范围130的最远端(距摄像装置100远的一侧的端部)比扫描可能范围的最远端远的情况下，将扫描范围133的最远端设定为扫描可能范围的最远端。而且，在图13的例子中，扫描可能范围的最远端为无穷远，因此，指定范围130的最远端不会比扫描可能范围的最远端远，但是，例如，在扫描可能范围的最远端有限的情况下，会发生这样的情况。

而且，在步骤S125中，扫描范围决定部103，也可以将多个登记范围中的、与指定范围130最近的范围决定为扫描范围133。

并且，扫描范围决定部103也可以，在各个部分范围内预先决定阈值，在指定范围130的最近端小于该阈值的情况下，将该部分范围的最近端设为扫描范围133的最近端，在指定范围130的最近端为该阈值以上的情况下，将该部分范围的最远端设为扫描范围133的最近端。同样，扫描范围决定部103也可以，在指定范围130的最远端小于该阈值的情况下，将该部分范围的最近端设为扫描范围133的最远端，在指定范围130的最远端为该阈值以上的情况下，将该部分范围的最远端设为扫描范围133的最近端。例如，针对3m至5m的部分范围，设定4.5m以作为阈值。在此情况下，如图13示出，在指定范围130为4m至无穷远的情况下，由于指定范围130的最近端(4m)小于阈值(4.5m)，因此，扫描范围决定部103，将该部分范围的最近端(3m)决定为扫描范围133的最近端。

而且，如图13示出，将比指定范围130宽的范围决定为扫描范围133的方法的优点是，能够生成至少对焦于用户指定的范围的恢复图像132。

以上，本发明的实施例2涉及的摄像装置100，将多个登记范围中的、指定范围130全部被包含在内且最窄的范围，决定为扫描范围133。据此，该摄像装置100，由于能够减少实际进行扫描拍摄的扫描范围的种类，因此能够减少所需要的PSF数据的种类。据此，该摄像装置100，能够减少要存储到PSF存储部111的PSF数据的容量。

并且，该摄像装置100，由于将比指定范围130宽的范围决定为扫描范围133，因此能够生成至少对焦于用户指定的范围的恢复图像132。如此，该摄像装置100，能够拍摄符合用户的要求的图像，并且，能够减少要存储到PSF存储部111的PSF数据的容量。

以上，说明了本发明的实施例涉及的摄像装置，但是，本发明不仅限于该实施例。

例如，在所述说明中描述，通过对两个PSF数据进行加法运算以及归一化，从而生成新的PSF数据的例子，但也可以，通过对两个PSF数据进行减法运算以及归一化，从而生成新的PSF数据。例如，摄像装置100也可以，存储有1m至3m的范围的PSF数据、和1m至5m的范围的PSF数据，从1m至5m的范围的PSF数据减去1m至3m的范围的PSF数据，并进行归一化，从而生成3m至5m的PSF数据。

也就是说，摄像装置100，存储第一范围的PSF数据、不包含第一范围的第二范围的PSF数据、以及作为合并了第一范围和第二范围的范围的第三范围的PSF数据之中的某两个PSF数据，对该两个PSF数据进行加法运算或减法运算，从而计算所述的三个PSF数据之中的剩下的一个即可。

并且，典型而言，所述实施例涉及的摄像装置以及图像恢复装置中包含的各个处理部，被实现为作为集成电路的LSI。可以将它们分别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。

并且，集成电路化不仅限于LSI，而可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field ProgrammableGate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

并且，也可以是，通过CPU等的处理器执行程序，从而实现摄像装置或图像恢复装置的功能的一部分或全部。

并且，本发明可以是所述程序，也可以是记录有所述程序的非暂时的计算机可读取的记录介质。并且，当然，能够通过互联网等的传输介质来分发所述程序。

并且，也可以组合所述实施例1至2涉及的摄像装置、图像恢复装置以及其变形例的功能中的至少一部分。

并且，在上述利用了的数字都是为了具体说明本发明而示出的例子，本发明不仅限于以例子来示出的数字。并且，构成要素间的连接关系是为了具体说明本发明而示出的例子，实现本发明的功能的连接关系不仅限于此。

进而，在不脱离本发明的要旨的范围内所进行的本领域的技术人员能够想到的各种变形也包含在本发明的范围内。

工业实用性

本发明，能够适用于数字静态相机以及数字摄像机等的摄像装置。

符号说明

100 摄像装置

101 摄像元件

102 透镜

103 扫描范围决定部

104 扫描摄像部

110 图像恢复装置

111 PSF存储部

112 PSF计算部

113 图像恢复部

121 第一范围PSF

122 第二范围PSF

123 第三范围PSF

124 第四范围PSF

130 指定范围

131 扫描图像

132 恢复图像

133 扫描范围

Claims (9)

1.一种图像恢复装置，通过对由摄像元件拍摄的扫描图像执行恢复处理，从而生成景深扩展了的恢复图像，所述扫描图像是，摄像元件或使光聚集于所述摄像元件的透镜被驱动，从而在曝光中在与扫描范围对应的像面侧合焦点间被进行聚焦扫描的图像，并且，所述扫描范围包含想要合焦的所希望的距离范围，所述图像恢复装置具备：

点扩散函数存储部，存储第一点扩散函数、第二点扩散函数、以及第三点扩散函数之中的某两个点扩散函数，(1)所述第一点扩散函数用于对第一扫描图像执行恢复处理，所述第一扫描图像是所述扫描范围为第一范围时的所述扫描图像，(2)所述第二点扩散函数用于对第二扫描图像执行恢复处理，所述第二扫描图像是所述扫描范围为不包含所述第一范围的第二范围时的所述扫描图像，(3)所述第三点扩散函数用于对第三扫描图像执行恢复处理，所述第三扫描图像是所述扫描范围为第三范围时的所述扫描图像，所述第三范围是合并了所述第一范围和所述第二范围的范围；

点扩散函数计算部，通过对所述两个点扩散函数进行加法运算或减法运算，从而计算所述第一点扩散函数、所述第二点扩散函数以及所述第三点扩散函数之中的剩下的一个；以及

图像恢复部，利用所述第一点扩散函数，对所述第一扫描图像执行恢复处理来生成所述恢复图像，利用所述第二点扩散函数，对所述第二扫描图像执行恢复处理来生成所述恢复图像，利用所述第三点扩散函数，对所述第三扫描图像执行恢复处理来生成所述恢复图像。

2.如权利要求1所述的图像恢复装置，

所述点扩散函数计算部，通过对所述第一点扩散函数和所述第二点扩散函数进行加法运算，从而计算所述第三点扩散函数。

3.一种摄像装置，具备：

权利要求1或2所述的图像恢复装置；

所述摄像元件；

所述透镜；

扫描范围决定部，将所述第一范围、所述第二范围以及所述第三范围的某一个决定为所述扫描范围；以及

扫描摄像部，求出与所述扫描范围对应的所述像面侧合焦点，以能够获得在曝光中在所述像面侧合焦点间被进行聚焦扫描的图像的方式，使所述透镜或所述摄像元件驱动，从而使所述摄像元件拍摄所述扫描图像。

4.如权利要求3所述的摄像装置，

所述扫描范围决定部，根据由用户指定的指定范围，将所述第一范围、所述第二范围以及所述第三范围的某一个决定为所述扫描范围。

5.如权利要求4所述的摄像装置，

所述扫描范围决定部，在所述指定范围与所述第一范围、所述第二范围以及所述第三范围都不一致的情况下，将所述第一范围、所述第二范围以及所述第三范围之中的、所述指定范围全部被包含在内且最窄的范围决定为所述扫描范围。

6.如权利要求3所述的摄像装置，

所述扫描摄像部，通过使作为所述摄像元件与所述透镜的距离的像面侧距离变位，从而使所述摄像元件的所述被摄体侧的焦点位置变位，

用于使所述被摄体侧的焦点位置在所述第一范围进行扫描的所述像面侧距离的变位量，与用于使所述被摄体侧的焦点位置在所述第二范围进行扫描的所述像面侧距离的变位量相等。

7.一种图像恢复方法，通过对由摄像元件拍摄的扫描图像执行恢复处理，从而生成景深扩展了的恢复图像，所述扫描图像是，摄像元件或使光聚集于所述摄像元件的透镜被驱动，从而在曝光中在与扫描范围对应的像面侧合焦点间被进行聚焦扫描的图像，并且，所述扫描范围包含想要合焦的所希望的距离范围，所述图像恢复方法包括：

点扩散函数计算步骤，通过对第一点扩散函数、第二点扩散函数、以及第三点扩散函数之中的某两个点扩散函数行加法运算或减法运算，从而计算所述第一点扩散函数、所述第二点扩散函数以及所述第三点扩散函数之中的剩下的一个，(1)所述第一点扩散函数用于对第一扫描图像执行恢复处理，所述第一扫描图像是所述扫描范围为第一范围时的所述扫描图像，(2)所述第二点扩散函数用于对第二扫描图像执行恢复处理，所述第二扫描图像是所述扫描范围为不包含所述第一范围的第二范围时的所述扫描图像，(3)所述第三点扩散函数用于对第三扫描图像执行恢复处理，所述第三扫描图像是所述扫描范围为第三范围时的所述扫描图像，所述第三范围是合并了所述第一范围和所述第二范围的范围；以及

图像恢复步骤，利用所述第一点扩散函数，对所述第一扫描图像执行恢复处理来生成所述恢复图像，利用所述第二点扩散函数，对所述第二扫描图像执行恢复处理来生成所述恢复图像，利用所述第三点扩散函数，对所述第三扫描图像执行恢复处理来生成所述恢复图像。

8.一种程序，用于使计算机执行权利要求7所述的图像恢复方法。

9.一种集成电路，通过对由摄像元件拍摄的扫描图像执行恢复处理，从而生成景深扩展了的恢复图像，所述扫描图像是，摄像元件或使光聚集于所述摄像元件的透镜被驱动，从而在曝光中在与扫描范围对应的像面侧合焦点间被进行聚焦扫描的图像，并且，所述扫描范围包含想要合焦的所希望的距离范围，所述集成电路具备：

点扩散函数存储部，存储第一点扩散函数、第二点扩散函数、以及第三点扩散函数之中的某两个点扩散函数，(1)所述第一点扩散函数用于对第一扫描图像执行恢复处理，所述第一扫描图像是所述扫描范围为第一范围时的所述扫描图像，(2)所述第二点扩散函数用于对第二扫描图像执行恢复处理，所述第二扫描图像是所述扫描范围为不包含所述第一范围的第二范围时的所述扫描图像，(3)所述第三点扩散函数用于对第三扫描图像执行恢复处理，所述第三扫描图像是所述扫描范围为第三范围时的所述扫描图像，所述第三范围是合并了所述第一范围和所述第二范围的范围；

点扩散函数计算部，通过对所述两个点扩散函数进行加法运算或减法运算，从而计算所述第一点扩散函数、所述第二点扩散函数以及所述第三点扩散函数之中的剩下的一个；以及

图像恢复部，利用所述第一点扩散函数，对所述第一扫描图像执行恢复处理来生成所述恢复图像，利用所述第二点扩散函数，对所述第二扫描图像执行恢复处理来生成所述恢复图像，利用所述第三点扩散函数，对所述第三扫描图像执行恢复处理来生成所述恢复图像。

Images