CN102112846A - 摄像设备及其距离运算方法和聚焦图像获得方法 - Google Patents

Abstract

现有技术中已经呈现了强制使用远心光学系统的光学限制以及必须进行几次劣化图像恢复的与处理量有关的限制。提供了一种摄像装置，包括：观察图像拍摄单元(221)，用于以多个光圈图案拍摄同一被摄体，由此获取多个观察图像；计算单元(222)，用于计算与到被摄体的距离相对应的光学传递特性；以及距离运算单元(206)，用于基于观察图像和光学传递特性计算到被摄体的距离。还提供了一种摄像装置，包括：观察图像拍摄单元(221)，用于以多个光圈图案拍摄同一被摄体，由此获取多个观察图像；计算单元(222)，用于计算与到被摄体的距离相对应的光学传递特性；光学传递特性运算单元(206)，用于基于观察图像和光学传递特性计算模糊量变为最小的光学传递特性；以及模糊恢复单元(207)，用于通过利用模糊量变为最小的光学传递特性来恢复图像的模糊，由此获取聚焦图像。

Description

摄像设备及其距离运算方法和聚焦图像获得方法

技术领域

本发明涉及一种用于拍摄示出要拍摄的被摄体的距离分布的距离图像以及整个图像区域中处于聚焦的聚焦图像的设备。

背景技术

在相关技术中，作为测量从摄像设备到要拍摄的被摄体的距离的方法，已经提出了诸如根据由镜头和像面之间的位置关系等所引起的模糊量来测量距离的方法等的多种方法。以下将说明测量从摄像设备到被摄体的距离的方法的例子。

(1)用于自动调焦照相机等的方法

(2)镜头焦点法(聚焦深度(Depth from focus))

(3)模糊分析法(散焦深度(Depth from defocus))

(4)使用激光或图案光等的方法

(5)利用微型透镜阵列等的光线追踪法

(6)使用图案化光圈等的方法

根据用于自动调焦照相机等的方法，在光学系统中使用双目透镜，并且将图像形成在用于测量距离的装置等上，由此测量该距离。

根据镜头焦点法，焦点总是移动，并且获得观察显示画面上的视频图像在该显示画面上最清晰时的距离作为估计距离。

根据模糊分析法，分析图像中的模糊程度，并且根据模糊量和距离之间的关系获得估计距离。

根据使用激光或图案光等的方法，通过使用以下的方法(飞行时间法(TOF(Time of flight)法))，或者根据利用拍摄投射到被摄体上的激光束或图案光所获得的观察图像、通过使用三角测量法或照度分布法，来获得估计距离，其中在飞行时间法中，向实际被摄体照射激光束，并且测量所反射和返回的激光束的飞行时间，由此测量距离。

根据作为利用微型透镜阵列等的光线追踪法而在参考文献2中所公开的方法，通过根据观察图像分析拍摄到的光束的角度信息来获得估计距离。

根据作为使用图案化光圈等的方法而在专利文献1或参考文献1中所公开的方法，通过使用图案化光圈获得观察图像，并且基于该光圈的图案分析该观察图像，由此获得距离图像和聚焦图像。

(专利文献1)日本专利02963990号公报的说明书

(非专利文献1)Image and Depth from a Conventional Camera with a Coded Aperture/Anat Levin，Rob Fergus，Fr’edo Durand，William T.Freeman/Massachusetts Institute of Technology，Computer Science and Artificial Intelligence Laboratory/SIGGRAPH2007

(非专利文献2)Light Field Photography with a Hand-held Plenoptic Camera/Ren Ng，Marc Levoy，Mathieu，Br’edif Gene，Duval*Mark Horowitz，Pat Hanrahan/Stanford University*Duval Design/SIGGRAPH2005

发明内容

然而，相关技术中的方法存在如以下将说明的几个问题。

根据用于自动调焦照相机等的相位差系统，除拍摄用的CMOS以外，还需要用于测量距离的装置和用于测量距离的光学系统等。由于仅能够测量观察图像上的几个～几十个点的距离，因此难以获得距离图像。

根据镜头焦点法，由于必须进行焦点的移动，并且伴随有调焦透镜的机械驱动，因此获得距离图像需要时间。

根据模糊分析法，由于使用由远心光学系统所引起的模糊和所形成图像之间的关系，因此镜头设计的自由度较小。

使用激光或图案光等的方法被称为主动法，并且可以以高精度测量距离。然而，由于需要激光或图案光，因此该方法无法在不能使用激光或图案光的环境下使用。

根据利用微型透镜阵列等的光线追踪法，由于获得所拍摄的光的角度信息，因此聚焦图像的空间分辨率下降了与所获得的角度信息相对应的量。

根据作为使用图案化光圈等的方法其中之一的专利文献1，尽管获得了距离图像和聚焦图像，但由于使用远心光学系统、并且此外利用使用销孔开口的光圈执行测量，因此存在诸如光量下降等的问题。

尽管根据非专利文献1也获得了距离图像和聚焦图像，但在执行图像处理的步骤中，使利用MAP估计的劣化图像重建处理执行与距离分辨率值的数量一样多的次数。

在图13A和13B中示出相关技术中的摄像设备的光学系统。

在图13A中，示出专利文献1的光学系统1201。为了保持模糊量和所形成图像的大小之间的关系，在位置1203处使用具有两个销孔的开口掩模1207作为光圈。因此，存在由于实际的F值大因此光量小并且曝光时间变长这一问题。将CMOS传感器配置在位置1204、1205和1206处，由此获得焦点不同的多个观察图像。为了实现以上方法，需要利用机械单元移动焦点或者使用诸如光谱等的光学单元，并且存在诸如机械操作的限制(焦点移动时间)或光学单元的限制(光学单元的大小)等的问题。

在图13B中，示出作为使用图案化光圈等的方法其中之一的参考文献1的光学系统1202。在普通的数字照相机的光学系统的光圈1208的位置处配置图案化光圈编码开口掩模1210，并且由CMOS传感器1209拍摄观察图像。非专利文献1的测距方法是以下的方法：根据通过开口掩模1210所获得的观察图像，通过使用与先前测量出的到被摄体的距离相对应的PSF(point spread function，点扩展函数)，利用劣化图像重建处理，运算不包括模糊的图像，并且将能够形成不包括模糊的最佳图像的PSF的到被摄体的距离假定为估计距离。

通过以下等式(3)来执行在以上方法中公开的劣化图像重建处理。

$x=\arg {\min \left|\right|h\⊗x-y\left|\right|}^2+\mathrm{\λ}{\mathrm{\Σ}}_i\mathrm{\ρ}(\▿x_i)\·\·\·\left(3\right)$

在等式(3)中，y表示观察图像；h表示光学传递特性；x表示不包括模糊的估计重建图像；λ表示用于调整ρ项的参数；ρ(▽x_i)表示拉普拉斯滤波；并且

表示卷积算子。

根据等式(3)所示的劣化图像重建处理，需要包括卷积运算的重复运算并且需要长的处理时间。在光学传递特性h的增益等于0或等于接近0的值的情况下，难以重建劣化图像。

因此，本发明的目的是提供以下的摄像设备：该摄像设备用于通过未过度使用卷积运算的小负荷稳定处理来获得被摄体的高精度距离图像和聚焦图像，而不会造成如上所述的不便。

根据本发明，提供一种第一摄像设备，包括：观察图像拍摄单元部件，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；用于计算与到所述被摄体的距离相对应的光学传递特性的单元；以及距离运算单元，用于根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

根据本发明，提供一种第二摄像设备，包括：观察图像拍摄单元，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；用于计算与到所述被摄体的距离相对应的光学传递特性的单元；光学传递特性运算单元，用于根据所述多个观察图像和光学传递特性来计算使模糊量最小化的光学传递特性；以及模糊重建单元，用于通过使用使模糊量最小化的光学传递特性重建图像的模糊来获得聚焦图像。

根据本发明，提供一种摄像设备的距离运算方法，包括以下步骤：通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；计算与到所述被摄体的距离相对应的光学传递特性；以及根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

根据本发明，提供一种摄像设备的聚焦图像获得方法，包括以下步骤：通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；计算与到所述被摄体的距离相对应的光学传递特性；根据所述多个观察图像和所述光学传递特性来计算使模糊量最小化的光学传递特性；以及通过使用使所述模糊量最小化的光学传递特性重建图像的模糊来获得聚焦图像。

根据本发明，可以测量观察图像上的各点处到被摄体的距离。因而，可以拍摄到距离图像和聚焦图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是本发明的摄像设备的实施例的设备结构的框图。

图2是本发明的摄像设备的另一结构示例的设备结构的框图。

图3是示出使用可变光瞳滤波器的摄像设备的光学系统的图。

图4A、4B、4C和4D是示出观察图像、聚焦图像和距离图像的图。

图5是示出本实施例的摄像设备的外观的图。

图6是示出使用图案化光瞳滤波器的光学系统的图。

图7是示出使用图案化光瞳滤波器的另一光学系统的图。

图8是示出光学传递特性-估计距离表的图。

图9是示出距离运算单元的操作的流程图。

图10是示出光学传递特性计算单元的操作的流程图。

图11是示出估计距离和误差评价值之间的关系的图。

图12是示出模糊重建单元的操作的流程图。

图13A和13B是示出相关技术中的摄像设备的光学系统的结构的图。

附图标记说明

101光学系统

102光圈

103开口掩模

104开口掩模

105光学透镜

106CMOS传感器

206距离运算单元/最佳光学传递特性运算单元

207模糊重建单元

208再聚焦图像运算单元

221观察图像拍摄单元

222光学传递特性计算单元

具体实施方式

将参考附图来详细说明根据本发明第一实施例的摄像设备及其方法。以下将说明的本实施例的设备的结构是根据本发明的第一摄像设备和第二摄像设备的组合。

图1是本发明的摄像设备的实施例的设备结构的框图。

本实施例的摄像设备包括：用于拍摄多个观察图像的观察图像拍摄单元221；光学传递特性计算单元222；距离运算单元/最佳光学传递特性运算单元206；模糊重建单元207；以及再聚焦图像运算单元208。观察图像拍摄单元221是观察图像拍摄部件。

观察图像拍摄单元221包括：光学透镜(光学透镜1)201；光通过单元202；光学透镜(光学透镜2)219；以及光电转换单元203。

光学透镜201具有用于通过使用与相关技术中的胶片照相机或数字照相机所使用的透镜几乎相同的透镜来会聚光209的功能。

通过使用光通过单元202对光学透镜201所会聚的光进行调制。

尽管如后面将说明的、在本实施例中光通过单元202通过使用光圈来调制光，但可以通过使用非球面透镜或曲率可变透镜等进行调制。在这种情况下，以时分方式拍摄同一被摄体的观察图像，并且光通过单元202的光学特性随着时间的经过而变化，由此获得多个观察图像。为了以时分方式拍摄多个观察图像，可以添加用于防止照相机抖动发生的抖动防止单元等，或者可以选择高快门速度从而避免发生被摄体抖动。

光通过单元202调制后的光211由光学透镜219进一步会聚并进行成像。

光电转换单元203将成像用的光转换成电信号，并且对该光进行拍摄作为观察图像im₁和im₂ 212。

使用观察图像作为用作软件处理的距离运算单元206、模糊重建单元207和再聚焦图像运算单元208的自变量。

光电转换单元203通过使用CCD传感器或CMOS传感器等，将光的成像状态转换成电信号。

在图1中，设置了包括光通过单元、光学透镜2和光电转换单元的一个组，以时分方式拍摄同一被摄体的观察图像，并且光通过单元的光学特性随着时间的经过而变化，由此获得多个观察图像。然而，如图2所示，作为观察图像拍摄单元223，可以设置由包括光通过单元202、光学透镜(光学透镜2)219和光电转换单元203的一个组以及包括光通过单元204、光学透镜(光学透镜2)220和光电转换单元205的一个组所构成的两个组。观察图像拍摄单元223是观察图像拍摄部件。光通过单元202的光学特性和光通过单元204的光学特性不同。可以设置三个以上的组。通过如上所述同时设置两个以上的组，可以同时拍摄多个观察图像。还可以进行构造，以使得以时分方式拍摄同一被摄体的光学图像，并且在通过这些组中的一个组获得观察图像之后，通过另一组获得另一观察图像。在如上所述以时分方式拍摄多个观察图像的情况下，可以添加用于防止照相机抖动发生的抖动防止单元等，或者可以选择高快门速度从而避免发生被摄体抖动。

光学传递特性计算单元222是用于根据到被摄体的距离计算光学传递特性(第一光学传递特性)的单元。

可以通过使用数学表达式来计算光学传递特性，或者可以将离散值保持为表。

尽管在本实施例中使用了对离散值进行插值的方法，但可以使用其它类似的方法。

距离运算单元206通过使用观察图像im₁和im₂来计算距离图像213。

距离运算单元206还具有最佳光学传递特性运算单元。该最佳光学传递特性运算单元是用于计算使模糊量最小化的第二光学传递特性的光学传递特性运算单元。该最佳光学传递特性运算单元是用于进一步精确运算离散计算出的到被摄体的估计距离的单元。

模糊重建单元207从距离运算单元206接收距离图像以及观察图像im₁和im₂的数据，并且对这些数据进行运算，由此计算聚焦图像214并获得该聚焦图像。

再聚焦图像运算单元208接收聚焦图像218和距离图像216的数据，并且特意对用户想要变模糊的区域添加模糊，由此计算再聚焦图像215。

再聚焦图像运算单元208在形成再聚焦图像215时设置照相机参数(调焦距离和F值等)，并且可以形成与各种类型的透镜和景深相对应的图像。

在本实施例中，可以根据距离图像和聚焦图像形成诸如任意焦点位置处的图像、任意景深的图像以及已重建像差的图像等的再聚焦图像。

图3是示出图1中的摄像设备的观察图像拍摄单元的图，并且是示出使用可变光瞳滤波器的观察图像拍摄单元(光学系统)的图。根据图3所示的结构，设置了包括光通过单元、光学透镜2和光电转换单元的一个组，以时分方式拍摄同一被摄体的观察图像，并且光通过单元的光学特性随着时间的经过而变化。

对作为观察图像拍摄单元的光学系统101进行构造，以使得应用了用作光通过单元的开口掩模103和104的光圈102配置有：各自用于会聚入射光的光学透镜105；以及用作光电转换单元的CMOS传感器106，用于将光的成像状态转换成电信号。光学透镜105与图1中的光学透镜201和219相对应。

光圈102是可以以电方式改变开口掩模的图案的光圈，并且可以将开口掩模的图案变为开口掩模103的图案和开口掩模104的图案。

除了以电方式切换开口图案的方法以外，光圈102还可以使用诸如以机械方式进行切换的方法或以物理属性的方式进行切换的方法等的其它方法。

摄像设备在光圈102已经变为开口掩模103和开口掩模104的状态下拍摄图像，由此获得光圈形状不同的多个观察图像。

距离运算单元、模糊重建单元和再聚焦图像运算单元根据开口掩模的图案不同的多个观察图像，计算距离图像、聚焦图像和再聚焦图像。

开口掩模103和104各自具有图案化编码开口形状(光瞳系形状)。具体而言，开口掩模103具有如同开口107那样的图案，并且开口掩模104具有如同开口108那样的图案。

开口107和108所使用的图案对距离运算的稳定性产生极大影响。例如，如果开口107和108这两者的开口图案均为圆形开口，则拍摄到的两个模糊图像是大致相同的图像，从而难以分析这些图像。因此，期望通过这两个开口图案所拍摄到的观察图像的模糊特性不同。具体而言，使用被配置为产生拍摄到的图像的空间频率特性不同的模糊的开口图案。

尽管在本实施例中示出存在两个开口图案的情况的例子，但还可以进行构造，以使得使用两个以上的开口图案，将被摄体拍摄两次以上，并且获得两个以上的观察图像。

在这种情况下，由于获得了多个观察图像，因此选择这些观察图像中的两个观察图像，并且利用与本实施例的方法相同的方法可以获得距离图像、聚焦图像和再聚焦图像。

此外，在选择两个观察图像的所有组合中，通过同样执行距离图像和聚焦图像的运算并对这些运算的结果进行平均，可以提高运算精度。

在通过将光圈102变为开口掩模103的图案或开口掩模104的图案所获得的观察图像中，尽管空间频率特性不同，但视角仍相同。

根据开口图案的选择，通过满足以下条件，可以提高距离运算单元和模糊重建单元的运算精度。

(1)无论模糊大小如何，高频带的增益都不下降。

(2)在多个开口图案的频率特性中，增益的零点不在同一频率处重叠。

(3)通过尽可能大地增大开口面积来获得曝光所需的光量。

(4)可以容易地分析模糊特性的图案。

(5)不受衍射影响。

尽管存在多个可以满足以上条件的光圈图案，但在本实施例中选择如图3所示的开口掩模的图案。

随后，将说明与本实施例有关的图像数据。

图4A、4B、4C和4D分别示出观察图像、聚焦图像和距离图像。

在图4A和4B中示出观察图像im₁(1001)和im₂(1002)。尽管观察图像im₁ 1001和im₂ 1002是通过使用图案不同的开口掩模拍摄到的观察图像并且均与同一视角的照片有关，但这两个观察图像的模糊特性不同。

在图4C中示出距离图像1003。该距离图像是使用到被摄体的距离作为值的、位于与观察图像的平面相同的平面上的二维阵列数据。视角与观察图像的视角相同的、各像素的亮度值表示距离。

尽管在本实施例中，与观察图像上的点相对应的距离图像上的点表示被摄体的同一位置处的特性，但如果可以识别出观察图像和距离图像之间的位置关系，则观察图像的空间分辨率和距离图像的空间分辨率可以不同。

在图4C中的距离图像1003中，亮度越高，距离越小，并且亮度越低，距离越大。

在图4D中示出聚焦图像1004。该聚焦图像是尽管具有与观察图像im₁和im₂的视角相同的视角但不包括模糊特性的图像。也就是说，该聚焦图像是图像上不包括模糊状态的图像，并且与景深为无限远的图像相对应。

此外，在本实施例中，根据距离图像和观察图像形成与焦点有关的参数已经改变的再聚焦图像，并且在拍摄之后，形成具有任意模糊状态的图像。

随后，示出本实施例的摄像设备的外观。

图5是示出本实施例的摄像设备的外观的图。

摄像设备的外观与普通的数字照相机的外观几乎相同。

图3所述的光学系统101与图5中的光学系统301相对应。

由于整体光学系统101包含在光学系统301中，因此在作为一个组使用图3所示的光学系统并且以时分方式执行拍摄的情况下，作为主体部分303的硬件部分，还可以通过仅改变光圈图案来沿用相关技术中的数字照相机。

通过将光圈102的开口图案中的一个开口图案的形状设置成圆形开口或多边形开口，还可以拍摄与相关技术的数字照相机中的观察图像相同的观察图像。

对于用户在拍摄距离图像和聚焦图像的情况下的操作，以与相关技术的数字照相机的方式相同的方式仅执行一次快门按钮的操作就足够了。

在检测到一次快门按钮的操作之后，摄像设备将光圈图案改变与处理所需的观察图像的数量一样多的次数，并且拍摄多个观察图像，由此形成距离图像和聚焦图像。

随后，示出用作图2中的摄像设备所使用的观察图像拍摄单元的光学系统。

图6示出使用图案化光瞳滤波器的光学系统，并且示出与图3的光学系统不同的光学系统。

在图3中的光学系统的结构中，由于仅使用一组光学系统101，因此通过以时分方式多次进行拍摄来获得多个观察图像。因此，存在该光学系统针对照相机抖动和被摄体抖动的抵抗性较弱的缺点。

图6示出进一步抑制照相机抖动和被摄体抖动发生的光学系统的结构。根据该结构示例，如图2所示，设置了各自包括光通过单元、光学透镜2和光电转换单元的两个组。

图3的光学系统和图6的光学系统之间的大的差异涉及分光器将光源一分为二这一点。也就是说，分光器对光束进行分割。

分光器403将已经通过光学透镜入射的光一分为二。

通过光圈402将分割后的两个光束中的一半光束形成为图像，并且CMOS传感器406获得观察图像im₁的输入。此时，使用如同开口图案408那样的图案化光圈作为光圈402。

对于分割后的两个光束的剩余一半光束，通过使用反射镜404改变其光路，通过光圈401将该光形成为图像，并且利用CMOS传感器405获得观察图像im₂的输入。此时，使用如同开口图案407那样的图案化光圈作为光圈401。

由于同时执行利用CMOS传感器406拍摄观察图像im₁和利用CMOS传感器405拍摄观察图像im₂，因此对照相机抖动和被摄体抖动的抵抗性比使用图3中的光学系统的摄像设备中对照相机抖动和被摄体抖动的抵抗性大。

图7示出进一步改变图6中的光学系统的结构示例。

在图6所示的光学系统中，尽管可以同时拍摄多个观察图像，但摄像设备的整体大小增大。

为了改善该缺点，在图7中，不在光圈位置506处对光进行分割，而将分光器501配置在聚光位置处。

分光器501将通过光学透镜已经入射的光一分为二。

通过图案化光圈502将分割后的两个光束中的一半光束形成为图像，并且CMOS传感器503输入该光束作为观察图像im₁。

通过图案化光圈504将分割后的两个光束中的剩余一半光束形成为图像，并且CMOS传感器504输入该光束作为观察图像im₂。

图7与图6的不同点在于：需要利用开口掩模的图案504和502进行缩放，以使得光圈图案的大小根据聚焦状态而恒定。

然而，可以将整体摄像设备的大小设计成小于使用图6的光学系统的摄像设备的大小。

尽管在图3、6和7中已经示出了摄像设备的光学系统，但在图3、6和7的所有摄像设备中，可以共同执行距离运算单元206、模糊重建单元207、以及再聚焦图像运算单元208。

由于光学系统各自具有优点，因此可以根据应用来选择最佳的光学系统。

随后，示出本实施例中用于计算距离的算法。

示出在使用图6所示的两个开口掩模并且拍摄到两个观察图像的情况下的例子。当然，可以使用图7或3的光学系统。

当假定通过光圈402的开口掩模拍摄到的观察图像(其为第一观察图像)为im₁，假定通过光圈401的开口掩模拍摄到的观察图像(其为第二观察图像)为im₂，假定利用光圈402的开口掩模的PSF(Point Spread Function，点扩展函数)为h_a，假定利用光圈401的开口掩模的PSF为h_b，并且假定聚焦图像为s时，满足以下等式(4)。

$\left\{\begin{array}{c}{\mathrm{im}}_1=h_a\⊗s\\ {\mathrm{im}}_2=h_b\⊗s\end{array}\right.\·\·\·\left(4\right)$

其中，

表示卷积运算符号。

通过对等式(4)进行傅立叶变换，获得以下等式(5)。

在这些等式中，IM₁、IM₂、H_a、H_b和S分别表示im₁、im₂、h_a、h_b和s的频率特性。

$\left\{\begin{array}{c}{\mathrm{IM}}_1=H_a\·S\\ {\mathrm{IM}}_2=H_b\·S\end{array}\right.\·\·\·\left(5\right)$

由于等式(5)中的聚焦图像S是共有项，因此可以通过合并等式(5)由此推导出以下等式(6)。

IM₁·H_b-IM₂·H_a＝0             …(6)

根据等式(6)，将理解，通过利用光圈401的开口掩模的PSF对利用光圈402的开口掩模所拍摄到的观察图像im₁执行卷积运算所获得的结果、与通过利用光圈402的开口掩模的PSF对利用光圈401的开口掩模所拍摄到的观察图像im₂执行卷积运算所获得的结果相同。

然而，实际上，由于因误差或成像状态使得等式(6)的左侧不完全等于0，因此通过以下等式(7)来获得距离。

$z^{\′}=\arg \underset{z}{\min }{\left|\right|{\mathrm{IM}}_1\·H_b-{\mathrm{IM}}_2\·H_a\left|\right|}_2\·\·\·\left(7\right)$

其中，z′表示估计距离。

现在将检查满足等式(7)的状态。

由于根据等式(5)，IM₁等于H_a·S并且IM₂等于H_b·S，因此如果可以将适当的H_a和H_b代入等式(7)中，则通过以下表达式(8)所获得的值最小。

‖IM₁·H_b-IM₂·H_a‖₂                    …(8)

光学传递特性H_a和H_b依赖于到被摄体的距离。针对特定距离唯一确定该距离的一组H_a和H_b。

因此，预先保持到被摄体的距离z以及光学传递特性H_a和H_b之间的关系作为光学传递特性表，并且通过将H_a和H_b代入等式(7)中，可以获得估计距离z′。此时，可以使用设计值或实际测量值作为H_a和H_b。

也就是说，由于H_a和H_b依赖于到被摄体的距离，因此可以通过以下等式(9)来表示等式(7)。

$z^{\′}=\arg \underset{z}{\min }{\left|\right|{\mathrm{IM}}_1\·H_b{|}_z-{\mathrm{IM}}_2\·H_a{|}_z\left|\right|}_2\·\·\·\left(9\right)$

可以通过以下表达式(10)来表示H_a和H_b的表。

$\left\{\begin{array}{c}{H}_a{|}_{z=z_1}\\ H_b{|}_{z=z_1}\end{array}\right.,$ $\left\{\begin{array}{c}{H}_a{|}_{z=z_2}\\ H_b{|}_{z=z_2}\end{array}\right.,\·\·\·\·\·\·\left(10\right)$

通过使用表达式(10)所示的表获得以下表达式(11)的值最小的z，求出满足等式(9)的估计距离z′。

‖IM₁·H_b|_z-IM₂·H_a|_z‖₂               …(11)

表达式(10)所示的表与以下将说明的图8所示的光学传递特性-估计距离表(其为光学传递特性表)相同。也就是说，表达式(10)示出光学传递特性表。

在摄像设备是移变的光学系统的情况下，表达式(10)示出表示在摄像装置的感光面上成像的摄像面的各位置处的光学传递特性的光学传递特性表。针对摄像面上的位置准备该表。

在摄像设备是非移变的光学系统的情况下，在摄像装置的摄像面的各位置处获得相同的光学传递特性。因此，无论摄像面上的位置如何，表达式(10)都准备一个光学传递特性表，这就足够了。

尽管光学传递特性表示出了与距离相对应的离散值的光学传递特性，但可以通过根据镜头的设计信息、将光学传递特性保持为针对距离的函数式(光学传递特性函数)，来实现表达式(10)。

例如，在本实施例中，通过以下等式(12)根据距离z计算容许模糊圆的大小pcs，并且通过使用容许模糊圆的大小pcs，作为表达式(10)近似计算光学传递特性。

其中，Zf表示被摄体距离；Zp表示调焦距离；f表示焦距；并且d表示镜头直径。

随后，将说明本实施例中使用的数据表。

图8示出光学传递特性-估计距离表。

图8的光学传递特性-估计距离表示出了通过对到被摄体的距离z处的PSF(点扩展函数)进行频率转换所获得的光学传递特性。

光学传递特性-估计距离表是以下将说明的光学传递特性计算单元所使用的数据表。

尽管可以使用设计值作为光学传递特性，但在本实施例中使用实际测量值。

通过使用实际测量出的光学传递特性，可以对噪声的影响或光学像差的影响等进行校准。

被摄体距离601是到被摄体的距离。

以下将说明的光学传递特性602和603示出被摄体存在于与设备相距z的位置处的情况下的光学传递特性。

光学传递特性602是与到被摄体的距离z相对应的光学传递特性H_a。光学传递特性H_a是与开口掩模103相对应的光学传递特性。

同样，光学传递特性603是与到被摄体的距离z相对应的光学传递特性H_b。光学传递特性H_b是与开口掩模104相对应的光学传递特性。

由于光学传递特性根据距光轴的距离或相对于光轴的方向而变化，因此可以根据镜头的位置保持光学传递特性。由于光学传递特性也根据调焦位置而变化，因此保持所需的表。

尽管在本实施例中保持了两个光学传递特性H_a和H_b，但如果存在两个以上的开口掩模，则根据开口掩模的数量增加光学传递特性的数量就足够了。

如上所述，保持与距离相对应的开口掩模的光学传递特性。

随后，示出本实施例中用于计算距离图像的流程图。

图9示出表示距离运算单元的操作的流程图。

图10示出表示光学传递特性计算单元的操作的流程图。

在步骤S701中，将观察图像im₁和im₂输入至距离运算单元。

在步骤S702中，根据观察图像im₁和im₂，距离运算单元在观察显示画面上的位置(x，y)处裁切比观察图像小的窗口大小(wx，wy)的图像，并且将裁切出的图像设置成观察图像i₁和i₂。

针对每一个小窗口测量估计距离z。

在计算估计距离z时，如果PSF在CMOS传感器106上的最大大小等于或大于窗口大小(wx，wy)，则无法正确地判别到被摄体的距离。因此，需要考虑到这些情况来确定wx和wy。

随后，在步骤S703中，对观察图像i₁和i₂进行傅立叶变换，由此计算I₁和I₂。将“0”代入用作参考计数器的m。

在步骤S704中，调用光学传递特性计算单元，并且获得与参考计数器m相对应的z_m、H_am和H_bm。

从图10中的步骤S1101开始光学传递特性计算单元的操作。

在步骤S1102中，光学传递特性计算单元从以上所述的光学传递特性-估计距离表中获得与参考计数器m相对应的z_m、H_am和H_bm。然后，在步骤S1103中返回处理例程。

随后，在步骤S705中对以下等式(13)进行运算，由此获得误差评价值e_m。

e_m＝I₁×H_bm-I₂×H_am               …(13)

使误差评价值e_m最小的z_m为估计距离z′。

使用等式(13)，利用误差评价值e_m来评价等式(9)。

对于误差评价值e_m，由于在参考计数器m的所有情况下均需要进行评价，因此在步骤S706中使参考计数器增加，之后，重复对步骤S704及其后的步骤中的处理进行运算。

在针对所有的参考计数器m的运算完成之后，在步骤S707中获得使误差评价值e_m最小的m。

随后，在步骤S708中确定与使误差评价值e_m最小的m相对应的估计距离z。

在示出估计距离和误差评价值之间的关系的图11的曲线图中示出上述关系。根据作为例子的如图11所示的值，在z₄(m＝4)的状态下，误差评价值e_m最小。因此，可以将由z₄所表示的距离设置为估计距离z′。

然而，根据图8所示的光学传递特性-估计距离表，获得估计距离z_m作为离散值。

因此，如图11中的曲线图901所示，可以利用以下方法获得精度较高的距离：在该方法中，通过使用最小二乘近似等计算最小值e_m′，并且获得与该最小值e_m′相对应的估计距离z′。

如上所述，对窗口大小(wx，wy)处的到被摄体的距离进行运算。在步骤S709中，将所计算出的估计距离z′设置为距离图像的坐标(x，y)的像素值(距离值)。

在步骤S710中，执行处理循环，以使得对图像上的所有像素执行步骤S702～S709中的处理。

尽管在本实施例中，在顺次增加误差评价值e_m时执行运算，并且获得最小值，但还可以通过使用二分搜索法等高速获得误差评价值e_m的最小值。

尽管利用等式(13)在频率区域中对误差评价值e_m进行运算，但还可以通过使用以下等式在空间区域中对误差评价值e_m进行运算。

$e_m=i_1\⊗h_{\mathrm{bm}}-i_2\⊗h_{\mathrm{am}}$

其中，假定i₁、h_bm、i₂和h_am分别表示观察图像1、观察图像2的点扩展函数、观察图像2和观察图像1的点扩展函数。

通过执行如上所述的运算处理，可以获得距离图像。

随后，将说明本实施例中用于计算聚焦图像的算法。

可以通过等式(5)来计算聚焦图像。

通过对等式(5)进行修改，推导出以下等式(15)。

$S=\frac{1}{2}(\frac{{\mathrm{IM}}_1}{H_a}+\frac{{\mathrm{IM}}_2}{H_b})\·\·\·\left(15\right)$

然而，实际上，在等式(15)中，存在在光学传递特性H_a和H_b中值为0或值接近0的情况，并且有可能没有正确地执行除法。

因此，现在假定将估计聚焦图像的傅立叶变换设置为S′，可以通过以下等式(16)来获得估计聚焦图像S′。

$S^{\′}=\underset{m=1}{\overset{2}{\mathrm{\Σ}}}{W}_m\·\left(\frac{{\mathrm{IM}}_m}{H_m}\right)\·\·\·\left(16\right)$

假定H₁＝H_a并且H₂＝H_b。

等式(16)中的W_m表示示出在特定空间频率处观察图像IM₁和IM₂中的哪一个的频谱较高的加权系数。

W_m∝|H_m|                …(17)

通过以满足以上表达式(17)的方式设置W_m的值，即使在空间频率应答中存在零点，也可以精确地重建聚焦图像。

尽管在本实施例中示出存在两个开口图案的情况以及观察图像是两个显示画面的情况，但即使存在两个以上的开口图案，也可以同样执行运算。

随后，图12示出本实施例中与聚焦图像的计算有关的流程图。

从步骤S801开始模糊重建单元207的操作。

在步骤S802中，通过使用以上表达式(17)所示的方法确定加权系数W_m。

在步骤S803中，可以通过对等式(16)进行运算来获得估计聚焦图像S′。

由于估计聚焦图像S′表示空间频率特性，因此通过进行逆傅立叶变换求出估计聚焦图像S′。

如上所述获得聚焦图像。

由于对于根据距离图像和聚焦图像所获得的并且在再聚焦图像运算单元208中使用的再聚焦图像的形成，可以使用众所周知的算法，因此这里省略对该算法的说明。

将详细说明根据本发明的第二实施例的摄像设备及其方法。

在第二实施例中，确定图3中的开口掩模103和104的光学传递特性的频率特性，并且获得满足这些条件的开口掩模图案，由此减少运算量，并且降低所使用的存储器容量的量。

在第二实施例中，开口掩模103和104的频率特性满足以下的等式(18)所示的关系。

$\left\{\begin{array}{c}{H}_a=H_1\·H_2\\ H_b=H_2\end{array}\right.\·\·\·\left(18\right)$

其中，H_a、H_b、H₁和H₂分别表示光学传递特性h_a、h_b、h₁和h₂的频率特性。

假定利用等式(4)表示观察图像的拍摄状态，将用于计算到被摄体的距离的等式(9)修改为以下等式(19)。

$z^{\′}=\arg \underset{z}{\min }{\left|\right|{\mathrm{IM}}_1-{\mathrm{IM}}_2\·H_1{|}_z\left|\right|}_2\·\·\·\left(19\right)$

此时，可以通过以下表达式(20)来表示示出H₁和到被摄体的距离之间的关系的表。

$H_1{|}_{z=z_1},$ $H_1{|}_{z=z_2},\·\·\·\·\·\·\left(20\right)$

通过使用表达式(20)的表所示的表来获得以下表达式(21)所表示的值为最小的z，求出满足等式(19)的估计距离z′。

‖IM₁-IM₂·H₁|_z‖₂                  …(21)

第二实施例与第一实施例的不同之处在于以下方面：通过仅在等式(19)中执行一次卷积运算(频率区域中的乘法)来执行用于评价估计距离z′的运算。

卷积运算是需要长的时间进行处理的运算。

因此，第二实施例中等式(19)的运算量约等于第一实施例中等式(9)的一半运算量。

第一实施例中作为示出光学特性的表的表达式(10)与第二实施例中的表达式(20)之间的不同之处在于：在第二实施例的情况下，由于利用一类光学传递特性和距离值来构造该表，因此其数据量约等于第一实施例中的一半数据量。

现在假定满足等式(18)的开口掩模103和104通过使用光圈的开口图案满足了这些特性。

还可以按以下方式进行构造：准备示出H₁和H₂的光学特性的两个光圈，在拍摄一个观察图像(im₁)时，通过H₁和H₂的开口掩模来进行拍摄，并且仅通过H₂的开口掩模来拍摄另一观察图像(im₂)。

如上所述，由于开口掩模103和104的频率特性满足等式(18)，因此用于计算距离的运算量和示出光学传递特性的数据表的容量各自约等于第一实施例中的运算量和数据表的容量的一半。可以更加高效地执行这些运算。

其它实施例

还可以通过读出并执行存储器装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行存储器装置上所记录的程序以进行上述实施例的功能，来进行该方法的各步骤。由于该目的，例如经由网络或者从用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向该计算机提供该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2008年8月8日提交的日本专利申请2008-205882的优先权，在此通过引用包含其全部内容。

权利要求书(按照条约第19条的修改)

1.一种摄像设备，包括：

观察图像拍摄部件，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

光学传递特性计算部件，用于计算与到所述被摄体的距离相对应的光学传递特性；以及

距离运算部件，用于根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

2.一种摄像设备，包括：

观察图像拍摄部件，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

光学传递特性计算部件，用于计算与到所述被摄体的距离相对应的第一光学传递特性；

光学传递特性运算部件，用于根据所述多个观察图像和所述第一光学传递特性来计算使模糊量最小化的第二光学传递特性；以及

模糊重建部件，用于通过使用所述第二光学传递特性重建图像的模糊来获得聚焦图像。

3.根据权利要求1或2所述的摄像设备，其特征在于，通过使用表示摄像装置的感光面的各位置处的光学传递特性和到所述被摄体的距离之间的关系的光学传递特性表，来计算光学传递特性。

4.根据权利要求1或2所述的摄像设备，其特征在于，通过使用表示摄像装置的感光面的各位置处的光学传递特性和到所述被摄体的距离之间的关系的光学传递特性函数，来计算光学传递特性。

5.根据权利要求1所述的摄像设备，其特征在于，当假定利用所述多个光圈图案中的一个光圈图案所获得的观察图像是第一观察图像、并且利用所述多个光圈图案中的另一光圈图案所获得的观察图像是第二观察图像时，所述距离运算部件计算使如下值最小的到所述被摄体的距离：

或者

|(所述第一观察图像的频率特性)×(所述第二观察图像的光学传递特性)-(所述第二观察图像的频率特性)×(所述第一观察图像的光学传递特性)|，

其中，

表示卷积算子。

6.根据权利要求2所述的摄像设备，其特征在于，当假定利用所述多个光圈图案中的一个光圈图案所获得的观察图像是第一观察图像、并且利用所述多个光圈图案中的另一光圈图案所获得的观察图像是第二观察图像时，所述光学传递特性运算部件计算使如下值最小的第二光学传递特性：

或者

|(所述第一观察图像的频率特性)×(所述第二观察图像的光学传递特性)-(所述第二观察图像的频率特性)×(所述第一观察图像的光学传递特性)|，

其中，

表示卷积算子。

7.根据权利要求1或2所述的摄像设备，其特征在于，以时分方式获得所述多个观察图像。

8.根据权利要求1或2所述的摄像设备，其特征在于，通过分割光束来获得所述多个观察图像。

9.一种摄像设备的距离运算方法，包括以下步骤：

通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

计算与到所述被摄体的距离相对应的光学传递特性；以及

根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

10.一种摄像设备的聚焦图像获得方法，包括以下步骤：

通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

计算与到所述被摄体的距离相对应的光学传递特性；

根据所述多个观察图像和所述光学传递特性来计算使模糊量最小化的光学传递特性；以及

通过使用使所述模糊量最小化的光学传递特性重建图像的模糊来获得聚焦图像。

11.(添加)一种摄像设备，包括：

观察图像拍摄部件，用于通过利用光学传递特性各自不同的多个构件拍摄同一被摄体来获得多个观察图像；

光学传递特性计算部件，用于计算与到所述被摄体的距离相对应的光学传递特性；以及

距离运算部件，用于根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

Claims (10)

1.一种摄像设备，包括：

观察图像拍摄部件，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

光学传递特性计算部件，用于计算与到所述被摄体的距离相对应的光学传递特性；以及

距离运算部件，用于根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

2.一种摄像设备，包括：

观察图像拍摄部件，用于通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

光学传递特性计算部件，用于计算与到所述被摄体的距离相对应的第一光学传递特性；

光学传递特性运算部件，用于根据所述多个观察图像和所述第一光学传递特性来计算使模糊量最小化的第二光学传递特性；以及

模糊重建部件，用于通过使用所述第二光学传递特性重建图像的模糊来获得聚焦图像。

3.根据权利要求1或2所述的摄像设备，其特征在于，通过使用表示摄像装置的感光面的各位置处的光学传递特性和到所述被摄体的距离之间的关系的光学传递特性表，来计算光学传递特性。

4.根据权利要求1或2所述的摄像设备，其特征在于，通过使用表示摄像装置的感光面的各位置处的光学传递特性和到所述被摄体的距离之间的关系的光学传递特性函数，来计算光学传递特性。

5.根据权利要求1所述的摄像设备，其特征在于，当假定利用所述多个光圈图案中的一个光圈图案所获得的观察图像是第一观察图像、并且利用所述多个光圈图案中的另一光圈图案所获得的观察图像是第二观察图像时，所述距离运算部件计算使如下值最小的到所述被摄体的距离：

或者

|(所述第一观察图像的频率特性)×(所述第二观察图像的光学传递特性)-(所述第二观察图像的频率特性)×(所述第一观察图像的光学传递特性)|，

其中，

表示卷积算子。

6.根据权利要求2所述的摄像设备，其特征在于，当假定利用所述多个光圈图案中的一个光圈图案所获得的观察图像是第一观察图像、并且利用所述多个光圈图案中的另一光圈图案所获得的观察图像是第二观察图像时，所述光学传递特性运算部件计算使如下值最小的第二光学传递特性：

或者

|(所述第一观察图像的频率特性)×(所述第二观察图像的光学传递特性)-(所述第二观察图像的频率特性)×(所述第一观察图像的光学传递特性)|，

其中，

表示卷积算子。

7.根据权利要求1或2所述的摄像设备，其特征在于，以时分方式获得所述多个观察图像。

8.根据权利要求1或2所述的摄像设备，其特征在于，通过分割光束来获得所述多个观察图像。

9.一种摄像设备的距离运算方法，包括以下步骤：

通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

计算与到所述被摄体的距离相对应的光学传递特性；以及

根据所述多个观察图像和所述光学传递特性来计算到所述被摄体的距离。

10.一种摄像设备的聚焦图像获得方法，包括以下步骤：

通过利用多个光圈图案拍摄同一被摄体来获得多个观察图像；

计算与到所述被摄体的距离相对应的光学传递特性；

根据所述多个观察图像和所述光学传递特性来计算使模糊量最小化的光学传递特性；以及

通过使用使所述模糊量最小化的光学传递特性重建图像的模糊来获得聚焦图像。

Images