CN102713512B - 摄像装置以及距离测量方法 - Google Patents

Abstract

本发明涉及的摄像装置(10)具备，摄像部(11)；合焦范围控制部(12)，一边使摄像部(11)的合焦位置变化，一边使摄像部(11)拍摄分别具有不同的合焦范围的第一图像(31a)以及第二图像(31b)；参考图像生成部(13)，利用第一图像(31a)以及第二图像(31b)，生成作为模糊的基准的参考图像(32)；以及距离测量部(14)，根据第一图像(31a)以及第二图像(31b)与参考图像(32)的模糊的程度的差，测量与被摄体相距的距离；第一图像(31a)以及第二图像(31b)具有的合焦范围相互独立，在各个合焦范围间设置有非合焦的间隔。

Description

摄像装置以及距离测量方法

技术领域

本发明涉及摄像装置以及距离测量方法，尤其涉及利用被拍摄的多张图像，测量被摄体的距离的摄像装置以及距离测量方法。

背景技术

提出了用于非接触测量某三维场景的进深、即与各个被摄体相距的距离的各种方法。可以将它大致区别为，将红外线、超声波、或激光等照射到被摄体，根据直到反射波返回为止的时间或反射波的角度等计算距离的能动方法，以及根据被摄体的像计算距离的被动方法。特别是，对于相机，不需要用于照射红外线等的装置的被动方法被广泛采用。

对于被动方法，提出了许多方法，其中之一是，根据因聚焦(合焦位置)的变化而产生的模糊测量距离的、称为Depth from Defocus(以下，记作为“DFD”。)的方法。该DFD的优点是，不需要多个相机，并且，根据少数图像能够测量距离等。

DFD是利用图像的模糊测量距离的方法。但是，存在的问题是，根据被拍摄的图像本身非常难以辨别，被拍摄的图像中存在的模糊是因透镜的聚焦的变化而产生的，还是，表示没有由透镜的模糊的状态的原图像原来具有模糊的纹理。

对此，在专利文献1记载的方法中，通过对多个拍摄图像间的空间频谱的比、与场景的进深所对应的模糊的空间频谱的比进行比较，从而进行不依赖于原图像的谱分量的测量。

另一方面，在专利文献2记载的方法中，一边改变聚焦，一边拍摄多数图像，仅提取它们的合焦部分，从而得到相当于原图像的参考图像。构成将该参考图像和各种模糊卷积后的尺度空间(Scale Space)，比较参考图像与拍摄图像，从而进行距离测量。

(现有技术文献)

(专利文献)

专利文献1：(日本)特开平11－337313号公报

专利文献2：(美国)专利申请公开第2007／0019883号说明书

(非专利文献)

非专利文献1：“Flexible Depth of Field Photography”，H.Nagahara，S.Kuthirummal，C.Zhou，S.K.Nayer，EuropeanConference on Computer Vision(ECCV)，Oct，2008

发明概要

发明要解决的问题

但是，在专利文献1记载的方法中，为了使测量变得容易，在开口部插入特殊构造的遮罩。据此，该方法，进行在模糊的空间频谱中周期性出现零点等的构造化。但是，该方法的问题是，因该遮罩而射入光量减少。为了弥补它，需要提高摄像元件的灵敏度，或者，将曝光时间变长。但是，前者导致拍摄图像的噪声的增大，后者导致被摄体抖动。据此，被摄体的谱分量混乱，因此，距离测量的精度降低。

另一方面，在专利文献2记载的方法中，只要不将光圈大大变窄，图像的景深的宽度，就比进行距离测量的范围非常窄，因此，为了得到参考图像，需要拍摄多数图像。据此，根据少数图像能够进行距离测量的DFD的优点被相抵。而且，通过将光圈大大变窄，从而根据少数图像能够得到参考图像，但是，射入光量降低，因此，该方法具有与专利文献1记载的方法相同的问题。

发明内容

鉴于所述的问题，本发明的目的在于，提供根据少的张数的拍摄图像能够实现稳定的距离测量的摄像装置以及距离测量方法。

用于解决发明的手段

为了实现所述的目的，本发明的实施方案之一涉及的摄像装置，具备：摄像部，通过拍摄被摄体，从而生成图像；合焦范围控制部，一边使所述摄像部的合焦位置变化，一边使所述摄像部拍摄分别具有不同的合焦范围的n张图像，n为2以上的整数；参考图像生成部，利用所述n张图像，生成作为模糊的基准的参考图像；以及距离测量部，根据所述n张图像与所述参考图像的模糊的程度的差，测量与所述被摄体相距的距离，所述n张图像各自具有的合焦范围相互独立，在各个合焦范围间设置有非合焦的间隔。

根据这样的结构，本发明的实施方案之一涉及的摄像装置，一边使合焦位置变化，一边拍摄图像，因此，不将光圈变窄而能够获得合焦范围比通常宽的图像。据此，本发明的实施方案之一涉及的摄像装置，以少的张数的图像能够获得参考图像。进而，由于各个图像具有的合焦范围相互独立，因此，利用多个图像，能够生成具有相对于被摄体距离而大致均匀的模糊的图像。因此，本发明的实施方案之一涉及的摄像装置，以简单的方法，能够获得精度高的参考图像。如此，本发明的实施方案之一涉及的摄像装置，以少的张数的拍摄图像，能够实现稳定的距离测量。

并且，也可以是，所述摄像部具备摄像元件、以及使光聚集于所述摄像元件的透镜，所述合焦范围控制部，通过使所述摄像元件与所述透镜的距离等速变化，从而使所述合焦位置变化。

根据这样的结构，按照摄像元件与透镜的距离的变化，景深被扩展，因此以少的张数能够进行宽的范围的距离测量。

并且，也可以是，所述n张图像的曝光时间相同。

根据这样的结构，由于能够使合焦范围不同的n张图像中包含的噪声相同程度，因此能够提高距离计算的精度。

并且，也可以是，所述合焦范围控制部，在所述摄像部开始所述n张图像的拍摄后到结束为止的期间，使所述摄像元件与所述透镜的距离等速变化。

根据这样的结构，能够容易进行变更合焦位置的控制。

并且，也可以是，所述摄像部具备：透镜；n个摄像元件，被配置为与所述透镜之间的光路长度互不相同；以及光束分离器，将来自所述透镜的光划分给所述n个摄像元件的各个摄像元件，所述合焦范围控制部，一边在同一期间内使所述n个摄像元件的合焦位置同时变化，一边使所述n个摄像元件同时拍摄所述n张图像。

根据这样的结构，由于能够同时拍摄合焦范围相互不同的n张图像，因此能够缩短处理整体所需要的时间。并且，由于各个图像的景深连续被扩展，因此以少的张数能够进行宽的范围的距离测量。

并且，也可以是，所述摄像部具备：透镜；n个摄像元件；以及选择部，使来自所述透镜的光有选择地射入到所述n个摄像元件的某一个，所述合焦范围控制部，依次选择所述n个摄像元件，由所述选择部使光有选择地射入到选择出的摄像元件，从而使所述n个摄像元件分别拍摄所述n张图像的各个图像。

根据这样的结构，由于能够同时拍摄合焦范围相互不同的n张图像，因此能够缩短处理整体所需要的时间。并且，由于各个图像具有不连续的合焦范围，因此能够具有以DFD算法更容易进行距离测量的模糊的形状。

并且，也可以是，所述参考图像生成部，生成所述n张图像的平均图像，利用该平均图像生成所述参考图像。

根据这样的结构，由于各个图像具有的合焦范围相互独立，因此，将各个图像平均化后的图像，具有相对于被摄体距离而大致均匀的模糊。因此，以简单的方法，能够获得精度高的参考图像。

并且，也可以是，所述参考图像生成部，通过对所述平均图像进行基于一种点扩展函数的反卷积运算，从而生成所述参考图像。

而且，本发明，除了可以作为这样的摄像装置来实现以外，也可以作为将摄像装置所包含的特征单元作为步骤的距离测量方法、或者摄像装置的控制方法来实现，还可以作为使计算机执行这样的特征步骤的程序来实现。而且，当然也可以通过CD-ROM等的非暂时的计算机可读取的记录介质以及互联网等传输介质来分发这样的程序。

进而，本发明，可以作为实现这样的摄像装置的功能的一部分或全部的半导体集成电路(LSI)来实现。

发明效果

以上，本发明能够提供，以少的张数的拍摄图像能够实现稳定的距离测量的摄像装置以及距离测量方法。

附图说明

图1是示出本发明的实施例涉及的摄像装置的结构的方框图。

图2是示出本发明的实施例涉及的使合焦位置变化时的聚光的情况的模式图。

图3是示出本发明的实施例涉及的摄像装置的工作流程的流程图。

图4是示出本发明的实施例涉及的合焦位置的变化的图。

图5是示出本发明的实施例的第一图像以及第二图像的模糊量的图。

图6A是示出本发明的实施例涉及的场景的纹理的图。

图6B是示出本发明的实施例涉及的场景的被摄体距离的图。

图7A是示出本发明的实施例涉及的根据具有接合的合焦范围的两张图像进行了距离测量的结果的图。

图7B是示出本发明的实施例涉及的根据具有间隔的合焦范围的两张图像进行了距离测量的结果的图。

图8A是示出本发明的实施例涉及的合焦范围的间隔和距离测量结果的RMS的关系的表。

图8B是示出本发明的实施例涉及的合焦范围的间隔和距离测量结果的RMS的关系的图表。

图9A是示出本发明的实施例的变形例1涉及的摄像部的结构的图。

图9B是示出本发明的实施例的变形例1涉及的合焦位置的变化的图。

图10是示出本发明的实施例的变形例2涉及的摄像部的结构的图。

图11A是示出本发明的实施例的变形例2涉及的摄像部的工作的图。

图11B是示出本发明的实施例的变形例2涉及的摄像部的工作的图。

图11C是示出本发明的实施例的变形例2涉及的摄像部的工作的图。

图12是示出本发明的实施例的变形例2涉及的合焦位置的变化的图。

具体实施方式

以下，参照附图说明本实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立权利要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

本发明的实施例涉及的摄像装置，拍摄具有独立的合焦范围的多个图像。进而，在多个图像的多个合焦范围间设置间隔。据此，该摄像装置，利用这样的多个图像，能够生成具有相对于被摄体距离而大致均匀的模糊的图像。如此，本发明的实施例涉及的摄像装置，根据少的张数的拍摄图像能够实现稳定的距离测量。

图1是示出本发明的实施例涉及的摄像装置10的结构的图。图1示出的摄像装置10，拍摄图像，并且，利用该图像，测量摄像装置10与该图像中包含的被摄体的距离。该摄像装置10具备摄像部11、合焦范围控制部12、参考图像生成部13、以及距离测量部14。

摄像部11具备，安装了聚集光线的透镜21的透镜组件、以及CCD或CMOS等的摄像元件22。该摄像部11，具有通过拍摄被摄体的像，从而生成图像的功能。

合焦范围控制部12，具有控制摄像部11具备的透镜组件，控制合焦位置以及景深的功能。具体而言，合焦范围控制部12，通过使透镜21与摄像元件22的距离变化，从而使合焦位置变化。进一步，具体而言，合焦范围控制部12，通过使透镜21与摄像元件22的一方或双方移动，从而使透镜21与摄像元件22的距离变化。例如，合焦范围控制部12，以特定的模式使透镜组件中安装的自动聚焦机构工作，或者，切换特定的光学元件。而且，透镜组件中可以包含多个透镜。在此情况下，合焦范围控制部12，使该多个透镜之中一个以上移动即可。并且，透镜与摄像元件的距离是指，例如，要移动的透镜、或多个透镜的透镜主点位置与摄像元件的距离。

并且，合焦范围控制部12，一边使摄像部11的合焦位置变化，一边使摄像部11拍摄分别具有不同的合焦范围以及景深的多张图像(第一图像31a以及第二图像31b)。在此，多张图像分别具有的合焦范围相互独立，在各个合焦范围间设置有非合焦的间隔。

而且，以下，说明利用合焦范围以及景深不同的两张图像的例子，但是，也可以利用三张以上的图像。

参考图像生成部13，利用根据合焦范围控制部12的作用生成的、具有不同的合焦位置以及景深的第一图像31a以及用第二图像31b，生成作为模糊的基准的参考图像32。具体而言，参考图像32是，估计了没有由透镜21的模糊的状态的图像。

距离测量部14，利用第一图像31a以及第二图像31b、和参考图像32，根据DFD的方法进行距离测量。也就是说，距离测量部14，根据第一图像31a以及第二图像31b、与参考图像32的模糊的程度的差，测量与被摄体相距的距离。

接着，说明扩展被拍摄的图像的景深的方法。如下定义，一般的景深的宽度。首先，说明超焦点距离(Hyperfocal Distance)。超焦点距离是指，在将合焦位置(聚焦)对焦于该距离的情况下，判断为从该距离到后方的无穷远为止合焦的距离。在将透镜的焦点距离设为f、将透镜的F数设为F、将表示能够检测的最小的模糊的容许弥散圆的大小设为c时，超焦点距离h由以下的(式1)近似。

【算式1】

$h=\frac{f^2}{\mathrm{Fc}}$ (式1)

对于将合焦位置对焦于距离s时的景深，在将s的前方的景深设为DN、将后方的景深为Df时，由以下的(式2)以及(式3)表示。

【算式2】

$D_n=\frac{{(s-f)}^2}{h+s-2f}$ (式2)

$D_f=\frac{{(s-f)}^2}{h-s}$ (式3)

根据以上的式，在固定焦点距离的情况下，景深的宽度仅由光圈能够变更。

对此，提出了不将光圈变窄而使景深的宽度扩大的各种方法。它们，被称为景深扩展(Extended Depth of Field：以下，记作为“EDOF”。)。以下，说明EDOF的具体方法。

最单纯的EDOF方法是，一边逐渐将合焦位置稍微偏移，一边拍摄多个图像，从这样的图像中提取合焦的部分来合成的方法。在专利文献2中也采用该方法。

对此，在非专利文献1中公开，在曝光中使合焦位置变化，从而实现与多数图像的合成同样的效果的方法。

图2是示出使合焦位置变化时的聚光的情况的模式图。如图2，将合焦于被摄体位置a1时的摄像元件22的位置(像面位置)设为b1，将合焦于被摄体位置a2时的摄像元件22的位置设为b2。根据透镜的公式，在合焦于a1与a2间的任意的被摄体位置时的摄像元件22的位置，一定位于b1与b2间。因此，在曝光中摄像元件22从b1移动到b2的情况下，相对于a1，从最初合焦的状态开始模糊逐渐变大，在图像中这样的模糊被积分并重叠拍摄。另一方面，相对于a2，反而，从模糊大的状态开始逐渐合焦，在图像中，还是这样的模糊被重叠拍摄。

对此，利用算式进行更详细的说明。将表示光学系统的模糊的状态的点扩展函数(Point Spread Function：以下，记作为“PSF”。)，设为以下的(式4)以及(式5)表示的形状。

【算式3】

$\mathrm{PSF}(r,\mathrm{u\Δv})=\frac{2}{\mathrm{\π}{\left(\mathrm{gb}\right)}^2}\exp (-\frac{{2r}^2}{{\left(\mathrm{gb}\right)}^2})$ (式4)

$b=\frac{a}{v}\left|\mathrm{\Δv}\right|$ (式5)

但是，f表示光学系统的焦点距离，a表示光学系统的开口部的直径，u表示被摄体距离，v表示由透镜的公式1／f＝1／u＋1／v决定的像面位置，Δv表示从v的像面位置的移动量，R表示从模糊的中心的距离，g表示定数。在此，像面位置是指，以透镜为基准的摄像元件的位置。换而言之，像面位置相当于透镜与摄像元件间的距离。

(式4)以及(式5)是像面位置的移动量Δv的函数，因此，在Δv根据某函数V(t)从时刻0到T变化的情况下，能够如以下的(式6)定义最后得到的PSF。

【算式4】

$\mathrm{IPSF}(r,u)=\underset{0}{\overset{T}{\∫}}\mathrm{PSF}(r,\mathrm{uV}\left(t\right))\mathrm{dt}$ (式6)

在此，在V(t)被表示为等速运动、即V(t)＝V(0)＋st的情况下，对于式6，得到如下的式7的解。

【算式5】

$\mathrm{IPSF}(r,u)=\frac{\mathrm{uf}}{(u-f)\sqrt{2\mathrm{\π}}\mathrm{rasT}}(\mathrm{erfc}\left(\frac{r}{\sqrt{2}\mathrm{gV}\left(0\right)}\right)+\mathrm{erfc}\left(\frac{r}{\sqrt{2}\mathrm{gV}\left(T\right)}\right))$ (式7)

在此，erfc(x)是余误差函数(Complementary Error Function)。并且，b(t)是时刻t的模糊的直径。非专利文献1中示出，根据(式7)能够得到的PSF，在距离V(0)至V(T)间，不关距离而大致成为普遍的模糊形状。也就是说，通过使像面位置的起点v＋V(0)以及终点v＋V(T)变化，从而能够使模糊成为一定的被摄体距离的范围变化。

接着，说明利用了参考图像的DFD的方法。参考图像R与拍摄图像I间，成立以下的(式8)所示的关系。

【算式6】

I(x，y)＝R(x，y)*h(x，y，d(x，y))        (式8)

在此，h表示位置(x，y)的PSF，d(x，y)表示位置(x，y)的被摄体距离。并且，式中的*表示卷积运算。例如，如(式4)以及(式5)，根据被摄体距离，PSF不同，因此，在多个被摄体在不同的距离存在的情况下，得到按图像的每个位置卷积了不同的PSF的图像，以作为拍摄图像。

在此，将与被摄体距离d1、d2、……、dn对应的PSF，设为h(x，y，d1)、h(x，y，d2)、……、h(x，y，dn)。例如，在参考图像R(x，y)中存在的被摄体位于距离d1的情况下，拍摄图像I(x，y)相等于将R(x，y)和H(x，y，d1)卷积后的图像。并且，在将R(x，y)和其他的被摄体距离所对应的PSF卷积后的图像，与拍摄图像I(x，y)之间会产生差。因此，依次对将R(x，y)和各个PSF卷积后的多个图像、与拍摄图像的差进行比较，检查与该差成为最小的PSF对应的距离，从而能够求出d(x，y)。具体而言，根据以下的(式9)，求出d(x，y)。

【算式7】

$d(x,y)=\underset{d}{\arg \min }{(I(x,y)-R(x,y)*h(x,y,d))}^2(d=d_1,d_2,...,d_n)$

···(式9)

实际上，为了减少拍摄图像I中包含的噪声的影响，进行将图像划分为块，求出块内的误差的总和，将误差成为最小的距离设为该块整体的距离等的处理，从而能够进行更稳定的距离测量。

接着，对于由本发明的实施例涉及的摄像装置10，根据扩展了景深的两张图像进行距离测量的处理的流程，根据图3、图4以及图5进行说明。而且，以下进行的说明中设想，对于扩展景深的方法，采用在曝光期间中使合焦位置变化的方法。

首先，摄像部11，拍摄分别具有不同的合焦范围的第一图像31a以及第二图像31b。具体而言，在第一图像31a以及第二图像31b各自的曝光中，合焦范围控制部12，如图4示出，使像面位置等速移动。此时，合焦范围控制部12，首先，使像面位置从v1等速移动到v3，并且，使摄像部11拍摄第一图像31a(S101)。接着，合焦范围控制部12，使合焦位置移动规定的距离(S102)。具体而言，合焦范围控制部12，在非曝光期间内，使像面位置从v3等速移动到v4。然后，合焦范围控制部12，使像面位置从v4等速移动到v2，并且，使摄像部11拍摄第二图像31b(S103)。如此被拍摄的第一图像31a，如图5示出，在像面位置v1至v3的第一图像31a的合焦范围内具有均匀的模糊，在像面位置v1至v3以外的位置，具有对应于与第一图像31a的合焦范围相距的距离的模糊。同样，第二图像31b，在像面位置v4至v2的第二图像31b的合焦范围内具有均匀的模糊，在像面位置v4至v2以外的位置，具有对应于与第二图像31b的合焦范围相距的距离的模糊。相对于被摄体距离而均匀的模糊，用于参考图像32的生成，对应于被摄体距离的模糊，用于由DFD的距离测量。

而且，可以将v3以及v4位于v1与v2之间的任意的位置，但是，为了使第一图像31a和第二图像31b的曝光时间相同，优选的是，将v1和v3以及v4和v2的距离设定为相同。通过使第一图像31a和第二图像31b的曝光时间相同，从而能够使第一图像和第二图像中包含的噪声相同程度，因此，能够提高距离计算的精度。

并且，如图4示出，合焦范围控制部12，在包含第一图像31a的曝光期间、非曝光期间以及第二图像31b的曝光期间的期间内，使合焦位置等速移动。换而言之，合焦范围控制部12，在摄像部11开始第一图像31a以及第二图像31b的拍摄后，直到结束为止的期间，使合焦位置等速移动。据此，能够容易进行变更合焦位置的控制。

而且，第一图像31a的曝光期间的合焦位置的移动速度也可以与第二图像31b的曝光期间的合焦位置的移动速度不同。

接着，参考图像生成部13，利用第一图像31a以及第二图像31b生成参考图像32(S104)。在此，根据(式8)，将拍摄图像和PSF反卷积，从而求出参考图像32。本来，为了准确求出参考图像32，需要已经知道被摄体距离d(x，y)，但是，由于第一图像31a以及第二图像31b的景深已经扩展，因此，相对于扩展后的范围的被摄体距离的PSF为一定。

在此，参考图像生成部13，通过取第一图像31a和第二图像31b的平均，从而生成平均图像。对于平均图像，由图4也可知，除了v3至v4的区间以外，在v1至v2的范围内景深大致相同。也就是说，平均图像，与在v1至v2的所有的范围内具有均匀的模糊的图像大致等效。因此，参考图像生成部13，对该平均图像，进行基于对应于均匀的模糊的一种PSF的反卷积运算，从而生成合焦于v1至v2的所有的范围的参考图像32。

而且，在第一图像31a以及第二图像31b的曝光时间或合焦位置的移动速度不同的情况下，取加权平均，以使相对于被摄体距离的权重为一定，从而能够进行与所述同样的处理。

并且，对于反卷积的算法，能够利用如维纳滤波器(Wiener Filter)的已知的方法。

最后，距离测量部14，利用被拍摄的第一图像31a以及第二图像31b、和由步骤S104生成的参考图像32，根据(式9)，计算距离图d(x，y)(S105)。具体而言，距离测量部14，根据(式9)，计算利用了第一图像31a的距离图、和利用了第二图像31b的距离图。接着，距离测量部14，将它们合并，从而计算一个距离图(S106)。对于该合并，能够利用取从各个图像计算出的距离图的单纯平均的方法等。

而且，也可以对(式8)以及(式9)进行傅立叶变换，进行频域上的比较，从而进行距离测量。在频域中，(式8)以及(式9)的卷积运算被变换为乘法，因此，能够进行更高速的距离测量。

如上所示，本实施例涉及的摄像装置10，能够仅利用第一图像31a以及第二图像31b生成参考图像32。如此，摄像装置10，根据少数的图像能够进行高精度的距离测量。进而，通过挪用标准的自动聚焦机构，能够实现曝光中的合焦位置的变化，因此，不需要特殊的机构。

而且，在所述的说明中，说明了利用两张图像的例子，但是，也可以拍摄三张以上的图像。在此情况下，在各个图像的合焦范围间分别设置非合焦范围。而且，通过使各个合焦范围的长度均等，从而能够进行与两张的情况相同的处理。此时，也根据拍摄后的所有的图像的平均图像计算参考图像。

并且，在所述的说明中，说明了利用多个图像的平均图像的情况的例子，但是，即使利用多个图像相加的加法图像，也能够进行同样的处理。

并且，在所述的说明中，将对平均图像进行由PSF的反卷积运算而生成的图像作为参考图像32来利用，但是，只要是在v1至v2的所有的范围具有大致均匀的图像，就能够作为参考图像32来利用。例如，也可以将所述平均图像或加法图像，作为参考图像32来利用。

(模拟评价结果)

以下，说明在合焦范围之间设置间隔的优点。将位置(x，y)的准确的距离的值设为D，将不准确的距离的值设为D′。根据(式9)将参考图像R与h(x，y，d)和h(x，y，D′)分别卷积的结果越大，就越能够容易判定是否为准确的距离。以下，进行模拟验证。

考虑具有图6A示出的纹理、被摄体距离为如图6B的20段的梯状的场景。对于被摄体距离，在图中设想，越暗就越远。

并且，对于以模拟设想的透镜的性能，将焦点距离设为9mm，将F数设为1.4。

接着，说明合焦范围的标记方法。设想，以20位的数字来表现，合焦位置是否对焦于20段的被摄体距离的各个段。例如，在[1，0，1，1，1，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0]的情况下，表示对焦于从远方开始的第1，3，4，5，10段。

首先，图7A示出，根据合焦范围连续的(没有设置间隔的)两张图像，进行由DFD的距离测量的结果。具体而言，该两张图像是，合焦范围为[1，1，1，1，1，1，1，1，1，1，0，0，0，0，0，0，0，0，0，0](第1至10段)的图像、和合焦范围为[0，0，0，0，0，0，0，0，0，0，1，1，1，1，1，1，1，1，1，1](第11至20段)的图像，此时，以以下的(式10)以及(式11)所示的形式，求出被摄体距离。

【算式8】

$d(x,y)=\underset{d}{\arg \min }\left(\right|f^{-1}(\hat{F}{H}_1\left(d\right)-F_1)|+|f^{-1}(\hat{F}{H}_2\left(d\right)-F_2)\left|\right)(d=d_1,d_2,...,d_n)$

···(式10)

$\hat{F}=\frac{F_1{H_1}^{*}\left(d\right)+F_2{H_2}^{*}\left(d\right)}{H_1\left(d\right){H_1}^{*}\left(d\right)+H_2\left(d\right){H_2}^{*}\left(d\right)+\mathrm{\ϵ}}$ (式11)

但是，F1以及F2表示第一张以及第二张的图像的频率成分，H1以及H2表示与第一张以及第二张的合焦范围对应的PSF的频率成分，H1*以及H2*表示H1以及H2的复共轭，ε表示用于防止零除法的微小的值，f-1表示反傅立叶变换。

对此，图7B示出，根据在合焦范围设置间隔的两张图像，同样进行距离测量的结果。具体而言，该两张图像是，合焦范围为[1，1，1，1，1，1，1，1，1，1，0，0，0，0，0，0，0，0，0，0](第1至10段)的图像、和合焦范围为[0，0，0，0，0，0，0，0，0，0，0，1，1，1，1，1，1，1，1，与1](第12至20段)的图像。也就是说，第11段是非合焦范围。

在此，测量结果与图6B越近，就越意味着精度高。在图7A中，尤其在纹理少的右方的中央部分，测量结果与图6B远离。另一方面，在图7B中，与图7A相比，测量结果改进了。

图8A以及图8B是示出，针对合焦范围的间隔的、测量结果与准确数据的差的图。在此，对于测量结果与准确数据的差，利用RMS(Root MeanSquare：均方根)。RMS的值与0越近，就越表示测量精度高。图8A是示出针对合焦范围的间隔的、距离测量结果的RMS的表。图8B是以柱状图来表示RMS的图。

如图8A以及图8B示出，RMS最小的组合是，不合焦于第10至12段的3个段的情况。并且，与在合焦范围不设置间隔时相比，设置间隔时的测量精度高。但是，在间隔过宽的情况下，测量精度降低。也就是说，优选的是，间隔为4段以下。并且，优选的是，间隔为2至4段。

在此，1段相当于像面位置的50μm左右。也就是说，对于与间隔对应的像面位置，优选的是200μm以下(相当于4段)，更优选的是100μm以上(相当于2段)且200μm以下(相当于4段)。

但是，根据透镜不同，模糊的性质也不同，因此，并不一定在所有的情况下该间隔最佳。

而且，在所述说明中，按每一张拍摄用于DFD的图像，但是，若能够同时拍摄两张图像，则拍摄所需要的时间成为一半。以下，说明本实施例的变形例。

<变形例1>

图9A是示出变形例1涉及的摄像部11的结构的图。并且，图9B是示出变形例1的合焦位置的变化的图。

如图9A示出，摄像部11具备，透镜21、两个摄像元件22a以及22b、用于划分光线的光束分离器23、以及用于使光路弯曲的反射镜24。两个摄像元件22a以及22b被配置为，从透镜21的光路长度不同。在图9A中，与摄像元件22a相比，摄像元件22b的光路长度长Δv。光束分离器23，将来自透镜21的光划分给两个摄像元件22a以及22b。

并且，合焦范围控制部12，一边在同一期间内使两个摄像元件22a以及22b的合焦位置同时变化，一边同时使摄像元件22a拍摄第一图像31a，使摄像元件22b拍摄第二图像31b。具体而言，在这样的光学系统中，在曝光中使合焦位置等速变化，并且由两个摄像元件22a以及22b同时拍摄图像的情况下，如图9B示出，由摄像元件22a以及摄像元件22b得到合焦位置总是偏移了Δv的图像。此时，通过将Δv设定为与v1至v4的距离均匀，从而能够同时拍摄在v3至v4的距离不合焦的两张图像。

而且，对于用于使光路弯曲的单元，代替反射镜，而可以利用棱镜。或者，如后述的图10示出的结构，也可以是不具有反射镜以及棱镜的结构。

<变形例2>

图10是示出变形例2涉及的摄像部11的结构的图。图11A至图11B是示出摄像部11的工作的图。图12是示出变形例2的合焦位置的变化的图。

图10示出的摄像部11具备，透镜21、两个摄像元件22a以及22b、光圈25、以及可动反射镜26。可动反射镜26，被配置在透镜21与两个摄像元件22a以及22b的光路的中途，是使来自透镜21的光的光轴方向变化的光轴变化单元。并且，可动反射镜26，作为使来自透镜21的光有选择地射入到两个摄像元件22a以及22b的某一个的选择部来发挥功能。

并且，从透镜21至两个摄像元件22a以及22b的光路长度相同。

可动反射镜26是，例如电流镜（Galvano Mirror）或MEMS反射镜。该可动反射镜26，如图11A以及图11C示出，具有将光线引导到两个摄像元件22a以及22b的某一方的功能。

光圈25，如图11B示出，在可动反射镜26切换光线要到达的摄像元件的工作中遮断光线。

合焦范围控制部12，依次选择两个摄像元件22a以及22b，由可动反射镜26使光有选择地射入到选择出的摄像元件，从而使两个摄像元件各自拍摄两两张图像各自。具体而言，在这样的光学系统中，在曝光中使合焦位置等速变化，并且，由可动反射镜26，将光线分配给摄像元件22a和22b。在合焦位置为v1至v3的区间内光线到达摄像元件22a，在区间v4至v2内，到达摄像元件22b。因此，如图12示出，第一图像31a和第二图像31b成为不连续的合焦范围的图像。

在此，根据利用一个摄像元件拍摄第一图像31a以及第二图像31b的结构，从拍摄第一图像31a后，直到开始第二图像31b的拍摄为止，需要数据的读出期间等。另一方面，根据变形例2的结构，由于不需要这样的期间，因此能够使非曝光期间变短。

而且，变形例2的光路，不仅限于图10示出的结构，只要多个摄像元件的光路长度为一定，就能够利用任意的光路。

(其他的变形例)

而且，根据所述实施例说明了本发明，但是，当然，本发明不仅限于所述的实施例。如下的情况也包含在本发明中。

(1)所述的摄像装置的功能的一部分也可以是，由微处理器、ROM、RAM、硬盘组件、显示器组件、键盘、以及鼠标等构成的计算机系统。所述RAM或硬盘组件存储有计算机程序。所述微处理器根据所述计算机程序进行工作，据此，摄像装置实现其功能。在此，计算机程序是，为了实现规定的功能，组合表示对计算机的命令的多个指令码而构成的。

(2)构成所述的摄像装置的构成要素的一部分或全部也可以，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，在一个芯片上集成多个构成部而制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。所述RAM存储有计算机程序。所述微处理器根据所述计算机程序进行工作，据此，系统LSI实现其功能。

(3)构成所述的摄像装置的构成要素的一部分或全部也可以，由与摄像装置可装卸的IC卡或单体的模块构成。所述IC卡或所述模块是，由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以，包含所述的超多功能LSI。微处理器根据计算机程序进行工作，据此，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以，具有防篡改性。

(4)本发明也可以是所述的方法。并且，可以是由计算机实现这样的方法的计算机程序，也可以是由所述计算机程序而成的数字信号。

并且，本发明也可以，将所述计算机程序或所述数字信号记录到计算机可读取的记录介质，例如，软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD(Blu－ray Disc)、半导体存储器等。并且，也可以是这样的记录介质记录有的所述数字信号。

并且，本发明也可以，将所述计算机程序或所述数字信号，经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等传输。

并且，本发明也可以是，具备微处理器和存储器的计算机系统，所述存储器存储有所述计算机程序，所述微处理器根据所述计算机程序进行工作。

并且，也可以是，将所述程序或所述数字信号记录到所述记录介质来转送，或者，将所述程序或所述数字信号经由所述网络等转送，从而由独立的其他的计算机系统实施。

(5)也可以将所述实施例以及所述变形例分别组合。

并且，在所述利用了的数字都是为了具体说明本发明而示出的例子，本发明不仅限于以例子来示出的数字。

并且，方框图的功能框的划分是一个例子，也可以将多个功能框作为一个功能框来实现、将一个功能框划分为多个、或者将一部分的功能转移到其他的功能框。并且，对具有类似的功能的多个功能框的功能，由单一的硬件或软件，进行并行或时分的处理。

并且，所述的步骤的执行顺序，是为了具体说明本发明而示出的例子，也可以是所述以外的顺序。并且，所述步骤的一部分也可以，与其他的步骤同时(并行)执行。

进而，在不脱离本发明的要旨的范围内所进行的本领域的技术人员能够想到的各种变形例也包含在本发明的范围内。

产业上的可利用性

本发明能够适用于具有透镜系的摄像装置，尤其能够适用于单眼的摄像装置。

符号说明

10摄像装置

11摄像部

12合焦范围控制部

13参考图像生成部

14距离测量部

21透镜

22、22a、22b摄像元件

23光束分离器

24反射镜

25光圈

26可动反射镜

31a第一图像

31b第二图像

32参考图像

Claims (8)

1.一种摄像装置，具备：

摄像部，通过拍摄被摄体，从而生成图像；

合焦范围控制部，一边在分别具有不同的合焦范围的n张图像各自的曝光期间中使所述摄像部的合焦位置变化，一边使所述摄像部拍摄所述n张图像，n为2以上的整数；

参考图像生成部，利用(1)所述n张图像的平均图像、(2)所述n张图像的加法图像或(3)通过对所述n张图像进行反卷积运算而得到的反卷积图像，生成作为模糊的基准的参考图像；以及

距离测量部，根据所述n张图像与所述参考图像的模糊的程度的差，测量与所述被摄体相距的距离，

所述n张图像各自具有的合焦范围相互独立，在各个合焦范围间设置有非合焦的间隔。

2.如权利要求1所述的摄像装置，

所述摄像部具备摄像元件、以及使光聚集于所述摄像元件的透镜，

所述合焦范围控制部，通过使所述摄像元件与所述透镜的距离等速变化，从而使所述合焦位置变化。

3.如权利要求2所述的摄像装置，

所述n张图像的曝光时间相同。

4.如权利要求2所述的摄像装置，

所述合焦范围控制部，在所述摄像部开始所述n张图像的拍摄后到结束为止的期间，使所述摄像元件与所述透镜的距离等速变化。

5.如权利要求1所述的摄像装置，

所述摄像部具备：

透镜；

n个摄像元件，被配置为与所述透镜之间的光路长度互不相同；以及

光束分离器，将来自所述透镜的光划分给所述n个摄像元件的各个摄像元件，

所述合焦范围控制部，一边在同一期间内使所述n个摄像元件的合焦位置同时变化，一边使所述n个摄像元件同时拍摄所述n张图像。

6.如权利要求1所述的摄像装置，

所述摄像部具备：

透镜；

n个摄像元件；以及

选择部，使来自所述透镜的光有选择地射入到所述n个摄像元件的某一个，

所述合焦范围控制部，依次选择所述n个摄像元件，由所述选择部使光有选择地射入到选择出的摄像元件，从而使所述n个摄像元件分别拍摄所述n张图像的各个图像。

7.如权利要求1至6的任一项所述的摄像装置，

所述参考图像生成部，在利用所述n张图像的平均图像生成所述参考图像的情况下，通过对所述平均图像进行基于一种点扩展函数的反卷积运算，从而生成所述参考图像。

8.一种距离测量方法，是摄像装置的距离测量方法，该摄像装置具备摄像部，该摄像部通过拍摄被摄体从而生成图像，所述距离测量方法，包括：

拍摄步骤，一边在分别具有不同的合焦范围的n张图像各自的曝光期间中使所述摄像部的合焦位置变化，一边使所述摄像部拍摄所述n张图像，n为2以上的整数；

参考图像生成步骤，利用(1)所述n张图像的平均图像、(2)所述n张图像的加法图像或(3)通过对所述n张图像进行反卷积运算而得到的反卷积图像，生成作为模糊的基准的参考图像；以及

距离测量步骤，根据所述n张图像与所述参考图像的模糊的程度的差，测量与所述被摄体相距的距离，

所述n张图像各自具有的合焦范围相互独立，在各个合焦范围间设置有非合焦的间隔。