CN102713513B - 摄像装置、摄像方法、程序以及集成电路 - Google Patents

Abstract

不使曝光的光量降低，而解决在与被摄体的被摄体距离对应的像点前后的点扩散函数的判别的暧昧性，并且，根据少的张数的摄像图像进行被摄体距离的估计。摄像装置(10)具备：摄像元件(15)，拍摄图像；光学系统(11)，用于使被摄体像成像于摄像元件(15)；双折射物质(12)，具有双折射的效果；以及距离测量部(18)，根据被拍摄的图像、和在与被摄体的被摄体距离对应的像点的前后因光学元件而发生了变化的点扩散函数，测量从摄像元件到被摄体的距离。

Description

摄像装置、摄像方法、程序以及集成电路

技术领域

本发明涉及利用从单一的视点拍摄的多张图像，测量场景的进深的摄像装置。

背景技术

以往，提出了用于非接触测量三维场景的进深、即从摄像装置到各个被摄体的距离(以下，“被摄体距离”)的各种方法。可以将它大致区别为，照射红外线、超声波、激光等，根据直到其反射波返回为止的时间、反射波的角度等计算被摄体距离的能动方法，以及根据被摄体的像计算被摄体距离的被动方法。特别是，对于相机等的摄像装置，不需要用于照射红外线等的装置的被动方法被广泛采用。

对于被动方法，提出了多个方法，被动方法之一有被称为Depth from Defocus(以下，“DFD”)的方法。对于DFD，根据因被摄体距离而大小以及形状变化的模糊来测量被摄体距离。DFD具有不需要多个相机、根据少数图像能够测量距离等的特征。

以下，简单地说明DFD的原理。

可以说，包含模糊的摄像图像(以下“模糊图像”。)是，针对表示没有由透镜的模糊的状态的全焦点图像，将作为被摄体距离的函数的点扩散函数(PSF：Point Spread Function)卷积后的图像。由于点扩散函数是被摄体距离的函数，因此，根据DFD，通过从模糊图像中检测模糊，从而能够求出被摄体距离。但是，此时，全焦点图像和被摄体距离，成为未知数。针对一张模糊图像，成立与模糊图像、全焦点图像、以及被摄体距离相关的一个算式，因此，重新拍摄聚焦位置不同的模糊图像，获得新的公式。也就是说，获得与聚焦位置不同的多个模糊图像相关的多个所述算式。通过解如此获得多个算式，从而计算出被摄体距离。对于算式的获得方法以及解算式的方法等，存在以专利文献1、非专利文献1为首的、对DFD的 各种建议。

DFD是指，通过对模糊图像中包含的模糊利用点扩散函数，从而求出被摄体距离的方法。然而，在DFD中存在的问题是，由于与被摄体距离对应的像点前后的点扩散函数所示的形状相似，因此，因图像中包含的噪声的影响而不明确，是通过像点后的点扩散函数，还是通过像点前的点扩散函数，其判别变得困难。

针对该问题，例如，通过进一步增加聚焦位置不同的图像的张数，从而能够提高被摄体距离估计的准确率。并且，如非专利文献1，通过使用整体不是点对称的形状的开口，从而能够解决在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别不明确的问题。

(现有技术文献)

(专利文献)

专利文献1：日本专利第2963990号公报

(非专利文献)

非专利文献1：C.Zhou,S.Lin and S.Nayar，“Coded Aperture Pairs for Depth from Defocus”In International Conference on Computer Vision,2009

非专利文献2：“Flexible Depth of Field Photography”，H.Nagahara,S.Kuthirummal,C.Zhou,S.K.Nayer，Euro pean Conference on Computer Vision,2008

发明概要

发明要解决的问题

对于有关在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别的暧昧性的问题的解决方法，举出了增加聚焦位置不同的图像的张数的方法、以及使用整体不是点对称的形状的开口的方法。但是，前者的问题是，由于增加图像张数，因此摄像时间增加。并且，后者的问题是，由于开口的一部分被遮光，因此光量减少，被摄体距离的估计精度降低。

发明内容

于是，鉴于所述的状况，本发明的目的在于提供一种摄像装置，不使曝光的光量降低，而解决在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别的暧昧性，根据少的张数的摄像图像估计被摄体距离。

用于解决问题的手段

为了实现所述的目的，本发明的实施方案之一涉及的摄像装置具备：摄像元件，拍摄图像；光学系统，用于使被摄体像成像于所述摄像元件；光学元件，具有双折射的效果；以及距离测量部，根据被拍摄的所述图像、和在与被摄体的被摄体距离对应的像点的前后因所述光学元件而发生了变化的点扩散函数，测量从所述摄像元件到所述被摄体的距离。

根据本结构，由于具有双折射的效果的光学元件起作用，因此能够使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。据此，能够解决在与被摄体的被摄体距离对应的像点前后的点扩散函数的判别的暧昧性，并且，根据少的张数的摄像图像能够进行被摄体距离的估计。并且，双折射物质，与利用不是点对称的开口的方法相比，由于不需要遮蔽光，因此能够抑制光量的降低。

并且，具有双折射的效果的光学元件，(特别是，若双折射物质为平行板，光学系统为远心光学系统，)与其他的光学元件不同，主要仅影响到像散，因此，即使将在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状，给其他的像差带来的影响也小。因此，不需要重新进行光学系统的设计。也就是说，仅进行向现有的装置的插入、以及执行点扩散函数的处理的装置的追加，就能够实现。

在此，优选的是，所述光学元件的光学轴的方向和所述光学系统的光轴不平行。

在此，优选的是，在所述光学系统的光轴上，所述光学元件被配置在所述摄像元件与所述光学系统之间，与所述光学系统的光轴相交的所述光学元件的平面，相对于所述光学系统的光轴垂直。

在此，优选的是，还具备光学元件移动部，通过使所述光学元件相对于所述光学系统的光轴插入或退出，从而使所述双折射的效果在所述光学系统的光轴上生效或不生效，所述距离测量部，利用在没有基于所述光学 元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量从所述摄像元件到所述被摄体的距离。

在此，优选的是，所述光学元件，能够电性或磁性地使双折射的效果生效或不生效，所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量与所述被摄体相距的距离。

在此，优选的是，还具备参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成参考图像，所述距离测量部，利用通过所述光学元件拍摄的图像、和所述参考图像，估计所述点扩散函数，测量与所述被摄体相距的距离。

在此，优选的是，所述参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成全焦点图像，以作为所述参考图像。

在此，优选的是，所述光学系统，具有像方远心性的光学特性。

在此，也可以是，还具备光线分离部，将光线分离为多个光路，所述摄像元件为多个，多个所述摄像元件分别对应于由所述光线分离部分离的多个光路，拍摄所述被摄体，所述光学元件被配置在由所述光线分离部分离的多个光路之中的至少一个光路上。

而且，本发明，除了能够作为这样的摄像装置来实现以外，还能够作为将摄像装置具备的特征性的构成要素的工作作为步骤的摄像方法来实现。并且，也能够作为用于使计算机执行摄像方法的程序来实现。也能够通过CD-ROM等的存储介质或互联网等传输介质来分发这样的程序。并且，本发明，也能够作为进行各个处理部的处理的集成电路来实现。

发明效果

根据本发明的摄像装置，通过根据至少两张图像，计算图像中包含的点扩散函数所示的形状，从而能够稳定且高精度地求出被摄体距离。

附图说明

图1是示出本发明的实施例1的摄像装置的结构的方框图。

图2是示出透过双折射物质的光线的情况的图。

图3是示出本发明的实施例1的摄像装置的构成要素的配置的图。

图4是示出由双折射物质而在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状变化的情况的图。

在图5中，(a－1)是示出利用双折射物质时的、在图4中的位置(a)的非常光线的点扩散函数所示的形状的图，(b－1)是示出利用双折射物质时的、在图4中的位置(b)的非常光线的点扩散函数的图，(a－2)是示出不利用双折射物质时的、在图4中的位置(a)的点扩散函数的图，(b－2)是示出不利用双折射物质时的、在图4中的位置(b)的点扩散函数的图。

图6是示出利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。

图7是示出不利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。

图8是示出三次相位板的形状的图。

图9是示出本发明的实施例1的摄像装置的工作的流程的图。

图10是示出本发明的实施例2的摄像装置的结构的方框图。

图11是示出本发明的实施例2的摄像装置的构成要素的配置的图。

具体实施方式

以下，参照附图说明本实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立权利要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

(实施例1)

图1是示出本发明的实施例1的摄像装置的结构的方框图。

摄像装置10具备，光学系统11、双折射物质12、执行器13、合焦范 围控制部14、摄像元件15、图像获得部16、参考图像生成部17、以及距离测量部18。

在图1中，光学系统11，使被摄体像成像于摄像元件15。在摄像元件15与光学系统11间的光路上，设置有作为具有双折射的效果的光学元件的双折射物质12。尤其使透过双折射物质12的光线中的非常光线的点扩散函数所示的形状变化，使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。执行器13，使双折射物质12，相对于光路而插入以及退出。由于执行器13进行双折射物质12的相对于光路的插入以及退出，因此，摄像装置10能够得到透过双折射物质12的被摄体像的图像、没有透过双折射物质12的被摄体像的图像。合焦范围控制部14，使光学系统11以及摄像元件15的至少一方移动，控制合焦位置以及景深。具体而言，通过以特定的模式使光学系统11工作、或者切换特定的光学元件等，从而进行控制。摄像元件15，由CCD、CMOS等构成，将在摄像面受光的光，按每个像素转换为电信号，并输出。图像获得部16，从摄像元件15获得多个图像，保持各个图像。参考图像生成部17，根据由合焦范围控制部14的效果得到的、具有不同合焦位置以及景深的多张图像，生成估计了没有由光学系统的模糊的状态的参考图像(全焦点图像)。距离测量部18，利用合焦于任意的距离的模糊图像以及由参考图像生成部17得到的参考图像，根据DFD的方法进行距离测量。

接着，说明由双折射物质12使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状的方法。

双折射物质12是，具有光学异向性的物质，具有根据进入到物质的光线的偏振方向，将光线分离为寻常光线和非常光线的性质。寻常光线和非常光线，取决于双折射物质12固有的光学轴的方向。寻常光线是，具有相对于由光学轴和射入光线而成的平面垂直振动的电场的光线，非常光线是，具有在该平面内振动的电场的光线。而且，光学轴的方向和轴的条数，根据物质的种类而不同，在具有一条光学轴的情况下，表现为单轴，在具有二条的情况下，表现为双轴。在实施例1中，对于双折射物质12，利用作为单轴晶体的方解石(Calcite)。

寻常光线和非常光线的不同是指，在通过双折射物质12中时，寻常光 线，光的速度与光的转播方向无关而一定，对此，非常光线，光的速度因转播方向而不同。进而，对寻常光线的折射率no、和对非常光线的折射率ne不同。根据该对寻常光线的折射率no和对非常光线的折射率ne的不同、以及非常光线的光的速度因转播方向而不同的性质，如图2，在光线射入到双折射物质12的情况下，在寻常光线与非常光线之间产生行进方向的差。因此，产生射入到双折射物质12的光线，在双折射物质12中分裂为寻常光线和非常光线的现象。在图2中，光从双折射物质12的左方，相对于双折射物质12的平面垂直射入。

在本发明中，为了使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状，尤其利用非常光线。

对于光学系统11、双折射物质12、以及摄像元件15的位置关系，如图3示出，成为在光学系统11(透镜)与摄像元件15之间配置双折射物质12的关系。也就是说，三者，按照光学系统11、双折射物质12、摄像元件15的顺序，被排列并配置在光轴上。双折射物质12是指，具有与光轴相交的双折射物质的平面的全部相对于光轴垂直的形状、配置的平行的板。而且，此时的“垂直”也可以，不是严格的垂直。并且，双折射物质12为单轴，在图3中，光学轴的方向为y方向。而且，针对寻常光线和非常光线的折射率的关系为，no＞ne。在此，说明了光学系统11、双折射物质12、以及摄像元件15的位置关系，但是，为了由所述的位置关系得到效果，优选的是，双折射物质12为平行板。若是平行板，则可以具有仅给予主要向像散的影响的性质。在此所述的平行板是指，作为光射入的一侧的第一面与作为光射出的一侧的第二面相互平行的物质。也就是说，第一面以及第二面以外的面的角度以及形状不受限制。

在利用图3的结构的情况下，在与被摄体的被摄体距离对应的像点前后的非常光线的点扩散函数所示的形状产生差，在与被摄体的被摄体距离对应的像点的前方，成为向y方向长的形状，在与被摄体的被摄体距离对应的像点的后方，成为向x方向长的形状。图4是示出，图3的结构的y－z平面、x－z平面的寻常光线以及非常光线的动作的图。根据光的速度因光学轴的方向、和非常光线的转播方向而不同的性质，对于非常光线，在y－z平面，与寻常光线相比，折射更强，与寻常光线相比，与被摄体的 被摄体距离对应的像点的位置更远。另一方面，在x－z平面，对于非常光线，与寻常光线相比，折射角更小，与寻常光线相比，与被摄体的被摄体距离对应的像点的位置更近。若仅考虑非常光线，x－z平面的光线和y－z平面的光线，与被摄体的被摄体距离对应的像点的位置不同。因此，对于非常光线的点扩散函数所示的形状，在图4的与被摄体的被摄体距离对应的像点的前方的(a)的位置，由于y方向的模糊程度比x方向的模糊程度大，因此，成为图5(a－1)所示的向y方向长的形状。另一方面，对于非常光线的点扩散函数所示的形状，在图4的与被摄体的被摄体距离对应的像点的后方的(b)的位置，由于x方向的模糊程度比y方向的模糊程度大，因此，成为图5(b－1)所示的向x方向长的形状。并且，图5(a－2)、(b－2)分别是，在图4(a)、(b)的位置的寻常光线的点扩散函数。也可以说，它们是没有双折射物质12时的光线的点扩散函数。也就是说，可以确认到在没有双折射物质12的情况下，在与被摄体的被摄体距离对应的像点的前后成为类似的形状(例如，此时为圆形)。

由于在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同，因此，解决距离判别的暧昧性，能够唯一地估计被摄体距离。以下，根据图6以及图7说明，利用双折射物质时，有效于被摄体距离的估计。而且，图6是示出利用双折射物质12时的与不同的被摄体位置对应的点扩散函数的图。图7是示出不利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。并且，对于在此所谓的“被摄体距离”，在所述说明中，定义为从摄像装置到被摄体的距离，但可以是从光学系统11到被摄体的距离，也可以是从摄像元件15到被摄体的距离。

在如图6存在双折射物质12的情况下，在考虑与被摄体位置(a)、被摄体位置(b)对应的点扩散函数时，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同，因此，成像于摄像元件15的与位置(a)对应的点扩散函数所示的形状、和与位置(b)对应的点扩散函数所示的形状互不相同。也就是说，根据由摄像元件15得到的点扩散函数，能够唯一地估计被摄体距离。对此，在图7中，由于没有双折射物质12，因此与位置(a)、(b)对应的点扩散函数成为类似的形状，因噪声而不明确，得到的点扩散函数是与位置(a)对应的、还是与位置(b)对应的，难以唯一地估计被摄体 距离。也就是说，在如图6存在双折射物质12的情况下，与如图7没有双折射物质12的情况相比，明确由摄像元件15获得的点扩散函数是与被摄体的被摄体距离对应的像点的前后的哪一方，据此，能够容易唯一地估计被摄体距离，因此是有效的。而且，对于图5至图7的点扩散函数的计算，利用ZEMAX Development Corporation公司制的光学模拟软件“ZEMAX(产品名)”。

实际上，根据图3的结构，同时检测出寻常光线和非常光线。但是，由于包含非常光线，因此，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状仍然不同。

接着，说明参考图像获得方法。

对于实施例1的摄像装置10，利用没有由光学系统11的模糊的参考图像(全焦点图像)。没有由光学系统11的模糊的图像，可以说是景深深的图像。通过将光学系统的光圈变窄，从而能够容易实现将景深变深。但是，根据该方法，摄像元件15受光的光量降低，因此，对此，提出了不将光圈变窄而将景深变深的多个方法。该方法之一是，被称为景深扩展(Extended Depth of Field，以下记作为EDoF)的方法。以下，说明EDoF的具体方法。

最单纯的EDoF方法是，一边逐渐将合焦位置稍微偏移，一边拍摄多个图像，从这样的图像中提取合焦的部分来合成的方法。

对此，在非专利文献2中公开，在曝光中使合焦位置变化，生成不包含模糊的图像的方法。

具体而言，若在曝光中将摄像元件或透镜向光轴方向移动，点扩散函数与被摄体距离无关而成为大致一定，能够得到均匀模糊的图像。针对得到的模糊图像，若利用不受被摄体距离的影响的不变的点扩散函数来进行反卷积，则能够得到以图像整体没有模糊的图像。

另一方面，还提出了利用特殊的光学元件的EDoF的方法。例如，利用所谓三次相位板(Cubic Phase Mask)的光学元件的方法。对于三维相位板的一个例子，图8中示出该形状。若将这样的形状的光学元件安装在光学系统的光圈附近，则能够得到与被摄体距离无关而具有大致一定的模糊的图像。与非专利文献1同样，若利用不受被摄体距离的影响的不变的点 扩散函数来进行反卷积，则能够得到以图像整体没有模糊的图像。除此以外，可以举出利用多焦点透镜的方法等。

而且，在以下进行的说明中设想，对于将景深扩展来得到参考图像的方法，利用在曝光时间中使合焦位置变化的方法。

接着，说明计算被摄体距离的处理的流程。图9是示出计算被摄体距离的处理的流程的一个例子的流程图。该处理是指，在预先决定的n阶段的被摄体距离d1、d2、……、dn中，根据成为对象的被摄体被拍摄的图像，计算被摄体距离与哪个距离最近的处理。

首先，拍摄并获得透过双折射物质而得到的被摄体的图像I和参考图像I′(步骤S101，S102)。而且，对于步骤S101和S102的顺序，也可以相反。但是，在此获得的参考图像是，拍摄没有透过双折射物质12的被摄体的图像。

在此，在图像I和参考图像I′间，成立以下的算式1所示的关系。

【算式1】

I(x，y)＝I′(x，y)*h(x，y，d(x，y))···(式1) 

在此，h表示图像中的位置(x，y)的点扩散函数，d表示(x，y)表示位置(x，y)的被摄体距离。并且，式中的*表示卷积运算。根据被摄体距离，点扩散函数不同，因此，在多个被摄体在不同的被摄体距离存在的情况下，得到将图像的每个位置的被摄体距离不同的点扩散函数与没有模糊的图像卷积了的图像，以作为图像I。

接着，在计数器i代入初始值1(步骤103)，按图像的每个像素，计算针对第i阶段的被摄体距离的误差函数C(x，y，di)(步骤S104)。误差函数，由以下的算式2表示。

【算式2】

C(x，y，d_i)＝|I(x，y)-I′(x，y)*h(x，y，d_i)|(i＝1，2，…，n)····(式2) 

在此，h(x，y，di)表示与被摄体距离di对应的点扩散函数。与被摄体距离di(i＝1～n：n为2以上的自然数)对应的点扩散函数，由摄像装置10的例如存储器等预先存储。式2相当于，取将没有模糊的参考图像I′和第i 阶段的被摄体距离di所对应的点扩散函数h(x，y，di)卷积后的图像、与实际的摄像图像I之间的差。在拍摄的被摄体在第i阶段的被摄体距离上实际存在的情况下，作为该差的误差函数C(x，y，di)成为最小。

而且，在式2中，误差函数C(x，y，di)是，将各个像素间的第i阶段的被摄体距离di所对应的点扩散函数h(x，y，di)和没有模糊的图像卷积后的图像、与实际的摄像图像I之间的差的绝对值，但也可以根据表示L2范数等距离的任意的形式，决定误差函数。

计算误差函数后，判定计数器i的值是否到达n(步骤S105)，在没有到达的情况下，将计数器i的值增大1(步骤S106)，反复进行，直到计数器i的值到达n为止。

计算第1阶段至第n阶段的误差函数的全部后，计算被摄体距离(步骤S107)。位置(x，y)的被摄体距离d(x，y)，由以下的式3表示。

【算式3】

$d(x,y)=\underset{\mathrm{di}}{\arg \min }C(x,y,d_i)$ ····(式3) 

实际上，为了减少摄像图像I中包含的噪声的影响，进行将图像划分为多个块，求出块内的误差函数的总和，将误差函数成为最小的被摄体距离设为该块整体的拍摄的被摄体的被摄体距离等的处理，从而能够进行更稳定的距离测量。

根据这样的结构，由于在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同，因此能够唯一地进行被摄体距离的估计。

在本实施例中，在图3中，将双折射物质12的光学轴的方向设为朝上，但是，光学轴的朝向，不仅限于朝上，而可以是任意的朝向，即使是任意的朝向，也能够使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。若使光学轴的方向变化，则得到的点扩散函数所示的形状也变化。即使光学轴朝向哪个方向，寻常光线的与被摄体的被摄体距离对应的像点、和非常光线的与被摄体的被摄体距离对应的像点的位置也不同，但是，仅在光学轴和光轴平行的情况下，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的不同变小。因此，优选的是，设置双折射物质12，以使双折射物质12的光学轴的方向和光轴 不平行。

并且，本实施例的记载中，对于双折射物质12，利用作为单轴晶体的方解石(Calcite)，但也可以利用其他的具有双折射的效果的物质。对于光学轴，除了方向以外，还可以将轴的数量设为控制点扩散函数所示的形状的要素，除了单轴的双折射物质以外，由双轴的物质也能够得到效果。通过将单轴、双轴、或这两者的双折射物质排列多个，从而也能够扩大变化的幅度。进而，根据双折射物质的厚度、种类，也能够使得到的点扩散函数所示的形状，在与被摄体的被摄体距离对应的像点前后变化。

而且，在本实施例中，透过双折射物质12的被摄体像和没有透过的被摄体像的图像的获得，通过执行器进行的双折射物质的移动来实现，但是，还存在其他的方法，总之，通过由物理驱动的双折射物质本身的移动在光路上进出的方法、以及使用能够控制双折射的效果的光学元件的方法能够实现。

对于前者，可以举出，由执行器的直线移动以及在与光轴垂直的状态下使双折射物质的板旋转，从而产生在光路上存在双折射物质的情况和没有双折射物质的情况的方法等。对于后者，例如，可以举出，能够进行像电光效应那样的由电气的控制的元件、以及能够进行由磁气的控制的元件等。在这样的情况下，根据电压以及磁场的施加的有无的切换，能够控制双折射的效果的有无。并且，也可以是，不采用双折射物质，而采用能够对双折射物质的效果进行电性以及磁性控制的例如液晶等。

对于双折射物质的位置，除了图3的位置以外，还由任意的位置能够得到使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。但是，若像图3那样紧接摄像元件之前配置，则能够得到大的效果，因此是优选的。

而且，对于光学系统11，优选的是，所有的像高的点扩散函数所示的形状成为同一的光学系统，尤其优选的是，像方远心的光学系统。像方远心的光学系统是指，在像方，全视角的主光线和光轴成为平行的光学系统。在图3的结构中，在光学系统11是像方远心光学系统的情况下，即使在光路上配置双折射物质12，所有的像高的点扩散函数所示的形状也成为同一。也就是说，在光学系统具有所有的像高的点扩散函数所示的形状成为同一 的性质的情况下，即使将双折射物质12配置在光路上，也能够保存该性质。因此，在此情况下，不需要包括双折射物质的光学系统的再设计。在具有所有的像高的点扩散函数所示的形状成为同一的性质的情况下，用于测距的运算的点扩散函数为一个即可，能够抑制运算所需要的成本。

(实施例2)

本发明的实施例2涉及的摄像装置19具有，分离寻常光线和非常光线，仅获得各个光线的图像的结构。图10是示出本发明的实施例2的摄像装置19的结构的方框图。在图10中，对于与图1的摄像装置10相同的构成要素利用采用相同的符号，省略一部分的说明。摄像装置19具备，光学系统11、光线分离部20、双折射物质12、合焦范围控制部14、摄像元件A21、摄像元件B22、图像获得部A23、图像获得部B24、参考图像生成部17、以及距离测量部18。

在图10中，光学系统11，将被摄体像成像于摄像元件A21和摄像元件B22。光线分离部20，以任意的光量比，在空间上分离光线。摄像元件A21以及摄像元件B22，由CCD、CMOS等构成，将在摄像面受光的光，按每个像素转换为电信号，并输出。并且，由光线分离部20分离后的光线的一方的光线，由双折射物质12发生点扩散函数所示的形状的变化，由摄像元件A21受光。摄像元件B22，受光没有透过双折射物质12的、没有受到由双折射物质12的效果的、由光线分离部20分离后的另一方的光线。图像获得部A23以及图像获得部B24分别，从摄像元件A21以及摄像元件B22获得图像，保存获得的图像。

具体而言，具有像图11那样的结构，根据双折射物质12，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同的模糊图像，由摄像元件A21获得。另一方，对于不通过双折射物质12的光线，与实施例1同样，合焦位置以及景深，由合焦范围控制部14控制，并且，由摄像元件B22拍摄。而且，参考图像生成部17，根据由摄像元件B22获得的图像，生成参考图像。由摄像元件A21得到的模糊图像、以及根据由摄像元件B22拍摄的图像而生成的参考图像，被进行与图9同样的处理，从而利用于被摄体距离的计算。在实施例2中，由摄像元件A21得到的模糊图像、由参考图像生成部17得到的参考图像，分别与图9的图像I、参 考图像I′对应。进而，根据与式1至式3相同的运算，能够计算被摄体距离。

对于用于光线的分离的光线分离部20，可以举出无偏光光束分离器以及偏光光束分离器等。在无偏光光束分离器的情况下，得到的图像I，与实施例1同样，成为包含非常光线和寻常光线的双方的图像。在利用偏光光束分离器的情况下，也能够控制与双折射物质的光学轴分离的偏光的方向，使图像I中包含的光线仅成为非常光线。而且，通过使图像I中包含的光线仅成为非常光线，从而能够拍摄不包含由寻常光线的噪声的图像，因此，能够得到用于导出被摄体距离的精度更高的图像。并且，在利用偏光光束分离器的情况下，也可以将双折射物质配置在偏光光束分离器与光学系统之间。在此情况下，需要选择偏振方向，以仅使寻常光线到达摄像元件B22。

而且，对于仅包含非常光线的图像，虽然光量降低，但是，利用偏光片等仅使特定的偏光通过的光学元件，仅使非常光线透过，从而也能够得到。

根据这样的结构，在同一时刻能够获得图像I以及参考图像I′，因此，在两图像中不产生模糊以外的差，能够更准确地求出被摄体距离。在实施例1中，由于不是同时获得图像I以及参考图像I′的结构，因此，根据被摄体以及摄像装置本身的运动，与摄像装置对应的被摄体的相对位置变化，在两图像中产生模糊以外的差，距离测量的精度容易降低。但是，在对一张图像的摄像时间相同的情况下，不分离光线的实施例1的射入到一张摄像元件的光量较多，因此，信噪比(S／N比)更高。

在实施例1中，以时分来获得参考图像I′和图像I，对此，在实施例2中可以说，以空间划分来获得图像I和参考图像I′。在实施例2中，由于划分光线，与图像I以及参考图像I′分别对应的光量降低，但是，若合并两图像的光量，则光量没有降低，没有损失。并且，在两图像的获得所需要的时间为同一的情况下，在实施例1和实施例2中，总光量为同一。

而且，在所述实施例1以及实施例2中，为了得到被摄体的被摄体距离，将全焦点图像作为参考图像来利用，但不仅限于此，也可以将模糊一样的图像作为参考图像来利用，从而导出被摄体的被摄体距离。

而且，所述实施例1以及实施例2的方框图(图1，图10等)的各个功 能框内的作为双折射效果赋予部的执行器13的控制部、作为摄像部的图像获得部16、以及距离测量部18，以作为典型的集成电路的LSI来实现。它们既可以单独地单芯片化，也可以包含一部分或全部而单芯片化。例如，也可以将存储器以外的功能框单芯片化。

在此，作为LSI，但也可以根据集成度不同被称为IC、系统LSI、超LSI、特大LSI。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

并且，各个功能框中也可以，仅将存储成为处理的对象的数据的单元另外构成，而非单芯片化。

工业实用性

本发明涉及的摄像装置，根据从单一的视点拍摄的图像能够进行距离测量，因此，能够广泛地应用于摄像设备。

符号说明

10撮像装置

11光学系统

12双折射物质

13执行器

14合焦范围控制部

15摄像元件

16图像获得部

17参考图像生成部

18距离测量部

19摄像装置

20光线分离部

21摄像元件A

22摄像元件B

23图像获得部A

24图像获得部B

Claims (12)

1.一种摄像装置，具备：

摄像元件，拍摄图像；

光学系统，用于使被摄体像成像于所述摄像元件；

光学元件，具有双折射的效果；以及

距离测量部，根据被拍摄的所述图像、和在与被摄体的被摄体距离对应的像点的前后因所述光学元件而发生了变化的点扩散函数，测量从所述摄像元件到所述被摄体的距离。

2.如权利要求1所述的摄像装置，

所述光学元件的光学轴的方向和所述光学系统的光轴不平行。

3.如权利要求2所述的摄像装置，

在所述光学系统的光轴上，所述光学元件被配置在所述摄像元件与所述光学系统之间，与所述光学系统的光轴相交的所述光学元件的平面，相对于所述光学系统的光轴垂直。

4.如权利要求3所述的摄像装置，

还具备光学元件移动部，通过使所述光学元件相对于所述光学系统的光轴插入或退出，从而使所述双折射的效果在所述光学系统的光轴上生效或不生效，

所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量从所述摄像元件到所述被摄体的距离。

5.如权利要求3所述的摄像装置，

所述光学元件，能够电性或磁性地使双折射的效果生效或不生效，

所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量与所述被摄体相距的距离。

6.如权利要求1至权利要求5的任一项所述的摄像装置，

还具备参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成参考图像，

所述距离测量部，利用通过所述光学元件拍摄的图像、和所述参考图像，估计所述点扩散函数，测量与所述被摄体相距的距离。

7.如权利要求6所述的摄像装置，

所述参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成全焦点图像，以作为所述参考图像。

8.如权利要求1至权利要求5的任一项所述的摄像装置，

所述光学系统，具有像方远心性的光学特性。

9.如权利要求1至权利要求5的任一项所述的摄像装置，

还具备光线分离部，将光线分离为多个光路，

所述摄像元件为多个，多个所述摄像元件分别对应于由所述光线分离部分离的多个光路，拍摄所述被摄体，

所述光学元件被配置在由所述光线分离部分离的多个光路之中的至少一个光路上。

10.如权利要求1至权利要求5的任一项所述的摄像装置，

所述光学元件为多个。

11.一种摄像方法，是摄像装置的摄像方法，所述摄像装置具备拍摄图像的摄像元件、以及用于使被摄体像成像于所述摄像元件的光学系统，所述摄像方法包括：

双折射效果赋予步骤，将双折射的效果赋予在所述光学系统的光轴上，所述双折射的效果是指，使由因所述光学系统而决定的点扩散函数所示的形状，在与被摄体的被摄体距离对应的像点前后的位置上成为不同的形状的效果；

拍摄步骤，在所述光学系统的光轴上赋予了所述双折射的效果的状态下，由所述摄像元件拍摄图像；以及

距离测量步骤，根据由所述摄像元件拍摄的图像、和所述点扩散函数，测量与所述被摄体相距的距离。

12.一种集成电路，是摄像装置的集成电路，所述摄像装置具备拍摄图像的摄像元件、以及用于使被摄体像成像于所述摄像元件的光学系统，所述集成电路具备：

双折射效果赋予部，将双折射的效果赋予在所述光学系统的光轴上，所述双折射的效果是指，使由因所述光学系统而决定的点扩散函数所示的形状，在与被摄体的被摄体距离对应的像点前后的位置上成为不同的形状的效果；

摄像部，在所述光学系统的光轴上赋予了所述双折射的效果的状态下，由所述摄像元件拍摄图像；以及

距离测量部，根据由所述摄像元件拍摄的图像、和所述点扩散函数，测量与所述被摄体相距的距离。