CN102472620A - 图像处理装置及图像处理方法 - Google Patents

Abstract

图像处理装置(10)具备：摄像部(11)，拍摄图像；对焦范围控制部(12)，对摄像部(11)的摄像元件或聚焦透镜进行控制，由此使拍摄的图像的对焦位置及景深扩展；以及距离计测部(14)，根据由受到对焦范围控制部(12)的控制的摄像部(11)拍摄的、分别具有不同的对焦范围的n张(其中，n≥2)图像的模糊的程度，计测到被摄体的距离。

Description

图像处理装置及图像处理方法

技术领域

本发明特别涉及基于从单一的视点拍摄的多张图像计测场景的进深的图像处理装置及图像处理方法。

背景技术

提出了用来以非接触的方式计测某3维场景的进深、即到各被摄体的距离的各种方法。这些方法大致分为主动的方法和被动的方法。主动的方法是将红外线、超声波或激光等照射在被摄体上、基于到反射波返回来为止的时间或反射波的角度等计算到被摄体的距离的方法。被动的方法是基于被摄体的像计算距离的方法。尤其在使用摄像机计测到被摄体的距离的情况下，广泛地使用不需要用来照射红外线等的装置的被动的方法。

被动的方法也提出了许多方法，作为其中之一，提出了基于因焦点的变化而产生的模糊来计测距离的称作Depth from Defocus(散焦测距，以下记为DFD)的方法。DFD具有不需要多个摄像机、能够根据少量的图像进行距离计测等的特征。

DFD是利用图像的模糊来计测距离的方法，但是存在很难根据拍摄的图像自身判断在拍摄的图像中存在的模糊是因透镜的焦点的变化而产生的、还是表示没有由透镜引起的模糊的状态的原图像原本具有模糊的纹理的问题。

对此，在专利文献1所记载的方法中，通过将多个摄像图像间的空间频谱之比和与场景的进深对应的模糊的空间频谱之比较，进行不依存于原图像的频谱成分的距离计测。

另一方面，在专利文献2所记载的方法中，一边改变焦点一边拍摄许多图像，并仅将它们的对焦部分取出，由此得到相当于原图像的参照图像。构成对该参照图像卷积各种模糊的尺度空间(Scale Space)，通过在尺度空间上将参照图像与摄像图像比较，来进行距离计测。即，通过将参照图像的模糊的程度与摄像图像的模糊的程度比较来进行距离计测。

先行技术文献

专利文献

专利文献1：日本专利第2963990号公报

专利文献2：美国专利申请公开第2007/0019883号说明书

非专利文献

非专利文献1：H.Nagahara，S.Kuthirummal，C.Zhou，S.K.Nayer，“Flexible Depth of Field Photography”，European Conference on ComputerVision(ECCV)，Oct，2008

发明概要

发明要解决的问题

但是，在专利文献1所记载的方法中，为了使计测变得容易而对光学系统的开口部插入特殊的构造的掩模，进行在模糊的空间频谱中周期性地出现零点等的构造化。但是，因此而存在入射光量减少的问题，为了补偿它，需要提高摄像元件的灵敏度或延长曝光时间。但是，前者导致摄像图像的噪声的增大，后者导致被摄体变模糊，因此被摄体的波谱成分变得紊乱，距离计测的精度下降。

另一方面，在专利文献2所记载的方法中，只要不将光圈大幅缩小，则图像的景深的幅度比进行距离计测的范围非常窄，所以为了得到参照图像需要拍摄很多图像。这抵消了DFD的能够通过少量的图像进行距离计测的优点。除此以外，通过将光圈大幅缩小，能够从较少的张数的图像得到参照图像，但由于入射光量下降，所以存在与专利文献1所记载的方法相同的问题。

发明内容

本发明是鉴于上述问题而做出的，目的是提供一种能够从较少的张数的摄像图像稳定地进行距离计测的图像处理装置及图像处理方法。

有关本发明的一技术方案的图像处理装置，具备：摄像部，摄像图像；对焦范围控制部，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的n张(其中，n≥2)图像的模糊的程度，计测到被摄体的距离。

根据这样的结构，由于不需要向光路上插入掩模或缩小光圈，不会导致光量的下降，所以能够根据较少的张数的摄像图像稳定地进行距离计测。

此外，其特征也可以是，上述对焦范围控制部对在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。

根据这样的结构，景深扩展移动焦点的量，能够以较少的张数进行较大的范围的距离计测。

此外，也可以是，上述摄像部包括位于从上述被摄体到上述摄像部的光路上的、对光线的波阵面进行调制的波阵面调制元件、或者由上述摄像部摄像的上述图像的对焦范围大致连续的具有多个焦点的多焦点透镜。

根据这样的结构，不移动焦点就能够得到同样的效果。

此外，其特征也可以是，上述对焦范围控制部通过在上述摄像部的曝光中使焦点位置阶段性地变化来进行控制，以得到不连续的对焦范围。

根据这样的结构，具有不连续的对焦范围的图像的模糊的变化模式变得特殊，能够具有通过DFD算法更容易进行距离计测的模糊的形状。

此外，其特征也可以是，上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围不连续。

根据这样的结构，能够具有不移动焦点而通过DFD算法更容易进行距离计测的模糊的形状。

此外，其特征也可以是，上述摄像部具备：n个摄像元件，配置成距离上述被摄体的光路长度分别不同；以及分束器，将光线分割为n个，并将分割后的光线分别向上述n个摄像元件导引；上述对焦范围控制部对在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。

根据这样的结构，能够将对焦范围相互不同的n张图像同时摄像，能够将处理整体所花费的时间缩短。此外，由于各图像的景深被连续地扩展，所以能够以较少的张数进行较大的范围的距离计测。

此外，其特征也可以是，上述摄像部具备：n个摄像元件；光轴变化机构，使光线的光轴方向变化；以及驱动部，驱动上述光轴变化机构，由此使上述光轴方向朝向上述摄像元件中的某1个；上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化；上述驱动部按照规定的时间变化模式，使上述光轴变化机构改变上述光轴方向。

根据这样的结构，能够将对焦范围相互不同的n张图像同时摄像，能够将处理整体所花费的时间缩短。此外，由于各图像具有不连续的对焦范围，所以能够具有通过DFD算法更容易进行距离计测的模糊的形状。

此外，也可以是，上述图像处理装置还具备参照图像生成部，该参照图像生成部根据由上述摄像部摄像的上述n张图像的平均图像，生成参照图像。

另外，本发明不仅能够作为具备这样的特征性的处理部的图像处理装置实现，还能够作为以在图像处理装置中包含的特征性的处理部执行的处理为步骤的图像处理方法实现。此外，也可以作为使计算机执行在图像处理方法中包含的特征性的步骤的程序实现。并且，当然能够使这样的程序经由CD-ROM(Compact Disc-Read Only Memory)等的计算机可读取的非易失性的记录媒体或因特网等的通信网络流通。

发明效果

根据本发明，通过对焦范围控制部能够不用将光圈缩小就得到对焦范围比通常大的图像，所以能够根据较少的张数的图像得到参照图像。除此以外，由于各图像具有的对焦范围相互大致独立，所以将各图像平均的图像相对于到被摄体的距离具有大致均匀的模糊。因而，能够通过简单的方法得到精度高的参照图像。

附图说明

图1是表示有关本发明的实施方式的图像处理装置的结构的图。

图2是示意地表示使焦点变化时的聚光的状况的图。

图3是表示3次相位板的形状的图。

图4是表示基于3次相位板进行的聚光的状况的图。

图5是表示图1的图像处理装置的动作的流程的流程图。

图6是表示使焦点位置等速变化的状况的曲线图。

图7是示意地表示将不同特性的光学元件切换的机构的图。

图8是表示使焦点位置阶段性变化的状况的曲线图。

图9A是表示场景的纹理的图。

图9B是表示场景的被摄体距离的图。

图10A是表示根据具有连续的对焦范围的2张图像进行距离计测的结果的图。

图10B是表示根据具有不连续的对焦范围的2张图像进行距离计测的结果的图。

图11A是示意地表示变形例1的光路的例子的图。

图11B是表示在变形例1中使焦点位置等速变化的状况的曲线图。

图12是示意地表示变形例1的光路的另一例的图。

图13A是示意地表示变形例2的光路的例子的图。

图13B是示意地表示通过反射镜向摄像元件1导引光线的状况的图。

图13C是示意地表示通过反射镜向摄像元件2导引光线的状况的图。

图14是表示在变形例2中使焦点位置等速变化的状况的曲线图。

具体实施方式

以下，举例说明本发明的实施方式。

图1是表示有关本发明的实施方式的图像处理装置的结构的图。图像处理装置10具备摄像部11、对焦范围控制部12、参照图像生成部13及距离计测部14。

摄像部11包括作为装入有将光线聚集的透镜的光学系统的透镜单元、CCD(Charge Coupled Device：电荷耦合设备)传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等的摄像元件而构成，具有拍摄被摄体的像并输出图像的功能。

对焦范围控制部12具有控制摄像部11具有的透镜单元、使由摄像部11拍摄的图像的对焦位置及景深扩展的功能。具体而言，通过使装入在透镜单元中的自动对焦机构以指定的模式动作、或者切换指定的光学元件等而进行控制。参照图像生成部13根据通过对焦范围控制部12的作用而具有不同的对焦位置及景深的多张图像，生成推测出没有透镜带来的模糊的状态的参照图像。

距离计测部14根据多张图像的模糊的程度计测到被摄体的距离。即，距离计测部14使用所拍摄的具有不同的对焦位置及景深的多张图像及参照图像，基于DFD的方法进行距离计测。

接着，说明对拍摄的图像进行的景深扩展的方法。

一般的景深的幅度如以下这样定义。首先，对超焦距(Hyper focalDistance)进行说明。所谓超焦距，是在将焦点对准于该距离的情况下、判断为从该距离起向后侧(远离透镜侧)到无限远都对焦的距离，当设透镜的焦距为f、透镜的F数(焦距比数)为F、表示能够检测的最小的模糊的容许弥散圆的大小为c时，超焦距h用以下的式1近似。

[数式1]

$h=\frac{f^2}{\mathrm{Fc}}$ (式1)

关于将焦点对准于距离s时的景深，当设与s相比前侧(与透镜近侧)的景深为Dn、后侧的景深为Df时，用以下的式2表示。

[数式2]

$\left\{\begin{array}{c}{D}_n=\frac{{(s-f)}^2}{h+s-2f}\\ D_f=\frac{{(s-f)}^2}{h-s}\end{array}\right.$ (式2)

根据以上的式子，在将焦距固定的情况下，景深的幅度仅能够通过光圈来变更。

针对于此，提出了不将光圈缩小地扩大景深的幅度的各种方法，称作景深扩展(Extended Depth of Field，以下记作EDoF)。以下，对EDoF的具体的方法进行说明。

最简单的EDoF方法是一边将对焦位置一点点稍稍错移一边拍摄多个图像、从这些图像中抽取对焦的部分并合成的方法，在专利文献2中也使用。

相对于此，在非专利文献1中公开了通过在曝光中使焦点变化、实现与将许多图像合成同样的效果的方法。

图2是示意地表示使焦点变化时的聚光的状况的图。如图2所示，设对于被摄体位置a1对焦的摄像元件的位置为b1，对于被摄体位置a2对焦的摄像元件的位置为b2。根据透镜的公式，对于a1与a2之间的距离对焦的摄像元件的位置必定处于b1与b2之间。因而，如果在曝光中摄像元件从b1移动到b2，则对于a1，从开始对焦的地方起，模糊逐渐变大，在图像上这些模糊累积而重叠拍摄。另一方面，对于a2则相反，从模糊较大的地方起逐渐对焦，在图像上这些模糊依然重叠拍摄。

使用数式更详细地对此说明。设表示光学系统的模糊的状态的点扩散函数(Point Spread Function，以下记作PSF)的形状用以下的式3表示。

[数式3]

$\mathrm{PSF}(r,u,\mathrm{\Δv})=\frac{2}{\mathrm{\π}{\left(\mathrm{gb}\right)}^2}\exp (-\frac{2r^2}{{\left(\mathrm{gb}\right)}^2})$

(式3)

这里， $b=\frac{a}{v}\left|\mathrm{\Δv}\right|$

其中，f表示光学系统的焦距，a表示光学系统的开口部的直径，u表示到被摄体的距离(以下，称作“被摄体距离”)，v表示由透镜的公式1/f＝1/u+1/v决定的像面位置，Δv表示相对于v的像面的移动量，r表示相对于模糊的中心的距离，g表示常数。

式3是像面的移动量Δv的函数，所以在Δv按照时刻t的函数V(t)从时刻0到T变化的情况下，最终得到的PSF可以如以下的式4那样定义。

[数式4]

$\mathrm{IPSF}(r,u)=\underset{0}{\overset{T}{\∫}}\mathrm{PSF}(r,u,V\left(t\right))\mathrm{dt}$ (式4)

这里，如果V(t)由等速运动、即V(t)＝v0+st(s是规定的常数)表示，则将式4解为如以下的式5。

[数式5]

$\mathrm{IPSF}(r,u)=\frac{\mathrm{uf}}{(u-f)\sqrt{2\mathrm{\π}}\mathrm{rasT}}(\mathrm{erfc}\left(\frac{r}{\sqrt{2}\mathrm{gV}\left(0\right)}\right)+\mathrm{erfc}\left(\frac{r}{\sqrt{2}\mathrm{gV}\left(T\right)}\right))$ (式5)

(如果u＞＞f)

这里，erfc(x)是余误差函数(Complementary Error Function)。如果设u＞＞f，即被摄体距离比光学系统的焦距非常大，则能够认为式5不论u如何都是一定的值。即，意味着能够得到不论被摄体距离如何都具有一定的模糊的图像。通过使像面位置的起点v+V(0)及终点v+V(T)变化，能够使模糊为一定的被摄体距离的范围变化。

另一方面，还提出了使用特殊的光学元件将景深扩展的方法。例如，作为将光线的波阵面调制的波阵面调制元件的一种的称作3次相位板(Cubic Phase Mask)的光学元件呈如图3所示的形状。即，其形状能够用z＝α(x³+y³)表示。这里，α是用来确定3次相位板的形状的系数。如果这样的形状的光学元件由摄像部11包含，且组装在从被摄体到摄像部11的光路上、即光学系统的光圈附近，则如图4所示，曲率因光线的通过位置而大为不同，因此光线的到达位置分散。3次相位板具有光线的分散的方式相对于被摄体距离大致一定的特性，由此，能够得到不论被摄体距离如何都具有大致一定的模糊的图像。模糊为一定的被摄体距离的范围根据相位板(波阵面调制元件)的形状而变化。

作为该其他光学元件的例子，可以举出构成为使用折射率不均匀的折射率分布透镜(Gradient index lens)等使得对焦范围大致连续的多焦点透镜等。多焦点透镜也由摄像部11包含，被配置在从被摄体到摄像部11的光路上。

接着，对使用参照图像的DFD的方法进行说明。

在参照图像R与摄像图像I之间，成立以下的式6所示的关系。

[数式6]

I(x，y)＝R(x，y)*h(x，y，d(x，y))(式6)

这里，h表示图像上的位置(x，y)的PSF，被摄体距离d(x，y)表示位置(x，y)的被摄体距离。此外，式中的*表示卷积运算。例如，如式3所示，PSF根据被摄体距离而不同，所以在存在位于不同的多个距离的被摄体的情况下，作为摄像图像而得到按照图像的位置而卷积了不同的PSF的图像。

这里，设与被摄体距离d1，d2，...，dn对应的PSF为h(x，y，d1)，h(x，y，d2)，...，h(x，y，dh)。例如，在存在于参照图像R(x，y)中的被摄体位于距离d1的情况下，摄像图像I(x，y)等于对R(x，y)卷积了h(x，y，d1)而得到的图像，在对R(x，y)卷积了与其他被摄体距离对应的PSF的情况下发生与观测图像的差。因此，只要将对R(x，y)卷积了各PSF而得到的图像与摄像图像的差依次比较，并检查与其差最小的PSF对应的距离，就能够求出被摄体距离d(x，y)。具体而言，通过以下的式7求出。

[数式7]

$d(x,y)=\underset{d}{\arg }\min {(I(x,y)-R(x,y)*h(x,y,d))}^2,(d=d_1,d_2,...,d_n)$ (式7)

这里，右边是括号内的值最小时的d的值。

为了降低实际包含在摄像图像I中的噪声的影响，进行将图像划分为块、求出块内的误差的总和、将误差最小的距离设为该块整体的距离等的处理，由此能够更稳定地进行距离计测。

接着，基于图5说明通过有关本发明的实施方式的图像处理装置根据将景深扩展后的2张图像进行距离计测的处理的流程。另外，以下假设作为将景深扩展的方法而使用在曝光时间中使焦点变化的方法来进行说明。

首先，通过摄像部11拍摄具有分别不同的对焦范围的第1图像及第2图像(步骤S101及S102)。具体而言，在第1、第2图像的曝光中，通过对焦范围控制部12使焦点位置如图6所示地等速移动。焦点位置的移动既可以通过使摄像元件移动来进行，也可以通过使包含在透镜单元中的透镜(聚焦透镜)的位置移动来进行。这样拍摄的第1图像在对应于像面位置v1到v3的范围中具有均匀的模糊，第2图像在对应于像面位置v3到v2的范围中具有均匀的模糊，在其以外的范围中具有按照距离而不同的模糊。相对于被摄体距离为均匀的模糊有用于参照图像的生成，按照被摄体距离而不同的模糊有用于基于DFD的距离计测。

另外，v3可以设定在v1与v2之间的任意的位置，但为了使第1图像和第2图像的曝光时间为一定，v3优选设定在v1与v2的中间。

此外，第1图像的曝光中的焦点的移动速度和第2图像的曝光中的焦点的移动速度也可以是不同的值。

接着，参照图像生成部13根据第1、第2图像生成参照图像(步骤S103)。由式6，参照图像通过对摄像图像将PSF逆卷积而求出。本来，为了正确地求出参照图像而需要被摄体距离d(x，y)是已知的，但由于第1、第2图像的景深被扩展，所以对于扩展的范围的被摄体距离，PSF是一定的。

这里，取第1图像和第2图像的平均，生成平均图像。平均图像由图6也可知，是在v1到v2的全部的范围中扩展了景深而得到的图像。因而，通过在逆卷积运算中使用与扩展的景深对应的1种PSF，能够得到参照图像。

另外，在第1图像和第2图像的曝光时间或焦点的移动速度不同的情况下，取加权平均以使对于被摄体距离的权重为一定，由此能够同样地处理。

另外，逆卷积的算法可以使用维纳滤波器(Wiener Filter)那样的已知的方法。

最后，距离计测部14根据拍摄的第1、第2图像和在步骤S103中生成的参照图像，按照式7计算被摄体距离d(x，y)(步骤S104)。根据式7，计算出使用第1图像和使用第2图像的两种被摄体距离d(x，y)，所以将它们综合而作为一个距离图(步骤S105)。在综合中，可以使用取根据各图像计算的距离图的简单平均等的方法。

另外，也可以将式6及式7进行傅立叶变换，进行频率域上的摄像图像与参照图像的比较，从而进行距离计测。在频率域中，将式6及式7中的卷积运算变换为乘法运算，能够更高速地进行距离计测。

如以上所示，通过将景深扩展，能够仅根据在距离计测中使用的2张摄像图像生成参照图像，所以能够通过少量的图像高精度地进行距离计测。曝光中的焦点的变化能够通过挪用标准的自动对焦机构来实现，所以也不需要特殊的机构。

另外，在上述说明中叙述了使用2张图像的例子，但拍摄的图像也可以是3张以上。在此情况下，各图像的对焦范围设为将图6所示的v1和v2之间等间隔地分割的范围，因此能够与2张的情况同样地处理。此时参照图像也根据拍摄的全部图像的平均图像计算。

另外，在本实施方式中，表示了使用参照图像的方法，但在距离计测中并不一定需要使用参照图像，可以根据具有不同的对焦范围的n张(2≥n)的图像的模糊程度进行距离计测。

此外，在上述说明中叙述了通过在曝光中控制焦点位置来扩展景深的例子，但也可以使用上述3次相位板那样的光学元件来扩展景深。在此情况下，为了得到多个不同的对焦范围而需要多个形状的光学元件。因此，在摄像部11具有的透镜单元中，设置如图7所示能够将这些光学元件通过旋转来切换的部位。对焦范围控制部12通过将这些光学元件切换，能够得到对应于各对焦范围的图像。

另外，在上述说明中，摄像图像的对焦范围连续地扩展，但这也可以如图8所示是不连续的。图8与图6同样，是表示在曝光中使焦点位置变化的状况的图，但像面位置在v1与v2之间阶段性地变化。

这里，对具有不连续的对焦范围的优点进行叙述。设位置(x，y)的正确的距离的值为D，设不正确的距离的值为D’。由式7，对参照图像R分别卷积h(x，y，D)和h(x，y，D’)而得到的结果越是大为不同，是否是正确的距离的判断越容易。以下通过仿真进行验证。

考虑具有图9A那样的纹理、被摄体距离为图9B那样的到被摄体的距离的阶段数为20段的阶段状的场景。被摄体距离在图中越暗则越远。即，在图9A所示的纹理中，越是下侧的区域越位于接近于摄像部11的位置，越是上侧的区域越位于从摄像部11远的位置。

接着，说明对焦范围的记法。用20位的数字表现焦点是否对准在20段的被摄体距离的各段。例如，如果是[1，0，1，1，1，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0]，则表示对焦在从远方起第1，3，4，5，10段。

首先，图10A中表示根据对焦范围是[1，1，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0]和[0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1，1，1]的、将焦点仅对准于被摄体的近前侧和里侧的2张图像，通过DFD进行距离计测的结果。另外，即使将该2张图像相加，也不对焦在被摄体整体上，所以被摄体距离d(x，y)也可以按照以下的式8计算。

[数式8]

$d(x,y)=\underset{d}{\arg \min }\left(\right|f^{-1}(\hat{F}{H}_1\left(d\right)-F_1)|+|f^{-1}(\hat{F}{H}_2\left(d\right)-F_2)\left|\right)(d=d_1,d_2,...,d_n)$

$\hat{F}=\frac{F_1{H_1}^{*}\left(d\right)+F_2{H_2}^{*}\left(d\right)}{H_1\left(d\right){H_1}^{*}\left(d\right)+H_2\left(d\right){H_2}^{*}\left(d\right)+\mathrm{\ϵ}}$ (式8)

其中，F₁，F₂分别表示第1张、第2张图像的频率成分，H₁，H₂分别表示与第1张、第2张的对焦范围对应的PSF的频率成分，H₁ ^*，H₂ ^*分别表示H₁，H₂的复共轭，ε表示用来防止零除法运算的微小的值，f^-1表示逆傅立叶变换。在此情况下，也可以认为，

[数式9]

$\hat{F}$

相当于参照图像R。

相对于此，图10B中表示根据对焦范围是[1，0，0，0，1，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0]和[0，0，0，0，0，0，0，0，0，0，0，1，0，0，0，1，0，0，0，1]的、具有不连续的对焦范围的2张图像同样进行距离计测的结果。在图10A中特别在纹理较少的右侧，计测结果从图9B较大地偏离，而在图10B中计测结果相比图10A得到改善。

在得到不连续的对焦范围的方法中，可以举出如图8那样在曝光中使焦点阶段性地变化的方法、及使用具有不连续的对焦范围的多焦点透镜那样的光学元件的方法。后者例如能够通过按照每个环带而曲率不同的菲涅耳透镜等实现。多焦点透镜包含在摄像部11中、配置在从被摄体到摄像部11的光路上。

另外，在上述说明中将在DFD中使用的图像一张一张地拍摄，但如果能够将2张同时拍摄，则拍摄所花费的时间成为一半。以下，作为变形例进行说明。

<变形例1>

在变形例1中，摄像部11如图11A所示，具备透镜单元、两个摄像元件(摄像元件1及2)、用来将光线分割的分束器、和用来将光路弯曲的反射镜。两个摄像元件配置成光路长度不同，光线经由分束器聚光到两个元件上。在图11A所示的结构中，摄像元件2的光路长度长Δv。

在这样的光学系统中，如果一边在曝光中使焦点位置等速变化一边用两个摄像元件同时拍摄图像，则得到如图11B所示，在摄像元件1和摄像元件2中焦点位置总是偏移Δv的图像。焦点位置的移动既可以通过使两个摄像元件以相同的速度等速移动来进行，也可以通过使包含在透镜单元中的透镜的位置移动来进行。此时，通过将Δv设定在v1和v2的中间，能够拍摄在像面位置v1到v2的整体中均匀地覆盖焦点位置的2张图像。

另外，作为用来将光路弯曲的机构，也可以代替反射镜而使用棱镜。或者，也可以如图12那样采取不具有反射镜或棱镜的结构。在此情况下，焦点位置的移动既可以通过使两个摄像元件以相同的速度等速移动来进行，也可以通过使包含在透镜单元中的透镜的位置移动来进行。

<变形例2>

在变形例2中，摄像部11如图13A所示具备透镜单元和两个摄像元件(摄像元件1及2)，还具备用来在光路的中途使光轴方向变化的光轴变化机构、和用来使光轴的方向朝向上述摄像元件中的某一方的驱动部21。两个摄像元件配置成光路长度相等。光轴变化机构由电流计镜(galvanometermirror)或MEMS反射镜那样的可动反射镜构成，如图13B及图13C所示，具有将光线向两个摄像元件中的某一方引导的功能。

在这样的光学系统中，在曝光中使焦点位置等速变化，并且通过光轴变化机构将光线分配给摄像元件1和2。在某个瞬间，光线仅到达摄像元件1和2中的某一方，所以摄像元件1和2如图14所示那样跳跃地曝光，分别成为不连续的对焦范围的图像。另外，在此情况下，焦点位置的移动也既可以通过使两个摄像元件以相同的速度等速移动来进行，也可以通过使包含在透镜单元中的透镜的位置移动来进行。

另外，变形例2的光路并不限定于图13A～图13C的形态，只要多个摄像元件的光路长度一定，则可以取任意的光路。此外，曝光模式也同样不限定于图14的形态。

工业实用性

本发明能够适用于具有透镜系统的摄像装置、尤其是单眼的摄像装置。

标号说明

10图像处理装置

11摄像部

12对焦范围控制部

13参照图像生成部

14距离计测部

Claims (13)

1.一种图像处理装置，具备：

摄像部，摄像图像；

对焦范围控制部，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及

距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的n张图像的模糊的程度，计测到被摄体的距离，其中，n≥2。

2.如权利要求1所述的图像处理装置，

上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。

3.如权利要求1所述的图像处理装置，

上述摄像部包括波阵面调制元件，该波阵面调制元件位于从上述被摄体到上述摄像部的光路上，对光线的波阵面进行调制。

4.如权利要求1所述的图像处理装置，

上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围大致连续。

5.如权利要求1所述的图像处理装置，

上述对焦范围控制部通过在上述摄像部的曝光中使焦点位置阶段性地变化来进行控制，以得到不连续的对焦范围。

6.如权利要求1所述的图像处理装置，

上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围不连续。

7.如权利要求1所述的图像处理装置，

上述摄像部具备：

n个摄像元件，配置成距离上述被摄体的光路长度分别不同；以及

分束器，将光线分割为n个，并将分割后的光线分别向上述n个摄像元件导引；

上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。

8.如权利要求1所述的图像处理装置，

上述摄像部具备：

n个摄像元件；

光轴变化机构，使光线的光轴方向变化；以及

驱动部，驱动上述光轴变化机构，由此使上述光轴方向朝向上述摄像元件中的某1个；

上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化；

上述驱动部按照规定的时间变化模式，使上述光轴变化机构改变上述光轴方向。

9.如权利要求1～8中任一项所述的图像处理装置，

由上述摄像部摄像的上述n张图像各自具有的对焦范围相互大致独立。

10.如权利要求1～9中任一项所述的图像处理装置，

还具备参照图像生成部，该参照图像生成部根据由上述摄像部摄像的上述n张图像的平均图像，生成参照图像。

11.一种图像处理方法，包括：

摄像步骤，通过摄像部摄像图像；

对焦范围控制步骤，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使在上述摄像步骤中摄像的上述图像的对焦位置及景深扩展；以及

距离计测步骤，根据在上述摄像步骤中摄像的、分别具有不同的对焦范围的n张图像的模糊的程度，计测到被摄体的距离，其中，n≥2。

12.一种程序，用于使计算机执行权利要求11所述的图像处理方法所包含的全部步骤。

13.一种集成电路，具备：

对焦范围控制部，对摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及

距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的n张图像的模糊的程度，计测到被摄体的距离，其中，n≥2。

Images