CN102472619A - 摄像装置及摄像方法 - Google Patents

Abstract

提供一种根据拍摄图像高精度地生成与被摄体的距离图的摄像装置。通过使图像传感器(11)在光轴方向上移动的传感器驱动部(12)及传感器驱动控制部(13)拍摄分别对焦在被摄体的近端侧及远端侧的拍摄图像(A、C)和一边从近端侧向远端侧扫描图像传感器一边拍摄的图像(B)的3张，由全焦点图像生成部(15)根据上述扫描图像(B)生成全焦点图像(D)，由模糊量计算部(16)将图像(A)及图像(B)的各部分区域中的模糊量用全焦点图像(D)的对应的区域的图像进行解卷积处理而计算，由距离图生成部(17)根据近端图像(A)和远端图像(C)的对应的区域的模糊量和包括透镜的焦点距离的摄像装置的光学系数值，生成各图像区域中的本装置与被摄体的距离、即距离图。

Description

摄像装置及摄像方法

技术领域

本发明涉及从摄像图像计测被摄体与摄像装置之间的距离的摄像装置或摄像方法。

背景技术

作为从拍摄图像计测被摄体与摄像装置之间的距离的以往的方法，一般已知有使用观测的图像的模糊来推测距离的DFD(Depth From Defocus：散焦测距)的方法(例如，参照非专利文献1)。在非专利文献1中提出的DFD的方法(以下，称作“Pentland方法”)中，着眼于图像的边缘，根据1张或2张包含模糊的观测图像推测其模糊量，根据其模糊量推测与被摄体的距离。但是，在该方法中，预先需要被摄体的图像的边缘信息，在通常的摄像装置的观测图像中发生透镜带来的模糊，所以难以稳定且高精度地推测距离信息。

另一方面，在专利文献1中提出的距离计测装置为了改善作为Pentland方法的问题的因模糊造成的距离计测的不稳定，使用多重焦点摄像机及编码开口。图13表示在专利文献1中使用的多重焦点摄像机，图13表示其编码开口(光圈)的例子。在专利文献1中，通过图13的多重焦点摄像机同时拍摄焦点位置、即模糊方式不同的3张图像，根据各图像间的模糊方式的差异推测与被摄体的距离。这里可知，如果将多重焦点摄像机的光圈(配置在图13的透镜19的左侧)做成图14的形状，则模糊的频率特性的增益为余弦函数的绝对值，与通常的圆形瞳形状的情况下的模糊的频率特性(LPF(低通滤波器))相比，具有特征性的、即图像间的较小的模糊的差也容易被检测到的特性。通过该特性，根据专利文献1，与Pentland方法相比，能够稳定且高精度地根据拍摄影像推测被摄体之间的距离。

先行技术文献

专利文献

专利文献1：日本专利第2963990号公报

非专利文献

非专利文献1：A.P.Pentland：“A new sense for depth of field”，IEEETransaction on Pattern Analysis and Machine Intelligence，9，4，pp.523-531(1987).

非专利文献2：H.Nagahara，S.Kuthirummal，C.Zhou，and S.Nayar，“Flexible depth of field photography，”in Proc.European Conference onComputer Vision，vol.4，2008，pp.60-73

发明概要

发明要解决的问题

但是，在专利文献1的方法中有以下3个问题。

1.复杂的摄像机结构

为了同时拍摄焦点位置不同的3张图像，如图13那样使用3个摄像传感器23～25及分光棱镜20，21，装置大型化且需要高精度的调整。该特性从商品的成本方面看对于面向消费者的摄像机成为较大的问题。此外，由于3个摄像机的焦点位置为固定，所以难以将测量对象的图像倍率(缩放率)及测量范围动态地变更，在作为摄像机的使用场景中发生限制。

2.光量的减少

为了使因被摄体的距离带来的模糊方式的差变得显著而使用图14那样的形状的编码光圈，但从图14明确可知，在该编码光圈中需要将开口缩小，必然成像到摄像面上的光线的光量相对于开放光圈大幅减少。即，作为摄像机的拍摄灵敏度大幅下降。

3.需要运算成本

为了距离推测，根据焦点距离不同的3张图像制作(式1)所示的评价函数，一边改变距离的值(v)一边反复运算评价函数，进行评价函数的最小化。这样的推测型的反复运算一般需要运算成本，所以特别在面向消费者的摄像机中，优选能够不使用评价函数而可靠地计算距离那样的方法。

[数式1]

$I_{\mathrm{mn}}^{\′}\left(v\right)=\underset{s}{\mathrm{\Σ}}|\frac{I_m(s,y)}{I_n(s,y)}-\frac{\cos \left(2\mathrm{\π\α}\frac{v-w_m}{f}s\right)}{\cos \left(2\mathrm{\π\α}\frac{v-w_n}{f}s\right)}|$ (式1)

发明内容

本发明的目的是解决上述以往的问题、提供一种通过简单的摄像机结构不损害光量且以较少的运算成本根据多个拍摄图像生成与被摄体的距离图的摄像装置。

用于解决问题的手段

为了解决上述以往的问题，有关本发明的一技术方案的摄像装置，根据被摄体的图像，生成表示从摄像装置到上述被摄体的距离的距离图，具备：图像传感器，将由摄像面接收到的光按照每个像素变换为电信号并输出；传感器驱动部，将上述图像传感器的光轴方向的位置任意地变更；图像取得部，取得由上述图像传感器拍摄的图像，并保持所取得的图像；传感器驱动控制部，控制上述传感器驱动部及上述图像取得部的动作，以拍摄互不相同的摄像位置的多个图像；全焦点图像生成部，根据上述图像取得部取得的图像中的一个图像，生成在该一个图像的整个区域对焦的全焦点图像；模糊量计算部，根据由上述图像取得部取得的图像中的其他图像和由上述全焦点图像生成部生成的全焦点图像，计算上述其他图像的各图像区域中的模糊量；以及距离图生成部，根据上述模糊量计算部计算出的上述其他图像的各图像区域的模糊量和包括透镜的焦点距离的上述摄像装置的光学的系数值，计算各图像区域中的上述摄像装置与上述被摄体的距离，生成将计算出的上述距离用各图像区域中的像素值表示的距离图。

根据本结构，根据一个图像生成没有模糊的全焦点图像，由此能够直接求出其他图像的模糊量，所以与在以往例中举出的Pentland方法相比，即使没有边缘信息等被摄体的先验的信息也能够进行距离推测，并且能够稳定地进行距离推测。

此外，与专利文献1相比，为了取得不同的焦点位置的图像，用1个图像传感器就足够，所以能够使摄像机结构简洁化(通过振动的灰尘除去装置等、在面向消费者的摄像机中也普遍导入图像传感器驱动部)，由于能够直接得到全焦点图像，所以不需要用来将模糊图像彼此稳定地比较的编码光圈，不发生光量的减少。

此外，由于通过其他图像与全焦点图像的解卷积处理(逆卷积)直接求出模糊量，所以不需要基于评价函数进行的反复运算，能够抑制运算成本。

另外，本发明不仅能够作为具备这样的特征性的处理部的摄像装置实现，还能够作为以包含在摄像装置中的特征性的处理部执行的处理为步骤的摄像方法实现。此外，也可以作为使计算机执行包含在摄像方法中的特征性的步骤的程序实现。并且，当然能够使这样的程序经由CD-ROM(Compact Disc-Read Only Memory)等的计算机可读取的非易失性的记录媒体或因特网等的通信网络流通。

发明效果

根据本发明的摄像装置，能够以简单的摄像机结构、不损害光量、且以较少的运算成本根据多个拍摄图像生成与被摄体的距离图。

附图说明

图1是表示本发明的实施方式的摄像装置的结构的模块图。

图2是表示本发明的实施方式的距离计算处理的动作的流程图。

图3是在本发明的实施方式中在几何学上说明各摄像位置的模糊的大小的图。

图4是在本发明的实施方式中拍摄的3张摄像图像的摄像位置的变迁的说明图。

图5是表示在本发明的实施方式中作为计算摄像装置与被摄体的距离的单位的图像区域的说明图。

图6的(a)及(b)是表示本发明的实施方式的拍摄图像(近端图像)A的例子的图。

图7的(a)及(b)是表示本发明的实施方式的拍摄图像(扫描图像)B的例子的图。

图8的(a)及(b)是表示本发明的实施方式的拍摄图像(远端图像)C的例子的图。

图9的(a)及(b)是表示根据本发明的实施方式的扫描图像生成的全焦点图像D的例子的图。

图10是表示在本发明的实施方式中生成的距离图的例子的图。

图11是说明使用近端图像和全焦点图像计算焦点距离的(式9)的图。

图12是表示本发明的实施方式的具备微型计算机的摄像装置的结构的一例的模块图。

图13是表示在以往的距离测量装置中使用的多重焦点摄像机的例子的图。

图14是表示以往的距离测量装置的编码开口的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(实施方式1)

图1表示本发明的实施方式1的摄像装置的模块图。

在图1中，摄像装置具备图像传感器11、传感器驱动部12、传感器驱动控制部13、图像取得部14、全焦点图像生成部15、模糊量计算部16、和距离图生成部17。将摄像装置的结构中的、能够安装到单芯片的集成电路中的构成单元用虚线包围表示，但由于图像取得部14是存储器，所以相对于上述集成电路也可以为分体。此外，将摄像装置的结构中的、能够用程序实现的构成单元用单点划线包围。

图像传感器11是CMOS、CCD等，将由摄像面接收到的光按照每个像素变换为电信号并输出。传感器驱动部12通过来自后述的传感器驱动控制部13的控制，使用线性马达及压电元件等将图像传感器11的光轴方向的位置任意地变更。传感器驱动控制部13控制传感器驱动部12及后述的图像取得部14的动作定时等，以拍摄互不相同的焦点位置的多个图像。图像取得部14以对应于来自传感器驱动控制部13的控制信号的定时，取得由图像传感器11拍摄的图像，保持所取得的图像。全焦点图像生成部15根据图像取得部14取得的图像中的一个图像(例如，扫描图像)，通过信号处理生成在该一个图像的整个区域对焦的全焦点图像。模糊量计算部16根据由图像取得部14取得的规定的焦点距离的图像(其他图像，例如，近端图像或远端图像)和由全焦点图像生成部15生成的全焦点图像，通过信号处理生成该其他图像的各图像区域中的模糊量。距离图生成部17通过模糊量计算部16计算出的上述其他图像的各图像区域的模糊量、和包括焦点距离的摄像装置的光学的系数值，在各图像区域中计算本装置与被摄体的距离，生成各图像区域中的像素值表示计算出的上述距离的距离图(distance map)。

以下，使用图2到图5说明通过本装置计测摄像装置与被摄体的距离的处理次序。图2表示处理的流程图，图3表示各摄像位置的模糊的大小的几何性说明，图4表示由本摄像装置拍摄的3张摄像图像的摄像位置的变迁，图5表示将用于计算距离的图像区域的分割。

处理的概况是，根据一边移动图像传感器11一边拍摄的图像(以下，称作“扫描图像”)生成全焦点图像，根据该全焦点图像和摄像位置、即模糊方式不同的两种图像推测各图像区域中的模糊量，根据该模糊量计算各图像区域中的摄像装置与被摄体的距离。以下，以图2为中心依次说明处理的详细情况。

处理大体上由“(1)图像取得步骤”、“(2)全焦点图像取得步骤”、及“(3)距离计算步骤”构成。

(1)在图像取得步骤中，图像取得部14取得摄像位置不同的3张图像。

首先，在步骤S1中，传感器驱动控制部13控制传感器驱动部12，使图像传感器11移动到位置1。在移动完成后，在步骤S2中，图像取得部14取得并保持对焦在图3的被摄体31的近端侧的图像A。图6(a)是表示图像A的一例的图，图6(b)是将图6(a)所示的图像A的一部分放大的图。由图6(a)及图6(b)也可知，对焦在距摄像装置较近的位置的茶碗。

接着，在步骤S3中，在图像传感器11的拍摄中，传感器驱动控制部13控制传感器驱动部12，以使图像传感器11从位置1向位置2等速地移动，图像取得部14取得并保持扫描图像B。图7(a)是表示图像B的一例的图像，图7(b)是将图7(a)所示的图像B的一部分放大的图。

最后，在步骤S4中，图像取得部14在步骤S3中移动完成的位置2取得并保持对焦在被摄体31的远端侧的图像C。图8(a)是表示图像C的一例的图像，图8(b)是将图8(a)所示的图像C的一部分放大的图。由图8(a)及图8(b)也可知，对焦在位于距摄像装置较远的位置的花盆。

(2)接着，在全焦点图像生成步骤S5中，全焦点图像生成部15根据在图像取得步骤中取得的扫描图像B生成全焦点图像D。图9(a)是表示图像D的一例的图像，图9(b)是将图9(a)所示的图像D的一部分放大的图。由图9(a)及图9(b)也可知，对焦在全部的像素。

如在非专利文献2中公开那样，通过使图像传感器以等速移动而得到的扫描图像为在整个图像区域中均匀地模糊的图像，换言之，不论被摄体与摄像装置的距离如何(Depth Invariant：深度不变)，在各图像区域中都会得到均匀的模糊。这里，如果设通过将图像传感器扫描而与拍摄图像卷积的模糊函数为IPSF，则IPSF如例如记载在非专利文献2中的(式7)那样，不论与被摄体的距离如何，都由图像传感器的移动距离及透镜模型唯一地决定。所以，如果设扫描图像B的傅立叶变换为I_sweep、模糊函数IPSF的傅立叶变换为H_ip，则没有模糊的全焦点图像的傅立叶变换I_aif可以由(式2)求出。

[数式2]

$I_{\mathrm{aif}}=\frac{I_{\mathrm{sweep}}}{H_{\mathrm{ip}}}$ (式2)

(式2)的右边不论与被摄体的距离如何都是一定的，即，通过将扫描图像B用Depth Invariant的模糊函数IPSF进行解卷积，能够生成将模糊除去后的全焦点图像C。

(3)在距离计算步骤中，求出拍摄的图像的各部分区域的模糊直径(模糊量)，根据该模糊直径按照每个图像区域计算与被摄体的距离。首先，使用图3说明根据拍摄的图像求出模糊直径的方法。图3是表示被摄体与摄像装置的光学系统的位置关系的图。图3分别表示被摄体31、光圈32、透镜33、位置1的图像传感器34的配置、位置2的图像传感器35的配置。

在图3中，被摄体31距透镜33的主点位置配置在距离u，图像传感器34配置在从透镜的主点位置为距离v的位置1上。从被摄体31到来的光线通过透镜33，成像在配置于位置1上的图像传感器34上。此时，观测到的图像A的傅立叶变换I_A为对被摄体31的图像的傅立叶变换I_pu乘以透镜33的传递函数Gl，可以用(式3)表现。

[数式3]

$I_A=\mathrm{Gl}\·I_{p_u}$ (式3)

在(式3)中，传递函数Gl意味着模糊的成分，被摄体31的图像的傅立叶变换I_pu意味着没有模糊的被摄体31的光线本身，所以可以代替I_pu而使用由(式2)求出的全焦点图像的傅立叶变换I_aif。所以，传递函数Gl可以将(式3)变形、通过将拍摄图像A的傅立叶变换I_A用全焦点图像的傅立叶变换I_aif解卷积来求出(式4)。

[数式4]

$\mathrm{Gl}=\frac{I_A}{I_{\mathrm{aif}}}$ (式4)

另一方面，将上述传递函数Gl逆傅立叶变换后成为透镜的PSF(点扩散函数)，但如果例如将透镜的PSF模型假定为一般的高斯PSF，则透镜的PSF可以用(式5)表现。

[数式5]

$\mathrm{PSF}(r,u,v)=\frac{2}{\mathrm{\π}{\left({\mathrm{gd}}_1\right)}^2}\exp (-\frac{{2r}^2}{{\left({\mathrm{gd}}_1\right)}^2})$ (式5)

这里，r是距PSF中心的距离，d₁是位置1的模糊直径，g是常数。由(式5)可知，被摄体31的距离u、图像传感器34的距离v时的PSF的形状由模糊直径d和距PSF中心的距离r唯一地决定。(式5)的左边的PSF通过将由(式4)求出的传递函数Gl进行逆傅立叶变换而求出，所以由(式5)，能够根据r＝0即左边的PSF的峰值强度计算模糊直径d₁。

在通常的拍摄图像中，由于距摄像装置的距离按照每个被摄体而不同，所以由(式5)，成像在图像传感器34上时的PSF也按照成像的图像区域的位置而不同。因此，将由图像传感器34得到的图像预先划分为多个区域，实施布莱克曼窗等的窗函数处理而切出后，按照每个区域进行上述模糊直径计算处理。

图5是说明切出的图像区域的图，表示区域(i，j)的图像切出位置51、和区域(i，j+1)的图像切出区域52。模糊量计算部16及距离图生成部17如图5所示，将图像重叠(overlap)地依次切出，以切出的区域单位进行处理。以下，依次说明各区域中的处理。

在步骤S6中，模糊量计算部16对在图像取得步骤中取得的图像A、和在全焦点图像生成步骤中生成的全焦点图像D的分别对应的区域(i，j)进行窗函数处理而切出，通过将切出的区域的傅立叶变换I_A(i，j)、I_aif(i，j)代入到(式4)及(式5)中，计算区域(i，j)中的图像传感器11的位置1处的模糊直径d_1(i，j)。

同样，在步骤S7中，模糊量计算部16对在图像取得步骤中取得的图像C、和在全焦点图像生成步骤中生成的全焦点图像D的分别对应的区域(i，j)进行窗函数处理而切出，通过将切出的区域的傅立叶变换I_C(i，j)、I_aif(i，j)代入到(式4)及(式5)中，计算区域(i，j)中的图像传感器11的位置2处的模糊直径d_2(i，j)。

在步骤S8中，距离图生成部17根据在步骤S6及S7中求出的模糊直径d_1(i，j)、d_2(i，j)计算拍摄在图像区域(i，j)中的被摄体对焦的焦点位置v_(i，j)。d_1(i，j)、d_2(i，j)和v_(i，j)的几何关系如图4所示，可以根据图像传感器11的位置1与透镜主点的距离p₁以及图像传感器11的位置2与透镜主点的距离p₂、用(式6)求出。

[数式6]

$v_{(i,j)}=\frac{p_1{d}_{2(i,j)}+p_2{d}_{1(i,j)}}{d_{1(i,j)}+d_{2(i,j)}}$ (式6)

在步骤S9中，距离图生成部17根据在步骤S8中求出的v_(i，j)求出拍摄在图像区域(i，j)中的被摄体与透镜主点的距离u_(i，j)。如果设透镜的焦点距离为f_L，则能够通过(式7)的高斯公式求出u_(i，j)。

[数式7]

$\frac{1}{u_{(i,j)}}+\frac{1}{v_{(i,j)}}=\frac{1}{f_L}$ (式7)

如果将透镜主点的位置看作摄像装置的位置，则拍摄在图像区域(i，j)中的被摄体与摄像装置的距离为u_(i，j)。

模糊量计算部16及距离图生成部17将上述步骤S6到S9对整个图像区域、即i＝0～m、j＝0～n处理，由此能够生成整个图像区域中的距离、即距离图。图10是表示使用在图6、图7及图9中分别表示的图像A、图像B及图像D生成的距离图的一例的图。在图10中，通过各像素的亮度值表示从摄像装置到被摄体的距离，亮度值越大(越白)，意味着被摄体位于越接近于摄像装置的位置，亮度值越小(越黑)，意味着被摄体位于距摄像装置越远的位置。例如，茶碗比花盆更白地显示，所以可知位于距摄像装置较近的位置。

根据该结构，根据一边使图像传感器11移动一边拍摄的扫描图像生成全焦点图像。此外，通过将该全焦点图像与在扫描前后的被摄体的远端侧及近端侧的摄像位置拍摄的两种图像分别按照对应的图像区域解卷积，推测各图像区域中的模糊量。进而，根据其模糊量计算各图像区域中的摄像装置与被摄体的距离。由此，能够不像以往例那样有因用特殊的光圈将光量缩减造成的灵敏度的劣化、或进行用来寻找最优解的反复运算、而生成与被摄体的距离图。

以上，对有关本发明的实施方式的摄像装置进行了说明，但本发明并不限定于该实施方式。

例如，在本实施方式中，作为用来推测模糊量的透镜的PSF模型而使用(式5)那样的高斯模型，但只要是特性预先已知、并且反映了实际的摄像装置的特性的模型，也可以是高斯模型以外的模型，例如，也可以是一般周知的圆盘(pillbox)函数。此外，也可以不将模糊量定义为数式模型、而采使焦点位置阶段性地移动、预先测量PSF特性而数据库化、一边参照该数据库的值一边推测模糊量的结构。

另外，在作为用来推测模糊量的透镜的PSF模型而使用圆盘函数的情况下，PSF模型用以下的(式8)那样的式子表示。这里，r是距PSF中心的距离，d₁是位置1的模糊直径。这样，即使使用(式8)，被摄体31的距离u、图像传感器34的距离v时的PSF的形状也由模糊直径d₁和距PSF中心的距离r唯一地决定。

[数式8]

$\mathrm{PSF}(r,u,v)=\frac{4}{{{\mathrm{\πd}}_1}^2}\mathrm{\Π}\left(\frac{r}{d_1}\right)$ (式8)

此外，在上述实施方式中，根据图像传感器11的位置1处的模糊直径d_1(j，j)、和区域(i，j)的图像传感器11的位置2处的模糊直径d_2(i，j)的两者，用(式6)求出被摄体与透镜主点的距离u_(i，j)。但是，本发明并不限定于此，也可以使用位置1或位置2中的一方的模糊直径计算焦点距离。例如，以下对根据位置1处的模糊直径计算焦点距离v_(i，j)的例子进行说明。图11是说明使用位置1的模糊直径计算焦点距离v_(i，j)的式子的图。在此情况下，根据位置1处的模糊直径d_1(i，j)计算焦点距离v_(i，j)的式子为(式9)。这里，在(式9)中，D是透镜的开口直径。

[数式9]

$v_{(i,j)}=\frac{D}{D-d_{1(i,j)}}{p}_1$ (式9)

此外，在本实施方式中，为了拍摄不同的焦点位置的图像，驱动传感器使成像位置变化，但也可以代替传感器而在透镜侧移动。具体而言，也可以将本实施方式的传感器驱动部及传感器控制部变更为透镜驱动部及透镜控制部，采取将透镜移动以取得不同的焦点位置的图像的结构。

此外，在本实施方式中，对如图3那样透镜用1片成像的结构进行了说明，但也可以使用由多片透镜构成的透镜组。在此情况下，可以使用在预先设计时已知的透镜组的主点位置如本实施方式那样计算距离。

此外，关于在本实施方式中使用的透镜，也可以使用对于图像传感器11的像侧具有将光线平行成像的特性的像侧远心。在此情况下，即使移动图像传感器或透镜，成像在图像传感器上的像的倍增系数也不随着焦点位置而变化，所以能够将扫描图像B的图像在理想的模糊状态下拍摄。即，能够在全焦点图像生成部中以更好的特性生成全焦点图像D，并且能够使距离图的生成的特性也变得更好。

此外，上述摄像装置的一部分也可以由具备CPU和图像存储器的微型计算机实现。

图12是表示具备微型计算机的摄像装置的结构的一例的模块图。

摄像装置具备图像传感器11、传感器驱动部12、和微型计算机60。另外，在图像传感器11的前面设有用来将来自被摄体31的光聚光的透镜33。

微型计算机60具备CPU64和图像存储器65。

CPU64执行用来使微型计算机60作为图1所示的传感器驱动控制部13、图像取得部14、全焦点图像生成部15、模糊量计算部16和距离图生成部17发挥功能的程序。即，CPU64执行图2所示的流程图的各步骤的处理的程序。另外，在图像存储器65中，保持由图像取得部14取得的图像。

进而，构成上述摄像装置的构成单元的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部分集成在1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。在RAM中存储有计算机程序。通过微处理器按照计算机程序动作，系统LSI实现其功能。

进而，构成上述摄像装置的构成单元的一部分或全部也可以由相对于摄像装置能够拆装的IC卡或单体的模组构成。IC卡或模组是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模组也可以包括上述超多功能LSI。通过微处理器按照计算机程序动作，IC卡或模组实现其功能。该IC卡或该模组也可以具有防篡改性。

此外，本发明也可以是上述所示的方法。此外，也可以是将这些方法通过计算机实现的计算机程序，也可以是由上述计算机程序构成的数字信号。

进而，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的非易失性的记录媒体、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(注册商标))，半导体存储器等中的产品。此外，也可以是记录在这些非易失性的记录媒体中的上述数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的系统。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。

此外，也可以通过将上述程序或上述数字信号记录到上述非易失性的记录媒体中并移送、或通过将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。

这里公开的实施方式在所有的方面都是例示，而不应被认为是限制性的。本发明的范围不由上述说明而由权利要求书表示，意味着包含与权利要求书等价的意义及范围内的全部变更。

工业实用性

有关本发明的摄像装置具有根据摄像图像高精度地生成距离图的特征，能够作为根据离开的位置容易地测量被摄体的形状的测距仪使用。此外，也可以通过根据生成的全焦点图像、根据距离图生成左右的视差图像而生成立体影像，即作为3D摄像机使用。

标号说明

11图像传感器

12传感器驱动部

13传感器驱动控制部

14图像取得部

15全焦点图像生成部

16模糊量计算部

17距离图生成部

31被摄体

32光圈

33透镜

34位置1的图像传感器

35位置2的图像传感器

51图像区域(i，j)的切出范围

52图像区域(i，j+1)的切出范围

60微型计算机

64CPU

65图像存储器

Claims (10)

1.一种摄像装置，根据被摄体的图像，生成表示从摄像装置到上述被摄体的距离的距离图，具备：

图像传感器，将由摄像面接收到的光按照每个像素变换为电信号并输出；

传感器驱动部，将上述图像传感器的光轴方向的位置任意地变更；

图像取得部，取得由上述图像传感器拍摄的图像，并保持所取得的图像；

传感器驱动控制部，控制上述传感器驱动部及上述图像取得部的动作，以拍摄互不相同的摄像位置的多个图像；

全焦点图像生成部，根据上述图像取得部取得的图像中的一个图像，生成在该一个图像的整个区域对焦的全焦点图像；

模糊量计算部，根据由上述图像取得部取得的图像中的其他图像和由上述全焦点图像生成部生成的全焦点图像，计算上述其他图像的各图像区域中的模糊量；以及

距离图生成部，根据上述模糊量计算部计算出的上述其他图像的各图像区域的模糊量和包括透镜的焦点距离的上述摄像装置的光学系数值，计算各图像区域中的上述摄像装置与上述被摄体的距离，生成将计算出的上述距离用各图像区域中的像素值表示的距离图。

2.如权利要求1所述的摄像装置，

上述传感器驱动控制部控制上述传感器驱动部及上述图像取得部，以使上述图像取得部取得将焦点位置设定在被摄体的近端的近端图像、将焦点位置设定在被摄体的远端的远端图像、以及一边从上述远端连续移动到近端一边曝光而拍摄的扫描图像的3种图像。

3.如权利要求1所述的摄像装置，

上述传感器驱动控制部控制上述传感器驱动部及上述图像取得部，以使上述图像取得部按上述近端图像、上述扫描图像、上述远端图像的顺序，或者按上述远端图像、上述扫描图像、上述近端图像的顺序连续取得3张拍摄图像。

4.如权利要求1所述的摄像装置，

配置在上述图像传感器的像侧的光学系统具有即使扫描、像的大小也不变化的像侧远心性的光学特性。

5.如权利要求1所述的摄像装置，

上述模糊量计算部将配置在上述图像传感器的像侧的光学系统的特性假定为高斯模型，来计算各图像区域的模糊量。

6.如权利要求1所述的摄像装置，

上述模糊量计算部将配置在上述图像传感器的像侧的光学系统的特性假定为圆盘模型，来计算各图像区域的模糊量。

7.如权利要求1所述的摄像装置，

上述模糊量计算部将配置在上述图像传感器的前段的光学系统的特性假定为预先实测的上述光学系统的点扩散函数即PSF特性，基于该PSF特性来计算各图像区域的模糊量。

8.一种摄像方法，根据由摄像装置拍摄的被摄体的图像，生成表示从该摄像装置到上述被摄体的距离的距离图，包括：

图像取得步骤，取得在互不相同的摄像位置拍摄的多个图像；

全焦点图像生成步骤，根据上述多个图像中的一个图像，生成在该一个图像的整个区域对焦的全焦点图像；

模糊量计算步骤，根据上述多个图像中的其他图像和上述全焦点图像，计算上述其他图像的各图像区域中的模糊量；以及

距离图生成步骤，根据上述其他图像的各图像区域的模糊量和包括透镜的焦点距离的上述摄像装置的光学系数值，计算各图像区域中的上述摄像装置与上述被摄体的距离，生成将计算出的上述距离用各图像区域中的像素值表示的距离图。

9.一种程序，记录在非暂时性的计算机可读取的记录媒体中，用来使计算机执行权利要求8所述的摄像方法所包含的各步骤。

10.一种集成电路，安装有权利要求1所述的摄像装置所具备的图像取得部、全焦点图像生成部、模糊量计算部以及距离图生成部。

Images