CN103181173B - 三维图像处理装置、三维摄像装置以及三维图像处理方法 - Google Patents

Abstract

一种三维图像处理装置(500)，利用示出场景与相机相隔的距离的距离信息，处理该场景的摄影图像，所述三维图像处理装置具备：距离指定部(501)，接受指定距离的输入，该指定距离是成为强调立体感的对象的距离；距离变换部(502)，将距离信息示出的距离变换为用于生成三维图像的立体距离，以使位于指定距离的场景的立体感被强调；以及强调图像生成部(503)，通过根据立体距离加工所述摄影图像，从而生成在指定距离被强调了立体感的强调图像。

Description

三维图像处理装置、三维摄像装置以及三维图像处理方法

技术领域

本发明涉及利用示出场景与相机相隔的距离的距离信息来处理该场景的拍摄图像的三维图像处理装置以及三维图像处理方法、具备这些三维图像处理装置的三维摄像装置。

背景技术

近几年，使用CCD图像传感器（ChargeCoupledDeviceImageSensor：电荷藕合器件图像传感器）或者CMOS图像传感器（ComplementaryMetalOxideSemiconductorImageSensor：互补金属氧化物半导体图像传感器）等的固体摄像元件（下面有时简称为“摄像元件”）的数字图片相机或者数字摄像机的高功能化以及高性能化令人震惊。尤其是随着半导体制造技术的进步，固体摄像元件的像素构造的细微化得到发展。

其结果，固体摄像元件的像素以及驱动电路不断向着高集成化发展。因此，仅用几年的时间，摄像元件的像素数从100万像素左右大大增加到1000万像素以上。加之，通过拍摄得到的图像的质量也有了飞跃性的提高。

另一方面，通过液晶显示器或者等离子显示器等的薄型显示装置，实现了不占地方、能够以高分辨率且高对比度来显示图像。这样的图像高品质化的趋势，渐渐从二维图像扩大到三维图像。最近已经开始对采用偏振光眼镜或者具有高速快门的眼镜，显示高画质的三维图像的三维显示装置进行了开发。

用于获得在三维显示装置上显示的高画质的三维图像或者三维影像的三维摄像装置的开发也有了发展。作为获得三维图像并在三维显示装置上显示的单纯的方法，可以考虑以具备了位置不同的2个光学系（透镜和摄像元件）的摄像装置来拍摄图像或者影像的方法。使用各光学系被拍摄的图像作为左眼用图像以及右眼用图像被输入到三维显示装置。通过三维显示装置将拍摄的左眼用图像和右眼用图像高速切换来显示，从而戴眼镜的用户能够立体地感知三维图像。

另外，还有这样的方法，利用多台相机构成的摄像系算出场景的深度信息，根据深度信息和纹理(texture)信息生成左眼用图像以及右眼用图像。此外，还有这样的方法，根据1台相机改变场景的条件或者摄像装置的光学系的条件而拍摄的多张图像算出深度信息，从而生成左眼用图像以及右眼用图像。

作为有关前者的方法有：同时利用从多个相机获得的图像求出各像素的深度的非专利文献1中记载的多基线立体(Multi-baselineStereo)法。该多基线立体法与一般的双目立体相比能够以高精度来推定场景的深度。

作为一例说明相机的台数是2台（双目立体）时的左眼用图像以及右眼用图像(视差图像)的生成方法。在双目立体中利用2台相机从互相不同的视点拍摄2张图像，从被拍摄的各图像提取特征点，通过求出特征点间的对应关系来确定对应点。这样被确定的对应点间的距离被称为视差。例如，以2台相机拍摄的2张图像中，对应的特征点的坐标(x,y)分别为(5，10)，（10，10）时，视差成为5。在这里设相机被平行地配置，视差设为d，2台相机的焦点距离设为f，相机间的距离（基线长∶baseline）设为B时，根据(算式1)能够求出从相机到被摄体的距离。

(算式1)

$Z=\frac{-\mathrm{Bf}}{d}$ (式1)

在2台相机间的距离长时，在一个相机观测的特征点有时不能在另一个相机观测。即使是那样的情况下，多基线立体法利用3台以上的相机，从而能够减少对应点搜索的含糊性，所以减少视差推定的误差。

在求出深度时，例如像非专利文献2所述的方法一样，利用深度的信息和场景的纹理，能够生成左眼用图像以及右眼用图像。根据非专利文献2所述的方法，利用推定的深度和从摄像装置获得的场景的纹理，能够生成将虚拟相机位置（左眼用相机位置和右眼用相机位置）作为新的视点位置的图像。这样，能够获得与摄影时不同的视点位置的图像。

新的视点位置的图像能够通过(算式2)生成。在这里各记号与(算式1)相同。求深度的相机的Ｘ坐标设为xc，在新生成的视点位置上的相机的Ｘ坐标设为xl，xr。xl，xr分别是左眼用以及右眼用的相机（虚拟相机）的Ｘ坐标。将虚拟相机间的距离（基线长∶baseline）设为tx。

(算式2)

$\mathrm{xl}=\mathrm{xc}+\frac{\mathrm{txf}}{2Z}$ (式2)

$\mathrm{xr}=\mathrm{xc}-\frac{\mathrm{txf}}{2Z}$

根据上述，使用多台相机算出深度，则能够生成左眼用图像以及右眼用图像。

在与后者有关的深度的算出方法中，作为变更与场景有关的条件的方法有非专利文献3示出的光度立体(PhotometricStereo)法。改变照明的位置拍摄被摄体的多张图像被输入时，根据被摄体的像素值和照明的位置的三维关系，求出被摄体的三维位置。此外，作为改变摄像装置的光学条件的方法有非专利文献4示出的DepthFromDefocus(散焦测距)法。在这个方法中，利用改变相机的焦点距离拍摄的多张图像的各像素的模糊的变化量、相机的焦点距离、光圈的大小(开口直径)，能够求出从相机到被摄体为止的距离(深度)。这样，从以前就开始研究了获得场景的三维信息的各种各样的方法。

使用根据所述示出的方法获得的深度的信息所生成的左眼用图像以及右眼用图像，能够显示三维图像。尤其是，近几年家用液晶显示器或者等离子体显示器也可以进行三维显示。此外，在民生用途中，也可以进行三维图像的摄影和显示。

利用三维摄像装置拍摄图像和影像时，能够获得被摄体的深度信息。因此，将由三维摄像装置拍摄的图像和影像经由三维显示装置显示时，能够显示有立体感以及临场感的图像和影像。然而，尤其是利用民生用的三维摄像装置的摄影者，不具有用于拍摄有立体感的图像和影像的技术和实际知识。这样的摄影者拍摄的图像和影像难以有立体感，作为三维图像的好处少。

另外，作为与场景的距离(深度)有关的处理，提出了如下的方法，改变分配给距离的分辨率的方法（例如参考专利文献1～5）。这些专利文献1～5中公开的技术，通过改变针对距离的分辨率的分配量，能够削减三维数据的数据量。

(现有技术文献)

(专利文献)

专利文献1∶日本特开2009-162747号公报

专利文献2∶日本特开2009-162748号公报

专利文献3∶日本特开2009-163716号公报

专利文献4∶日本特开2009-163717号公报

专利文献5∶日本特开2009-163718号公报

专利文献6∶日本特开2010-16743号公报

(非专利文献)

非专利文献1：“AMultiple-baselineStereo,”IEEETrans.PatternAnalysisandMachineIntelligence,Vol.15,No.4,pp.353-363,1993,M.OkutomiandT.Kanade.

非专利文献2：“StereoscopicImageGenerationBasedonDepthImagesfor3DTV.”IEEETrans.OnBroadcasting,Vol.51,No.2,June2005,L.ZhangandW.J.Tam.

非专利文献3：“Photometricmethodfordeterminingsurfaceorientationfrommultipleimages.”OpticalEngineerings19,I,139-144,1980,R.J.Woodham.

非专利文献4：“Anewsensefordepthoffield”,IEEETransactiononPatternAnalysisandMachineIntelligence,2,4,pp.523-5311987,A.P.Pentland.

非专利文献5："DepthfromDefocus∶ASpatialDomainApproach,"InternationalJournalofComputerVision,Vol.13,No.3,pp.271-294,1994M.SubbaraoandG.Surya.

非专利文献6：“在双眼式立体图像的箱庭及布景作用的几何学分析”，电子信息通信学会HIP，human信息处理101(227)，15-22，2001，山之上裕一等

发明概要

发明要解决的问题

然而，所述以往的方法能够压缩数据量，但存在以下问题，不能提高摄影图像的立体感，例如不能强调希望的被摄体的立体感等。

发明内容

于是，本发明是解决所述以往的课题的发明，其目的在于提供一种利用示出场景与相机相隔的距离的距离信息，能够提高该场景的摄影图像的立体感的三维图像处理装置、三维图像处理方法、以及具备这样的三维图像处理装置的三维摄像装置。

用于解决问题的手段

为了达到上述目的，本发明的一个方案涉及的三维图像处理装置，利用示出场景与相机相隔的距离的距离信息，处理所述场景的摄影图像，所述三维图像处理装置具备：距离指定部，接受指定距离的输入，该指定距离是成为强调立体感的对象的距离；距离变换部，将所述距离信息示出的距离变换为用于生成三维图像的立体距离，以使位于所述指定距离的所述场景的立体感被强调；以及强调图像生成部，通过根据所述立体距离加工所述摄影图像，从而生成在所述指定距离被强调了立体感的强调图像。

根据本构成，能够将距离信息示出的距离变换为立体距离，以使位于指定距离的场景的立体感被强调。因此，即使是不习惯三维图像摄影的摄影者拍摄的图像，也能得到希望的被摄体的立体感被强调的图像。

加之，根据本构成，通过根据立体距离加工摄影图像，从而生成在指定距离被强调了立体感的强调图像。因此，摄影者通过观看摄影中显示的强调图像，从而能够确认立体感的强调程度。其结果，能够有效地提高摄影图像的立体感。

此外，可以是所述强调图像生成部，以使所述指定距离与所述立体距离之间的差越大的区域模糊就越大的方式，加工所述摄影图像，从而生成所述强调图像。

根据该构成，能够以使指定距离与立体距离之间的差越大的区域模糊就越大的方式，加工摄影图像，从而生成强调图像。换言之，能够将强调图像作为二维图像来生成。因此，不是一定需要用于显示强调图像的三维显示装置，所以例如能够简化摄像装置的构成。

此外，可以是所述强调图像生成部，通过利用示出所述摄影图像的模糊的特征的模糊信息，对所述摄影图像进行复原处理，从而生成复原图像，通过对所述指定距离与所述立体距离之间的差越大的区域附加越大的模糊，从而生成所述强调图像。

根据该构成，对摄影图像进行复原处理而生成的复原图像附加模糊，从而能够生成强调图像。因此，能够抑制因摄影图像中包含的模糊而降低立体感的可见性。

此外，可以是所述三维图像处理装置，还具备视差图像生成部，所述视差图像生成部，根据所述摄影图像，生成具有与所述立体距离对应的视差的视差图像，以作为所述三维图像。

根据该构成，能够生成具有与立体距离对应的视差的视差图像。因此，使用三维显示装置能够立体地显示场景。

此外，可以是所述距离变换部，利用变换算式将所述距离信息示出的距离变换为所述立体距离，在所述变换算式中所述立体距离作为所述距离信息示出的距离的函数来表示，在所述指定距离的所述函数的变化的比例大于1。

根据该构成，利用变换算式能够将距离信息示出的距离变换为立体距离，在所述变换算式中立体距离作为距离信息示出的距离的函数来表示。此时，在指定距离的函数的变化的比例大于1，所以与在指定距离的距离信息示出的距离的变化量相比立体距离的变化量更大。因此，利用变换算式能够将距离信息示出的距离容易地变换为立体距离，以使位于指定距离的场景的立体感被强调。

此外，可以是所述距离变换部，利用预先保持的多个变换算式中的在所述指定距离的变化的比例最大的变换算式，将所述距离信息示出的距离变换为所述立体距离。

根据该构成，能够利用预先保持的多个变换算式中的适合强调在指定距离的立体感的变换算式，将距离信息示出的距离变换为立体距离。

此外，可以是所述三维图像处理装置被构成为集成电路。

此外，本发明的一个方案涉及的三维摄像装置具备：上述的三维图像处理装置；摄像部，拍摄所述场景的摄影图像；以及显示部，显示所述强调图像。

这样，能够达到与所述三维图像处理装置同样的效果。

另外，本发明不仅能够作为上述的三维图像处理装置来实现，而且还可以作为以上述的三维图像处理装置具备的特征性的构成要素的动作为步骤的三维图像处理方法来实现。此外，本发明能够作为使计算机执行三维图像处理方法包含的各步骤的程序来实现。而且，上述的程序，当然可以经由CD-ROM（CompactDiscReadOnlyMemory）等的非一时的记录介质或者互联网等传输介质来分发。

发明效果

根据本发明，利用示出场景与相机相隔的距离的距离信息，能够提高该场景的摄影图像的立体感。

附图说明

图1是表示本发明的实施例的三维摄像装置的全体结构的图。

图2是表示本发明的实施例的三维图像处理部的结构的方框图。

图3是表示本发明的实施例的三维图像处理部的处理动作的流程图。

图4是表示本发明的实施例的距离信息获得部的处理动作的流程图。

图5A是表示本发明的实施例的距离指定部的距离指定方法的一例的图。

图5B是表示本发明的实施例的距离指定部的距离指定方法的另一例的图。

图6是表示本发明的实施例的辐辏立体的一例的图。

图7A是表示本发明的实施例的变换算式的参数的一例的图。

图7B是表示本发明的实施例的实际距离与立体距离之间的关系的一例的图。

图8是表示多个指定距离被指定的情况下的变换算式的设定方法的一例的图。

图9是表示模糊图像和全焦点图像和PSF之间的关系的图。

图10是表示本发明的实施例的模糊内核的尺寸的求出方法的图。

图11是用于说明由本发明的实施例中的强调图像生成部所生成的强调图像的概念图。

图12是用于说明本发明的实施例的视差图像生成方法的图。

图13是本发明一个方案涉及的三维图像处理装置的功能结构的方框图。

图14是表示本发明的一个方案涉及的三维图像处理装置的处理动作的流程图。

具体实施方式

以下，参照附图说明本发明的实施例。另外，下面说明的实施例都是表示本发明优选的一个具体例子。换言之，以下的实施例中示出的数值、形状、材料、构成要素、构成要素的配置以及连接形式、步骤、步骤的顺序等，都是本发明的一个例子，主旨不是限制本发明。本发明根据权利要求书的记载所确定。因此，以下的实施例的构成要素中，在表示本发明的最上位概念的独立权利要求中没有记载的构成要素，不是为了达成本发明的课题而必需的，可以说明是构成更好的形式的构成要素。

此外，在以下的说明中，有时将表示图像的信号或者信息简称为“图像”。

图1是表示本发明的实施例的三维摄像装置10的全体结构的方框图。本实施例的三维摄像装置10是数字式的电子照像机，具备摄像部100、信号处理部200、以及显示部300。下面详细说明摄像部100、信号处理部200以及显示部300。

摄像部100拍摄场景的图像。场景(scene)是指由摄像部100拍摄的图像上映现的全部，除了被摄体还包括背景。

如图1所示，摄像部100具备摄像元件101、光学透镜103、滤光器104、控制部105、以及元件驱动部106。

摄像元件101是例如CCD图像传感器或者CMOS图像传感器等的固体摄像元件，由公知的半导体制造技术所制造。例如，摄像元件101具备在摄像面上布置为矩阵状的多个光感知单元。

光学透镜103在摄像元件101的摄像面上形成像。在本实施例中摄像部100具备1块光学透镜103，不过也可以具备多块光学透镜。

滤光器104是透过可见光，遮断近红外光(IR)的红外遮断滤光器。另外，摄像部100不必一定要具备滤光器104。

控制部105生成用于驱动摄像元件101的基本信号。加之，控制部105接收来自摄像元件101的输出信号，发送到信号处理部200。

元件驱动部106根据由控制部105生成的基本信号，驱动摄像元件101。

另外，这些控制部105以及元件驱动部106，由例如CCD驱动器等的LSI（LargeScaleIntegration：大规模集成）构成。

信号处理部200根据来自摄像部100的信号，生成表示图像的信号(图像信号)。如图1所示，信号处理部200具备存储器201、三维图像处理部202、以及接口部203。

三维图像处理部202利用示出场景与相机相隔的距离的距离信息，处理该场景的摄影图像。该三维图像处理部202，通过公知的数字信号处理处理器(DSP)等的硬件和执行包含图像信号生成处理的图像处理的软件的组合，能够恰好地实现。另外，关于三维图像处理部202的详细内容，利用附图在后面叙述。

存储器201由例如DRAM（DynamicRandomAccessMemory：动态随机存取存储器）等构成。在存储器201中记录有从摄像部100获得的信号，并且暂时地记录有由三维图像处理部202生成的图像数据或者其压缩图像数据。这些图像数据经由接口部203，发送到未图示的记录介质或者显示部300等。

显示部300显示摄影条件或者被拍摄的图像等。此外，显示部300是静电电容方式或者电阻膜方式等的触摸面板，也作为接受来自用户的输入的输入部来发挥作用。由用户输入的信息，通过接口部203，反映到信号处理部200以及摄像部100的控制。

此外，显示部300显示由信号处理部200生成的强调图像。另外，本实施例中显示部300可以不显示三维图像(例如视差图像)。

另外，本实施例的三维摄像装置10，还可以具备电子快门，寻像器(viewFinder)，电源(电池)，闪光等的公知的构成要素，不过，这些构成要素的说明对理解本发明没有特别的需要，所以省略其说明。

图2是表示本发明的实施例的三维图像处理部202的结构的方框图。如图2所示，三维图像处理部202具备：距离信息获得部400、距离指定部401、距离变换部402、强调图像生成部403、视差图像生成部404。

距离信息获得部400根据由摄像部100拍摄的摄影图像，获得示出场景与相机相隔的距离(以下也称为实际距离)的距离信息，

距离指定部401接受指定距离的输入，该指定距离是成为强调立体感的对象的距离。换言之，距离指定部401指定想强调立体感的距离。

距离变换部402，将距离信息示出的距离变换为立体距离，以使位于指定距离的场景的立体感被强调。换言之，距离变换部402将实际距离变换为立体距离，以使在指定距离的实际距离的变化量相比立体距离的变化量更大。另外，立体距离是用于生成三维图像（例如视差图像）的距离。

在本实施例中，距离变换部402，使用在指定距离用于将实际距离变换为立体距离的变换算式，来将实际距离变换为立体距离，该立体距离比实际距离强调了立体感。在该变换算式中，立体距离作为实际距离的函数来表示。此外，在该变换算式中，指定距离的函数(立体距离)的变化的比例大于1。这样，在指定距离，立体距离的变化量比实际距离的变化量大。

另外，距离变换部402，不一定需要用变换算式进行距离变换。距离变换部402，例如参考实际距离与立体距离相对应的表，来将实际距离变换为立体距离。

强调图像生成部403，根据立体距离来加工摄影图像，从而在指定距离生成被强调了立体感的强调图像。换言之，强调图像生成部403根据立体距离加工摄影图像，从而生成在指定距离能够看到被强调了立体感的强调图像。另外，能够看到立体感的图像是指用户能够感知立体感的图像。

在本实施例中，强调图像生成部403利用立体距离的信息，在摄影图像附加模糊，以知道强调了立体感的区域或者强调程度。具体而言，强调图像生成部403，以使指定距离和立体距离的差越大的区域模糊就越大的方式加工摄影图像，从而生成强调图像。反过来说，强调图像生成部403，以使指定距离与立体距离的差越小的区域模糊就越小的方式，加工摄影图像。

视差图像生成部404根据立体距离，生成左眼用以及右眼用的图像。换言之，视差图像生成部404利用摄影图像，生成具有与立体距离对应的视差的视差图像（例如，左眼用图像以及右眼用图像）。

这样生成的视差图像，例如输出到未图示的立体显示装置。立体显示装置，例如根据眼镜式的立体显示方式显示视差图像。眼镜式的立体显示方式是对戴眼镜（例如液晶快门眼镜或者偏振光眼镜等）的用户，显示具有视差的左眼用图像以及右眼用图像的方式。

另外，立体显示装置，没有必要一定根据眼镜式的立体显示方式来显示视差图像，也可以根据裸眼式的立体显示方式来显示视差图像。裸眼式的立体显示方式是不使用眼镜的立体显示方式（例如，视差屏障(ParallaxBarrier)方式或者柱状透镜(lenticularlens)方式等）。

接着说明如上述构成的三维图像处理部202的处理动作。

图3是表示本发明的实施例的三维图像处理部202的处理动作的流程图。

首先，距离信息获得部400，根据由摄像部100拍摄的摄影图像，获得距离信息，该距离信息示出场景与相机相隔的距离(S102)。接着，距离指定部401接受指定距离的输入(S104)。距离变换部402，将距离信息示出的场景的距离变换为立体距离，以使位于指定距离的所述场景的立体感被强调(S106)。强调图像生成部403，根据立体距离加工摄影图像，从而生成在指定距离被强调了立体感的强调图像(S108)。

在这里，需要变更指定距离的情况下（S110中的“是”），再次回到步骤S104的处理。需要变更指定距离的情况是指，例如看到显示部300显示的强调图像的用户进行指示变更指定距离的情况等。另一方面，无需变更指定距离的情况下（S110中的“否”），视差图像生成部404生成具有与立体距离对应的视差的多视点图像(S112)。

接着说明图3表示的各步骤的处理的细节。

＜距离信息获得处理(S102)＞

首先说明步骤S102的距离信息获得处理的细节。

距离信息获得部400根据由摄像部100获得的图像信号，获得场景的距离信息。在本实施例中，作为一例说明根据专利文献6记载的DepthFromDefocus法测量距离的方法，不过也可以是其他的方法（例如使用多台相机的立体法、光度立体(photometricstereo)、或者使用有源感应器的TOF法等）。

在DepthFromDefocus法中，首先，摄像部100拍摄通过改变透镜和光圈的设定而模糊互不相同的多张图像。而且，距离信息获得部400按每个像素算出这样拍摄的多张图像之间的模糊的相关量。距离信息获得部400，通过参考规定了该模糊的相关量与被摄体距离之间的关系的参考表，来获得距离信息。

图4是表示本发明的实施例的距离信息获得部400的处理动作的一例的流程图。具体而言，图4表示基于DepthFromDefocus法的距离测量的方法。

首先，距离信息获得部400，从摄像部100获得场景相同且焦点距离互不相同的2张图像(S202)。焦点距离能够通过移动透镜或者摄像元件的位置来变更。

接着，距离信息获得部400将包含成为测距对象的像素和其近旁区域的像素群的区域设定为DFD内核(S204)。该DFD内核成为测距处理的对象。DFD内核的尺寸和形式没有特别限制，不过，能够将例如以测距对象像素为中心的10×10的矩形区域等设定为DFD内核。

而且，距离信息获得部400，从改变焦点距离而拍摄的2张图像提取设定为DFD内核的区域，并按DFD内核的每个像素算出像素单位的模糊相关量(S206)。

在这里，距离信息获得部400利用针对DFD内核预先被规定的加权系数，对按DFD内核的每个像素求出的模糊相关量进行加权(S208)。该加权系数例如是这样的系数，越是DFD内核的中心该系数值越大，越是DFD内核的边缘该系数值越小。另外，作为加权系数可以利用高斯分布等以往的加权分布。通过该加权处理有这样的特征，对噪声的影响具有鲁棒性。被加权的模糊相关量的和作为DFD内核的模糊相关量来处理。

最后，距离信息获得部400使用表示距离信息和模糊相关量的关系的一览表，从模糊相关量求出距离信息(S210)。在一览表中，模糊相关量对被摄体距离的倒数具有线形关系（一览表算出处理参考非专利文献5）。另外，如果一览表中没有包含模糊相关量，则距离信息获得部400可以根据插补求出被摄体距离。此外，优选的是光学系有变更时也对一览表进行变更。于是，距离信息获得部400可以按照光圈的大小和焦点距离，预先准备多个一览表。这些光学系的设定信息在拍摄时已经知道，所以使用的一览表可以事先求出。

接着说明模糊相关量算出方法。

将以互相不同的焦点距离来拍摄的2张图像作为图像G1，G2。距离信息获得部400选择测量被摄体距离的测距对象像素，将该测距对象像素的近旁的M×M矩形区域的像素值作为DFD内核分别设定在图像G1，G2上。分别将图像G1、G2的DFD内核内的像素值设为g1(u，v)，g2(u，v)｛u，v∶1,2,3,···M｝，测距对象像素的坐标设为（cu，cv）。DFD内核内的任意的像素位置(u,v)的每个像素的模糊相关量G(u，v)由(算式3)表示。

(算式3)

$G(u,v)=\frac{C\{g1(u,v)-g2(u,v)\}}{\mathrm{\Δg}1(u,v)+\mathrm{\Δg}2(u,v)}$ (式3)

在这里C是定数，被试验性地决定。Δ表示像素值的2次微分（拉普拉斯算子：Laplacian）。这样，每个像素的模糊相关量是通过在模糊不同的2张图像的规定像素的像素值的差分除以在2个图像的规定像素的2次微分的平均值而算出的。该模糊相关量表示在图像内的像素单位中的模糊的相关程度。

根据到此为止的处理，能够获得摄影场景的距离信息。另外，距离信息获得部400不必一定进行如上的处理。距离信息获得部400也可以只单纯获得由摄像部100生成的距离信息。

＜距离指定处理(S104)＞

接着在步骤S104中，距离指定部401从用户接受指定距离的输入，该指定距离是想强调立体感的被摄体的距离。用户可以使用例如图5A所示的滑杆来指定想强调立体感的距离。

此外，用户通过针对显示部300显示的图像指定想要强调立体感的被摄体，从而将该被摄体的距离，指定为想要强调立体感的距离。这个情况下，优选的是显示部300具有触摸屏的功能。这样，如图5B所示，用户只是触碰显示部300就能容易地指定非被摄体。

＜距离变换处理(S106)＞

下面说明步骤S106的距离变换处理的细节。

距离变换部402将实际距离变换为比实际距离强调了立体感的立体距离。在本实施例中，预先准备多个用于从实际距离变换为立体距离的变换算式。距离变换部402从多个变换算式中选择适合强调指定距离的立体感的变换算式，使用选择的变换算式从实际距离变换为立体距离。

下面说明按每个距离求出适合强调立体感的变换算式的方法。在本实施例中，预先保持了根据非专利文献6示出的交叉法（辐辏立体法）的原理所得到的多个变换算式。

在辐辏立体法中，如图6所示2台相机，被设置为使各个相机的光轴交叉，通过使光轴交叉的位置前后变化，能够改变被摄体的立体距离。在辐辏立体法中，通过改变相机的间隔从而能够使光轴交叉的位置前后变化，能够控制被摄体的凸出量。因此，通过辐辏立体法使显出立体感变得简单是周知的。

根据在非专利文献6表示的算式的扩展能够得到(算式4)。

(算式4)

$\mathrm{Ld}=\frac{1}{\frac{1}{\mathrm{Ls}}-\frac{a1a2}{\mathrm{Lc}}+\frac{a1a2}{\mathrm{Lb}}}$ (式4)

通过使用(算式4)，能够求出利用DepthFromDefocus法算出的实际距离Lb与出现立体像的立体距离Ld之间的关系。在这里，Ls是视距，在摄影时，到对焦的被摄体为止的实际距离。Lc是摄影时的相机之间的光轴交叉的点为止的距离。a1是摄影时的相机间隔与左右视差图像的间隔的比。a2表示摄影时的图像的视角与视差图像的视角的比。

图7A是表示本发明的实施例的变换算式的参数的一例的图。在图7A，dc表示相机的间隔，de表示视听时的眼睛的间隔(瞳孔间隔)，α表示摄像透镜的间隔，β表示显示屏的间隔。因此，在与(算式4)的关系中，成立a1=dc/de，a2=tan(β/2)/tan(α/2)。

例如，如图7A所示设定参数的情况下，实际距离与立体距离之间的关系就会如图7B。图7B表示在条件1，2，3时的距离的变换结果。另外，在图7B中横轴表示实际距离，纵轴表示立体距离。此外，所谓条件是指多个参数（Ls，Lc等）的值的组合。

看图7B可知相对于实际距离的变化，立体距离非线性地变化。例如在条件1，2中，实际距离为40以下时，立体距离的变化量比实际距离的变化量大。此外，在条件3中，实际距离比40大时，立体距离的变化量比实际距离的变化量大。相对于实际距离的变化量，立体距离的变化量越大，则观看时越容易感知到立体感。

根据上述，在指定距离强调立体感的变换算式，需要在指定距离立体距离的变化量比实际距离的变化量大。于是，距离变换部402，在多个变换算式中，选择指定距离的立体距离的变化量最大的变换算式。距离变换部402，利用这样被选择的变换算式，将场景的实际距离变换为立体距离，从而能够得到用于强调在指定距离的立体感的立体距离。

在这里，针对变换算式的获得方法进行具体说明。首先，指定距离是1个的情况下，说明从多个变换算式中选择用于在该指定距离强调场景的立体感的变换算式的方法。

首先，预先生成与多个条件对应的多个变换算式。将实际距离d的第n个变换算式表示为f(d,n)。即，与第n个变换算式求出的实际距离d对应的立体距离表示为f(d,n)。

用于生成变换算式的条件（参数），可以根据以往的知识来决定。变换算式可以在摄影之前预先生成，也可以在设计阶段生成。在这里，设为预先生成了N个变换算式。

此外，将实际距离的范围设为从0到dmax。实际距离的范围，根据利用的场景而单位会不同，如厘米和米等，不过，本实施例中省略单位的表示。将保持实际距离d的时候的变换算式的编号n的表作为T。这个时候实际距离变化1时的立体距离的变化量表示为Δf(d，n)=f（d+1，n）－f(d，n)。

如上所述，相对于实际距离d的变化量，立体距离的变化量Δf(d，n)越大，越能强调位于实际距离d的被摄体的立体感。因此，距离变换部402，如(算式5)一样，按每个实际距离d，在N个变换算式中确定立体距离的变化量Δf(d，n)成为最大的变换算式，将确定的变换算式与实际距离d相对应地记录在表T中。

在这里关于表T的制作方法进行详细说明。首先，如(算式5)，按每个实际距离d，将立体距离的变化量Δf(d，n)在所有的变换算式中算出，确定Δf(d，n)成为最大的变换算式。这样被确定的变换算式，与实际距离d相对应地存放到表T[d]。其结果，距离变换部402，只参考表T，就能从多个变换算式中选择用于在指定距离α强调场景的立体感的变换算式。在本实施例中，通过将在各距离应该使用的变换算式的编号n存放在表T，从而减少选择变换算式时的处理量。

(算式5)

根据上述，距离变换部402，在被输入了指定距离α时，能够将实际距离0到dmax，变换为立体距离f（T[α]，0）～f（T[α]，dmax）。

接着说明在指定距离为2个以上的情况下，获得在该2个以上的指定距离用于强调场景的立体感的变换算式的方法。例如，如图8所示有2个变换算式f1，f2，将想强调场景的立体感的实际距离设为指定距离α，β。

这样的情况下，将实际距离分为3个区间，进行实际距离和立体距离的变换。3个区间如图8(b)的图表所示，实际距离是0～α的第1区间，α～β的第2区间，以及β以后的第3区间。实际距离0～α的第1区间中，利用变换算式f1，进行实际距离的变换。实际距离α～β的第2区间中，利用将变换算式f1和变换算式f2合并后的新的变换算式f3，进行实际距离的变换。实际距离β以后的第3区间中，利用变换算式f2进行实际距离的变换。

变换算式f3具有如下的性质。在实际距离α根据变换算式f1所得到的立体距离设为f1(α)，在实际距离β根据变换算式f2所得到的立体距离设为f2(β)时，α<β时成为f1(α)<f2(β)。在不满足该条件的情况下，立体距离与实际的距离反转，所以看起来不协调感变大。

因此，变换算式f3被定义为连接坐标（α，f1(α）)与坐标（β，f2(β）)的线（可以是直线以及曲线的任一方），被定义为相对于实际距离单调增加的线。例如，在f1(α)≤f2(β)时，变换算式f3被定义为直线，则变换算式f3的倾斜是“(f1(α)－f2(β))/(α－β)”，切片成为“α((f1(α)－f2(β))/(α－β))－f1(α)”。

另外，在f1(α)>f2(β)的时候，连接坐标(α，f1(α))与坐标(β，f2(β))的线表示单调减少。在这里，在变换算式f2中作为偏移加上f1(α)以上的常数T，从而以随着实际距离的增加立体距离不会减少的方式，进行算式变形。这样，在β以后的第3区间，使用f2'(d)=(f2(d)+T)≥f1(α)的变换算式f2'。

根据上述，能够定义第1区间～第3区间的变换算式。

另外，指定距离为3个的情况下，认为α与β之间有新的指定距离γ，将从α到γ的区间以及从γ到β的区间的变换算式，以与上述例子所示的变换算式f3的生成方法同样的方法来定义。这样，通过对从α到β的区间进行细分化，从而在指定距离为3个以上的情况下，也能简单地定义变换算式。

如上所述，距离变换部402，在预先保持的多个变换算式中，选择指定距离的变化比例最大的变换算式，使用选择的变换算式，将实际距离变换为立体距离。

＜强调图像生成处理(S108)＞

下面，说明步骤S108的强调图像生成处理的细节。

强调图像生成部403，根据立体图像生成显示二维图像的二维显示装置也能看到立体感的强调程度的二维图像，以作为强调图像。在本实施例中，强调图像生成部403，通过在摄影图像附加模糊，从而生成被强调了立体感的强调图像。

另外，强调图像生成部403不一定需要通过附加模糊来生成强调图像。例如，强调图像生成部403，可以通过附加阴影等，从而在二维图像表现立体感。此外，强调图像生成部403，也可以利用配景画法或者大气配景画法(将位于远方的表示为蓝色，降低对比来描绘的表现远近感的方法)来表示立体感。

在这里，更详细地说明通过附加模糊从而生成强调图像的处理。

首先，强调图像生成部403，通过在摄影图像上进行复原处理，从而生成复原图像。如果将要附加模糊的图像上存在在拍摄时产生的模糊，新附加的模糊与拍摄时产生的模糊混在一起，所以不能很好地表现立体感。

于是，在本实施例中，强调图像生成部403，利用立体距离的信息与透镜的公式，算出表示各像素的模糊的大小的模糊信息（模糊内核）。而且，强调图像生成部403，针对摄影图像的各像素，利用模糊内核进行逆卷积运算(复原处理)，从而生成所有的像素都对焦的图像（全焦点图像），以作为复原图像。

而且，强调图像生成部403，通过在这样被生成的全焦点图像上附加产生立体感的模糊，从而生成强调图像。

为了说明以上的处理，首先对图像的模糊的生成过程进行说明。设没有模糊的全焦点图像的亮度分布为s(x,y)，表示模糊的大小的模糊函数（PSF∶PointSpreadFunction）为f(x,y)。在这里为了说明简单，假定图像全体以一样的模糊函数f产生模糊。如果忽视噪声的影响，则以下的(算式6)成立。

(算式6)

i(x，y)＝s(x，y)*f(x，y)(式6)

在这里，记号“*”表示卷积运算（convolution）。图9是以图像来表现(算式6)的例子。如图9一样地全焦点图像是点时，通过以圆形状的模糊函数（细节在后边进行定义）来卷积，从而获得模糊图像s(x，y)。该模糊函数也称为模糊内核。在这里将模糊函数的圆的直径称为内核尺寸。

(算式6)的右边通常以如下(算式7)来表示。

(算式7)

$s(x,y)*f(x,y)=\stackrel{\&infin;}{\underset{-\&infin;}{\&Integral;}}\stackrel{\&infin;}{\underset{-\&infin;}{\&Integral;}}s(j,k)f(x-j,y-k)\mathrm{djdk}$ (式7)

在图像由M×N个像素组成的情况下，所述的(算式7)能够以如下(算式8)来表示。

(算式8)

$s(x,y)*f(x,y)=\frac{1}{M\&times;N}\underset{j=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}s(j,k)f(x-j,y-k)$ (式8)

通常，2个函数的卷积的傅立叶变换，由各函数的傅立叶变换的积来表示。因此，将i(x,y)，s(x,y)，f(x,y)的傅立叶变换，分别以I(u,v)，S(u,v)，F(u,v)表示时，从(算式6)能够导出以下的(算式9)。另外，(u,v)是频域中的坐标，分别与实图像的x方向以及y方向的空间频率对应。

(算式9)

I(u,v)=S(u,v)·F(u,v)(式9)

在这里，记号“·”表示在频域中的函数的“积”。将(算式9)变形时，能得到以下的(算式10)。

(算式10)

$S(u,v)=\frac{I(u,v)}{F(u,v)}$ (式10)

该(算式10)表示由相机摄影而得到的图像i(x，y)的傅立叶变换I(u，v)除以作为模糊函数PSF的f(x，y)的傅立叶变换F(u，v)所得到的函数，相当于全焦点图像s(x，y)的傅立叶变换S(u，v)。

根据以上，如果知道作为各像素的模糊函数PSF的f(x，y)，则能够从摄影图像i(x，y)求出全焦点图像s(x，y)。

于是，说明各像素的模糊函数PSF的求出方法的一例。图10表示透镜的模式图。设对离相机的距离为d的被摄体进行拍摄时的模糊内核的尺寸为B，从开口面到摄像面为止的距离为C。根据相机的设定条件，光圈的直径(开口直径)A和焦点距离f是已知的。此时，开口直径A与焦点距离f的关系，以及模糊内核B与开口面到摄像面为止的距离C及焦点距离f的差的关系是相似的，所以能够得到(算式11)。

(算式11)

A∶B＝f∶C-f(式11)

根据(算式11)，模糊内核的尺寸B可以表示为(算式12)。

(算式12)

$B=\frac{(C-f)A}{f}$ (式12)

在此，根据透镜的算式能够得到(算式13)。

(算式13)

$\frac{1}{C}+\frac{1}{d}=\frac{1}{f}$ (式13)

从相机到被摄体的距离d和焦点距离f是已知的，所以利用(算式13)时，(算式12)能够变形为(算式14)。

(算式14)

$B=\frac{(\frac{1}{(\frac{1}{d}+\frac{1}{f})}-f)A}{f}$ (式14)

强调图像生成部403，根据该(算式14)能够求出模糊内核的尺寸B。若模糊内核的尺寸B决定时，则能够得到模糊函数f(x,y)。本实施例中以抛物柱面函数(pillboxfunction)来定义模糊内核。抛物柱面函数能够以(算式15)进行定义。

(算式15)

$f(x,y)=\left\{\begin{array}{c}1:\mathrm{if}\sqrt{x^2+y^2}\&le;\frac{B}{2}\\ 0:\mathrm{otherwise}\end{array}\right.$ (式15)

根据以上的方法，强调图像生成部403求出各像素的模糊内核，得到模糊函数。而且，强调图像生成部403根据(算式10)，利用模糊函数对摄影图像进行逆卷积运算，从而生成全焦点图像。换言之，强调图像生成部403，利用表示摄影图像的模糊的特征的模糊信息，对摄影图像进行复原处理，从而生成复原图像。

接着，强调图像生成部403，通过在全焦点图像附加模糊，从而在二维显示装置，也生成在视觉上能够确认在指定距离被强调立体感（被强调立体感的位置或者强调程度）的强调图像。在本实施例中，强调图像生成部403，以在指定距离有焦点，随着离指定距离越远图像的模糊量越大的方式，加工全焦点图像，从而生成强调图像。换言之，强调图像生成部403，以指定距离与立体距离的差越大的区域附加越大的模糊的方式，生成强调图像。

此外，在本实施例中，为了对全焦点图像附加模糊，使用以(算式15)定义的抛物盒函数。强调图像生成部403，随着指定距离与立体距离之间的差变大，使具有该立体距离的图像区域的模糊量增加。

作为增加模糊量的方法，可以考虑以下的方法，例如立体距离偏离10，则扩大抛物盒函数的内核尺寸（3×3扩大为5×5尺寸）。于是，强调图像生成部403在全焦点图像的所有的像素，按照各像素的立体距离与指定距离之间的差的大小，来决定模糊内核的尺寸。而且，强调图像生成部403，按照被决定的模糊内核的尺寸，对全焦点图像的各像素附加模糊。

根据以上的处理，强调图像生成部403，能够在指定距离对焦，以指定距离与立体距离离得越远模糊越大的方式，生成强调图像。

图11是用于说明由本发明的实施例中的强调图像生成部403所生成的强调图像的概念图。图11的(a)～(d)表示的图像包含了具有立体距离d1，d2，d3的被摄体。在这里，立体距离d1，d2，d3满足d1<d2<d3的关系。此外，立体距离d1，d2，d3也满足d2-d1=d3-d2的关系。

图11的(a)示出全焦点图像。在全焦点图像中立体距离d1，d2，d3的被摄体的焦点是对焦的。

图11的(b)示出指定距离α与d1相等的情况下的强调图像。如图11的(b)所示，在指定距离α＝d1的情况下，比起具有立体距离d2的被摄体，具有立体距离d3的被摄体被附加更大的模糊。

图11的(c)示出指定距离α与d2相等的情况下的强调图像。如图11的(c)所示，在指定距离α＝d2的情况下，具有立体距离d1，d3的被摄体被附加了模糊。在这里，立体距离d1与d2之间的差等于d3与d2之间的差，所以具有立体距离d1，d3的被摄体被附加了同样大小的模糊。

图11的(d)示出指定距离α与d3相等的情况下的强调图像。如图11的(d)所示，在指定距离α＝d3的情况下，比起具有立体距离d2的被摄体，具有立体距离d1的被摄体被附加更大的模糊。

这样，强调图像生成部403，以指定距离与立体距离的差越大的区域模糊越大的方式加工摄影图像，从而生成强调图像。而且，强调图像生成部403，将生成的强调图像输出到作为二维显示装置的显示部300。而且，通过显示部300显示强调图像，从而用户在拍摄时能够定性地确认哪个区域的立体感被强调。

＜视差图像生成处理(S112)＞

最后，视差图像生成部404利用立体距离与全焦点图像，生成视差图像(这里的视差图像是指左眼用图像和右眼用图像的2张图像)。下面，将全焦点图像称为纹理(或纹理图像)，将立体距离的值作为像素值来表现的图像称为距离图像。

下面说明从纹理图像和距离图像生成左眼用图像的方法。图12表示距离图像与纹理图像，以及左眼用图像与被摄体的距离的关系。图12内的记号的含义如下。

A∶距离测量位置

B∶左视差位置

C，D∶被摄体

E∶左视差位置的光轴

G，I∶在被摄体C，D的左眼用相机的摄影位置

f∶距离测量位置的焦点距离

d∶A与B的距离

Z，Z'∶到C，D为止的距离

X1，X2∶摄影图像上的坐标

若知道与纹理图像的像素(u，v)对应的左眼用图像的像素，通过将纹理图像的像素(u，v)的像素值复制到左眼用图像的对应的像素上，从而能够生成左眼用图像。在图12焦点距离f和从相机到被摄体为止的距离Z，Z'是已知的。此外，距离d是在预先生成视差图像时能够任意设定的值，所以是已知的。在此，三角形ABC和三角形EIB相似，以及三角形ABD和EGB相似，所以能够得到(算式16)。

(算式16)

f∶Z′＝X2∶d，f∶Z＝X1∶d(式16)

对(算式16)进行算式变形，则能得到(算式17)。

(算式17)

$X2=\frac{\mathrm{fd}}{Z^{\&prime;}},X1=\frac{\mathrm{fd}}{Z}$ (式17)

因为上述，立体距离为Z的时候，纹理图像的像素(u，v)在左眼用图像中与像素（u-X1，v）对应。于是，视差图像生成部404通过将纹理图像的像素(u，v)的像素值复制到左眼用图像的像素（u-X1，v）。同样，视差图像生成部404在立体距离是Z'的情况下，可以将纹理图像的像素(u，v)的像素值复制到左眼用图像的像素（u-X2，v）。

视差图像生成部404通过对距离图像包含的所有像素进行以上的处理，从而能够生成左眼用图像。通过复制到与左眼用图像左右相反的位置而生成右眼用图像。以刚才的例子来说明时，与左眼用图像的像素（u-X1，v）对应的右眼用图像的像素成为像素（u+X1，v）。这样，视差图像生成部404能够生成强调了位于用户希望的距离的被摄体的立体感的视差图像，能够根据三维显示装置将被摄体立体地表示。

如上所述，本实施例涉及的三维摄像装置具有如下效果，通过指定想强调立体感的场景的距离，按照辐辏立体法以不出现物理上的不协调感的方式，将实际距离变换为立体距离。

换言之，根据本实施例涉及的三维摄像装置，能够将距离信息示出的距离变换为立体距离，以使位于指定距离的场景的立体感被强调。因此，即使是不习惯拍摄三维图像的摄影者拍摄的图像，也能得到希望的被摄体的立体感被强调的图像。

此外，通过生成摄影者能够看到立体感的强调图像，发挥这样的效果，摄影者在摄影中能够确认哪个区域的立体感强调了多少。其结果，能够有效率地提高摄影图像的立体感。

此外，本实施例涉及的三维摄像装置，以使指定距离与立体距离的差越大的区域模糊越大的方式，加工摄影图像，从而生成强调图像。换言之，能够将强调图像作为二维图像来生成。因此，为了显示强调图像不一定需要三维显示装置，例如能够简化摄像装置的构成。

此外，本实施例涉及的三维摄像装置，通过对摄影图像进行复原处理而生成的复原图像附加模糊，从而能够生成强调图像。因此，能够抑制因摄影图像中包含的模糊，而降低立体感的可见性。

以上，针对本发明的一个方案涉及的三维摄像装置根据实施例来进行了说明，不过，本发明不被这些实施例所限定。只要不超出本发明的宗旨，则同业者想出的各种变形例实施在本发明的实施例的例子，也包括在本发明的范围内。

例如，在所述实施例中，强调图像生成部作为强调图像生成了二维图像，不过，也可以作为强调图像生成三维图像。在这个情况下，优选的是显示部能够立体显示三维图像。这样，摄影者通过观看在显示部上立体表示的强调图像，能够确认在指定距离被强调的立体感。

此外，三维图像处理部，不一定具备距离信息获得部以及视差图像生成部。这个情况下，距离变换部例如从摄像部获得距离信息就可以。此外，视差图像可以由显示部生成。

此外，所述实施例的各种处理中，按每个像素进行了处理，不过，也可以例如按由多个像素组成的区域的每一个区域进行处理。

此外，在所述实施例，三维图像处理部包含在三维摄像装置中，不过，也可以从三维摄像装置独立出来作为三维图像处理装置来实现。利用图13以及图14来说明将这样的三维图像处理装置的一例。

图13是本发明的一个方案涉及的三维图像处理装置500的功能构成的方框图。此外，图14是表示本发明的一个方案涉及的三维图像处理装置500的处理动作的流程图。如图13所示，三维图像处理装置500具备距离指定部501和距离变换部502和强调图像生成部503。

如图14所示，首先，距离指定部501接受指定距离的输入，该指定距离是成为强调立体感的对象的距离(S302)。接着，距离变换部502，将距离信息示出的距离变换为用于生成三维图像的立体距离，以使位于指定距离的场景的立体感被强调(S304)。最后，强调图像生成部503，通过根据立体距离加工摄影图像，从而生成在指定距离被强调了立体感的强调图像(S306)。这样，三维图像处理装置500利用距离信息，强调在指定距离的摄影图像的立体感。

(其他变形例)

另外，本发明也包含如下的情况。

(1)所述的三维图像处理装置，具体而言是由下述构成的计算机系统∶微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等。所述RAM或者硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，从而三维图像处理装置实现其功能。在此，计算机程序是为了实现规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。

(2)构成上述的三维图像处理装置的构成要素的一部分或全部可以由1个系统LSI(LargeScaleintegration:大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。通过由所述微处理器按照所述计算机程序工作，系统LSI实现其功能。

(3)构成上述三维图像处理装置的构成要素的一部分或全部也可以由相对于三维图像处理装置可拆装的IC卡或者单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或者所述模块可以包含上述超多功能LSI。通过由微处理器按照计算机程序工作，所述IC卡或者所述模块实现其功能。该IC卡或者模块也可以具有耐篡改性。

(4)本发明也可以是所述示出的方法。此外，也可以是通过计算机实现这些方法的计算机程序，也可以是由计算机程序构成的数字信号。

此外，本发明也可以是将所述计算机程序或所述数字信号记录到计算机可读取的非一时的记录介质，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM，蓝光盘(BD∶Blu-rayDisc(注册商标))、半导体存储器等。此外，也可以是记录在这些记录介质的所述数字信号。

还有，本发明中所述计算机程序或者所述数字信号通过以电气通信线路，无线或者有线通信线路，互联网为代表的网络、数据广播等来传送。

此外，本发明是包括微处理器和存储器的计算机系统，所述存储器可以存储所述计算机程序，所述微处理器可以按照所述计算机程序工作。

还有，通过所述记录介质记录并移送所述计算机程序或者所述数字信号，或者经由所述网络等移送所述计算机程序或者所述数字信号，从而由其他独立的计算机系统实施。

(5)也可以分别组合所述实施例以及所述变形例。

工业实用性

本发明涉及的三维图像处理装置以及三维摄像装置，在摄影图像中，能够强调在指定距离的立体感，能够作为数字图片相机、数字摄像机或者计算机软件等来使用。

符号说明

10三维摄像装置

100摄像部

101摄像元件

103光学透镜

104滤光器

105控制部

106元件驱动部

200信号处理部

201存储器

202三维图像处理部

203接口部

300显示部

400距离信息获得部

401，501距离指定部

402，502距离变换部

403，503强调图像生成部

404视差图像生成部

500三维图像处理装置

Claims (7)

1.一种三维图像处理装置，利用示出场景与相机相隔的距离的距离信息，处理所述场景的摄影图像，所述三维图像处理装置具备：

距离指定部，接受指定距离的输入，该指定距离是成为强调立体感的对象的距离；

距离变换部，将所述距离信息示出的距离变换为立体距离，以使得在所述指定距离下用于生成三维图像的立体距离的变化量大于所述距离信息示出的距离的变化量；以及

强调图像生成部，通过以使所述指定距离与所述立体距离之间的差越大的区域模糊就越大的方式，加工所述摄影图像，从而生成按照所述指定距离而强调了用户能够感知的立体感的强调图像，

所述距离变换部，利用变换算式将所述距离信息示出的距离变换为所述立体距离，在所述变换算式中所述立体距离作为所述距离信息示出的距离的函数来表示，所述指定距离下的所述函数的变化的比例大于1。

2.如权利要求1所述的三维图像处理装置，

所述强调图像生成部，通过利用示出所述摄影图像的模糊的特征的模糊信息，对所述摄影图像进行复原处理，从而生成复原图像，通过对所述指定距离与所述立体距离之间的差越大的区域附加越大的模糊，从而生成所述强调图像。

3.如权利要求1所述的三维图像处理装置，

所述三维图像处理装置，还具备视差图像生成部，

所述视差图像生成部，根据所述摄影图像，生成具有与所述立体距离对应的视差的视差图像，以作为所述三维图像。

4.如权利要求1所述的三维图像处理装置，

所述距离变换部，利用预先保持的多个变换算式中的在所述指定距离的变化的比例最大的变换算式，将所述距离信息示出的距离变换为所述立体距离。

5.如权利要求1所述的三维图像处理装置，

所述三维图像处理装置被构成为集成电路。

6.一种三维摄像装置，具备：

权利要求1至5的任一项所述的三维图像处理装置；

摄像部，拍摄所述场景的摄影图像；以及

显示部，显示所述强调图像。

7.一种三维图像处理方法，利用示出场景与相机相隔的距离的距离信息，处理所述场景的摄影图像，所述三维图像处理方法包括：

距离指定步骤，接受指定距离的输入，该指定距离是成为强调立体感的对象的距离；

距离变换步骤，将所述距离信息示出的距离变换为立体距离，以使得在所述指定距离下用于生成三维图像的立体距离的变化量大于所述距离信息示出的距离的变化量；以及

强调图像生成步骤，通过以使所述指定距离与所述立体距离之间的差越大的区域模糊就越大的方式，加工所述摄影图像，从而生成按照所述指定距离而强调了用户能够感知的立体感的强调图像，

在所述距离变换步骤中，利用变换算式将所述距离信息示出的距离变换为所述立体距离，在所述变换算式中所述立体距离作为所述距离信息示出的距离的函数来表示，所述指定距离下的所述函数的变化的比例大于1。