CN102812715B - 三维图像摄影装置以及三维图像拍摄方法 - Google Patents

Abstract

三维图像摄影装置(100)，生成用于根据输入图像生成三维图像的深度信息，三维图像摄影装置(100)具备：摄影部(130)，通过进行拍摄，从而获得输入图像；被摄体指定部(110)，指定由摄影部(130)获得的输入图像内的被摄体；分辨率设定部(120)，设定表示互不相同的深度位置的多个深度值，以使得在与输入图像的深度方向平行的方向上，由被摄体指定部(110)指定的被摄体近旁的深度分辨率，比距该被摄体远离的位置的深度分辨率高；以及深度图生成部(140)，按照输入图像的每个区域，从由分辨率设定部(120)设定的多个深度值中决定示出对应的区域的深度位置的深度值，从而生成与输入图像对应的二维的深度信息。

Description

三维图像摄影装置以及三维图像拍摄方法

技术领域

本发明涉及三维图像摄影装置以及三维图像拍摄方法，尤其涉及生成用于根据输入图像生成三维图像的深度信息的三维图像摄影装置以及三维图像拍摄方法。

背景技术

以往，开发了利用按照图像的每个区域示出深度值的深度信息(深度图：Depth Map)，从二维图像生成三维图像的技术。深度值(Depth Value)是，示出图像的深度方向的值，例如，是相当于从摄像机到被摄体为止的距离的值。在从利用摄像机拍摄的图像生成深度信息的情况下，按照图像的每个区域，从预先规定的多个深度值中决定一个深度值，从而能够生成深度信息。

例如，专利文献1中公开，从焦点距离不同的多个图像制作全焦点图像的技术。通过利用该技术，能够生成示出每个像素的深度值的深度图。

(现有技术文献)

(专利文献)

专利文献1：日本特开2001－333324号公报

发明概要

发明要解决的问题

然而，所述的以往技术中存在的问题是，不能同时实现运算成本的增加的抑制、和立体感的提高。

以往，利用预先规定的多个深度值。也就是说，深度分辨率为固定。深度分辨率是，示出多个深度值的不均匀程度的值，多个深度值越稠密，深度分辨率就越高，多个深度值越疏散，深度分辨率就越低。

图1是示出以往的深度分辨率的图。

在图1(a)中，从距摄像机远的一侧(望远端)到近的一侧(广角端)为止之间，预先规定10个深度值d₁至d₁₀。对于深度信息中包含的深度值，由于从预先规定的10个深度值d₁至d₁₀中选择，因此，对于注视被摄体的深度值，选择d₆或d₇。也就是说，注视被摄体的深度值，仅由d₆以及d₇的两个值表现。因此，在将输入图像转换为三维图像的情况下，几乎不能表现注视被摄体的立体感，生成布景性的三维图像。

另一方面，在图1(b)中，从距摄像机远的一侧到近的一侧为止之间，预先规定19个深度值d₁至d₁₉。在此情况下，注视被摄体的深度值，由d₁₁、d₁₂以及d₁₃的三个值表现，因此，与图1(a)的情况相比，能够提高立体感。

然而，在决定注视被摄体的深度值时，需要进行用于对19个深度值d₁至d₁₉分别决定深度值的运算。因此，与图1(a)的情况相比，运算成本(处理量)增大。并且，为了保持对深度值d₁至d₁₉的每一个的运算结果而使用存储量变大。

发明内容

于是，为了解决所述的以往的问题，本发明的目的在于提供一种三维图像摄影装置以及三维图像拍摄方法，能够抑制运算成本的增加、减少布景感、并且提高立体感。

用于解决问题的手段

为了解决所述的问题，本发明的实施方案之一涉及的三维图像摄影装置，生成深度信息，该深度信息用于根据输入图像生成三维图像，所述三维图像摄影装置具备：摄影部，通过进行拍摄，从而获得所述输入图像；指定部，指定由所述摄影部获得的输入图像内的第一被摄体；分辨率设定部，将表示互不相同的深度位置的多个深度值，设定为多个初始深度值，以使得在与所述输入图像的深度方向平行的方向上，由所述指定部指定的第一被摄体近旁的深度分辨率，比距该第一被摄体远离的位置的深度分辨率高；以及深度信息生成部，按照所述输入图像的每个二维的区域，从由所述分辨率设定部设定的多个深度值中决定示出对应的区域的深度位置的深度值，从而生成与所述输入图像对应的所述深度信息。

据此，通过提高指定的被摄体近旁的深度分辨率，从而能够增加表示被摄体近旁的深度位置的深度值的候选。因此，能够减少指定的被摄体的布景感，能够提高立体感。并且，此时，使被摄体近旁的深度分辨率比其他的区域的分辨率高即可，因此，例如，不需要增加整体的深度值的候选，而能够抑制运算成本的增加。

并且，也可以是，所述分辨率设定部，通过将互不相同的预先规定的多个深度位置的至少一个，与由所述指定部指定的第一被摄体的深度位置接近，从而设定所述多个初始深度值。

据此，通过将预先规定的深度位置与被摄体的深度位置接近，从而能够增加表示被摄体近旁的深度位置的深度值的候选，能够提高立体感。并且，仅使预先规定的深度位置移动，而不增加深度值的数量，因此能够抑制运算成本的增加。

并且，也可以是，所述分辨率设定部，进一步，将示出所述第一被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第一被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，所述深度信息生成部，按照所述输入图像的每个二维的区域，从所述多个初始深度值和所述追加深度值中决定一个深度值。

据此，通过在被摄体近旁设定追加深度值，从而能够增加表示被摄体近旁的深度位置的深度值的候选，因此，能够进一步提高立体感。

并且，也可以是，所述三维图像摄影装置，还具备：显示部，显示立体效果图像，该立体效果图像示出利用所述输入图像和所述深度信息生成所述三维图像时的立体效果；以及立体效果调整部，根据来自用户的指示调整所述立体效果的强弱，所述分辨率设定部，在由所述立体效果调整部进行了使所述立体效果增强的设定的情况下，设定所述追加深度值。

如此，在有来自用户的指示的情况下，设定追加深度值，因此，能够表现用户意图的立体感。因此，能够抑制因进行用户不意图的立体感的表现而导致的运算成本的增加。

并且，也可以是，所述三维图像摄影装置还具备三维图像生成部，该三维图像生成部，利用所述输入图像和所述深度信息，根据所述输入图像生成所述三维图像，所述显示部，显示作为所述立体效果图像的所述三维图像。

据此，由于显示三维图像，因此，用户能够直接判断立体效果。因此，由于用户能够容易进行立体效果的调整，因此能够表现用户意图的立体感。因此，能够抑制因进行用户不意图的立体感的表现而导致的运算成本的增加。

并且，也可以是，所述指定部，进一步，追加指定由所述摄影部获得的输入图像内的、与所述第一被摄体不同的第二被摄体，所述分辨率设定部，进一步，将示出所述第二被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第二被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，所述深度信息生成部，按照所述输入图像的每个二维的区域，从所述多个初始深度值和所述追加深度值中决定一个深度值。

据此，追加指定被摄体，提高追加指定的被摄体近旁的深度分辨率，从而能够提高多个被摄体的立体感。例如，在确认第一次设定的第一被摄体的立体感之后，想要提高其他的被摄体的立体感的情况下等，通过追加指定第二被摄体，从而除了能够提高第一被摄体的立体感以外，还能够提高第二被摄体的立体感。

并且，也可以是，所述指定部，进一步，追加指定由所述摄影部获得的输入图像内的、与所述第一被摄体不同的第二被摄体，所述分辨率设定部，进一步，通过将所述多个初始深度值示出的多个深度位置的至少一个，与由所述指定部追加指定的第二被摄体的深度位置接近，从而更新所述多个初始深度值。

据此，追加指定被摄体，提高追加指定的被摄体近旁的深度分辨率，从而能够提高多个被摄体的立体感。例如，在确认第一次设定的第一被摄体的立体感之后，想要提高其他的被摄体的立体感的情况下等，通过追加指定第二被摄体，从而除了能够提高第一被摄体的立体感以外，还能够提高第二被摄体的立体感。此时，仅使第一次设定的深度位置移动，而不增加深度值的数量，因此能够抑制运算成本的增加。

并且，也可以是，所述深度信息生成部，按照所述输入图像的每个二维的区域，(a)计算成本函数，该成本函数与由所述分辨率设定部设定的多个深度值分别对应，且表示对应的深度值的妥当性，(b)将与示出深度值为最妥当的成本函数对应的深度值，决定为对应的区域的深度值。

据此，利用每个深度值的成本函数，决定最妥当的深度位置，因此，从深度值的候选中能够决定最佳的深度值，能够提高立体感。

并且，也可以是，所述三维图像摄影装置还具备成本函数保持部，该成本函数保持部，保持所述深度信息生成部计算出的成本函数。

据此，保持计算出的成本函数，因此，不需要再次进行运算，能够抑制运算成本的增加。

并且，也可以是，所述成本函数保持部，按照所述输入图像的每个二维的区域，将所述深度信息生成部计算出的成本函数，与所述多个深度值对应地保持。

据此，将计算出的成本函数，按每个区域、且按每个深度位置保持，因此，例如，在设定追加深度值的情况下，仅进行与追加深度值对应的成本函数的运算，与保持的成本函数进行比较即可，能够抑制运算成本的增加。

并且，也可以是，所述分辨率设定部，进一步，将示出所述第一被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第一被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，所述深度信息生成部，进一步，按照所述输入图像的每个二维的区域，(a)计算与所述追加深度值对应的成本函数，(b)将计算出的成本函数与所述追加深度值对应地存放到所述成本函数保持部。

据此，在设定追加深度值的情况下，仅进行与追加深度值对应的成本函数的运算，与保持的成本函数进行比较即可，能够抑制运算成本的增加。

并且，也可以是，所述成本函数保持部，按照所述输入图像的每个二维的区域，仅将示出深度值为最妥当的成本函数，与对应的深度值对应地保持。

据此，通过仅保持计算出的成本函数中的深度值最妥当的成本函数，从而能够有效利用存储器资源。

并且，也可以是，所述分辨率设定部，进一步，将示出所述第一被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第一被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，所述深度信息生成部，进一步，按照所述输入图像的每个二维的区域，(a)计算与所述追加深度值对应的成本函数，(b)对计算出的成本函数与所述成本函数保持部中存放的成本函数进行比较，(c)(i)在计算出的成本函数示出，比所述成本函数保持部中存放的成本函数更妥当的情况下，将所述追加深度值决定为对应的区域的深度值，并且，将所述成本函数保持部中存放的成本函数替换为该计算出的成本函数，(ii)在所述成本函数保持部中存放的成本函数示出，比计算出的成本函数更妥当的情况下，将与所述成本函数保持部中存放的成本函数对应的深度值，决定为对应的区域的深度值。

据此，在设定追加深度值的情况下，仅进行与追加深度值对应的成本函数的运算，与保持的最妥当的成本函数进行比较即可，能够抑制运算成本的增加。

并且，也可以是，所述三维图像摄影装置还具备显示部，该显示部，强调由所述指定部指定的第一被摄体来显示所述输入图像。

据此，能够向用户出示指定的被摄体。

而且，本发明，除了能够作为三维图像摄影装置来实现以外，还能够作为将构成该三维图像摄影装置的处理部作为步骤的方法来实现。并且，也可以作为使计算机执行这样的步骤的程序来实现。进而，也可以作为记录了该程序的计算机可读取的CD－ROM(Compact Disc－Read OnlyMemory)等的记录介质、以及示出该程序的信息、数据或信号来实现。而且，也可以将这些程序、信息、数据以及信号，通过互联网等通信网络分发。

并且，构成所述的各个三维图像摄影装置的构成要素的一部分或全部也可以，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM以及RAM(Random Access Memory)等构成的计算机系统。

发明效果

根据本发明，能够抑制运算成本的增加、减少布景感、并且提高立体感。

附图说明

图1是示出以往的深度分辨率的图。

图2是示出本发明的实施例涉及的三维图像摄影装置的结构的一个例子的方框图。

图3是示出本发明的实施例涉及的深度分辨率的一个例子的图。

图4是示出本发明的实施例涉及的深度分辨率的另一个例子的图。

图5是示出本发明的实施例涉及的深度分辨率的另一个例子的图。

图6A是示出本发明的实施例涉及的用于指定一个被摄体的用户界面的一个例子的图。

图6B是示出本发明的实施例涉及的用于指定多个被摄体的用户界面的一个例子的图。

图7A是示出本发明的实施例涉及的用于调整立体效果的用户界面的一个例子的图。

图7B是示出本发明的实施例涉及的用于调整立体效果的用户界面的一个例子的图。

图8是示出本发明的实施例涉及的输入图像和深度图的关系的一个例子的图。

图9是示出本发明的实施例涉及的多个深度值和标识符的关系的一个例子的图。

图10是示出本发明的实施例涉及的成本函数保持部保持的数据的一个例子的图。

图11是示出本发明的实施例涉及的成本函数保持部保持的数据的另一个例子的图。

图12是示出本发明的实施例涉及的三维图像摄影装置的工作的一个例子的流程图。

图13是示出本发明的实施例涉及的深度分辨率的设定处理的一个例子的流程图。

图14是示出本发明的实施例涉及的三维图像摄影装置的工作的另一个例子的流程图。

图15是示出本发明的实施例涉及的三维图像摄影装置的工作的另一个例子的流程图。

图16是示出本发明的实施例的变形例涉及的三维图像摄影装置的结构的一个例子的方框图。

具体实施方式

以下，参照附图说明，本发明的实施例里涉及的三维图像摄影装置以及三维图像拍摄方法。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立请求要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

本发明的实施例涉及的三维图像摄影装置，其中，具备：摄影部，通过进行拍摄，从而获得输入图像；指定部，指定输入图像内的被摄体；分辨率设定部，设定表示互不相同的深度位置的多个深度值，以提高指定的被摄体近旁的深度分辨率：深度信息生成部，按照输入图像的每个区域，从设定的多个深度值中决定示出对应的区域的深度位置的深度值，从而生成与输入图像对应的深度信息。

图2是示出本发明的实施例涉及的三维图像摄影装置100的结构的一个例子的方框图。三维图像摄影装置100，生成用于根据二维的输入图像生成三维图像的深度信息(深度图)。

如图2示出，三维图像摄影装置100具备，被摄体指定部110、分辨率设定部120、摄影部130、深度图生成部140、成本函数保持部150、三维图像生成部160、显示部170、立体效果调整部180、以及记录部190。

被摄体指定部110，指定由摄影部130获得的输入图像内的被摄体(注视被摄体)。此时，被摄体指定部110，也可以指定多个被摄体。被摄体指定部110，例如，指定通过用户界面，由用户指定的被摄体。具体而言，被摄体指定部110，指定通过由显示部170显示的用于从用户接受被摄体的指定的用户界面，用户指示的被摄体。

或者，被摄体指定部110也可以，通过对输入图像进行图像识别处理，从而确定指定区域，将确定的指定区域指定为注视被摄体。图像识别处理是，例如，脸识别处理以及边缘检测处理等。被摄体指定部110也可以，通过对输入图像进行脸识别处理，从而确定人物的脸区域，将确定的脸区域指定为注视被摄体。

并且，被摄体指定部110，也可以追加指定与第一次指定的被摄体(第一被摄体)不同的第二被摄体。此时，被摄体指定部110，也可以追加指定多个第二被摄体。

而且，在此，第一被摄体是，指定第二被摄体时，已经成为提高深度分辨率的处理的对象的被摄体，第二被摄体是，还没有成为提高深度分辨率的处理的对象的被摄体。具体而言，被摄体指定部110，在确认用户对第一被摄体进行了提高深度分辨率的处理后的立体效果之后，即，在深度图被生成一次之后，将重新指定了的被摄体，追加指定为第二被摄体。

分辨率设定部120，进行提高由被摄体指定部110指定的被摄体的深度分辨率的处理。也就是说，分辨率设定部120，设定示出互不相同的深度位置的多个深度值，以使得在与输入图像的深度方向平行的方向上，由摄体指定部110指定的被摄体近旁的深度分辨率，比距该被摄体远离的位置的深度分辨率高。

而且，深度方向是指，相对于二维的输入图像正交的方向。换而言之，深度方向是，二维的输入图像的前后方向、即从画面朝向用户的方向(或，从用户朝向画面的方向)。并且，深度方向上的被摄体近旁的区域包含，被摄体、和深度方向上的被摄体的周围(前后)的区域。

并且，深度分辨率是，示出互不相同的多个深度位置的不均匀程度的值。具体而言，多个深度位置越稠密，深度分辨率就越高，多个深度值越疏散，深度分辨率就越低。换而言之，深度方向上的规定的区域内中包含的深度位置的数量越多，深度分辨率就越高，该区域内中包含的深度位置的数量越少，深度分辨率就越低。

而且，对于分辨率设定部120的详细工作，利用图3至图5，在后面进行说明。

摄影部130，通过进行拍摄，从而获得输入图像。摄影部130具备，例如，透镜等的光学系统、和将射入光转换为电信号(输入图像)的摄像元件。将透镜以及摄像元件的至少一方移动，从而能够变更透镜与摄像元件之间的距离，变更聚焦(合焦位置)。

而且，深度图生成部140进行的深度值的决定方法有，DFD(Depthfrom Defocus)方式以及DFF(Depth from Focus)方式等。按照该方式，摄影部130，变更输入图像的获得方法。

在DFD方式中，例如，摄影部130，一边变更聚焦(合焦位置)，一边进行多次拍摄，从而按照每个合焦位置获得输入图像。例如，获得作为在望远端(最远端)的图像的最远端图像和作为在广角端(最近端)的图像的最近端图像的两张图像，以作为输入图像。

在DFF方式(焦点堆栈方式)中，例如，摄影部130，一边变更合焦位置，一边进行多次拍摄，从而按照每个合焦位置获得输入图像。此时，摄影部130，获得深度值的个数的输入图像。也就是说，摄影部130，通过将多个深度值示出的多个深度位置分别作为合焦位置来拍摄，从而获得与多个深度位置分别对应的输入图像。

而且，对于深度图生成部140进行的深度值的决定方法，不仅限于DFD方式或DFF方式，也可以利用其他的深度决定方法。

深度图生成部140是，深度信息生成部的一个例子，按照输入图像的每个二维的区域，将对应的区域的深度位置，从由分辨率设定部120设定的多个深度值中决定，从而生成与输入图像对应的二维的深度信息(深度图)。在此，输入图像的二维的区域是，例如，由1像素、或多个像素构成的区域。

例如，深度图生成部140，按照输入图像的每个二维的区域，计算与由分辨率设定部120设定的多个深度值分别对应的、表示对应的深度值的妥当性的成本函数。而且，深度图生成部140，决定与表示最妥当的成本函数对应的深度值，以作为对应的区域的深度值。对于深度图生成部140的详细工作，在后面进行说明。

成本函数保持部150是，用于保持由深度图生成部140计算出的成本函数的存储器。对于由成本函数保持部150保持的数据，在后面进行详细说明。

三维图像生成部160，利用输入图像和深度图，根据输入图像生成三维图像。而且，对于此时利用的输入图像，并不需要与用于深度图的生成的图像完全相同。三维图像，例如，由具有视差的左眼用图像和右眼用图像构成。视听者(用户)，左眼看左眼用图像，右眼看右眼用图像，从而能够立体地感知三维图像。

三维图像生成部160，具体而言，按照输入图像的每个二维的区域，利用对应的深度值生成视差信息。视差信息是，示出左眼用图像与右眼用图像的视差的信息。例如，视差信息示出，使对应的区域向左右方向位移的量(像素数)，三维图像生成部160，通过使对应的区域向左右方向位移，从而生成左眼用图像和右眼用图像。

显示部170，显示示出利用输入图像和深度图生成三维图像时的立体效果的立体效果图像。立体效果图像，由立体效果调整部180生成。或者，立体效果图像也可以是，例如，由三维图像生成部160生成的三维图像。

并且，显示部170，显示GUI(Graphical User Interface：图形用户界面)。GUI是，例如，用于从用户接受被摄体的指定的界面，以及用于调整立体效果的强弱的界面等。对于GUI的具体例，在后面进行说明。

立体效果调整部180，根据来自用户的指示调整立体效果的强弱。具体而言，立体效果调整部180，通过由显示部170显示的立体效果调整用的GUI，接受来自用户的指示。此时，立体效果调整部180，为了使用户确认立体效果，而可以生成表示根据输入图像生成三维图像时的立体效果的立体效果图像。

例如，立体效果调整部180，从用户接受，使哪个被摄体的立体效果增强或减弱哪种程度的指示。也就是说，立体效果调整部180，从用户接受示出成为立体效果的调整的对象的被摄体、和强弱的程度的指示。接受的指示，被通知到分辨率设定部120。

记录部190，将由三维图像生成部160生成的三维图像、即左眼用图像和右眼用图像记录到记录介质等。或者，记录部190也可以记录，由摄影部130获得的输入图像、和由深度图生成部140生成的深度图。而且，记录介质是，例如，三维图像摄影装置100具有的内部存储器，或者，与三维图像摄影装置100能够连接的存储卡等。

接着，说明本发明的实施例涉及的深度分辨率的设定处理。

图3是示出本发明的实施例涉及的深度分辨率的一个例子的图。

如图3(a)示出，与图1(a)同样，在从三维图像摄影装置100(摄像机)远的一侧(望远端)到近的一侧(广角端)之间，预先规定10个深度值d₁至d₁₀。也就是说，在本实施例涉及的三维图像摄影装置100中，预先规定深度值的个数，在图3(a)示出的例子中，为10个。

在此，被摄体指定部110，将在深度值d₆示出的深度位置和d₇示出的深度位置之间存在的被摄体，指定为注视被摄体。分辨率设定部120，通过将10个深度位置的至少一个与注视被摄体近旁的深度位置接近，如图3(b)示出，设定10个深度值d₁至d₁₀。

具体而言，分辨率设定部120，调整预先规定为等间距的多个深度值，从而以注视被摄体为中心，与注视被摄体远越离，相邻的深度值间的间隔就越宽。换而言之，分辨率设定部120，通过以使注视被摄体近旁的深度值的间隔变窄的方式来设定多个深度值，从而提高注视被摄体近旁的深度分辨率。

总之，分辨率设定部120，设定多个深度值，以使注视被摄体近旁的区域中包含的深度值的个数，比距注视被摄体远离的区域(例如，望远端或广角端附近的区域)中包含的深度值的个数多。换而言之，分辨率设定部120，以使注视被摄体近旁的深度值成为稠密的方式来，设定多个深度值。

据此，在图3(a)示出的例子中，注视被摄体的深度值，仅由d₆以及d₇的两个值表现，对此，在图3(b)示出的例子中，注视被摄体的深度值，由d₅、d₆以及d₇的三个值表现。据此，与图3(a)的情况相比，能够提高立体感。此时，整体的深度值的个数，照原样为10个，因此，用于决定深度值的运算成本也不变。因此，也能够抑制运算成本的增加。

如此，分辨率设定部120，通过将互不相同的预先规定的多个深度位置的至少一个，与由摄体指定部110指定的被摄体近旁的深度位置接近，从而设定多个深度值。据此，能够增加表示被摄体近旁的深度位置的深度值的候选，能够提高立体感。并且，仅使预先规定的深度位置移动，而不增加深度值的数量，因此，能够抑制运算成本的增加。

而且，优选的是，在针对输入图像初次指定被摄体的情况下执行该处理，即，在第一次指定第一被摄体的情况下执行该处理。换而言之，分辨率设定部120，通过将预先规定的多个深度位置的至少一个，与由被摄体指定部110第一次指定的第一被摄体近旁的深度位置接近，从而设定多个初始深度值。多个初始深度值是图3(b)示出的d₁至d₁₀，是进行提高深度分辨率的处理至少一次后的深度值。

图4是示出本发明的实施例涉及的深度分辨率的另一个例子的图。

在此，如图4(b)示出，在注视被摄体近旁，追加新的深度值d₁₁以及d₁₂。也就是说，分辨率设定部120，将示出作为与图3(b)示出的多个初始深度值d₁至d₁₀各自示出的深度位置不同的深度位置的、注视被摄体近旁的深度位置的新的深度值d₁₁以及d₁₂，设定为追加深度值。此时，深度图生成部140，按照输入图像的每个二维的区域，从初始深度值d₁至d₁₀和追加深度值d₁₁以及d₁₂中决定一个深度值。

如此，通过在被摄体近旁设定追加深度值，从而能够增加表示被摄体近旁的深度位置的深度值的候选。据此，能够更提高注视被摄体的深度分辨率，能够更提高注视被摄体的立体感。

而且，优选的是，在初始深度值的设定以及深度图的生成完成后进行追加深度值的设定。具体而言，在初始深度值的设定完成后，由深度图生成部140，利用初始深度值生成深度图。而且，在显示部170中，利用生成的深度图和输入图像显示立体效果图像，并且，显示接受用于来自用户的对立体效果的强弱进行调整的指示的GUI。

立体效果调整部180，在通过由显示部170显示的GUI，从用户接受使立体效果增强的指示的情况下，向分辨率设定部120通知该指示。分辨率设定部120，在由立体效果调整部180进行了使立体效果增强的设定的情况下，设定追加深度值。据此，例如，在确认第一次设定的第一被摄体的立体感之后，想要提高其他的被摄体的立体感的情况下等，通过追加指定第二被摄体，从而除了能够提高第一被摄体的立体感以外，还能够提高第二被摄体的立体感。

此时，深度图生成部140，由于已经计算出与初始深度值对应的成本函数，因此仅计算与追加深度值对应的成本函数即可。也就是说，不需要再次计算与已经设定的初始深度值对应的成本函数。因此，能够将提高立体效果所需要的运算成本的增加抑制到最小限度。

图5是示出本发明的实施例涉及的深度分辨率的另一个例子的图。

在本实施例中，如上所述，被摄体指定部110，能够追加指定与第一被摄体不同的第二被摄体。图5示出，在追加指定第二被摄体的情况下的深度分辨率的一个例子。

分辨率设定部120，设定示出作为与多个初始深度值d₁至d₁₀各自示出的深度位置不同的深度位置的、追加被摄体近旁的深度位置的新的深度值(追加深度值d₁₁以及d₁₂)。此时，深度图生成部140，从初始深度值d₁至d₁₀和追加深度值d₁₁以及d₁₂中，按照输入图像的每个二维的区域设定一个深度值。

据此，除了能够提高注视被摄体的深度分辨率以外，还能够提高重新指定的追加被摄体的深度分辨率，能够提高注视被摄体以及追加被摄体的立体感。

而且，优选的是，在初始深度值的设定以及深度图的生成完成后进行第二被摄体的追加。具体而言，在初始深度值的设定完成后，由深度图生成部140，利用初始深度值，生成深度图。而且，显示部170，利用生成的深度图和输入图像显示立体效果图像，并且，显示用于接受来自用户的被摄体的追加的GUI。

被摄体指定部110，在通过由显示部170显示的GUI，从用户接受第二被摄体的指定的指示的情况下，追加指定第二被摄体。分辨率设定部120，在第二被摄体被追加指定的情况下，以提高第二被摄体的深度分辨率的方式来设定深度值。据此，除了能够提高第一次指定的第一被摄体的深度分辨率以外，还能够提高重新追加指定的第二被摄体的深度分辨率，能够提高第一被摄体以及第二被摄体的立体感。

接着，说明本发明的实施例涉及的显示部170显示的GUI的例子。

图6A是示出本发明的实施例涉及的用于指定一个被摄体的用户界面的一个例子的图。

如图6A示出，显示部170，强调由被摄体指定部110指定的被摄体，显示输入图像。被摄体的强调方法有，例如，使被摄体的轮廓变粗的方法、以高光显示被摄体的方法、或反转显示被摄体的颜色的方法等。

进而，显示部170，显示表示被摄体的深度位置的直方图200。直方图200的纵轴，表示像素数。在图6A示出的例子中，表示在深度方向的中央附近存在指定的被摄体。

进而，显示部170，显示表示立体效果的立体效果图像201。在图6A示出的例子中，立体效果图像201，以浓淡的图样表示立体效果。具体示出，图样浓的区域的立体效果强、即深度值稠密，图样淡的区域的立体效果弱、即深度值疏散。如图6A示出，在本实施例中，包含指定的被摄体的区域的立体效果提高了。

此时，显示部170，例如，显示光标等，据此，被摄体指定部110，能够接受来自用户的被摄体的指示。例如，在用户进行围绕由显示部170显示的图像内的规定的区域的操作的情况下，被摄体指定部110，提取该区域中包含的被摄体，指定提取的被摄体。或者，被摄体指定部110，也可以指定该区域本身，以作为被摄体。区域中包含的被摄体的提取是，例如，由以区域为对象的边缘检测处理、脸识别处理、以及颜色检测处理等的图像处理进行的。

图6B是示出本发明的实施例涉及的用于指定多个被摄体的用户界面的一个例子的图。

如图6B示出，显示部170，强调由被摄体指定部110指定的被摄体，显示输入图像。据此，能够向用户出示指定的被摄体。被摄体的强调方法有，例如，使被摄体的轮廓变粗的方法、以高光显示被摄体的方法、或反转显示被摄体的颜色的方法等。此时，也可以在第一次指定的第一被摄体、与第二次以后指定的第二被摄体之间，变更强调的方法。在图6B示出的例子中，以不同影线示出被摄体不同。

显示部170，与图6A同样，显示表示被摄体的深度位置的直方图210。在图6B示出的例子中，表示在深度方向的中央附近存在指定的第一被摄体，且在深度方向的远端侧存在追加指定的第二被摄体。

在追加指定第二被摄体的情况下，分辨率设定部120，如图5(b)示出，通过在追加被摄体(第二被摄体)近旁设定追加深度值，从而提高追加被摄体的深度分辨率。据此，除了能够提高第一被摄体的立体效果以外，还能够提高第二被摄体近旁的立体效果。

进而，显示部170，显示表示立体效果的立体效果图像211。立体效果图像211，与图6A示出的立体效果图像201同样，以浓淡的图样表示立体效果。在图6B示出的例子中，第一被摄体近旁以及第二被摄体近旁的立体效果提高了。

如此，在有来自用户的指示的情况下，设定追加深度值，因此，能够表现用户意图的立体感。因此，能够抑制因进行用户不意图的立体感的表现而导致的运算成本的增加。

图7A以及图7B是示出本发明的实施例涉及的用于调整立体效果的用户界面的一个例子的图。

在图7A以及图7B示出的例子中，在画面内显示立体效果调整条。用户，通过操作立体效果调整条，从而能够调整立体效果的强弱。

例如，如图7A示出，在用户使立体效果减弱的情况下，立体效果调整部180，生成指定被摄体的立体效果减弱的立体效果图像221。具体而言，立体效果图像，以浓淡的图样显示立体效果，因此，立体效果调整部180，生成指定被摄体的浓度变淡的立体效果图像221。

进而，立体效果调整部180，根据用户指示进行使立体效果减弱的设定。而且，分辨率设定部120，在进行使立体效果减弱的设定的情况下，例如，通过将多个初始深度值示出的深度位置中的、注视被摄体近旁的深度位置间的间隔变宽，从而能够使立体效果减弱。例如，分辨率设定部120，更新多个深度值，以越使立体效果减弱，就越将注视被摄体近旁的深度位置间的间隔变宽。

或者，分辨率设定部120，也可以删除多个初始深度值中的、示出注视被摄体近旁的深度位置的初始深度值。例如，分辨率设定部120，越使立体效果减弱，就越使注视被摄体近旁的深度值中要删除的个数增加。据此，也能够使立体效果减弱。

另一方，如图7B示出，在用户使立体效果增强的情况下，立体效果调整部180，生成指定被摄体的立体效果增强的立体效果图像222。具体而言，立体效果调整部180，生成指定被摄体的浓度变浓的立体效果图像222。

进而，立体效果调整部180，根据用户指示进行使立体效果增强的设定。而且，分辨率设定部120，在进行使立体效果增强的设定的情况下，例如，通过将多个初始深度值示出的深度位置中的、注视被摄体近旁的深度位置间的间隔变窄，从而能够使立体效果增强。例如，分辨率设定部120，更新多个深度值，以越使立体效果增强，就越将注视被摄体近旁的深度位置间的间隔变窄。

或者，如图4(b)示出，也可以在注视被摄体近旁设定追加深度值。例如，分辨率设定部120，越使立体效果增强，就越使注视被摄体近旁的追加深度值的个数增加。据此，也能够使立体效果增强。

接着，说明本发明的实施例涉及的深度图的生成处理的一个例子。

图8是示出本发明的实施例涉及的输入图像和深度图(深度信息)的关系的一个例子的图。

输入图像包含，排列为m行×n列的矩阵状的像素A₁₁至A_mn。

深度图是深度信息的一个例子，是按照输入图像的每个二维的区域示出深度值的图像。在图8示出的例子中，深度图，按照输入图像的每个像素示出深度值。换而言之，输入图像中包含的像素与深度图的像素一一对应。具体而言，与输入图像的像素A_ij对应的深度值为D_ij。在此，i，满足1≤i≤m，j，满足1≤j≤n。

图9是示出本发明的实施例涉及的多个深度值和标识符的关系的一个例子的图。

分辨率设定部120，对设定的多个深度值分别赋予标识符。在图9示出的例子中，分辨率设定部120，在设定N个深度值的情况下，对与摄像机最远的深度值赋予标识符“1”，对与摄像机最近的深度值赋予标识符“N”。

而且，标识符的赋予方法不仅限于此，例如，也可以对与摄像机最远的深度值赋予标识符“N”，对与摄像机最近的深度值赋予标识符“1”。或者，也可以不赋予标识符，而将深度值的值本身作为标识符来利用。

图10是示出本发明的实施例涉及的成本函数保持部150保持的数据的一个例子的图。

深度图生成部140，按照输入图像的每个二维的区域，计算与多个深度值分别对应的成本函数，将计算出的成本函数存放到成本函数保持部150。具体而言，成本函数保持部150，将由深度图生成部140计算出的成本函数，按照输入图像的每个二维的区域，与多个深度值对应地保持。如此，成本函数保持部150，保持计算出的成本函数，因此，深度图生成部140不需要再次进行运算，能够抑制运算成本的增加。

在图10示出的例子中，成本函数保持部150，保持与由分辨率设定部120设定的多个深度值分别所对应的标识符“1”至“N”、和输入图像的像素A₁₁至A_mn对应的成本函数。具体而言，首先，深度图生成部140，计算与标识符“d”和像素A_ij对应的成本函数Cost[A_ij][d]。而且，深度图生成部140，将计算出的成本函数Cost[A_ij][d]存放到成本函数保持部150。

在此，说明具体的成本函数的计算方法。

首先，说明DFD方式时的、最远端图像和最近端图像被获得为输入图像时的成本函数的计算方法。而且，非专利文献1“CodedAperture Pairsfor Depth from Defocus”(Changyin Zhou，Stephen Lin，Shree Nayer)公开详细内容。

成本函数由以下的(式1)表示。

【算式1】

(式1) $E\left(\hat{d}\right|F_1,F_2,\mathrm{\σ})=\underset{{\hat{F}}_0}{\min }\underset{i=\mathrm{1,2}}{\mathrm{\Σ}}{\left|\right|{\hat{F}}_0\·K_i^{\hat{d}}-F_i\left|\right|}^2+{\left|\right|C\·{\hat{F}}_0\left|\right|}^2$

在此，F₁以及F₂是，对两张不同模糊图像进行频率转换而得到的频率系数。具体而言，F₁是，对最近端图像进行频率转换而得到的频率系数，F₂是，对最远端图像进行频率转换而得到的频率系数。

并且，K_i ^d是，对PSF(Point Spread Function：点扩散函数)进行频率转换而得到的OTF(Optical Transfer Function：光学传递函数)。深度图生成部140，将与合焦位置对应的PSF或OTF保持在内部存储器等。例如，K₁ ^d是F₁、即与最近端图像对应的OTF，K₂ ^d是F₂、即与最远端图像对应的OTF。

F₀，由以下的(式2)表示。而且，C是，主要用于噪声对策的调整用系数。

【算式2】

(式2) ${\hat{F}}_0=\frac{F_1\·{\stackrel{\‾}{K}}_1^{\hat{d}}+F_2\·{\stackrel{\‾}{K}}_2^{\hat{d}}}{{\left|K_1^{\hat{d}}\right|}^2+{\left|K_2^{\hat{d}}\right|}^2+{\left|C\right|}^2}$

在此，K-是K的复共轭。深度图生成部140，计算(式1)的右项后，通过逆频率转换，将计算结果转换为空间区域。而且，深度图生成部140，按每个像素，决定成本函数成为最小的深度值d。而且，由(式1)表示的成本函数，值越小，就越示出深度值妥当。也就是说，成本函数成为最小的深度值是，最妥当的深度值，表示对应的像素的深度位置。

并且，在获得作为输入图像的全焦点图像的情况下，深度图生成部140，与所述同样，也能够利用PSF计算成本函数，决定示出深度值最妥当的成本函数。

如此，深度图生成部140，利用每个深度值的成本函数，决定最妥当的深度位置，因此，从深度值的候选中能够决定最佳的深度值，能够提高立体感。

接着，说明DFF方式时的成本函数的计算方法。此时，获得分别在由分辨率设定部120设定的多个深度值示出的深度位置对焦的多个图像，以作为输入图像。

深度图生成部140，按照输入图像的每个区域计算对比度。具体而言，深度图生成部140，按每个像素，决定与多个输入图像的对比度成为最大的输入图像对应的深度位置，以作为该像素的深度值。也就是说，对比度为最大的情况，相当于示出最妥当的深度值的成本函数。

而且，在已经计算出与初始深度值对应的成本函数，且由成本函数保持部150保持的状态下，在由分辨率设定部120重新追加设定深度值的情况下，深度图生成部140，仅计算与重新追加的深度值(追加深度值)对应的成本函数即可。而且，深度图生成部140，将计算出的成本函数与追加深度值对应地存放到成本函数保持部150即可。如此，在设定了追加深度值的情况下，深度图生成部140，仅进行与追加深度值对应的成本函数运算，与保持的成本函数进行比较即可。据此，能够抑制运算成本的增加。

并且，成本函数保持部150也可以，按照输入图像的每个二维的区域，仅将示出深度值为最妥当的成本函数，与对应的深度值对应地保持。利用图11说明具体例。

图11是示出本发明的实施例涉及的成本函数保持部150保持的数据的另一个例子的图。例如，成本函数保持部150，如图11示出，按照输入图像的每个像素，将图9示出的标识符(深度ID)、与成本函数的最小值Cost min对应地保持。

而且，在已经计算出与初始深度值对应的成本函数，且由成本函数保持部150保持函数的最小值的状态下，在由分辨率设定部120重新追加设定深度值的情况下，深度图生成部140，仅计算与重新追加的深度值(追加深度值)对应的成本函数即可。而且，深度图生成部140，对计算出的成本函数、与成本函数保持部150保持的成本函数进行比较。

在与成本函数保持部150保持的成本函数相比，计算出的成本函数示出更妥当的情况下，深度图生成部140，决定追加深度值，以作为对应的区域的深度值。进而，在此情况下，深度图生成部140，将由成本函数保持部150保持的成本函数，替换为计算出的成本函数。也就是说，在计算出的成本函数比成本函数的最小值小的情况下，深度图生成部140，决定追加深度值，以作为对应的区域的深度值，并且，替代由成本函数保持部150保持的成本函数的最小值，而存放计算出的成本函数。

并且，在与计算出的成本函数相比，成本函数保持部150保持的成本函数示出更妥当的情况下，深度图生成部140，决定与成本函数保持部150保持的成本函数对应的深度值，以作为对应的区域的深度值。此时，不进行成本函数的替换。

如此，在设定了追加深度值的情况下，仅进行与追加深度值对应的成本函数的运算，与保持的成本函数进行比较即可，能够抑制运算成本的增加。并且，成本函数保持部150，仅保持计算出的成本函数中的深度值最妥当的成本函数即可，因此，能够有效利用存储器资源。

接着，说明本发明的实施例涉及的三维图像摄影装置100的工作的一个例子。

图12是示出本发明的实施例涉及的三维图像摄影装置100的工作的一个例子的流程图。而且，图12示出根据DFD方式生成深度图时的工作。

首先，被摄体指定部110，指定被摄体(S110)。例如，被摄体指定部110，将图6A所示的被摄体指定用的GUI，与由摄影部130获得的输入图像重叠，来显示在显示部170，并接受来自用户的被摄体的指定的指示。而且，根据接受的指示，被摄体指定部110，指定被摄体。

接着，摄影部130，通过进行拍摄，获得输入图像(S120)。在此，摄影部130，获得最远端图像和最近端图像的两张输入图像。

接着，分辨率设定部120，设定多个深度值，以使得在与输入图像的深度方向平行的方向上，由被摄体指定部110指定的被摄体近旁的深度分辨率提高(S130)。图13示出具体的处理。

图13是示出本发明的实施例涉及的深度分辨率的设定处理的一个例子的流程图。

首先，分辨率设定部120(或者，对三维图像摄影装置100整体进行控制的控制部)，通过对透镜进行控制，从而对焦于由被摄体指定部110指定的被摄体(S131)。

而且，分辨率设定部120，根据此时的透镜信息获得到被摄体为止的距离(S132)，将获得的距离转换为深度值。而且，透镜信息是，例如，示出对焦于指定的被摄体时的合焦距离(1cm至∞(无限)等)的信息。据此，分辨率设定部120，能够获得由被摄体指定部110指定的被摄体的深度位置。

而且，分辨率设定部120，根据获得的深度位置，决定深度分辨率(S133)。也就是说，分辨率设定部120，设定表示互不相同的深度位置的多个深度值，以使被摄体近旁的深度分辨率，比距被摄体远离的位置的深度分辨率高。例如，分辨率设定部120，通过将互不相同的预先规定的多个深度位置的至少一个，与指定的被摄体的深度位置接近，如图3(b)示出，将多个深度值设定为多个初始深度值。

返回到图12，接着，深度图生成部140，生成与输入图像对应的深度信息(深度图)(S140)。具体而言，深度图生成部140，按照输入图像的每个像素，将示出对应的像素的深度位置的深度值，从由分辨率设定部120设定的多个深度值中决定，从而生成深度图。在此，深度图生成部140，如上所述，根据DFD方式，按照(式1)以及(式2)，计算成本函数，按每个像素决定成本函数成为最小的深度值。

接着，三维图像生成部160，根据输入图像和深度图生成三维图像(S150)。而且，显示部170，显示由三维图像生成部160生成的三维图像(S160)。

在此，立体效果调整部180，判定是否从用户接受立体效果的调整的指示(S170)。具体而言，立体效果调整部180，将图7A以及图7B示出的立体效果调整条等的立体效果调整用的GUI，显示在显示部170。而且，立体效果调整部180，判定是否通过立体效果调整用的GUI，接受立体效果的调整的指示。

在用户指示立体效果的调整的情况下(S170的“是”)，立体效果调整部180，根据用户的指示，设定使被摄体的立体效果增强或减弱哪种程度(S180)。

例如，在由立体效果调整部180进行使立体效果增强的设定的情况下，分辨率设定部120，设定示出被摄体近旁的深度位置的新的深度值(S130)。而且，此时，不需要进行图13示出的聚焦的控制(S131)以及到被摄体为止的距离的获得(S132)。也就是说，分辨率设定部120，根据已经获得的被摄体的深度位置，在其近旁设定追加深度值即可。

而且，深度图生成部140，进一步，仅计算与追加深度值对应的成本函数(S140)。也就是说，对于与初始深度值对应的成本函数，由于已经计算出，因此，在此不需要再次计算。据此，能够抑制运算成本的增加。

而且，在由立体效果调整部180进行使立体效果减弱的设定的情况下，分辨率设定部120，将被摄体近旁的深度值的间隔变宽，或者，将被摄体近旁的深度值除外，从而更新深度值。

以后，同样进行三维图像的生成(S150)、显示(S160)、以及立体效果的调整的判定(S170)。

在用户不指示立体效果的调整的情况下(S170的“否”)，记录部190，将三维图像记录到记录介质(S190)。而且，此时，记录部190，也可以记录输入图像和深度图。

而且，在本实施例中，也可以不生成三维图像。例如，也可以替代生成三维图像，在步骤S150中，立体效果调整部180，生成表示利用输入图像和深度图生成三维图像时的立体效果的立体效果图像。在此情况下，在步骤S160中，显示部170，显示图7A以及图7B示出的表示立体效果图像221或222等的立体效果的立体效果图像。

接着，对于追加指定被摄体时的工作的一个例子，利用图14进行说明。

图14是示出本发明的实施例涉及的三维图像摄影装置100的工作的另一个例子的流程图。而且，对于图14示出的流程图，由于与图12示出的流程图大致相同，因此，在此，以不同之处为中心进行说明，省略相同之处的说明。

在此，在立体效果的调整的判定(S170)中，在接受新的被摄体的追加指定的情况下，判定为需要立体效果的调整(S170的“是”)。而且，此时，被摄体指定部110，将用于接受被摄体的指定的GUI显示在显示部170，通过该GUI从用户接受被摄体的追加指定。

在从用户接受被摄体的追加指定的情况下(S170的“是”)，被摄体指定部110，追加指定由用户指示的被摄体(第二被摄体)(S175)。在此情况下，立体效果调整部180，对通过立体效果调整用的GUI追加指定的第二被摄体的立体效果进行调整(S180)。也就是说，立体效果调整部180，根据用户指示，设定使第二被摄体的立体效果增强或减弱哪种程度。

例如，在由立体效果调整部180进行使立体效果增强的设定的情况下，分辨率设定部120，设定示出追加被摄体近旁的深度位置的新的深度值(S130)。而且，此时，根据图13示出的流程图，控制聚焦(S131)，获得到重新追加的被摄体为止的距离(S132)。或者，通过从已经在步骤S140中生成的深度图，获得示出追加被摄体的像素位置的深度值，从而也可以获得到追加被摄体为止的距离。

而且，分辨率设定部120，通过重新追加示出追加被摄体近旁的深度位置的深度值，从而决定深度分辨率(S133)。而且，深度图生成部140，进一步，仅计算与追加深度值对应的成本函数(S140)。也就是说，对于与初始深度值对应的成本函数，由于已经计算出，因此，在此不需要再次计算。据此，能够抑制运算成本的增加。

图15是示出本发明的实施例涉及的三维图像摄影装置的工作的另一个例子的流程图。而且，图15示出根据DFF方式(焦点堆栈方式)生成深度图时的工作。而且，对于图15示出的流程图，由于与图12示出的流程图大致相同，因此，在此，以不同之处为中心进行说明，省略相同之处的说明。

在基于DFF方式的情况下，按每个深度位置需要对应的多个输入图像。因此，通过在深度分辨率的设定(S130)之后进行拍摄(S120)，从而获得与设定的多个深度值示出的多个深度位置一一对应的多个输入图像。

而且，也可以通过预先获得多个合焦位置的输入图像，从而不进行追加的拍摄。也就是说，也可以预先拍摄深度值的个数以上的、与更新或追加深度值时可取的值相当的合焦位置的输入图像。据此，在更新预先规定的深度值的情况下，或者，在重新追加深度值的情况下，更新为与由拍摄而获得的多个输入图像的合焦位置对应的深度值，或者，追加该深度值即可。

如此，本发明的实施例涉及的三维图像摄影装置100，以使指定的被摄体近旁的深度分辨率提高的方式，设定多个初始深度值，根据设定的初始深度值生成深度图。而且，在使用户确认利用生成的深度图时的立体效果后，能够接受被摄体的追加、以及立体效果的调整的设定。

如上所述，本发明的实施例涉及的三维图像摄影装置100具备：摄影部130，通过进行拍摄，从而获得输入图像；被摄体指定部110，指定输入图像内的被摄体；分辨率设定部120，以使指定的被摄体近旁的深度分辨率提高的方式，设定示出互不相同的深度位置的多个深度值；以及深度图生成部140，通过按照输入图像的每个区域，将示出对应的区域的深度位置的深度值，从设定的多个深度值中决定，从而生成与输入图像对应的深度图。

据此，通过提高指定的被摄体近旁的深度分辨率，从而能够增加表示被摄体近旁的深度位置的深度值的候选。因此，能够减少指定的被摄体的布景感，提高立体感。并且，此时，由于使被摄体近旁的深度分辨率比其他的区域的分辨率高即可，因此，例如，不需要增加整体的深度值的候选，能够抑制运算成本的增加。

以上，对于本发明涉及的三维图像摄影装置以及三维图像拍摄方法，根据实施例进行了说明，但是，本发明不仅限于这样的实施例。只要不脱离本发明的宗旨，对该实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态，也包含在本发明的范围内。

例如，在图5示出的例子中，分辨率设定部120，在第二被摄体近旁设定了新的深度值，但也可以，通过更新初始深度值，从而提高第二被摄体近旁的深度分辨率。具体而言，分辨率设定部120也可以，通过将多个初始深度值示出的多个深度值的至少一个，与由被摄体指定部110追加指定的第二被摄体近旁的深度值接近，从而更新多个初始深度值。

据此，例如，在确认第一次设定的第一被摄体的立体感后，想要提高其他的被摄体的立体感的情况下等，被摄体指定部110追加指定第二被摄体，从而除了能够提高第一被摄体的立体感以外，还能够提高第二被摄体的立体感。此时，分辨率设定部120，仅使第一次设定的深度位置移动，而不增加深度值的数量，因此，能够抑制运算成本的增加。

并且，在图6A以及图6B示出的例子中，显示部170示出以浓淡的图样表示的立体效果图像201以及211，但也可以，替代立体效果图像201以及211，而将由三维图像生成部160生成的三维图像作为立体效果图像来显示。据此，用户能够直接看根据输入图像生成的三维图像，来确认立体效果，因此，能够进行更适当的立体效果的调整。

也就是说，由于显示部170显示三维图像，因此，用户，能够直接判断立体效果。据此，由于用户能够容易进行立体效果的调整，因此能够表现用户意图的立体感。因此，能够抑制因进行用户不意图的立体感的表现而导致的运算成本的增加。

并且，在图13示出的例子中示出，根据透镜信息求出被摄体的深度位置的例子，但也可以，例如，针对预先规定的多个深度值，计算利用了PSF的成本函数，从而决定被摄体的深度值。在此情况下，对于被摄体的深度值，得知大概的位置即可，因此，针对比实际决定深度值时少的数量的深度值，计算成本函数即可。也就是说，通过进行简单的深度图的生成(相当于图12的S140的处理)，从而也可以设定被摄体的深度值。据此，能够抑制运算成本的增大。

并且，在第一次指定了多个被摄体的情况下，也可以替代被摄体的追加(S175)，而将被摄体的指定除外。在此情况下，也可以将除外了的被摄体近旁的深度位置，与仍然指定的被摄体近旁接近、或追加。

并且，所述实施例涉及的三维图像摄影装置包括的各个处理部，以作为典型的集成电路的LSI来实现。可以将它们分别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。例如，本实施例涉及的集成电路具备，被摄体指定部110、分辨率设定部120、以及深度图生成部140。

在此，称为LSI，但是根据集成度的不同，有时被称为IC(IntegratedCircuit∶集成电路)、系统LSI、超LSI、特大LSI。

并且，集成电路化不仅限于LSI，而可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field ProgrammableGate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对各个处理部进行集成化。可以考虑生物技术的应用等的可能性。

并且，本发明的实施例涉及的三维图像摄影装置的功能的一部分或全部也可以是，通过CPU(Central Processing Unit：中央处理器)等的处理器执行程序，从而实现的。

进而，本发明可以是所述程序，也可以是记录有所述程序的记录介质。并且，当然，能够通过互联网等的传输介质来分发所述程序。

并且，在上述利用了的数字都是为了具体说明本发明而示出的例子，本发明不仅限于以例子来示出的数字。并且，构成要素间的连接关系是为了具体说明本发明而示出的例子，实现本发明的功能的连接关系不仅限于此。

进而，所述的实施例，利用硬件和/或软件构成，利用硬件的结构是，也能够利用软件构成的，利用软件的结构是，也能够利用硬件构成的。

并且，所述的实施例涉及的三维图像摄影装置的结构是为了具体说明本发明而示出的例子，本发明涉及的三维图像摄影装置，不一定需要具备所述结构的全部。换而言之，本发明涉及的三维图像摄影装置，仅具备能够实现本发明的效果的最小限度的结构即可。

例如，图16是示出本发明的实施例的变形例涉及的三维图像摄影装置300的结构的一个例子的方框图。如图16示出，本发明的实施例涉及的三维图像摄影装置300具备，被摄体指定部110、分辨率设定部120、摄影部130、以及深度图生成部140。而且，对于各个处理部，由于进行与附上图2示出的相同参照符号的处理部相同的处理，因此，在此省略说明。

如此，本发明涉及的三维图像摄影装置，即使在如图16所示仅具备最小限度的结构的情况下，也能够抑制运算成本的增加，并且，能够提高立体效果。

同样，由所述的三维图像摄影装置的三维图像拍摄方法，是为了具体说明本发明而示出的例子，本发明涉及的由三维图像摄影装置的三维图像拍摄方法，不一定需要具备所述步骤的全部。换而言之，本发明涉及的三维图像拍摄方法，仅包括能够实现本发明的效果的最小限度的步骤即可。并且，执行所述的步骤的顺序，是为了具体说明本发明而示出的例子，也可以是所述以外的顺序。并且，也可以所述步骤的一部分，与其他的步骤同时(并行)执行。

工业实用性

本发明具有，能够抑制运算成本的增加、减少布景感、并且提高立体感的效果，例如，能够利用于数字摄像机等。

符号说明

100、300三维图像摄影装置

110被摄体指定部

120分辨率设定部

130摄影部

140深度图生成部

150成本函数保持部

160三维图像生成部

170显示部

180立体效果调整部

190记录部

200、210直方图

201、211、221、222立体效果图像

Claims (12)

1.一种三维图像摄影装置，生成深度信息，该深度信息用于根据输入图像生成三维图像，所述三维图像摄影装置具备：

摄影部，通过进行拍摄，从而获得所述输入图像；

指定部，指定由所述摄影部获得的输入图像内的第一被摄体；

分辨率设定部，将表示互不相同的深度位置的多个深度值，设定为多个初始深度值，以使得在与所述输入图像的深度方向平行的方向上，由所述指定部指定的第一被摄体近旁的深度分辨率，比距该第一被摄体远离的位置的深度分辨率高；以及

深度信息生成部，按照所述输入图像的每个二维的区域，从由所述分辨率设定部设定的多个深度值中决定示出对应的区域的深度位置的深度值，从而生成与所述输入图像对应的所述深度信息，

所述分辨率设定部，通过将互不相同的预先规定的多个深度位置的至少一个，与由所述指定部指定的第一被摄体的深度位置接近，从而设定所述多个初始深度值，

所述三维图像摄影装置，还具备：

显示部，显示立体效果图像，该立体效果图像示出利用所述输入图像和所述深度信息生成所述三维图像时的立体效果；以及

立体效果调整部，根据来自用户的指示调整所述立体效果的强弱，

所述分辨率设定部，进一步，在由所述立体效果调整部进行了使所述立体效果增强的设定的情况下，将示出所述第一被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第一被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，

所述深度信息生成部，按照所述输入图像的每个二维的区域，从所述多个初始深度值和所述追加深度值中决定一个深度值。

2.如权利要求1所述的三维图像摄影装置，

所述三维图像摄影装置还具备三维图像生成部，该三维图像生成部，利用所述输入图像和所述深度信息，根据所述输入图像生成所述三维图像，

所述显示部，显示作为所述立体效果图像的所述三维图像。

3.如权利要求1所述的三维图像摄影装置，

所述指定部，进一步，追加指定由所述摄影部获得的输入图像内的、与所述第一被摄体不同的第二被摄体，

所述分辨率设定部，进一步，将示出所述第二被摄体近旁的深度位置的新的深度值设定为追加深度值，所述第二被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，

所述深度信息生成部，按照所述输入图像的每个二维的区域，从所述多个初始深度值、在所述第一被摄体近旁设定的追加深度值、以及在所述第二被摄体近旁设定的追加深度值中决定一个深度值。

4.如权利要求1所述的三维图像摄影装置，

所述指定部，进一步，追加指定由所述摄影部获得的输入图像内的、与所述第一被摄体不同的第二被摄体，

所述分辨率设定部，进一步，通过将所述多个初始深度值示出的多个深度位置的至少一个，与由所述指定部追加指定的第二被摄体的深度位置接近，从而更新所述多个初始深度值。

5.如权利要求1所述的三维图像摄影装置，

所述深度信息生成部，按照所述输入图像的每个二维的区域，

(a)计算成本函数，该成本函数与由所述分辨率设定部设定的多个深度值分别对应，且表示对应的深度值的妥当性，

(b)将与示出深度值为最妥当的成本函数对应的深度值，决定为对应的区域的深度值。

6.如权利要求5所述的三维图像摄影装置，

所述三维图像摄影装置还具备成本函数保持部，该成本函数保持部，保持所述深度信息生成部计算出的成本函数。

7.如权利要求6所述的三维图像摄影装置，

所述成本函数保持部，按照所述输入图像的每个二维的区域，将所述深度信息生成部计算出的成本函数，与所述多个深度值对应地保持。

8.如权利要求7所述的三维图像摄影装置，

所述深度信息生成部，进一步，按照所述输入图像的每个二维的区域，

(a)计算与所述追加深度值对应的成本函数，

(b)将计算出的成本函数与所述追加深度值对应地存放到所述成本函数保持部。

9.如权利要求6所述的三维图像摄影装置，

所述成本函数保持部，按照所述输入图像的每个二维的区域，仅将示出深度值为最妥当的成本函数，与对应的深度值对应地保持。

10.如权利要求9所述的三维图像摄影装置，

所述深度信息生成部，进一步，按照所述输入图像的每个二维的区域，

(a)计算与所述追加深度值对应的成本函数，

(b)对计算出的成本函数与所述成本函数保持部中存放的成本函数进行比较，

(c)(i)在计算出的成本函数示出，比所述成本函数保持部中存放的成本函数更妥当的情况下，将所述追加深度值决定为对应的区域的深度值，并且，将所述成本函数保持部中存放的成本函数替换为该计算出的成本函数，(ii)在所述成本函数保持部中存放的成本函数示出，比计算出的成本函数更妥当的情况下，将与所述成本函数保持部中存放的成本函数对应的深度值，决定为对应的区域的深度值。

11.如权利要求1所述的三维图像摄影装置，

所述显示部强调由所述指定部指定的第一被摄体来显示所述输入图像。

12.一种三维图像拍摄方法，生成深度信息，该深度信息用于根据输入图像生成三维图像，所述三维图像拍摄方法包括：

拍摄步骤，通过进行拍摄，从而获得所述输入图像；

指定步骤，指定在所述拍摄步骤获得的输入图像内的被摄体；

分辨率设定步骤，将表示互不相同的深度位置的多个深度值，设定为多个初始深度值，以使得在与所述输入图像的深度方向平行的方向上，在所述指定步骤指定的被摄体近旁的深度分辨率，比距该被摄体远离的位置的深度分辨率高；以及

深度信息生成步骤，按照所述输入图像的每个二维的区域，从在所述分辨率设定步骤设定的多个深度值中决定示出对应的区域的深度位置的深度值，从而生成与所述输入图像对应的所述深度信息，

在所述分辨率设定步骤中，通过将互不相同的预先规定的多个深度位置的至少一个，与由所述指定步骤指定的被摄体的深度位置接近，从而设定所述多个初始深度值，

所述三维图像拍摄方法还包括：

显示步骤，显示立体效果图像，该立体效果图像示出利用所述输入图像和所述深度信息生成所述三维图像时的立体效果；以及

立体效果调整步骤，根据来自用户的指示调整所述立体效果的强弱，

所述分辨率设定步骤中，进一步，在所述立体效果调整步骤中进行了使所述立体效果增强的设定的情况下，将示出所述被摄体近旁的深度位置的新的深度值设定为追加深度值，所述被摄体近旁的深度位置是与所述多个初始深度值各自示出的深度位置不同的深度位置，

所述深度信息生成步骤中，按照所述输入图像的每个二维的区域，从所述多个初始深度值和所述追加深度值中决定一个深度值。