CN104054332A - 图像处理装置和图像处理方法 - Google Patents

Abstract

为了能够拍摄三维图像的图像获取装置中实现更恰当的构图设置，提供一种图像处理装置，所述图像处理装置包括：第一构图设置单元，被构造为基于第一技术对以二维方式显示的输入图像设置构图；和第二构图设置单元，被构造为基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和图像处理方法。

背景技术

近年来，自动调整焦点和曝光的成像装置(诸如，数字静止照相机)已广泛普及。在这种成像装置中，例如，设置适合拍摄的场景的焦点、曝光等，因此用户能够在不直接调整它们的情况下获取令人满意的拍摄图像。

另外，已提出用于在没有用户的操纵的情况下对拍摄图像自动设置构图的技术，例如，在专利文献1和专利文献2中公开的技术。在这些技术中，例如，检测被摄体的脸的大小和位置，并且基于该信息，剪出拍摄图像中的合适区域作为修剪图像。

引用列表

专利文献

专利文献1：JP2010-103972A

专利文献2：JP2009-218807A

发明内容

技术问题

另一方面，最近，能够拍摄三维图像的成像装置也逐渐增加。由于在具有深度的情况下观察三维图像，所以当设置三维图像的构图时应该考虑的元素并不总是与二维图像的在设置二维图像的构图时应该考虑的元素相同。上述专利文献1和专利文献2中公开的技术仅考虑到二维图像，因此，很难说这些技术实现对三维图像的合适的构图设置。

因此，本公开提出一种能够在能拍摄三维图像的成像装置中实现更合适的构成设置的新的改进的图像处理装置和图像处理方法。

问题的解决方案

根据本公开，提供一种图像处理装置，所述图像处理装置包括：第一构图设置单元，被构造为基于第一技术对以二维方式显示的输入图像设置构图；和第二构图设置单元，被构造为基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

根据本公开，提供一种图像处理方法，所述图像处理方法包括：基于第一技术对以二维方式显示的输入图像设置构图；以及基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

根据本公开，提供一种图像处理装置，所述图像处理装置包括：构图设置单元，被构造为基于指示输入图像的深度的深度信息设置以三维方式显示的输入图像的构图。

根据本公开，提供一种图像处理方法，所述图像处理方法包括：基于指示输入图像的深度的深度信息设置以三维方式显示的输入图像的构图。

根据上述结构，不同于二维显示的情况，针对以三维方式显示的输入图像执行构图设置处理。因此，能够在构图设置中反映适应于三维图像的元素。

发明的有益效果

如上所述，根据本公开，可在能够拍摄三维图像的成像装置中实现更合适的构图设置。

附图说明

图1是示意性地显示根据本公开的第一实施例的数字静止照相机的功能结构的方框图。

图2是显示根据本公开的第一实施例的数字静止照相机的处理的流程图。

图3是用于示意性地显示根据本公开的第一实施例的二维和三维构图设置处理的示图。

图4是由根据本公开的第一实施例的三维构图设置单元执行的处理的流程图。

图5是用于示意性地描述根据本公开的第二实施例的二维和三维构图设置处理的示图。

图6是由根据本公开的第二实施例的三维构图设置单元执行的处理的流程图。

图7是由根据本公开的第三实施例的三维构图设置单元执行的处理的流程图。

图8是显示根据本公开的第四实施例的数字静止照相机的功能结构的示意性方框图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的元素由相同的标号表示，并且省略重复的解释。

需要注意的是，将按照下面的次序提供描述。

1.第一实施例(二维构图设置和三维构图设置的切换的例子)

1-1.功能结构

1-2.处理流程

1-3.三维构图设置处理的例子

2.第二实施例(使用深度信息和景深的例子)

3.第三实施例(使用深度的范围的例子)

4.第四实施例(主要设置三维构图的例子)

5.补充

在以下的描述中，将介绍与作为图像处理装置的例子的数字静止照相机相关的本公开的第一至第四实施例。需要注意的是，根据本公开的实施例的图像处理装置不限于数字静止照相机，并且能够是具有通过处理输入图像来产生修剪图像的功能的各种装置。另外，本公开的实施例还包括一种用于通过处理输入图像来产生修剪图像的方法、用于使计算机实现通过处理输入图像来产生修剪图像的功能的程序和记录这种程序的计算机可读记录介质。

(1.第一实施例)

(1-1.功能结构)

首先，将参照图1描述根据本公开的第一实施例的数字静止照相机的功能结构。图1是显示根据本实施例的数字静止照相机100的功能结构的示意性方框图。

数字静止照相机100包括成像光学系统101、成像单元102、控制电路110、显示单元120和存储单元130。控制电路110实现被摄体识别单元111、图像判定单元112、二维构图设置单元113、三维构图设置单元114、修剪单元115、记录控制单元116和显示控制单元117的功能。需要注意的是，除了示出的功能结构之外，数字静止照相机100还能够包括通常布置在数字静止照相机中的组成元件，诸如操纵单元。

成像光学系统101由各种透镜(包括聚焦透镜、变焦透镜)和光学滤波器、光阑等的光学部件构成。从被摄体入射的光学像(被摄体像)经成像光学系统101中所包括的光学部件形成在成像单元102中所包括的图像传感器的曝光表面上。

成像单元102包括：图像传感器，例如CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)；时间发生器，用于驱动图像传感器；和信号处理电路。信号处理电路处理当图像传感器对被摄体像执行光电转换时输出的模拟图像信号，将该信号转换成数字图像信号，并且将该信号输出到控制电路110。信号处理电路由例如DSP(数字信号处理器)实现。

(关于二维和三维输入图像)

这里，成像光学系统101和成像单元102具有获取以二维方式显示的输入图像(以下也称为二维输入图像)和以三维方式显示的输入图像(以下也称为三维输入图像)的功能。

这里，通过将代表图像的深度的深度信息添加到二维输入图像的信息来获得三维输入图像。利用例如与左眼图像对应的右眼图像表示深度信息。在这种情况下，基于左眼图像和右眼图像之间的视差提取深度信息。当再现图像时，在分别地将左眼图像提供给观察者的左眼并且将右眼图像提供给观察者的右眼时，使观察者感知深度。

另外，深度信息可以是使用例如映射图、数值等表示图像的深度的信息。在这种情况下，通过在成像期间使用例如距离传感器实际测量深度能够获取深度信息。当图像将要被再现时，使用深度信息，产生设置了根据深度的视差的左眼图像和右眼图像，然后图像被提供给观察者。

为了获取这种三维输入图像，例如，成像光学系统101可以是包括用于左眼图像和右眼图像的两对透镜的双目光学系统。另外，成像光学系统101可以是包括将由一对透镜获取的光学图像划分成左眼图像和右眼图像的成像器等的单目光学系统。

需要注意的是，在例如JP2011-248693A等中公开了这种成像系统的结构。对于光学系统101和成像单元102，从在以上文件中描述的结构开始，能够使用各种已知结构。

作为另一例子，成像光学系统101和成像单元102可具有与获取二维输入图像的通常的成像系统相同的结构。在这种情况下，当数字静止照相机100在沿左右方向移动的同时执行成像时，例如，可控制成像单元102，从而获取左眼图像和右眼图像作为三维输入图像。

控制电路110实现被摄体识别单元111、图像判定单元112、二维构图设置单元113、三维构图设置单元114、修剪单元115、记录控制单元116和显示控制单元117的功能，并且控制数字静止照相机100的每个单元的操作。控制电路110由通过例如基于保存在存储单元130中的程序的操作实现上述功能的CPU(中央处理单元)实现。控制电路110的一些或全部功能可由DSP以与上述信号处理电路相同的方式实现。以下，将描述由控制电路110实现的每个功能。

被摄体识别单元111分析从成像单元102获取的输入图像的数字图像信号，然后识别该图像中所包括的被摄体。这里，被摄体是例如人的脸。除此之外，被摄体能够是各种物体，诸如动物的脸、花或食物。被摄体识别单元111使用例如小波变换、Harr特征检测等的算法计算被摄体的区域。如果被摄体的区域是例如人的脸，则该区域能够是包括颏、耳朵和眉毛的最小矩形的坐标值。需要注意的是，被摄体的区域可不必是矩形，并且可以是诸如三角形或椭圆形的形状。另外，除了被摄体的区域之外，被摄体识别单元111还可识别被摄体的方位。

图像判定单元112判定从成像单元102获取的输入图像是二维输入图像还是三维输入图像。基于例如输入图像是否伴随有深度信息进行这种判定。在这种情况下，当输入图像包括右眼图像和左眼图像时，或者当输入图像伴随有关于深度信息的诸如映射图或数值的数据时，图像判定单元112判定输入图像是三维输入图像。

替代地，图像判定单元112可基于通过用户的操作等在数字静止照相机100中设置的操作模式执行该判定。作为数字静止照相机100的结构的例子，存在成像光学系统101和成像单元102例行地获取深度信息的情况。在这种情况下，准备二维成像模式和三维成像模式作为操作模式，并且当设置了三维成像模式时，可产生修剪图像作为三维图像。

在这种情况下，即使当输入图像在由图像判定单元112进行判定时伴随有深度信息时，输入图像也不限于以三维方式显示。因此，在这种情况下，图像判定单元112可基于在数字静止照相机100中设置的操作模式判定输入图像是二维输入图像还是三维输入图像。需要注意的是，可根据例如成像环境或者根据用户的操纵自动设置操作模式。

图像判定单元112基于判定的结果控制二维构图设置单元113和三维构图设置单元114。更具体地讲，图像判定单元112控制二维构图设置单元113和三维构图设置单元114，从而当输入图像是二维输入图像时，二维构图设置单元113工作，并且当输入图像是三维图像时，三维构图设置单元114工作。需要注意的是，当数字静止照相机100具有针对二维显示和三维显示都记录相同的输入图像的操作模式时，图像判定单元112可使二维构图设置单元113和三维构图设置单元114都工作。在这种情况下，输入图像能够被修剪并且记录为分别用于二维显示和三维显示的图像。

二维构图设置单元113基于第一技术对二维输入图像设置构图。这里提及的“构图的设置”可包括输入图像的修剪区域的设置。二维构图设置单元113设置修剪区域，以使得例如按照三分构图、对分构图等布置输入图像的被摄体。这里，由二维构图设置单元113在设置构图时使用的元素是例如由被摄体识别单元111识别的被摄体的位置、大小、方位等。例如，二维构图设置单元113根据被摄体的大小决定修剪区域的大小。另外，二维构图设置单元113根据被摄体的方位决定放置被摄体的位置。另外，二维构图设置单元113根据决定的被摄体的放置决定修剪区域。此时，二维构图设置单元113可调整修剪区域，以使得另一被摄体被包括在用作构图设置的参考的主被摄体的周围。需要注意的是，除了例如改变修剪区域的大小之外，这里提及的修剪区域的调整还包括将修剪区域改变为沿水平方向较长或者沿垂直方向较长。二维构图设置单元113将设置的修剪区域的信息提供给修剪单元115。

三维构图设置单元114基于第二技术对三维输入图像设置构图。这里提及的“设置构图”可包括输入图像的修剪区域的设置。三维构图设置单元114设置修剪区域，以使得以与对分构图设置单元113相同的方式按照例如三分构图、对分构图等放置输入图像的被摄体。然而，除了二维构图设置单元113使用的被摄体的位置、大小、方位等之外，三维构图设置单元114还在构图设置时使用例如输入图像的深度信息、景深的信息等。换句话说，三维构图设置单元114基于与二维构图设置单元113使用的第一技术不同的第二技术设置构图。因此，由三维构图设置单元114设置的构图能够不同于由二维构图设置单元113设置的构图。

如将会详细所述，当调整修剪区域的大小以使得包括位于用作构图设置的参考的被摄体的周围的另一被摄体时，例如，三维构图设置单元114可排除显示出与主被摄体的深度的差异的另一被摄体。另外，三维构图设置单元114可调整修剪区域的大小以使得包括具有不同深度的区域。另外，三维构图设置单元114可设置对称构图，诸如对分构图或者径向构图。

需要注意的是，如以下将会详细所述，由三维构图设置单元114设置的修剪区域可被应用于二维输入图像。例如，由二维构图设置单元113和三维构图设置单元114设置修剪区域，然后，可从输入图像产生两种修剪图像。另外，可根据用户的操纵选择将会使用二维构图设置单元113和三维构图设置单元114中的哪一个。

当设置的修剪区域超过输入图像的范围时，二维构图设置单元113和三维构图设置单元114可通过改变设置条件来重新设置修剪区域。可重复重新设置处理，直至修剪图像落在输入图像的范围内。

需要注意的是，在本说明书中，图像中的被摄体的放置的总体状态被称为“构图”。在上述例子中，由构图的类型(例如，三分构图或对分构图)、被摄体相对于修剪区域的相对大小、应该放置被摄体的点(例如，在三分构图中应该放置被摄体的四个交叉点之一)和修剪区域的大小定义“构图”。

修剪单元115从输入图像产生由二维构图设置单元113或三维构图设置单元114设置的修剪区域的修剪图像。此时，修剪单元115可通过例如经像素内插提高分辨率的处理(该处理也称为超分辨率处理)将修剪图像的大小增加至输入图像的大小。二维构图设置单元113和三维构图设置单元114可使用图像能够通过放大处理被放大至输入图像的大小的事实作为用于构图重新设置处理的重复的条件。

另外，修剪单元115可调整针对修剪图像设置的深度信息。由于通过剪出输入图像的一部分来获得修剪图像，所以存在深度局限于有限范围的情况。因此，修剪单元115调整修剪图像的深度信息，以使得基于输入图像的深度信息有利地平衡修剪图像内的深度的分布。例如，修剪单元115可通过调整作为修剪图像从输入图像产生的左眼图像和右眼图像之间的视差来调整深度信息。

另外，修剪单元115可根据修剪图像的场景或被摄体的状态调整针对修剪图像设置的深度信息。当例如被摄体被拍摄为在修剪图像中看起来较大时，修剪单元115可设置很小的视差以使得被摄体不会跳出图像。另外，修剪单元115可在显微拍摄的情况下增加视差，或者在风景拍摄的情况下减小视差。

记录控制单元116将由修剪单元115产生的修剪图像作为图像数据记录在存储单元130中。记录控制单元116可记录输入图像的图像数据以及修剪图像。

显示控制单元117使作为图像数据记录在存储单元130中的图像显示在显示单元120上。在由数字静止照相机100执行成像之后，例如，显示控制单元117可使图像显示为预览图像，或者根据用户的操纵使记录在存储单元130中的任意图像显示为再现图像。

显示单元120被构造为例如LCD(液晶显示器)、有机EL(场致发光)显示器等。显示单元120在显示控制单元117的控制下为用户显示与数字静止照相机100相关的各种信息。

与数字静止照相机100的处理相关的各种数据被保存在存储单元130中。存储单元130能够是例如半导体存储器(诸如，闪速ROM(只读存储器)或DRAM(动态随机存取存储器))、光盘(诸如，DVD(数字通用盘)或CD(压缩盘))、硬盘等。存储单元130可以是安装在数字静止照相机100中的存储装置或者可连接到数字静止照相机100并且可从数字静止照相机100拆卸的记录介质。另外，存储单元130可包括多种存储装置或记录介质。在存储单元130中，不仅能够由记录控制单元116保存修剪图像和输入图像的图像数据，还能够保存用于使控制电路110的CPU实现上述功能的程序等。

(1-2.处理流程)

(整个流程)

接下来，将参照图2描述根据本公开的第一实施例的数字静止照相机的处理流程。图2是显示数字静止照相机100的处理的流程图。

在示出的处理中，首先，被摄体识别单元111分析从成像单元102获取的输入图像的数字图像信号以识别输入图像中所包括的被摄体(步骤S101)。

接下来，图像判定单元112判定输入图像是否是三维输入图像(步骤S103)。当例如图像伴随有深度信息时，图像判定单元112判定输入图像是三维输入图像。如上所述，这里提及的深度信息是指示输入图像的深度的信息。具体地讲，深度信息能够是与左眼图像对应的右眼图像(其中视差代表深度)或者使用映射图、数值等表示图像的深度的数据等。替代地，图像判定单元112可基于在数字静止照相机100中设置的操作模式执行该判定。

在步骤S103中，当输入图像被判定为是三维输入图像时，三维构图设置单元114执行三维构图设置处理(步骤S105)以设置输入图像的修剪区域。另一方面，当输入图像被判定为不是三维输入图像(换句话说，被判定为是二维输入图像)时，二维构图设置单元113执行二维构图设置处理(步骤S107)以设置输入图像的修剪区域。如上所述，在步骤S105和S107的构图设置处理中，能够使用在步骤S101中识别的被摄体的信息。需要注意的是，将在稍后详细地描述三维和二维构图设置处理的细节。

接下来，三维构图设置单元114或二维构图设置单元113判定是否已在输入图像的范围中设置修剪区域(步骤S109)。这里，当判定已在输入图像的范围中设置修剪区域时，修剪单元115根据设置的修剪区域从输入图像产生修剪图像(步骤S111)，并且记录控制单元116使修剪图像被记录在存储单元130中(步骤S113)。

另一方面，当在步骤S109中判定未在输入图像的范围中设置修剪区域时，三维构图设置单元114或二维构图设置单元113修改构图设置条件(步骤S115)，然后再次从步骤S103执行构图设置处理。

在这种情况下，应该执行三维构图设置处理(步骤S105)和二维构图设置处理(步骤S107)中的哪一个基本上与第一回合的处理相同。然而，例如，当在二维构图设置处理(步骤S107)中未在输入图像的范围中设置修剪区域时，可在下一轮中执行三维构图设置处理(步骤S105)，或者可存在相反的情况。换句话说，应该使用二维和三维构图设置处理中的哪一个可被包括在在步骤S115中改变的构图设置条件中。

(1-3.三维构图设置处理的例子)

接下来，将参照图3和4描述根据本公开的第一实施例的三维构图设置处理。图3是用于示意性地显示根据本实施例的二维和三维构图设置处理的示图。图4是显示由三维构图设置单元执行的处理的流程图。

在图3中，示出输入图像300、使用二维构图设置处理修剪的修剪图像420和使用三维构图设置处理修剪的修剪图像422。

输入图像300包括优先脸311和其它脸312。在示出的例子中，被摄体识别单元111检测人的脸作为被摄体。优先脸311是例如图像中所包括的脸之中假设为具有最高优先级的用户的脸。在构图设置中，优先脸311被用作参考主被摄体。另一方面，其它脸312是除优先脸311之外由被摄体识别单元111检测到的脸。

如上所述，能够调整根据构图设置的修剪区域的大小以使得包括位于主被摄体周围的另一被摄体。在示出的例子中，其它脸312对应于其它周围被摄体。然而，尽管所有的其它脸312在图像上的平面距离方面位于优先脸311的周围，但在实际空间的深度方面，与优先脸311相比，它们位于更向内的位置。

当二维构图设置单元113如上所述对输入图像执行构图设置处理时，设置修剪区域320。参照优先脸311设置修剪区域320。另外，调整修剪区域320以使得包括位于优先脸311的周围的其它脸312。

另一方面，当三维构图设置单元114执行构图设置处理时，设置修剪区域322。也参照优先脸311设置修剪区域322。然而，不调整修剪区域322以使得在修剪区域322中包括位于优先脸311的周围的其它脸312。这是因为，在优先脸311和其它脸312之间存在显著的深度差异。结果，修剪区域322被设置为小于修剪区域320并且沿垂直方向较长，而修剪区域320沿水平方向较长。

需要注意的是，当具有较小深度差异的位于优先脸311的周围的其它脸312被包括在输入图像300中时，三维构图设置单元114可调整修剪区域322以使得在修剪区域322中包括其它脸312。以这种方式，在本实施例中，二维构图设置单元113和三维构图设置单元114能够通过不同的处理设置修剪区域。

通常，位于优先脸311的周围的其它脸312能够是例如与优先脸311具有某种关系的人的脸，诸如与优先脸311的人一起拍摄的人的脸。由于这个原因，能够调整修剪区域320以包括位于优先脸311的周围的其它脸312。然而，由于在示出的例子中优先脸311和其它脸312实际具有不同深度，所以具有优先脸311的人可能与其它脸312的人无关。

当以二维方式显示图像时，即使当其它脸312被包括在修剪图像中时，观察者也很少从图像感到不适。这是因为，在图像的二维显示中主要通过图像上的平面距离感知被摄体之间的距离。因此，如果图像上的优先脸311和其它脸312之间的平面距离接近，则其构图不会感觉不自然。

另一方面，当以三维方式显示图像时，当如上所述其它脸312被包括在图像中时，观察者容易从图像感到不适。这是因为，在图像的三维显示中，除了图像上的平面距离之外，还基于深度感知被摄体之间的距离。因此，尽管优先脸311和其它脸312在图像上具有接近的平面距离，但如果优先脸311和其它脸312具有不同的深度，则能够存在其它脸312在构图中感觉不自然的情况，并且作为结果，构图感觉不自然。

因此，在本实施例中，如上所述考虑到三维显示而针对三维输入图像来执行构图设置处理，由此实现更合适的修剪图像的产生。

需要注意的是，在示出的例子中，不调整修剪区域322以使得在修剪区域322中包括位于优先脸311的周围的其它脸312，但因此，其它脸312中的一些被包括在修剪区域322中。如上所述，在本实施例的构图设置处理中“排除一个脸作为构图设置的目标”并不必然意味着“在修剪区域中不包括这个脸”。

(处理流程)

参照图4，作为本实施例中的三维构图设置单元114的处理，首先提取优先脸311和位于其周围的其它脸312(步骤S121)。这里，提取其它脸312作为将要被包括在参照优先脸311设置的修剪区域322中的被摄体的候选。

接下来，获取提取的优先脸311和其它脸312的深度(步骤S123)。能够使用例如伴随输入图像的深度信息来获取脸的深度。例如，当获取左眼图像和右眼图像作为输入图像时，通过从图像提取脸的区域中的视差，能够获取深度。

接下来，判定在其它脸312之中是否存在与优先脸311具有不同深度的脸(步骤S125)。这里，基于例如当观察以三维方式显示的图像时的人类视觉的特性，设置深度被确定为不同的深度的差异的阈值。阈值可以是随着例如优先脸311的深度变化的值。

在步骤S125中，当判定在其它脸312之中存在与优先脸311具有不同深度的脸时，排除对应的脸312作为构图中所包括的被摄体的候选(步骤S127)。在上述图3的例子中，排除所有的其它脸312。

接下来，参照优先脸311设置构图(步骤S129)，并且根据构图设置修剪区域(步骤S131)。此时，能够调整修剪区域的大小，以使得未在步骤S127中排除的其余的脸312被包括在修剪区域中。

需要注意的是，在本实施例中，二维构图设置单元113执行以上参照图4描述的处理，但步骤S123至S127的处理除外。换句话说，在本实施例的三维构图设置处理中，步骤S123至S127中示出的其它脸312的选择处理被添加到二维构图设置处理。

在上述本公开的第一实施例中，例如，因为在二维输入图像和三维输入图像中以不同方式执行将要被包括在修剪区域中的被摄体的选择处理，所以针对三维输入图像产生仅包括更合适的被摄体的修剪图像。

(2.第二实施例)

接下来，将参照图5和6描述本公开的第二实施例。图5是用于示意性地描述根据本实施例的二维和三维构图设置处理的示图。图6是由三维构图设置单元执行的处理的流程图。

需要注意的是，在第二实施例中，由于构图设置处理不同于上述第一实施例的构图设置处理，所以将在以下详细描述该处理。另一方面，由于除该处理之外的结构与第一实施例的结构相同，所以将省略其详细描述。

图5显示输入图像300、使用二维构图设置处理修剪的修剪图像420和使用三维构图设置处理修剪的修剪图像422。

优先脸311被包括在输入图像300中。另外，输入图像300包括包含优先脸311的前区域332(具有较小深度的区域)和对应于背景的内区域334(具有较大深度的区域)。

当二维构图设置单元113如上所述对输入图像执行构图设置处理时，设置修剪区域320。修剪区域320基于优先脸311来设置，并且其大小是基于例如优先脸311的大小的预定大小。

另一方面，当三维构图设置单元114执行构图设置处理时，设置修剪区域322。也基于优先脸311设置修剪区域322。然而，除了包括优先脸311的前区域332之外，设置修剪区域322以便还包括内区域334。结果，修剪区域322被设置为大于修剪区域320并且沿水平方向较长，而修剪区域320沿垂直方向较长。以这种方式，二维构图设置单元113和三维构图设置单元114能够通过不同的处理设置修剪区域。

当以三维方式显示图像时，如果图像中的深度的范围较窄，则观察者几乎不会感觉到立体效果。换句话说，在图像的印象方面不存在与二维显示的差别。另一方面，如果图像中的深度的范围较宽，则观察者容易感觉到立体效果。换句话说，仅在三维显示中可实现图像的这种印象。

因此，在本实施例中，考虑到三维显示对三维输入图像执行构图设置处理，由此实现更合适的修剪图像的产生。

(处理流程)

参照图6，作为本实施例中的三维构图设置单元114的处理，首先提取优先脸311(步骤S141)。接下来，获取输入图像的被摄体深度的信息(步骤S143)。输入图像的深度之中的被摄体深度指示成像光学系统101聚焦的范围。基于例如在成像期间的成像光学系统101的设置计算景深的信息，并且将景深的信息附着于输入图像作为指示范围的数值数据。

接下来，判定在输入图像中的景深内的区域中是否存在其深度不同于优先脸311的区域(步骤S145)。这里，基于例如当观察以三维方式显示的图像时的人类视觉的特性，设置用于确定不同深度的阈值。阈值可以是随着例如优先脸311的深度变化的值。

在步骤S145中，当判定存在具有不同深度的区域时，设置修剪区域322的大小以包括对应区域(步骤S147)。这里，能够设置修剪区域322的大小，以使得例如修剪区域322中所包括的前区域332与内区域334的面积比是预定值。能够例如基于当观察以三维方式显示的图像时的人类视觉的特性设置所述预定值。作为例子，修剪区域322中所包括的前区域332与内区域334的面积比能够被设置为1:2、1:3等。

需要注意的是，如步骤S145中所示，当内区域334的深度被包括在景深的范围中时，在本实施例中，内区域334被包括在修剪区域322中。这是因为，当以三维方式显示包括不在景深的范围中(即，未聚焦)的区域的图像时，用户可能感到不适。

另一方面，在步骤S145中，当判定不存在具有不同深度的区域时，参照优先脸311的大小设置修剪区域322的大小(步骤S149)。修剪区域322的大小的这种设置与二维构图设置处理相同。

接下来，以在步骤S147或步骤S149中设置的大小设置修剪区域(步骤S151)。

需要注意的是，在本实施例中，二维构图设置单元113执行以上参照图6描述的处理，但步骤S143至S147的处理除外。换句话说，在本实施例的三维构图设置处理中，步骤S143至S147中示出的大小设置处理被添加到二维构图设置处理。

在上述本公开的第二实施例中，例如，通过针对二维输入图像和三维输入图像以不同方式执行修剪区域的大小的设置，从三维输入图像产生给予用户仅可在三维图像中实现的印象的修剪图像。

(3.第三实施例)

接下来，将参照图7描述本公开的第三实施例。图7是由本实施例中的三维构图设置单元执行的处理的流程图。

需要注意的是，由于第三实施例的构图设置处理不同于上述第一实施例，所以将在以下详细描述该处理。另一方面，由于其它结构与第一实施例的结构相同，所以将省略其详细描述。另外，由于在本实施例中作为二维和三维构图设置处理的结果产生的修剪图像基本上与上述图5的例子中的修剪图像相同，所以将在本实施例中继续参照图5.

参照图7，作为本实施例的三维构图设置单元114的处理，首先获取整个图像的深度信息(步骤S161)。当例如获取左眼图像和右眼图像作为输入图像时，能够通过从这些图像提取整个图像的视差分布来获取整个图像的深度信息。

接下来，判定图像的深度的范围是否较宽(步骤S163)。这里，基于例如当观察以三维方式显示的图像时的人类视觉的特性设置用于确定较宽的深度的范围的阈值。阈值可以是随着例如在图像中位于最前面位置的部分的深度变化的值。

在步骤S163中，当深度的范围被判定为较宽时，修剪区域的大小被设置为n＝n₁(步骤S165)。需要注意的是，在本实施例中，修剪区域的大小被设置为优先脸311的大小的n倍(n≥1)。在步骤S165中，n的值被设置为第一预定值n₁。

另一方面，在步骤S163中，当深度的范围被判定为不宽时，修剪区域的大小被设置为n＝n₂(步骤S167)。这里，第二预定值n₂是满足n₁>n₂的值。换句话说，在本实施例中，当深度的范围较宽时，用于根据优先脸311的大小的比例设置修剪区域的大小的系数被设置为高于当深度的范围较窄时的用于设置修剪区域的大小的系数。换句话说，当优先脸311的大小相同时，如果图像的深度的范围较宽时，修剪区域的大小增加。

接下来，修剪区域被设置为在步骤S165或步骤S167中设置的大小(步骤S169)。

在上述本公开的第三实施例中，例如，当图像的深度信息具有等于或大于预定阈值的宽度时，能够像在图5的修剪图像422中一样设置进一步的放大构图。另一方面，当图像的深度信息仅具有小于所述预定阈值的宽度时，能够设置进一步的缩小构图。因此，能够产生包括给予输入图像中所包括的立体效果的部分(具有不同深度的部分)的修剪图像，给予用户仅可在三维显示中实现的印象。

(4.第四实施例)

接下来，将参照图8描述本公开的第四实施例。图8是显示根据本实施例的数字静止照相机200的功能结构的示意性方框图。

需要注意的是，在第四实施例中，由于数字静止照相机200与第一实施例的不同之处在于该数字静止照相机仅使用三维构图设置单元114设置构图，所以将在以下提供其详细描述。另一方面，由于其它结构与第一实施例的结构相同，所以将省略其详细描述。需要注意的是，在构图设置处理中，可执行与第二和第三实施例相同的处理。

参照图8，根据本实施例的数字静止照相机200与根据第一实施例数字静止照相机100的不同之处在于：数字静止照相机200不包括图像判定单元112和二维构图设置单元113。在本实施例中，成像单元102通常输出具有深度信息的输入图像。由于这个原因，仅由三维构图设置单元114执行用于产生修剪图像的构图设置。

然而，在数字静止照相机200中，修剪图像可并不总是被记录为三维图像。如上所述，由三维构图设置单元114设置的修剪区域能够被应用于二维图像的修剪。因此，在本实施例中，修剪单元115可根据由三维构图设置单元114设置的修剪区域产生修剪图像作为二维图像。在例如在数字静止照相机200中设置的操作模式下决定修剪单元115是产生三维修剪图像还是产生二维修剪图像。

(5.补充)

需要注意的是，除了上述本公开的实施例的例子之外，还能够如以下其例子中所示以各种方式修改本公开的实施例。

例如，根据本公开的实施例的图像处理装置不限于数字静止照相机，并且可以是具有成像功能的移动终端，诸如移动电话(智能电话)或平板PC(个人计算机)。另外，图像处理装置可以是不具有成像功能的信息处理装置，诸如桌上型PC。在这种情况下，图像处理装置获取使用例如另一装置拍摄的图像作为输入图像。

以上参照附图描述了本发明的优选实施例，但本发明当然不限于以上例子。本领域技术人员可在所附权利要求的范围内发现各种改变和修改，并且应该理解，它们将会自然落在本发明的技术范围内。

另外，本技术也可如下构造。

(1)一种图像处理装置，包括：

第一构图设置单元，被构造为基于第一技术对以二维方式显示的输入图像设置构图；和

第二构图设置单元，被构造为基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

(2)如(1)所述的图像处理装置，其中所述第二构图设置单元基于指示以三维方式显示的输入图像的深度的深度信息设置构图。

(3)如(2)所述的图像处理装置，其中所述第二构图设置单元设置放置以三维方式显示的输入图像中所包括的第一被摄体的构图，并且根据该构图，设置以三维方式显示的输入图像的修剪区域，以使得在输入图像中位于第一被摄体的周围的第二被摄体之中与第一被摄体具有较小的深度的差异的被摄体被包括在修剪区域中。

(4)如(2)或(3)所述的图像处理装置，其中所述第二构图设置单元设置以三维方式显示的输入图像的修剪区域，以使得根据基于第二技术设置的构图在修剪区域中包括以三维方式显示的输入图像中具有较小深度的第一区域和具有较大深度的第二区域。

(5)如(4)所述的图像处理装置，其中当第二区域的深度被包括在以三维方式显示的输入图像的景深的范围中时，第二构图设置单元使第二区域被包括在修剪区域中。

(6)如(4)或(5)所述的图像处理装置，其中所述第二构图设置单元设置修剪区域，以使得将要被包括在修剪区域中的第一区域与第二区域之比是预定值。

(7)如(2)至(6)中任何一项所述的图像处理装置，其中所述第二构图设置单元根据基于第二技术设置的构图设置以三维方式显示的输入图像的修剪区域，并且在以三维方式显示的输入图像的深度的范围等于或高于预定范围时将修剪区域设置得较大。

(8)如(1)至(7)中任何一项所述的图像处理装置，其中所述第二构图设置单元基于指示输入图像的景深的信息设置构图。

(9)如(1)至(8)中任何一项所述的图像处理装置，其中所述第二构图设置单元设置放置输入图像中所包括的被摄体的构图。

(10)如(1)至(9)中任何一项所述的图像处理装置，其中所述第二构图设置单元设置对称构图。

(11)如(1)至(10)中任何一项所述的图像处理装置，还包括：

修剪单元，被构造为从以三维方式显示的输入图像产生根据基于第二技术设置的构图设置的修剪区域的修剪图像，并且基于指示以三维方式显示的输入图像的深度的深度信息调整针对修剪图像设置的深度。

(12)如(1)至(11)中任何一项所述的图像处理装置，还包括：

图像判定单元，被构造为确定以二维方式显示的输入图像和以三维方式显示的输入图像。

(13)一种图像处理方法，包括：

基于第一技术对以二维方式显示的输入图像设置构图；以及

基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

(14)一种图像处理装置，包括：

构图设置单元，被构造为基于指示输入图像的深度的深度信息对以三维方式显示的输入图像设置构图。

(15)如(14)所述的图像处理装置，其中所述构图设置单元设置放置输入图像中所包括的第一被摄体的构图，并且根据该构图，设置输入图像的修剪区域，以使得在输入图像中位于第一被摄体的周围的第二被摄体之中与第一被摄体具有较小的深度的差异的被摄体被包括在修剪区域中。

(16)如(15)所述的图像处理装置，其中，根据设置的构图，构图设置单元设置输入图像的修剪区域，以使得具有由深度信息代表的较小的深度的第一区域和具有较大的深度的第二区域被包括在修剪区域中。

(17)如(16)所述的图像处理装置，其中当所述第二区域的深度被包括在输入图像的景深的范围中时，构图设置单元使第二区域被包括在修剪区域中。

(18)如(16)或(17)所述的图像处理装置，其中所述构图设置单元设置修剪区域，以使得将要被包括在修剪区域中的第一区域与第二区域之比具有预定值。

(19)如(14)至(18)中任何一项所述的图像处理装置，还包括：

修剪单元，被构造为从输入图像产生根据构图设置的修剪区域的修剪图像，并且基于深度信息调整针对修剪图像设置的深度。

(20)一种图像处理方法，包括：

基于指示输入图像的深度的深度信息对以三维方式显示的输入图像设置构图。

标号列表

100，200 数字静止照相机(图像处理装置)

102 成像单元

111 被摄体识别单元

112 图像判定单元

113 二维构图设置单元

114 三维构图设置单元

115 修剪单元

116 记录控制单元

117 显示控制单元

120 显示单元

130 存储单元

300 输入图像

320 第一修剪区域

322 第二修剪区域

Claims (20)

1.一种图像处理装置，包括：

第一构图设置单元，被构造为基于第一技术对以二维方式显示的输入图像设置构图；和

第二构图设置单元，被构造为基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

2.如权利要求1所述的图像处理装置，其中所述第二构图设置单元基于指示以三维方式显示的输入图像的深度的深度信息设置构图。

3.如权利要求2所述的图像处理装置，其中所述第二构图设置单元设置放置以三维方式显示的输入图像中所包括的第一被摄体的构图，并且根据该构图，设置以三维方式显示的输入图像的修剪区域，以使得在输入图像中位于第一被摄体的周围的第二被摄体之中与第一被摄体具有较小的深度的差异的被摄体被包括在修剪区域中。

4.如权利要求2所述的图像处理装置，其中所述第二构图设置单元设置以三维方式显示的输入图像的修剪区域，以使得根据基于第二技术设置的构图在修剪区域中包括以三维方式显示的输入图像中具有较小深度的第一区域和具有较大深度的第二区域。

5.如权利要求4所述的图像处理装置，其中当第二区域的深度被包括在以三维方式显示的输入图像的景深的范围中时，第二构图设置单元使第二区域被包括在修剪区域中。

6.如权利要求4所述的图像处理装置，其中所述第二构图设置单元设置修剪区域，以使得将要被包括在修剪区域中的第一区域与第二区域之比是预定值。

7.如权利要求2所述的图像处理装置，其中所述第二构图设置单元根据基于第二技术设置的构图设置以三维方式显示的输入图像的修剪区域，并且在以三维方式显示的输入图像的深度的范围等于或高于预定范围时将修剪区域设置得较大。

8.如权利要求1所述的图像处理装置，其中所述第二构图设置单元基于指示输入图像的景深的信息设置构图。

9.如权利要求1所述的图像处理装置，其中所述第二构图设置单元设置放置输入图像中所包括的被摄体的构图。

10.如权利要求1所述的图像处理装置，其中所述第二构图设置单元设置对称构图。

11.如权利要求1所述的图像处理装置，还包括：

修剪单元，被构造为从以三维方式显示的输入图像产生根据基于第二技术设置的构图设置的修剪区域的修剪图像，并且基于指示以三维方式显示的输入图像的深度的深度信息调整针对修剪图像设置的深度。

12.如权利要求1所述的图像处理装置，还包括：

图像判定单元，被构造为确定以二维方式显示的输入图像和以三维方式显示的输入图像。

13.一种图像处理方法，包括：

基于第一技术对以二维方式显示的输入图像设置构图；以及

基于与第一技术不同的第二技术对以三维方式显示的输入图像设置构图。

14.一种图像处理装置，包括：

构图设置单元，被构造为基于指示输入图像的深度的深度信息对以三维方式显示的输入图像设置构图。

15.如权利要求14所述的图像处理装置，其中所述构图设置单元设置放置输入图像中所包括的第一被摄体的构图，并且根据该构图，设置输入图像的修剪区域，以使得在输入图像中位于第一被摄体的周围的第二被摄体之中与第一被摄体具有较小的深度的差异的被摄体被包括在修剪区域中。

16.如权利要求14所述的图像处理装置，其中，根据设置的构图，构图设置单元设置输入图像的修剪区域，以使得具有由深度信息代表的较小的深度的第一区域和具有较大的深度的第二区域被包括在修剪区域中。

17.如权利要求16所述的图像处理装置，其中当所述第二区域的深度被包括在输入图像的景深的范围中时，构图设置单元使第二区域被包括在修剪区域中。

18.如权利要求16所述的图像处理装置，其中所述构图设置单元设置修剪区域，以使得将要被包括在修剪区域中的第一区域与第二区域之比具有预定值。

19.如权利要求14所述的图像处理装置，还包括：

修剪单元，被构造为从输入图像产生根据构图设置的修剪区域的修剪图像，并且基于深度信息调整针对修剪图像设置的深度。

20.一种图像处理方法，包括：

基于指示输入图像的深度的深度信息对以三维方式显示的输入图像设置构图。