CN102651798A

CN102651798A - 电子设备

Info

Publication number: CN102651798A
Application number: CN201210036784.4A
Authority: CN
Inventors: 小岛和浩
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2011-02-23
Filing date: 2012-02-17
Publication date: 2012-08-29
Also published as: US20120212640A1; JP2012175533A

Abstract

本发明提供一种电子设备，在摄影图像上良好地除去对主要被摄体进行遮蔽的不需要被摄体。在摄像装置和主要被摄体(311、312)之间存在不需要被摄体(313)时，对摄像装置实施摇摄操作，并且通过多次摄影得到多个输入图像(I_A[1]～I_A[3])。输出图像生成部按照在输出图像上除去不需要被摄体的方式根据多个输入图像来生成输出图像。例如通过采用输入图像I_A[1]以及I_A[3]来加工输入图像I_A[2]中的不需要被摄体区域(相当于点区域)内的图像，从而在输出图像中除去不需要被摄体。

Description

电子设备

技术领域

本发明涉及摄像装置等的电子设备。

背景技术

在采用摄像装置对主要被摄体进行摄影时，存在摄影图像中摄入不需要被摄体(不要的物体)的情况。特别例如如图13所示，在不需要被摄体913位于摄像装置901和主要被摄体911以及912之间的情况下，即使用户期望如图14(a)所示那样的图像的摄影，主要被摄体911以及912全部或者一部分被不需要被摄体913遮蔽而变成实际上摄影如图14(b)所示那样的图像。在图14(b)中，点区域(布满点的区域)表示作为人物的被摄体913的头后部(在后述的图14(c)中也相同)。

通过使摄像装置901平行移动或者旋转，能够对如图14(c)所示那样的主要被摄体911以及912的全体进行摄影，但在该情况下，摄影图像的构图偏离摄影者的期望构图(即存在摄影构图变差的情况)。

提出各种通过图像处理除去在摄影图像中摄入的不需要被摄体(不需要物体)的方法。例如提出利用噪声减小处理等来除去摄像图像上的人物的斑点或皱纹的方法(参照下述专利文献1以及2)。

专利文献

专利文献1日本特开2009-20834号公报

专利文献2日本特开2009-182423号公报

但是，在上述那样的图像处理方法中，由于不能正确地插入被不需要被摄体913遮蔽的图像部分(在图14(b)中，主要被摄体911以及912的一部分躯体)，因此难以得到良好的结果图像。

发明内容

在此，本发明的目的在于提供一种能够得到良好地除去不需要被摄体的结果图像的电子设备。

本发明相关的电子设备，具备：输入图像取得部，其取得通过从互相不同的视点摄影被摄体群而得到的多个输入图像；和输出图像生成部，其基于上述多个输入图像来生成输出图像，该电子设备的特征在于，上述输出图像生成部将在上述多个输入图像中所包括的任一个输入图像内的不需要被摄体的图像利用其他输入图像来除去，生成完成了上述不需要被摄体的除去的图像作为上述输出图像。

期待通过采用上述多个输入图像而除去不需要被摄体的部分的成为良好的插入，结果能够得到良好的结果图像(输出图像)。

具体地例如在该电子设备中还设置接受输入操作的用户接口，也可基于上述输入操作来决定上述不需要被摄体。

此外例如，通过上述输入操作来指定距离范围，上述距离范围表示实际空间上的距基准地点的距离的范围，上述输出图像生成部按照位于所指定的距离范围外的被摄体作为上述不需要被摄体而从上述输出图像被除去的方式，根据上述多个输入图像生成上述输出图像。

此外，例如上述输出图像生成部也可按照上述输出图像具有与上述距离范围相对应的景深的方式生成上述输出图像。

此外例如，上述电子设备也可以是摄像装置，作为电子设备的上述摄像装置，还具备依次取得上述被摄体群的摄影图像的摄像部以及依次显示上述摄影图像的显示部，并采用上述摄像部来取得上述多个输入图像，在由上述显示部显示上述摄像图像时，完成能够在视觉上区别上述不需要被摄体的显示区域和除此之外的显示区域那样的显示。

由此，用户能够容易地识别不需要被摄体的区域和除此以外的区域(例如主要被摄体的区域)。

根据本发明，用户能够提供一种能够得到良好地除去了不需要被摄体后的结果图像的电子设备。

附图说明

图1为本发明的实施方式相关的摄像装置的概略全体框图。

图2为图1的摄像部的内部构成图。

图3为用于说明被摄体距离的意义的图3(a)、表示关注图像的图3(b)以及用于说明景深的意义的图3(c)。

图4为表示在本发明的实施方式中被假设的摄像装置和多个被摄体的位置关系的图。

图5为表示通过图1的摄像装置能取得的多个摄像图像的图。

图6为图1所示的摄像装置的一部分的框图。

图7为表示本发明的实施方式相关的多个输入图像的图。

图8为表示本发明的实施方式相关的多个输入图像的具体例的图。

图9为用于说明本发明的实施方式相关的距离范围的意义的图。

图10为表示本发明的实施方式相关的输出图像的例子的图。

图11为本发明的实施方式相关的摄像装置的动作流程图。

图12为本发明的实施方式相关的、表示预览图像的图12(a)和表示基于该预览图像的显示图像的图12(b)、(c)。

图13为与现有技术相关，表示摄像装置和多个被摄体的位置关系的图。

图14为表示通过现有的摄像装置能取得的多个摄影图像的图。

符号的说明

1-摄像装置；11-摄像部；51-输入图像取得部；52-输出图像生成部；53-分类信息设定部；54-构图设定部；55-景深设定部；DD-距离范围

具体实施方式

以下，参照附图对本发明的实施方式的例子具体地进行说明。在所参照的各图中，对同一部分付与相同的符号，作为原则，省略与同一部分相关的重复的说明。另外，在本说明书中，在简化表述的基础上，通过附记参照信息、物理量、状态量或者部件等的记号或者符号来省略或者简写与该记号或者符号相对应的信息、物理量、状态量或者部件等的名称。例如在通过记号I[i]来表示输入图像的情况下(参照图7)，存在将输入图像I[i]记载为图像I[i]或者只记载为I[i]的情况。

图1为本发明的实施方式相关的摄像装置1的概略全体框图。摄像装置1为能摄影或者记录静止图像以及运动图像的数码摄像机。但是，摄像装置1也可以是只摄影或者只记录静止图像的数码照相机。此外，摄像装置1也可以是被搭载于携带电话机等的便携式终端中的设备。

摄像装置1具备摄像部11、AFE(Analog Front End，模拟前端)12、主控制部13、内部存储器14、显示部15、记录介质16和操作部17。另外，也可解释为显示部15是被设置于摄像装置1的外部设备(未图示)中的设备。

摄像部11采用摄像元件来进行被摄体的摄影。图2为摄像部11的内部构成图。摄像部11具有光学系统35、光圈32、由CCD(Charge CoupledDevice)或者CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成的摄像元件(固体摄像元件)33、用于驱动控制光学系统35或光圈32的驱动器34。光学系统35由多个透镜形成，该多个透镜包括用于调节摄像部11的视角的变焦透镜30和用于集中于焦点的聚焦透镜31。变焦透镜30和聚焦透镜31能沿光轴方向移动。所谓光轴是指摄像部11中的光轴(摄像装置1中的光轴)。基于来自主控制部13的控制信号，控制光学系统35内的变焦透镜30以及聚焦透镜31的位置以及光圈32的开度(即光圈值)。

摄像元件33通过在水平以及垂直方向上排列多个受光像素而形成。摄像元件33的各受光像素对经由光学系统35以及光圈32而入射的被摄体的光学像进行光电变换，将通过该光电变换的电信号输出到AFE12(Analog Front End)。

AFE12对从摄像部11(摄像元件33)输出的模拟信息进行放大，将被放大了的模拟信号变换为数字信号之后输出到主控制部13。AFE12中的信号放大的放大度通过主控制部13被控制。主控制部13对通过AFE的输出信号所表示的图像实施必要的图像处理，生成图像处理后的图像有关的影像信号。将对通过AFE12的输出信号自身所表示的图像或者AFE12的输出信号自身所表示的图像实施预定的图像处理而得到的图像称作摄影图像。主控制部13具备控制显示部15的显示内容的显示控制部22，对显示部15执行显示所需的控制。

内部存储器14由SDRAM(Synchronous Dynamic Random AccessMemory)形成，暂时存储在摄像装置1内所生成的各种数据。

显示部15为具有液晶显示面板等的显示画面的显示装置，在主控制部13的控制之下显示摄影图像和记录于记录介质16中的图像等。在本说明书中，在仅称作显示以及显示画面的情况下，显示以及显示画面是指显示部15中的显示以及显示画面。在显示部15中设置触摸面板19，用户通过用操作体(手指或触摸笔等)触摸显示部15的显示画面，能够对摄像装置1提供特定的指示。另外，也能省略触摸面板19.

记录介质16为卡状半导体存储器或磁盘等非易失性存储器，在主控制部13所执行的控制之下，记录摄影图像的影像信号等。操作部17具备受理静止图像的摄影指示的快门按钮20以及受理运动图像的摄影开始指示或者摄影结束指示的录像按钮21等，受理来自外部的各种操作。与操作部17相对应的操作内容被传输到主控制部13。能够将操作部17以及触摸面板19称作受理来自用户的任意的指示以及操作的用户接口，以下将操作部17或者触摸面板19或者将它们集中而称作用户接口。快门按钮20以及录像按钮21也可为触摸面板19上的按钮。

摄像装置1的动作模式中包括能够进行图像(静止图像或者运动图像)的摄影以及记录的摄影模式和将记录于记录介质16中的图像(静止图像或者运动图像)再现显示于显示部15上的再现模式。按照与操作部17相对应的操作，实施各模式间的转移。

在摄影模式中，在规定的帧周期中周期性地进行被摄体的摄影，依次取得被摄体的摄影图像。将表示图像的影像信号也称作图像数据。影像信号包括例如亮度信号以及色差信号。有时也将与某像素相对应的图像数据称作像素信号。将某图像的大小或者图像区域的大小也称作图像尺寸。能够将关注图像或者关注图像区域的图像尺寸用形成关注图像的像素的数目或者属于关注图像区域的像素的数目来表现。另外，在本说明书中，有时也将某图像的图像数据仅称作图像。因此，例如输入图像的生成、取得、记录、加工、变形、编辑或者保存意味着输入图像的图像数据的生成、取得、记录、加工、变形、编辑或者保存。

如图3(a)所示，将任意的被摄体和摄像装置1(更具体地为摄像元件33)之间的实际空间上的距离称作被摄体距离。在图3(b)所示的关注图像300的摄影时，摄像部11的景深内的具有被摄体距离的被摄体301在关注图像300上聚焦，摄像部11的景深外的具有被摄体距离的被摄体302在关注图像上没有聚焦(参照图3(c))。在图3(b)中，通过被摄体的轮廓线的粗度来表现被摄体的像的晕映情况。

将收容于摄像装置1的摄影区域内的所有的被摄体的集合称作被摄体群。被摄体群中包括摄影者所关注的一个以上的主要被摄体和对摄影者来说是不需要物体的一个以上的不需要被摄体。也能将被摄体称作物体(因此，例如也能将被摄体群、主要被摄体以及不需要被摄体分别称作物体群、主要物体以及不需要物体)。在本实施方式中，假设在如图4所示的被摄体群中包括作为人物的被摄体311～313，对摄影者而言的主要被摄体为被摄体311以及312，且被摄体313为不需要被摄体。此外，将被摄体311、312以及313的被摄体距离分别用记号d₃₁₁、d₃₁₂以及d₃₁₃表示。在此，0＜d₃₁₃＜d₃₁₁＜d₃₁₂成立。即，摄像装置1和被摄体311以及312之间存在不需要被摄体312。此外，摄像装置1和被摄体311～313大致在一条直线上排列。在被摄体群中也可包括被摄体311～313以外的背景被摄体(例如山或建筑物)。所谓背景被摄体为具有比主要被摄体大的被摄体距离的被摄体。因此，背景被摄体的被摄体距离比距离d₃₁₂大。

作为用户的摄影者期望取得如图5(a)所示那样的不包括被摄体313的图像。但是，由于被摄体313的存在而实际的摄影图像成为例如图5(b)那样。在图5(b)中，点区域(布满点的区域)表示被摄体313的头后部(后述的图5(c)以及图8等中也相同)。在图5(b)的摄影图像上通过被摄体313的头后部遮蔽一部分主要被摄体311以及312。此外，通过使摄像装置1平行移动或者旋转，从而也能摄影如图5(c)所示的主要被摄体311以及312的全体，但在这种情况下，存在摄影图像的构图偏离摄影者的期望构图的情况。

摄像装置1在图4所示那样的状况下，也能生成对主要被摄体具有良好的构图的图像(以下称作输出图像)。图6表示尤其参与到输出图像的生成的部位的框图。能够将通过图6的符号51～55被参照的各部位预先设置到例如图1的主控制部13中。

输入图像取得部51取得基于摄像部11的输出信号的多个输入图像。摄像部11能够通过周期性或者间断地进行被摄体群的摄影而依次取得被摄体群的摄影图像。各输入图像为通过采用摄像部11摄影被摄体群来得到的静止图像(即被摄体群的摄影图像)。输入图像取得部51能够通过从AFE12直接接收AFE12的输入信号来取得各输入图像。或者也可预先将被摄体群的各摄影图像记录在暂时记录介质16中，通过将从记录介质16读出的被摄体群的各摄影图像提供给输入图像取得部51来使输入图像取得部51取得各输入图像。

如图7所示，通过记号I[1]～I[n]来表示多个输入图像(n为2以上的整数)。在输入图像I[i]和输入图像I[i]之间存在视差(i以及j为整数，i≠j)。换句话说，输入图像I[i]的视点和输入图像I[i]的视点互相不同。即输入图像I[i]的摄影时的摄像装置1的位置(更具体地为摄像元件33的位置)和输入图像I[i]的摄影时的摄像装置1的位置(更具体地为摄像元件33的位置)互相不同。在图8中表示作为输入图像I[1]～I[n]的例子的输入图像I_A[1]～I_A[3]。在图8的例子中n＝3。输入图像I_A[1]为优先左侧的主要被摄体即被摄体311来进行摄影得到的图像，输入图像I_A[2]为优先构图的良好度来进行摄影得到的图像，输入图像I_A[3]为优先右侧的主要被摄体即被摄体312来进行摄影得到的图像。另外，在本实施方式中，为了方便说明，在输入图像I[1]～I[n]的摄影时，设被摄体311～313在实际空间上静止，而被摄体距离d₃₁₁～d₃₁₃不变。

例如能够采用以下的第1～第3输入图像生成方法中的任一个方法来生成输入图像I[1]～I[n]。

说明第1输入图像生成方法。在第1输入图像生成方法中，例如取得对摄像装置1执行摇摄(pan)而同时得到的多个摄影图像作为多个输入图像。更具体地来说，在第1输入图像生成方法中，用户将被摄体群收容于摄像装置1的摄影区域内，并且在持续按压快门按钮20的状态下使摄像装置1的位置(以及摄影方向)一点一点地变化(例如对摄像装置1执行摇摄操作)。在持续按压快门按钮20的期间中，摄像部11周期性地反复进行被摄体群的摄影，由此得到在时间序列上排列的多个摄影图像(被摄体群的摄影图像)。输入图像取得部51取得该多个摄影图像作为输入图像I[1]～I[n]。

说明第2输入图像生成方法。与第1输入图像生成方法相同，在第2输入图像生成方法中，例如取得对摄像装置1执行摇摄(pan)而同时得到的多个摄影图像作为多个输入图像。但是，在第2输入图像生成方法中，各输入图像的摄影定时是由用户明确地指定的。即例如在第2输入图像生成方法中，用户在将被摄体群收容于摄像装置1的摄影区域内的状态下使摄像装置1的位置(以及摄影方法)一点一点地变化，并且在每次变化时按下快门按钮20。快门按钮在第1、第2、…第n时刻依次被按下了的情况下，得到第1、第2、…第n时刻的摄像部11的摄影图像分别作为输入图像I[1]、I[2]、…I[n]。

说明第3输入图像生成方法。在第3输入图像生成方法中，从运动图像中提取输入图像。更具体地来说，例如采用摄像部11来摄影被摄体群作为运动图像MI，将该运动图像预先记录于记录介质16中。如所周知的那样，运动图像MI为通过预定的帧周期下的周期的摄像而得到的帧图像的集合，各个帧图像为通过摄像部11摄影的静止图像。在第3输入图像生成方法中，从形成运动图像MI的多个帧图像中提取n张帧图像作为输入图像I[1]～I[n]。用户也可经由用户接口指定将形成运动图像MI的哪个帧图像提取来作为输入图像。或者也可基于帧图像间的光学流量(opticalflow)等，输入图像取得部51判定适于输入图像的帧图像，提取按照该判定结果的n张帧图像作为输入图像I[1]～I[n]。进而或者，也可将形成运动图像MI的所有的帧图像用作输入图像I[1]～I[n]。

距离映射图生成部(未图示)能够通过针对输入图像的被摄体距离检测处理来生成与各输入图像对应的距离映射图。能够将距离映射图生成部预先设置于主控制部13(例如图6的输出图像生成部52)中。在被摄体距离检测处理中，检测输入图像的各像素中的被摄体的被摄体距离，根据表示该检测结果(输入图像的各像素中的被摄体的被摄体距离的检测值)的距离数据来生成距离映射图。距离映射图为形成自身的各像素值具有被摄体距离的检测值的距离映射图。通过距离映射图，确定输入图像的各像素中的被摄体的被摄体距离。距离数据、距离映射图都是一种被摄体信息。作为被摄体距离的检测方法，能利用包括公知的方法的任意的方法。也可从存在视差的多个输入图像中通过立体法(三角测量的原理)来检测被摄体距离，也可采用测距传感器来检测被摄体距离。

图6的输出图像生成部52按照在输出图像中除去不需要被摄体311的方式(换句话说按照不需要被摄体313的图像数据没有包括在输出图像中的方式)，基于输入图像I[1]～I[n]来生成输出图像。能够将所生成的输出图像显示于显示部15中，并且能够记录于记录介质16中。以下，仅称作记录的情况下，是指对记录介质16的记录。在记录时，也可压缩图像数据。

将通过输出图像生成部52执行的、用于根据输入图像I[1]～I[n]生成输出图像的图像处理称作输出图像生成处理。在生成输出图像时，输出图像生成部52能够根据需要采用距离映射图以及视差信息。所谓视差信息是表示在输入图像I[1]～I[n]中所包括的任意的输入图像间的视差的信息。通过视差信息，以输入图像I[i]的摄影时的摄像装置1的位置以及光轴的方向作为基准，确定输入图像I[i]的摄影时的摄像装置1的位置以及光轴的方向。也可根据检测摄像装置1的角速度或者加速度的传感器(未图示)的检测结果来生成视差信息，或者也可通过对从摄像部11的输出信号导出的光学流量进行分析来生成视差信息。

为了生成上述那样的输出图像，需要使输出图像生成部52识别哪个被摄体是不需要被摄体的信息，将该信息称作分类信息。通过分类信息，输出图像生成部52能够将在被摄体群中包括的各被摄体分类为主要被摄体以及不需要被摄体中的任一个、或者能够将被摄体群中包括的各被摄体分类为主要被摄体、不需要被摄体以及背景被摄体中的任一个。此外，在任意的二维图像中，将主要被摄体的图像数据存在的图像区域称作主要被摄体区域，将不需要被摄体的图像数据存在的图像区域称作不需要被摄体区域，将背景被摄体的图像数据存在的图像区域称作背景被摄体区域。在本实施方式中所述的所有的图像如果没有特别记述则是二维图像。分类信息也可以说是用于将输入图像的所有图像区域分离为主要被摄体区域和不需要被摄体区域的信息、或者用于将输入图像的所有图像区域分离为主要被摄体区域、不需要被摄体区域和背景被摄体区域的信息。另外，对于摄影者而言，主要被摄体为关注度比较高地被摄体，而不需要被摄体为关注度比较低的被摄体。因此，也可将主要被摄体区域以及不需要被摄体区域分别称作高关注度区域和低关注度区域。此外，分类信息也可以说是用于确定摄影者关注的被摄体(即主要被摄体)的信息，因此也可将分类信息称作关注度信息。

图6的分类信息设定部53生成上述分类信息并提供给输出图像生成部52。用户能够对用户接口完成用于指定分类信息的输入操作U_op1，在完成了输入操作U_op1的情况下，分类信息设定部53生成基于输入操作U_op1的分类信息。基于分类信息来决定主要被摄体以及不需要被摄体，因此输入操作U_op1也可以说是用于决定主要被摄体的操作，也可以说是用于决定不需要被摄体的操作。

具体地来说，例如用户在输入操作U_op1中能够经由用户接口来指定距离范围DD。

距离范围DD为实际空间上的距基准地点的距离的范围。如图9所示，基准地点为输入图像I[n_A]的摄影时的摄像装置1的位置。n_A为1以上n以下的任意的整数，也可预先确定n_A的值。于是，关于被摄体311～313距基准地点的距离分别与被摄体距离d₃₁₁～d₃₁₃一致(参照图4)。用户在输入操作U_op1中能够将属于距离范围DD的最小距离DD_MIN(例如3米)以及最大距离DD_MAX(例如5米)直接输入到用户接口。或者例如获取最小距离DD_MIN以及最大距离DD_MAX分别作为属于摄像部11的景深的最小距离以及最大距离，也可使用户将用于导出最小距离DD_MIN以及最大距离DD_MAX的距离导出用数据(例如光圈值以及焦点距离)输入到用户接口。在这种情况下，分类信息设定部53根据距离导出用数据来决定距离范围DD。

用户按照自身所关注的被摄体(以及按照需要的背景被摄体)收容于距离范围DD内的方式并且认为自身不需要的被摄体位于距离范围DD外的方式指定距离范围DD。在本实施方式中，假设将被摄体311以及312作为主要被摄体对待且将被摄体313作为不需要被摄体对待，因此用户按照d₃₁₃＜DD_MIN＜d₃₁₁＜d₃₁₂＜DD_MAX成立的方式指定距离范围DD。用户能够经由用户接口只指定最小距离DD_MIN，在这种情况下，分类信息设定部53能够将最大距离DD_MAX设定为无限大。

另外，基准地点也可为摄像装置1的位置以外。例如也可将输入图像I[1]～I[n]的摄影时的摄像部11的景深内的中心位置用作基准地点。或者例如也可在各输入图像中包括人物的脸的情况下将该脸存在的位置(实际空间上的位置)设定为基准地点。

输入操作U_op1中指定了距离范围DD的情况下，分类信息设定部53能够将距离范围DD作为分类信息输出到输出图像生成部52，输出图像生成部52基于距离范围DD将位于距离范围DD内的被摄体分类为主要被摄体，并且将位于距离范围DD外的被摄体分类为不需要被摄体。在被摄体群中包括背景被摄体的情况下，也可基于距离范围DD将位于距离范围DD内的被摄体分类为主要被摄体或者背景被摄体。输出图像生成部52按照位于距离范围DD内的被摄体作为主要被摄体或者背景被摄体出现于输出图像中的方式并且位于距离范围DD外的被摄体作为不需要被摄体而从输出图像中被除去的方式，根据输入图像I[1]～I[n]生成输出图像。

基本上，例如输出图像生成部52采用作为分类信息的距离范围DD和与输入图像I[i]对应的距离映射图，将输入图像I[i]的所有图像区域分离为距离范围DD内的被摄体的图像数据存在的图像区域即必要区域和距离范围DD外的被摄体的图像数据存在的图像区域即不需要区域。在各输入图像中进行该分离。必要区域包括主要被摄体区域，还能包括背景被摄体区域。不需要区域包括不需要被摄体区域。上述分离的结果，在各输入图像中，将被摄体313的图像数据存在的图像区域(图8的例子中相当于点区域)设定为不需要区域，并且将被摄体311以及312的图像数据存在的图像区域包括到必要区域中。而且例如将输入图像I[1]～I[n]的任一张设定为基准图像(例如图8的图像I_A[2])，另一方面将输入图像I[1]～I[n]内基准图像以外的输入图像设定为非基准图像。之后，通过采用非基准图像中的必要区域内的图像数据来加工基准图像中的不需要区域内的图像，从而从基准图像除去不需要被摄体，能够生成该除去后的基准图像作为输出图像。通过采用了非基准图像的必要区域内的图像数据的加工，变成在基准图像中被不需要被摄体遮蔽了的部分(包括一部分主要被摄体)在输出图像中出现。

图10的图像350为基于图8的输入图像I_A[1]～I_A[3]的输出图像的例子。为了生成输出图像350，能够将输入图像I_A[2]设定为基准图像，另一方面将输入图像I_A[1]以及I_A[3]设定为非基准图像。而且，例如从基准图像I_A[2]除去基准图像I_A[2]中的不需要区域内的图像(即I_A[2]内的点区域)，另一方面采用非基准图像I_A[1]以及I_A[3]中的必要区域内的图像(被摄体311以及312的躯体部分的图像)来插入基准图像I_A[2]中的不需要区域内的图像。该插入的结果得到输出图像350，在基准图像I_A[2]中被不需要被摄体313遮蔽的部分(被摄体311以及312的躯体部分的图像)在输出图像350中出现。

接下来，对图6的构图设定部54进行说明。构图设定部54生成用于规定输出图像的构图的构图设定信息并传送到输出图像生成部52。输出图像生成部52进行输出图像生成处理以使得得到具有在构图设定信息中规定的构图的输出图像。

用户经由用户接口能够指定输出图像的构图，在完成了该指定的情况下，生成对应该指定内容的构图设定信息。例如在摄影了图8的输入图像I_A[1]～I_A[3]作为输入图像I[1]～I[n]并记录到记录介质16之后，用户期望生成具有与输入图像I_A[2]的构图相同的构图的输出图像的情况下，用户能够经由用户接口指定输入图像I_A[2]作为期望构图图像。接受该指定的构图设定部54按照具有与期望构图图像(在本例中为输入图像I_A[2])相同的构图的输出图像在输出图像生成部52中被生成的方式生成构图设定信息。结果例如得到从期望构图图像的摄影时的摄像装置1的位置朝向期望构图图像的摄影时的光轴的方向观测到被摄体311以及312那样的输出图像，输出图像上的被摄体311以及312的位置与期望构图图像上的被摄体311以及312的位置一致。在输入图像I_A[2]为期望构图图像时，输出图像生成部52例如也可在将输入图像I_A[2]设定为上述基准图像的基础上进行输出图像生成处理。

以下，例示在构图设定部54中能利用的第1～第5构图设定方法。

说明第1构图设定方法。在第1构图设定方法中，在采用第1～第3输入图像生成方法的任一种方法来摄影输入图像I[1]～I[n]之前或者采用第1～第3输入图像生成方法的任一种方法摄影了输入图像I[1]～I[n]之后，另外按照用户的操作使摄影部11摄影被摄体群，并得到期望构图图像。由此，能够使用户的希望可靠地反映到输出图像的构图中。

说明第2构图设定方法。在第2构图设定方法中，在采用第1～第3输入图像生成方法的任一种方法来摄影以及记录了输入图像I[1]～I[n]之后，用户经由用户接口指定输入图像I[1]～I[n]的任一个作为期望构图图像。由此，为了得到期望构图图像而错过快门机会之类的情况消失。

说明第3构图设定方法。在第3构图设定方法中，在采用第1～第3输入图像生成方法的任一种方法对输入图像I[1]～I[n]进行了摄影以及记录之后，构图设定部54不按照用户的操作而自动地将输入图像I[1]～I[n]的任一个设定为期望构图图像。能够预先确定将哪个输入图像设定为期望构图图像。

说明第4构图设定方法。第4构图设定方法与从运动图像MI取得输入图像的方法即第3输入图像生成方法相组合来使用。随着时间推移而时刻t1、t2、…、tm依次到来(m为2以上的整数)，在时刻t1、t2、…、tm中，考虑分别形成运动图像MI的第1、第2、…、第m个帧图像被摄影的情况。运动图像MI的摄影期间为时刻t1以及tm间的期间。采用第4构图设定方法的情况下，用户在运动图像MI的摄影期间中的期望的定时按压设置于用户接口的构图指定按钮(未图示)。在按压了构图指定按钮的定时下所摄影的帧图像被设为期望构图图像。即例如在构图指定按钮被按压的定时为时刻t2的情况下，形成运动图像MI的第2个帧图像被设定为期望构图图像。根据第4构图设定方法，不需要另外地摄影期望构图图像。

说明第5构图设定方法。第5构图设定方法也与第3输入图像生成方法组合来使用。在第5构图设定方法中，构图设定部54获取运动图像MI的摄影期间中的任一个时刻作为构图设定用时刻，将在构图设定用时刻所摄影的帧图像设定为期望构图图像。构图设定用时刻，例如为运动图像MI的摄影期间中的开始时刻(即时刻t1)、结束时刻(即时刻tm)或者中央时刻。能够预先确定将哪个时刻用作构图设定用时刻。根据第5构图设定方法，在运动图像MI的摄影中不需要特别的操作。此外，也不需要另外地摄影期望构图图像。

接下来，对图6的景深设定部55进行说明。景深设定部55生成规定输出图像的景深的深度设定信息，并传送到输出图像生成部52。输出图像生成部52进行输出图像生成处理以得到具有由深度设定信息规定的景深的输出图像。

用户能够经由用户接口来指定输出图像的景深，在完成了该指定的情况下，生成对应该指定内容的深度设定信息。用户也能够省略指定输出图像的景深的操作，在这种情况下，景深设定部能够将距离范围DD用作深度设定信息。或者也可将距离范围DD始终用作深度设定信息。在距离范围DD被用作深度设定信息的情况下，基于深度设定信息，输出图像生成部52进行输出图像生成处理以使输出图像得到对应距离范围DD的景深(理想的情况下，输出图像的景深与距离范围DD相一致)。

输出图像生成部52能够预先将能调整输出图像的景深的图像处理J包括于输出图像生成处理中，由此生成对应深度设定信息的输出图像。能够将图像处理J所执行的景深调整后的输出图像显示于显示部15中并且记录于记录介质16中。图像处理的一种也被称作数字聚焦，作为实现数字聚焦的图像处理的方法，提出各种图像处理方法。能够利用基于距离映射图而任意地调整输出图像的景深的公知的方法(例如日本特开2010-81002号公报、国际公开第06/039486号小册子、日本特开2009-224982号公报、日本特开2010-252293号公报或者日本特开2010-81050号公报中记载的方法)作为图像处理J的方法。

在以下的多个实施例中，说明以上述的构成以及动作作为基本的摄像装置1的更具体的构成例以及动作例等。只要没有矛盾且没有特别的记载，关于摄像装置1所述的内容能够适用于以下的各实施例，此外也能组合多个实施例。

第1实施例

说明第1实施例。在第1实施例中，说明关注于输出图像的生成动作的摄像装置1的动作过程。图11为表示该动作过程的流程图。依次执行步骤S11～S15的处理。在摄影模式中执行步骤S11～S13。步骤S14以及S15的处理也可在摄影模式中执行，也可在再现模式中执行。另外，在第1实施例以及后述的第2～第4实施例中，也可利用第1～第3输入图像生成方法的任一种方法，也可利用第1～第5构图设定方法的任一种方法。

在摄影模式中，在输入图像I[1]～I[n]的摄影前，通过摄像部11周期性地摄影被摄体群，将输入图像I[1]～I[n]的摄影前的、摄像部11所得到的摄影图像特称作预览图像。图1的显示控制部22使依次得到的预览图像依次更新显示于显示部15中。由此，用户能够确认现在的摄影构图。

在步骤S11中，用户进行输入操作U_op1，分类信息设定部53将基于输入操作U_op1的距离范围DD设定为分类信息。

在通过输入操作U_op1指定了距离范围DD之后，在步骤S12中，显示控制部22在显示部15中进行特殊取景显示。所谓特殊取景显示是指在进行预览图像的依次显示的显示画面上，使用户能够在视觉上区别特定显示区域和除此之外的显示区域。特定显示区域也可为主要被摄体的显示区域，或者也可为不需要被摄体的显示区域，或者也可为主要被摄体或者背景被摄体的显示区域。在特定显示区域为主要被摄体以及背景被摄体的显示区域的情况下，结果，用户能够在视觉上区别不需要被摄体的显示区域和除此之外的显示区域(即主要被摄体以及背景被摄体的显示区域)。通过特殊取景显示，用户在显示画面上容易地掌握特定的例如(例如主要被摄体区域或者不需要被摄体区域)。

例如在得到图12(a)所示那样的预览图像400时，基于距离范围DD和与预览图像400对应的距离映射图，显示控制部22将预览图像400的所有图像区域分离为与特定显示区域相对应的特定图像区域和除此之外的图像区域，对预览图像400的特定图像区域执行加工处理，使加工处理后的预览图像400显示于显示画面。在图12(b)以及(c)中分别表示显示于显示画面的加工处理后的预览图像400的例子。加工处理例如为使特定图像区域内的图像的亮度或者彩色的饱和度增大或者减小的图像处理，或者也可为对特定图像区域内的图像赋予阴影等的处理。进而或者加工处理能包括几何学的变换、灰度变换、颜色修正或者滤波等的任意的图像处理。显示控制部22能够对依次摄影得到的预览图像分别依次实施加工处理，使加工处理后的预览图像更新显示。

如果特定显示区域为主要被摄体的显示区域，则成为加工处理的对象的特定图像区域为主要被摄体区域，如果特定显示区域为不需要被摄体的显示区域，则成为加工处理的对象的特定图像区域为不需要被摄体区域，如果特定显示区域为主要被摄体以及背景被摄体的显示区域，则成为加工处理的对象的特定图像区域为主要被摄体区域以及背景被摄体区域。主控制部13通过采用与生成输入图像的距离映射图相同的方法对预览图像400进行被摄体距离检测处理，从而能够得到与预览图像400对应的距离映射图。

另外，在步骤S12中完成了特殊取景显示时，用户通过对用户接口的分类变更指示操作，能够将任意的被摄体从主要被摄体变更为不需要被摄体。反过来考虑，也可按照通过对用户接口的分类变更指示操作，能够将任意的被摄体从不需要被摄体变更为主要被摄体的方式，来预先形成摄像装置1。

例如在除了图4的被摄体311～313之外而与被摄体311具有相同的被摄体距离的被摄体311’(未图示)被包括在被摄体群中的情况下，指定满足d₃₁₃＜DD_MIN＜d₃₁₁＜d₃₁₂＜DD_MAX的距离范围DD时，摄像装置1不仅将被摄体311以及312而且还将被摄体311’也设定为主要被摄体。在步骤S12中，完成对应该设定内容的特殊取景显示。在这种情况下，用户考虑被摄体311’作为不需要被摄体的情况下，用户完成指示将被摄体311’变更为不需要被摄体的分类变更指示操作。如果完成该分类变更指示操作，则摄像装置1将被摄体311’重新设定为不需要被摄体，在输出图像生成部52中按照将被摄体311’作为不需要被摄体对待的方式修正分类信息。通过预先使这种修正变成可能，从而能够从输出图像中将与被摄体311具有相同的被摄体距离的关注度低的被摄体311’除外。

摄像装置1进行上述的特殊取景显示，并且等待对输入图像I[1]～I[n]或者运动图像MI的摄影进行指示的用户操作的输入，如果输入该用户操作，则在步骤S13中进行输入图像I[1]～I[n]或者运动图像MI的摄影。摄像装置1能够将输入图像I[1]～I[n]或者运动图像MI的图像数据记录在内部存储器14或者记录介质16中。

在步骤S14中，输出图像生成部52基于在步骤S13所摄影的输入图像I[1]～I[n]或者基于从在步骤S13所摄影的运动图像MI提取的输入图像I[1]～I[n]，通过输出图像生成处理来生成输出图像。所生成的输出图像在步骤S15中被显示于显示部15中，并且被记录于记录介质16中。

另外，上面叙述了对预览图像执行特殊取景显示，但也可对输入图像I[1]～I[n]或者运动图像MI的各帧图像也执行特殊取景显示。

此外，在上述的流程图中，假设在摄影模式中完成输入操作U_op1，但也可在摄影模式中摄影以及记录了输入图像I[1]～I[n]或者运动图像MI之后，在再现模式中只执行步骤S11、S14以及S15的处理。

第2实施例

说明第2实施例。在第2实施例以及后述的第3实施例中，说明输出图像生成处理的具体例。第2实施例相关的输出图像生成部52利用对在被摄体群中包括的各被摄体的三维形状进行复原的三维复原处理来生成输出图像(即能够在输出图像生成处理中包括三维形状复原处理)。根据具有视差的多个输入图像复原各被摄体的三维形状的方法是公知的，因此省略该方法的详细的说明。输出图像生成部52能利用对三维形状进行复原的公知的方法(日本特开2008-220617号公报中记载的方法)。

输出图像生成部52从输入图像I[1]～I[n]对被摄体群中所包括的各被摄体的三维形状进行复原，生成表示各被摄体的三维形状的三维信息。而且，从所生成的三维信息中提取表示主要被摄体的三维形状或者表示主要被摄体以及背景被摄体的三维形状的必要三维信息，根据所提取的必要三维信息来生成输出图像。此时，通过将必要三维信息变换为二维信息来生成输出图像以使得得到具有由构图设定信息所规定的构图的输出图像。结果例如得到：从期望构图图像(例如图8的图像I_A[2])的摄影时的摄像装置1的位置朝向期望构图图像的摄影时的光轴的方向观测到被摄体311以及312那样的输出图像(例如图10的图像350)。在深度设定信息被提供给输出图像生成部52的情况下，也进行与深度设定信息对应的输出图像的景深调整。

第3实施例

说明第3实施例。第3实施例相关的输出图像生成部52利用自由视点影像生成处理来生成输出图像(即能够在输出图像生成处理中包括自由视点影像生成处理)。在自由视点影像生成处理中，基于通过从互相不同的视点摄影被摄体而得到的多个输入图像，能够生成从任意的视点可观察到该被摄体的图像(以下称作自由视点影像)。由于这种自由视点影像的生成方法是公知的，因此省略该生成方法的详细的说明。输出图像生成部52能利用生成自由视点影像的公知的方法(日本特开2004-220312号公报中记载的方法)。

如果采用自由视点影像生成处理，则能够基于多个输入图像I[1]～I[n]，生成从任意的视点可观察到主要被摄体即被摄体311以及312的自由视点影像FF。此时，按照得到具有由构图设定信息规定的构图的自由视点影像FF的方式，设定用于生成自由视点影像FF时的视点。此外，自由视点影像FF在遮盖各输入图像上的不需要被摄体的图像部分的基础上而被生成，因此自由视点影像FF上不存在不需要被摄体。结果例如得到下述图像作为输出图像(例如图10的图像350)，即从期望构图图像(例如图8的图像I_A[2])的摄影时的摄像装置1的位置朝向期望构图图像的摄影时的光轴的方向可观测到被摄体311以及312那样的自由视点影像FF。在深度设定信息被提供给输出图像生成部52的情况下，也进行与深度设定信息对应的输出图像的景深调整。

第4实施例

说明第4实施例。也可不依赖于用户的输入操作U_op1而生成应称作关注度信息的分类信息。例如分类信息设定部53也可基于摄像部11的输出信号生成显著度映射图(saliency map)，基于显著度映射图生成分类信息。作为基于摄像部11的输出信号生成显著度映射图的方法，可利用公知的显著度映射图生成方法(例如日本特开2001-236508号公报中记载的方法)。例如能够根据1张以上的预览图像或者1张以上的输入图像生成成为分类信息的基础的显著度映射图。

显著度映射图为在图像空间上将人在视觉上引起注意的程度(以下称作显著度)用映射图来表示的图。可认为在视觉上引起注意的图像部分为主要被摄体存在的图像部分。因此，能够按照显著度比较高的图像区域内的被摄体被设定为主要被摄体并且显著度比较低得图像区域内的被摄体被设定为不需要被摄体的方式，基于显著度映射图来生成分类信息。如果根据显著度映射图来生成分类信息，则对用户不要求特别的操作，而将用户的关注度高的区域设定为主要被摄体区域，并且将用户的关注度低的区域设定为不需要被摄体区域。

变形例等

本发明的实施方式，在专利请求的范围中所示的技术思想的范围内，能适当地进行各种变更。以上的实施方式只不过是本发明的实施方式的例子，本发明以及各构成要件的用语的意义不限定于以上的实施方式所记载的内容。上述的说明书中所示的具体的数值只是示例，当然也能将这些数值变更为各种数值。以下记载有注释1以及注释2作为能适用于上述实施方式的注意事项。各注释中所记载的内容只要不矛盾可以任意地组合。

注释1

摄像装置1的构成要素内、参与到输入图像的取得以及输出图像的生成以及显示等任意的构成要素(尤其例如图6所示的各部位以及显示部15以及用户接口)也可被设置于摄像装置1以外的电子设备(未图示)中，也可在该电子设备上实现上述各动作。电子设备例如是个人计算机、便携式信息终端、便携式电话机。另外，摄像装置1也是电子设备的一种。

注释2

能够通过硬件或者硬件与软件的组合来构成摄像装置1以及电子设备。在采用软件来构成摄像装置1或电子设备的情况下，针对采用软件来实现的部位的框图成为对该部位的功能框图进行表示的图。将采用软件被实现的功能记载为程序，也可通过在程序执行装置(例如计算机)上执行该程序，从而实现该功能。

Claims

1.一种电子设备，具备：

输入图像取得部，其取得通过从互相不同的视点摄影被摄体群而得到的多个输入图像；和

输出图像生成部，其基于上述多个输入图像来生成输出图像，

该电子设备的特征在于，

上述输出图像生成部将在上述多个输入图像中所包括的任一个输入图像内的不需要被摄体的图像利用其他输入图像来除去，生成除去了上述不需要被摄体的图像作为上述输出图像。

2.根据权利要求1所述的电子设备，其特征在于，

还具备接受输入操作的用户接口，

上述不需要被摄体是基于上述输入操作而决定的。

3.根据权利要求2所述的电子设备，其特征在于，

通过上述输入操作来指定距离范围，

上述距离范围表示实际空间中的距基准地点的距离的范围，

上述输出图像生成部按照位于所指定的距离范围外的被摄体作为上述不需要被摄体而从上述输出图像被除去的方式，根据上述多个输入图像来生成上述输出图像。

4.根据权利要求3所述的电子设备，其特征在于，

上述输出图像生成部按照上述输出图像具有与上述距离范围相对应的景深的方式生成上述输出图像。

5.根据权利要求1～4中任意一项所述的电子设备，其特征在于，

上述电子设备为摄像装置，

作为上述电子设备的上述摄像装置，

还具备依次取得上述被摄体群的摄影图像的摄像部以及依次显示上述摄影图像的显示部，并利用上述摄像部来取得上述多个输入图像，

在由上述显示部显示上述摄像图像时，按照能够在视觉上区别上述不需要被摄体的显示区域和除此之外的显示区域的方式进行显示。