CN103297677B - 生成重构图像的图像生成装置以及图像生成方法 - Google Patents

Abstract

本发明提供一种用于生成重构图像的图像生成装置以及图像生成方法，生成更能反映主要被摄体的摄影信息的重构图像。层定义部对重构图像的层进行定义。层图像生成部根据光场图像与其景深分布图，对所分配的景深范围中所含的被摄体的图像按层进行重构。变换像素提取部提取与变更操作取得部取得的操作所指定的变更被摄体对应的变换层之上的对应像素。变更重构图像生成部利用变换矩阵定义部规定义的变换矩阵，对层图像进行变换，将层图像叠合而来生成已进行了构图变更后的图像。

Description

生成重构图像的图像生成装置以及图像生成方法

本申请主张以2012年2月24日申请的日本国专利申请特愿2012-039405以及2012年3月19日申请的日本国专利申请特愿2012-062568为基础的优先权，在本申请中援引该基础申请的全部内容。

技术领域

本发明涉及生成重构图像的技术。

背景技术

存在有在拍摄照片后要修正被摄体的构图的情况。为了对应这样的要求，在图像处理领域中，已知有在图像的生成后，对图像进行修正的技术。

与这样的技术关联，JP特表2005-509985号公报中公开了：在指定图像区域后变更图像的构图时，为了抑制不协调感而进行内插的方法。在JP特表2005-509985号公报所记载的技术中，对构图变更而产生的间隙以周边像素的像素值进行补正。

另外，已知有如下的技术，即：通过取得从不同视点摄影得到的被摄体的图像，来取得与从被摄体进入到照相机透镜的光线的位置、方向、光量相关的信息的技术。与这样的技术关联，JP特表2008-515110号公报公开了如下的技术，即，取得对被摄体进行摄影得到的多个图像(光场图像)，根据该多个图像来重构使焦点距离/景深(depthoffield))等发生变化的被摄体的图像这样的技术。

在从一个视点摄影得到的图像中所含的被摄体的信息全部是光线所到达的位置与其光量(各像素的坐标与其像素值分别对应)。由此，在这样的平面的图像上变更被摄体的构图时，即使利用JP特表2005-509985号公报所记载的技术进行补正，也需要进行与来自被摄体的光线信息无关的内插。

另一方面，JP特表2008-515110号公报公开了如下的技术，即：通过对被摄体从多个视点进行摄影，来获得表示被摄体的立体形状的信息、来自从某视点来看被隐藏而看不到的被摄体的光线信息等的技术。但是，JP特表2008-515110号公报，并未言及生成已变更了被摄体的构图后的重构图像的方法，其并不是解决上述课题的技术。

发明内容

本发明是鉴于上述情况而开发的，目的在于提供用于生成更能反映主要被摄体的摄影信息的重构图像的图像生成装置以及图像生成方法。

本发明的第1观点所涉及的图像生成装置具备：图像取得部，其取得从多个视点的各个视点分别摄影得到的由多个子图像构成的摄影图像；提取部，其从构成所述子图像的子像素中，提取与成为构图变更的对象的被摄体对应的子像素，作为变更像素；变更部，其变更在构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系中的与作为所述变更像素而提取的子像素之间的对应关系；和生成部，其利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此，生成已变更了所述被摄体的构图后的重构图像。

本发明的第2的观点所涉及的图像生成装置具备：图像取得部，其取得从多个视点的各个视点摄影得到的由多个子图像构成的摄影图像；提取部，其从构成所述子图像的子像素中，将与成为删除的对象的删除被摄体对应的子像素作为删除像素来提取；变更部，其按照与作为所述删除像素而提取的子像素之间的对应的程度变小的方式来变更用以构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系；和生成部，其利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此生成所述删除像素的影响小的重构图像。

本发明的第3观点所涉及的图像生成方法包括：图像取得步骤，取得从多个视点的各个视点分别摄影得到的由多个子图像构成的摄影图像；提取步骤，从构成所述子图像的子像素中，提取与成为构图变更的对象的被摄体对应的子像素，作为变更像素；变更步骤，变更在构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系中的与作为所述变更像素而提取的子像素之间的对应关系；和生成步骤，利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此，生成已变更了所述被摄体的构图后的重构图像。

本发明的第4观点所涉及的图像生成方法其包括：图像取得步骤，取得从多个视点的各个视点摄影得到的由多个子图像构成的摄影图像；提取步骤，从构成所述子图像的子像素中，将与成为删除的对象的删除被摄体对应的子像素作为删除像素来提取；变更步骤，按照与作为所述删除像素而提取的子像素之间的对应的程度变小的方式，来变更用以构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系；和生成步骤，利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此生成所述删除像素的影响小的重构图像。

附图说明

图1是表示数码相机的构成的图。

图2是表示数码相机的光学系统的构成的图。

图3A表示光场图像(1ightfieldimage)的概念图。图3B表示光场图像的示例。图3C表示光场景深分布图的示例。

图4是用于说明光线追踪的图。

图5是表示对应列表的示例的图。

图6A是表示实施方式1所涉及的图像生成装置的物理构成的图。图6B是表示图像生成装置的功能构成的图。

图7A是表示实施方式1所涉及的被摄体的图。图7B是表示层与重构图像的图。图7C是表示重构景深分布图的图。

图8A至图8G是用于说明指示实施方式1所涉及的构图变更的操作的图。图8A是表示临时重构图像的图。图8B是表示用于选择变更被摄体的操作的图。图8C是表示确定变更对象的操作的图。图8D是表示平行移动操作的图。图8E是表示平行移动后的重构图像的图。图8F是表示缩小操作的图。图8G是表示缩小后的重构图像的图。

图9A是表示实施方式1所涉及的临时重构图像的图。图9B是表示临时重构景深分布图的图。图9C是表示变更重构图像的图。图9D是表示变更重构景深分布图的图。

图10是表示实施方式1所涉及的图像输出处理的流程图。

图11是表示实施方式1所涉及的临时重构图像生成处理的流程图。

图12是表示实施方式1所涉及的变换设定获得处理的流程图。

图13是表示实施方式1所涉及的变换重构图像生成处理的流程图。

图14A是表示实施方式2所涉及的图像生成装置的物理构成的图。图14B是表示图像生成装置的功能构成的图。

图15A至图15E是用于说明对实施方式2所涉及的删除进行指示的操作的图。图15A是表示临时重构图像的图。图15B是表示选择删除被摄体的操作的图。图15C是表示确定删除对象的操作的图。图15D是表示完全删除后的重构图像的图。图15E是表示一定比率删除后的重构图像的图。

图16A至图16D是用于说明实施方式2所涉及的重构图像与重构景深分布图的图。图16A是表示临时重构图像的图。图16B是表示临时重构景深分布图的图。图16C是表示删除重构图像的图。图16D是表示删除重构景深分布图的图。

图17A至图17C是用于说明选择实施方式2所涉及的删除对象的处理的图。图17A是表示删除操作的图。图17B是表示在选择中利用的选择像素列表的图。图17C是表示选择结果的图。

图18A至图18D是用于说明实施方式2所涉及的删除处理的图。图18A是表示删除前的光场图像LFI的图。图18B是表示临时重构图像的图。图18C是表示删除后的光场图像LFI的图。图18D是表示删除重构图像的图。

图19是表示实施方式2所涉及的图像输出处理的流程图。

图20是表示实施方式2所涉及的临时重构图像生成处理的流程图。

图21是表示实施方式2所涉及的删除对象定义处理的流程图。

图22是表示实施方式2所涉及的删除景深定义处理的流程图。

图23是表示实施方式2所涉及的删除像素提取处理的流程图。

图24是表示实施方式2所涉及的删除重构图像生成处理的流程图。

图25是表示本发明的其他实施方式所涉及的等级一深度对应列表的示例的图。

图26是表示本发明的其他实施方式所涉及的选择像素列表的示例的图。

具体实施方式

以下，参照附图，对实施本发明的方式所涉及的数码相机以及图像生成装置(重构图像生成装置)进行说明。另外，对图中相同或者相当的部分赋予同一符号。

(实施方式1)

对本发明的实施方式1进行说明。

本实施方式所涉及的图像生成装置30(重构图像生成装置)搭载于图1所示的数码相机1。数码相机1具有以下的i)～vi)的功能。

i)对由多个视点拍摄被摄体得到的多个子映像构成的光场图像进行摄影的功能

ii)求取表示被摄体景深的景深系数(depthcoefficient)的功能

iii)根据光场图像来生成对被摄体的图像进行重构得到的重构图像的功能

iv)显示所生成的重构图像的功能

v)受理用于指示重构图像的构图变更的操作的功能

vi)基于受理的操作来生成变更了构图后的重构图像的功能

其中，图像生成装置30尤其具有“vi)基于受理的操作来生成变更了构图后的重构图像”的功能。

如图1所示那样，数码相机1由摄像部10、包含图像生成装置30在内的信息处理部20、存储部40、接口部(I/F部)50构成。数码相机1通过这样的构成，从外部取得被摄体的光线信息，变更被摄体的构图并进行显示。

摄像部10由光学装置110、映像传感器120构成，进行摄像动作。

如图2所示，光学装置110由快门111、主透镜ML、子透镜阵列SLA(微透镜阵列)构成。光学装置110通过主透镜ML捕捉来自外部(被摄体)的光线，将以构成子透镜阵列SLA的各子透镜SL的光学中心为视点而获得的光学像投影到映像传感器120。

映像传感器120例如由CCD(ChargeCoupledDevice：电荷耦合元件)或CMOS(ComplementaryMetalOxideSemiconductor：互补型金属氧化物半导体)等的摄像元件、将摄像元件所生成的电信号向信息处理部20传送的传送部构成。映像传感器120通过这样的物理构成，将光学装置110投影的光学像变换为电信号后，向信息处理部20传送。

快门111用于控制外部光到映像传感器120的入射和遮挡。

主透镜ML由一个或者多个凸透镜、凹透镜、非球面透镜等构成，将摄影时的被摄体OB的光作为光学像，使之在主透镜ML与子透镜阵列SLA之间的假想的主透镜成像面MIP上进行成像。另外，如图2所示那样，摄影时的被摄体OB设为从主透镜ML起分别隔开了不同的距离的多个构成物。

子透镜阵列SLA由平面上呈格子状配置的M×N个子透镜(微透镜)SL构成。子透镜阵列SLA将对主透镜ML在主透镜成像面MIP上成像的光学像作为以各子透镜SL的光学中心为视点进行观测得到的光学像，使之在构成映像传感器120的映像传感器的摄像面IE上进行成像。将由主透镜ML形成的平面与摄像面IE形成的平面构成的空间称为光场(lightfield)。

关于主透镜ML，能定义最大径LD、有效径ED。最大径LD是主透镜ML的物理直径。另一方面，有效径ED是主透镜ML中用于摄影的区域的直径。主透镜ML中，有效径ED的外部利用贴附于主透镜ML的各种滤光器、主透镜ML周边的物理构造而遮挡向主透镜进行输入输出的光线，因此，对图像进行摄影/重构而言是无效的区域(非有效区域)。

最大径LD与有效径ED被预先测定，在工场出库时存储到存储部40中。

图2的示例中，多个被摄体OB(被摄体OB1～被摄体OB3)中，来自被摄体OB2的某部分POB的光线通过形成主透镜ML的有效径ED的部分(有效部)，投影到多个子透镜SL上。如此，将从某被摄体OB的部分POB发出的光通过主透镜ML的有效部后投影到子透镜阵列SLA上的区域称为“部分POB的主透镜模糊(blur)MLB”。其中，将主光线到达的部位称为主透镜模糊中心MLBC。

另外，以后关于多个被摄体，从远的(与主透镜的距离较大的)被摄体起，依次表述为被摄体OB1～被摄体OB3。

将主透镜ML的光学中心至主透镜的成像面MIP为止的距离设为b1，将成像面MIP至子透镜阵列SLA所形成的面为止的距离设为a2，将子透镜阵列SLA至映像传感器120的摄像面IE的距离设为c2。

摄像部10通过上述构成，对包含通过光场的光线的信息(到达部位、光量、方向)的光场图像LFI进行摄影。

图3A示出了对方块状的被摄体OB进行摄影得到的光场图像LFI的一个示例。

该光场图像LFI由与呈格子状配置的M×N个子透镜SL(微透镜)的各个分别对应的图像(子映像SI，S₁₁～S_MN)构成。例如，左上的子映像S₁₁是与从左上对被摄体OB摄影得到的图像相当，右下的子映像S_MN是与从右下对被摄体OB摄影得到的图像相当。

各子映像被配置在与使子映像成像的子透镜的位置相对应的光场图像LFI上的位置。

第i行的子映像(横的一列的子映像)S_i1～S_iN与将主透镜ML成像得到的像通过子透镜阵列SLA的第i行的横向排列的子透镜SL成像得到的立体图像相当。相同地，第j列的子映像(纵的一列的子映像)S_1j～S_Mi与主透镜ML成像得到的像通过子透镜阵列SLA(微透镜阵列)的第j列的纵向排列的子透镜SL成像得到的立体图像相当。另外，本实施方式中，各子映像是灰色标度图像，构成子映像的各像素具有像素值(标量值)。

图1所示的信息处理部20在物理上由CPU(CentralProcessingUnit：中央处理单元)、RAM(RandomAccessMemory：随机访问存储器)、内部总线、I/O端口构成。信息处理部20通过这样的物理构成，作为图像处理部210、景深估计/对应定义部220、图像生成装置30、摄像控制部230发挥功能。

图像处理部210从映像传感器120中取得电信号，基于在存储部40的摄像设定存储部410所存储的摄像设定信息，将取得的电信号变换为图像数据。图像处理部210将图像数据、对摄像设定信息添加了规定的信息得到的摄影设定信息传送给景深估计/对应定义部220。

关于摄像设定存储部410中所存储的摄像设定信息，将在后叙述。

景深估计/对应定义部220接收到光场图像LFI以及摄影设定信息时，针对光场图像LFI上的子映像上的各像素，对被摄体的景深进行估计。此时，景深估计/对应定义部220根据与该被摄体对应的像素的在各子映像上的偏离的大小来计算被摄体的景深。将该偏离的大小设为表述景深的系数。接下来，景深估计/对应定义部220生成将表示估计出的景深的系数配置到各像素的位置的信息(光场景深分布图LFDM)。景深系数越大，则估计为在该像素所拍摄的被摄体存在于越近的位置。

光场景深分布图LFDM针对光场图像LFI中所含的子像素的各个，分别定义表示景深的系数。图3C表示相对于图3B所示的光场图像LFI的光场景深分布图LFDM。光场景深分布图LFDM中，相对于拍摄图3B所示那样的长方体的被摄体而得到的光场图像LFI，存在于更远位置的部分(长方体的里头的边)以更浓的颜色表示，存在于近的位置的部分(长方体的正面)以淡的颜色表示。以下，相同地，在景深分布图中，对存在于更远的位置的部位以浓的像素来表示，对存在于近的位置的部分以淡的像素来表示。

另外，在此，对光场图像LFI与光场景深分布图LFDM是相分离的信息进行了说明，但光场图像LFI与光场景深分布图LFDM也可以是：对于配置于某坐标的像素，将像素值(光场图像LFI所保持的信息)与景深系数(光场景深分布图LFDM所保持的信息建立对应地进行记录得到的综合后的一个数据。

光场景深分布图LFDM能够利用对多视点图像的各像素的景深进行估计的已知的任意方法来进行生成，本实施方式中利用后叙的方法。

景深估计/对应定义部220还求取确定了构成构图变更前的重构图像(临时重构图像)的像素(重构像素)与子像素之间的对应关系的对应信息。对应信息是指，关于配置于重构设定所示的重构面上的重构图像，表示拍摄了处于该重构像素的位置上的被摄体得到的子像素(对应子像素)的信息。

景深估计/对应定义部220可通过用于提取重构像素(关注像素)的对应子像素的已知的任意方法来生成对应信息，但本实施方式中，是通过以下的光线追踪来进行提取。

参照图4，对光线追踪的方法进行说明。来自被摄体的关注部位P(与关注像素对应)的光线通过主透镜的主点后到达微透镜阵列的到达位置(图4的子透镜上的主透镜模糊中心MLBC)。主透镜模糊中心MLBC的子透镜上的位置能够基于摄影设定来求取。将主透镜模糊中心MLBC为中心，根据透镜的特性来求取来自关注部位的光所到达的范围(主透镜模糊MLB，图4的网线区域)。主透镜模糊MLB的直径能够基于主透镜ML与重构面RF之间的距离a1、主透镜与成像面MIP之间的距离b1(可根据距离a1与主透镜的焦点距离f_ML计算得到)、成像面MIP与子透镜阵列SLA之间的距离a2、主透镜的有效径ED，并利用三角形的相似来进行计算。

其次，在子透镜阵列SLA中所含的子透镜SL内，对一部分或者全部是主透镜模糊MLB中所含的子透镜SL进行确定。接下来，将确定出的子透镜SL依次选择作为关注透镜。此时，基于主透镜模糊中心MLBC的位置与主透镜模糊MLB的直径、摄影设定信息所确定的子透镜的位置以及大小，来求取关注透镜与主透镜模糊MLB重叠的部位的面积w。

提取处于来自关注像素的光线通过所选择的子透镜而成像的位置上的子图像上的像素(对应像素)。

具体而言，按照以下的顺序来计算对应像素(与到达点PE对应)。

首先，与重构面RF对应的至主透镜的焦点面为止的距离b1能够利用已知的距离a1以及焦点距离f_ML，根据以下的式(1)来计算出。

$b1=\frac{a1\×f_{ML}}{a1-f_{ML}}\mathrm{...}\left(1\right)$

另外，距离a2能够从已知的距离c1中减去利用式(1)而计算出的距离b1来求取。

并且，将重构面RF与主透镜的距离a1、主透镜与成像面MIP的距离b1、已知的距离x(关注部位P与光轴OA的距离)代入到以下的式(2)中，来计算出关注部位P从光轴OA通过主透镜ML后成像的点(成像点PF)与光轴OA之间的距离x’。

$x^{\′}=x\×\frac{b1}{a1}\mathrm{...}\left(2\right)$

并且，将从光轴OA至关注子透镜SL的主点为止的距离d、以及利用上述的式(2)所计算出的距离x’、从微透镜阵列LA至摄像面IE为止的距离c2、距离a2代入到以下的式(3)中，来计算出到达点PE与光轴OA的距离x”。

$x^{\′\′}=(d-x^{\′})\×\frac{c2}{a2}+d\mathrm{...}\left(3\right)$

对于Y轴方向，也相同地计算，确定到达点PE的位置。接下来，将与到达点PE对应的子映像上的像素设为对应像素。接下来，将对于关注透镜而求取的面积w设为关注像素与对应像素的权重。

图5表示作为对应信息的一个示例的对应列表。图5的对应列表中，将重构像素在重构图像上的坐标(xr，yr)、与关于该坐标的重构像素，通过光线追踪所提取的子像素的光场图像LFI上的坐标(xs，ys)和其权重(w)建立对应地进行记录。关于一个重构像素，提取多个子像素。例如，在图5的示例中，关于第一个重构像素(坐标(1，1))，提取位于(xs(1，1)、ys(1，1))～(xs(1，k₁)、ys(1，k₁))的k₁个子像素。所提取的子像素与重构像素的对应的强度(权重)为W(1，1)～W(1，k₁)。

景深估计/对应定义部220将这样的对应信息、光场图像LFI、光场景深分布图LFDM传送给图像生成装置30。

图像生成装置30利用从图像处理部210传送来的光场图像LFI与光场景深分布图LFDM，生成在变换了被摄体的构图的基础上进行了重构得到的图像(变更重构图像)。

另外，图像生成装置30将生成的变更重构图像向存储部40的图像存储部430输出。关于图像生成装置30的构成以及变更生成重构图像的处理内容，将在后叙述。

摄像控制部230基于存储在存储部40的摄像设定存储部410中的摄像设定信息来控制摄像部10，利用摄像部10对被摄体OB进行摄影。

存储部40由主存储装置、以及外部存储装置构成，其中，主存储装置由RAM等构成，外部存储装置由闪存、硬盘等的非易失性存储器构成。

主存储装置加载收纳于外部存储装置中的控制程序、信息，用作为信息处理部20的工作区域。

外部存储装置预先存储有用于使信息处理部进行后叙的处理的控制程序和信息，根据信息处理部20的指示，将这些的控制程序和信息传送给主存储装置。另外，还根据信息处理部20的指示，存储基于信息处理部20进行的处理的信息与从接口部50传送来的信息。

存储部40在功能上由摄像设定存储部410、重构设定存储部420、图像存储部430构成。

摄像设定存储部410存储摄像设定信息。摄像设定信息作为摄像时可变的摄像参数，包含有主透镜ML与子透镜阵列SLA的距离、主透镜的焦点距离fML、用于确定曝光时间的信息、F值、快门速度等。另外，摄像设定存储部410存储各子透镜SL的子透镜阵列SLA上的位置、子透镜阵列SLA与摄像面IE的距离c2等的数码相机1的物理构成相关的信息。

摄像设定存储部410将摄像参数传送给摄像控制部230。

另外，摄像设定存储部410在摄像部10拍摄光场图像LFI得到的摄像设定信息上附加了物理构成相关的信息，并作为摄影设定信息传送给图像处理部210。

重构设定存储部420存储用于由初始出库时所存储的或者用户利用操作部530输入的、根据光场图像LFI进行重构来生成图像的设定参数。

图像存储部430存储图像生成装置30所生成的输出图像。图像存储部430对接口部50的I/O部510与显示部520传送所存储的图像。

接口部(在图中，记述为I/F部)50是数码相机1与其使用者(用户)或者外部装置之间的接口所涉及的构成，由I/O部510、显示部520、操作部530构成。

I/O部(Input/Output部)510在物理上由USB(UniversalSerialBus)连接器或视频输出端子、输入输出控制部构成。I/O部510将存储在存储部40中的信息向外部的计算机输出，将从外部传送来的信息向存储部40传送。

显示部520由液晶显示装置、有机EL(ElectroLuminescence：场致发光)显示器等构成，显示用于输入被存储在摄像设定存储部410中的摄像参数的画面或用于操作数码相机1的画面。另外，显示部520显示被存储在图像存储部430中的图像。

操作部530例如包含：数码相机1所具备的各种按钮、显示部520所具备的触碰面板、以及检测对各种按钮、触碰面板所进行了的操作的信息并向存储部40与信息处理部20进行传送的传送部，将用户操作的信息向存储部40、信息处理部20进行传送。

其次，关于图像生成装置30的构成，参照图6A、以及图6B进行说明。

图像生成装置30在物理上由图6A所示那样的信息处理部31、主存储部32、外部存储部33、输入输出部36、内部总线37构成。

信息处理部31由CPU(CentralProcessingUnit)、RAM(RandomAccessMemory)构成。

主存储部32具有与存储部40的主存储装置相同的物理构成。外部存储部33具有与存储部40的外部存储装置相同的物理构成，保存有程序38。输入输出部36由输入输出端子以及I/O器件构成，用于实现与图像生成装置30、信息处理部20的各部、存储部40、接口部50等之间的信息的输入输出。内部总线37连接信息处理部31、主存储部32、外部存储部33、输入输出部36。

信息处理部31、主存储部32、外部存储部33、输入输出部36、内部总线37也可以是通过数码相机1的信息处理部20的内部电路、存储部40、接口部50来实现的功能块。

图像生成装置30将保存于外部存储部33中的程序38以及数据复制到主存储部32中，信息处理部31通过使用主存储部32并执行程序38，来执行生成后叙的变更重构图像的处理。

图像生成装置30通过上述那样的物理构成，如图6B所示那样，作为输入部310、重构图像生成部320、输出部330发挥功能。

输入部310是发挥图像生成装置30从数码相机1的各部取得信息的功能的部位。输入部310包含重构设定取得部3110、LFDM取得部3120、LFI取得部3130、对应取得部3140、变更操作取得部3150。

重构设定取得部3110从重构设定存储部420中取得重构设定信息。重构设定信息包含表示重构处理的具体内容的信息、下述的图像生成处理所需的信息(重构参数、表示阈值的信息)。本实施方式中，确定了重构参数通过以下的处理来生成重构图像。

i)一次生成根据各个具有规定范围的景深系数的像素而重构得到的多层重构图像，将各层重构图像进行重叠来生成临时重构图像。

ii)显示临时重构图像，受理用户的构图变更操作。

iii)重构基于构图变更操作而变更了构图后的图像并输出。

为此，构成参数包含：用于特定新的图像的聚焦点与主透镜ML的距离(重构距离、距离a1)的信息、与各层对应的景深系数的范围等的信息。

LFDM取得部3120从景深估计/对应定义部220取得光场景深分布图LFDM。

LFI取得部3130取得图像处理部210所生成的光场图像LFI。

对应取得部3140从景深估计/对应定义部220取得对应信息(图5的对应列表)。

变更操作取得部3150从操作部530受理用于指示重构图像的构图变更的操作的信息。

这些输入部310的各部将取得的信息向重构图像生成部320的各部进行传送。

重构图像生成部320基于重构设定取得部3110所取得的重构设定信息以及变更操作取得部3150所取得的变更操作信息，根据LFDM取得部3120所取得的光场景深分布图LFDM、LFI取得部3130所取得的光场图像LFI、对应取得部3140所取得的对应信息，来生成变换了被摄体的构图后的重构图像。

本实施方式中，暂且生成未变更构图的重构图像即临时重构图像后进行输出。接下来，用户利用临时重构图像而执行构图变更操作时，生成构图变更后的重构图像、即变更重构图像。另外，一并生成确定了各像素的景深的重构景深分布图。

为此，重构图像生成部320包含层定义部3210、层图像生成部3220、临时重构图像生成部3230、变换像素提取部3240、变换矩阵定义部3250、变换部3260、变更重构图像生成部3270。

层定义部3210对重构图像(临时重构图像以及变更重构图像)的层进行定义。即，将重构图像作为多个层(Layer)进行叠合后的图像，对各层分配与规定范围的景深(景深系数)对应的像。对各层设置具有与(临时)重构图像相同的分辨率的层图像。层定义部3210所定义的层的数/对各层所分配的景深系数基于重构设定。

在此，定义3个层，在设计上将所预计的景深系数分割为3个，分别对各个进行分配。将3个层中与最远方对应的层称为层1，将存在于次远方的层称为层2，将最近的层称为层3。

层定义部3210将定义后的层的信息向层图像生成部3220进行传送。

层图像生成部3220如下地生成各层的图像(层图像)。

(1)将构成层图像的像素(层像素)的一个设为关注像素，参照对应信息来取得与关注像素的坐标对应的重构像素的对应子像素，作为对应候补像素。

(2)参照光场景深分布图LFDM，取得对应候补像素的景深系数。

(3)将对应候补像素中的、景深系数已对层进行了分配的范围即像素，作为关注像素的对应像素进行提取，并取得其像素值。

(4)对所取得的像素值乘以加权系数而得到的值作为补正像素值。

(5)关于提取的对应像素的全部计算补正像素值，并取补正像素值的总和。

(6)使补正像素值的总和除以重叠面积的总和(权重的总和)后作为关注像素的像素值。此时，在没有对应像素的(或者比规定的阈值要少的)情况下，将像素值设为零值(NULL)。

(7)关于各层的各层像素，执行(1)～(6)来决定像素值。

层图像生成部3220还生成各层图像的景深分布图。具体而言，将光场景深分布图LFDM的景深系数作为像素值，与层图像相同地提取对应像素，并进行加权相加后作为各层像素的景深系数。或者，也可以将对应像素的景深系数中的众数(mode)作为重构像素的景深值。

层图像生成部3220将生成的层图像与层景深分布图向临时重构图像生成部3230进行传送。

临时重构图像生成部3230将层进行重叠来生成临时重构图像(构图变更前的重构图像，RI1)。另外，根据层景深分布图来生成重构景深分布图(RDM1)。

参照图7A至图7C，对该处理进行说明。如图7A所示设为：摄像部10对远的位置上的被摄体OB1(点线)、中程度的位置上的被摄体OB2(点划线)、近的位置上的被摄体OB3(实线)进行摄影。设被摄体OB1位于对层1分配的景深系数所示的范围(从主透镜ML起的距离为规定范围)。相同地，设被摄体OB2位于对层2分配的景深系数所示的范围，被摄体OB3位于对层3分配的景深系数所示的范围。

在该情况下，根据光场图像LFI、其光场景深分布图LFDM，层图像生成部3220对层1生成层图像1(L1)，对层2生成层图像2(L2)，对层3生成层图像3(L3)(图7B)。各层图像中，在对应的景深的范围内没有被摄体的层像素的像素值将成为NULL，在重叠的情况下将成为透过处理的对象。

临时重构图像生成部3230将构成临时重构图像的像素(临时重构像素)的像素值，设为在相同的坐标的各层的像素中的像素值不为NULL的最近的层的像素值。对全部的临时重构像素执行该处理，来生成临时重构图像(RI1)。将该处理称为叠合处理。相同地，使层景深分布图进行叠合，来生成重构景深分布图(RDM1)(图7C)。

此时，关于与距主透镜ML远的位置对应的层(例如层1)，不进行构图变更而进行叠合的情况下，与更近的位置对应的层(例如层2)的被摄体所隐蔽的被摄体将显现出来。图7B的示例中，在层1拍摄被摄体OB1’，但由于与更近的位置对应的层2存在有被摄体OB2，所以，在临时重构图像(RI1)得不到反映。被摄体OB1’是从子透镜(对某子图像进行拍摄的视点)的一部分虽可看到但从其他的子透镜则看不到的被摄体。如此，将由于视点的差虽在某子图像上拍摄到但在其他的子图像上却未被拍摄到的被摄体的发生的情况称为闭塞(occlusion)。另外，将与这样的被摄体对应的子像素称为“闭塞像素”。

光场图像LFI由于是由各个不同的视点摄影得到的多个子像素构成，所以，包含闭塞像素。在从一个视点摄影得到的情况下，与闭塞像素对应的被摄体是被近的被摄体遮蔽而不能获得其信息。本实施方式的数码相机1从多个视点(与各子透镜对应)对被摄体进行摄影，对这样的被遮蔽的被摄体进行摄影，在远的层上作为像而形成。接下来，将该像用在生成进行了构图变更后的图像。

临时重构图像生成部3230将生成的临时重构图像(RI1)向输出部330传送并输出。另外，将临时重构图像(RI1)与重构景深分布图(RDM1)向变换像素提取部3240进行传送。输出部330使临时重构图像(RI1)存储到图像存储部430中，并且使临时重构图像(RI1)在显示部520进行显示。

显示部520将临时重构图像(RI1)提示给用户，操作部530受理用户进行的选择临时重构图像(RI1)上的被摄体的操作以及变更所选择的被摄体的位置/大小的操作(构图变更操作)。变更操作取得部3150取得所受理的操作。接下来，基于变更操作取得部3150所取得的操作，变换像素提取部3240提取在各层上的成为构图变换对象的被摄体所占的区域(该被摄体的像所存在的层、以及层像素)。

关于操作受理处理，参照图8A至图8G的示例进行说明。临时重构图像(RI1)如图8A所示那样，设为包含背景(白)、存在于焦点面RF附近的小孩(灰色)、存在于近处的障碍物(黑)。接下来，观察到显示部520所显示的临时重构图像(RI1)的用户，使近处存在的障碍物移动或者将其缩小，期望不成为欣赏小孩的图像时的干扰。此时，用户首先如图8B那样，通过在触碰面板(显示部520与操作部530)上描绘障碍物等的操作来选择被摄体。变换像素提取部3240将与基于该操作选择的被摄体对应的层像素(即，与此对应的子像素)作为变换像素进行提取。另外，白箭头表示触碰面板上的以手指进行的操作。关于根据该操作来提取变换像素的处理，将在后叙述。

接下来，显示部520使与变换像素对应的重构像素显著性显示，利用对话框，使用户来选择该选择对象是否正确(图8C)。用户在判断该选择对象为不正确时，触击“否”的部分。在该情况下，选择被重置，数码相机1等待受理新的选择操作。另一方面，在当前的选择是正确的情况下，触击“是”的部位，使得确定成为变换对象的变换被摄体(与变换像素对应)。

确定了变换像素时，其次，用户执行选择用于定义变换参数的操作。首先，用户利用操作部530来选择将变换被摄体的构图如何地进行变更。在本实施方式中，设为从移动/旋转/扩大缩小中选择一种。

例如，在选择了移动的情况下，执行用于指定移动方向与移动量的操作。图8D作为这样的操作的示例，表示在触碰面板上将变换被摄体(障碍物)向左方向移动规定量的操作。响应于这样的操作，如图8E所示那样，图像生成装置30生成移动了障碍物后的重构图像(变更重构图像)。

另外，在选择了缩小的情况下，执行用于指定缩小的方向(纵或者横)与缩小的程度的操作。图8F是表示通过对选择区域以二根手指进行挤压的操作来进行向横方向缩小的操作的示例。响应与这样的操作，图像生成装置30如图8G所示那样生成缩小了障碍物后的重构图像(变更重构图像)。

用户能够在图8E、或者图8G那样的已进行了构图变更的重构图像上进一步指示构图变更，直到获得所期望的构图的图像为止反复进行。

另外，该操作并不限于触碰面板上的操作，例如，也能够以对话框直接输入移动量等参数。

变换矩阵定义部3250根据该变更操作取得部3150所取得的变更操作来定义用于变换的参数(变换矩阵)。

作为变换矩阵的示例，对式(4)的仿射变换矩阵进行说明。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left[\begin{array}{ccc}a1& b1& d1\\ a2& b2& d2\end{array}\right]\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\mathrm{...}\left(4\right)$

另外，x与y是变换前的变换像素在变换层中的坐标，x’与y’是变换后的坐标。层像素按每一景深将重构像素与子像素建立对应。由此，变换层像素的坐标是与变更重构像素与子像素的对应关系相等。

仿射变换的矩阵(变换矩阵)的各要素可通过变换方法、根据其参数来确定仿射变换矩阵的各要素的一般方法来求取。例如，在向x轴方向仅平行移动x1像素的情况下，将a1与b2设为1，将d1设为x1，将b1与a2与d2设为0。在向y方向缩小1/2的情况下，将a1设为1，将b2设为1/2，将d1、b1与a2与d2设为0。在仅旋转角度θ的情况下，将a1与b2设为cosθ，将b1设为-sinθ，将a2设为sinθ。

另外，通过预先将(x，y)以及(x’，y’)的坐标按照原点成为所希望的中心的方式进行坐标变换，由此来自由地确定扩大/缩小以及旋转的中心。本实施方式中，确定成为变换对象的区域的重心，按照以重心为中心进行旋转/扩大/缩小的方式，执行坐标变换，并且利用式(4)执行仿射变换。

具体而言，将重心的坐标设为(xc，yc)，变换像素的坐标设为(x1，y1)时，作为(x，y)＝(x1-xc，y1-yc)，利用式(4)来计算出(x’，y’)，在计算出后，对x’相加xc，对y’相加yc，作为最终计算结果。另外，在此所说的重心是对全部变换像素的坐标值进行相加平均后得到的。

另外，关于确定仿射变换的矩阵的各要素的方法，也可以以已知的任意方法来代替。例如，可以是用户指定选择区域上的3点以及该3点的移动后的部位，基于点的移动矢量来生成矩阵这样的方法。

另外，也可以是用户直接输入矩阵式的各要素。变换矩阵定义部3250将表示所定义的矩阵的信息向变换部3260进行传送。

变换部3260利用从变换矩阵定义部3250传送来的变换矩阵，在变换区域所存在的层(变换层)上，变更被摄体的构图。另外，相同地，伴随于该被摄体的构图的变换，对于变换层的景深分布图，也相同地进行变换。变换部3260可通过利用变换矩阵来变换图像的构图的已知的任意方法来执行构图变换，具体而言，通过后叙的处理来实现构图变换。

变换部3260将变换后的层图像与景深分布图向变更重构图像生成部3270进行传送。

变更重构图像生成部3270决定已构图变换后的变更重构图像(RI2)的各像素的像素值，来生成变更重构图像。相同地，生成与变更重构图像(RI2)对应的景深分布图(变换重构景深分布图，RDM2)。具体而言，将从变换部3260传送来的各层图像与临时重构图像生成部3230相同地进行叠合，来决定各重构像素的像素值。关于景深系数，也相同地进行叠合来生成变换重构景深分布图(RDM2)。参照图9A至图9D，说明此时生成的变更重构图像(RI2)与变换重构景深分布图(RDM2)的示例。

图9A表示临时重构图像(RI1)。图9B表示临时重构图像(RI1)的重构景深分布图(RDM1)。以实线所示的部位(近的被摄体)是在重构景深分布图(RDM1)上，其景深系数较大的(白的)部位。该部位与层3(最近的层)对应。

另一方面，点划线所示的部位(更远的被摄体)与层2对应。该部位在重构景深分布图(RDM1)上以灰色所表示。层3的同部位的像素由于没有对应的子像素故成为NULL值。

以点线所示的被摄体(背景)的部位在重构景深分布图(RDM1)上以更黑的颜色所表示。该部位由于层3和层2的像素是NULL值，所以，层1的像素显现在重构像素上。

设为用户执行了将层2的被摄体向左进行移动的操作。响应于此，将图像生成装置30所生成的层2的被摄体向左移动后得到的图像是图9C所示的变更重构图像(RI2)。

随着层2的被摄体发生了移动，变换重构景深分布图(RDM2，图9D)中，与层2对应的灰色的部位向左进行移动。在此，移动源的部位以与更远的被摄体对应的像素(层1的像素)的像素值进行内插。其结果，层1的被摄体OB1’将在变更重构图像(RI2)上显现。

另外，在被摄体(OB2)的移动目的地如存在更近的被摄体(OB3)的情况下，移动后的被摄体(OB2)将被更近的被摄体(OB3)所隐蔽。

具体而言，在与近的位置对应的层(层3)的所对应的像素不为NULL的情况下，该部位的变更重构图像(RI2)的像素值通过叠合处理，以与近的位置对应的层(层3)的像素值进行盖写，更远的层(层2)的对应的像素将不在变更重构图像(RI2)显现出来。

由于层景深分布图也相同地进行变更，在变换重构景深分布图(RDM2)中，移动源的部位较移动前变暗(景深系数变小)。另外，对于移动目的地的部位，景深系数较大的部位被予以优先。其结果，当在移动目的地存在有景深系数大的像素的情况下，与移动后的被摄体对应的像素将被隐蔽于其阴影中，在存在有景深系数小的像素的情况下，像素值将被盖写。

变更重构图像生成部3270如此地决定变更重构图像的各像素的像素值，来生成变更重构图像。接下来，将生成的变更重构图像(RI2)向输出部330输出。

输出部330将从变更重构图像生成部3270传送来的变更重构图像(RI2)存储到图像存储部430中。其后，显示部520显示变更重构图像(RI2)。

其次，关于数码相机1所执行的处理，参照流程图进行说明。数码相机1在用户利用摄像部10而对被摄体进行摄影时，开始图10所示的图像输出处理。

图像输出处理中，首先，图像处理部210根据从摄像部10取得的图像信息与从摄像设定存储部410取得的摄影设定信息来生成光场图像LFI(步骤S101)。接下来，向景深估计/对应定义部220传送所生成的光场图像LFI与摄影设定信息。

其次，景深估计/对应定义部220取得摄影设定信息。并且，景深估计/对应定义部220从重构设定存储部420中取得重构设定信息(步骤S102)。此时取得的摄影设定以及重构设定也向图像生成装置30传送。

接下来，景深估计/对应定义部220对构成光场图像LFI的各子像素进行景深的估计。另外，图像生成装置30取得已配置了景深系数的光场景深分布图LFDM(步骤S103)。

具体而言，景深估计/对应定义部220对于构成光场图像LFI的各子像素，进行对应的被摄体的景深的估计，生成将表示估计出的景深的景深系数与该子像素建立对应的光场景深分布图LFDM。

在此，景深系数能够利用对与光场图像LFI的像素对应的被摄体的距离进行估计的任意的方法来进行计算，在本实施方式中利用以下的方法进行计算。

i)将构成光场图像LFI的某子图像设为关注子图像。

ii)将关注子图像分割为由像素值的差包含在规定范围中的像素所构成的图像区域。接下来，将图像区域的一个选择作为关注区域。

iii)将关注子图像的右侧(在没有右侧的情况下为左侧，在该情况下，以下则左右互换)的子图像按照位置顺序设为SR1，SR2，…SRk。另外，k是设定上所确定的自然数。

iv)取得关注子图像中的关注区域的重心的坐标(x，y)。另外，该坐标是相对于以各子图像的中心为原点的、按照每一子图像独立的坐标系而定义的。

v)将当前的像素偏离设为d。子图像SR1中配置与关注子图像的关注区域对应的区域(对应区域)。此时，将对应区域的重心仅向右侧偏离d而进行配置。计算出关注区域的各像素的像素值与对应区域的所对应的像素的像素值之间的差的平方和(SSD)。相同地，对SR2将对应区域仅向右侧偏离2d而进行配置，计算SSD。至SRk为止分别取得SSD，求取各SSD的差分绝对值和(SSSD)。将其作为d的评价值。

vi)对可发生的视差的范围的各像素偏离d，计算评价值。其中，将所获得的绝对差分值和SSSD为最小的像素偏离(d)设为关注区域中所含的像素的像素偏离系数。

vii)对于全部的子图像的全部像素，均计算出像素偏离系数，将计算出的像素偏离系数作为光场景深分布图LFDM的景深系数配置在对应的像素的部位。

另外，各像素的像素偏离系数能够通过决定与某图像的关注部位对应的像素是处于其他的图像的何处，来计算出相互的位置的偏离这样的任意的已知的方法来进行求取。与关注子像素对应的被摄体由于拍摄各子图像的视点的差而按照每一图像在不同的位置作为像而显现，通过这样的处理所计算出的像素偏离系数是表示该位置的差(子图像视差)的估计结果。

在此，将各子图像的视点(子透镜)的位置的差称为透镜视差，将由于透镜视差而发生的对应的像所显现的位置的差称为图像视差。透镜视差越大则图像视差变大。另外，景深(视点与被摄体的距离)越大则图像视差越变小。如本实施方式那样地，在透镜视差通过各子图像的彼此而为已知的情况下，能够将图像视差(偏离系数)作为表示所估计出的景深的景深系数。

其次，景深估计/对应定义部220通过图4中说明的光线追踪，生成图5所示的对应列表。接下来，图像生成装置30取得所生成的对应列表。(步骤S104)。

在通过步骤S103取得光场景深分布图LFDM，通过步骤S104取得对应列表时，其次，图像生成装置30利用光场图像LFI、光场景深分布图LFDM以及对应列表，开始进行生成临时重构图像(RI1)的处理(临时重构图像生成处理)(步骤S105)。在此，执行图11所示的临时重构图像生成处理1。

在临时重构图像生成处理1中，首先，层定义部3210取得重构设定信息所指定的各层(步骤S201)。对各层进行分配，分配重构设定取得部3110所取得的重构设定所指示的景深系数的范围。另外，对各层，配置与重构图像(RI1以及RI2)相同分辨率的层图像。例如，对层1分配景深系数(像素偏离系数)中的0～3，对层2分配4～7，对层3分配8～N(N是与设定上可获得的最大的图像视差对应的景深系数)。

另外，层的数/对各层分配的景深系数可自由地设定。另外，层定义部3210也可以通过利用了光场景深分布图LFDM的各像素的景深系数的聚类(clustering)来决定属于各层的景深系数的范围。此时，关于聚类，能够采用利用了k-平均算法的方法或沃德(Ward)法等的任意已知的聚类手法。

其次，层图像生成部3220根据步骤S201中定义的层，来选择关注层(步骤S202)。并且，根据关注层中所含的像素(层像素)，选择关注层像素(步骤S203)。

其次，层图像生成部3220从子像素提取与关注层像素对应的对应像素(步骤S204)。具体而言，将图5的对应列表中的登录在重构像素的坐标与关注层图像的坐标一致的行的子像素设为对应候补像素。接下来，将对应候补像素中的包含在通过光场景深分布图LFDM定义的景深系数处于对关注层所分配的范围内的像素作为对应像素进行提取。

其次，层图像生成部3220计算关注层像素的像素值(步骤S205)。具体而言，对步骤S204中提取的各对应像素的像素值，利用各对应像素的权重进行加权相加平均，将获得的值设为关注层像素的像素值。此时，在对应像素的数为规定的阈值以下的情况下，像素值成为NULL。该阈值是由重构设定所定义的。

相同地，层图像生成部3220对关注层像素的景深系数进行计算(步骤S206)。具体而言，对于步骤S204中提取的各对应像素，利用各对应像素的权重对光场景深分布图LFDM所定义的景深系数进行加权相加平均，将所获得的值作为关注层像素的景深系数。

其次，判别将关注层的全部层像素作为关注像素所进行的上述处理是否结束(步骤S207)。在尚有未处理的层像素的情况下(步骤S207；“否”)，对于下一未处理的层像素，从步骤S203起反复进行处理。另一方面，在对全部层像素均已处理完成的情况下(步骤S207；“是”)，关于该层结束处理，处理转移至步骤S208。

步骤S208中，判别将步骤S201中定义的全部的层作为关注层所进行的上述处理是否结束。在尚有未处理的层的情况下(步骤S208；“否”)，对于下一未处理的层，从步骤S202起反复进行处理。另一方面，对全部的层均已处理完成的情况下(步骤S208；“是”)，能够判断出对于全部的层已结束了层图像的生成，所以，处理转移至步骤S209。

步骤S209中，临时重构图像生成部3230将层图像进行叠合来生成重构图像(临时重构图像，RI1)。具体而言，对于构成临时重构图像(RI1)的像素(重构像素)的各个，提取各层图像的相对应的像素(对应层像素)。接下来，从提取的对应层像素中，将属于像素值不为NULL的最接近主透镜ML的层(所分配的景深系数为大的层)的像素的像素值设为重构像素的像素值。如果对全部重构像素执行该处理，来决定像素值，则能够生成临时重构图像(RI1)。接下来，临时重构图像生成处理1结束。

返回至图10，步骤S105中生成临时重构图像时，其后输出部330输出所生成的重构图像(步骤S106)，并使显示部520进行显示。

其次，关于步骤S106中显示的临时重构图像，受理用户执行的构图变更操作，图像生成装置30执行基于该操作来提取变换像素并定义变更参数的处理(变换设定获得处理，在此为变换设定获得处理1)(步骤S107)。

参照图12，对步骤S107中执行的变换设定获得处理1进行说明。变换设定获得处理1中，首先，变更操作取得部3150判别是否检测出用户所进行的选择成为变换对象的被摄体的操作(步骤S301)。具体而言，在由显示部520与操作部530构成的触碰面板上，判别是否检测出对临时重构图像(RI1)进行触碰的操作。

在未检测出的情况下(步骤S301；“否”)，反复进行步骤S301，等待受理直到检测到为止。

另一方面，在检测出选择操作的情况下(步骤S301；“是”)，变换像素提取部3240提取与该选择部位对应的层像素(选择像素)(步骤S302)。具体而言，求取与通过针对触碰面板的触碰操作而指定的位置对应的重构像素的坐标。接下来，将各层的位于所求取的坐标的像素中的像素值不为NULL的最接近主透镜ML的层(所分配的景深系数大的层)的层像素设为选择像素。

其次，变换像素提取部3240参照临时重构图像(R11)与其重构景深分布图(RDM1)，来取得景深系数(步骤S303)。

其次，等待受理下一操作(选择下一部位的操作或者选择结束操作)。接下来，对检测出的下一操作是否是选择结束操作进行判别(步骤S304)。具体而言，对是否检测出手指从触碰面板离开、执行用于指示选择结束的操作等的选择结束的操作进行判别。在未检测出这样的操作的情况下(步骤S304；“否”)，基于选择下一部位的操作，从步骤S302起反复进行处理。

另一方面，在检测出选择结束操作的情况下(步骤S304；“是”)，处理转移至步骤S305。步骤S305中，变换像素提取部3240基于步骤S303中取得的像素值与景深系数，提取出包含应变换的被摄体(变换被摄体)的像在内的层(变换层)、与变换被摄体对应的像素(变换像素)。并且，如图8C中所示那样，使所提取的变换像素显著地显示。

关于提取变换像素的方法，利用基于用户操作来对图像上的区域进行划分选择的已知的任意方法，在此利用了以下的方法。

i)特定全部的包含选择像素的层。其中，将满足规定条件的层选择作为变换层。在此，规定条件能够根据该层中所含的选择像素比规定的阈值多、相对于全部的选择像素属于该层的像素较规定的比率大等的条件来进行任意设定。

ii)在变换层上，将基于像素值而与选择像素连续的像素编入到选择区域中。具体而言，将变换层上的选择像素设为最初的选择区域。接下来，在与当前的选择区域相邻的变换层上的像素中，将具有相对于当前的选择区域中所含的像素的像素值的平均值而在规定范围内的像素值的像素也组入到选择区域中。此时，NULL值的像素不会被组入到选择区域中。新编入的像素变没有为止反复进行该编入工作。最终组入到选择区域中的像素是变换像素。

另外，将变换像素所占的部分称为变换区域。

其次，判别用户是否对显著显示的变换区域进行确认，执行确定操作等，判别变换对象(变换像素)是否已确定(步骤S306)。在用户通过图8C而选择了“否”的情况等的未确定的情况下(步骤S306；“否”)，对变换区域进行重置并返回至步骤S301。

另一方面，在用户通过图8C选择了“是”的情况等的已确定了变换区域的情况下(步骤S306；“是”)，变换像素提取部3240将变换区域中所含的像素确定为变换像素。接下来，处理进入到步骤S307。

步骤S307中，变更操作取得部3150对是否检测出图8D或者图8F中说明的变更操作进行判别。在未检测出的情况下(步骤S307；“否”)，反复进行步骤S307，等待受理直到检测出为止。

另一方面，在已检测出的情况下(步骤S307；“是”)，基于检测出的变更操作，生成式(4)的变换矩阵(步骤S308)。例如，在检测出向x轴方向进行缩小的操作、指示缩小率的操作时，将该缩小率代入到式(4)的a1的数值。

或者，在检测出支持平行移动的操作和指示移动矢量(dx，dy)的操作时，分别将dx代入式(4)的d1，将dy代入式(4)的d2。另外，在仅旋转角度θ的情况下，将a2与b2设为cosθ，将b1设为-sinθ，将a2设为sinθ。

步骤S308中生成了变换矩阵(仿射变换矩阵)时，结束变换设定获得处理1。

返回至图10，步骤S107中提取变换像素并求取变换参数后，变换部3260使用变换参数开始进行生成变更重构图像的处理(变更重构图像生成处理，在此为变更重构图像生成处理1)(步骤S108)。

参照图13，对步骤S108中执行的变更重构图像生成处理1进行说明。变更重构图像生成处理1中，首先，将通过变换设定获得处理所定义的变换层的一个变换层选择为关注层(步骤S401)。

其次，对关注层上的变换区域的重心的坐标(xc，yc)进行计算(步骤S402)。

其次，从通过变换设定获得处理所提取的关注层上的变换像素中，选择一个成为处理对象的关注变换像素。接下来，参照层图像与层景深分布图，取得关注变换像素的坐标/像素值/景深系数(步骤S403)。步骤S403中，还将关注变换像素的坐标移动到以重心为中心的坐标系。具体而言，使所取得的关注变换像素的坐标(x，y)减去重心的坐标，来求取(x-xc，y-yc)。

其次，变换部3260根据步骤S403中求取的关注变换像素的坐标(x-xc，y-yc)，利用通过变换设定取得处理定义的变换矩阵来计算出变换目的地的坐标(步骤S404)。

具体而言，将关注变换像素的坐标(x-xc，y-yc)代入到式(4)的(x，y)，计算出变换目的地的坐标(x’，y’)。接下来，对重心的坐标进行相加设为(x’+xc，y’+yc)，将坐标系复原。该(x’+xc，y’+yc)是变换目的地的坐标。

其次，变换部3260对变换源的像素的像素值进行更新(步骤S405)。具体而言，将变换前的关注层的坐标(x，y)的像素值设为NULL，设为在叠合中将透过的对象。并且，将关注层的景深分布图中的该坐标的景深值设为NULL。

其次，变换部3260对变换目的地的坐标(x’+xc，y’+yc)的像素值进行更新(步骤S406)。具体而言，将通过步骤S403所取得的像素值设为变换目的地的像素的像素值。并且，将关注层的景深分布图中的该坐标的景深值设为步骤S403所取得的景深值。此时，在相对于变换目的地的像素，已通过前次为止的循环(步骤S403～步骤S407)变更了像素值的情况下，按照变更后的像素值成为多个变更源的像素值的平均值的方式进行补正更新。

另外，在此，即使在变换目的地的像素值不为NULL的情况下，说明了以变换源的像素值进行盖写。但是，并不限于此，也可以是在变换目的地的像素值为NULL的情况下进行盖写，在不为NULL的情况下，通过对变换源和变换目的地进行景深系数的比较，将更接近主透镜ML的像素的像素值设为变换后的像素值。或者，在变换目的地的像素值不为NULL的情况下，显示用于警告将产生混同的消息，并结束变换处理。

其次，对针对关注层上的全部变换像素是否执行了上述处理进行判别(步骤S407)。如关注层上存在尚未处理的变换像素(步骤S407；“否”)，对下一未处理的变换像素，从步骤S403起反复进行处理。

另一方面，如对全部变换像素已完成处理(步骤S407；“是”)，其次判别是否对全部变换层已完成上述处理(步骤S408)。在还有未处理的变换层的情况下(步骤S408；“否”)，对于下一未处理的变换层，从步骤S401起反复进行处理。

另一方面，在对全部变换层已构图变更处理完成的情况下(步骤S408；“是”)，处理转移至步骤S409。步骤S409中，变更重构图像生成部3270将全部的层进行叠合来生成变更重构图像(RI2)。具体的叠合方法与临时重构图像生成处理1(图11)的步骤S209相同。此时，在通过变换处理而存在有全部的层的像素值为NULL的像素的情况下，将默认值(例如蓝)设为该像素的像素值。并且，显示表示变换已超过了由摄影图像对像素值所能定义的范围的警告消息。

另外，步骤S409中，为应对执行下一构图变更的情况，相同地生成变换重构景深分布图(RDM2)。

接下来，变更重构图像生成处理1结束。

在此，重构图像中，将属于变更层的层像素作为对象，通过变换部3260执行图像变换并叠合而生成重构图像这样的情形，是与仅对与变更被摄体对应的一部分的像素，变更重构像素与子像素的对应关系的情形相等。

对应信息(图5的对应列表)中，对于与构图变更前的临时重构图像(RI1)中的变更被摄体的位置对应的全部的层像素，定义了对应的子像素。其中，与变更层的层像素对应的子像素是具有对变更层所分配的范围的景深系数的子像素。

变换像素提取部3240将变换层的层像素作为变换像素进行提取。这与下述的情形相同，即，在与处于变更被摄体的位置的重构像素(变更重构像素)对应的子像素中，提取被认为是拍摄了变更被摄体的、且具有规定的景深系数的子像素。

接下来，变换部3260在变更层上对变更像素的位置进行变换实质上是与下述的情形相同，即，根据变更源的重构像素，将与该层像素对应的子像素设为变更目的地的对应像素。

返回至图10，在通过步骤S108生成了变更重构图像时，其次，输出部330将生成的变更重构图像向图像存储部430输出(步骤S109)。接下来，显示部520或者I/O部510将变更重构图像向外部输出，图像输出处理结束。

如以上说明的那样，实施方式1的图像生成装置30能够生成变更了被摄体的构图的重构图像。另外，在构图变更时，提取与成为变更对象的被摄体对应的子像素并进行线性变换，对于不是如此的子像素则不进行变换。由此，在变更后的变更重构图像(RI2)显现出与被摄体的摄影信息无关的像素的几率小。

另外，在执行变更像素的坐标变换时，在变更目的地存在有景深系数大的(更接近于主透镜ML的)像素的情况下，将该像素优先地生成变更重构图像。由此，能够反映了景深，生成与实际上使被摄体移动的情况接近的变更重构图像。

另外，实施方式1的图像生成装置30具有在对重构图像所定义的多个层中，仅对一部分的层执行图像变换这样的构成。这与仅针对景深系数属于被估计的变更被摄体所处的范围内的一部分的像素使对应关系变更的情形相等。通过该构成，能够将在不含变更对象的被摄体的层所映出的像直接不变地进行保持地变更构图。由此，使在光场图像LFI上所拍摄到的更远离主透镜ML的层上所映出的被摄体的像能够在变更源的部位显现出来。由此，能够生成与实际使被摄体移动的情况接近的变更重构图像。

并且，由于定义多个层并以层为单位执行变换处理，所以能够简便地执行按每一层将连续的部位作为变换部位来进行提取的处理。另外，能够明确且简便地区别成为变换对象的变换像素和非成为变换对象的像素的差异。

并且，实施方式1的数码相机1具有暂且生成不实施构图变更的临时重构图像并向用户提示这样的构成。由此，用户能够在对未进行构图变更的情况下的图像进行确认后，选择所期望的变换处理。由此，在执行构图变更上，用户的便利性高。

另外，变换矩阵定义部3250生成用于与变换操作相应的线性变换的变换矩阵，变换部3260利用该变换矩阵来执行图像变换。由此，能够以小的计算量来达成对用户所指定的构图变更。

并且，取得基于摄影参数(摄影设定信息)的对应信息，基于该对应信息来生成临时重构图像与变更重构图像。由此，能够生成其反映了摄影时的条件的精度高的临时重构图像与变更重构图像。

(变形例)

本发明并不限于上述实施方式，能够进行各种变形。

例如，上述实施方式中，相对于重构图像定义了多个层，针对各层来生成层图像。接下来，对成为变换对象的被摄体的层图像(变换像素)选择性地进行线性变换，并使层叠合，由此来生成变更重构图像。但是，本发明中，生成变更重构图像的方法并不限于此。

例如，也可以是不对重构图像定义多个层的构成。在该情况下，提取一张重构图像上的重构像素的对应像素，根据该像素值来生成临时重构图像。接下来，根据用户的针对重构像素的选择操作，将所选择的重构像素的对应像素中的景深系数满足规定的条件的对应像素作为成为变换对象的子像素进行提取。在此，规定的条件是指，在全部对应像素的景深系数中，包含于从最大的数值起的规定的范围内，或包含在用户指定的范围的范围(并不必需是接近主透镜ML的范围)内等，能够任意地设定。

接下来，将与提取的子像素(变换子像素)对应的重构像素的坐标通过线性变换而进行变换，来生成新的对应关系。接下来，基于新的对应关系来生成变更重构图像。此时，在新的对应关系中，也可以仅提取设为对应的子像素中的包含在从最接近主透镜ML的像素的规定范围中的像素，根据提取的子像素的像素值来确定重构图像像素值。在该构成中，不必生成重构景深分布图或者层景深分布图。

根据这样的构成，不必按层来定义层图像，能够使必要的工作区域(存储器)大小减小。

另外，上述实施方式中，在触碰面板上对图像触碰，将在触碰的部位不具有NULL的像素的、最接近于主透镜ML的层上的像素作为选择像素进行提取。接下来，根据选择像素，提取在该层上进行连续的像素，由此来提取成为变换对象的变换像素。但是，提取选择像素或者变换像素的方法并不限于此。

例如，也可以将与用户所指定的规定范围的景深系数对应的层像素或者子像素的全部作为变换(子)像素进行提取。或者，也可以是：将在与临时重构图像上的位于用户所指定的范围的重构像素对应的层像素或者子像素中的、具有处于用户所指定的范围内的像素值的像素作为变换(子)像素进行提取。

另外，也可以是：在提取选择像素或者变换像素时，关于重构像素，提取定义了像素值的最深的层的像素(或者最深的子像素)的情况下，对用户发出警告。通过这样的构成，能够通知伴随着构图变更而出现包含不基于摄影信息的像素的可能性的情况。或者，也可以是将那样的像素从提取对象中排除在外的构成。

并且，也可以是不基于用户操作来确定变换像素信息、变换内容。

作为其他的示例，也可以是将最近的层的被摄体自动地缩小等的构成。

另外，在层上变换构图时，以仿射变换为例进行了说明，但并不限于此，利用用于线性变换的任意的已知方法来进行变换。另外也不限于线性变换，即使利用使变换被摄体在重构图像上所占的区域进行变化的任意非线性变换，也能够发挥本发明的效果。作为这样的补正的示例，例如有鱼眼补正等。

另外，说明了将变换的中心设为全部变换像素的坐标值的平均值(重心)的示例，但并不限于此，能够在任意的坐标系进行坐标变换，确定变换的中心。例如，变换像素中，可提取最远离的2点，变换成将该2点的中点设为原点的坐标，并以中点为变换的中心。另外，也可不变换坐标系。

(实施方式2)

对本发明的实施方式2进行说明。

本实施方式所涉及的图像生成装置30(重构图像生成装置)搭载于图1所示的数码相机1。另外，对于与上述的实施方式1相同的构成赋予同一的符号，并仅对特征部分进行说明。数码相机1具有以下的i)～vi)的功能。

i)对于由从多个视点拍摄被摄体得到的多个子映像构成的光场图像进行摄影的功能

ii)求取表示被摄体的景深的景深系数的功能

iii)根据光场图像来生成重构了被摄体的图像的重构图像的功能

iv)显示所生成的重构图像的功能

v)受理用于指示删除对象的被摄体(删除被摄体)的操作的功能

vi)根据受理的操作，来生成变更了构图的重构图像的功能

其中，图像生成装置30尤其是具有“vi)根据受理的操作来生成变更了构图的重构图像”的功能。

数码相机1如图1所示那样，由包含摄像部10、图像生成装置30在内的信息处理部20、存储部40、接口部(I/F部)50构成。数码相机1由于具有这样的构成，从外部取得被摄体的光线信息并生成重构图像。此时，能够生成下述这样的重构图像，即，从被摄体中，按照成为删除对象的被摄体(删除被摄体)不成为对其他的被摄体(主要被摄体)的欣赏的干扰的方式生成删除后的重构图像。

另外，在此“将删除被摄体删除”包含将删除被摄体完全地除去的情形、以及包含至不成为主要被摄体的欣赏的干扰的程度为止减少来自删除被摄体的光线信息对重构图像的影响的情形。

其次，参照图14A以及图14B，对本实施方式所涉及的图像生成装置30的构成进行说明。

图像生成装置30在物理上如图14A所示那样，由信息处理部31、主存储部32、外部存储部33、输入输出部36、内部总线37构成。图像生成装置30将保存在外部存储部33中的程序38以及数据复制到主存储部32中，信息处理部31通过使用主存储部32来执行程序38，来执行后叙的用于生成删除重构图像的处理。

图像生成装置30通过上述那样的物理构成，如图14B所示那样，作为输入部350、重构图像生成部360、删除操作取得部370、输出部380发挥功能。

输入部350是发挥图像生成装置30从数码相机1的各部中取得信息的功能的部位。输入部350包含重构设定取得部3510、LFDM取得部3520、LFI取得部3530、对应取得部3540。

LFDM取得部3520从景深估计/对应定义部220取得光场景深分布图LFDM。

重构设定取得部3510从重构设定存储部420取得重构设定信息。重构设定信息包含表示重构处理的具体内容的信息与下述的图像生成处理所需的信息(表示重构参数、阈值的信息)。本实施方式中，重构参数通过以下的处理来确定生成重构图像。

i)利用对应信息，生成配置在重构面RF的临时重构图像。

ii)显示临时重构图像，受理用户指定删除被摄体的操作。

iii)基于删除被摄体指定操作，重构将删除被摄体删除后的图像并输出。

由此，重构参数包含用于特定新的图像的聚焦点(重构面)与主透镜ML的距离(重构距离、距离a1)的信息、用于提取与删除被摄体对应的像素的设定参数等的信息。

LFI取得部3530取得图像处理部210所生成的光场图像LFI。

对应取得部3540从景深估计/对应定义部220取得对应信息(图5的对应列表)。

这些输入部350的各部将所取得的信息向重构图像生成部360的各部进行传送。

删除操作取得部370从数码相机1的操作部530接收表示用于指定删除被摄体的操作的信息。删除操作取得部370将接收的表示删除被摄体指定操作的信息，向重构图像生成部360进行传送。

重构图像生成部360基于重构设定取得部3510所取得的重构设定以及删除操作取得部370所取得的删除操作信息，根据LFDM取得部3520所取得的光场景深分布图LFDM、LFI取得部3530所取得的光场图像LFI、对应取得部3540所取得的对应信息来生成删除重构图像。

本实施方式中，暂且生成不变更构图的重构图像即临时重构图像并输出。接下来，在用户利用临时重构图像而执行了删除被摄体指定操作时，生成除去了删除被摄体后的重构图像即删除重构图像。另外，还生成确定了各像素的景深的重构景深分布图。

参照图15A至图15E对重构图像生成部360所执行的处理概要进行说明。重构图像生成部360根据光场图像LFI重构未实施删除处理的临时重构图像(RI3)并向显示部520输出。图15A的示例中，临时重构图像(RI3)是背景(白)、在焦点面RF附近的小孩(灰色)、存在于近处的障碍物(斜线部)显现的像。

接下来，观察到显示部520所显示的临时重构图像(RI3)的用户希望删除近处的障碍物，使其不成为在欣赏小孩的图像时的干扰。此时，用户首先如图15B那样，通过在触碰面板(显示部520与操作部530)上描绘障碍物等的操作，来选择删除被摄体。

基于这样的选择操作，重构图像生成部360提取删除被摄体并显著地显示(图15C)。用户对当前显著地显示的被摄体是否与所希望的删除对象一致进行确认，在一致的情况下，触击确定按钮(图15C的“是”)来确定删除对象的被摄体。另一方面，在与所希望的对象不同的情况下触击“否”。在该情况下，选择被暂且重置，用户重新进行选择。

在确定了删除对象的被摄体的情况下，重构图像生成部360生成已删除了删除被摄体后的图像(删除重构图像，RI4)并进行显示。图15D表示完全删除了删除被摄体后的情况下的删除重构图像的示例。另一方面，图15E表示使来自删除被摄体的信息的影响减少，仅以一定的比率进行了删除后的情况下的图像重构图像(RI5)的示例。

为了执行这样的处理，重构图像生成部360包含临时重构图像生成部3610、选择像素提取部3620、删除景深定义部3630、删除像素提取部3640、删除部3650、删除重构图像生成部3660。

临时重构图像生成部3610在重构面RF上对重构图像进行定义。接下来，如以下那样地，对重构图像上的像素(重构像素)的像素值与其景深系数进行决定，来生成临时重构图像(RI3)与其重构景深分布图(RDM3)。

(1)将重构像素的一个设为关注像素，参照对应信息来取得与关注图像的坐标对应的重构像素的对应子像素及其权重。

(2)参照光场图像LFI来取得对应像素的像素值。

(3)对所取得的像素值乘以加权系数得到的值作为补正像素值。

(4)关于所提取的对应像素的全部，计算出补正像素值，将其总和作为关注像素的像素值。此时，也可以执行将像素值的总和除以权重的总和的归一化。

(5)参照光场景深分布图LFDM，来取得所提取的对应像素的景深系数。

(6)将所取得的景深系数的众数设为重构景深分布图的对应部位的景深系数。

(7)关于各重构像素，分别执行(1)～(6)来决定像素值以及景深系数。

临时重构图像生成部3610将生成的临时重构图像(RI3)与重构景深分布图(RDM3)向选择像素提取部3620进行传送。

图16A至图16D表示临时重构图像(RI3)与重构景深分布图(RDM3)的示例。图16A是临时重构图像(RI3)的示例。图16B表示临时重构图像(RI3)的重构景深分布图(RDM3)。在临时重构图像(RI3)上以实线所示的部位(近的被摄体，OB3)是在重构景深分布图(RDM3)上，其景深系数大的(白的)部位。

另一方面，在临时重构图像(RI3)上以点划线所示的部位(更远的被摄体，OB2)是在重构景深分布图(RDM3)上以灰色表示。

在临时重构图像(RI3)上以点线所示的被摄体(背景，OB1)的部位的景深系数小。该部位在重构景深分布图(RDM3)上以更黑的颜色表示。

删除了被摄体OB2后的删除重构图像(RI4，图16C)中，临时重构图像(RI3)上被OB2所隐蔽的被摄体OB1’显现出来。在与删除重构图像(RI4)对应的删除重构景深分布图(RDM4，图16D)中，与OB2对应的部位成为表示背景的黑色。

临时重构图像生成部3610将生成的临时重构图像(RI3)传送给输出部380，并使之输出。另外，临时重构图像生成部3610将临时重构图像(RI3)与重构景深分布图(RDM3)传送给选择像素提取部3620。输出部380将临时重构图像(RI3)存储到图像存储部430中并且使得在显示部520进行显示。

显示部520向用户提示临时重构图像(RI3)，操作部530受理由用户选择临时重构图像(RI3)上的被摄体的操作。删除操作取得部370取得所受理的操作。

删除操作取得部370将表示指定该临时重构图像(RI3)上的部位的操作的信息(指定部位的坐标)传送给选择像素提取部3620。

选择像素提取部3620从临时重构图像(RI3)上提取与用户所指定的部位对应的重构像素(选择像素)。具体而言，取得用户所指定的部位的临时重构图像(RI3)上的坐标(x，y)。并且，取得选择像素的景深值。接下来，将所取得的信息作为选择信息进行保持。

参照图17A至图17C对选择像素提取部3620所取得的选择信息的示例进行说明。图17A的示例中，在临时重构图像(RI3)映出了与景深系数(深度指标：depthindex)为1对应的背景(OB1)、与深度指标为3对应的被摄体(OB2a，OB2b)、与深度指标为6对应的被摄体OB3。

用户在该临时重构图像(RI3)中，如黑箭头那样执行触碰操作时，选择像素提取部3620生成图17B所示的选择像素列表。选择像素列表将选择像素的编号、选择像素的坐标、选择像素的景深系数(深度指标)建立对应地记录。另外，选择像素是与用户以触碰操作所指定的部位对应的重构像素。选择像素的坐标是用户进行了触碰操作的部位的、重构图像上的坐标。选择像素的景深系数是与选择像素的坐标对应的重构景深分布图(RDM3)的景深系数。

选择像素提取部3620将生成的选择像素列表传送给删除景深定义部3630。

删除景深定义部3630从传送的选择像素列表中所含的深度指标中，将满足规定的条件的深度指标作为与删除被摄体对应的景深系数(删除景深系数)进行确定。

删除景深系数也能够通过在选择像素列表中设为具有超过了规定数的数的深度指标等的任意方法来进行确定，但在此利用了以下的方法。具体而言，将选择像素列表中所含的选择像素的数设为L，将某数值d的深度指标的数设为Ld时，利用下述的式(5)来计算出比率Qd。接下来，在选择像素列表中所含的深度指标当中，将Qd超过规定的阈值的系数设为删除景深系数。该阈值是重构设定信息所定义的值。

Qd＝Ld/L…(5)

在图17A以及图17B的示例中，将深度指标为3与6选择作为删除景深系数。在此，删除景深定义部3630从选择像素列表中，将具有与删除景深系数不同的深度指标的像素进行删除。

删除景深定义部3630将删除处理完成的选择像素列表与表示所定义的删除景深系数的信息传送给删除像素提取部3640。

删除像素提取部3640对子像素的景深系数与删除景深系数进行比较，基于比较结果，从子像素中提取出能够判定为映出了删除被摄体的删除像素。关于提取删除像素的处理，将在后叙述。

接下来，删除像素提取部3640将针对与提取的删除像素对应的重构像素进行了强调得到的临时重构图像传送给输出部380。用户利用此时输出的图像，能够判断是否选择了所希望的被摄体。

图17C的示例中，基于图17A的操作，将与深度指标为3与6的像素对应的被摄体(OB2a以及OB3)作为删除被摄体，进行强调后向用户进行提示。OB2b的深度指标与删除景深系数对应，但未包含在用户所指定的部分，OB2b不作为删除被摄体。

用户对输出的图像进行确认而执行了确定删除被摄体的操作时，删除像素提取部3640将表示提取的删除像素的信息(删除像素的光场图像LFI上的坐标)传送给删除部3650。

删除部3650从光场图像LFI中对删除像素进行删除。具体而言，将在光场图像LFI之上的从删除像素提取部3640传送来的坐标的像素(删除像素)的像素值设为NULL。像素值为NULL的像素在后叙的删除重构图像的生成中从计算对象中除外。

另外，本实施方式中，将删除像素的像素值设为NULL的情形是与以下的处理中不作为重构像素的对应像素的情形相同。即，与从对应列表中删除删除像素(或者将对应的权重设为0)同义。

对板状的被摄体OB1、立方体状的被摄体OB2、圆柱状的被摄体OB3进行摄影得到的情况为例，参照图18A至图18D对从光场图像LFI中删除删除像素的处理的示例进行说明。图18A表示LFI取得部3530所取得的光场图像LFI的一部分，图18B表示临时重构图像生成部3610所重构得到的临时重构图像。在光场图像LFI，各被摄体的像表现为点对称。

光场图像LFI由从各个不同的角度对OB1、OB2、OB3进行摄影得到的多个子图像构成。子图像以呈格子状配置的正方形表示。另外，各子图像的中心以点划线表示。

在删除OB2的情况下，删除景深定义部3630提取OB2的景深系数作为删除景深系数。接下来，删除像素提取部3640从与重构图像上的OB2的坐标对应的对应像素中，提取从删除景深系数起在规定范围中所含的子像素(图18A的横线部的像素)。接下来，删除部3650将所提取的子像素的像素值设为NULL。图18C表示被设为NULL的像素以黑色所示的删除完成的光场图像LFI(删除LFI，DLFI)的一部分。

根据删除LFI，利用对应列表来重构图像时，能够生成如图18D那样，删除被摄体(OB2)已被删除后的删除重构图像(RI4)。此时，在有OB2的部分，显示出OB1。这是由于在有OB2的部位的重构像素的对应像素中，除删除像素以外拍摄了OB1的缘故。

删除部3650将删除LFI传送给删除重构图像生成部3660。删除重构图像生成部3660对于重构像素的各个，在登录于对应列表的对应子像素中，在删除LFI上对像素值未被设为NULL的像素的像素值进行加权相加，由此来生成删除重构图像(RI4)。

删除重构图像生成部3660将向生成的删除重构图像向输出部380进行传送。输出部380将传送来的删除重构图像(RI4)存储在图像存储部430中。接下来，数码相机1使删除重构图像(RI4)显示在显示部520。或者，经由I/O部510向外部进行传送。

其次，关于数码相机1所执行的处理，参照流程图进行说明。数码相机1以使用者操作操作部530而指示了被摄体的摄影为契机，开始图19所示的图像输出处理。

图像输出处理中，首先，图像处理部210根据从摄像部10所取得的图像信息和从摄像设定存储部410所取得的摄影设定信息来生成光场图像LFI(步骤S501)。接下来，向景深估计/对应定义部220传送所生成的光场图像LFI与摄影设定信息。

其次，景深估计/对应定义部220取得摄影设定信息。并且，景深估计/对应定义部220从重构设定存储部420取得重构设定信息(步骤S502)。此时所取得的摄影设定以及构成设定也传送给图像生成装置30。

接下来，景深估计/对应定义部220对于构成光场图像LFI的各子像素进行景深的估计。另外，图像生成装置30取得配置了景深系数的光场景深分布图LFDM(步骤S503)。

具体而言，景深估计/对应定义部220对于构成光场图像LFI的各子像素，估计对应的被摄体的景深，生成将表示估计出的景深的景深系数与该子像素建立对应得到的光场景深分布图LFDM。

在此，景深系数可利用对光场图像LFI的像素的被摄体的距离进行估计的任意的方法来进行计算，但本实施方式中，利用与图10的S103相同的方法进行计算。

其次，景深估计/对应定义部220通过图4中说明的光线追踪，来生成图5所示的对应列表(步骤S504)。接下来，图像生成装置30取得景深估计/对应定义部220所生成的对应列表。

步骤S503中取得光场景深分布图LFDM，且步骤S504中取得对应列表，其次，图像生成装置30利用光场图像LFI、光场景深分布图LFDM、对应列表，开始用于生成临时重构图像(RI3)的处理(临时重构图像生成处理)(步骤S505)。在此，执行图20所示的临时重构图像生成处理2。

临时重构图像生成处理2中，首先临时重构图像生成部3610在重构设定信息所定义的重构面RF上对临时重构图像进行定义(步骤S511)。并且，根据临时重构图像中所含的像素(重构像素)，选择关注像素(步骤S512)。

其次，临时重构图像生成部3610从子像素中提取与关注像素对应的对应像素(步骤S513)。具体而言，将图5的对应列表中的登录在重构像素的坐标与关注图像的坐标一致的行中的子像素提取作为对应像素。

其次，临时重构图像生成部3610对关注像素的像素值进行计算(步骤S514)。具体而言，对步骤S513中所提取的各对应像素的像素值，利用各个的对应像素的权重进行加权相加平均，将所获得的值设为关注像素的像素值。

相同地，临时重构图像生成部3610对关注像素的景深系数进行计算(步骤S515)。具体而言，对于步骤S513中所提取的各对应像素，利用各个的对应像素的权重对光场景深分布图LFDM所定义的景深系数进行加权相加平均，将所获得的值设为关注层像素的景深系数。

另外，也可以将对应像素的景深系数的众数设为关注像素的景深系数。

其次，判别将关注层的全部重构像素作为关注像素而进行的上述处理是否结束(步骤S516)。在尚有未处理的重构像素的情况下(步骤S516；“否”)，对下一未处理的重构像素，从步骤S512起反复进行处理。另一方面，在对全部重构像素已处理完成的情况下(步骤S516；“是”)，临时重构图像生成处理2结束。

返回至图19，将步骤S505中生成的临时重构图像和其次输出部380所生成的临时重构图像进行输出(步骤S506)，并使显示部520进行显示。

其次，关于步骤S506中显示的临时重构图像，受理用户所执行的删除操作，基于该操作，图像生成装置30执行对删除被摄体以及删除像素进行定义的处理(删除对象定义处理，在此为删除对象定义处理1)(步骤S507)。

关于步骤S507中执行的删除对象定义处理1，参照图21进行说明。

删除对象定义处理1中，首先，删除操作取得部370判别是否检测出用户选择成为删除对象的被摄体的操作(步骤S601)。具体而言，在显示部520与操作部530构成的触碰面板上，判别是否检测出对临时重构图像(R13)进行触击的操作。

在未检测出的情况下(步骤S601；“否”)，反复进行步骤S601，等待受理直至检测出为止。

另一方面，在检测出选择操作的情况下(步骤S601；“是”)，选择像素提取部3620提取与该选择部位对应的重构像素(选择像素)(步骤S602)。具体而言，通过对触碰面板的触碰操作，求取与所指定的位置对应的重构像素的坐标。

其次，选择像素提取部3620参照临时重构图像(RI3)与其重构景深分布图(RDM3)，取得选择像素的景深系数(步骤S603)，将选择像素编号、坐标、景深系数(深度指标)建立对应地存储到图17B的选择像素列表中。

其次，判别是否是选择结束操作(步骤S604)。具体而言，判别是否检测出表示手指从触碰面板指离开、或执行了指示选择结束的操作等的选择结束的操作。在未检测出这样的操作的情况下(步骤S604；“否”)，基于对下一部位进行选择的操作，从步骤S602起反复进行处理。

另一方面，在检测出选择结束操作的情况下(步骤S604；“是”)，处理转移至步骤S605。在步骤S605中，执行用于定义删除景深系数的处理(删除景深定义处理，在此为删除景深定义处理1)。

关于删除景深定义处理1，参照图22进行说明。删除景深定义处理1中，首先，删除景深定义部3630取得已记录在选择像素列表中的景深系数(深度指标)(步骤S701)。图17B的示例中，作为深度指标的值，记录有3、6以及1，因此取得这3个深度指标。

其次，删除景深定义部3630将步骤S701中所取得的景深系数中的一个选择作为关注景深系数(步骤S702)。

其次，关于关注景深系数，利用式(5)对比率Qd进行计算(步骤S703)。例如，关于图17B的深度指标3，作为比率Qd的值而计算出45/200。

删除景深定义部3630其次对步骤S703中计算出的比率是否为规定的阈值以上进行判别(步骤S704)。在为规定的阈值以上的情况下(步骤S704；“是”)，删除景深定义部3630将关注景深作为删除景深系数进行确定(步骤S705)。另一方面，在比规定的阈值要小的情况下(步骤S704；“否”)，基于关注景深系数不是删除景深系数的判断，将关注景深系数从选择像素列表中删除(步骤S706)。具体而言，选择像素列表的行中，删除深度指标与关注景深系数一致的行。

其次，对关于步骤S701所取得的全部的景深系数所进行的上述处理是否结束进行判别(步骤S707)。在尚有未处理的景深系数的情况下(步骤S707；“否”)，关于下一未处理的景深系数，从步骤S702起反复进行处理。另一方面，在对全部的景深系数已处理完成的情况下(步骤S707；“是”)，删除景深定义处理结束。

返回图21，步骤S605中定义了删除景深系数时，删除像素提取部3640将所定义的删除景深系数的一个选择作为关注景深系数(步骤S606)。

其次，删除像素提取部3640执行从光场图像LFI中提取删除像素的处理(删除像素提取处理，在此为删除像素提取处理1)(步骤S607)。

关于步骤S607中执行的删除像素提取处理1，参照图23进行说明。

首先，删除像素提取处理1中，删除像素提取部3640将关于临时重构图像(RI3)而生成的选择像素列表中所存储的选择像素的一个选择作为关注选择像素(步骤S801)。接下来，将关注选择像素编入到在临时重构图像(RI3)内所选择的选择区域中。

其次，删除像素提取部3640提取与选择区域相邻的像素即相邻重构像素(步骤S802)。具体而言，关于选择区域中所含的像素的各个，将在上下左右方向相邻的像素中的未包含在选择区域中的重构像素提取作为相邻重构像素。

其次，删除像素提取部3640对步骤S802中提取的相邻重构像素判别是否有满足规定的条件的编入像素(步骤S803)。在此，规定的条件是指，相邻重构像素的像素值与选择区域中所含的像素的平均值之间的差是以重构设定所确定的规定的阈值以下，且景深系数处于包含删除景深系数(关注景深系数)的规定范围(删除景深范围)中。例如，重构设定确定了删除景深范围为删除景深系数的±2的范围的情况下，景深系数设为6时，则4～8是删除景深范围。本实施方式中，“相邻重构像素的景深系数处于删除景深范围中”成为相邻重构像素被编入到选择区域中的编入像素的条件。

在步骤S802提取的相邻重构像素中有编入像素的情况下(步骤S803；“是”)，根据编入像素是与删除被摄体对应的像素的判断，删除像素提取部3640将编入像素编入到选择区域中(步骤S804)。接下来，处理返回至步骤S802，提取更进一步的编入像素。

另一方面，在没有编入像素的情况下(步骤S803；“否”)，根据与当前时间点的选择区域相邻的范围中没有与删除被摄体对应的像素这样的判断，处理进入至步骤S805。

步骤S805中，删除像素提取部3640对在存储于选择像素列表中的选择像素中是否有未包含在选择区域中的像素进行判别。在存在有未被包含于选择区域的选择像素的情况下(步骤S805；“是”)，将该像素作为新的关注选择像素，从S801起反复进行处理。

另一方面，在没有未被包含于选择区域中的选择像素的情况下(步骤S805；“否”)，根据与删除被摄体对应的重构像素已包含在当前的选择区域中这样的判断，删除像素提取部3640提取与临时重构图像(RI3)的选择区域对应的光场图像LFI的对应像素(步骤S806)。具体而言，在对应列表中，提取已被定义为与选择区域中所含的重构像素对应的子像素。

其次，删除像素提取部3640将在步骤S806中所提取的对应像素中的具有处于删除景深范围内的景深系数的像素提取作为删除像素(步骤S807)。接下来，删除像素提取处理1结束。

返回至图21，步骤S607中提取删除像素，其次，关于步骤S605中所定义的全部删除景深的上述处理是否已结束进行判别(步骤S608)。在尚有未处理的删除景深的情况下(步骤S608；“否”)，对于下一未处理的删除景深，从步骤S606起反复进行处理。另一方面，关于全部删除景深均已处理完成的情况下(步骤S608；“是”)，处理转移至步骤S609。

步骤S609中，如图15C所示那样，删除像素提取部3640将与所提取的删除像素对应的删除被摄体进行显著显示后的临时重构图像向输出部380输出。具体而言，临时重构图像(RI3)中，将删除被摄体的像素值设为黑，或者设为以黑与白进行闪烁的像素值，通过这些等的处理，来生成可判别删除被摄体的图像。接下来，显示所生成的图像。

其次，用户对显著显示的删除区域(删除被摄体)进行确并执行确定操作等，针对删除对象(删除像素)是否已确定的进行判别(步骤S610)。在用户通过图15C而选择了“否”的情况下等的未确定的情况下(步骤S610；“否”)，删除区域重置，并返回至步骤S601。

另一方面，在用户通过图15C选择“是”的情况下等删除区域已确定的情况下(步骤S610；“是”)，删除像素提取部3640将步骤S607中提取的子像素确定为删除像素。接下来，删除对象定义处理1结束。

返回至图19，步骤S507中提取删除像素，其次，删除部3650执行删除处理。具体而言，将光场图像LFI上的删除像素的像素值设为NULL(步骤S508)。接下来，删除重构图像生成部3660开始进行用于生成删除重构图像(RI4)的处理(删除重构图像生成处理，在此为删除重构图像生成处理1)(步骤S509)。

关于步骤S509中执行的删除重构图像生成处理1，参照图24进行说明。删除重构图像生成处理1中，删除重构图像生成部3660将重构像素中的一个选择作为关注像素(步骤S901)。

其次，删除重构图像生成部3660从子像素提取与关注像素对应的对应像素(步骤S902)。具体而言，在图5的对应列表中，将登录在重构像素的坐标与关注图像的坐标一致的行中的子像素作为对应像素提取。

其次，删除重构图像生成部3660对通过步骤S902提取的对应像素中是否包含像素值为NULL的像素(删除像素)进行判别(步骤S903)。在包含有删除像素的情况下(步骤S903；“是”)，将删除像素从以后的计算处理的对象中除外(步骤S904)。另一方面，在没有包含删除像素的情况下(步骤S903；“否”)，跳过步骤S904。

其次，删除重构图像生成部3660对关注像素的像素值进行计算(步骤S905)。具体而言，对步骤S902所提取的各对应像素的像素值，利用各个的对应像素的权重进行加权相加平均，将所获得的值设为关注像素的像素值。此时，关于步骤S904中被除外的删除像素，不作为计算处理的对象。

此时，对应像素全部是删除像素的(或者，删除像素所占的比例比规定的比率要大的)情况下，将规定的默认值(例如黑)设为重构像素的像素值。此时，向用户进行警告通过删除操作，与摄影无关的信息将显现于删除重构像素的情况。

相同地，删除重构图像生成部3660对关注像素的景深系数进行计算(步骤S906)。具体而言，关于步骤S902中所提取的各对应像素，利用各个的对应像素的权重对光场景深分布图LFDM所定义的景深系数进行加权相加平均，将所获得的值作为关注像素的景深系数。另外，也可以将对应像素的景深系数的众数设为关注像素的景深系数。此时，将删除像素从计算处理的对象中除外。

其次，对将全部重构像素作为关注像素所进行的上述处理是否已结束进行判别(步骤S907)。在尚有未处理的重构像素的情况下(步骤S907；“否”)，对于下一未处理的重构像素，从步骤S901起反复进行处理。另一方面，在全部重构像素均已处理完成的情况下(步骤S907；“是”)，则生成得到删除重构图像，所以，删除重构图像生成处理1结束。

返回至图19，步骤S509中生成删除生成重构图像时，其次，输出部380将生成的删除重构图像向图像存储部430输出(步骤S510)。接下来，显示部520或者I/O部510将变更重构图像向外部输出，其后图像输出处理结束。

如以上说明的那样，实施方式2的图像生成装置30生成已删除了成为删除对象的被摄体后的重构图像。另外，在被摄体的删除中，提取与成为删除对象的被摄体对应的子像素，基于其他的子像素的像素值，来决定重构像素的像素值。由此，删除后的重构图像(RI4)中，主要被摄体的与摄影信息无关的像素(删除对象的被摄体的像素)显现的比例变小。即，能够将删除重构图像生成为更能反映主要的被摄体的摄影信息的图像。

另外，实施方式2的图像生成装置30对具有被估计为删除被摄体所处位置的景深系数的像素执行删除处理，对删除被摄体的像从重构图像中删除。通过该构成，能够将不含删除对象的被摄体的景深的像原样不变地保持并删除被摄体。由此，在光场图像LFI上所摄影得到的更远的被摄体的像将在已删除的部位上显现出来。由此，能够生成与实际上去除了被摄体的情况接近的删除重构图像。

另外，实施方式2的图像生成装置30根据光场景深分布图LFDM来生成重构景深分布图，基于选择像素(重构像素的一部分)的景深系数，来确定被摄体的景深系数。由此，能够将与所确定的删除被摄体的景深相宜的子像素提取作为删除像素，能够生成与实际上去除了被摄体的情况接近的删除重构图像。

并且，实施方式2的数码相机1具有暂且生成未实施删除处理的临时重构图像并向用户提示的构成。由此，用户能够在对不进行删除的情况的图像进行确认的基础上选择所希望的删除对象。由此，能够执行被摄体的删除，且用户的便利性高。

并且，取得基于摄影参数(摄影设定信息)的对应信息，基于该对应信息，来生成临时重构图像与删除重构图像。由此，能够生成反映了摄影时的条件的、精度高的临时重构图像与删除重构图像。

(变形例)

本发明并不限于本实施方式，能够进行各种变形。

例如，本实施方式中，将删除景深范围作为其中包含经删除操作提取的深度指标比规定的比率要大的景深系数在内的规定的范围进行确定。接下来，在与删除被摄体对应的子像素的中，将景深系数包含在删除景深范围内的子像素确定为删除像素。

但是，本发明的提取删除像素的方法并不限于此。

例如，数码相机1也可以将属于用户所指定的景深的范围内的子像素全部作为删除像素。根据这样的构成，例如在主被摄体前存在带状的障碍物的情况等，将干扰的障碍物一律删除这样的处理能够简便地实现。

或者，也可以是将与用户所指定的任意的部位对应的属于用户指定的景深范围内的子像素确定作为删除像素的构成。

另外，本实施方式中，通过图23的删除像素提取处理1来对选择区域(与删除被摄体对应的重构图像上的区域)进行了定义，但定义选择区域的方法并不限于此。

例如，也可以是下述的构成，即，预先将重构图像按照像素值/景深系数而分割为图像区域，在图像区域中，将该图像区域中所含的选择像素比规定的比率要大的区域确定为选择区域这样的构成。此时，对图像区域进行分割的方法能够利用分割/统合法、图表切取法等的已知的任意的方法。

另外，这样的预先将重构图像分割为图像区域的方法也能够应用到定义删除景深范围的处理中。例如，也可以是下述的构成，即，基于选择操作，首先将该图像区域中所含的选择像素比规定的比率要大的区域提取作为选择区域，接下来，将选择区域的景深系数的众数作为删除景深系数，将从该景深系数起的规定的范围设为删除景深范围这样的构成。

另外，也可以是将数码相机的设计上所预计的景深系数的范围分割为多个等级(景深等级)来执行删除处理这样的构成。该变形例中，利用将景深等级与对应的景深系数的范围建立对应地存储的列表(图25的等级-深度对应列表)来定义景深等级。图25的示例中，关于设定上所预计的深度指标(0～MAX)，定义了3个景深等级。例如，将等级指标2与对应深度指标3～5登录在相同行的情形表示深度指标(景深系数)为3～5的像素属于第2等级。

关于对深度分配等级的方法，其可以是例如将以重构设定预先定义的光场景深分布图LFDM的各景深值通过已知的聚类方法来进行聚类等的任意的方法。作为聚类的方法，按照属于各等级的景深值的等级间的距离成为最大的方式，例如有采用利用沃德法进行聚类的k平均法。

利用了等级的构成中，基于图17A那样的选择操作，生成如图26所示那样的选择像素列表。接下来，将全部选择像素中，超过规定的比率的等级指标设为选择等级。接下来，将对选择等级所分配的景深范围作为删除景深范围来提取删除像素。

根据这样的构成，关于所分配的范围，作为一个等级，计算出用于选择的比率。由此，即使在删除被摄体所具有的深度指标不具备一定的数值而有摆动的情况下，也能够选择用户所希望的删除被摄体并进行删除。

并且，本实施方式中，删除部将删除像素的像素值设为NULL，在删除重构的生成中将其设为计算的对象外。

但是，本发明也可以是：利用使删除像素的像素值在重构像素中显现的比例不对所希望的被摄体的欣赏造成干扰的程度地减小的任意方法，来生成删除重构图像。

例如，删除部根据图5的对应列表消除删除像素，由此，在重构图像的生成工序中，能够通过删除像素的像素值不被利用的构成，来生成删除重构图像。或者，也可以是下述的构成，即，取代从对应列表中消除删除像素，关于删除像素，按照直至不成为欣赏的干扰的程度为止使存储在对应列表中的权重w减少这样的构成。根据该构成，如图15E那样，能够生成仅删除了一定的比率的图像。

作为这样的构成的示例，可考虑用户利用滑动条等来指定使删除像素的权重减少的比率。通过该构成，用户能够使删除被摄体在删除重构图像显现的程度降低到所希望的水平。

这样，删除部执行下述等的处理，即将删除像素的像素值设为NULL且在其后的重构处理中从处理对象中排除在外、从对应列表中删除删除像素、使删除像素的权重减少等的处理。这些的处理换句话说是：按照使删除像素与重构像素的对应程度减小的方式变更重构像素与子像素的对应关系。另外，在此“使对应程度减小”包含将对应的程度设为0的情形。由此，删除部也能够表现为变更部。

图像生成装置通过这样的处理，能够有效地减小被判断为映出删除被摄体的子像素的像素值在重构图像显现的比例。其结果，在有删除被摄体的部位，删除像素以外的对应像素的像将显现出来，因此，能够生成与实际去除了删除被摄体后的情况下的图像接近的删除重构图像。

并且，也可以不基于用户操作来确定删除对象。例如，也可以是自动地删除最近的等级的被摄体、比所期望的焦点面之前的被摄体等的构成。

实施方式1以及实施方式2中，对对应信息中包含权重系数的示例进行了说明，对应信息也可以是确定了与重构像素对应的子像素的信息，无需对权重进行定义。

另外，上述说明中，将对应信息设为是基于摄影设定信息、重构设定按照每一光场图像LFI而生成的信息，但并不限于此，也可以利用预先存储的规定的对应信息。该构成适于在所预计的摄影参数发生变动的余地较小且重构距离为一定的情况下，保持容许范围的精度地使计算量减少。

另外，上述说明中，将图像设为灰色标度图像而进行了说明，本发明的成为处理对象的图像并不限于灰色标度图像。例如，图像也可以是对各像素定义了R(红)、G(绿)、B(蓝)三种像素值的RGB图像。在该情况下，将像素值作为RGB的矢量值而相同地进行处理。另外，也可以将R、G、B的各值分别作为独立的灰色标度图像，分别进行上述处理。根据该构成，能够根据彩色图像即光场图像来生成作为彩色图像的重构图像。

其他，所述的硬件构成、流程图是一个示例，能够任意地进行变更以及修正。

成为由信息处理部31、主存储部32、外部存储部33等构成的用于进行重构图像生成处理的中心的部分并不仅限于专用的系统，也能够利用通常的计算机系统来实现。例如，将用于执行所述动作的计算机程序保存在计算机可读取的记录介质(软盘、CD-ROM、DVD-ROM等)中进行配发，将所述计算机程序安装到计算机中，由此来构成用于进行重构图像生成的处理的成为中心的部分。另外，也可以预先将所述计算机程序保存于因特网等的通信网络上的服务器装置所具有的存储装置，通常的计算机系统通过下载来构成图像生成装置。

在图像生成装置的功能是由OS(操作系统)与应用程序的分担，或者OS与应用程序之间的协动来实现的情况下等，也可以仅将应用程序部分保存在记录介质、存储装置中。

另外，也可以在搬送波上加载计算机程序，经由通信网络而进行分发。例如，也可以是如下的构成，即，在通信网络上的公告板(BulletinBoardSystem)公告所述计算机程序，经由网络来分发所述计算机程序，接下来，启动该计算机程序，在OS的控制下，通过与其他的应用程序相同地执行，能够执行所述的处理这样的构成。

以上，对本发明的优选实施方式进行了说明，但本发明并不限于相关的特定的实施方式，本发明包含权利要求的范围所记载的发明以及与其均等的范围。

Claims (18)

1.一种图像生成装置，其具备：

图像取得部，其取得从多个视点的各个视点分别摄影得到的由多个子图像构成的摄影图像；

提取部，其从构成所述子图像的子像素中，提取与成为构图变更的对象的被摄体对应的子像素，作为变更像素；

变更部，其变更在构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系中的与作为所述变更像素而提取的子像素之间的对应关系；和

生成部，其利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此，生成已变更了所述被摄体的构图后的重构图像。

2.根据权利要求1所述的图像生成装置，其中，

所述图像生成装置还具备景深取得部，该景深取得部针对各个所述子像素，取得表示与该子像素对应的被摄体的景深的景深系数，

所述生成部，在所述变更部所变更了的对应关系中，在求取与所述变更像素对应的重构像素的像素值时，对所述变更像素的景深系数与并不是所述变更像素的子像素的景深系数进行比较，优先求取景深近的一方的像素值。

3.根据权利要求1所述的图像生成装置，其中，

所述图像生成装置还具备景深取得部，该景深取得部针对各个所述子像素，取得表示与该子像素对应的被摄体的景深的景深系数，

所述提取部从与成为构图变更的对象的被摄体即变更被摄体的位置对应的所述子像素中，将所述景深取得部所取得的景深系数满足规定条件的子像素作为与成为该构图变更的对象的被摄体对应的变更像素来提取。

4.根据权利要求3所述的图像生成装置，其中，

所述提取部取得所述变更被摄体的景深，将所述景深取得部所取得的景深系数含在包含该变更被摄体的景深在内的规定范围内的子像素作为所述景深系数满足规定条件的子像素。

5.根据权利要求4的图像生成装置，其中，

所述图像生成装置还具备定义部，该定义部针对被定义于所述重构面的重构图像，定义多个层，该多个层的各个被分配了规定的景深系数的范围，

所述提取部从所述多个层中，选择与所述变更被摄体对应的层，将对该选择的层所分配的范围作为包含所述变更被摄体的景深的规定范围。

6.根据权利要求1所述的图像生成装置，其中，

所述图像生成装置还具备：

第2生成部，其基于所述变更部进行变更之前的对应关系，生成不伴随构图变更的重构图像作为临时重构图像；

输出部，其输出所述第2生成部生成的临时重构图像；和

指定部，其用于指定所述输出部输出的临时重构图像上的部位，

所述提取部将与所述指定部所指定的部位对应的被摄体作为成为所述构图变更的对象的被摄体。

7.根据权利要求1的图像生成装置，其中，

所述图像生成装置还具备：

第3取得部，其取得表示所述构图变更的内容的信息；和

决定部，其基于所述第3取得部取得的信息所示的构图变更的内容，来决定所述变更部用于变更所述变更像素与所述重构像素的对应关系的变更参数，

所述变更部利用所述决定部决定的变更参数来变更所述变更像素的对应关系。

8.根据权利要求7所述的图像生成装置，其中，

所述决定部决定的变更参数是用于线性变换的变换矩阵。

9.根据权利要求1所述的图像生成装置，其中，

所述图像生成装置还具备第4取得部，

该第4取得部取得基于所述图像摄影进行摄影时的摄影参数而求取的表示所述重构像素与所述子像素的对应关系的信息，

所述变更部变更所述第4取得部所取得的信息所示的对应关系。

10.一种图像生成装置，其具备：

图像取得部，其取得从多个视点的各个视点摄影得到的由多个子图像构成的摄影图像；

提取部，其从构成所述子图像的子像素中，将与成为删除的对象的删除被摄体对应的子像素作为删除像素来提取；

变更部，其变更用以构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系，以使所述重构像素与作为所述删除像素而提取的子像素之间的对应的程度变小；和

生成部，其利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此生成所述删除像素的影响小的重构图像。

11.根据权利要求10所述的图像生成装置，其中，

所述生成部利用所述变更部变更后的对应关系，生成已删除了所述删除被摄体的重构图像。

12.根据权利要求10所述的图像生成装置，其中，

所述图像生成装置还具备景深取得部，该景深取得部针对各个所述子像素，取得表示与该子像素对应的被摄体的景深的景深系数，

所述提取部从所述子像素中，将所述景深取得部所取得的景深系数满足了规定条件的子像素作为与所述删除被摄体对应的删除像素来提取。

13.根据权利要求12所述的图像生成装置，其中，

所述提取部取得所述删除被摄体的景深，将所述景深取得部所取得的景深系数含在包含该删除被摄体的景深在内的规定范围内的子像素作为所述景深系数满足规定条件的子像素。

14.根据权利要求13所述的图像生成装置，其中，

所述图像生成装置还具备获得部，该获得部根据所述景深取得部所取得的子像素的景深系数，求取所述重构像素的景深，

所述提取部取得所述删除被摄体所处于的所述重构图像上的部位的至少一部分，对于该取得的部位的重构像素，基于所述获得部求取的景深来取得所述删除被摄体的景深。

15.根据权利要求10所述的图像生成装置，其中，

所述图像生成装置还具备：

第2生成部，其基于所述变更部进行变更之前的对应关系，来生成临时重构图像；

输出部，其输出所述第2生成部生成的临时重构图像；和

指定部，其用于指定所述输出部输出的临时重构图像上的部位，

所述提取部将与所述指定部所指定的部位对应的子像素作为所述删除像素来提取。

16.根据权利要求10所述的图像生成装置，其中，

所述图像生成装置还具备对应取得部，该对应取得部取得基于所述摄影图像进行摄影时的摄影参数所求取的、表示所述重构像素与所述子像素的对应关系的信息，

所述变更部变更所述对应取得部所取得的信息所示的对应关系。

17.一种图像生成方法，其包括：

图像取得步骤，取得从多个视点的各个视点分别摄影得到的由多个子图像构成的摄影图像；

提取步骤，从构成所述子图像的子像素中，提取与成为构图变更的对象的被摄体对应的子像素，作为变更像素；

变更步骤，变更在构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系中的与作为所述变更像素而提取的子像素之间的对应关系；和

生成步骤，利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此，生成已变更了所述被摄体的构图后的重构图像。

18.一种图像生成方法，其包括：

图像取得步骤，取得从多个视点的各个视点摄影得到的由多个子图像构成的摄影图像；

提取步骤，从构成所述子图像的子像素中，将与成为删除的对象的删除被摄体对应的子像素作为删除像素来提取；

变更步骤，变更用以构成被定义于规定的重构面的重构图像的重构像素与所述子像素之间的对应关系，以使所述重构像素与作为所述删除像素而提取的子像素之间的对应的程度变小；和

生成步骤，利用所变更后的所述对应关系，根据所述子像素的像素值来计算出所述重构像素的像素值，由此生成所述删除像素的影响小的重构图像。