CN103516983A - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置、摄像装置以及图像处理方法。从多视点图像生成用户的满足度高的运动图像。针对进行输出的运动图像的各帧，临时运动图像生成部生成以从LFI使用默认值而重构出的临时图像为帧的临时运动图像。然后，输出至输出部。指定获取部获取对临时运动图像上的关注被摄体的坐标进行指定的信息。列表生成部使用从当前的帧的LFI生成的纵深图，获取关注被摄体的纵深值，并根据纵深值求取重构距离，且登记至指定列表。校正部对指定列表进行校正。正式运动图像生成部生成以在校正后的指定列表所指定的焦距上对焦的重构图像为帧的正式运动图像，并输出至输出部。

Description

图像处理装置、摄像装置以及图像处理方法

技术领域

本发明涉及重构多视点图像的技术。

本申请基于2012年6月28日申请的日本专利申请特愿2012-145849主张优先权，并将该基础申请的内容全部援引于此。

背景技术

从不同的视点拍摄被摄体来获取被摄体的立体的信息的技术是公知的。与此技术关联，日本特表2008-515110号公报公开了如下技术：获取由拍摄被摄体得到的多个图像构成的多视点图像(light field image：光场图像)，从该多个多视点图像来重构使焦距/景深等变化的图像。

发明内容

本发明的第1观点所涉及的图像处理装置具备：第1设定部，其对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标；第2设定部，其基于由所述第1设定部针对所述运动图像的其他帧设定的坐标，来设定所述运动图像的帧的坐标；图像获取部，其按所述运动图像的每个帧，获取在根据由所述第1设定部和/或第2设定部设定的坐标而确定的焦距上对焦的、根据从多个视点拍摄该帧的被摄体得到的多视点图像而重构出的图像；生成部，其生成以由所述图像获取部获取的图像为帧的运动图像；和输出部，其输出由所述生成部生成的运动图像。

本发明的第2观点所涉及的摄像装置具备：拍摄部，其对从多个视点拍摄被摄体而得到的多视点图像进行拍摄；第1设定部，其对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标；第2设定部，其基于由所述第1设定部针对所述运动图像的其他帧设定的坐标，来设定所述运动图像的帧的坐标；重构部，其按所述运动图像的每个帧，根据从多个视点拍摄该帧的被摄体得到的多视点图像来重构在根据由所述第1设定部和/或第2设定部设定的坐标而确定的焦距上对焦的图像；生成部，其生成以由所述重构部重构出的图像为帧的运动图像；和输出部，其输出由所述生成部生成的运动图像。

本发明的第3观点所涉及的图像处理方法包括：对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标的步骤；基于针对所述运动图像的其他帧设定的所述坐标来设定所述运动图像的帧的坐标的步骤；按所述运动图像的每个帧，获取在根据设定的所述坐标而确定的焦距上对焦的、根据从多个视点拍摄该帧的被摄体得到的多视点图像而重构出的图像的步骤；生成以获取的所述图像为帧的运动图像的步骤；和输出生成的所述运动图像的步骤。

附图说明

配合以下的附图来考虑以下的详细的记述，将得到本申请的更深的理解。

图1是表示本发明的实施方式1所涉及的数码相机的构成的图。

图2是表示实施方式1所涉及的数码相机的光学系统的构成的图。

图3A是表示实施方式1所涉及的光场图像的例子的图。

图3B是表示光场图像的概念图的图。

图3C是表示光场纵深图的例子的图。

图4A是表示实施方式1所涉及的光场图像的例子的图。

图4B是表示从光场图像重构出的重构图像的图。

图4C是表示重构纵深图的图。

图4D是表示重构出的重构图像的图。

图5是用于说明实施方式1所涉及的光线追踪的图。

图6A是表示实施方式1所涉及的运动图像生成装置的物理的构成的图。

图6B是表示运动图像生成装置的功能的构成的图。

图7A是表示实施方式1所涉及的校正前的指定列表的例子的图。

图7B是表示校正后的指定列表的例子的图。

图8A是表示实施方式1所涉及的校正处理的例子的图。

图8B是表示实施方式1所涉及的校正处理的另一例的图。

图9是表示实施方式1所涉及的运动图像输出处理的流程图。

图10是表示实施方式1所涉及的指定列表生成处理的流程图。

图11是表示实施方式1所涉及的校正处理的流程图。

图12是表示实施方式1所涉及的纵深值-焦距对应列表的例子的图。

图13是表示本发明的实施方式2所涉及的校正处理的流程图。

图14是表示本发明的实施方式3所涉及的数码相机的构成的图。

图15是表示实施方式3所涉及的校正处理的例子的图。

图16是表示实施方式3所涉及的指定列表的例子的图。

图17是表示实施方式3所涉及的运动图像输出处理的流程图。

图18是表示实施方式3所涉及的提取处理的流程图。

图19是表示实施方式3所涉及的指定列表生成处理的流程图。

图20是表示实施方式3所涉及的校正处理的流程图。

图21是表示本发明的实施方式4所涉及的校正处理的例子的图。

图22是表示实施方式4所涉及的校正处理的流程图。

具体实施方式

以下，参照附图来说明用于实施本发明的形态所涉及的数码相机以及运动图像生成装置(图像处理装置)。此外，对图中相同或相当的部分赋予同一符号。

(实施方式1)

实施方式1所涉及的运动图像生成装置30(图像处理装置)搭载于图1所示的数码相机1。数码相机1具有以下的i)～vi)的功能。

i)对从多个视点拍摄被摄体得到的多个子图像所组成的光场图像依次拍摄的功能

ii)生成从光场图像重构了被摄体的图像后的重构图像的功能

iii)生成表示重构出的被摄体的纵深的纵深图的功能

iv)在生成以重构图像为帧的运动图像之际，按每个帧来设定重构图像的对焦位置的坐标的功能

v)对已设定的坐标进行校正的功能

vi)生成以在校正后的坐标上对焦了的重构图像为帧的运动图像的功能

运动图像生成装置30尤其具有其中iv)～vi)的功能。

数码相机1如图1所示，由摄像部10、包含运动图像生成装置30的信息处理部20、存储部40、以及接口部(I/F部)50构成。数码相机1通过这样的构成，从外部获取被摄体的光线信息，生成被摄体的运动图像。

摄像部10由光学装置110以及图像传感器120构成，以所设定的帧速率进行摄像动作。

光学装置110如图2所示，由主透镜ML、以及子透镜阵列SLA(微透镜阵列)构成。光学装置110通过主透镜ML来捕捉来自外部(被摄体OB1～被摄体OB3)的光线，并将以构成子透镜阵列SLA的各子透镜SL的光学中心为视点而得到的光学像投影至图像传感器120。

图像传感器120例如由CCD(Charge Coupled Device；电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor；互补金属氧化物半导体)等的摄像元件、以及将由摄像元件生成的电信号传递至信息处理部20的传递部构成。图像传感器120通过这样的物理构成，将由光学装置110投影的光学像变换成电信号，并依次传递至信息处理部20。

主透镜ML由一个或多个凸透镜、凹透镜、非球面透镜等构成，将拍摄时的被摄体(例如被摄体OB1～被摄体OB3)的光作为光学像，使其成像于主透镜ML与子透镜阵列SLA之间的虚拟的成像面MIP上。此外，拍摄时的被摄体(被摄体OB1～被摄体OB3)如图2所示，是与主透镜ML分别相隔不同的距离的多个构成物。

子透镜阵列SLA由格子状地配置于平面上的M×N个子透镜(微透镜)SL构成。子透镜阵列SLA将由主透镜ML使成像于成像面MIP上的光学像作为以各子透镜SL的光学中心为视点而观测到的光学像，成像于图像传感器120的摄像面IE上。将由主透镜ML所成的平面和摄像面IE所成的平面构成的空间称为光场。

关于主透镜ML，能定义最大直径LD和有效直径ED。最大直径LD是主透镜ML的物理直径。另一方面，有效直径ED是主透镜ML中能用于拍摄的区域的直径。关于主透镜ML中有效直径ED的外部，因粘贴于主透镜ML的各种滤波器或主透镜ML周边的物理构造，在主透镜ML输入输出的光线被遮挡，因此有效直径ED的外部是对图像进行拍摄/重构而言非有效的区域(非有效区域)。

最大直径LD和有效直径ED被预先测量，并在出厂时存储于存储部40中。

在图2的例子中，来自多个被摄体(被摄体OB1～被摄体OB3)当中被摄体OB2的某部分POB的光线经过形成主透镜ML的有效直径ED的部分(有效部)，并被投影至多个子透镜SL上。如此，把从某被摄体OB的部分POB发出的光经过主透镜ML的有效部而被投影至子透镜阵列SLA上的区域，称为部分POB的主透镜模糊(blur)MLB。其中，将主光线到达的部位称为主透镜模糊中心MLBC。

此外，以后针对多个被摄体，按照被摄体从远(距主透镜ML的距离大)及近的顺序标记为被摄体OB1～被摄体OB3。

将从主透镜ML的光学中心起至主透镜ML的成像面MIP为止的距离设为b1，将从成像面MIP起至子透镜阵列SLA所成的面为止的距离设为a2，并将子透镜阵列SLA与图像传感器的摄像面IE的距离设为c2。

摄像部10通过上述构成，来拍摄包含经过光场的光线的信息(到达部位、光量、方向)在内的光场图像(LFI)。

拍摄了块状的被摄体OB的LFI的一例如图3A所示。

该LFI由与配置为格子状的M×N个子透镜SL(微透镜)的每一个对应的图像(子图像SI、S₁₁～S_MN)构成。例如，左上的子图像S₁₁相当于从左上拍摄被摄体OB而得到的图像，右下的子图像S_MN相当于从右下拍摄被摄体OB而得到的图像。

各子图像配置于与使子图像成像的子透镜的位置对应的LFI上的位置上。

第i行的子图像(横的一列的子图像)S_i1～S_iN相当于将由主透镜ML成像的像在横向排列于子透镜阵列SLA的第i行的子透镜SL中成像出的立体图像。同样地，第j列的子图像(纵的一列的子图像)S_1j～S_Mj相当于将由主透镜ML成像的像在纵向排列于子透镜阵列SLA(微透镜阵列)的第j列的子透镜SL中拍摄出的立体图像。

图1所示的信息处理部20物理上由CPU(Central Processing Unit；中央处理器)、RAM(Random Access Memory；随机存取存储器)、内部总线以及I/O端口构成。信息处理部20通过这样的物理构成，作为图像处理部210、重构部220、运动图像生成装置30以及摄像控制部230发挥功能。

图像处理部210从图像传感器120获取电信号，并基于存储部40的设定存储部410所存储的设定信息(包含拍摄设定信息)中所含的摄像设定信息，将获取的电信号变换成图像数据(LFI)。图像处理部210以与所设定的帧速率对应的速度，依次生成LFI，并存储至存储部40的图像存储部420。在此，设为以与后述的正式运动图像相同的帧速率来生成LFI。以下，将图像存储部420中所存储的、把拍摄的一系列的LFI作为了运动图像的帧的数据称为LFI运动图像。

此外，关于设定存储部410所存储的设定信息，将后述。

重构部220针对LFI上的子图像上的各像素，估计被摄体的纵深。在估计被摄体的纵深的情况下，计算与该被摄体对应的像素在各子图像上偏离至哪种程度。将该偏离的大小设为表示纵深的系数。然后，生成将表示估计出的纵深的系数配置于各像素的位置上的信息(光场纵深图，LFDM)。纵深系数越大，估计为该像素上拍出的被摄体越靠近前(离主透镜ML近的位置)。

LFDM针对LFI中所含的子像素的每一个，定义表示纵深的系数。针对图3B所示的LFI的LFDM如图3C所示。在LFDM中，对于对图3B所示那样的长方体的被摄体进行了拍摄的LFI，位于更靠里的部分(长方体的靠里的边)以更浓的颜色表示，近前(正面)以淡的颜色表示。以下，同样地，在纵深图中，以浓的像素来表示位于更靠里的部位，以淡的像素来表示位于近前的部分。

此外，在此作为LFI和LFDM是分离的信息来进行了说明，但LFI和LFDM也可以是针对配置于某坐标的像素将像素值(LFI所保持的信息)与纵深系数(LFDM所保持的信息)建立对应地记录的一个数据。

在此，LFDM的纵深系数可以使用对LFI的像素的被摄体的距离进行估计的任意的方法，但在本实施方式中设为按以下的方法来进行计算。

i)构成LFI的某子图像被关注，将该关注的子图像设为关注子图像。

ii)将关注子图像分割为由像素值的差包含在给定范围内的像素构成的图像区域。然后，将图像区域之一选择为关注区域。

iii)将关注子图像的右侧(在没有的情况下为左侧，该情况下以下的左右相反)的子图像按位置顺序提取为SR1，SR2，…SRk。此外，k是在设定上确定的自然数。

iv)获取关注区域的重心的坐标(x，y)。其中，该坐标是相对于以各子图像的中心为原点的、按每个子图像独立的坐标系而定义的。

v)将当前的像素偏移设为d。在子图像SR1中，对于与关注子图像的关注区域对应的部位配置对应区域。此时，将对应区域的重心向右侧偏移d地进行配置。计算关注区域的各像素的像素值、与对应区域所对应的像素的像素值之差的平方和(SSD)。同样地，在SR2中，将对应区域向右侧偏移2d地进行配置，来计算SSD。至SRk为止分别获取SSD，并根据各SSD来求取差分绝对值和(SSSD)。将其设为d的评价值。

vi)针对能取的视差的范围的各像素偏移d来计算评价值。其中，将所得到的差分绝对值和SSSD最小的像素偏移(d)设为关注区域中所含的像素的像素偏移系数。

vii)针对全部子图像的全部像素来计算像素偏移系数，并将计算出的像素偏移系数作为LFDM的纵深系数而配置于对应的像素的部位。

重构部220进一步基于由设定存储部410存储的设定信息(默认设定)，从图像存储部420中所存储的光场图像(例如图4A的LFI)，来生成成为临时运动图像的帧的重构图像(例如图4B的RI1)和重构纵深图(图4C的RDM)。然后，按照运动图像生成装置30的命令，从相同的LFI来生成与RI1不同的焦距的重构图像(图4D的RI2)。RI2是成为所输出的运动图像(正式运动图像)的帧的图像。

此外，关于纵深图DM的各像素，在针对该像素的被摄体所估计出的纵深深(该被摄体离主透镜ML远)的情况下，被设定为接近黑色，越近则被设定为越接近白色。

重构部220可以通过已知的任意的方法来从LFI生成重构图像以及纵深图，但在本实施方式中通过以下的光线追踪来生成。

参照图5来说明光线追踪的方法。

首先，在由设定信息或运动图像生成装置30指定的重构面RF(与主透镜ML相隔了距离a1的虚拟平面)上设定图像。此时，来自被摄体的关注部位P(与重构图像上的关注像素对应)的光线经过主透镜ML的主点而到达微透镜阵列的到达位置(图5的子透镜上的MLBC)。MLBC的子透镜上的位置能基于拍摄设定信息来求取。以MLBC为中心，根据透镜的特性来求取来自关注部位的光所及的范围(主透镜模糊MLB，图5的网格线区域)。主透镜模糊MLB的直径基于主透镜ML与重构面RF的距离a1、主透镜ML与成像面MIP的距离b1(根据a1和主透镜ML的焦距f_ML来计算)、成像面MIP与子透镜阵列SLA的距离a2、以及主透镜ML的有效直径ED，使用三角形的相似性来计算。

接下来，从子透镜阵列SLA中所含的子透镜SL之中，确定一部分或全部包含在主透镜模糊MLB中的子透镜SL。然后，将所确定的子透镜SL依次选择为关注透镜。此时，根据主透镜模糊中心的位置、主透镜模糊MLB的直径、拍摄设定信息所确定的子透镜的位置以及大小，来求取关注透镜与主透镜模糊重叠的部位的面积S。

提取位于来自关注像素的光线通过子透镜成像的位置上的、子图像上的像素(对应像素)。

具体而言，按以下的顺序步骤来计算对应像素(与到达点PE对应)。

首先，至与重构面RF对应的主透镜ML的焦点面为止的距离b1能使用已知的数值a1以及f_ML且根据以下的式(1)来计算。

$b1=\frac{a1\×f_{\mathrm{ML}}}{a1-f_{\mathrm{ML}}}...\left(1\right)$

另外，a2能通过从已知的数值c1中减去使用式(1)而计算出的b1来进行求取。

进而，将重构面RF与主透镜ML的距离a1、主透镜成像面MIP与主透镜ML的距离b1、以及已知的数值x(关注部位P与光轴OA的距离)用于以下的式(2)，来计算从关注部位P起经过主透镜ML而成像的点(成像点PF)与光轴OA的距离x’。

x’＝x·b1/a1…(2)

进而，将从光轴OA起到关注子透镜SL的主点为止的距离d、使用上述的式(2)而计算出的距离x’、从子透镜阵列SLA起到摄像面IE为止的距离c2、以及主透镜成像面MIP与子透镜阵列SLA的距离a2用于以下的式(3)，来计算到达点PE与光轴OA的距离x”。

$x^{\′\′}=(d_l-x^{\′})\×\frac{c2}{a2}+d_l...\left(3\right)$

重构部220通过对MLB重叠的各子透镜执行上述的光线追踪，来提取与重构图像上的像素(重构像素)对应的对应像素。然后，将各子透镜与主透镜模糊重叠的部位的面积S设为各对应像素的权重w。

重构部220使用如此提取出的对应像素和其权重w，执行以下的处理来生成重构图像和纵深图。

(1)将重构像素之一作为关注像素，并提取对应像素和权重w。

(2)参照LFI来获取各子透镜的对应像素的像素值。

(3)将对所获取的像素值乘以加权系数(其权重w)后的值设为校正像素值。

(4)针对提取出的全部的对应像素，计算校正像素值并取总和，设为重构像素的像素值。

(5)参照LFDM来获取提取出的对应像素的纵深系数。

(6)将获取的纵深系数的最频值设为重构纵深图的纵深系数。

(7)针对各重构像素执行(1)～(6)，来决定像素值及纵深系数。

运动图像生成装置30将由重构部220基于设定信息而生成的临时图像(例如图4B的RI1)作为帧来生成运动图像，并作为临时运动图像存储至存储部40的运动图像存储部430，使其输出至I/F部50的显示部520。然后，运动图像生成装置30从I/F部50的操作受理部530接受由用户使用临时运动图像而指定的要使运动图像的焦点对焦的部位的坐标信息，并根据接受的坐标信息来设定对包含运动图像的焦距在内的对焦位置的坐标进行指定的信息(指定信息)。然后，运动图像生成装置30对重构部220发送用于生成与设定的指定信息的焦距相应的重构面RF上所配置的重构图像的命令。

然后，运动图像生成装置30响应于命令来接受由重构部220生成的重构图像(例如图4D的RI2)。然后，运动图像生成装置30生成以从重构部220传递来的重构图像为帧的正式运动图像。

运动图像生成装置30将生成的正式运动图像(重构运动图像)存储至运动图像存储部430。关于运动图像生成装置30的构成以及生成临时运动图像/正式运动图像的处理将后述。

摄像控制部230基于由存储部40的设定存储部410存储的摄像设定信息来控制摄像部10，并使用摄像部10来拍摄被摄体(例如被摄体OB1～OB3)。

存储部40由以下构成：由RAM(Random Access Memory；随机存取存储器)等构成的主存储装置、以及由闪速存储器、硬盘等非易失性存储器构成的外部存储装置。

主存储装置加载外部存储装置中所存储的控制程序或信息，被用作信息处理部20的工作区域。

外部存储装置预先存储用于使信息处理部20进行后述的处理的控制程序和信息，并遵照信息处理部20的指示将这些控制程序或信息传递至主存储装置。另外，遵照信息处理部20的指示，对基于信息处理部20的处理的信息和从接口部50传递的信息进行存储。

存储部40在功能上由设定存储部410、图像存储部420、以及运动图像存储部430构成。

设定存储部410对摄像设定信息、临时图像生成用的默认设定、以及用于生成正式运动图像的运动图像设定进行存储。摄像设定信息包含主透镜ML与子透镜阵列SLA的距离、主透镜ML的焦距f_ML、确定曝光时间的信息、F值、以及快门速度等，作为摄像时可变化的摄像参数。另外，设定存储部410对各子透镜SL在子透镜阵列SLA上的位置、以及子透镜阵列SLA与摄像面IE的距离c2等的数码相机1的物理构成所涉及的信息进行存储。

默认设定由表示生成临时图像的处理的内容的信息和生成参数构成。在本实施方式中，重构设定信息是通过上述的重构处理来以给定的分辨率、给定的焦距生成临时图像(以及其纵深图)的信息。

运动图像设定包含：后述的运动图像的帧速率、分辨率、焦点坐标的决定方法；坐标的校正方法以及校正参数等的信息。

设定存储部410将摄像参数传递给摄像控制部230。另外，将默认设定传递给重构部220。进而，将运动图像设定传递给运动图像生成装置30。

另外，设定存储部410在由摄像部10拍摄被摄体时的摄像设定信息中附加物理构成所涉及的信息，并作为拍摄设定信息而传递给图像处理部210以及重构部220。

图像存储部420对由图像处理部210依次生成的LFI进行存储。图像存储部420对重构部220传递所存储的图像。

接口部(图中记述为I/F部)50是数码相机1与其使用者(用户)或者外部装置的接口所涉及的构成，由I/O部510、显示部520、以及操作受理部530构成。

I/O部(输入/输出部)510在物理上由USB(Universal Serial Bus；通用串行总线)连接器或视频输出端子、输入输出控制部构成。I/O部510将存储部40中所存储的信息输出至外部的计算机，并将从外部传递来的信息传递至存储部40。

显示部520由液晶显示装置或有机EL(Electro Luminescence；电致发光)显示器等构成，对用于输入设定存储部410中所存储的设定信息的画面、或用于操作数码相机1的画面进行显示。另外，显示部520对运动图像存储部430中所存储的运动图像进行显示。

操作受理部530例如包含数码相机1中所具备的各种按钮、以及显示部520中所具备的触摸面板。另外，操作受理部530包含传递部，该传递部检测在各种按钮以及触摸面板上所进行的操作的信息(触摸部位的坐标等)并传递至存储部40和信息处理部20。另外，操作受理部530将用户操作的信息传递至存储部40、信息处理部20。

接下来，参照图6A以及图6B来说明运动图像生成装置30的构成。

运动图像生成装置30在物理上，如图6A所示，由信息处理部31、主存储部32、外部存储部33、输入输出部36以及内部总线37构成。

信息处理部31由CPU(Central Processing Unit；中央处理器)、以及RAM(Random Access Memory；随机存取存储器)构成。

主存储部32具有与存储部40的主存储装置同样的物理构成。外部存储部33具有与存储部40的外部存储装置同样的物理构成，存储有程序38。输入输出部36由输入输出端子以及I/O设备构成，实现运动图像生成装置30、以及信息处理部20的各部或存储部40、接口部50等的信息的输入输出。内部总线37对信息处理部31、主存储部32、外部存储部33、以及输入输出部36进行连接。

信息处理部31、主存储部32、外部存储部33、输入输出部36、以及内部总线37可以是由数码相机1的信息处理部20的内部电路、存储部40、以及接口部50实现的功能块。

运动图像生成装置30将外部存储部33中所存储的程序38以及数据复制至主存储部32，信息处理部31使用主存储部32来执行程序38，由此执行用于生成并输出后述的运动图像的处理。

运动图像生成装置30通过上述那样的物理构成，如图6B所示，作为临时获取部310、指定获取部320、正式获取部330、包含临时运动图像生成部3410和列表生成部3420和校正部3430和正式运动图像生成部3440在内的处理部340、以及输出部350发挥功能。

临时获取部310获取由重构部220使用默认设定而生成的临时图像(设定用图像)以及其纵深图。临时获取部310将获取的临时图像传递至处理部340的临时运动图像生成部3410。另外，将获取的纵深图传递至列表生成部3420。在此，临时获取部310设为以与运动图像设定所规定的正式运动图像的帧速率相同的速率来获取临时图像以及纵深图。

指定获取部320获取由用户使用操作受理部530而执行的用于指定要使焦点对焦的被摄体的部位的操作(对指定坐标进行指定的操作)的信息。指定坐标例如是观察了触摸面板上所显示的临时运动图像的用户触摸了认为重要的被摄体的部位的、临时图像上的坐标。在正式运动图像中，设定焦距以聚焦于触摸的部位的被摄体。

指定获取部320将获取的指定坐标依次传递给列表生成部3420。

正式获取部330将包含处理部340的处理的结果生成了的生成参数(重构设定)在内的命令传递给重构部220。此时，在生成参数中包含从作为重构距离(a1)而被后述的校正了的指定信息所求出的焦距。然后，正式获取部330获取由重构部220按照命令而生成的重构图像(正式图像)。正式获取部330将获取的正式图像传递给正式运动图像生成部3440。

处理部340使用由临时获取部310、指定获取部320、正式获取部330获取的信息来生成临时运动图像以及正式运动图像，并输出至输出部350。处理部340为了执行这样的处理，包含：临时运动图像生成部3410、列表生成部3420、校正部3430、以及正式运动图像生成部3440。

临时运动图像生成部3410生成以由临时获取部310获取的图像为帧的运动图像(临时运动图像)，并传递给输出部350。在此，临时运动图像设为具有与正式运动图像相同的帧速率和帧数(与运动图像的总时间对应)。

临时运动图像生成部3410在生成临时运动图像时，可以对临时获取部310所获取的图像进行帧插值，来执行给定的模糊附加处理等。

列表生成部3420基于由指定获取部320获取的指定坐标，来生成包含使重构图像进行成像的焦距、以及用于确定焦距的信息(焦点位置的坐标)的指定信息。然后，列表生成部3420从指定信息生成以帧单位来记录指定信息的列表(指定列表)。

由列表生成部3420生成的指定列表的例子如图7A所示。指定列表是将正式运动图像的各帧在运动图像上的时刻(t)、指定坐标(x(t)以及y(t))、以及重构距离(d(t))建立对应地进行记录的列表。重构距离是与指定坐标对应的纵深图的纵深值。此外，矢量(x(t)，y(t)，d(t))是在以主透镜ML的光学中心(或重构图像(正式运动图像的帧)的中心)为坐标中心的坐标系下的、关注被摄体的三维坐标。d(t)是帧的法线(例如图2以及图5的光轴OA)分量。将该矢量称为焦点位置的坐标。关于列表生成部3420生成指定列表的方法将后述。列表生成部3420针对各帧来设定焦点位置的坐标，因此能改称为设定部。

在本实施方式中，由于临时运动图像和正式运动图像为相同的帧速率，因此若能按每个临时运动图像的帧来得到指定信息，则能对正式运动图像的全部帧设定指定信息。时刻t能视作临时运动图像的帧。此外，时刻t可以设为按时间系列顺序所排列的帧的编号。

此时，指定列表中所存储的指定坐标有时包含因用户的手指的震动或触摸面板的检测失误/纵深图的纵深值的错误而变为了不能检测的值(NULL)或离群值(图7A的例子中t＝5的行)等。列表生成部3420将生成的指定列表传递给校正部3430。

校正部3430在使用指定列表生成运动图像前，对从列表生成部3420传递来的指定列表(将对焦位置的坐标在时间轴方向上排列而成)进行校正，以成为不会给视听者造成不协调感的运动图像。

参照图8A以及图8B来说明由校正部3430执行的校正处理的概要。图8A以及图8B是为了图示而在以x(t)以及y(t)为一个参数(坐标)、且以坐标(x(t)，y(t))、时刻(t)、d(t)为轴的三维坐标上对指定列表中所记录的指定信息进行绘制所得到的曲线图的例子。此外，在曲线图中以黑圆或白圆来表示指定信息。

因手指的震动等所导致的操作失误、或触摸面板的检测失误、图像的噪声或被摄体距离的估计误差的影响，有时在指定列表中会出现图8A的白圆那样的离群值。在d(t)成为了离群值的情况下，若生成在离群值的位置上使焦点对焦的运动图像，则在该帧的前后，焦点会突然移动至非意图的距离。于是，校正部3430估计真值来校正指定信息，使得能够生成没有不协调感的运动图像。在图8A以及图8B中，通过曲线来示出了校正后的值。

另外，存在如下情况；因触摸失误或操作检测的失败等，对于临时图像未得到指定操作，从而指定信息成为NULL(图8B的虚线圆)。此外，为了方便将NULL图示为d(t)以及x(t)y(t)为0的点。若没有指定信息，则重构图像的焦距不确定，因此不能生成用户意图生成的运动图像。为此，校正部3430根据从前后的值推测出的估计值(图8B的菱形)来对NULL值进行校正(补偿欠缺的信息)。

关于校正部3430校正指定列表的方法将后述。

校正部3430将校正后的指定列表(例如图7B)传递给正式运动图像生成部3440。在图7B的例子中，将校正前(图7A)的离群值(t＝5的行)校正为接近周边的值(t＝4，t＝6的行)。另外，NULL值(t＝3)的行被置换成从周边的值推测出的值。

正式运动图像生成部3440若被传递由校正部3430校正后的指定列表，则按运动图像的每个帧，将指定列表的与该帧对应的行的指定信息传递给正式获取部330。正式获取部330与之对应，生成以该行的d(t)为重构距离a1的重构参数，并使重构部220以重构参数来生成重构图像。然后，正式运动图像生成部3440从正式获取部330接受由重构部220生成的重构图像，并设为运动图像的帧。然后，正式运动图像生成部3440实施运动图像的插值处理/对比度的调整来生成正式运动图像，并传递给输出部350。

输出部350将所传递的运动图像(临时运动图像/正式运动图像)存储至运动图像存储部430。然后，数码相机1将临时运动图像或正式运动图像显示于显示部520。或者，经由I/O部510传递到外部。

接下来，参照流程图来说明由数码相机1执行的处理。数码相机1在操作受理部530受理用于指示被摄体的拍摄的操作时，开始图9所示的运动图像输出处理1。

在运动图像输出处理1中，首先，图像处理部210根据从摄像部10获取的图像信息、以及从设定存储部410获取的拍摄设定信息，来生成LFI(步骤S101)。然后，图像处理部210将LFI与拍摄时刻建立对应地存储至图像存储部420。例如，将第一次拍摄的LFI设为t＝0，且将从下次起以后的循环所拍摄的LFI设为t＝1，2，3…的LFI。

接着，重构部220从图像存储部420中新存储的LFI，使用拍摄设定信息和默认设定并通过光线追踪来生成临时图像和纵深图(步骤S102)。

然后，临时获取部310获取临时图像，临时运动图像生成部3410执行对比度校正/明度校正等，并作为临时运动图像的帧(临时图像)而输出至输出部350(步骤S103)。

接下来，为了设定作为正式运动图像的帧的正式图像的参数(焦距等)，执行用于将指定信息记录至指定列表的处理(指定列表生成处理1)(步骤S104)。

参照图10来说明步骤S104中所执行的指定列表生成处理1。在指定列表生成处理1中，首先，指定获取部320使用操作受理部530来获取用户指定临时图像的部位的操作的信息(步骤S201)。

接下来，列表生成部3420判定是否得到了指定操作的信息(步骤S202)。列表生成部3420在用户未接触触摸面板或者未能检测到触摸操作等情况下，即未得到操作信息的情况下(步骤S202；“否”)，在指定列表的当前的时刻的行中记录NULL值(步骤S205)。

另一方面，在得到了指定操作的信息的情况下(步骤S202；“是”)，列表生成部3420接下来获取该部位的坐标以及纵深值(步骤S203)。具体而言，列表生成部3420从操作受理部530获取触摸部位的坐标。然后，列表生成部3420参照与当前的临时图像对应的纵深图，获取已获取的坐标的纵深值。列表生成部3420将已获取的坐标值/纵深值登记至指定列表的当前的时刻的行(步骤S204)。

若在步骤S204或步骤S205中将参数(包含NULL值)记录至指定列表，则指定列表生成处理1结束。

回到图9，若在指定列表生成处理1中在指定列表获取与当前显示中的临时运动图像的帧对应的参数，则接下来，处理部340判别拍摄是否已结束(步骤S105)。具体而言，处理部340判别操作受理部530是否受理了用于指示用户的拍摄结束的操作，在未受理的情况下，判别为拍摄继续(步骤S105；“否”)。在此情况下，针对下一临时运动图像的帧，从步骤S101起反复处理。

另一方面，处理部340在受理了拍摄结束指示的情况下，判别为拍摄已结束(步骤S105；“是”)。接下来，执行校正部3430对已获取的参数进行校正的处理(校正处理，在此为校正处理1)(步骤S106)。

参照图11来说明在步骤S106中所执行的校正处理1。在校正处理1中，首先校正部3430执行用于去除离群值来防止因急剧的焦距的移动所带来的不协调感的处理。在此，为了从校正前的指定列表的参数中去除高频分量，执行低频滤波(步骤S301)。具体而言，针对指定列表的焦点位置的坐标(x(t)，y(t)，d(t))的每一个，在时间轴方向上进行数字滤波。或者，可以将坐标作为一个矢量来进行滤波。此外，此时NULL值从计算对象中排除。

滤波的具体的方法由设定存储部410中所存储的设定信息来定义。在此，为了去除因操作时的手指的震动或触摸面板的感知泄漏所造成的噪声(振荡(chattering)等)，设定了平滑化滤波器。此外，作为平滑化滤波器，能使用加权平均滤波器、或者载荷中值滤波器等。在加权平均滤波器中，相对于操作时的手指的震动存在有效的低通效果，抽头数或权重期望被设定为使截止频率成为0.5Hz程度。另外，在载荷中值滤波器中，相对于触摸面板的感知泄漏等的突发性的异常值变得有效，滤波器窗或权重期望被设定为截止频率成为0.5Hz程度。

若滤波结束，则接下来校正部3430判别在指定列表中是否存在NULL值(步骤S302)。具体而言，校正部3430判别在指定列表中是否不存在NULL值的行。在有NULL值的行的情况下(步骤S302；“是”)，在存在未得到有效的指定信息的帧这一判断的前提下，执行将NULL值置换成基于周边的指定信息而求出的值的校正(步骤S303)。

为了该置换，例如能使用内插法、线性插值法或最大后验概率估计法等的估计真值的已知的任意的方法，但在此设为使用基于非线性最小二乘法的曲线估计。即，校正部3430将指定列表的各行设为矢量(v＝(x(t)，y(t)，d(t))，根据NULL值以外的矢量且以最小二乘法来估计曲线v＝f(t)。然后，在估计出的曲线中代入NULL值的时刻(t)，来计算估计值。然后，将计算出的值置换成NULL值即可。

作为使用了最小二乘法的曲线估计，能采用牛顿法、模式(pattern)法、高斯-牛顿法等任意的已知方法。在此，首先假定曲线为2次方程式并通过牛顿法来进行估计，在所得到的最小误差小于给定的阈值的情况下将该曲线确定为估计结果。另一方面，在最小误差大于阈值的情况下，假定为3次方程式来进行估计。以后，同样地进位次数来执行曲线估计，并将得到小于给定的阈值的误差的最小的次数的曲线确定为估计结果。应用最小二乘法的矢量的范围(也就是t的范围)可以设为数秒。在此情况下，通过依次使该范围滑动的同时来决定函数，从而所生成的函数的大多数能设为1次或2次的函数。

接着，在判别为没有NULL值的行(步骤S302；“否”)、或步骤S303结束时，校正处理1结束。

回到图9，若以校正处理1来校正指定列表，则接下来由正式运动图像生成部3440使用校正后的指定列表来生成正式运动图像(步骤S107)。具体而言，按照拍摄时间顺序来选择图像存储部420中所存储的LFI。然后，从所选择的LFI起，按照校正后的指定列表中所存储的顺序，以指定列表中所存储的焦距来进行重构。焦距与纵深值的对应例如通过设定存储部410中所存储的纵深值-焦距对应列表(图12)来确定。

在例如校正后的指定列表为图7B的情况下，首先从t＝0的LFI起，在与纵深值2对应的距离(图5的a1＝20m)设定重构面RF。然后，使重构部220通过光线追踪来生成重构图像，并设为t＝0的帧。进而，针对t＝1的帧，在从t＝1的LFI起与纵深值3对应的距离(图5的a1＝10m)设定重构面RF来生成重构图像。以下同样地生成各帧，进而执行对比度调整/光度调整等来生成正式运动图像。

然后，正式运动图像生成部3440将生成的正式运动图像输出至输出部350(步骤S108)。所输出的运动图像被存储至运动图像存储部430，其后显示在显示部520中。或者，通过I/O部510输出至外部。

如以上说明所述，根据本实施方式的数码相机1，观察所显示的临时图像，仅指定想要使焦点对焦的被摄体，就能生成使焦点对焦在其部位上的运动图像。故而，能不用设定运动图像的帧一个一个的焦距这样的繁琐的操作地，生成使焦点对焦在了期望的部位的运动图像。

另外，本实施方式的运动图像生成装置30针对未得到用于重构的焦距的帧，基于针对得到了焦距的帧所确定的焦距，来自动地推测焦距。故而，即使焦距的信息有缺失，也能生成没有不协调感的运动图像。特别是在通过基于触摸面板的操作来指定部位从而指定焦距的情况下，存在因手指离开触摸面板、或者不能检测触摸操作等而得不到指定信息的风险。本实施例即使在这样的情况下，也能生成没有不协调感的(满足度高的)运动图像。

进而，针对各帧的焦距进行校正以使高频分量衰减，因此不会发生在所生成的运动图像中焦距突然变化的情况。故而，能生成不会对视听者造成不协调感的运动图像。

特别是像本实施方式这样，在指定临时图像的部位，且基于所指定的部位的纵深值来确定焦距的情况下，存在因纵深的估计错误而帧的焦距大大偏离数帧的情况。另外，在追拍小的被摄体而进行着触摸的情况下，存在如下风险：因手指移动过度而从被摄体偏离等的指定操作的失误、或操作受理部530的操作检测失误等，从而在特定的帧中会设定大大偏离意图的焦距。

即，尽管在指定信息中易产生离群值，但在本实施方式中，由于是在运动图像的生成前对指定运动图像的焦距的信息进行校正，因此即使在产生了离群值的情况下，也能生成不对视听者造成不协调感的满足度高的运动图像。

此外，使高频分量衰减的方法不限于低通滤波，例如检测离群值(使用斯米尔诺夫格拉布斯检验等已知的方法)并对离群值进行校正以接近周边的值等，是任意的。

进而，针对临时图像上的指定部位，获取根据子图像上的偏离的程度而求出的纵深值，并将获取的纵深值设为焦距。其结果是，能设定反映了LFI中所含的被摄体的立体信息的焦距。另外，纵深的估计尽管伴随误差，但能通过校正处理来缓和因误差所带来的不协调感。即，在本实施方式中，即使在纵深值的计算中存在误差的情况下，也能基于LFI上的立体信息来生成使焦点对焦在了关注被摄体上的没有不协调感的图像。

(实施方式2)

接下来，说明本发明的实施方式2。实施方式2中，校正部3430执行的校正处理的内容与实施方式1不同。其他的构成与实施方式1相同。

本实施方式的数码相机1以及运动图像生成装置30具有与实施方式1所涉及的同名的设备相同的构成。

数码相机1以及运动图像生成装置30除了步骤S106中所执行的校正处理是图13所示的校正处理2以外，与实施方式1同样地执行图9的运动图像输出处理1。

若处理前进至运动图像输出处理1的步骤S106，则校正部3430开始图13所示的校正处理2。在校正处理2中，首先校正部3430将指定列表的各行作为表示对焦位置的坐标的矢量(v＝(x(t)，y(t)，d(t))，来估计曲线v＝f(t)。校正部3430虽然可以使用最大似然估计、最大后验概率估计、贝叶斯估计等已知的任意方法来执行曲线估计，但在此设为使用最小二乘法来执行曲线估计(步骤S401)。

作为使用了最小二乘法的曲线估计，能采用牛顿法、模式法、高斯-牛顿法等的任意的已知方法。在此，首先假定曲线为n次方程式(例如n＝2)，通过排除NULL值的牛顿法来进行估计，在所得到的最小误差小于给定的阈值的情况下判定为估计已成功，并将该曲线确定为估计结果。另一方面，在最小误差大于阈值的情况下，接下来假定为(n+1)次方程式来进行估计，在得到了小于阈值的最小误差的情况下，将(n+1)次方程式的曲线设为估计结果。以后，同样地进位次数来执行曲线估计，并将得到小于给定的阈值的误差的(估计已成功)最小的次数的曲线确定为估计结果。此时，确定给定的最大次数(例如n＝5)，并对最大次数以上的曲线不进行估计。

在曲线估计中，既可以针对运动图像的全部帧(t＝0～MAX)来估计一个曲线，也可以将运动图像以给定的条件在时间轴上进行分割，并按分割出的每个单位来估计各条曲线。分割运动图像的方法既可以按给定的长度自动地分割，也可以设为由用户指定分割部位。或者，可以将应用最小二乘法的矢量的范围设为数秒，依次在使该范围滑动一定时间的同时来决定函数。由此在滑动的同时所生成的函数的大多数成为1次或2次。

如此限定曲线估计的范围的理由在于，以一个函数来表征由用户指定的多样的状态(也就是序列整体过于复杂且过于高次)是不容易的，另外几乎没有数秒钟内的复杂的深度指定这样的运动图像。

然后，在判断为估计结果是执行了触摸操作的用户的意图的部位/焦距的前提下，校正部3430基于估计结果来进行校正(步骤S402)。具体而言，将指定列表的各行的数据置换成将时刻(t)代入估计出的曲线而求出的估计值。此时，针对NULL值也同样地进行校正，因此能补充欠缺值。

若校正完毕，则校正处理2结束。

若校正处理2结束，则数码相机1使用校正后的指定列表来与实施方式1同样地生成运动图像并输出。

如以上说明，根据本实施方式的数码相机1，能使用通过曲线估计进行了校正的指定信息(焦距)来生成运动图像。故而，即使在指定信息中具有离群值/欠缺值的情况下，也能估计运动图像制作者(执行了触摸操作的用户)的意图来生成符合意图的运动图像。

另外，通过将估计成功了的最小的次数的曲线设为估计结果的构成，不仅防止过度学习，而且防止计算量变得庞大。另外，由于曲线的次数不会变为最大值以上，因此将得到去除指定信息的高频分量的效果。若在运动图像的焦距短的期间较大地摇动，则会对视听者造成不协调感，而通过该构成能缓和不协调感。

(实施方式3)

接下来，说明本发明的实施方式3所涉及的数码相机2。本实施方式的数码相机2如图14所示，特征在于信息处理部21包含跟踪部240。其他的构成与实施方式2所涉及的数码相机1相同。

跟踪部240从操作受理部530受理用于指定临时运动图像的被摄体的操作。然后，根据受理了的操作来确定作为跟踪对象的关注被摄体(跟踪被摄体)，并提取特征量。进而，使用提取出的特征量来跟踪临时运动图像上的(跟踪被摄体)，并确定各帧的跟踪被摄体的位置。跟踪部240将已确定的位置信息作为指定信息而传递给运动图像生成装置30。

跟踪部240可以使用利用了SIFT(Scale Invariant Feature Transform；尺度不变特征变换)特征量的Mean-Shift搜索法、或利用了Haar-like特征量的搜索方法等已知的任意方法来确定跟踪被摄体的位置，但在本实施方式中设为使用后述的方法。

本实施方式的运动图像生成装置30除了各部所执行的处理不同之外，具有与实施方式1同样的物理构成以及功能构成(图6A以及图6B)。

本实施方式的运动图像生成装置30如图15所示，将基于由跟踪部240跟踪的关注被摄体(跟踪被摄体)的位置的指定信息(区间A以及区间C的黑三角形)、与基于用户的指定操作的指定信息(区间B的黑圆)加以区分地记录至指定列表。故而，本实施方式的运动图像生成装置30的列表生成部3420所生成的指定列表如图16所示，除了实施方式1的指定列表(图7A)之外，还记录类别。在图16的例子中，分别地，“类别”为0的行基于跟踪部240提取出的跟踪被摄体的坐标，“类别”为1的行基于通过用户的指定操作而指定的坐标。

在本实施方式中，在得到了指定操作和跟踪部240的跟踪结果这两者的情况下，列表生成部3420使指定操作优先。即，在像图15的区间B那样得到了基于指定操作的指定坐标的情况下，丢弃跟踪了的关注被摄体(跟踪被摄体)的坐标。这是由于，设定了作为跟踪对象的关注被摄体的用户以追加的方式通过操作来指定使焦点对焦的部位，从而能判断为该指定操作更强地反映了用户的意图。

校正部3430针对基于跟踪部240的跟踪结果的区间(区间A以及区间C)、以及基于指定操作的区间(区间B)，分别执行曲线估计，并基于估计结果来校正指定列表。这是由于，认为由跟踪部240跟踪的跟踪被摄体在运动图像上运动的曲线、以及用户通过操作而指定的关注被摄体的坐标的曲线是分别独立的。

进而，在一个类别的区间被另一个类别的区间隔断了的情况下，针对隔断后的区间来独立地估计曲线。在图15的例子中，针对区间A和区间C来分别估计不同的曲线。这是由于，若针对隔断的同一类别的区间来估计统一的曲线，则误差会因进行隔断的期间的影响而变大。

接下来，说明由数码相机2以及运动图像生成装置30执行的处理。数码相机2在操作受理部530受理用于指示被摄体的拍摄的操作时，开始图17所示的运动图像输出处理2。

在运动图像输出处理2中，首先，跟踪部240执行用于提取跟踪被摄体的特征量的处理(提取处理)(步骤S501)。

参照图18来说明步骤S501中所执行的提取处理。在提取处理中，首先，临时运动图像生成部3410从临时获取部310获取根据最新的LFI而生成的临时图像，并将该获取的临时图像作为设定用图像而显示于显示部520(步骤S601)。

接下来，跟踪部240获取对用户的跟踪被摄体进行指定的操作的信息(步骤S602)。具体而言，用户观察显示部520中所显示的设定用图像，触摸想要关注的被摄体等，使用操作受理部530来指定关注被摄体的一部分。跟踪部240获取该操作的信息(坐标信息)。

跟踪部240基于指定操作来提取跟踪被摄体(S603)。具体而言，跟踪部240将具有与指定操作所指定的坐标的像素(指定像素)相同的纵深值、且具有类似的颜色的像素连续的区域，作为拍摄了跟踪被摄体的区域进行提取。

或者，跟踪部240根据脸识别算法来尝试包含指定像素在内的人物的脸的提取，在完成了提取的情况下，将包含该脸的区域设为拍摄了跟踪被摄体的区域。

若跟踪被摄体的提取结束，则接下来跟踪部240提取跟踪被摄体的特征量(步骤S604)。具体而言，跟踪部240将跟踪被摄体的区域分割成块，按每块来计算亮度梯度直方图，执行归一化以及整合，并提取HOG(Histograms of Oriented Gradients；方向梯度直方图)特征量。在跟踪部240提取特征量并记录后，提取处理结束。

回到图17，若在步骤S501中提取了跟踪被摄体的特征量，则接下来，数码相机2与实施方式1的运动图像输出处理1(图9)的步骤S101～S103同样地，实施步骤S502～S504。

若在步骤S504中输出了临时图像，则接下来执行用于生成指定信息并记录至指定列表的处理(指定列表生成处理2)(步骤S505)。

参照图19来说明在步骤S505中所执行的指定列表生成处理2。在指定列表生成处理2中，首先，指定获取部320获取包含指定操作的有无的指定操作的信息(步骤S701)。

接下来，列表生成部3420判别是否曾有指定操作(步骤S702)。在指定坐标的指定操作被执行从而得到了坐标信息的情况下(步骤S702；“是”)，列表生成部3420生成基于了指定操作的指定信息(步骤S703)。此时，除了实施方式1的指定列表生成处理1(图10)的步骤S203中的处理以外，还附加用于表示所得到的指定信息是基于指定操作的信息。具体而言，列表生成部3420将图16例示的指定列表的“类别”的项目设为1。然后，处理转移至步骤S707。

另一方面，在未执行用于指定坐标的指定操作的情况下(步骤S702；“否”)，接下来，跟踪部240提取临时图像上的跟踪被摄体(步骤S704)。具体而言，跟踪部240提取在与通过提取处理(图18)所提取的跟踪被摄体的特征量的相似度最高的部位。

接下来，跟踪部240判别提取是否已成功(步骤S705)。具体而言，跟踪部240计算步骤S704中所提取的部位的特征量、与提取处理中所提取的特征量的相似度，并在相似度高于给定的阈值的情况下判别为已成功，若相似度为阈值以下则判别为提取失败。相似度例如设为是特征量的各参数的SSD(Sum of Squared Difference；均方差和)。

在提取成功了的情况下(步骤S705；“是”)，跟踪部240求取提取出的部位的坐标(提取出的区域的重心)，并传递给指定获取部320。然后，指定获取部320将所传递的坐标传递给列表生成部3420。列表生成部3420从所传递的坐标生成指定信息(步骤S706)。具体而言，列表生成部3420获取所传递的坐标的纵深值。或者，列表生成部3420可以将提取出的区域的各像素的纵深值的最频值作为纵深值进行获取。然后，列表生成部3420从所传递的坐标和已获取的纵深值，来生成指定信息。进而，列表生成部3420附加用于表示所得到的指定信息是基于跟踪的信息。具体而言，将图16中例示的指定列表的“类别”的项目设为0。

若在步骤S703或步骤S706中生成了指定信息，则列表生成部3420将指定信息记录至指定列表的当前的行(步骤S707)。

另一方面，列表生成部3420在步骤S705中提取失败了的情况下(步骤S705；“否”)，在判断为未得到有效的指定信息的前提下，与实施方式1的指定列表生成处理1(图10)的步骤S204同样地，在指定列表中记录NULL值的行(步骤S708)。此时，在“类别”的项目中记录NULL值(图16中为“-”)。

在步骤S707或步骤S708中记录与当前的帧对应的指定列表的行后，指定列表生成处理2结束。

回到图17，若以指定列表生成处理2在指定列表中记录了与当前显示中的临时运动图像的帧对应的指定信息，则与实施方式1的运动图像输出处理1(图9)的步骤S105同样地，处理部340判别为拍摄已结束(步骤S506)。若判别为拍摄继续(步骤S506；“否”)，则针对下一临时运动图像的帧，从步骤S502起反复处理。

另一方面，若判别为拍摄已结束(步骤S506；“是”)，则接下来校正部3430执行用于校正指定列表的处理(校正处理，在此为校正处理3)(步骤S507)。

参照图20来说明步骤S507中所执行的校正处理3。在校正处理3中，首先，校正部3430判别在指定列表中是否存在操作区间(例如相当于图15的区间B的部分)(步骤S801)。具体而言，判别在指定列表中是否有“类别”的项目为1的行超过给定的阈值(例如，运动图像中相当于0.5秒的行数)而连续的部位，在有的情况下判别为存在操作区间，在没有的情况下判别为没有操作区间。或者，可以将“类别”的项目为1的行大于给定的比例的、比给定的阈值长的区间设为操作区间。

若判别为没有操作区间(步骤S801；“否”)，则与实施方式2同样地，执行校正处理2(图13)，并作为一个区间来执行曲线估计，且基于估计结果来校正指定列表。此外，基于未判定为操作区间的部位的操作结果的指定信息(“类别”的项目为1的行)在判断为是误操作或者误检测的前提下，作为NULL值进行处理。

另一方面，若判别为有操作区间(步骤S801；“否”)，则校正部3430将指定列表分割成区间(步骤S803)。具体而言，将指定列表分割为上述的操作区间、以及基于跟踪结果的区间(例如相当于图15的区间A以及区间C的部分)。

接下来，校正部3430将分割出的区间中的一个区间选择为关注区间(步骤S804)。然后，针对关注区间执行图13的校正处理2，并基于曲线估计来校正指定列表的相应部分(步骤S805)。此外，基于未判定为操作期间的部位的操作结果的指定信息(“类别”的项目为1的行)，在判断为是误操作或者误检测的前提下，作为NULL值进行处理。另外，基于判定为操作区间的部位的跟踪结果的指定信息(“类别”的项目为0的行)，在判断为是操作失误或者操作检测遗漏的结果的前提下，作为NULL值进行处理。

接下来，校正部3430针对步骤S803中分割出的全部区间，来判别是否执行了上述处理(步骤S806)。在有未处理的区间的情况下(步骤S806；“否”)，将下一未处理的区间作为关注区间，从步骤S804起反复处理。另一方面，在全部区间处于处理完毕的情况下(步骤S806；“是”)，结束校正处理3。

回到图17，若以校正处理3来校正指定列表，则数码相机2与图9的步骤S107以及步骤S108同样地执行步骤S508以及步骤S509，在操作区间生成/输出聚焦于用户指定的关注被摄体的正式运动图像，且在除此以外的区间生成/输出聚焦于关注被摄体(跟踪被摄体)的正式运动图像。

如以上说明所述，根据本实施方式的数码相机2，能自动地跟踪作为跟踪对象的关注被摄体(跟踪被摄体)，并生成焦点对焦于关注被摄体的运动图像。故而，用户仅选择最初想要使之对焦的被摄体，就能生成焦点对焦于期望的被摄体的运动图像。

进而，在运动图像的一部分期间具有比跟踪被摄体更要关注的被摄体的情况下、或意图与跟踪结果不同的情况下，若在该期间指定关注部位，则能使焦点对焦在该部位。

另外，本实施方式的数码相机2以基于指定操作的方法、以及基于跟踪部240的跟踪的方法的两种途径来获取关注被摄体的坐标。进而，按指定方法不同的每个期间(时间区分)来分割运动图像，并按每个区间来独立地执行校正。其结果是，能防止被不同的指定方法带来的具有不同的性质的指定信息所影响而造成的校正精度的下降。此外，在此，作为指定关注被摄体的多个方法，例示了基于跟踪部240的方法、以及基于操作的方法，但并不限于此，可以分割成通过任意的不同方法指定的区间来执行校正。例如，通过指定操作来生成指定列表并登记，其后在仅一部分变更的情况下，考虑将基于最初的操作的指定作为一个指定方法，并将基于下一操作的指定作为不同的指定方法，从而可区分地记录(一部分重写)至指定列表。此时，划分成基于最初的操作的指定信息超过给定比率的时间区间、以及给定比率以下的时间区间来执行校正即可。

(实施方式4)

接下来，说明本发明的实施方式4。实施方式4中，校正部3430执行的校正处理的内容与实施方式3不同。其他的构成与实施方式3相同。

本实施方式的数码相机2以及运动图像生成装置30具有与实施方式3所涉及的同名的设备相同的构成。

在本实施方式中，校正部3430在未得到比给定时间更长的时间指定信息的情况下，基于设定存储部410中所存储的坐标校正用的默认值来校正指定信息。在此，如图21所示，以如下情况为例来进行说明：在区间D中得到了基于跟踪部240的跟踪的指定信息，在区间F中得到了基于指定操作的指定信息，而在区间E(NULL区间)中未得到指定信息。

在此情况下，与实施方式3同样地校正区间D以及区间F。另一方面，在区间E的前半部分(图21的E1)，按照从近前的指定信息起逐渐接近坐标校正用的默认值(双点划线)的方式置换NULL值。另外，在区间E的后半部分(图21的E3)，按照从紧随的指定信息起逐渐接近坐标校正用的默认值(双点划线)的方式置换NULL值。区间E的中央部(图21的E2)置换默认值与NULL值。此时，针对E1以及E2，近前(或者紧随)的值与默认值之间进行线性插值即可。线性插值情况下的斜度设为预定的给定值。或者，可以将E1以及E3的时间的长度(E1以及E3中所含的帧的数)设为常数，并确定斜度以使该长度达到默认值。E1以及E3是从NULL区间的前后的值起转移至默认值的区间，因此可称为转移区间。

数码相机2以及运动图像生成装置30除了步骤S507中所执行的校正处理是图22所示的校正处理4以外，与实施方式3同样地执行图17的运动图像输出处理2。

参照图22来说明步骤S507中所执行的校正处理4。

在校正处理4中，首先，校正部3430判别在指定列表中是否存在NULL区间(例如相当于图21的区间E的部分)(步骤S901)。具体而言，校正部3430判别在指定列表中是否有NULL值的行超过给定的阈值(例如，在运动图像中相当于0.5秒的行数)而连续的部位，在有的情况下判别为存在NULL区间，在没有的情况下判别为不存在NULL区间。或者，可以将NULL值的行大于给定的比例的、比给定的阈值更长的区间认为是NULL区间。

若判别为不存在NULL区间(步骤S901；“否”)，则与实施方式3同样地执行校正处理3(图20)，并执行曲线估计，基于估计结果来校正指定列表。

另一方面，若判别为存在NULL区间(步骤S901；“是”)，则校正部3430将指定列表分割成区间(步骤S903)。具体而言，将指定列表分割成NULL区间、操作区间、以及基于跟踪结果的区间(例如相当于图15的区间A以及区间C的部分)。

接下来，校正部3430将分割出的区间中的一个区间选择为关注区间(步骤S904)。然后，判别关注区间是否为NULL区间(步骤S905)。若判别为关注区间并非NULL区间(步骤S905；“否”)，则校正部3430针对关注区间，通过校正处理2(图13)来执行基于曲线近似的校正。

另一方面，若判别为关注区间是NULL区间(步骤S905；“是”)，则校正部3430获取设定存储部410中所存储的默认值(步骤S907)。

然后，基于默认值以及与关注区间相邻的前后的指定信息的值(相邻值)来校正指定列表的NULL值的行(步骤S908)。具体而言，基于默认值与前后的相邻值之差来决定前后的转移区间的长度。对应的相邻值与默认值之差越大，则前后的转移区间越长。在此，将对应的相邻值与默认值之差除以预定的常数，使成为整数后取绝对值的值设为转移区间的长度。然后，将转移区间的NULL值置换成对相邻值和默认值进行线性插值而求出的值。关于转移区间的期间(例如图21的E2)，将NULL值置换成默认值。

若结束了步骤S906或步骤S908，则校正部3430判别是否针对步骤S903中分割出的全部区间执行了上述处理(步骤S909)。在有未处理的区间的情况下(步骤S909；“否”)，将下一未处理的区间设为关注区间，从步骤S904起反复处理。另一方面，在所有区间处理完毕的情况下(步骤S909；“是”)，结束校正处理4。

如以上说明所述，在针对某时间区间得不到用于指定运动图像的焦距的信息的情况下，本实施方式的数码相机2设定为从前后的区间起使焦距接近默认值。故而，即使在未得到长时间焦距的指定的情况下，也能生成没有不协调感的运动图像。

(变形例)

尽管说明了本发明的实施方式1～4，但本发明的实施方式不限于此，能进行各种变形。

例如，尽管在实施方式1～4中，临时运动图像将使用默认值从LFI重构出的图像作为帧，但临时运动图像的帧还可以通过用户能选择关注被摄体、或跟踪部能提取关注被摄体的生成图像的任意的方法来生成。

具体而言，临时运动图像的帧(临时图像)可以是提取各子图像的中心部的给定部位，点对称地进行反转，在与各子透镜对应的位置上配置的简易图像。

另外，在实施方式1～4中，针对运动图像的各帧，生成临时图像并输出，且设定了指定信息。然而，按每帧来设定指定信息的方法不限于此，还可以暂时生成了全部临时运动图像(使用默认值等)后，输出临时运动图像，并受理指定操作(或者执行跟踪处理)。

另外，尽管在实施方式1～4中，相对于临时运动图像生成一个指定列表并输出了正式运动图像，但并不限于此，指定列表还可以相对于临时运动图像而生成多个。即，进行多次利用了临时运动图像的指定操作，分别生成指定列表并执行校正处理，且存储至存储部。然后，用户若从多个指定列表当中选择了期望的指定列表，则基于所指定的列表来生成正式运动图像并输出即可。

根据这样的构成，能相对于一个源(拍摄运动图像)而设定不同的多个焦距，并按照目的来区分使用。例如，通过预先保存用于根据拍摄了多个人物(例如运动会上跑步的多个儿童)的运动图像来分别生成焦点对焦于关注的人物(例如各小孩)的不同的运动图像的指定列表，能在需要时输出焦点对焦于期望的人物的运动图像。

另外，在实施方式1～4中，校正对象设为了指定信息中所含的对焦位置的坐标(d(t)，x(t)，y(t))矢量，但作为校正对象的指定信息不限于此。

例如，可以从由指定获取部320获取的坐标(x(t)，y(t))求取d(t)，在指定列表中作为对焦位置仅存储坐标d(t)，校正处理也仅以d(t)为对象。此时，对焦位置的坐标是以d(t)为分量的一维的坐标系的坐标。根据这样的构成，能减轻处理量。

或者，为了重构正式图像，对焦位置的坐标可以是在分量中具有帧的法线方向(例如光轴OA)的任意的矢量。

另外，作为校正处理，说明了对于对焦位置的坐标(x(t)，y(t)，d(t))进行一次校正的例子，但校正方法不限于此。例如，可在对包含对焦位置的坐标(x(t)，y(t)，d(t))在内的指定列表进行了校正后，基于校正后的x’(t)，y’(t)来进一步获取d”(t)，并对获取的d”(t)与校正后的d’(t)取平均，设为最终的校正后的d(t)。根据这样的构成，在指定获取部320获取到的坐标偏离了的情况下，能反映校正了偏离后的位置的纵深系数来进行校正，因此校正的精度得以提高。

另外，在上述的实施方式中，以LFI运动图像、临时运动图像、以及正式运动图像的帧速率相同、且各运动图像的帧一一对应的情况进行了说明。但并不限于此，还可以是，针对正式运动图像的各帧，作为基础的LFI和指定信息确定即可，各运动图像的帧数可以不同。

例如，若以24fps(frame per second；帧每秒)来获取LFI、并将临时运动图像和正式运动图像设为更快的帧速率(例如60fps)，则可以从同一LFI生成多次临时运动图像并输出，并针对正式运动图像的帧的每一帧来得到用于指定焦距的指定信息。在此情况下，从同一LFI使用多个不同的指定信息来生成正式运动图像的多个帧。

另外，还能如下设定：以比正式运动图像更小的帧速率来设定LFI运动图像和临时运动图像，并将正式运动图像当中没有对应的临时运动图像的帧的指定信息设定为NULL，且通过校正来对NULL值进行插值。

另外，在上述的实施方式中，临时运动图像的像素数(分辨率)与正式运动图像的像素数(分辨率)可以是不同的数目。在此情况下，从LFI图像生成的临时运动图像的像素的构成可以按照显示部可显示的像素数等来决定。另外，正式运动图像的像素的构成可以按照所记录的运动图像的像素数等来决定，此时，关注被摄体的坐标按照临时运动图像以及正式运动图像的像素的构成进行变换。

此外，所述的硬件构成和流程图只是一例，能任意地变更以及修正。

以由信息处理部31、主存储部32、外部存储部33等构成的进行用于运动图像输出的处理为中心的部分不限于专用的系统，能使用通常的计算机系统来实现。例如，可以将用于执行所述的动作的计算机程序保存至计算机可读取的记录介质(软盘、CD-ROM、DVD-ROM等)进行分发，将所述计算机程序安装至计算机，来构成成为进行用于重构图像生成的处理的中心的部分。另外，可以在互联网等的通信网络上的服务器装置所具有的存储装置中保存所述计算机程序，并通过通常的计算机系统进行下载等来构成运动图像生成装置。

在通过OS(操作系统)与应用程序的分担、或OS与应用程序的协作来实现运动图像生成装置的功能等情况下，可以仅将应用程序部分保存至记录介质或存储装置。

另外，还能在载波上加载计算机程序，并经由通信网络进行分发。例如，可以在通信网络上的揭示板(BBS：Bulletin Board System；电子公告牌)上揭示所述计算机程序，并经由网络来分发所述计算机程序。而且，可以构成为：起动该计算机程序，在OS的控制下与其他的应用程序同样地执行，从而能执行所述的处理。

以上说明了本发明的优选实施方式，但本发明不限于所提及的特定的实施方式，本发明包含权利要求书记载的发明和其等价范围。

Claims (11)

1.一种图像处理装置，具备：

第1设定部，其对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标；

第2设定部，其基于由所述第1设定部针对所述运动图像的其他帧设定的坐标，来设定所述运动图像的帧的坐标；

图像获取部，其按所述运动图像的每个帧，获取在根据由所述第1设定部和/或第2设定部设定的坐标而确定的焦距上对焦的、根据从多个视点拍摄该帧的被摄体得到的多视点图像而重构出的图像；

生成部，其生成以由所述图像获取部获取的图像为帧的运动图像；和

输出部，其输出由所述生成部生成的运动图像。

2.根据权利要求1所述的图像处理装置，其中，

所述第2设定部具备校正部，该校正部基于由所述第1设定部针对所述运动图像的其他帧设定的坐标来校正所述运动图像的帧的坐标，

所述校正部求取由所述第1设定部设定的坐标的近似曲线，并使该坐标的至少一部分符合该近似曲线。

3.根据权利要求1所述的图像处理装置，其中，

所述第2设定部具备校正部，该校正部基于由所述第1设定部针对所述运动图像的其他帧设定的坐标来校正所述运动图像的帧的坐标，

所述校正部使由所述第1设定部设定的坐标的时间轴所涉及的高频分量衰减。

4.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备：

临时获取部，其按每个所述帧，获取根据从多个视点拍摄该帧的被摄体得到的多视点图像且使用临时图像生成用的默认值而重构出的临时图像；和

坐标获取部，其按照由所述临时获取部获取的每个临时图像，获取所述对焦位置的临时图像面上的坐标，

所述多视点图像由从所述多个视点的各视点拍摄被摄体而得到的多个子图像构成，

所述第1设定部基于根据与位于由所述坐标获取部获取的坐标上的关注被摄体对应的像素的位置在所述多个子图像上偏离的程度所估计的被摄体距离，来求取要设定的坐标的法线轴的分量。

5.根据权利要求4所述的图像处理装置，其中，

所述第2设定部对包含的所述坐标获取部未能获取所述坐标的帧比给定的比例多且比给定的时间长的区间进行提取，或对包含的所述坐标获取部未能获取所述坐标的帧比给定的比例多且帧数比给定数多的区间进行提取，并针对属于该提取出的区间的帧的坐标，基于由所述坐标获取部从与该区间相邻的帧中获取的坐标、以及坐标校正用的默认值，来进行校正和/或设定。

6.根据权利要求4所述的图像处理装置，其中，

所述第2设定部提取所述坐标获取部未能获取所述坐标的帧的区间，并针对属于该提取出的区间的帧的坐标，基于由所述坐标获取部从与该区间相邻的帧中获取的坐标来进行插值。

7.根据权利要求4所述的图像处理装置，其中，

所述坐标获取部按每个所述帧，获取通过多个指定方法当中给定的指定方法而指定的所述临时图像面上的坐标，

所述第2设定部将所述运动图像分割为由所述第1设定部使用通过所述给定的指定方法指定的所述坐标来设定了对焦位置的坐标的帧比给定的比例多的时间区间、以及该帧为所述给定的比例以下的时间区间，并按该分割出的时间区间的每一个来执行所述设定。

8.根据权利要求7所述的图像处理装置，其中，

所述输出部将所述临时图像依次输出至图像显示装置，

所述坐标获取部将按每个所述帧获取对所述临时图像上的坐标进行指定的操作的信息这一方法，设为所述多个指定方法之一。

9.根据权利要求7所述的图像处理装置，其中，

所述图像处理装置还具备提取部，该提取部从所述临时图像上提取具有特征的关注被摄体的坐标，

所述坐标获取部将按每个所述帧获取由所述提取部提取的坐标这一方法设为所述多个指定方法之一。

10.一种摄像装置，具备：

拍摄部，其对从多个视点拍摄被摄体而得到的多视点图像进行拍摄；

第1设定部，其对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标；

第2设定部，其基于由所述第1设定部针对所述运动图像的其他帧设定的坐标，来设定所述运动图像的帧的坐标；

重构部，其按所述运动图像的每个帧，根据从多个视点拍摄该帧的被摄体得到的多视点图像来重构在根据由所述第1设定部和/或第2设定部设定的坐标而确定的焦距上对焦的图像；

生成部，其生成以由所述重构部重构出的图像为帧的运动图像；和

输出部，其输出由所述生成部生成的运动图像。

11.一种图像处理方法，包括：

对于运动图像的帧，设定将该帧的法线轴包含在分量中的坐标系下的对焦位置的坐标的步骤；

基于针对所述运动图像的其他帧设定的所述坐标来设定所述运动图像的帧的坐标的步骤；

按所述运动图像的每个帧，获取在根据设定的所述坐标而确定的焦距上对焦的、根据从多个视点拍摄该帧的被摄体得到的多视点图像而重构出的图像的步骤；

生成以获取的所述图像为帧的运动图像的步骤；和

输出生成的所述运动图像的步骤。

Images