CN106161927A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法。图像处理方法包括以下步骤：指定针对用于形成延时运动图像的多个帧中的第一帧的第一聚焦位置；从记录介质获取与所述第一帧相对应的第一图像文件中所包含的第一视差图像和第二视差图像；计算为了聚焦于所述第一聚焦位置而对所述第一视差图像和所述第二视差图像要进行的第一聚焦位置移位的第一位移量；对所述第一视差图像和所述第二视差图像进行所述第一位移量的所述第一聚焦位置移位，并且对所述第一聚焦位置移位之后的所述第一视差图像和所述第二视差图像进行合成以生成第一再聚焦图像；以及利用所述第一再聚焦图像替换所述第一帧以再生成延时运动图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法。

背景技术

一种用于摄像设备的焦点检测方法是摄像面相位差方法，其中，通过在摄像元件上所形成的焦点检测像素来进行相位差方法。

在美国专利4,410,804中，公开一种使用二维摄像元件的摄像设备，在该二维摄像元件中，针对一个像素形成一个微透镜和通过分割所获得的多个光电转换器。通过分割所获得的光电转换器被配置成经由一个微透镜接收来自摄像透镜的出射光瞳的不同区域的光以分割光瞳。可以使用通过利用分割所获得的光电转换器接收光所获得的各个视差信号来获得图像位移量，从而使得能够进行相位差方法的焦点检测。在日本特开2001-083407中，公开了对通过利用分割所获得的光电转换器接收光所获得的视差信号进行相加，从而生成拍摄图像信号。

多个摄像视差信号相当于作为与光强度的空间分布和角度分布有关的信息的光场(LF)数据。在Ren Ng,et.Al.,"Light Field Photography with aHand-held Plenoptic Camera",Stanford Tech Report CTSR 2005-02,pp.1-11(2005)中，公开了一种再聚焦技术，其中，通过使用所获取的LF数据来绘制不同于摄像面的虚拟摄像面处的合成图像，以在摄像之后来改变拍摄图像的焦点位置。

另外，有这样一种摄像设备，其具有用于观察被摄体随时间的变化的、被称为延时摄像(间隔摄像)的功能。在延时摄像中，操作者指定摄像间隔，并且每当过去摄像间隔时，摄像设备都进行摄像并记录图片。在日本特开2013-062740中，公开了一种延时摄像技术，其中，每当进行延时摄像时，都输出所获取的图像作为图像文件，并且生成包含所获取的图像作为运动图像的一个帧的延时运动图像(还被称为“延时视频”)文件。

然而，在相关技术领域，不能对延时运动图像进行再聚焦处理。

发明内容

本发明的目的是提供一种能够对延时运动图像进行再聚焦处理的图像处理设备和图像处理方法。

根据本发明的一个方面，提供一种图像处理设备，其包括：聚焦位置指定单元，用于指定针对用于形成延时运动图像的多个帧中的第一帧的第一聚焦位置；视差图像获取单元，用于从记录介质获取与所述第一帧相对应的第一图像文件中所包含的第一视差图像和第二视差图像；位移量计算单元，用于计算为了聚焦于所述第一聚焦位置而对所述第一视差图像和所述第二视差图像要进行的第一聚焦位置移位的第一位移量；再聚焦图像生成单元，用于对所述第一视差图像和所述第二视差图像进行所述第一位移量的所述第一聚焦位置移位，并且对所述第一聚焦位置移位之后的所述第一视差图像和所述第二视差图像进行合成以生成第一再聚焦图像；以及延时运动图像生成单元，用于利用所述第一再聚焦图像替换所述第一帧以再生成延时运动图像。

根据本发明的另一方面，提供一种图像处理方法，其包括以下步骤：指定针对用于形成延时运动图像的多个帧中的第一帧的第一聚焦位置；从记录介质获取与所述第一帧相对应的第一图像文件中所包含的第一视差图像和第二视差图像；计算为了聚焦于所述第一聚焦位置而对所述第一视差图像和所述第二视差图像要进行的第一聚焦位置移位的第一位移量；对所述第一视差图像和所述第二视差图像进行所述第一位移量的所述第一聚焦位置移位，并且对所述第一聚焦位置移位之后的所述第一视差图像和所述第二视差图像进行合成以生成第一再聚焦图像；以及利用所述第一再聚焦图像替换所述第一帧以再生成延时运动图像。

根据本发明，可以提供一种能够对延时运动图像进行再聚焦处理的图像处理设备和图像处理方法。

通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是用于示出根据第一实施例的图像处理设备的整体结构的示意图。

图2是用于示出根据第一实施例的图像处理设备的摄像元件中的像素阵列的示意图。

图3是用于示出离焦量和图像位移量之间的关系的示意图。

图4是用于示意性示出再聚焦处理的图。

图5是用于示出根据第一实施例的图像处理设备在延时摄像期间的操作的流程图。

图6A和6B是用于示出根据第一实施例的图像处理设备在延时运动图像的编辑期间的操作的流程图。

图7是用于示意性示出根据第一实施例的图像处理设备的延时运动图像的编辑的图。

图8是示出帧控制编号和聚焦位置位移量之间的关系的图。

图9A和9B是用于示出根据第二实施例的图像处理设备的延时运动图像的编辑期间的操作的流程图。

图10是用于示出帧控制编号和聚焦位置位移量之间的关系的图。

具体实施方式

下面参考附图详细说明本发明的实施例。然而，本发明不局限于下面的实施例。如所附权利要求书所述，下面的实施例不限制本发明，并且以下实施例所述特征的所有组合并非是本发明的解决方案所必需的。

第一实施例

参考这些附图说明根据第一实施例的图像处理设备、图像处理方法和计算机程序。

整体结构

首先，参考图1说明根据本实施例的图像处理设备的整体结构。图1是用于示出根据本实施例的图像处理设备的整体结构的图。根据本实施例的图像处理设备100是例如具有摄像功能的图像处理设备，即，摄像设备，并且更具体地，是数字照相机。如图1所示，第一透镜组101被配置在摄像光学系统的远端部分，并且第一透镜组101被保持成在光轴方向上可伸缩。光圈快门102被配置成不仅调整其开口直径以在摄像期间进行光量调整，而且还用作用于在静止图像摄像期间在短时间内调整曝光时间的快门。光圈快门102和第二透镜组103被配置成在光轴方向上整体伸缩以与第一透镜组101的伸缩连动来进行变倍动作(变焦功能)。

第三透镜组105被配置成在光轴方向上伸缩以进行焦点调节。光学低通滤波器106是被配置成用于减少拍摄图像中的伪色和摩尔纹的光学元件。摄像元件107包括二维互补金属氧化物半导体(CMOS)光电传感器和外围电路，并且被配置在摄像光学系统的摄像面上。摄像元件107包括多个像素200R、200G和200B的阵列，各个像素都包括多个子像素201和202，其中，子像素201和202被配置成接收穿过摄像光学系统的不同部分光瞳区域301和302(参考图3)的光束。

变焦致动器111被配置成转动凸轮筒(未示出)以驱动第一透镜组101～第三透镜组105在光轴方向上伸缩，从而进行变倍操作。光圈快门致动器112被配置成控制光圈快门102的开口直径来调整摄像期间的光量，并且在静止图像摄像期间进行曝光时间控制。调焦致动器114被配置成驱动第三透镜组105在光轴方式上伸缩，从而调节焦点。

在摄像期间所使用的照明单元(用于照亮被摄体的电子闪光灯)115优选是使用氙气管的闪光灯装置，但是还可以使用包括连续发射光的发光二极管(LED)的照明装置。自动调焦(AF)辅助光单元116被配置成通过发射透镜向被摄体投射具有预定开口图案的掩模的图像，以提高对于暗被摄体或者具有低对比度的被摄体的焦点检测能力。

控制部121被配置成进行图像处理设备(摄像设备)100中的各种类型的控制，并且包括未示出的中央处理单元(CPU，运算部)、只读存储器(ROM)、随机存取存储器(RAM)、模拟-数字(A/D)转换器、数字-模拟(D/A)转换器和通信接口电路等。控制部121被配置成基于存储在ROM中的预定程序来驱动图像处理设备100中的各种电路，以执行包括AF、摄像、图像处理和记录等的一系列操作。控制部121被配置成用作图像处理单元。

电子闪光灯控制电路122被配置成进行控制以与摄像操作同步地开启照明单元115。辅助光驱动电路123被配置成进行控制以与焦点检测操作同步地开启AF辅助光单元116。摄像元件驱动电路124被配置成控制摄像元件107的摄像操作，并且对所获取的图像信号进行A/D转换以将其发送至控制部121。图像处理电路125被配置成对通过摄像元件107所获取的图像进行诸如伽马(γ)转换、延时插值和JPEG压缩等的处理。

调焦驱动电路126被配置成基于焦点检测的结果来进行控制以驱动调焦致动器114，并且在光轴方向上驱动第三透镜组105伸缩，从而调节焦点。光圈快门驱动电路128被配置成进行控制以驱动光圈快门致动器112，从而控制光圈快门102的开口。变焦驱动电路129被配置成响应于拍摄者的变焦操作来驱动变焦致动器111。

显示装置113由例如液晶显示器(LCD)构成，并且被配置成显示与图像处理设备100的摄像模式有关的信息、摄像前预览图像、摄像后确认用图像、以及焦点检测期间处于聚焦状态的显示图像等。显示装置131还被配置成在延时运动图像的再现和编辑期间，显示运动图像的每一帧或者再聚焦后的图像。操作开关组132包括电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关等。操作开关组132还包括用于发出用于在运动图像中进帧、以及在延时运动图像的再现和编辑期间移位聚焦位置的指示的操作开关。记录介质133是可移除地安装的闪速存储器等。记录介质133被配置成记录通过摄像所获取的延时图像、各自与延时图像的每一帧相对应的并且各自包含多个视差图像的多个图像文件、以及编辑后的延时运动图像等。

摄像元件

接着参考图2说明根据本实施例的图像处理设备中所安装的摄像元件。图2是用于示出根据本实施例的图像处理设备中所安装的摄像元件的像素阵列的示意图。

作为摄像元件107，使用二维CMOS传感器。在图2中，示出在4列×4行的范围内所提取的摄像元件107的像素阵列。换句话说，在图2中，示出在8列×4行的范围内所提取的摄像元件107中的子像素阵列。

如图2所示，在包括2列×2行的像素组200中，具有红色(R)光谱灵敏度的像素200R被配置在左上，具有绿色(G)光谱灵敏度的像素200G被配置在右上和左下，并且具有蓝色(B)光谱灵敏度的像素200B被配置在右下。像素200R、200G和200B各自由以2列×1行形式排列的子像素201和子像素202构成。

如图2所示的4列×4行的大量像素(8列×4行的子像素)被配置在光接收面上，因而摄像元件107可以获取拍摄图像和焦点检测信号。

在本实施例中，收集摄像元件107的像素的子像素201所接收到的光学信号以生成第一视差图像，并且收集摄像元件107的像素的子像素202所接收到的光学信号以生成第二视差图像。在本实施例中，基于通过摄像元件107的像素所获取的图像，分别针对不同部分光瞳区域301和302(参考图3)，生成多个视差图像(视差图像对)。

此外，针对摄像元件107的每一像素，对子像素201的信号和子像素202的信号进行相加和读取，以生成具有有效像素数量的分辨率的拍摄图像。换句话说，在本实施例中，基于这多个视差图像(第一视差图像和第二视差图像)生成拍摄图像。

离焦量和图像位移量之间的关系

接着参考图3说明离焦量和图像位移量之间的关系。图3是用于示出离焦量和图像位移量之间的关系的示意图。

离焦量是从形成被摄体的图像处的位置到摄像面303的距离，并且以附图标记d表示。离焦量的大小为|d|。在形成被摄体的图像的位置相对于摄像面303在被摄体侧的状态下，即，在前焦点状态下，离焦量d为负的(d<0)。另一方面，在形成被摄体的图像的位置相对于摄像面303在被摄体侧的相反侧的状态下，即，在后焦点状态下，离焦量d为正的(d>0)。在形成被摄体的图像的位置在摄像面303上的状态下，即，在聚焦状态下，离焦量d为0。在图3中，以附图标记304表示与聚焦状态(d＝0)相对应的被摄体的位置，并且以附图标记305表示与前焦点状态(d<0)相对应的被摄体的位置。注意，前焦点状态(d<0)和后焦点状态(d>0)两者都是离焦状态(|d|>0)。

在前焦点状态(d<0)下，在来自被摄体305的光束中，一次收集穿过部分光瞳区域301的光束，然后在以光束的重心G1为中心的宽度为Γ1的范围内发散，并且在摄像面303处变成模糊图像。通过形成被配置在摄像元件107上的像素的子像素201接收该模糊图像以生成第一视差图像。此外，在前焦点状态(d<0)下，在来自被摄体305的光束中，一次收集穿过部分光瞳区域302的光束，然后在以光束的重心G2为中心的宽度为Γ2的范围内发散，并且在摄像面303处变成模糊图像。通过形成被配置在摄像元件107上的像素的子像素202接收该模糊图像以生成第二视差图像。因此，将第一视差图像记录为被摄体305在摄像面303上的重心G1处在宽度Γ1上模糊的被摄体图像。类似地，将第二视差图像记录为被摄体305在摄像面303上的重心G2处在宽度Γ2上模糊的被摄体图像。被摄体图像的模糊宽度Γ1和Γ2大体与离焦量d的大小|d|成比例增大。类似地，第一视差图像和第二视差图像之间的被摄体图像的图像位移量p的大小|p|(＝光束的重心之间的差：G1-G2)也大体与离焦量d的大小|d|成比例增大。在后焦点状态(d>0)状态下，第一视差图像和第二视差图像之间的被摄体图像的图像移位的方向，是与前焦点状态的情况下的方向相反的方向，但是除图像移位的方向以外，后焦点状态与前焦点状态的情况相同。

如上所述，随着离焦量的大小的增大，第一视差图像和第二视差图像之间的图像位移量的大小增大。换句话说，随着通过对第一视差图像和第二视差图像进行相加所获得的拍摄图像信号的离焦量的大小的增大，第一视差图像和第二视差图像之间的图像位移量的大小也增大。

再聚焦

接着参考图4说明再聚焦。图4是用于示意性示出在根据本实施例的图像处理设备中所进行的再聚焦处理的图。在图4中，示意性示出使用多个视差图像，即，第一视差图像和第二视差图像在光瞳分割方向(列方向)上的再聚焦处理。图4所示的摄像面303对应于图3所示的摄像面303。在图4中，以Ai示意性表示通过被配置在摄像元件107的摄像面303上的在列方向上的第i像素所获得的第一视差图像，并且以Bi示意性表示通过列方向上的第i像素所获得的第二视差图像，其中，i是整数。第一视差图像Ai是所接收到的以主光线角度θa入射第i像素的光束的光学信号。以主光线角度θa入射第i像素的光束对应于穿过图3所示的部分光瞳区域301的光束。第二视差图像Bi是所接收到的以主光线角度θb入射第i像素的光束的光学信号。以主光线角度θb入射第i像素的光束对应于穿过图3所示的部分光瞳区域302的光束。

第一视差图像Ai和第二视差图像Bi不仅包含光强度分布信息，而且还包含入射角度信息。因此，可以将第一视差图像Ai和第二视差图像Bi分别沿角度θa和角度θb平移至虚拟摄像面401，并且进行相加以在虚拟摄像面401处生成再聚焦信号。沿角度θa将第一视差图像Ai平移至虚拟摄像面401，这对应于在列方向上将第一视差图像Ai移位+0.5像素。沿角度θb将第二视差图像Bi平移至虚拟摄像面401，这对应于在列方向上将第二视差图像Bi移位-0.5像素。因此，第一视差图像Ai和第二视差图像Bi可以相对移位+1像素，而且可以将Ai和Bi+1相关联，并且进行相加以在虚拟摄像面401处生成再聚焦信号。类似地，第一视差图像Ai和第二视差图像Bi可以被移位整数数量个像素，并且进行相加以在与该整数数量的像素的位移量相对应的各个虚拟摄像面401处生成位移相加信号(再聚焦信号)。

延时摄像

接着参考图5说明通过根据本实施例的图像处理设备所进行的延时摄像。图5是用于示出根据本实施例的图像处理设备在延时摄像期间的操作的流程图。通过根据本实施例的图像处理设备100的控制部121执行图5所示的步骤。

首先，在开始摄像之前，预先判断摄像模式是否被设置成延时摄像模式。通过用户对操作开关组132进行操作来进行延时摄像模式ON/OFF的设置。在摄像模式未被设置成延时摄像模式的情况下(步骤S501为“否”)，也就是说，在摄像模式是正常摄像模式的情况下，重复进行步骤S501。在正常摄像模式下，对从摄像元件107所输出的多个视差图像进行合成处理，并且将合成图像记录在记录介质133上。在正常摄像模式下，控制部121被配置成用作合成图像文件生成单元，其中，合成图像文件生成单元用于将通过对从摄像元件107所获得的多个视差图像进行合成所形成的合成图像文件记录在记录介质113上。另一方面，在摄像模式被设置成延时摄像模式的情况下(步骤S501为“是”)，处理进入步骤S502。

在步骤S502，记录图像质量设置被设置成可再聚焦图像质量。这样使得将可再聚焦图像记录在记录介质133上。

在步骤S503，控制部121等待过去预先设置的预定摄像间隔t。可以在通过用户对操作开关组132进行操作而开始摄像之前，预先设置摄像间隔t。

在步骤S504，随着过去摄像间隔t而进行摄像以获取多个视差图像，即，第一视差图像和第二视差图像。

在步骤S505，创建拍摄图像的文件头，并且在文件头中添加表示拍摄图像是可再聚焦的可再聚焦标志。

在步骤S506，创建包括多个视差图像(即，在步骤S504所获取的第一视差图像和第二视差图像以及在步骤S505所创建的文件头)的一个图像文件，并且将该图像文件记录在可移除地安装的记录介质133上。这样，控制部121被配置成用作非合成图像文件生成单元，其中，非合成图像文件生成单元用于将包含从摄像元件107所获得的多个视差图像的非合成图像文件记录在记录介质133上。

在步骤S507，通过对在步骤S504所获取的多个视差图像进行合成，创建形成延时运动图像文件的一个帧的图像(以下还称为“帧)。然后，将所创建的延时运动图像文件记录在可移除地安装的记录介质133上。

在步骤S508，与在步骤S507所创建的帧有关的信息被添加至延时运动图像文件的头，并且被记录在可移除地安装的记录介质133上。此时，将表示在步骤S506所创建的图像文件和在步骤S507所创建的帧之间的关联的关联信息，记录在延时运动图像文件的头中。例如，可以通过对记录该图像文件的文件夹的文件夹编号和该图像文件的文件编号进行组合，来生成这类关联信息。可选地，可以在用于关联的图像文件和延时运动图像文件的头中存储相同的随机数。这类关联信息可以具有任意结构，只要使得图像文件和延时运动图像文件的一个帧相互一一相关联即可。

在步骤S509，判断拍摄图像的数量是否达到了预先设置的预定数量，并且在拍摄图像的数量达到了预定数量的情况下(步骤S509为“是”)，结束延时摄像。另一方面，在拍摄图像的数量没有达到预定数量的情况下(步骤S509为“否”)，处理返回至步骤S503。可以在通过用户对操作开关组132进行操作而开始摄像之前预先设置该预定数量。

如上所述，在本实施例中，在正常摄像模式的情况下，也就是说，在摄像模式不是延时摄像模式的情况下，将通过对多个视差图像进行合成所获得的合成图像文件记录在记录介质133上。另一方面，在摄像模式被设置成延时摄像模式的情况下，将包含多个视差图像的非合成图像文件记录在记录介质133上。在正常摄像模式下，不生成非合成图像文件，因此，根据本实施例，可以有效使用记录介质133的容量。如上所述，在本实施例中，在开启延时摄像模式的时刻(预定时刻)，也就是说，在步骤S501的时刻，切换合成图像文件生成单元和非合成图像文件生成单元。

注意，在该例子中，在步骤S501判断摄像模式是否被设置成延时摄像模式，但是在步骤S501所进行的判断不局限于对于摄像模式是否被设置成延时摄像模式的判断。例如，在步骤S501可以判断摄像设置是否是微距摄像设置。在这种情况下，摄像设置被设置成微距摄像设置的时间，是切换合成图像文件生成单元和非合成图像文件生成单元的时刻。在这种情况下，当摄像设置被设置成微距摄像设置时，通过非合成图像文件生成单元进行处理。可选地，在步骤S501可以判断摄像条件是否被设置成景深浅于预定景深这一条件。在这种情况下，判断为摄像条件被设置成景深浅于预定景深这一条件的时间，是切换合成图像文件生成单元和非合成图像文件生成单元的时刻。在这种情况下，当摄像设置被设置成景深浅于预定景深这一条件时，通过非合成图像文件生成单元进行处理。

延时运动图像的编辑

参考图6A～图8说明延时运动图像的编辑。

首先，参考图7示意性说明延时运动图像的编辑。图7是用于示意性示出延时运动图像的编辑的图。图像处理设备100能够编辑延时运动图像。如图7所示，在记录介质133中形成例如名为“DCIM”的文件夹，并且在名为“DCIM”的文件夹中形成例如名为“100DIRECT”的文件夹。在名为“100DIRECT”的文件夹中，例如，记录运动图像(运动图像文件)1和图像文件(静止图像)1、2、3、……N、……、M。运动图像1是通过延时摄像所获取的运动图像，即，延时运动图像。图像文件1、2、3、……N、……、M各自均包括多个视差图像。图像文件1、2、3、……N、……、M中所包含的图像，是未进行再聚焦处理的状态下的图像，即，非合成图像。

运动图像1包含多个帧。在图7中，示出运动图像1的第一帧(即，运动图像1的帧1)、运动图像1的第二帧(即，运动图像1的帧2)、以及运动图像1的第三帧(即，运动图像1的帧3)。在图7中，还示出运动图像1的第(N-1)帧(即，运动图像1的帧N-1)、运动图像1的第N帧(即，运动图像1的帧N)、以及运动图像1的第(N+1)帧(即，运动图像1的帧N+1)。在图7中，还示出运动图像1的第M帧，即，运动图像1的帧M。

图像文件1、2、3……是分别于运动图像1的帧1、2、3……相关联的图像文件。图像文件N-1、N、N+1、……M是分别与运动图像1的帧N-1、N、N+1、……M相关联的图像文件。

再聚焦图像N-1是通过对图像文件N-1中所包含的多个视差图像进行再聚焦处理所获取的图像。再聚焦图像N是通过对图像文件N中所包含的多个视差图像进行再聚焦处理所获取的图像。再聚焦图像N+1是通过对图像文件N+1中所包含的多个视差图像进行再聚焦处理所获取的图像。再聚焦图像M是通过对图像文件M中所包含的多个视差图像进行再聚焦处理所获取的图像。

运动图像2是通过对运动图像1进行期望的再聚焦处理所生成的运动图像，并且也是与运动图像1一样的延时运动图像。类似于运动图像1，运动图像2包含多个帧。运动图像2的第一帧(即，运动图像2的帧1)是与运动图像1的帧1一样的图像。运动图像2的第二帧(即，运动图像2的帧2)是与运动图像1的帧2一样的图像。运动图像2的第三帧(即，运动图像2的帧3)是与运动图像1的帧3一样的图像。作为运动图像2的第(N-1)帧(即，运动图像2的帧N-1)，使用再聚焦图像N-1。作为运动图像2的第N帧(即，运动图像2的帧N)，使用再聚焦图像N。作为运动图像2的第(N+1)帧(即，运动图像2的帧N+1)，使用再聚焦图像N+1。作为运动图像2的第M帧(即，运动图像2的帧M)，使用再聚焦图像M。这样，在本实施例中，不利用再聚焦图像来替换分别与运动图像1的帧1、2、3……相对应的运动图像2的帧1、2、3……。另一方面，分别利用再聚焦图像N-1、N、N+1、……、M来替换分别与运动图像1的帧N-1、N、N+1、……、M相对应的运动图像2的帧N-1、N、N+1、……、M。

这样，再生成包含多个帧1、2、3……、N-1、N、N+1、……、M的运动图像2。

图6A和图6B是用于示出延时运动图像的编辑的流程图。通过根据本实施例的图像处理设备100的控制部121来执行图6A和图6B中的步骤。

首先，在步骤S601，读取记录在可移除地安装的记录介质133上的延时运动图像文件。

在步骤S602，将用于控制形成延时运动图像的帧的控制编号N复位成1。

在步骤S603，在形成运动图像1的多个帧中，获取与该控制编号N相对应的帧N。

在步骤S604，将帧N的图像显示在显示装置131上。

在步骤S605，判断是否进行了进帧操作。在进行了进帧操作的情况下(步骤S605为“是”)，控制编号N增大(步骤S606)，并且处理返回至步骤S603。在没有进行进帧操作的情况下(步骤S605为“否”)，处理进入步骤S607。通过用户对操作开关组132进行操作来进行进帧操作。

在步骤S607，判断是否对显示在显示装置131上的延时运动图像的帧N进行了用于移位聚焦位置的操作，即，用于指定聚焦位置的操作。通过用户对操作开关组132进行操作来进行用于移位聚焦位置的操作。这样，操作开关组132被配置成用作聚焦位置指定单元，其中，聚焦位置指定单元用于指定形成延时运动图像的多个帧中的任意帧的聚焦位置。在进行了用于移位调焦位置的操作的情况下(步骤S607为“是”)，处理进入步骤S608。另一方面，在没有进行用于移位聚焦位置的操作的情况下(步骤S607为“否”)，处理进入步骤S614。

在步骤S608，从被记录在可移除地安装的记录介质133上的图像文件组(图像文件1～M)中搜索与帧N相对应的图像文件N。此时，可以从在创建延时运动图像时所记录的与帧N的头有关的信息获取关联信息，以识别图像文件组(图像文件1～M)中的哪一个图像文件对应于帧N。注意，可以检查在延时摄像期间被添加至该图像文件的文件头的再聚焦标志，以判断该图像文件是否是可再聚焦的。

在步骤S609，从可移除地安装的记录介质133读出作为与帧N相对应的图像文件的图像文件N，以获取多个视差图像。这样，控制部121被配置成用作视差图像获取单元，其中，视差图像获取单元用于从记录介质133获取与形成延时图像的多个帧中的任意帧相对应的图像文件中所包含的多个视差图像。

在步骤S610，基于在步骤S609所获取的多个视差图像，计算用于将聚焦位置改变至在步骤S607所指定的位置的位移量pN。这样，控制部121被配置成用作位移量计算单元，其中，位移量计算单元用于计算用于移位聚焦位置以聚焦于所指定的聚焦位置的位移量。

在步骤S611，进行再聚焦处理。更具体地，将这多个视差图像移位在步骤S610所计算出的位移量pN，并且对这多个移位后的视差图像进行合成以生成再聚焦图像N。可以给予所生成的再聚焦图像N新的文件名称，并且将其记录在可移除地安装的记录介质133上。这样，控制部121被配置成用作再聚焦图像生成单元，其中，再聚焦图像生成单元用于将多个视差图像的聚焦位置移位期望的位移量，并且对聚焦位置移位后的这多个视差图像进行合成以生成再聚焦图像。

在步骤S612，将在步骤S611通过再聚焦处理所获得的再聚焦图像N显示在显示装置131上。这样，可以将再聚焦处理的效果呈现给用户。

在步骤S613，将与进行了再聚焦处理的帧N有关的信息作为编辑历史记录在RAM上。更具体地，例如，将帧控制编号(帧编号)N和聚焦位置位移量pN作为编辑历史记录在RAM上。

在步骤S614，判断是否结束延时运动图像的编辑。通过用户对操作开关组132进行操作来进行用于结束延时运动图像的编辑的指示。在要结束延时运动图像的编辑的情况下(步骤S614为“是”)，处理进入步骤S615。另一方面，在不结束延时运动图像的编辑的情况下(步骤S614为“否”)，处理返回至步骤S605。

在步骤S615，参考被记录在RAM上的编辑历史，并且判断是否存在延时运动图像的任何编辑历史。在存在编辑历史的情况下(步骤S616为“是”)，处理进入步骤S617。另一方面，在不存在编辑历史的情况下(步骤S616为“否”)，结束延时运动图像的编辑。

在步骤S617，从被记录在RAM上的编辑历史获取表示针对哪一帧进行了聚焦位置的位移的信息。换句话说，从被记录在RAM上的编辑历史获取作为进行了再聚焦的帧的编号的帧控制编号N。在步骤S618，从被记录在RAM上的编辑历史获取聚焦位置的位移量pN。

在步骤S619，将用于控制形成延时运动图像的帧的控制编号L设置成N+1。

在步骤S620，与步骤S608相同，从被记录在可移除地安装的记录介质133上的图像文件组(图像文件1～M)中搜索与帧L＝N+1相对应的图像文件N+1。

在步骤S621，与步骤S609相同，从可移除地安装的记录介质133读出与帧N+1相对应的图像文件N+1，以获取多个视差图像。在步骤S622，与步骤S611相同，进行再聚焦处理。更具体地，将这多个视差图像移位在步骤S618所计算出的位移量pN，并且进行合成处理以创建再聚焦图像N+1。

在步骤S623，判断帧L是否是延时运动图像的最后一个帧。在帧L是最后一个帧的情况下(步骤S623为“是”)，处理进入步骤S625。另一方面，在帧L不是最后一个帧的情况下(步骤S623为“否”)，控制编号L增大(步骤S624)，并且处理返回至步骤S620。重复这一处理以移位帧N和随后的帧的所有帧的聚焦位置，并且获得分别与这些帧相对应的再聚焦图像N、N+1、……、M。这样，将再聚焦图像N+1、……、M的聚焦位置设置成与再聚焦图像N的聚焦位置相同。

在步骤S625，判断聚焦位置位移量pN是否大于预先设置的阈值P，即，预定阈值P。在聚焦位置位移量pN大于阈值P的情况下，处理进入步骤S626。另一方面，在聚焦位置位移量pN等于或者小于阈值P的情况下，处理进入步骤S630。

在步骤S626，与步骤S608相同，从被记录在可移除地安装的记录介质133上的图像文件组(图像文件1～M)中搜索与帧N-1相对应的图像文件。在步骤S627，与步骤S609相同，从可移除地安装的记录介质133读出与帧N-1相对应的图像文件N-1以获取多个视差图像。

在步骤S628，计算要应用于与帧N-1相对应的图像文件N-1中所包含的多个视差图像的聚焦位置位移量pN-1。在该例子中，通过将用于帧N的聚焦位置位移量pN乘以1/2所获得的值，是针对帧N-1的聚焦位置位移量pN-1。

在步骤S629，与步骤S611相同，对与帧N-1相对应的图像文件N-1中所包含的多个视差图像进行聚焦位置位移量pN-1的再聚焦处理。

在步骤S630，使用与延时运动图像的帧相对应的、通过再聚焦处理所获得的图像文件组(图像文件1、2、3……)和图像文件组(再聚焦图像N-1、N、N+1、……、M)来创建运动图像2。换句话说，使用图像文件1、2、3……和再聚焦图像N-1、N、N+1、……、M来创建运动图像2的各个帧(帧1～M)。这样，再生成作为延时运动图像的运动图像2。这样，控制部121被配置成用作延时运动图像生成单元，其中，延时运动图像生成单元用于利用再聚焦图像替换延时运动图像的期望的帧以再生成延时运动图像。

参考图8说明如上所述进行了再聚焦处理的帧的帧控制编号和聚焦位置位移量之间的关系。图8是用于示出帧控制编号和聚焦位置位移量之间的关系的图。水平轴表示帧控制编号，并且垂直轴表示聚焦位置位移量。

对于具有1～N-2的帧控制编号的帧，从开始摄像起不改变聚焦位置，因此聚焦位置位移量为0。帧控制编号N-1处的聚焦位置位移量是pN/2，其是帧控制编号N处的聚焦位置位移量pN的一半。具有从N至最后编号的帧控制编号的帧，具有聚焦位置位移量pN。

如上所述，根据本实施例，将各自包含多个视差图像的多个图像文件(图像文件1～M)分别与形成延时图像的多个帧(帧1～M)相关联地记录在记录介质133上。因此，根据本实施例，在完成延时运动图像的摄像之后，可以使得任意帧N再聚焦于期望的聚焦位置。然后，可以使得在帧N之后所获取的帧N+1、……、M再聚焦于与帧N的聚焦位置相同的聚焦位置。

另外，根据本实施例，针对在帧N之前所获取的帧N-1，将聚焦位置移位比针对帧N的聚焦位置位移量pN小的聚焦位置位移量pN/2，因此可以防止图像不自然的变化。

注意，以上示例性说明了仅对作为紧挨着帧N的前一帧的帧N-1进行小的位移量pN/2的再聚焦处理的情况，但是本发明不局限于此。例如，可以对多个帧进行小于pN的位移量的再聚焦处理。可以通过用户对执行小于pN的位移量的再聚焦的帧的数量进行指定。此外，可以逐渐改变位移量。例如，针对帧N-2的位移量可以是(1/3)×pN，并且针对帧N-1的位移量可以是(2/3)×pN。

第二实施例

参考图9A～图10说明根据第二实施例的图像处理设备、图像处理方法和计算机程序。以相同附图标记表示与图1～图8所示的根据第一实施例的图像处理设备的组件相同的组件，并且省略或者简化对其的说明。

根据本实施例的图像处理设备能够对多个帧进行再聚焦。根据本实施例的图像处理设备的基本结构与以上参考图1所述的根据第一实施例的图像处理设备的相同，因此省略对其的说明。

图9A和图9B是用于示出根据本实施例的图像处理设备的延时运动图像的编辑的流程图。通过根据本实施例的图像处理设备100的控制部121进行图9A和图9B所示的步骤。

首先，步骤S901～步骤S912与以上第一实施例所述的步骤S601～步骤S612相同，因此省略对其的说明。

在步骤S913，将与进行了再聚焦处理的帧N有关的信息，例如，帧控制编号N和聚焦位置位移量pN作为编辑历史记录在RAM上，并且处理返回至步骤S907。在返回至步骤S907之前，执行步骤S913，因此用户可以对多个帧进行用于移位聚焦位置的操作。

步骤S914～步骤S916与以上第一实施例所述的步骤S614～步骤S616相同，因此省略对其的说明。

在步骤S917，从被记录在RAM上的编辑历史获取表示针对哪一帧进行了用于移位聚焦位置的操作的信息。当对帧N和帧M进行了用于移位聚焦位置的操作时，从被记录在RAM上的编辑历史获取进行了再聚焦的帧的编号，即，帧控制编号N和帧控制编号M。

在步骤S918，从被记录在RAM上的编辑历史获取聚焦位置位移量。例如，获取帧N被移位了的聚焦位置位移量pN和帧M被移位了的聚焦位置位移量pM。

在步骤S919，将用于控制形成延时运动图像的帧的控制编号L设置成N+1。

在步骤S920，与步骤S908相同，从被记录在可移除地安装的记录介质133上的图像文件组(图像文件1～M)中搜索与帧L＝N+1相对应的图像文件N+1。

在步骤S921，与步骤S909相同，从可移除地安装的记录介质133读取与帧L＝N+1相对应的图像文件N+1以获取多个视差图像。

在步骤S922，与步骤S910相同，计算用于与控制编号L＝N+1相对应的帧L的聚焦位置位移量pL。通过例如下面的表达式(1)，基于在步骤S918所获取的聚焦位置位移量pN和聚焦位置位移量pM，确定聚焦位置位移量pL。

pL＝pN+(pM-pN)/(M-N)M>0,N>0,M>N···(1)

在步骤S923，利用在步骤S922所计算出的聚焦位置位移量pL进行再聚焦处理。

在步骤S924，比较控制编号L和控制编号M的大小。在控制编号L不小于控制编号M的情况下(步骤S924为“否”)，处理进入步骤S926。另一方面，在控制编号L小于控制编号M的情况下(步骤S924为“是”)，增大控制编号L(步骤S925)，并且处理返回至步骤S920。可以重复这一处理以针对帧N和帧M之间的所有帧获得移位了聚焦位置的再聚焦图像(未示出)。

步骤S926～步骤S930与以上第一实施例所述的步骤S620～步骤S624的处理相同。注意，在步骤S926～步骤S930中，以控制编号M替换以上第一实施例所述的步骤S620～步骤S624中的控制编号L。换句话说，在步骤S926，与步骤S620相同，从被记录在可移除地安装的记录介质133上的图像文件组(图像文件1～M)中搜索与帧M相对应的图像文件M。在步骤S927，与步骤S621相同，从可移除地安装的记录介质133读取与帧M相对应的图像文件M以获取多个视差图像。在步骤S928，与步骤S622相同，进行再聚焦处理。更具体地，将这多个视差图像移位在步骤S918所计算出的位移量pM，并且进行合成处理以创建再聚焦图像M。在步骤S929，与步骤S623相同，判断帧M是否是最后一个帧。在步骤S930，与步骤S624相同，增大控制编号M。

步骤S931～步骤S936与以上第一实施例所述的步骤S625～步骤S630相同，因此省略对其的说明。

参考图10说明通过如上所述进行再聚焦处理所获得的帧控制编号和延时运动图像的聚焦位置位移量之间的关系。图10是用于示出帧控制编号和聚焦位置位移量之间的关系的图。水平轴表示帧控制编号，并且垂直轴表示聚焦位置位移量。

对于帧控制编号1～N-2，从摄像开始起不改变聚焦位置，因此聚焦位置位移量为0。帧控制编号N-1处的聚焦位置位移量为是帧控制编号N处的聚焦位置位移量pN的一半的pN/2。对于具有帧控制编号N～M的帧，其分别具有基于聚焦位置位移量pN～pM通过表达式(1)等所计算出的聚焦位置位移量。换句话说，具有N和M之间的帧控制编号的帧的聚焦位置位移量具有pN和pM之间的值。对于具有从M到最后编号的帧控制编号的帧，其具有聚焦位置位移量pM。

如上所述，根据本实施例，在结束延时摄像之后，可以对多个帧进行再聚焦。

另外，根据本实施例，将针对帧N和帧M之间的帧的聚焦位置位移量设置成针对帧N的聚焦位置位移量和针对帧M的聚焦位置位移量之间的值。因此，在本实施例中，也可以防止图像不自然的变化。

注意，在本实施例中，示例性说明了针对2个帧进行用于移位聚焦位置的操作的情况，但是进行用于移位聚焦位置的操作的帧的数量不局限于2个。例如，可以对三个以上的帧进行用于移位聚焦位置的操作。另外，在对三个以上的帧进行用于移位聚焦位置的操作的情况下，可以适当重复与如上所述相同的处理以获得再聚焦延时图像。

以上说明了本发明的典型实施例，但是本发明不局限于这些实施例，并且在本发明的精神的范围内，可以进行各种修改和改变。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管参考典型实施例说明了本发明，但是应该理解本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释以包含所有这类修改、等同结构和功能。

Claims (12)

1.一种图像处理设备，其特征在于，包括：

聚焦位置指定单元，用于指定针对用于形成延时运动图像的多个帧中的第一帧的第一聚焦位置；

视差图像获取单元，用于从记录介质获取与所述第一帧相对应的第一图像文件中所包含的第一视差图像和第二视差图像；

位移量计算单元，用于计算为了聚焦于所述第一聚焦位置而对所述第一视差图像和所述第二视差图像要进行的第一聚焦位置移位的第一位移量；

再聚焦图像生成单元，用于对所述第一视差图像和所述第二视差图像进行所述第一位移量的所述第一聚焦位置移位，并且对所述第一聚焦位置移位之后的所述第一视差图像和所述第二视差图像进行合成以生成第一再聚焦图像；以及

延时运动图像生成单元，用于利用所述第一再聚焦图像替换所述第一帧以再生成延时运动图像。

2.根据权利要求1所述的图像处理设备，其中，

所述视差图像获取单元还从所述记录介质获取与在所述多个帧中的所述第一帧之前所获取的第二帧相对应的第二图像文件中所包含的第三视差图像和第四视差图像，

所述位移量计算单元还计算与所述第一位移量不同的第二位移量，

所述再聚焦图像生成单元对所述第三视差图像和所述第四视差图像进行所述第二位移量的第二聚焦位置移位，并且对所述第二聚焦位置移位之后的所述第三视差图像和所述第四视差图像进行合成以生成第二再聚焦图像，以及

所述延时运动图像生成单元还利用所述第二再聚焦图像替换所述第二帧。

3.根据权利要求1或2所述的图像处理设备，其中，

所述视差图像获取单元还从所述记录介质获取与在所述多个帧中的所述第一帧之后所获取的第三帧相对应的第三图像文件中所包含的第五视差图像和第六视差图像，

所述再聚焦图像生成单元对所述第五视差图像和所述第六视差图像进行所述第一位移量的第三聚焦位置移位，并且对所述第三聚焦位置移位之后的所述第五视差图像和所述第六视差图像进行合成以生成第三再聚焦图像，以及

所述延时运动图像生成单元还利用所述第三再聚焦图像替换所述第三帧。

4.根据权利要求1或2所述的图像处理设备，其中，

所述聚焦位置指定单元还指定针对在所述多个帧中的所述第一帧之后所获取的第三帧的第二聚焦位置，

所述视差图像获取单元还从所述记录介质获取与所述第三帧相对应的第三图像文件中所包含的第五视差图像和第六视差图像，

所述位移量计算单元计算为了聚焦于所述第二聚焦位置而对所述第五视差图像和所述第六视差图像要进行的第三聚焦位置移位的第三位移量，

再聚焦图像生成单元对所述第五视差图像和所述第六视差图像进行所述第三位移量的所述第三聚焦位置移位，并且对所述第三聚焦位置移位之后的所述第五视差图像和所述第六视差图像进行合成以生成第三再聚焦图像，以及

所述延时运动图像生成单元还利用所述第三再聚焦图像替换所述第三帧。

5.根据权利要求4所述的图像处理设备，其中，

所述视差图像获取单元还从所述记录介质获取与在所述多个帧中的所述第一帧之后并且在所述第三帧之前所获取的第四帧相对应的第四图像文件中所包含的第七视差图像和第八视差图像，

所述位移量计算单元计算所述第一位移量和所述第三位移量之间的第四位移量，

所述再聚焦图像生成单元对所述第七视差图像和所述第八视差图像进行所述第四位移量的第四聚焦位置移位，并且对所述第四聚焦位置移位之后的所述第七视差图像和所述第八视差图像进行合成以生成第四再聚焦图像，以及

所述延时运动图像生成单元还利用所述第四再聚焦图像替换所述第四帧。

6.根据权利要求2所述的图像处理设备，其中，所述第二位移量小于所述第一位移量。

7.根据权利要求2所述的图像处理设备，其中，

所述视差图像获取单元仅在所述第一位移量大于预定阈值的情况下，从所述记录介质获取所述第三视差图像和所述第四视差图像，

所述位移量计算单元仅在所述第一位移量大于所述预定阈值的情况下，计算所述第二位移量，

所述再聚焦图像生成单元仅在所述第一位移量大于所述预定阈值的情况下，生成所述第二再聚焦图像，以及

所述延时运动图像生成单元仅在所述第一位移量大于所述预定阈值的情况下，利用所述第二再聚焦图像替换所述第二帧。

8.根据权利要求1或2所述的图像处理设备，其中，还包括：

摄像元件，其包括多个像素的阵列，其中各个像素包括用于接收穿过摄像光学系统的不同部分光瞳区域的光束的多个子像素；

合成图像文件生成单元，用于将通过对从所述摄像元件所获得的多个视差图像进行合成而形成的合成图像文件记录在所述记录介质上，以及

非合成图像文件生成单元，用于将包含从所述摄像元件所获得的多个视差图像的非合成图像文件记录在所述记录介质上，

其中，在预定时刻切换所述合成图像文件生成单元和所述非合成图像文件生成单元。

9.根据权利要求8所述的图像处理设备，其中，所述预定时刻是在摄像模式被设置为延时摄像模式时。

10.根据权利要求8所述的图像处理设备，其中，所述预定时刻是在摄像设置被设置为微距摄像设置时。

11.根据权利要求8所述的图像处理设备，其中，所述预定时刻是在摄像设置被设置为景深浅于预定景深这一条件时。

12.一种图像处理方法，其特征在于，包括以下步骤：

指定针对用于形成延时运动图像的多个帧中的第一帧的第一聚焦位置；

从记录介质获取与所述第一帧相对应的第一图像文件中所包含的第一视差图像和第二视差图像；

计算为了聚焦于所述第一聚焦位置而对所述第一视差图像和所述第二视差图像要进行的第一聚焦位置移位的第一位移量；

对所述第一视差图像和所述第二视差图像进行所述第一位移量的所述第一聚焦位置移位，并且对所述第一聚焦位置移位之后的所述第一视差图像和所述第二视差图像进行合成以生成第一再聚焦图像；以及

利用所述第一再聚焦图像替换所述第一帧以再生成延时运动图像。