CN103167239B - 图像处理装置、图像处理方法、摄像装置及显示设备 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法、摄像装置及显示设备。所述图像处理装置生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；通过许可重复相同选择的、对所生成的视差图像的多个选择，生成按照选择顺序布置所选择的视差图像的系列视差图像；对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像；并且将所述插值图像布置在所述邻接视差图像之间以将所插值的视差图像作为运动图像的输出图像输出。

Description

图像处理装置、图像处理方法、摄像装置及显示设备

技术领域

本发明涉及图像处理装置、图像处理方法、摄像装置及显示设备，尤其是涉及被构造为生成并显示能够被传统显示设备显示的立体图像的图像处理装置、图像处理方法、摄像装置及显示设备。

背景技术

已经提出了能够将摄影镜头的出射光瞳划分为多个光瞳区域并且能够对与所划分的光瞳区域对应的多个视差图像同时摄影的摄像装置。

美国专利第4410804号公报公开了一种使用二维摄像元件的摄像装置，在所述二维摄像元件中针对一个像素形成一个微透镜以及多个划分的光电转换单元。划分的光电转换单元被构造为通过该微透镜接收摄影镜头的出射光瞳的不同部分光瞳区域，由此实现光瞳划分。可以根据来自划分的光电转换单元的光电转换信号来生成与划分的部分光瞳区域对应的多个视差图像。日本专利特开2001-083407号公报公开了通过将由划分的光电转换单元接收的全部信号相加来生成摄像图像。

拍摄的多个视差图像等同于作为光强度的空间分布以及角度分布的信息的光场（Light Field，LF）数据。Stanford Tech Report CTSR 2005-02,1(2005)公开了一种再聚焦技术，其通过使用获得的LF数据在不同于摄像平面的虚拟聚焦平面上合成图像来改变摄影后的摄像图像的对焦位置。

然而，需要专用的三维显示设备以及戴专用眼镜以进行通过使用多个视差图像的三维显示，并且存在降低了三维显示的便利性的问题。

发明内容

鉴于上述问题而作出本发明。本发明的一方面在于使用标准显示设备而不用使用专用三维显示设备来显示多个视差图像，而不降低便利性。

为了解决背景技术的上述问题，根据本发明的一方面，提供一种图像处理装置，其生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；通过许可重复相同选择的、对所生成的视差图像n次选择（n为正整数），生成按照选择顺序布置所选择的视差图像的系列视差图像；对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像；并且将所生成的插值图像布置在所述邻接视差图像之间以将所插值的视差图像作为运动图像的输出图像输出。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是根据本发明的实施例的摄像装置的示意性结构图。

图2是示意性地示出根据本发明的实施例的摄像元件的像素阵列的图。

图3A和图3B是在根据本发明的实施例的摄像元件中形成的像素的示意性平面图和示意性截面图。

图4是示意性地示出根据本发明的实施例的摄像元件的像素与光瞳划分之间的关系的图。

图5是示意性地示出根据本发明的实施例的摄像元件的像素与光瞳划分之间的关系的图。

图6是示出根据本发明的实施例的具有不同视点的视差图像的示例的图。

图7是示意性地示出根据本发明的实施例的视差图像之间的图像偏移量以及散焦量的图。

图8是示意性地示出在图6的不同视点的视差图像之间的图像偏移的图。

图9是根据本发明的实施例的立体图像的生成处理的流程图。

具体实施方式

下文中，将根据附图详细说明本发明的示例性实施例。

第一实施例

图1是示出根据本发明的作为具有摄像元件的摄像装置的照相机的示意性结构的图。

在图1中，附图标记101表示配置在聚焦光学系统的头端的第一透镜组，第一透镜组101被保持为在光轴方向上可前后移动。附图标记102表示可变快门（iris shutter），可变快门102通过调节光圈直径来调节摄影时的光量，并且还具有作为用于调节静止图像摄影时的曝光时间的快门的功能。附图标记103表示第二透镜组。可变快门102和第二透镜组103整体沿光轴方向前后移动，并且通过第一透镜组101的前后移动的协作来起到变倍功能（变焦功能）的作用。

附图标记105表示第三透镜组，第三透镜组105利用光轴方向上的前后移动来进行聚焦。附图标记106表示光学低通滤波器，光学低通滤波器106是用于减少拍摄的图像中的伪色和摩尔纹的光学元件。附图标记107表示包括二维CMOS光传感器和外围电路部分的摄像元件，摄像元件107配置在聚焦光学系统的聚焦平面上。

附图标记111表示变焦致动器，变焦致动器111旋转地移动筒形凸轮（未示出）以使第一透镜组101至第三透镜组103的透镜组沿光轴方向前后移动，并且进行变倍操作。附图标记112表示光圈快门致动器，光圈快门致动器112控制可变快门102的光圈直径以调节摄影光量，同时控制静止图像摄影时的曝光时间。附图标记114表示聚焦致动器，聚焦致动器114使第三透镜组105沿光轴方向前后移动以进行聚焦。这些部件提供了聚焦光学系统。

附图标记115表示用于照亮被摄体的电子闪光灯。尽管优选使用利用氙气灯的闪光照明设备，但是也可以使用配备有持续发光LED的照明设备。附图标记116表示AF辅助光单元，AF辅助光单元116通过投影透镜将具有预定光圈图案的掩模的图像投影到场上，并且增强了关于暗被摄体或低对比度被摄体的焦点检测性能。

附图标记121表示照相机中包括的负责照相机主体的各种控制的CPU，CPU 121具有计算部分、ROM、RAM、A/D转换器、D/A转换器、通信接口等。CPU 121驱动照相机的各种部分，并且基于ROM中存储的预定程序执行并控制诸如AF、摄影、图像生成以及记录等的一系列操作。CPU 121提供作为根据本发明的生成视差图像的图像处理单元的各种功能。

附图标记122表示电子闪光灯控制单元，其控制照明单元115以与摄影操作同步开启。附图标记123表示辅助光驱动单元，其控制AF辅助光单元116以与焦点检测操作同步地开启。附图标记124表示摄像元件驱动单元，其控制摄像元件107的摄像操作，同时A/D转换获得的图像信号以将该图像信号发送到CPU 121。附图标记125表示图像处理单元，图像处理单元125对由摄像元件107获得的图像进行诸如γ转换、色彩插值以及JPEG压缩等的处理。

附图标记126表示聚焦驱动单元，聚焦驱动单元126基于焦点检测结果来驱动并控制聚焦致动器114，并使第三透镜组105沿光轴方向前后移动以进行聚焦。附图标记128表示快门驱动单元，快门驱动单元128驱动并控制光圈快门致动器112以控制可变快门102的光圈。附图标记129表示变焦驱动单元，变焦驱动单元129根据摄影者的变焦操作来驱动变焦致动器111。

附图标记131表示诸如LCD的显示设备，显示设备131显示关于照相机的摄影模式的信息、摄影前预览图像以及摄影后确认图像、焦点检测时的对焦状态显示图像。附图标记132表示操作开关组，操作开关组132包括电源开关、释放（摄影触发）开关、变焦操作开关、摄影模式选择开关。附图标记133表示可拆装闪存存储器，闪存存储器133记录诸如拍摄的图像的图像数据。

图2示出了根据本实施例的摄像元件的像素阵列和子像素阵列的概念图。

图2示意性地示出了在针对像素阵列的4行×4列的范围内以及在针对子像素阵列的8行×8列的范围内本实施例的二维CMOS传感器（摄像元件）的像素阵列和子像素阵列。在实际摄像元件中，图2所示的大量4行×4列的像素阵列（8行×8列的子像素阵列）被布置在受光面上以允许图像获取。更具体地，在本实施例中，假设摄像元件被布置为使得，像素周期ΔX为10μm，有效像素数量N_LF为3600行×24000列=大约860万像素（子像素周期Δx为5μm，有效子像素数量N为7200行×4800列=大约3460万像素）。

在本实施例中，在图2所示的2行×2列的像素组200中，具有R（红色）光谱灵敏度的像素200R被设置在左上位置，具有G（绿色）光谱灵敏度的像素200G被设置在右上位置和左下位置，具有B（蓝色）光谱灵敏度的像素200B被设置在右下位置。在各像素中，二维布置有N_θ×N_θ(2行×2列)的子像素201至204。

关于图2中示出的摄像元件的一个像素200G，图3A中示出了从摄像元件的光接收面侧（+z侧）观察的其平面图，并且图3B中示出了从-y侧观察的图3A的a-a截面的截面图。

如图3A和图3B中所示，在本实施例的像素200G中，在各像素的光接收侧提供用于聚集入射光的微透镜305，并且提供在x方向和y方向上被划分为N_θ（两个）的光电转换单元301至304。光电转换单元301至304分别对应于子像素201至204。

光电转换单元301至304可以是在p型层与n型层之间提供本征层的pin结构光电二极管，或者可以是根据需要省去本征层时的pn结光电二极管。

在各像素中，滤色镜306被设置在微透镜305与光电转换单元301至304之间。根据需要，滤色镜的光谱透射率可以针对各子像素改变，或者可以省略滤色镜。

进入图3A和图3B所示的像素200G的光被微透镜305聚集，通过滤色镜306进行色彩分离，然后由光电转换单元301至304接收。

在具有pin结构的光电转换单元中，电子和空穴根据光接收量通过电子偶的产生来生成，并且被耗尽层分离，之后，在具有负电荷的电子被累积在n型层（未示出）中的同时，通过连接至恒定电压源（未示出）的p型层在摄像元件外部对空穴放电。

接着，将描述本实施例中的光瞳划分单元。在图4和图5中示意性地示出了光电转换单元301至304（子像素201至204）与光瞳划分之间的对应关系。图4示出了从聚焦光学系统的+y侧和出射光瞳面观察的如图3A所示的图像像素200G的a-a截面的截面图。在图4中，为了与出射光瞳面的坐标轴对应，截面图中的x轴和y轴相对于图3A和图3B反转（图3B是从-y侧观察的截面图）。在图4中，与图3中相同的部件被赋予相同的附图标记，并且在图5中，与图3A、图3B和图4中相同的部件被赋予相同的附图标记。

摄像元件被设置在摄影镜头（聚焦光学系统）的焦平面的附近，来自被摄体的光通过聚焦光学系统的出射光瞳400并且进入各像素。其上布置有摄像元件的平面是摄像平面500。通过微透镜，部分光瞳区域411至414基本上与被划分为N_θ×N_θ(2×2)的光电转换单元301至304（子像素201至204）的光接收面共轭。因此，通过各部分光瞳区域的光被具有相应共轭关系的各光电转换单元（子像素）接收。当光瞳划分数量为Np=N_θ×N_θ时，聚焦光学系统的出射光瞳400被划分为Np个不同部分光瞳区域。当聚焦光学系统的光圈值由F代表时，部分光瞳区域中的有效光圈值基本上是N_θF。光瞳区域410是这种光瞳区域，其使得当被划分为N_θ×N_θ(2×2)的全部光电转换单元301至304（子像素201至204）被放在一起时的整个像素200G能够接收通过该光瞳区域的光。

另外，将参照图5来描述本实施例的摄像元件与光瞳划分之间的对应关系。其中摄像元件的各像素被划分为N_θ×N_θ(2×2)的光电转换单元301至304（子像素201至204）接收通过不同部分光瞳区域411至414的各光。

接着，将描述第一实施例中的视差图像生成。在各像素中，从子像素201至204（光电转换单元301至304）中选择特定子像素的信号，由此能够获得对应于聚焦光学系统的部分光瞳区域411至414中的特定部分光瞳区域的视差图像。例如，在各像素中，当选择子像素203（光电转换单元303）的信号时，能够获得具有对应于有效像素数量（与聚焦光学系统的部分光瞳区域413对应）的分辨率的视差图像。对于其他子像素也是同样。由此，在本实施例中，通过摄像元件获得针对各不同部分光瞳区域的多个（光瞳划分数量N_p）视差图像，在所述摄像元件中布置有多个像素，所述像素由接收通过聚焦光学系统的不同部分光瞳区域的光的多个子像素的布置构成。

光通过的不同部分光瞳区域具有不同的视点。因此，通过本实施例的摄像元件获得具有不同视点的多个（光瞳划分数量N_p）视差图像。图6示出了本实施例中的视差图像的示例。视差图像601至604是分别对应于部分光瞳区域411至414的具有不同视点的多个视差图像。

在各像素中，当添加子像素201至204的全部信号时，能够生成具有对应于有效像素数量的分辨率的拍摄图像。

接着，将描述根据本发明的视差图像之间的图像偏移量与散焦量之间的关系。

图7示意性地示出了视差图像之间的图像偏移量与散焦量之间的关系图。本实施例的摄像元件（未示出）被设置在摄像平面500上，如图5中所示，聚焦光学系统的出射光瞳被划分为包括部分光瞳区域411至414的N_p（4）个区域。

就散焦量d来说，从被摄体的摄像位置到摄像平面的距离由大小|d|表示。d被定义为使得被摄体的焦点位于摄像平面的被摄体侧的前聚焦状态为负（d＜0），而被摄体的焦点位于摄像平面的相对侧的后聚焦状态为正（d＞0）。被摄体的摄像位置位于摄像平面上的对焦状态为d＝0。在图7中，被摄体701示出了对焦状态（d＝0）的示例，被摄体702示出了前聚焦状态（d＜0）的示例。前聚焦状态（d＜0）和后聚焦状态（d＞0）一起用来代表散焦状态（|d|＞0）。

在前聚焦状态（d＜0）下，来自被摄体702的光中通过部分光瞳区域413（414）的光被临时会聚，然后扩展为以光重心位置G3（G4）为中心的宽度Γ3(Γ4)，并且在摄像平面500上形成模糊图像。该模糊图像被子像素203（204）光接收，该子像素203（204）构成了设置在摄像平面500上的摄像元件上的各像素，从而由子像素的输出来生成视差图像。相应地，以重心位置G3（G4）为中心的宽度Γ3（Γ4）扩展的被摄体702被记录作为针对由子像素203（204）的信号生成的视差图像的模糊被摄体图像。被摄体图像的模糊宽度Γ3(Γ4)与散焦量d的大小|d|的增大基本成比例地增大。类似地，视差图像之间的被摄体图像的图像偏移量p(＝G3–G4)的大小|p|基本上与散焦量d的大小|d|的增大成比例地增大。在后聚焦状态(d＞0)下，尽管视差图像之间的被摄体图像的图像偏移方向与前聚焦状态下的相反，但是大小|p|类似地增大。在对焦状态（d＝0）下，视差图像的被摄体图像的重心位置一致（p=0），不发生图像偏移。

因此，在本发明中的多个视差图像中，随着视差图像的散焦量的大小增大，视差图像之间的图像偏移量的大小也增大。

在图6所示的示例中，在处于对焦状态（d=0）的被摄体图像610中，不发生图像偏移，并且在视差图像601至604中的相同位置拍摄被摄体图像610。同时，在处于作为未对焦状态的散焦状态（|d|＞0）的被摄体图像611至614中，发生图像偏移，在视差图像601至604中的不同位置拍摄被摄体图像611至614。

在图8中，为了便于理解图像偏移量，图6所示的视差图像601至604经历边缘提取处理。参照图8，可以示出基于视差图像604的被摄体图像614，视差图像602的被摄体图像612沿向下方向偏移，视差图像601的被摄体图像611沿左下方向偏移，视差图像603的被摄体图像613沿左方向偏移。现假设从视差图像604开始，视差图像将按照从视差图像604、视差图像602、视差图像601、视差图像603至视差图像604的顺序连续改变，然后，在改变方向按照从下方向、左方向、上方向至右方向的顺序旋转的同时，图像偏移出现改变。为了便于确认视差图像之间的视点的改变并且实现更立体的显示，优选视差图像之间的图像偏移出现为不在同一直线上。在本示例中，考虑到这一点，根据由摄像元件获得的视差图像来生成针对三维显示的运动输出图像。

接着，在根据输入图像生成本实施例中的视差图像之后，根据视差图像生成输出运动图像。将使用图9所示的流程图来描述图像处理方法。基于ROM中存储的预定程序、通过CPU 121来执行根据图9所示的本实施例的流程图的视差图像生成处理、生成系列视差图像的处理以及插值处理。即，CPU 121用作视差图像生成单元、视差图像系列生成单元以及插值单元。

在步骤S900中，输入图像由摄像元件获得，在所述摄像元件中，布置有多个像素，所述像素设置有接收通过聚焦光学系统的不同部分光瞳区域的光的多个子像素（子像素201至204）。作为选择，可以使用由具有上述构成的摄像元件预先拍摄并且被存储在记录介质中的输入图像。即，不仅可以在图1所示的摄像装置中而且可以在诸如PC的信息处理装置中实现本实施例中的图像处理。在这种情况下，控制信息处理装置的整体操作的CPU对应于该示例的CPU 121。本实施例中的图像处理还可以在具有CPU的显示设备中实现，该CPU用作视差图像生成单元、视差图像系列生成单元、以及插值单元和图像处理引擎。

摄像元件的x方向上的像素的数量用N_x表示，y方向上的像素的数量用N_y表示，x方向上的位置用i(＝1至N_x)表示，y方向上的位置用j(＝1至N_y)表示。有效像素数量N_LF＝N_x×N_y。摄像元件的位置（i,j）处的像素用P(i,j)表示，整数a=1至N_θ，第a个子像素用P_a(i,j)表示。根据子像素P_a(i,j)获得的摄像信号（光电转换信号）用L_a(i,j)表示。

输入图像是全部信号L_a(i,j)的集合L,即L＝{L_a(i,j)|i＝1至N_x,j＝1至N_y,a＝1至N_θ}。

在步骤S910中，从输入图像的各像素的子像素201至204中选择特定子像素的信号。因此，生成对应于聚焦光学系统的部分光瞳区域411至414的特定部分光瞳区域的视差图像。即，针对各个不同部分光瞳区域生成具有对应于有效像素数量的分辨率的视差图像。如上所述，在那些视差图像中，随着视差图像的散焦量的大小的增大，视差图像之间的图像偏移量的大小也增大。

根据子像素P_a的信号生成的视差图像的信号由集合L_a={L_a(i,j)|i＝1至N_x,j＝1至N_y}代表。根据来自其他子像素的信号生成的视差图像为{L_a|a＝1至N_θ}。

在本实施例中，利用a=1表示子像素201，利用a=2表示子像素202，利用a=3表示子像素203，利用a=4表示子像素204。在这种情况下，待生成的视差图像包括对应于部分光瞳区域411的视差图像L₁、对应于部分光瞳区域412的视差图像L₂、对应于部分光瞳区域413的视差图像L₃、以及对应于部分光瞳区域414的视差图像L₄的四个视差图像。

如上所述，在本实施例中，凭借其中布置有具有接收通过聚焦光学系统的不同部分光瞳区域的光的子像素的像素的摄像元件，根据获得的输入图像来生成对应于不同部分光瞳区域的视差图像。

在步骤S920中，从步骤S910中生成的视差图像{L_a|a＝1到N_θ}顺序地选择第1至第n视差图像，同时许可重复的相同选择，并且生成按所选择的顺序{I_k|k＝1至n}的系列视差图像，这里k和n是正整数。

在本实施例中，多次选择数被假设为n=5，并且生成其中第一视差图像I₁为L₄、第二视差图像I₂为L₂、第三视差图像I₃为L₁、第四视差图像I₄为L₃、以及第五视差图像I₅为L₄的系列视差图像。

在步骤S930中，假设k=1至n-1，重复在步骤S920中生成的系列视差图像中包括的第k视差图像I_k与第k+1视差图像I_k+1之间的插值处理，以生成运动图像的输出图像。

在本实施例中，以整数m=0至M-1并且权重t_m=m/M的逐步方式来改变被包括在系列视差图像中并且相互邻接的第k视差图像I_k与第k+1视差图像I_k+1之间的插值处理，以生成插值图像I_k,k+1,m＝t_m I_k+(1-t_m)I_k+1。在邻接视差图像之间按照顺序来布置在各对邻接视差图像中生成的插值图像{I_k,k+1,m|k＝1至n–1,m＝0至M–1}，以生成运动图像的输出图像。插值处理不限于本实施例中的插值处理，可以使用任意插值处理。

在本发明中生成的输出图像是运动图像，在所述运动图像中处于对焦状态的被摄体保持静止而不移动，在散焦状态下模糊的被摄体连续移动对应于散焦量的大小的图像偏移量。在图6的示例中，处于对焦状态的被摄体图像610保持静止，在散焦状态下模糊的被摄体图像614、612、611和613在插值图像被插入其间的情况下按照顺时针方向连续移动。根据该构成，能够在不具有专用三维显示设备的情况下利用针对二维图像的标准显示设备三维显示视差图像。另外，处于对焦状态的清晰被摄体不移动，在散焦状态下模糊的被摄体移动；因此，能够生成对眼睛负担少的自然运动图像。

在本实施例中，系列视差图像的第1视差图像I₁=L₄和最后（第n=第5）视差图像I₅=L₄是相同图像。当重复再现运动输出图像时，优选在第1视差图像和第n视差图像彼此相同没有任何分离的情况下连续显示。

在本实施例中，假设整数k=1至n-1，对应于第k视差图像的部分光瞳区域以及对应于第k+1视差图像的部分光瞳区域整个彼此邻接。更具体地，在图4中，对应于第一视差图像I₁(＝L₄)的部分光瞳区域414与对应于第二图像I₂(＝L₂)的部分光瞳区域412彼此邻接。这也适用于其他情况。为了连续平滑地改变运动图像的输出图像，优选对应于第k视差图像的部分光瞳区域以及对应于第k+1视差图像的部分光瞳区域整个彼此邻接。

在图9的流程图的处理中，可以根据需要对输入图像、视差图像、插值图像、以及输出图像或它们的组合的任意一者应用暗校正、阴影补偿、去马赛克处理等。

在本实施例中，尽管描述了聚焦光学系统的出射光瞳被划分为2×2个不同部分光瞳区域的示例，但是本发明还可以应用于其他光瞳划分数量。x方向上的光瞳划分数量与y方向上的光瞳划分数量可能彼此不同。光瞳划分方向可能与x方向和y方向不同。

通过上述图像处理生成的输出图像被输出到显示设备131并显示。

本实施例是具有进行上述图像处理的图像处理单元的摄像装置的示例。

根据上述结构，能够在不降低三维图像显示的便利性的情况下三维显示多个视差图像。

（其他实施例）

本发明可以在读取预先存储在记录介质中的输入图像并且具有进行以上图像处理的图像处理单元的诸如数字电视、数字照片站、平板电脑、以及移动电话等的显示设备中实现。

构成上述本发明的实施例的记录装置的各单元以及上述记录方法的各处理可以通过操作存储在计算机的RAM以及ROM中的程序来实现。存储该程序以及上述程序的计算机可读存储介质被包括在本发明中。

本发明可以采用例如系统、装置、方法、程序、存储介质等的形式的实施例。更具体地，本发明可以适用于由多个设备构成的系统或者可以适用于由单个设备构成的装置。

本发明包括实现上述实施例的功能的软件的程序（对应于实施例中的图5所示的流程图的程序）被直接或远程提供给系统或装置的情况。本发明还包括通过系统或装置的计算机读取提供的程序代码并且执行程序来实现功能的情况。

相应地，为了通过计算机实现本发明的功能处理，安装在计算机中的程序代码自身实现了本发明。即，本发明包括用于实现本发明的功能处理的计算机程序自身。在这种情况下，程序可以采用诸如目标代码、要由解释器执行的程序、或者要被供给到OS的脚本数据的任意形式，只要其具有程序的功能即可。

作为用于供给程序的存储介质，例如有诸如软盘、硬盘、光盘、磁光盘等。另外，存在MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD（DVD-ROM和DVD-R）等。

作为提供程序的方法，存在通过使用客户端计算机的浏览器来连接至互联网上的主页的方法。另外，还可以通过从主页或包括自动安装功能的压缩文件将本发明的计算机程序自身下载到诸如硬盘的记录介质来提供程序。

另外，计算机执行读取的程序以实现上述实施例的功能。另外，在计算机上运行的OS等基于程序的指令进行部分或整个实际处理，并且可以通过处理来实现上述实施例的功能。

另外，作为其他方法，从记录介质读取的程序首先被写入到插入在计算机中的功能扩展板或连接到计算机的功能扩展单元的存储器中。然后，功能扩展板或功能扩展单元的CPU等基于程序的指令执行部分或整个实际处理，并且通过该处理来实现上述实施例的功能。

参照优选实施例描述了本发明。然而本发明并不限于上述实施例，各种变型均应该落在在权利要求书中描述的范围内。

Claims (9)

1.一种图像处理装置，该图像处理装置包括：

输入单元，其用于输入通过摄像单元获得的图像，在所述摄像单元中布置有接收通过聚焦光学系统的不同光瞳区域的光的像素；

视差图像生成单元，其用于生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；

视差图像系列生成单元，其用于通过许可重复相同选择的、对所生成的视差图像的多个选择，生成按照选择顺序布置所选择的视差图像的系列视差图像；

插值处理单元，其用于对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像，并且将生成的所述插值图像布置在所述邻接视差图像之间以输出所述插值图像；以及

输出单元，其用于将所述插值处理单元的输出作为运动图像的输出图像而输出，

其中，所述像素具有接收通过所述聚焦光学系统的不同光瞳区域的光的多个子像素，并且所述视差图像生成单元由对应于各光瞳区域的所述子像素的输出来生成视差图像。

2.根据权利要求1所述的图像处理装置，其中，在生成的视差图像中，各个所述视差图像对应于所述聚焦光学系统的出射光瞳的不同光瞳区域，并且所述图像偏移不在同一直线上。

3.根据权利要求1或2所述的图像处理装置，其中，所述视差图像系列生成单元选择生成的视差图像，使得所述视差图像系列中的第一视差图像以及最后视差图像相同。

4.根据权利要求2所述的图像处理装置，其中，所述视差图像系列生成单元选择生成的所述视差图像，使得对应于所述邻接视差图像的所述光瞳区域彼此邻接。

5.根据权利要求1所述的图像处理装置，其中，所述插值处理单元在以逐步方式改变权重的同时对各对所述邻接视差图像重复应用插值处理。

6.一种图像处理装置的控制方法，所述图像处理装置包括输入图像的输入单元以及针对所述输入的图像的处理单元，所述控制方法包括以下步骤：

通过所述输入单元输入由摄像单元获得的图像，在所述摄像单元中布置有接收通过聚焦光学系统的不同光瞳区域的光的像素；

由所述输入单元输入的图像，生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；

通过许可重复相同选择的、对所生成的视差图像的多个选择，生成按照选择顺序布置所选择的视差图像的系列视差图像；

对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像，并且将生成的所述插值图像布置在所述邻接视差图像之间以输出所述插值图像；以及

将所述插值处理步骤中的输出作为运动图像的输出图像而输出，

其中，所述像素具有接收通过所述聚焦光学系统的不同光瞳区域的光的多个子像素，并且由对应于各光瞳区域的所述子像素的输出来生成视差图像。

7.一种摄像装置，所述摄像装置包括：

聚焦光学系统；

包括像素阵列的摄像元件，在所述像素阵列中布置有接收通过聚焦光学系统的不同光瞳区域的光的像素；以及

根据权利要求1所述的图像处理装置。

8.根据权利要求7所述的摄像装置，其中，所述子像素被二维布置。

9.一种显示设备，所述显示设备包括：

显示单元；以及

根据权利要求1所述的图像处理装置。