CN105323460A - 图像处理设备及其控制方法 - Google Patents

Abstract

本发明提供一种图像处理设备及其控制方法。该图像处理设备包括：第一图像生成单元，其被构造为由各自聚焦状态可改变的多个光场数据中的各个生成具有预定景深的第一图像；搜索单元，其被构造为通过分析所述第一图像生成单元生成的所述第一图像，来搜索包括预定被摄体的光场数据；以及第二图像生成单元，其被构造为基于由所述搜索单元搜索到的所述光场数据，生成具有比所述第一图像浅的景深并且聚焦在所述预定被摄体上的第二图像。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种从拍摄的图像中搜索被摄体并生成聚焦在作为搜索结果的被摄体图像上的图像的图像处理设备及其控制方法。

背景技术

近年来，被称为光场(下文中称为“LF”)照相机的摄像装置已被商业化。该摄像装置能够通过布置在图像传感器上的微透镜阵列分割入射光，来拍摄多个方向上的光并获得光线信息。下文中，LF照相机拍摄的图像被称为“LF图像”，并且图像数据被称为“LF数据”。通过在拍摄之后基于与LF数据相关的光线强度及其入射方向执行预定的计算处理，能够重构在可选视点的图像和以可选景深聚焦在可选位置的图像。即，通过在记录的数据上进行算法处理，能够在拍摄之后重构图像的视点、焦点位置以及景深，该特征是LF照相机的优点。该重构处理被称为LF图像的显影处理。

当显示LF图像时，一般通过聚焦在预定的默认焦点位置上来进行显影处理。例如，存储在上次LF图像显示期间的设置信息作为默认焦点位置，并且下次使用该设置信息。另外，一般进行如下图像搜索(被摄体搜索)：包括人物的被摄体被指定为搜索条件，并且通过使用被摄体识别和元数据来搜索指定的被摄体的图像。日本特开2010-086194号公报公开了图像搜索结果的呈现方法。

如上所述，上次LF图像显示期间的焦点位置等被设置为默认，通过聚焦在该焦点位置来进行显影，并显示LF图像，但是在这种设置下，被摄体未必总是被聚焦的。图16A例示了LF图像的示例。这例示了在三个被摄体121、122和123当中聚焦在被摄体122上的状态作为默认状态。因此，即使通过聚焦在默认焦点位置上来进行显影，也未必总是聚焦在被指定为搜索目标的被摄体(例如，被摄体123)上。因此，用户需要在再次调整焦点位置的同时搜索待搜索的被摄体。例如，如图16B中LF图像的示例所示，用户需要进行调整操作以聚焦在作为搜索目标的被摄体123上，因此，操作是复杂的。

另外，日本特开2010-086194号公报中的现有技术公开了改变强调待搜索的被摄体的分帧线的形状或颜色，但是并未考虑待显示的图像的焦点位置。

发明内容

本发明在处理光场数据的图像处理设备中，通过聚焦在待搜索的被摄体上来提高用户的便利性。

根据本发明的设备包括：第一图像生成单元，其被构造为由各自聚焦状态可改变的多个光场数据中的各个生成具有预定景深的第一图像；搜索单元，其被构造为通过分析所述第一图像生成单元生成的所述第一图像，来搜索包括预定被摄体的光场数据；以及第二图像生成单元，其被构造为基于所述搜索单元搜索到的所述光场数据，生成具有比所述第一图像浅的景深并且聚焦在所述预定被摄体上的第二图像。

根据本发明，聚焦在待搜索的被摄体上能够提高用户的便利性。

通过以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B是例示LF照相机内部的结构示例A和B的示意图。

图2是例示在微透镜阵列12与图像传感器13的各像素之间的位置关系的示意图。

图3是例示在到微透镜的入射光的行进方向与图像传感器13的记录区域之间的关系的示意图。

图4是例示入射到图像传感器13的光线的信息的示意图。

图5是例示重新聚焦算法处理的示意图。

图6是例示在到微透镜的入射角的差异与图像传感器13中的记录区域之间的关系的示意图。

图7是例示针对景深的调整处理的示意图。

图8是例示根据本发明的实施例的图像显示设备的概况的框图。

图9是例示图8的被摄体搜索单元的概况的框图。

图10是例示图8中被摄体搜索单元的处理示例的流程图。

图11是例示图8中显示图像生成单元的概况的框图。

图12是例示图8中显示图像生成单元的处理示例的流程图。

图13是例示根据本发明的第二实施例的显示图像生成单元的处理示例的流程图。

图14是例示根据本发明的第三实施例的显示图像生成单元的处理示例的流程图。

图15是例示根据本发明的第四实施例的显示图像生成单元的处理示例的流程图。

图16A和图16B是例示LF图像的示例的图。

图17A和图17B是例示全景聚焦(pan-focus)图像的示例和对用户的通知处理的示例的图。

具体实施方式

下文中，参照附图详细详细描述本发明的各实施例。在描述根据本发明的实施例的图像处理设备之前，将描述LF照相机。

图1例示了LF照相机的示意性结构。图像传感器13对从被摄体通过构成摄像光学系统的摄像透镜11入射到微透镜阵列12的光进行光电转换，并获得电信号。注意，这里获得的摄像数据是LF数据。

摄像透镜11将来自被摄体的光投射到微透镜阵列12。摄像透镜11可更换，并且通过将摄像透镜11安装在摄像装置10的主体上来使用摄像透镜11。用户能够通过摄像透镜11的缩放操作来改变摄像倍率。通过将微透镜布置为网格状来构造微透镜阵列12，并且该微透镜阵列12位于摄像透镜11与图像传感器13之间。构成微透镜阵列12的各微透镜分割摄像透镜11的入射光，并且向图像传感器13输出分割的光。构成摄像单元的图像传感器13是具有多个像素的摄像元件，并且在各像素处检测光强度。通过各微透镜分割的光入射到接收来自被摄体的光的图像传感器13的各像素。

图2是例示在微透镜阵列12与图像传感器13的各像素之间的位置关系的示意图。微透镜阵列12的各微透镜被布置为与图像传感器13中的多个像素相对应。由各微透镜分割的光入射到图像传感器13中的各像素，并且能够在各像素处检测到自不同方向的光强度(光线信息)。此外，根据在各微透镜与图像传感器13中的各像素之间的位置关系，能够知道通过微透镜入射到图像传感器13中的各像素的光线的入射方向(方向信息)。具体而言，根据光强度的分布检测光的行进方向的信息。能够通过对位于与来自各微透镜的光轴的偏心量相对应的位置处的图像传感器13中的像素的各输出进行合成，来获得在距微透镜阵列12的透镜顶点面不同距离的聚焦面上的图像。注意，光线由函数表示，使用例如位置、方向以及波长等的参数，通过两个平行面来使该函数参数化。具体而言，根据与各个微透镜相对应的多个像素的布置来确定到各个像素的光的入射方向。如上所述，摄像装置10获得光线信息和方向信息，并进行光线的排序和计算处理(下文中称为“重构”)，从而能够生成在光学焦点位置和光学视点处的图像数据。关于光线的信息和关于方向的信息被包括在LF数据中。这种情况下的焦点位置使得用户能够在拍摄之后聚焦在期望的图像区域中。

图3是例示在到微透镜阵列12的微透镜的入射光线的行进方向与图像传感器13的记录区域之间的关系的示意图。在微透镜阵列12上形成通过摄像透镜11的被摄体图像，并且图像传感器13通过微透镜阵列12被接收到微透镜阵列12的入射光线。此时，如图3所示，在图像传感器13上不同位置处被接收根据入射到微透镜阵列12的光线的行进方向来对其进行接收，并且针对各微透镜形成摄像透镜11的形状的相似形的被摄体图像。

图4是例示入射到图像传感器13的光线的信息的示意图。将使用图4描述图像传感器13接收到的光线。这里，在摄像透镜11的透镜表面上的直角坐标系被表示为(u，v)，并且在图像传感器13的摄像面上的直角坐标系被表示为(x，y)。此外，在摄像透镜11的透镜表面与图像传感器13的摄像面之间的距离被表示为“F”。因此，通过摄像透镜11和图像传感器13的光强度可以被表示为图中所示的四维函数L(u，v，x，y)。由于入射到各个微透镜的光线依据行进方向入射到不同的像素，因此除了光线的位置信息之外，保持光线的行进方向的四维函数L(u，v，x，y)被记录在图像传感器13中。

接下来，将给出摄像之后的重新聚焦算法处理的说明。图5是例示重新聚焦算法处理的示意图。如图5所示，在设置了在摄像透镜表面、摄像面和重新聚焦面之间的位置关系的情况下，以下公式(1)表示重新聚焦面上的直角坐标系(s，t)中的光线强度L’(u，v，x，y)。

[公式1]

$L^{\′}(u,v,s,t)=L\left(u,v,u+\frac{s-u}{\mathrm{\α}},v+\frac{t-v}{\mathrm{\α}}\right)...\left(1\right)$

此外，在重新聚焦面上获得的图像E’(s，t)是通过将光线强度L’(u，v，x，y)针对透镜光圈积分而获得的，并且因此，其由以下公式(2)表示。

[公式2]

$E^{\′}(s,t)=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L\left(u,v,u+\frac{s-u}{\mathrm{\α}},v+\frac{t-v}{\mathrm{\α}}\right)dudv...\left(2\right)$

因此，能够通过该公式(2)进行重新聚焦算法处理，来重构设置在可选焦点(重新聚焦面)的图像。

接下来，将给出拍摄之后的景深的调整处理的说明。在重新聚焦算法之前，通过将形成分配给各个微透镜的图像区域的各个图像数据乘以加权系数，来进行加权。例如，当期望生成具有深的景深的图像时，仅使用以相对小的角度入射到图像传感器13的接收面的光线的信息，来进行积分处理。换言之，以相对大的角度入射到图像传感器13的光线不被包括在通过乘以加权系数0(零)进行的积分处理中。

图6是例示在到微透镜的入射角的差异与图像传感器13中的记录区域之间的关系的示意图，并且图7是例示针对景深的调整处理的示意图。如图6所示，以相对小的角度入射到图像传感器13的光线位于更靠近中心区域处。因此，如图7所示，通过仅使用在区域的中心部分(图中的阴影部分)获得的像素数据来进行积分处理。通过这种处理，能够表现具有深的景深好像典型的摄像装置中包括的开口光圈变窄的图像。通过减少要使用的中心部分的像素数据，能够生成具有更深的景深的全景聚焦图像。如上所述，能够基于实际获得的LF数据(光线信息)，在拍摄之后调整图像的景深。

[第一实施例]

图8是示意性例示根据本发明的实施例的图像显示设备100的结构示例的框图。LF图像存储单元101接收由LF照相机拍摄的LF图像的数据，并且将其存储在存储器中。另外，LF图像存储单元101根据来自LF图像显影单元103的请求发送存储的LF数据。可以通过通用串行总线(USB)等从连接到图像显示设备的LF照相机直接接收LF数据，或者可以读取存储在例如SD卡的存储介质中的LF数据。

搜索条件接收单元102接收用户通过操作单元指定的被摄体的搜索条件，并将该搜索条件发送给被摄体搜索单元104。存在用于指定通过输入待搜索的图像来进行搜索条件的方法。可选地，存在用于通过用户的操作在预先登记的图像当中选择来指定搜索条件的方法。

LF图像显影单元103从LF图像存储单元101读出LF数据，并进行预定的算法处理。预定的算法处理是将LF图像显影所需的处理，并且根据来自被摄体搜索单元104、景深图生成单元105以及显示图像生成单元106的请求来进行该处理。

被摄体搜索单元104从LF图像存储单元101中存储的所有图像当中，搜索与从搜索条件接收单元102接收到的被摄体的搜索条件匹配的图像。下面将描述被摄体搜索单元104的详情。景深图生成单元105根据来自显示图像生成单元106的请求，执行距离信息生成处理。通过生成LF图像中各个像素的距离信息，来创建景深图。通过生成具有两个以及更多个不同视点的图像，并且通过检测多个生成的图像的位置偏移，来计算与图像中的景深相对应的距离信息。显示图像生成单元106生成显示图像数据。下面将描述显示图像生成单元106的详情。图像显示单元107根据显示图像生成单元106生成的图像数据，在画面上显示图像。

用户调整值接收单元108接收用户通过操作单元指定的焦点位置的信息(指定的坐标信息)，并且将其发送给显示图像生成单元106。焦点位置对应于在拍摄的LF图像中聚焦的(焦点)位置。对于焦点位置的指定，存在用户通过利用指点设备、触摸屏等来指定要聚焦的被摄体的位置。可选地，存在用户通过利用滑杆(滚动条)等来指定焦点位置的方法。

接下来，将说明被摄体搜索单元104的详情。图9是例示被摄体搜索单元104的主要结构的概况的框图。被摄体搜索单元104包括搜索图像生成单元201和特征值比较单元202。

搜索图像生成单元201请求LF图像显影单元103对从LF图像存储单元101获得的LF数据进行显影。尽管在显影期间LF图像中的焦点位置是可改变的，但是当使用通过在特定位置聚焦而显影的图像来进行被摄体搜索时，无法检测到在未聚焦处的被摄体(模糊的被摄体)。例如，在图16A示出的状态下，难以检测被摄体121和123。因此，搜索图像生成单元201请求LF图像显影单元103生成具有最大景深并且聚焦在图像中的所有被摄体上的图像(全景聚焦图像)。LF图像显影单元103生成全景聚焦图像数据作为用于搜索被摄体的图像数据。图17A例示了聚焦在所有被摄体121、122和123上的全景聚焦图像的示例。特征值比较单元202分析从搜索条件接收单元102和搜索图像生成单元201接收到的图像，并且检测被摄体。特征值比较单元202计算检测到的被摄体的特征值，并且对它们进行比较。特征值比较单元202处理的图像数据是LF图像显影单元103显影的图像数据。因此，在被摄体图像的抽取和特征值的计算中，可以使用针对联合图像专家组(JPEG)图像等的公知方法。

图10是例示被摄体搜索单元104进行的处理的示例的流程图。下面的处理由构成图像处理设备的控制单元的中央处理单元(CPU)从存储器读出并执行程序来实现。

被摄体搜索单元104首先从搜索条件接收单元102接收图像数据以指定搜索条件(S301)。接下来，被摄体搜索单元104由接收到的图像数据计算被摄体图像的特征值(S302)。在S303和S308之间的S304至S307以及S309中，进行重复处理。被摄体搜索单元104从LF图像存储单元101依次获得LF图像(S304)，并且请求LF图像显影单元103对全景聚焦图像显影(S305)。被摄体搜索单元104获得LF图像显影单元103显影的全景聚焦图像，检测图像的被摄体图像，并且计算特征值(S306)。被摄体搜索单元104确定在S306中计算出的特征值是否与被指定为搜索条件的被摄体的特征值相同(S307)。当这些特征值相同时，处理进行到S309，并且当这些特征值不相同时，处理从S308进行到S303以继续处理。在S309中，被摄体搜索单元104将确定被摄体的特征值是相同的相应的LF图像的文件标识符、以及相应的被摄体图像的坐标信息，通知给显示图像生成单元106。然后，处理从S308进行到S303，并且继续，直至针对所有的LF图像的处理结束。

接下来，将给出显示图像生成单元106的详细说明。图11是主要例示显示图像生成单元106的结构的示意性示例的框图。显示图像生成单元106包括焦点坐标确定单元401、焦点位置确定单元402以及图像生成单元403。焦点坐标确定单元401针对来自被摄体搜索单元104和用户调整值接收单元108的坐标信息进行坐标信息选择处理。焦点坐标确定单元401从被摄体搜索单元104或用户调整值接收单元108接收拍摄有要对焦的被摄体的图像(被摄体图像)的坐标信息，并且将其中任意一者发送到焦点位置确定单元402。根据要显示的图像是否是针对被摄体搜索的结果来确定从焦点坐标确定单元401发送的坐标信息。即，当要显示的图像是被摄体搜索的结果时，焦点坐标确定单元401将从被摄体搜索单元104接收到的坐标信息发送给焦点位置确定单元402。当要显示的图像不是针对被摄体搜索的结果时，从用户调整值接收单元108接收的坐标信息被发送给焦点位置确定单元402。

焦点位置确定单元402将从焦点坐标确定单元401接收到的坐标信息发送给景深图生成单元105。景深图生成单元105基于通过距离信息生成处理创建的景深图，来返回与接收到的坐标信息相对应的距离信息。焦点位置确定单元402从景深图生成单元105获得与坐标信息相对应的距离信息，并且将其发送给图像生成单元403。图像生成单元403将从焦点位置确定单元402接收到的距离信息，作为显影期间使用的焦点位置的信息发送给LF图像显影单元103，并且请求LF图像的显影。图像生成单元403将LF图像显影单元103显影的图像数据发送给图像显示单元107。因此，在图像显示单元107的画面上显示聚焦在期望的被摄体上的图像。

图12是例示显示图像生成单元106进行的处理的示例。焦点坐标确定单元401从用户调整值接收单元108和被摄体搜索单元104获得要聚焦的坐标信息(焦点坐标)(S501)。接下来，焦点坐标确定单元401确定当前显示模式是否是被摄体搜索结果的显示模式(S502)。在是被摄体搜索结果的显示模式的情况下，处理进行到S503，或者在不是被摄体搜索结果的显示模式的情况下，处理进行到S504。

在S503中，焦点坐标确定单元401将由从被摄体搜索单元104接收到的信息指示的待搜索的坐标设置为焦点坐标。此外，在S504中，焦点坐标确定单元401将由从用户调整值接收单元108接收到的信息指示的坐标设置为焦点坐标。在S503或S504之后，处理进行到S505，并且焦点位置确定单元402将从焦点坐标确定单元401接收到的坐标信息发送到景深图生成单元105。即，在将在S503或S504中设置的焦点坐标发送给景深图生成单元105之后，焦点位置确定单元402获得与焦点坐标相对应的距离信息，并且将其发送给图像生成单元403。图像生成单元403将在S505中获得的距离信息发送给LF图像显影单元103(S506)。LF图像显影单元103将聚焦在S503或S504中设置的坐标上的图像显影，并且图像生成单元403获得显影之后的图像数据，并且将其发送给图像显示单元107。因此，例如，如图16B所示，作为搜索结果的聚焦在被摄体123上的图像被显示在图像显示单元107的画面上。

在本实施例中，当作为针对被摄体搜索的结果显示LF图像时，聚焦在待搜索的被摄体上的图像被显示作为搜索结果。因此，在被摄体搜索期间，不再需要通过用户手动操作来调整焦点位置。即，通过显示聚焦在待搜索的被摄体上的LF图像，提高用户便利性。

[第二实施例]

接下来，将给出本发明的第二实施例的说明。在本实施例中，当作为被摄体搜索的结果检测到多个被摄体时，执行聚焦并显示所有被摄体的处理。例如，在指定了针对被摄体搜索的多个条件的情况下，和在作为针对被摄体搜索的结果检测到如兄弟姐妹那样互相相似的多个人的LF图像的情况下，在聚焦在所有检测到的被摄体的状态下显示图像。注意，通过针对与第一实施例的情况相同的构造元素使用已使用的附图标记，由此来省略详细说明，并且将详细说明不同点。这种省略说明的方式也与下面描述的实施例相同。

被摄体搜索单元104A将作为针对被摄体搜索的结果检测到的所有被摄体图像的坐标信息发送给显示图像生成单元106A。显示图像生成单元106A设置景深以聚焦在被摄体搜索单元104A检测到的所有被摄体上，并且将LF图像显影。图17A例示了聚焦在三个被摄体121、122和123上的图像。

图13是例示显示图像生成单元106A进行的处理的示例的流程图。显示图像生成单元106A首先通过用户调整值接收单元108和被摄体搜索单元104A获得要聚焦的坐标信息(S701)。在此，可能有多个要获得的坐标信息。接下来，到位于最近处的被摄体位置(被称为“N”)的距离信息被初始化为无限远，并且到位于最远处的被摄体位置(被称为“F”)的距离信息被初始化为0(S703)。接下来，确定当前显示模式是否是被摄体搜索的结果的显示模式(S704)。作为确定的结果，在当前显示模式是作为被摄体搜索的结果的显示模式的情况下，处理进行到S705，并且在当前显示模式不是作为被摄体搜索的结果的显示模式的情况下，处理进行到S712。

在S705与S711之间的从S706到S710之间的处理被作为重复处理来执行。显示图像生成单元106A针对所有检测到的被摄体P从景深生成单元105获得距离信息(称为D)(S706)。S707是比较距离信息D与F并确定D是否大于F的处理。当D大于F时，即，在检测到的被摄体当中，被摄体P位于最远处，则处理进行到S708，并且执行以D更新F的处理(将值D代入F的处理)。与此相反，当D小于等于F时，处理进行到S709。

S709是比较距离信息D与N并确定D是否小于N的处理。当D小于N时，即，在检测到的被摄体当中被摄体P位于最近处，则处理进行到S710，并且执行以D更新N的处理(将值D代入N的处理)。在S710的处理之后，或当D大于等于N时，处理进行到S711以继续针对后续被摄体的处理。针对所有被摄体，从S706到S710的处理结束，并且处理进行到S716。

当处理从S704进行到S712时，显示图像生成单元106A在将用户调整值的坐标设置为焦点坐标之后，从景深图生成单元105获得与焦点坐标相对应的距离信息D(S713)。在S714中，以D来更新距离信息N(值D被代入N)，并且在S715中，以D来更新距离信息F(值D被代入F)。然后，处理进行到S716。

在S716中，显示图像生成单元106A从F和N的各个值确定聚焦范围。即，要聚焦的范围是与从N值到F值的距离信息相对应的范围，并且显示图像生成单元106A向LF图像显影单元103通知焦点位置和景深，并请求LF图像的显影。显示图像生成单元106A获得显影的图像，即，聚焦在多个检测到的被摄体上的图像数据，并且将其发送给图像显示单元107。

因此，图像显示单元107显示聚焦在多个被摄体上的图像。根据本实施例，当作为被摄体搜索的结果检测到多个被摄体时，能够显示聚焦在所有检测到的被摄体上的图像。

[第三实施例]

接下来，将给出本发明的第三实施例的说明。第二实施例描述了假定能够聚焦在作为搜索结果检测到的多个被摄体上，生成显示图像的处理。然而，在LF图像中，依据用于拍摄的透镜的性能或拍摄内容，不是总能够聚焦在所有被摄体上。因此，在本实施例中，在不能够聚焦在作为被摄体搜索的结果检测到的被摄体上的情况下，进行通知处理。即，当不能够聚焦在作为被摄体搜索的结果检测到的被摄体上时，显示图像生成单元106B生成图像，以提供关于此的通知。该图像被叠加在显影的图像上，并生成一个显示图像。

图14是例示显示图像生成单元106B进行的处理的示例的流程图。在图12中说明了从S501至S506的处理，因此下面将说明不同的S901和S902。

在S506的处理之后，显示图像生成单元106B确定是否能够聚焦在检测到的被摄体上(S901)。在能够聚焦在检测到的被摄体上的情况下，进行聚焦在被摄体上的图像的显示处理。或者，在不能够聚焦在检测到的被摄体上的情况下，处理进行到S902，并且显示图像生成单元106B生成提供不能够聚焦在相应的被摄体上的通知的图像，并且进行将该图像重叠在显影的图像上的处理。图17B例示了在S902中生成的图像的示例。指示不能够聚焦在检测到的被摄体上的消息被显示在图像显示单元107的画面中的显示区域130中。

根据本实施例，当不能够聚焦在作为被摄体搜索的结果的检测到的被摄体上时，能够将其通知给用户。

[第四实施例]

接下来，将给出本发明的第四实施例的说明。在本实施例中，在不能够聚焦在作为被摄体搜索的结果检测到的被摄体上的情况下，显示全景聚焦图像。在不能够聚焦在作为被摄体搜索的结果检测到的被摄体上的情况下，显示图像生成单元106C进行生成全景聚焦图像的处理。

图15是例示显示图像生成单元106C进行的处理的流程图。从S501至S506的处理如图12中所述，并且下面将说明不同的S1101和S1102的处理。

在S505中获得了与焦点坐标相对应的距离信息之后，显示图像生成单元106C确定是否能够聚焦在被摄体上，即，在S505中是否获得有效距离信息(S1101)。当无法获得有效距离信息时，处理进行到S1102，并且当能够获得有效距离信息时，处理进行到S506。

在S1102中，显示图像生成单元106C向LF图像显影单元103请求全景聚焦图像的显影，获得显影的全景聚焦图像，并且将其发送给图像显示单元107。因此，显影的全景聚焦图像被显示在图像显示单元的画面上(参照图17A)。根据本实施例，当不能够聚焦在作为被摄体搜索的结果检测到的被摄体上的情况下，能够显示具有最大景深的全景聚焦图像。

[其他实施例]

还可以通过读出并执行记录在存储介质(还可以全称为“非暂时性计算机可读存储介质”)上的用于执行一个或更多个上述实施例的功能的计算机可执行指令(例如，一个或更多个程序)、和/或包括用于执行上述实施例的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现本发明的各实施例，以及通过系统或装置的计算机通过例如从存储介质读出并执行用于执行一个或更多个上述实施例的功能的计算机可执行指令、和/或控制一个或更多个电路来执行一个或更多个上述实施例的功能的方法来实现本发明的各实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备、存储卡等中的一个或更多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

本申请要求2014年6月4日提交的日本专利申请2014-115773号的优先权，其全部内容通过引用并入本文。

Claims (14)

1.一种图像处理设备，该图像处理设备包括：

第一图像生成单元，其被构造为由各自聚焦状态可改变的多个光场数据中的各个生成具有预定景深的第一图像；

搜索单元，其被构造为通过分析所述第一图像生成单元生成的所述第一图像，来搜索包括预定被摄体的光场数据；以及

第二图像生成单元，其被构造为基于所述搜索单元搜索到的所述光场数据，生成具有比所述第一图像浅的景深并且聚焦在所述预定被摄体上的第二图像。

2.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

距离信息生成单元，其被构造为生成指示与所述光场数据相关的景深的距离信息，

其中，所述第二图像生成单元从所述距离信息生成单元获得与所述预定被摄体相对应的距离信息，并且生成聚焦在所述预定被摄体上的所述第二图像。

3.根据权利要求2所述的图像处理设备，所述图像处理设备还包括：

接收单元，其被构造为接收操作单元指定的坐标信息；以及

坐标信息选择单元，其被构造为对来自所述接收单元的坐标信息或来自所述搜索单元的坐标信息进行选择，并且输出所选择的坐标信息，

其中，所述第二图像生成单元从所述距离信息生成单元获得与从所述坐标信息选择单元获得的坐标信息相对应的距离信息，在显示所述搜索单元搜索到的被摄体图像的情况下，确定该图像的位置作为焦点位置，而在不显示所述搜索单元搜索到的被摄体图像的情况下，从所指定的坐标信息中确定焦点位置。

4.根据权利要求1所述的图像处理设备，其中，在所述搜索单元检测到多个被摄体的情况下，所述第二图像生成单元设置使得能够聚焦在检测到的多个被摄体上的景深。

5.根据权利要求1所述的图像处理设备，其中，在不能够聚焦在所述搜索单元检测到的被摄体上的情况下，所述第二图像生成单元设置最大景深。

6.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

显示单元，其被构造为显示所述第二图像生成单元生成的图像，

其中，在不能够聚焦在所述搜索单元检测到的被摄体上的情况下，所述第二图像生成单元生成图像以提供不能够聚焦在该被摄体上的通知，并且进行在所述显示单元上显示所述通知的处理。

7.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

摄像单元，其被构造为通过摄像光学系统接收来自被摄体的光，

其中，所述摄像单元具有多个微透镜和多个光电转换单元，所述光电转换单元将经由所述微透镜从摄像光学系统分别入射的光转换为电信号，并且输出指示与图像相关的光强度的光线信息以及光线的方向信息，

其中，所述光场数据包括所述光线信息和所述光线的方向信息。

8.一种图像处理设备的控制方法，所述控制方法包括以下步骤：

通过第一图像生成单元由各自聚焦状态可改变的多个光场数据中的各个生成具有预定景深的第一图像；

通过搜索单元通过分析所述第一图像生成单元生成的所述第一图像，来搜索包括预定被摄体的光场数据；以及

通过第二图像生成单元基于所述搜索单元搜索到的所述光场数据，生成具有比所述第一图像浅的景深并且聚焦在所述预定被摄体上的第二图像。

9.根据权利要求8所述的图像处理设备的控制方法，所述控制方法还包括以下步骤：

通过距离信息生成单元生成指示与所述光场数据相关的景深的距离信息，

其中，所述第二图像生成单元从所述距离信息生成单元获得与所述预定被摄体相对应的距离信息，并且生成聚焦在所述预定被摄体上的所述第二图像。

10.根据权利要求9所述的图像处理设备的控制方法，所述控制方法还包括以下步骤：

接收步骤，通过接收单元接收操作单元指定的坐标信息；以及

选择步骤，通过坐标信息选择单元对来自所述接收单元的坐标信息或来自所述搜索单元的坐标信息进行选择，并且输出所选择的坐标信息，

其中，所述第二图像生成单元从所述距离信息生成单元获得与从所述坐标信息选择单元获得的坐标信息相对应的距离信息，在显示所述搜索单元搜索到的被摄体图像的情况下，确定该图像的位置作为焦点位置，而在不显示所述搜索单元搜索到的被摄体图像的情况下，从在所述接收步骤中指定的所述指定坐标信息确定焦点位置。

11.根据权利要求8所述的图像处理设备的控制方法，

其中，在所述搜索单元检测到多个被摄体的情况下，所述第二图像生成单元设置使得能够聚焦在检测到的多个被摄体上的景深。

12.根据权利要求8所述的图像处理设备的控制方法，

其中，在不能够聚焦在所述搜索单元检测到的被摄体上的情况下，所述第二图像生成单元设置最大景深。

13.根据权利要求8所述的图像处理设备的控制方法，所述控制方法还包括：

显示步骤，通过显示单元显示所述第二图像生成单元生成的图像，

其中，在不能够聚焦在由所述搜索单元检测到的被摄体上的情况下，所述第二图像生成单元生成图像以提供不能够聚焦在该被摄体上的通知，并且进行在所述显示单元上显示所述通知的处理。

14.根据权利要求8所述的图像处理设备的控制方法，所述控制方法还包括：

通过摄像单元拍摄图像，所述摄像单元具有多个微透镜和多个光电转换单元，所述光电转换单元将经由所述微透镜从摄像光学系统分别入射的光转换为电信号，并且输出指示与图像相关的光强度的光线信息以及光线的方向信息，

其中，所述光场数据包括所述光线信息和所述光线的方向信息。