CN103297683B - 图像处理设备及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备及图像处理方法。通过传统的技术，无法提供以期望的被摄体距离精确地重新聚焦的图像。所述图像处理设备的特征在于包括：图像数据获取单元，其被构造为获取由摄像设备获得的校准图像数据，所述摄像设备包括调节入射光量的光圈、布置有多个透镜的透镜阵列、以及经由所述透镜阵列光电转换被摄体的图像的图像感测元件，其中根据校准指令在缩小所述光圈的状态下获得所述图像；以及被构造为基于所述校准图像数据获取对应于所述多个透镜的各个的所述图像感测元件上的图像的位置的单元。

Description

图像处理设备及图像处理方法

技术领域

本发明涉及微透镜阵列的校准。

背景技术

传统上，在通过散焦的照相机拍摄了图像的情况下，需要在重新进行聚焦后重新拍摄图像。另外，当以不同景深获得多个被摄体的聚焦图像时，需要在拍摄对焦的各被摄体的图像之前重新聚焦。

近年来，称为光场摄影的技术得以发展，该技术能够通过向光学系统添加新光学元件并且通过在稍后的图像处理中调节焦点位置（重新聚焦）来获取多视角的图像。

通过利用该技术，存在由于可以在摄像后进行聚焦因此可以通过图像处理对摄像时的聚焦失败进行补偿的优势。另外，还存在能够通过改变图像处理方法来从一个拍摄图像获得对图像中的任意被摄体聚焦的多个图像、并且因此能够削减图像的拍摄次数的优势。

在光场摄影中，针对空间中的多个位置，由多视角图像数据来计算通过各位置或光场（在下文中，称为“LF”）的光束的方向及强度。然后，假设光通过虚拟光学系统并且在虚拟传感器上形成图像，通过使用获得的LF的信息来拍摄图像。通过适当地设置这种虚拟光学系统及虚拟传感器，使得能够进行前述的重新聚焦。作为用于获取LF的摄像设备，已知全光照相机（PlenopticCamera）（例如，如日本专利特开2009-124213号公报中所描述），其中微透镜阵列被置于主透镜以及并排布置有小型照相机的照相机阵列之后。能够通过拍摄单个图像来获得其中以不同视角来拍摄被摄体的图像的多视角图像。还能够将光场摄影代表作为对在虚拟光学条件下虚拟传感器由多视角图像数据获取的图像的计算。在下文中，计算由虚拟传感器获取的图像的处理称为“重新聚焦处理”。在重新聚焦处理中，已知对获取的多视角图像数据进行在虚拟传感器上的投影变换，并且对所述图像数据相加并平均（例如，如WO2008050904中所公开的）。

在重新聚焦处理中，利用与虚拟传感器上的像素的位置对应的多视角图像的像素来计算该虚拟传感器上的像素的值。通常，虚拟传感器的一个像素对应于多视角图像的多个像素。因此，如果微透镜阵列的安装位置偏离基准位置（设计值），则通过计算获得的虚拟传感器上的像素不同于多视角图像的像素，并且通过重新聚焦处理获得的图像的清晰度下降。为了解决这种问题，通过多视角图像数据的计算来获得微透镜阵列中的微透镜之间的偏移量的方法是有必要的（例如，如日本专利特开2003-141529号公报中所公开的）。具体地，该方法是通过进行经由各微透镜获得的各图像数据的关联操作来计算微透镜之间的偏移量的方法。

通过日本专利特开2003-141529号公报中提出的技术，能够获得经由各微透镜获得的各图像数据之间的相对偏移量，但是无法获得微透镜阵列的安装位置与设计值的偏差。因此，不能够提供以期望被摄体距离精确地重新聚焦的图像。

发明内容

根据本发明的图像处理设备，其特征在于包括图像数据获取单元，其被构造为获取由摄像设备获得的校准图像数据，所述摄像设备包括被构造为调节入射光量的光圈、具有多个透镜的透镜阵列、以及被构造为经由所述透镜阵列光电转换被摄体的图像的图像感测元件；其中根据校准所述透镜阵列的指令在缩小所述光圈的状态下获得所述图像；以及被构造为基于所述校准图像数据获取对应于所述多个透镜的各个的所述图像感测元件上的图像的位置的单元。

根据本发明，能够以高精度获得微透镜阵列（为了方便起见，不考虑各透镜的大小而称为“微透镜阵列”）中的各微透镜的位置与设计值的偏差。另外，在存在偏差的情况下，能够通过在重新聚焦处理时考虑偏差量以在期望的焦点位置获得模糊被抑制的重新聚焦图像。

根据以下参照附图对实施例的描述，本发明的其他特征将变得清楚。以下描述的本发明的各实施例可以被单独实现，如有必要或者在来自各个实施例的特征或组件在单个实施例中有益的情况下可以被实现为多个实施例或其特征的组合。

附图说明

图1是示出根据第一实施例的摄像设备的内部结构的框图；

图2是示出摄像单元的内部结构的图；

图3是示出通常摄像光学系统的结构的图；

图4是示出与通常摄像光学系统相关联的摄像单元的结构的图；

图5A是示意性地示出在光圈完全打开的状态下拍摄均匀被摄体的图像的情况下传感器中记录的被摄体图像的图，图5B是示意性地示出在光圈缩小的状态下拍摄相同被摄体的图像的情况下传感器中记录的被摄体图像的图；

图6A至图6C是示出在光圈完全打开的状态下拍摄均匀面光源的图像的情况下传感器上的拍摄图像的图；

图7A至图7C是示出在光圈缩小的状态下拍摄均匀面光源的图像的情况下传感器上的拍摄图像的图；

图8是示出根据第一实施例的图像处理单元的内部结构的框图；

图9是示出根据第一实施例的摄像设备中从校准的执行到组合图像数据的输出的一系列处理流程的流程图；

图10是示出校准处理的流程的流程图；

图11是示出重心位置计算处理的流程的流程图；

图12是用于说明在计算重心位置的情况下的参照范围的图；

图13是示出偏差计算处理的流程的流程图；

图14是示出对应于各微透镜的传感器上的图像的重心位置与各微透镜的实际光学中心位置之间的关系的图；

图15是示出偏差计算单元可以输出的信息的示例的表；

图16是示出图像组合单元的内部结构的框图；

图17是示出图像组合处理的流程的流程图；

图18是用于说明计算组合图像中的像素位置的方法的图；

图19是存储在缓冲器中的中间数据的示例；

图20是示出可以应用于本发明的另一摄像单元的结构的示例的图；

图21是示出根据第二实施例的图像处理单元的内部结构的框图；

图22是示出根据第二实施例的摄像设备中从校准的执行到组合图像数据的输出的一系列处理流程的流程图；

图23是示出图像分析单元的内部结构的框图；

图24是示出图像分析处理的流程的流程图；

图25是用于说明重心与边界之间的距离的概念的图；

图26是示出图像分析处理的流程的流程图；

图27A是示出根据在光圈完全打开的状态下拍摄的图像的数据计算的波动量的直方图的图，图27B是示出根据在光圈缩小的状态下拍摄的图像的数据计算的波动量的直方图的图；以及

图28是示出根据第三实施例的摄像设备中从校准的执行到任意焦点位置的组合图像数据的输出的一系列处理流程的流程图。

具体实施方式

[第一实施例]

图1是示出根据第一实施例的摄像设备的内部结构的框图。

摄像单元100利用图像感测元件接收被摄体的光信息，并且将接收到的信号A/D转换以获取彩色图像数据（数字数据）。稍后将描述摄像单元100的详情。中央处理单元（CPU）101总体控制以下描述的各单元。RAM102用作CPU101的主存储器、工作区等。ROM103存储由CPU101执行的控制程序等。总线104是各种数据的传输路径，例如由摄像单元100获取的数字图像数据经由总线104被发送到预定处理单元。被构造为接收用户指令的操作单元105包括按钮、模式转盘等。在被构造为显示拍摄图像及字符的显示单元106中，例如使用液晶显示器。显示单元106可以具有触摸屏功能，并且在这种情况下，还能够将利用触摸屏的用户指令处理为对操作单元105的输入。显示控制单元107控制显示单元106上显示的拍摄图像及字符的显示。摄像单元控制单元108基于来自CPU101的指令（诸如聚焦、快门的打开/关闭以及光圈的调节）来控制摄像系统。数字信号处理单元109对经由总线104接收的数字数据进行各种处理，诸如白平衡处理、伽马处理以及降噪处理。编码器单元110进行将数字数据转换成诸如JPEG和MPEG的文件格式的处理。外部存储器控制单元111是连接至PC和其他媒介（例如，硬盘、存储卡、CF卡、SD卡、USB存储器）的接口。图像处理单元112对通过摄像单元100获取的彩色图像数据或从数字信号处理单元109输出的彩色图像数据进行摄像单元100中设置的微透镜阵列的校准以及重新聚焦处理。稍后将描述图像处理单元112的详情。

存在除以上描述的那些部件以外的摄像设备的部件，但是它们不是本实施例的主要目的，因此省略其说明。

图2是示出摄像单元100的内部结构的图。

摄像单元100包括摄像透镜201至203、光圈204、快门205、微透镜阵列206、光学低通滤波器207、iR截止滤波器208、色彩滤波器209、进行光电转换的图像感测元件（下文中，传感器）210、以及A/D转换单元211。摄像透镜201至203分别是变焦透镜201、聚焦透镜202以及照相机抖动校正透镜203。通过调节光圈，可以调节入射在摄像单元100上的光量。即使各透镜的大小以微米或毫米为单位，但为了方便起见也不考虑各透镜的大小而使用术语“微透镜阵列”。

<重新聚焦的原理>

图3是示出通常摄像光学系统的结构的图，代表散焦状态。在图3中，为了简化说明，省略了快门、光学低通滤波器、iR截止滤波器、色彩滤波器、变焦透镜等的结构。另外，透镜结构由作为典型透镜组的主透镜302来表示。

来自物点（objectpoint）301的光被主透镜302聚集并且到达传感器304的部分区域305。被主透镜302聚集的光在一点上形成图像之前到达传感器304，因此在传感器304的部分区域305中，来自物点301的光被记录作为散光，导致了具有较小清晰度的模糊图像。在期望获得具有高清晰度的图像的情况下，必须在调节焦点位置后再次拍摄图像，使得物点301的图像被形成在传感器304的一点上。

图4是示出与图3所示的通常摄像光学系统相关联的图2所示的摄像单元100的结构的图。在图4中，添加对应于图2的微透镜阵列206的微透镜阵列405，并且传感器404的位置被改变为更靠近主透镜402的位置。在图4中，从物点401发射的光被主透镜402聚集，然后在形成图像前通过微透镜阵列405，并且利用传感器404记录。此时，从物点401发射的光被记录作为与传感器404上的多个像素位置中的光束的强度对应的值。即，通过一个微透镜生成的传感器上（图像感测元件上）的光学图像是沿不同方向观察的物点401的图像，因此，在传感器404中，多视角的图像被记录作为一个图像。

在重新聚焦处理中，能够通过扩展光束的组并且计算虚拟传感器的位置中的光强度、借助算术运算来获得虚拟传感器中记录的图像（重新聚焦图像）。这里，由于来自物点401的光散布，所以虚拟传感器A（409）的位置中记录的图像的计算提供模糊图像。另一方面，由于来自物点401的光会聚在一点上，所以虚拟传感器B（410）的位置中记录的图像的计算提供对焦图像。通过如上所述的计算调节虚拟传感器的位置以获取虚拟传感器的位置中记录的图像的处理，对应于调节通常光学系统中的焦点位置的操作。如图4中所示，为了获得沿更多不同方向观察的物点401的图像，优选摄像单元中提供的光圈403处于光圈尽可能打开的状态。以上是在图像被拍摄后获得具有通过计算调节的焦点位置的图像的重新聚焦处理的原理。

图5A是示意性地示出在图4中光圈403全打开的状态下拍摄均匀被摄体501的图像的情况下记录在传感器404中的被摄体图像502的图。这里，假设光圈403的形状是圆。在拍摄诸如被摄体501的均匀被摄体的图像的情况下，在不存在阴影影响的状态下，传感器404上的图像的形状基本与光圈403的形状相同，即是圆。在图5A中，在查看通过微透镜阵列405获得的传感器404上的图像502的情况下，由于主透镜402的阴影化，因此与中央附近的图像的形状相比较，上端部分与下端部分的图像502的形状与圆十分不同。

另一方面，图5B是示意性地示出在图4中缩小光圈403的状态下拍摄相同被摄体501的图像的情况下记录在传感器404中的被摄体图像503的图。通过缩小光圈403，主透镜402的阴影化的影响被抑制，并且通过微透镜阵列405获得的传感器404上的图像503的形状在各位置基本上是均匀的圆。

图6A至图6C示出了在光圈403完全打开的状态下（例如，F值是2.8）拍摄均匀表面光源的图像的情况下传感器404上的拍摄图像。图6A示出了拍摄图像的整体，图6B是其左上端部分的放大图，图6C是其中央部分的放大图。在左上端部分的放大图中，通过各微透镜的图像由于透镜的阴影化被变形成椭圆。与之不同，在中央部分的放大图中，透镜的阴影化的影响轻微，因此，通过各微透镜的图像不变形并且保持接近正圆的形状。如上所述，在光圈完全打开的状态下拍摄图像的情况下，传感器上的图像的形状发生空间不均匀性。然而，如图4中所说明的，为了获得沿更多不同的视角观察的被摄体图像，优选在光圈完全打开的状态下拍摄被摄体的图像。

图7A至图7C示出了在光圈403缩小的状态下（例如，F值为11）拍摄均匀面光源的图像的情况下传感器404上的拍摄图像。图7A示出了拍摄图像的整体，图7B是其左上端部分的放大图，图7C是其中央部分的放大图。与图6A至图6C不同，透镜的阴影化的影响在各部分中都轻微，即使在左上端部分的放大图（图7B）中，通过各微透镜的图像也不变形并且保持圆形。

稍后要描述的微透镜阵列的校准通过利用以下特性来进行，即在光圈缩小的状态下拍摄图像的情况下，通过各微透镜阵列获得的传感器上的图像的形状基本与上述相同。

<图像处理单元112的说明>

图8是示出图像处理单元112的内部结构的框图。

图像处理单元112主要包括校准单元803、存储器单元808以及图像组合单元809。校准单元803计算摄像单元100的微透镜阵列206中的各微透镜的光学中心位置。存储器单元808存储校准单元803的结果。图像组合单元809基于校准结果组合图像。

摄像模式确定单元801确定来自用户的指令是否是微透镜阵列的校准以及其是否是最终摄像。

附图标记802代表摄像单元（拍摄图像数据获取单元），其被构造为获取摄像单元100经由总线104提供的彩色图像数据。

校准参数获取单元804获取校准所需的各种参数。具体地，校准参数获取单元804获取在微透镜阵列206中布置的垂直方向和水平方向上的微透镜的数量，从设计值获得的传感器上的各微透镜的光学中心位置，以及经由微透镜在传感器上的图像的重心位置。

附图标记805代表被构造为将彩色图像数据转换成二值图像数据的二值图像转换单元。

重心位置计算单元806接收从校准参数获取单元804提供的参数以及从二值图像转换单元805提供的二值图像数据，并且计算通过各微透镜在传感器上的各图像的重心位置。

偏差计算单元807计算用于进行图像组合处理中的精确重新聚焦处理的信息，诸如微透镜阵列206中的各微透镜的位置与设计值的偏差或者反映该偏差的各微透镜的实际光学中心位置。

组合参数获取单元810获取图像组合单元809所需的摄像单元100的光学数据等。

图像组合单元809生成任意焦点位置中的组合图像数据。

根据本实施例的图像处理单元112的整体或部分可以用作独立的图像处理设备，并且可以通过被适当地并入摄像设备主体、PC等中来实现。

图9是示出根据本实施例的摄像设备中从校准的执行到组合图像数据的输出的一系列处理流程的流程图。该一系列的处理在CPU101将描述有以下所示的过程的计算机可执行程序从ROM103读取到RAM102上、之后执行所述程序的情况下进行。

在步骤S901中，摄像模式确定单元801确定从操作单元105提供的与摄像模式相关的用户指令是否是校准指令。在用户指令是校准指令的情况下，过程进行到步骤S902。另一方面，在不是校准指令的情况下，过程进行到步骤S907。

在步骤S902中，主透镜402的光圈缩小。具体地，摄像单元控制单元108调节主透镜402的光圈，从而f光圈（F值）变为相对大于最终摄像时的值的值（例如，F11）。

在步骤S903中，摄像单元100拍摄要用于微透镜阵列405的校准的被摄体图像。作为用于校准的被摄体图像，优选具有相对均匀亮度分布的明亮被摄体，从而提高校准精度。

在步骤S904中，数字信号处理单元109输出用于校准拍摄的图像的数据（校准图像数据）。

在步骤S905中，校准单元803进行微透镜阵列405的校准。稍后将描述校准处理的详情。

在步骤S906中，存储器单元808保持从校准单元803提供的校准结果。

在步骤S907中，摄像模式确定单元801确定从操作单元105提供的与摄像模式相关的用户指令是否是最终摄像指令。在用户指令是最终摄像指令的情况下，过程进行到步骤S908。另一方面，在用户指令不是最终摄像指令的情况下，过程返回到步骤S901。

在步骤S908中，摄像单元控制单元108将主透镜402的光圈设置为任意值。具体地，调节主透镜402的光圈，使得f光圈（F值）变为相对小于校准时的值的值（例如，F2.8）。

在步骤S909中，摄像单元100拍摄被摄体的图像，作为最终摄像。

在步骤S910中，数字信号处理单元109输出针对最终摄像所拍摄的图像的数据。

在步骤S911中，图像组合单元809进行任意焦点位置的图像组合处理。稍后将描述图像组合处理的详情。

<校准处理>

接着，说明步骤S905的校准处理的详情。

图10是示出校准单元803中的处理的流程的流程图。

在步骤S1001中，校准单元803从图像获取单元802接收校准图像数据。这里接收的校准图像数据是在光圈缩小的状态下拍摄的彩色图像的数据（参见图7A至图7C）。

在步骤S1002中，二值图像转换单元805将彩色图像数据转换成二值图像数据I(x,y)。这里，(x,y)是代表传感器上的像素位置的坐标。二值图像转换单元805将彩色图像数据中的像素值与预先指定的阈值相比较，并且将彩色图像数据转换成二值图像数据I(x,y)，使得以白色代表的像素位置的像素值是“1”，以黑色代表的像素位置的像素值是“0”。例如，二值图像转换单元805将彩色图像转换成黑白图像，然后将黑白图像的像素值的中值设置为阈值，由此将彩色图像转换成二值图像。

在步骤S1003中，校准参数获取单元804获取校准微透镜阵列所需的各种参数。具体地，校准参数获取单元804获取信息，诸如传感器像素的数量、垂直方向和水平方向上的微透镜的数量、从设计值获得的对应于各微透镜的传感器上的图像的重心位置以及从设计值获得的各微透镜的光学中心位置。假设微透镜阵列具有在水平方向上布置有M个微透镜并且在垂直方向上布置有N个微透镜（M，N为自然数）的结构。

在步骤S1004中，重心位置计算单元806由在步骤1002中获得的二值图像数据计算经由各微透镜的传感器上的图像的重心位置。稍后将描述重心位置计算处理的详情。

在步骤S1005中，偏差计算单元807计算各微透镜的位置与设计值的偏差（或与其等同的信息）。稍后将描述偏差计算处理的详情。

<重心位置计算处理>

接着，说明步骤S1004的重心位置计算处理的详情。

图11是示出重心位置计算单元806中的处理流程的流程图。

在步骤S1101中，重心位置计算单元806设置作为处理目标的关注微透镜(m,n）。这里，(m,n)代表表示微透镜的位置的坐标，m是代表水平位置的坐标，n是代表垂直位置的坐标。这里，(m,n)是整数值，即m=0,1,…,M-1并且n=0,1,…,N-1，这里M是水平方向上的微透镜的数量，N是垂直方向上的微透镜的数量。在处理开始时，作为初始值，设置(m,n)=(0,0)。

在步骤S1102中，重心位置计算单元806设置在计算重心位置的情况下使用的参照范围。具体地，设置满足如下公式(1)至公式(4)的参照范围。

Lx(m)≤x<Lx(m+1)···公式(1)

Ly(n)≤y<Ly(n+1)···公式(2)

Lx(m)＝(Sx/M)×m+a···公式(3)

Ly(n)＝(Sy/M)×m+b···公式(4)

这里，（x,y）代表传感器上的像素位置，Sx是传感器的水平方向上的像素的数量，Sy是传感器的垂直方向上的像素的数量，a和b是偏移值。图12是用于说明在当前步骤设置的参照范围的图。在图12中，左上端部分示出了关注微透镜（m,n），并且通过适当地设置偏移值a和b的值，将参照范围设置为使得包括关注微透镜的传感器上的图像。

返回说明图11的流程图。

在步骤S1102中设置了在计算重心位置时使用的参照范围的情况下，在步骤S1103中重心位置计算单元806获得对应于关注微透镜（m,n）的传感器上的图像的重心位置(Cx(m,n),Cy(m,n))。具体地，利用以下的公式（5）到公式（7）来计算重心位置。

$C_x(m,n)=\frac{1}{S}\underset{y=\mathrm{Ly}\left(n\right)}{\overset{\mathrm{Ly}(n+1)-1}{\mathrm{\&Sigma;}}}\underset{x=\mathrm{Lx}\left(m\right)}{\overset{\mathrm{Lx}(m+1)-1}{\mathrm{\&Sigma;}}}I(x,y)x$ 公式（5）

$C_y(m,n)=\frac{1}{S}\underset{y=\mathrm{Ly}\left(n\right)}{\overset{\mathrm{Ly}(n+1)-1}{\mathrm{\&Sigma;}}}\underset{x=\mathrm{Lx}\left(m\right)}{\overset{\mathrm{Lx}(m+1)-1}{\mathrm{\&Sigma;}}}I(x,y)x$ 公式（6）

$S=\underset{y=\mathrm{Ly}\left(n\right)}{\overset{\mathrm{Ly}(n+1)-1}{\mathrm{\&Sigma;}}}\underset{x=\mathrm{Lx}\left(m\right)}{\overset{\mathrm{Lx}(m+1)-1}{\mathrm{\&Sigma;}}}I(x,y)$ 公式（7）

这里，I(x,y)是在二值图像转换单元805中转换的二值图像数据，值“1”被输入到与对应于微透镜的传感器上的图像对应的像素，值“0”被输入到其他像素位置。S代表参照范围中包括的图像数据I(x,y)的像素值是“1”的像素的数量。

在步骤S1104中，重心位置计算单元806确定针对全部微透镜是否完成了计算传感器上的图像的重心位置的处理。在存在尚未被处理的微透镜的情况下，过程返回到步骤S1101并且设置下一关注微透镜（m，n）并且重复步骤S1102至步骤S1104的处理。另一方面，在重心位置计算单元806确定针对全部微透镜完成了计算传感器上的图像的重心位置的处理的情况下，过程进行到步骤S1105。

在步骤S1105中，重心位置计算单元806输出从拍摄图像数据（二值图像数据）获得的对应于各微透镜的传感器上的图像的重心位置（Cx（m，n），Cy（m，n））。

<偏差计算处理>

接着，说明步骤S1005的偏差计算处理的详情。这里，说明如下情况下的处理，其中计算各微透镜的位置与设计值的偏差量，并且进一步计算并输出反映偏差量的各微透镜的实际光学中心位置。

图13是示出偏差计算单元807中的处理流程的流程图。

在步骤S1301中，偏差计算单元807分别基于拍摄图像数据和设计值获取传感器上的图像的重心位置，以及基于设计值获取各微透镜的光学中心位置。从重心位置计算单元806获取基于拍摄图像数据的传感器上的图像的重心位置(Cx(m,n),Cy(m,n))。从校准参数获取单元804获取基于设计值的传感器上的图像的重心位置（Cx_s(m,n),Cy_s(m,n)），以及从校准参数获取单元804获取基于设计值的各微透镜的光学中心位置（Ox_s(m,n),Oy_s(m,n)）。

在步骤S1302中，偏差计算单元807设置作为处理目标的关注微透镜（m,n）。在处理开始时，作为初始值，设置（m,n）=（0,0）。

在步骤S1303中，偏差计算单元807获得由拍摄图像数据计算的传感器上的图像的重心位置（Cx(m,n),Cy(m,n)）与由设计值获得的传感器上的图像的重心位置（Cx_s(m,n),Cy_s(m,n)）之间的偏差。具体地，由以下的公式（8）和公式（9）来计算这两个重心位置之间的偏差量（Sx(m,n),Sy(m,n)）。

Sx(m,n)＝Cx(m,n)-Cx_s(m,n)公式(8)

Sy(m,n)＝Cy(m,n)-Cy_s(m,n)公式(9)

在步骤S1304中，偏差计算单元807由计算出的偏差量（Sx（m，n），Sy（m，n））以及基于设计值的光学中心位置（Ox_s(m,n),Oy_s(m,n)）来获得关注微透镜的实际光学中心位置。具体地，偏差计算单元807由以下的公式（10）和公式（11）来计算实际光学中心位置（Ox(m,n),Oy(m,n)）。

Ox(m,n)=Ox_s(m,n)+Sx(m,n)···公式(10)

Oy(m,n)＝Oy_s(m,n)+Sy(m,n)···公式(11)

在本实施例中，获得对应于各微透镜的传感器上的图像的重心位置的偏差量，并且基于获得的偏差量来计算各微透镜的实际光学中心位置。理由如下。

图14是示出对应于各微透镜的传感器上的图像的重心位置与各微透镜的实际光学中心位置之间的关系的图。从图14中明显看出，通过本实施例中的微透镜阵列405获得的传感器404上的图像1404至1406被基本形成为正圆。在这种情况下，入射到布置在微透镜阵列405的中央附近的微透镜1402上的光从前侧方向平行进入。由此，传感器404上的图像1405的重心位置1408与微透镜的光学中心位置1411一致。然而，入射到布置在微透镜阵列405的端部的微透镜1401或1403上的光以倾斜方向进入。由此，传感器404上的图像1404的重心位置1407（图像1406的重心位置1409）与微透镜的光学中心位置1410（光学中心位置1412）不一致。如上所述，在微透镜阵列405的端部识别由传感器404上形成的图像的重心位置获得微透镜的实际光学中心位置是尤为困难的。为此，在本实施例中，通过获得由拍摄的图像数据计算出的对应于各微透镜的传感器上的图像的重心位置与由设计值获得的传感器上的图像的重心位置之间的偏差量，来获得各微透镜的实际光学中心位置。

返回说明图13的流程图。

在步骤S1305中，偏差计算单元807确定是否针对全部微透镜完成了微透镜的实际光学中心位置的计算。在存在尚未处理的处理微透镜的情况下，过程返回到步骤S1302，并且设置下一关注微透镜（m，n）并且重复步骤S1302至S1304的处理。另一方面，在偏差计算单元807确定针对全部微透镜完成了微透镜的实际光学中心位置的计算的情况下，过程进行到步骤S1306。

在步骤S1306中，偏差计算单元807输出计算出的各微透镜的实际光学中心位置。这里，仅输出由传感器上的图像的重心位置的偏差量获得的各微透镜的实际光学中心位置，但是不限于此。稍后描述的图像组合处理中需要的是反映各微透镜的位置与设计值的偏差，并且输出需要的信息。图15是示出当前步骤可以输出的信息的示例。这里，示出各项信息，诸如基于拍摄图像数据的传感器上的图像的重心位置、基于设计值的传感器上的图像的重心位置、基于设计值的微透镜的光学中心位置、传感器上的图像的重心位置的偏差量、以及微透镜的实际光学中心位置。例如，在本实施例中，在图像组合处理（稍后描述的步骤S1701）期间读取并获取预先存储在RAM102等中的基于设计值的微透镜的光学中心位置的信息。然而，还能够在本步骤中通过将基于设计值的微透镜的光学中心位置的信息连同实际光学中心位置的信息一同输出而省略在图像组合出了期间基于设计值对微透镜的光学中心位置的获取。如上所述，在考虑到后续处理的内容之后确定偏差计算处理中输出的内容。

<图像组合处理>

接着，说明步骤S911的图像组合处理的详情。图16是示出图像组合单元809的内部结构的图。

图像组合单元809包括像素位置计算单元1601、色彩导出单元1602、以及像素值计算单元1603，另外，像素值计算单元1603包括缓冲器1604和像素值组合单元1605。在图像组合单元809中，由从图像获取单元802发送的数字值的输入图像数据（多视角图像数据）来计算组合图像中的像素值，并且在这些单元中进行按照计算顺序输出像素值的处理。以下将对此详细说明。

图17是示出图像组合处理的流程的流程图。为了简化说明，假设从图像获取单元802提供的数字值的输入图像数据是一维的。

在步骤S1701中，图像组合单元809获取输入图像数据中的预定像素的像素值及像素位置，另外还获取图像组合所需的光学参数及组合参数。这里，光学参数指摄像时物理决定的各种参数，例如由设计值获得的微透镜的光学中心位置，以及诸如σreal的值。通过读取预先在RAM102等中保持的内容来获取该信息。组合参数指与图像处理相关的、能够适当地改变设置的各种参数，例如诸如对应于任意焦点位置的σvirtual的值。例如，基于来自用户的用于经由操作单元105指定任意焦点位置的输入操作来获取该信息。

在步骤S1702中，像素位置计算单元1601计算输入图像数据中的预定像素的组合图像中的像素位置。图18是用于说明计算方法的图。这里，假设对应于传感器1801上的传感器像素区域1803的像素被输入到图像组合单元809。在这种情况下，作为结果，像素位置计算单元1601计算对应于传感器像素区域1803的虚拟传感器1802上的投影区域1806。在图18中，Ox(m,n)代表微透镜1804的光学中心的位置，(m,n)代表微透镜的坐标位置。输入像素的位置（在图18中，传感器像素区域1803的中心）由x代表。X1和X2是通过计算获得的虚拟传感器1802上的位置，计算出的X1与X2之间的区域是投影区域1806。在根据本实施例的发明中，作为Ox(m,n)，不使用设计值，而使用在前描述的偏差计算处理中计算出的实际光学中心位置。即，如图18中所示，投影区域1806是输入图像数据的像素在组合图像中的位置，其是利用计算出的微透镜1804的实际光学中心位置作为基准、使传感器像素区域1803投影在虚拟传感器1802上而得到。然后，σreal是传感器1801与各微透镜之间的距离，σvirtual是各微透镜与虚拟传感器1802之间的距离。从图18明显看出，投影区域1806相对于传感器像素区域1803被放大，并且放大比率是σvirtual/σreal。这里，根据由用户指定的任意焦点位置来预先设置σvirtual。例如，通过光学模拟预先获得任意焦点位置与该焦点位置的被摄体的图像被清晰形成的虚拟传感器的位置之间的对应关系并且将其存储在ROM103等中，由此，σvirtual通过图像组合单元809适当地参照该对应关系来设置。根据以下的公式（12）与公式（13）来进行定义投影区域1806的X1和X2的位置的计算。

X1＝Ox(m,n)+(σvirtual/σreal)(x+s/2-Ox(m,n))···公式(12)

X2＝Ox(m,n)+(σvirtual/σreal)(x-s/2-Ox(m,n))···公式(13)

在上述公式（12）和公式（13）中，s代表传感器像素区域1803的大小。计算出的X1和X2的信息被发送到像素值计算单元1603。

以这种方式，考虑到微透镜的实际光学中心位置，将输入图像数据的各像素的像素位置与根据任意焦点位置的组合图像的像素位置彼此关联。返回说明图17的流程图。

在步骤S1703中，色彩导出单元1602导出输入图像数据的各像素的颜色。颜色的种类根据色彩滤波器阵列的滤波器光谱灵敏度包括RGB、红外+RGB、CMY等。这里，考虑RGB三种颜色的情况。色彩导出单元1602参照表示输入像素位置与颜色之间的对应的表，并且导出输入像素的颜色。例如，在分辨率是6百万像素的情况下，表示输入像素位置与颜色之间的对应的表是在垂直方向上具有2000像素在水平方向上具有3000像素的表，并且可以被保持在ROM103等中。另外，在输入像素位置与颜色之间的关系通过数学等式明确的情况下，诸如在摄像单元100包括Bayer阵列的色彩滤波器阵列的情况下，还能够通过预定算术运算从输入像素位置获得颜色。导出的颜色的信息被输出到像素值计算单元1603。

在步骤S1704中，像素值计算单元1603更新缓冲器1604内的数据。具体地，对应于计算出的组合图像中的像素位置以及导出的颜色的输入图像数据中的像素值被存储在缓冲器1604中。图19示出了存储在缓冲器1604中的中间数据的示例。在图19中，在索引1901至1903中，分别保持一个或多个像素值。在当前步骤中，输入像素值被添加/存储，并且根据从像素位置计算单元1601接收的组合图像中的像素位置以及从色彩导出单元1602接收的颜色的信息来更新中间数据。在图19的示例中，组合图像中的像素位置由整数表现，但是通过上述公式（12）和（13）计算出的X1和X2一般不是整数。为此，还能够接受非整数值作为识别组合图像中的像素位置的数值，并且使用小数部分作为组合图像的像素值的计算中的权重。例如，考虑像素值20被分配给表示组合图像中的像素位置的坐标（10,10.4）并且类似地像素值10被分配给坐标（10,10.1）的情况。在这种情况下，针对表示组合图像中的像素位置的坐标（10,10），通过诸如(0.1*20+0.4*10)/(0.1+0.4)等的加权计算来分配像素值12。

在步骤S1705中，像素值计算单元1603确定是否针对预定索引（index）完成了中间数据的更新，即，是否像素值被完全分配在任何一个索引中。例如，在两个像素值（24和26）被存储在图19的索引1901（像素位置是坐标（10，10）并且颜色是R的部分）中的情况下，确定中间数据的更新完成。能够通过预先针对各索引计算应当被存储的像素值的数量以及通过确定所存储的像素值的数量是否达到该数量来进行该确定。

这里，按照如下来预先获得应当针对各索引存储的像素值的数量。首先，提供全部像素值均为1的虚拟拍摄图像，然后利用该虚拟图像作为输入图像数据进行步骤S1702至步骤S1704的处理。然后，在对全部像素进行了处理后，针对各索引计数所存储的像素值的数量。在通过这种确定处理确定了应当被添加的像素值全部被分配在任意一个索引中的情况下，过程进行到步骤S1707。另一方面，在确定像素值没有被完全分配在任意一个索引中的情况下，过程返回到步骤S1702并且对下一像素重复步骤S1701至步骤S1704的处理。

在步骤S1706中，像素值组合单元1605从缓冲器1604中获取更新已完成的索引的中间数据（多视角图像的像素值），并且计算并输出其平均值作为组合图像的像素值。例如，在图19的索引1901的更新已完成的情况下，首先，作为用于组合的像素值的数量，获取“2”，并且作为用于组合的多视角图像的像素值，获取“24”和“26”。然后，通过将用于组合的多视角图像的像素值的和“24+26”除以用于组合的像素值的数量“2”而计算获得平均值“25”。然后，计算出的平均值“25”被输出作为对应于坐标（10,10）和颜色：R的组合图像的像素值。

在步骤S1707中，图像组合单元809确定是否针对输入图像数据的全部像素完成了上述处理。在不存在尚未处理的输入像素的情况下，退出本处理。另一方面，在存在尚未处理的输入像素的情况下，过程返回到步骤S1702并且重复步骤S1702至步骤S1707。

通过上述处理，考虑到各微透镜的实际光学中心位置顺序地计算任意焦点位置的组合图像的像素值。

在本实施例中，微透镜阵列被布置在主透镜的成像位置（参见之前描述的图5A和图5B），但是微透镜阵列的布置位置不限于主透镜的成像位置。例如，如图20所示，还能够将微透镜阵列布置在远离成像位置并且靠近传感器的位置，从而观察在主透镜的成像位置形成的空中图像（aerialimage）。另外，还能够以与图20的示例中的方式相反的方式，在比主透镜的图像位置更靠近主透镜的一侧上布置微透镜阵列。在根据本实施例的发明中，任意结构可以被接受，只要该结构是其中微透镜阵列布置在光圈与传感器之间的结构即可。

如以上说明的，根据本实施例的发明，考虑到微透镜阵列中的各微透镜的位置与设计值的偏差，由于进行重新聚焦处理而能够提供更清晰的重新聚焦图像。

[第二实施例]

第一实施例的方面在于，其中将微透镜阵列校准时选择的主透镜的f光圈（F值）设置为相对大于在最终摄像时主透镜的f光圈的值（光圈缩小的状态）。接着，将说明如下方面作为第二实施例，其中分析校准时拍摄的图像的数据，选择主透镜的适当的f光圈，然后进行微透镜阵列的校准。与第一实施例共同部分的说明被简化或省略，并且这里主要说明不同点。

<图像处理单元的结构图>

图21是示出本实施例中的图像处理单元112的内部结构的框图。图像分析单元2101被添加到图8中说明的第一实施例的图像处理单元112。图像分析单元2101分析从图像获取单元802提供的为校准拍摄的图像的数据，并且确定主透镜的f光圈是否被适当设置。其他处理单元基本与图8中的相同，因此省略说明。

图22是示出根据本实施例的摄像设备中从校准的执行到任意焦点位置的组合图像数据的输出的一系列处理流程的流程图。与第一实施例的图9的流程图一样，在CPU101将描述有以下所示的过程的计算机可执行程序从ROM103读取到RAM102、然后执行所述程序的情况下进行该一系列处理。

在步骤S2201中，摄像单元控制单元108设置主透镜的光圈完全打开的状态。例如，在主透镜完全打开的状态下F值是F2.8的情况下，光圈被设置为使得实现F2.8。

在步骤S2202中，摄像模式确定单元801确定从操作单元105提供的摄像模式的指令是否是校准指令。在摄像模式的指令是校准指令的情况下，过程进行到步骤S2203。另一方面，在步骤S2202中，在摄像模式的指令不是校准指令的情况下，过程进行到步骤S2210。步骤S2203和S2204与根据第一实施例的图9的流程图的步骤S903和S904相同，并且获取通过拍摄用于校准的被摄体的图像而获得的校准图像数据。

在步骤S2205中，图像分析单元2101分析从图像获取单元802输入的校准图像数据。稍后将描述分析处理的详情。

在步骤S2206中，图像分析单元2101确定输入图像数据的图像是否是可以进行校准的图像。在确定图像是可以进行校准的图像的情况下，过程进行到步骤S2208。另一方面，在确定图像不是可以进行校准的图像的情况下，过程进行到步骤S2207。

在步骤S2207中，改变主透镜的光圈的设置。具体地，主透镜的光圈缩小例如一级。如果在步骤S2201中主透镜的F值已被设置为F2.8，则F值被改变至增大一级的值（例如，F4）。在主透镜的光圈设置的改变完成的情况下，过程返回到步骤S2203并且利用改变后的f光圈来拍摄用于校准的被摄体的图像。重复上述处理，直到获得可以进行校准的图像数据为止。

在步骤S2208中，校准单元803进行微透镜阵列的校准处理。

步骤S2208至步骤S2214的处理与根据第一实施例的图9的流程图的步骤S905至S911相同，因此省略说明。然而，在步骤S2210中确定摄像模式的指令不是最终摄像的指令的情况下，下一步骤与第一实施例的步骤不同。即，过程不是返回到确定摄像模式的指令是否是校准指令的处理（步骤S2202），作为结果而是返回到设置主透镜的光圈完全打开的状态的处理（步骤S2201）。

在步骤S2201中，主透镜的F值被设置为F2.8，其是光圈完全打开的情况下的值，但是，用户还可以设置任意的F值。另外，在步骤S2207中，主透镜的光圈缩小一级，但是，还可以将光圈改变其他数量级（例如，二级或三级），或者基于经由操作单元105的用户输入来设置期望的f光圈。

<图像分析单元2101的说明>

图23是示出图像分析单元2101的内部结构的框图。

参数获取单元2301获取信息，诸如图像分析所需的传感器像素的数量以及垂直方向和水平方向上的微透镜的数量。

二值图像转换单元2302和重心位置计算单元2303与图8的校准单元803中包括的二值图像转换单元805和重心位置计算单元806相同。图像分析单元2101包括二值图像转换单元2302以及重心位置计算单元2303，因此，在本实施例中的校准单元803中不再需要二值图像转换单元805和重心位置计算单元806。

分析单元2304利用从二值图像转换单元2302提供的二值图像数据以及从重心位置计算单元2303提供的经由各微透镜在传感器上记录的图像的重心位置来分析校准是否适当。

确定单元2305基于分析单元2304的分析结果来确定是进行微透镜阵列的校准处理还是在改变主透镜的光圈后重新拍摄用于校准的图像。

图24是示出图像分析单元2101中的图像分析处理的流程的流程图。

在步骤S2401中，图像分析单元2101接收从图像获取单元802提供的校准图像数据。这里接收的校准图像数据是彩色图像数据。

在步骤S2402中，二值图像转换单元2302将彩色图像数据转换成二值图像数据I(x,y)。这里，(x,y)代表传感器上的像素位置。

在步骤S2403中，参数获取单元2301获取图像分析所需的传感器像素的数量以及垂直方向和水平方向上的微透镜的数量的信息。

在步骤S2404中，重心位置计算单元2303由从二值图像转换单元2302提供的二值图像数据来计算经由各微透镜在传感器上记录的图像的重心位置。重心位置的计算方法与第一实施例中说明的内容（参见图11的流程图）相同，因此省略说明。

在步骤S2405中，分析单元2304分析经由各微透镜的传感器上的图像。这里，说明如下技术，其中获得经由各微透镜的传感器上的图像的重心位置与邻接于该图像的边界部分的像素（边界像素）之间的距离（在下文中，称为“重心与边界之间的距离”）并且通过基于该距离的波动量的直方图来分析图像。图25是用于说明重心与边界之间的距离的概念的图，并且示出了从重心位置向着角度θi的方向检索图像的边界像素的处理。这里，d(m,n,θi)是对于微透镜(m,n)针对角度θi获得的重心与边界之间的距离。符号i是表示关注角度的索引。在本实施例中，围绕整个360°的圆周以15°的间隔来获得重心位置与边界之间的距离d(m,n,θi)。

图26是示出图像分析处理的流程的流程图。

在步骤S2601中，分析单元2304接收从二值图像转换单元2302提供的二值图像数据。

在步骤S2602中，分析单元2304获取由重心位置计算单元2303计算出的对应于各微透镜(m,n)的传感器上的图像的重心位置(Cx(m,n),Cy(m,n))。

在步骤S2603中，分析单元2304设置作为分析目标的关注微透镜。在处理开始时，作为初始值，设置(m,n)＝(0,0)。

在步骤S2604中，分析单元2304设置用于获得重心与边界之间的距离d(m,n,θi)的角度θi。如上所述，角度θi被顺序地设置为θ₀=0°,θ₁＝15°,…,θ₂₃=345°。在处理开始时，作为初始值，设置θ₀＝0°。

在步骤S2605中，分析单元2304按照设置的角度θi来计算图像的重心位置以及从重心位置至边界像素的距离。具体地，从对应于重心位置的像素位置开始，向着设置的角度θi的方向扫描图像以检索除图像以外的像素（这里，像素值为“0”的像素）。之后，检索邻接于该图像的像素（这里，像素值为“1”的像素）的像素（边界像素）。在找到边界像素的情况下，计算图像的重心位置与找到的边界像素之间的距离d_θi。

在步骤S2606中，分析单元2304确定是否针对全部角度θi完成了重心与边界之间的距离d(m,n,θi)的计算。在针对全部角度完成了重心与边界之间的距离的计算的情况下，过程进行到步骤S2607。在存在尚未完成重心与边界之间的距离的计算的角度的情况下，过程返回到步骤S2604，并且重复步骤S2604至S2606的处理，直到达到θ₂₃＝345°为止。

在步骤S2607中，分析单元2304针对微透镜(m,n)计算重心与边界之间的距离d(m,n,θi)的波动量。利用以下公式（14）来计算波动量div(m,n)。

div(m,n)＝std(d(m,n,θi))…公式(14)

这里，std()是用于计算标准偏差的函数。

在步骤S2608中，分析单元2304确定是否针对全部微透镜计算了波动量div(m,n)。在存在尚未处理的微透镜的情况下，过程返回到步骤S2603，并且设置下一关注微透镜阵列，然后，重复步骤S2604至步骤S2608的处理直到针对全部微透镜完成处理为止。另一方面，在确定针对全部微透镜完成了波动量div(m,n)的计算处理的情况下，过程进行到步骤S2609。

在步骤S2609中，分析单元2304创建波动量div(m,n)的直方图。分别地，图27A示出根据在光圈全打开的状态下拍摄的图像的数据计算的波动量div(m,n)的直方图，图27B示出根据在光圈缩小的状态下拍摄的图像的数据（参见图7A至图7C）计算的波动量div(m,n)的直方图。在图27A和图27B中，横轴代表波动量，纵轴代表频率。在图27A所示的直方图中，由于在拍摄图像的末端部分，图像的形状产生空间不均匀性（参见图6A至图6C），因此由于其影响，所以表示大波动量的微透镜的频率多。与此相对，在图27B所示的直方图中，由于不存在空间不均匀形状的微透镜（参见图7A至图7C），因此不出现表示大波动量的微透镜的频率。

在步骤S2610中，分析单元2304参照直方图并且计算波动量div(m,n)超出预先设置的阈值的微透镜的数量。已知当在图27A中所示的直方图中出现波动量超出阈值的多个微透镜时，在图27B所示的直方图中，不出现波动量超出阈值的微透镜。

在步骤S2611中，分析单元2304生成表示是否可以进行校准的输出。例如，分析单元2304向确定单元2305输出分析结果，诸如在步骤S2610中计算的微透镜的数量为“0”的情况下可以进行校准或者在计算的数量为“1”或更大的情况下不可以进行校准。

在本实施例中，在创建波动量div(m,n)的直方图后，通过与预先设置的阈值比较来确定是否可以进行校准。然而，还能够通过其他方法来确定是否可以进行校准，例如，通过关注其他指标，诸如波动量div(m,n)的最大值和平均值。

在本实施例中，在步骤S2405中分析微透镜的图像的情况下，关注重心与边界之间的距离的标准偏差，但是可以使用其他分析方法。例如，还能够通过获得与经由各微透镜的传感器上图像外接的矩形并且关注该外接矩形的纵横比来进行分析。还可以采用利用如下指标的另一分析方法，其中利用所述指标能够掌握经由微透镜阵列中的各微透镜的传感器上的图像的空间形状的波动。

如以上说明，根据本实施例的发明，使得能够通过分析为校准微透镜阵列获取的校准图像数据，并且确定该数据是否适合于校准来进行更精确的校准。

[第三实施例]

第二实施例的方面在于，其中分析针对微透镜阵列的校准而拍摄的图像的数据，并且在选择主透镜的适当f光圈（F值）之后进行校准。接下来，作为第三实施例说明了以下方面，其中分析针对校准而拍摄的图像的数据，并且在所拍摄图像的数据不适合校准的情况下，向用户给出针对该结果的警告。与第二实施例共同的部分的说明被简化或省略，这里主要说明不同点。

第三实施例中的图像处理单元112的内部结构与根据第二实施例的图21所示的图像处理单元112的内部结构基本相同。尽管未示意性地示出，但是不同点在于图像分析单元2101的分析结果除了被发送到操作单元205和校准单元803之外还被发送到显示控制单元107。

图28是示出根据本实施例的摄像设备中从校准的执行到任意焦点位置的组合图像数据的输出的一系列处理流程的流程图。

步骤S2801至S2806与图22的流程图中的步骤S2201至S2206相同，因此，省略说明。

在图像分析单元2101在步骤S2806中确定输入的图像数据不适合校准的情况下，过程进行到步骤S2808。另一方面，在确定输入的图像数据适合校准的情况下，图像分析单元2101进行步骤S2807至S2814的各步骤中的处理。步骤S2807至步骤S2814与图22的流程图中的步骤S2208至S2214相同，因此省略说明。

在步骤S2808中，显示控制单元107在显示单元106上显示表示针对校准拍摄的图像的数据不适合校准的消息（未示意性示出）等以向用户给出警告。在对用户给出警告的情况下，退出本处理。已接收到警告的用户例如改变主透镜的f光圈的设置，然后再次发出校准指令。

如以上所说明的，根据本实施例的发明，分析为校准微透镜阵列而获取的图像数据，并且在该图像数据不适合校准的情况下，对用户给出警告。由此，使得能够抑制校准的失败以及校准精度的降低。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储设备上的程序来执行前述实施例的功能的系统或装置的计算机（或诸如CPU或MPU的设备）来实现，并能够利用由通过例如读出并执行记录在存储设备上的程序来执行前述实施例的功能的系统或装置的计算机来执行各步骤的方法来实现。为此，例如经由网络或从充当存储设备的各种类型的记录介质（例如，计算机可读介质）将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有这些变型例以及等同结构和功能。

Claims (8)

1.一种图像处理设备，该图像处理设备包括：

图像数据获取单元，其被构造为获取由摄像设备获得的校准图像数据，所述摄像设备包括被构造为调节入射光量的光圈、具有多个透镜的透镜阵列、以及被构造为经由所述透镜阵列光电转换被摄体的图像的图像感测元件，其中根据校准所述透镜阵列的指令在缩小所述光圈的状态下获得所述图像；

被构造为基于所述校准图像数据获取对应于所述多个透镜的各个的所述图像感测元件上的图像的位置的单元；

偏差计算单元，其被构造为基于所述校准图像数据计算所述图像感测元件上的所述图像的位置与针对所述多个透镜的各个的所述图像的期望位置的偏差；以及

分析单元，其被构造为分析在所述光圈缩小的状态下获得的所述校准图像数据是否适合于所述偏差的计算，

其中，所述分析单元基于经由所述多个透镜的各个的所述图像感测元件上的所述图像的形状的波动量来进行所述分析。

2.根据权利要求1所述的图像处理设备，其中

所述图像的位置是所述图像的重心位置。

3.根据权利要求1所述的图像处理设备，其中

所述偏差计算单元基于计算出的所述偏差来计算所述多个透镜的各个的实际光学中心位置。

4.根据权利要求3所述的图像处理设备，所述图像处理设备还包括：

图像组合单元，其被构造为利用在所述光圈打开的状态下获得的图像数据，基于所述偏差计算单元计算出的所述偏差或所述实际光学中心位置来在任意焦点位置生成组合图像数据。

5.根据权利要求1所述的图像处理设备，其中

所述分析单元被布置为获得经由所述多个透镜的各个的所述图像感测元件上的所述图像的位置与邻接于所述图像的边界部分的边界像素之间的距离，并且基于获得的所述距离的波动量来进行所述分析。

6.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

被构造为在所述分析单元的分析结果为所述图像数据不适合于所述偏差的计算的情况下，将所述光圈的状态改变为进一步缩小所述光圈的状态的单元。

7.根据权利要求1所述的图像处理设备，其中

在所述分析单元的分析结果为所述图像数据不适合于所述偏差的计算的情况下，所述图像处理设备被布置为向用户给出针对该结果的警告。

8.一种图像处理方法，所述图像处理方法包括以下步骤：

获取由摄像设备获得的校准图像数据，所述摄像设备包括被构造为调节入射光量的光圈、具有多个透镜的透镜阵列、以及被构造为经由所述透镜阵列光电转换被摄体的图像的图像感测元件，其中所述摄像设备根据校准所述透镜阵列的指令在缩小所述光圈的状态下获得所述图像；以及

基于所述校准图像数据获取对应于所述多个透镜的各个的所述图像感测元件上的图像的位置；

基于所述校准图像数据计算所述图像感测元件上的所述图像的位置与针对所述多个透镜的各个的所述图像的期望位置的偏差；以及

分析在所述光圈缩小的状态下获得的所述校准图像数据是否适合于所述偏差的计算，

其中，基于经由所述多个透镜的各个的所述图像感测元件上的所述图像的形状的波动量来进行所述分析。