CN102682440B - 图像处理设备、摄像设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、摄像设备和图像处理方法。图像处理设备包括：获取单元，用于获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的所拍摄图像；指定单元，用于从多个所拍摄图像中指定缺陷图像；确定单元，用于基于拍摄到指定单元所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及合成单元，用于通过基于确定单元所确定的权重对多个所拍摄图像进行加权和合成来生成合成图像。

Description

图像处理设备、摄像设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，尤其涉及用于获取来自多个视点的所拍摄图像的技术。

背景技术

已经提出了用于获取来自多个视点的所拍摄图像的摄像设备(例如，Aaron Isaksen et al.“Dynamically ReparameterizedLight Fields”，Proc.ACM.SIGGRAPH，pp.297-306，2000)。该摄像设备包括多个摄像单元。各摄像单元拍摄图像，从而获取来自多个视点的所拍摄图像。在摄像之后，合成所拍摄图像以生成包含与离被摄体上的基准视点的距离相对应的模糊的图像(以下称为模糊图像)、具有高空间频率的图像或具有宽动态范围的图像等。特别地，模糊图像生成具有通过模糊背景而使主被摄体突出的效果并用于拍摄人的照片。以下将这种拍摄来自多个视点的图像的摄像设备称为多眼照相机。

多眼照相机包括与摄像单元的数量一样多的镜头。为此，用户很可能利用被他/她的手指覆盖的镜头进行拍摄。以下将利用用户的手指覆盖镜头称为“手指覆盖”。如果通过多眼照相机所获得的所拍摄图像组包括具有手指覆盖等的缺陷的图像，则图像合成可能失败，或者精度可能降低。

为了防止这个问题，提出了用于通过突出显示来向用户通知检测到多眼照相机上的手指覆盖的技术(例如，日本特开2010-114760)。然而，用户可能忽略通知并在不移除手指的情况下进行拍摄。

发明内容

做出本发明以解决上述问题，本发明提供以下技术：在用于获取来自多个视点的所拍摄图像的摄像设备中，即使所拍摄图像组包括具有缺陷的图像，也生成维持模糊的对称性的模糊图像。

根据本发明的一个方面，一种图像处理设备，包括：获取单元，用于获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；指定单元，用于从所述多个所拍摄图像中指定缺陷图像；确定单元，用于基于拍摄到所述指定单元所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及合成单元，用于通过基于所述确定单元所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像。

根据本发明的另一方面，一种摄像设备，包括：上述的图像处理设备；以及多个摄像单元，用于从不同视点拍摄被摄体。

根据本发明的又一方面，一种图像处理方法，包括以下步骤：获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；指定步骤，用于从所述多个所拍摄图像中指定缺陷图像；确定步骤，用于基于拍摄到所述指定步骤中所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及通过基于所述确定步骤中所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像。

根据本发明，提供以下技术：在用于获取来自多个视点的所拍摄图像的摄像设备中，即使所拍摄图像组包括具有缺陷的图像，也生成维持模糊的对称性的模糊图像。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的摄像设备(多眼照相机)的外观的图；

图2是示出多眼照相机的配置的框图；

图3是示出多眼照相机的各摄像单元的配置的框图；

图4是示出数字信号处理单元的处理的框图；

图5是示出图像合成单元的配置的框图；

图6是示意性示出手指覆盖的例子的图；

图7是示出模糊图像生成单元的配置的框图；

图8是示出图像合成处理的流程图；

图9是示意性示出基准视点和所拍摄图像的视点之间的距离关系的图；

图10是示出权重设置处理的流程图；

图11是示意性示出穿过基准视点的对称轴和摄像单元的图；

图12是示意性示出被摄体和各摄像单元的传感器之间的位置关系的图；

图13是示出所拍摄图像重叠处理的流程图；

图14是示出根据第二实施例的图像合成单元的配置的框图；

图15是示出根据第二实施例的图像合成处理的流程图；

图16A和16B是示意性示出根据第二实施例的重要摄像单元组的例子的图；

图17A和17B是示意性示出根据第二实施例的重要摄像单元组和基准视点的图；

图18是示出根据第三实施例的权重调整数据库的例子的图；

图19是示意性示出根据第三实施例的权重调整摄像单元的图；以及

图20是示意性示出根据第四实施例的摄像单元和对称轴的图。

具体实施方式

现在将参考附图详细说明本发明的实施例。注意，以下实施例不对权利要求的范围所确定的本发明造成限定，并且实施例中说明的特征的所有组合对于本发明的解决方式来说不是必须的。

第一实施例

根据本实施例，当通过合成来自不同视点的多个所拍摄图像来生成从预定基准视点所拍摄的模糊图像时，针对多个所拍摄图像中的缺陷图像和位于与缺陷图像对称的位置处的所拍摄图像设置较小的权重，然后合成图像。这使得可以生成维持模糊的对称性的模糊图像。

设备配置

图1示出根据本实施例的摄像设备的外观。本实施例的摄像设备是所谓的多眼照相机，其包括在单个平面上以正方形矩阵配置的25个摄像单元(照相机)以从不同视点拍摄图像。附图标记101～125表示摄像单元；附图标记126表示拍摄按钮；附图标记127表示电子闪光灯；以及附图标记128表示照相机主体。注意，多眼照相机中包括的照相机的数量不限于该示例(25个)，并且本发明可以应用至包括3个以上的任意数量的摄像单元的多眼照相机。

图2是示出根据本实施例的多眼照相机的内部配置的框图。图1所示的各摄像单元101～125利用传感器接收被摄体的光学信息，对信号进行A/D转换以获取所拍摄图像的数字数据(所拍摄图像数据)，并将数字数据输出至用作数据传送路径的总线215。

图3示出将要说明的各摄像单元101～125的详细配置。各摄像单元101～125包括用于检测被摄体的光量的摄像系统和用于将检测结果转换成信号值的转换系统。摄像系统包括变焦透镜301、调焦透镜302、模糊校正透镜303、光圈304、快门305、光学低通滤波器306、红外截止滤波器307、颜色滤波器308和诸如CMO S或C CD等的传感器309。转换系统包括用于将摄像系统所检测到的被摄体光量转换成数字数据并将数字数据输出至总线215的A/D转换单元310。

再参考图2，数字信号处理单元209接收经由总线215输入的所拍摄图像的数字数据，并进行各种图像处理。图4示出数字信号处理单元209的详细配置。如图4所示，数字信号处理单元209包括噪声降低处理单元401、白平衡控制单元402、颜色转换单元403和伽玛处理单元404。针对所输入的数字数据，噪声降低处理单元401进行噪声降低处理，白平衡控制单元402进行白平衡处理，颜色转换单元403进行颜色校正处理，并且伽玛处理单元404进行伽玛处理，从而生成数字图像信号。压缩/解压缩单元210将数字图像信号转换成诸如jpeg或mpeg等的压缩文件格式。

外部存储器控制单元211是将多眼照相机连接至PC或其它介质212(例如，硬盘、存储卡、CF卡、SD卡或USB存储器)的接口。

CPU203通过顺次进行读出ROM201或RAM202中存储的指示、解释它们并根据结果执行处理来进行多眼照相机的摄像控制和组件的所有处理。ROM201和RAM202将处理所需的程序、数据和工作区域等提供至CPU203。

摄像系统控制单元204基于CPU203的指示来控制摄像系统以例如进行调焦、打开快门并调节光圈。电子闪光灯214利用光照射被摄体。

操作单元205对应于输入用户指示所利用的按钮和模式拨盘等。

CG生成单元206生成文字和图形等。液晶显示器被广泛地用作显示单元208，显示单元208用于显示从CG生成单元206、数字信号处理单元209或后述的图像合成单元213接收到的文字和所拍摄图像。显示单元208可以具有触摸屏功能。在该情况下，可以作为操作单元205的输入来处理从显示单元208输入的用户指示。

图像合成单元213使用从摄像单元101～125获得的数字图像或从数字信号处理单元209输出的数字图像组来生成新的图像(模糊图像)，并将结果(合成图像数据)输出至总线215。图像合成单元213是本实施例的特征组件，并将在后面详细说明其处理。

注意，根据本实施例的多眼照相机还包括除上述以外的构成元件。然而，这些构成元件不是本发明的主旨，并且将省略其说明。

图像合成处理

以下将参考图5说明图像合成单元213的详细配置。图像合成单元213根据从摄像单元101～125输入的具有针对被摄体的不同视点的所拍摄图像组生成模糊图像，并输出模糊图像。

首先，缺陷指定单元501从摄像单元101～125获取的所拍摄图像组中指定由于手指覆盖等而导致被摄体图像的本应该拍摄的至少一部分丢失的图像，作为要从要合成的图像中排除的缺陷图像(缺陷图像数据)。图6是手指覆盖的示意图。可以使用例如将多个摄像单元所获得的所拍摄图像进行比较的已知的方法来进行缺陷指定单元501中缺陷图像的指定。例如，当所拍摄图像包括相对于其它所拍摄图像的极暗部分时，将所拍摄图像指定为发生手指覆盖的图像。当所拍摄图像相对于其它所拍摄图像在极端靠近摄像单元的距离处具有高的AF(自动调焦)评价值时，将所拍摄图像指定为发生手指覆盖的图像。注意，缺陷像素不需要总是具有手指覆盖的图像，并且可以将在存在镜头污染或裂纹等的异常摄像条件下所拍摄的任意图像指定为缺陷图像。另外，可以在实际拍摄之前进行预拍摄，以从预拍摄图像组指定缺陷图像。

基于缺陷指定单元501所指定的缺陷图像的视点，权重设置单元502针对摄像单元101～125所获取的所拍摄图像中的各所拍摄图像设置权重。后面将详细说明权重设置处理。

模糊图像生成单元503在预定基准视点处合成摄像单元101～125所获取的所拍摄图像组，从而生成从基准视点所拍摄的模糊图像。基准视点是拍摄模糊图像的虚拟视点。在本实施例中，将所拍摄图像的视点的重心定义为基准视点。例如，在图1所示的多眼照相机的例子中，与位于所有摄像单元101～125的中心的摄像单元113的视点相同的位置是基准视点。

这里将参考图8的流程图说明图像合成单元213的图像合成处理。在步骤S801中，缺陷指定单元501从摄像单元101～125所获取的所拍摄图像组中指定缺陷图像。在步骤S802中，权重设置单元502设置各所拍摄图像的权重。在步骤S803中，模糊图像生成单元503计算从各所拍摄图像的视点至基准视点的偏移量。在步骤S804中，对所拍摄图像进行加权和重叠。由此生成模糊图像。

权重设置处理(S802)

以下将详细说明权重设置单元502的权重设置处理。该处理与图8的步骤S802中的权重设置处理相对应。

权重设置单元502设置要用于后述的所拍摄图像重叠处理中所拍摄图像的加权和重叠的权重。例如，当计算与基准视点和各所拍摄图像的视点之间的距离相对应的权重wi，并在所拍摄图像重叠处理时使用权重wi时，所生成的模糊图像中的模糊变成关于基准视点点对称。权重wi由以下给出：

wi＝k·w’i                                 ...(1)

$w^{,}i=\exp (-\left(\sqrt{({\mathrm{lx}}^2+{\mathrm{ly}}^2)}\right)/C)...\left(2\right)$

其中，i是识别各所拍摄图像的识别符，k是后述的标准化系数，w’i是标准化之前的权重，以及C是任意常数。另外，如图9所示，lx和ly是基准视点和各所拍摄图像的视点之间的、水平方向(图1中配置摄像单元101～105的方向)和与水平方向垂直的垂直方向上的距离。从等式(1)中显然可知，基准视点和所拍摄图像的视点之间的距离越长，权重越小。

如果所拍摄图像包括缺陷，并且缺陷图像用于生成模糊图像，则模糊图像将具有差的质量或失败。在本实施例中，将由缺陷指定单元501判断为缺陷图像的所拍摄图像的权重wi设置为0，以不在模糊图像生成上反映该所拍摄图像，即不针对模糊图像生成使用该所拍摄图像。然而，当缺陷图像的权重wi是0时，权重wi关于基准视点的对称性破坏，并且模糊的对称性也破坏。在本实施例中，调节除缺陷图像的权重以外的权重wi以维持所拍摄图像的权重wi关于基准视点的对称性。

图10是示出权重设置单元502的权重设置处理的流程图。在步骤S1001中，将通过位于关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所获取的所拍摄图像选择为作为权重调整的对象的权重调整图像。

这里将参考图11说明权重调整图像选择方法。图11示意性示出摄像单元101～125和穿过摄像单元113的基准视点的4个对称轴1101～1104。例如，假定将摄像单元120所获取的所拍摄图像指定为缺陷图像。在该情况下，针对缺陷图像，将以下总共7个摄像单元所获取的所拍摄图像选择为权重调整图像。首先，选择在关于对称轴1101、1102、1103和1104与摄像单元120线对称的位置处的摄像单元110、116、124和102。另外，选择在关于对称轴1104与摄像单元110线对称的位置处的摄像单元104、在关于对称轴1104与摄像单元116线对称的位置处的摄像单元122、和在关于对称轴1103与摄像单元102线对称的位置处的摄像单元106。通过7个由此选择的摄像单元102、110、116、124、104、106和122所获取的所拍摄图像是权重调整图像。

如上所述，在本实施例中，首先指定在关于穿过基准视点的多个线1101、1102、1103和1104与第一摄像单元120对称的位置处的第二摄像单元110、116、124和102。另外，指定在关于线1101、1102、1103和1104与第二摄像单元110、116、124和102对称的位置处的第三摄像单元104、122和106。将通过第二摄像单元102、110、116、124和第三摄像单元104、106、122所拍摄的图像选择为权重调整图像。以这种方式，在基准视点周围配置缺陷图像和权重调整图像的摄像单元以关于基准视点相互点对称。

注意，实际上，需要将穿过基准视点的所有线考虑作为对称轴。即，需要将在关于穿过基准视点的任意线与摄像单元120对称的位置处的所有摄像单元选择为权重调整图像的摄像单元。然而，在图11所示的多眼照相机的例子中，由于仅在关于4个对称轴1101～1104线对称的位置处存在摄像单元，因而仅示出4个对称轴1101～1104。

注意，为了维持根据本实施例的合成之后的模糊的对称性，将在关于基准视点与拍摄到缺陷图像的摄像单元点对称的位置处的摄像单元所拍摄的图像选择为权重调整图像。当然，如图11所示，通过在基准视点周围的对称位置处散布多个摄像单元来更精确地维持模糊的对称性。

当以上述方式选择权重调整图像时，在步骤S1002中对标志i设置1以识别所拍摄图像。在步骤S1003中，将第i个所拍摄图像设置为关注图像。在步骤S1004中，利用等式(2)针对关注图像计算标准化之前的权重w’i。在步骤S1005中，判断关注图像是否是权重调整图像或缺陷图像。如果关注图像是权重调整图像或缺陷图像，则在步骤S1006中进行调整以将标准化之前的权重w’i设置为0。如果在步骤S1005中关注图像既不是权重调整图像也不是缺陷图像，则不调整标准化之前的权重w’i。由于针对缺陷图像和权重调整图像将w’i设置为0，因而所拍摄图像的权重wi的分布几乎关于基准视点点对称。

在步骤S1007中，判断i是否达到所拍摄图像的数量。如果i未达到所拍摄图像的数量，则在步骤S1008中将i增加1。重复步骤S1003～S1007的处理直到i达到所拍摄图像的数量为止。当i达到所拍摄图像的数量时，在步骤S1009中标准化所拍摄图像的权重w’i。通过设置等式(1)的标准化系数k以使得所拍摄图像的权重w’i的总和变成1.0来标准化权重w’i。

如上所述，将在关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所拍摄的图像选择为权重调整图像，并且将图像的权重调整为0，从而维持关于基准视点的模糊的对称性。

在上述例子中，针对缺陷图像和权重调整图像两者将标准化之前的权重w’i调整为0。然而，权重调整方法不限于该例子。进行调整以使得权重w’i比步骤S1004中利用等式(2)计算得到的值小。为了强调对称性，缺陷图像和权重调整图像的权重可以相等。权重公式不限于等式(1)和(2)，并且计算与各摄像单元的位置相对应的权重就可以了。

当权重调整图像的数量超过预定数量时，可以在显示单元208上显示警告以通知给用户。警告允许用户知道权重调整图像的数量超过上限，即缺陷图像的数量落在允许范围以外。

模糊图像生成处理(S803、S804)

以下将详细说明模糊图像生成单元503的模糊图像生成处理。该处理与图8的步骤S803中的偏移量计算处理和步骤S804中的所拍摄图像重叠处理相对应。

图7示出模糊图像生成单元503的详细配置。偏移量计算单元701计算从各所拍摄图像的视点至基准视点的偏移量。拍摄图像重叠单元702将各所拍摄图像偏移由偏移量计算单元701所计算得到的偏移量，以使得各所拍摄图像的视点与基准视点一致，并基于权重设置单元502所设置的权重来重叠图像，由此生成从基准视点所拍摄的模糊图像。

首先将参考图12说明偏移量计算单元701的偏移量计算处理。图12是示意性示出被摄体和各摄像单元的传感器之间的位置关系的图。参考图12，传感器平面1201是摄像单元101～125的传感器309所位于的平面，被摄体焦平面1202是摄像单元101～125聚焦的距离处的平面，以及视点平面1203是包括摄像单元101～125的所有视点的平面。另外，f是摄像单元101～125的焦距，以及sx是水平方向(图1中配置摄像单元101～105的方向)上传感器309的长度。注意，传感器309的水平像素的数量由nx表示。另外，rx是被摄体焦平面1202上的传感器309的所有像素的摄像范围的水平长度，ox是被摄体焦平面1202上的传感器309的一个像素的摄像范围的水平长度，lx是从基准视点至所拍摄图像的视点的水平距离，以及d是从被摄体焦平面1202至视点平面1203的距离。

在本实施例的偏移量计算处理中，计算为了使得所拍摄图像与从基准视点拍摄的图像一致、各所拍摄图像需要被偏移的像素数。由于从基准视点至各所拍摄图像的视点的距离是lx，因而计算与lx相对应的像素数作为偏移量。通过以下给出与在距离被摄体焦平面1202距离d的视点平面1203上的lx相对应的像素数px：

px＝lx/ox                                   ...(3)

ox＝rx/nx                                   ...(4)

rx＝sx·(d/f)                               ...(5)

在本实施例中，将由此计算得到的针对距离d与lx相对应的像素数px定义为从各所拍摄图像的视点至基准视点的偏移量。在该情况下，在距离视点平面1203距离d的被摄体焦平面1202上的被摄体实际上在所拍摄图像中重叠。因此，当重叠所拍摄图像时，不发生模糊。另一方面，针对距离视点平面1203除d以外的距离、即从被摄体焦平面1202偏移的位置处的被摄体，与lx相对应的像素数改变。为此，被摄体在所拍摄图像中不重叠，并且在重叠之后发生模糊。

以上说明了水平偏移量px。通过以下类似地给出垂直偏移量py：

py＝ly/oy                                  ...(6)

oy＝ry/ny                                  ...(7)

ry＝sy·(d/f)                              ...(8)

其中，ly是从基准视点至各所拍摄图像的视点的垂直距离，ny是传感器309的垂直像素数，ry是被摄体焦平面1202上传感器309的所有像素的摄像范围的垂直长度，oy是被摄体焦平面1202上传感器309的一个像素的摄像范围的垂直长度，以及sy是传感器309的垂直长度。

接着将参考图13的流程图说明拍摄图像重叠单元702的所拍摄图像重叠处理。在步骤S1301中，将模糊图像的所有像素的像素值初始化为0。在步骤S1302中，将标志j设置为1以识别所拍摄图像。在步骤S1303中，将第j个所拍摄图像设置为关注图像。在步骤S1304中，使用权重设置单元502所设置的权重来对关注图像的所有像素的像素值进行加权。通过以下进行加权：

v’jk＝wj·vjk    ...(9)

其中，vjk是加权之前的像素值，wj是所拍摄图像的权重，v’jk是加权之后的像素值，以及k是表示所拍摄图像的各像素的识别符。

在步骤S1305中，在基准视点的方向上将关注图像偏移由偏移量计算单元701所计算得到的偏移量，由此使得关注图像的视点与基准视点一致。在步骤S1306中，在模糊图像的像素值上重叠关注图像的像素值。

在步骤S1307中，判断j是否达到所拍摄图像的数量。如果j未达到所拍摄图像的数量，则在步骤S1308中j增加1。重复步骤S1303～S1307的处理直到j达到所拍摄图像的数量。当j达到所拍摄图像的数量时，完成模糊图像生成。

如上所述，根据本实施例，选择位于关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所获取的所拍摄图像。通过针对所拍摄图像设置较小的权重(例如，0)来生成模糊图像。这允许维持模糊图像中的模糊的对称性。

在本实施例中，举例说明了包括以正方形矩阵配置的25个摄像单元的多眼照相机。然而，本发明的多眼照相机中摄像单元的配置不限于正方形矩阵，并且可以应用任意其它矩阵配置。

第二实施例

以下将说明本发明的第二实施例。在上述第一实施例中，将摄像单元101～125的视点的重心定义为基准视点。针对位于关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所获取的所拍摄图像来设置较小的权重。在第二实施例中，将说明以下例子：根据缺陷图像的视点来确定基准视点，并且改变权重以使得所拍摄图像的权重维持关于基准视点的对称性。

注意，根据第二实施例的摄像设备的配置与上述第一实施例的图1和2所示的配置相同，并且将省略其说明。在第二实施例中，图像合成单元213的处理与第一实施例不同。因此，以下将详细说明根据第二实施例的图像合成处理。

图像合成处理

将参考图14说明根据第二实施例的图像合成单元213的详细配置。根据第二实施例的图像合成单元213包括缺陷指定单元501、重要摄像单元组设置单元1401、基准视点设置单元1402、权重设置单元1403和模糊图像生成单元503。注意，缺陷指定单元501和模糊图像生成单元503的处理与第一实施例中相同，并且将省略其说明。重要摄像单元组设置单元1401确定在生成模糊图像时要参考的重要摄像单元。基准视点设置单元1402根据生成模糊图像时要参考的重要摄像单元的位置来确定基准视点。

将参考图15的流程图来说明根据第二实施例的图像合成处理。在步骤S1501中，缺陷指定单元501从摄像单元101～125所获取的所拍摄图像组中指定缺陷图像。在步骤S1502中，重要摄像单元组设置单元1401设置重要摄像单元组。在步骤S1503中，基准视点设置单元1402设置基准视点。在步骤S1504中，权重设置单元1403设置各所拍摄图像的权重。在步骤S1505中，模糊图像生成单元503计算从各所拍摄图像的视点至基准视点的偏移量。在步骤S1506中，对所拍摄图像进行加权和重叠。由此生成模糊图像。

以下将参考图16A和16B说明重要摄像单元组设置单元1401的重要摄像单元组设置处理。图16A和16B是示意性示出摄像单元101～125的阵列的图。重要摄像单元组设置单元1401在除了获取到缺陷图像的摄像单元以外的摄像单元中选择用于以n×n正方形矩阵形成摄像单元组的多个摄像单元，其中，n是尽可能大的数字。将在此选择出的摄像单元组确定为重要摄像单元组。例如，图16A示出在缺陷图像是摄像单元125所拍摄的图像的情况下重要摄像单元组的候选1601～1603。将候选1601～1603之一确定为重要摄像单元组。图16B示出在摄像单元119和125所拍摄的图像是缺陷图像的情况下重要摄像单元组的候选1604～1608。将候选之一确定为重要摄像单元组。注意，图16A和16B分别示出n＝4和n＝3的例子。

以下将参考图17A和17B说明基准视点设置单元1402的基准视点设置处理。基准视点设置单元1402将重要摄像单元组设置单元1401所设置的重要摄像单元组的重心设置为基准视点。图17A和17B分别与图16A和16B相对应，并示出针对重要摄像单元组的各候选所确定的基准视点的例子。图17A示出分别在将候选1601～1603中相对应的一个确定为重要摄像单元组时所设置的基准视点1701～1703。图17B示出分别在将候选1604～1608中相对应的一个确定为重要摄像单元组时所设置的基准视点1704～1708。

以下将详细说明权重设置单元1403的权重设置处理。如第一实施例的权重设置单元502一样，权重设置单元1403根据图10的流程图设置所拍摄图像的权重。然而，在第二实施例中，步骤S1001中的权重调整图像选择方法与第一实施例不同。在第二实施例中，将重要摄像单元组中不包括的摄像单元所获取的所拍摄图像中、除了缺陷图像以外的所拍摄图像选择为权重调整图像。当针对由此选择的权重调整图像和缺陷图像将权重设置为0时，有效拍摄图像的权重的分布关于基准视点设置单元1402所设置的基准视点点对称。注意，如第一实施例中那样，可以不将权重调整图像和缺陷图像的权重调整为0，而是将其调整为比步骤S1004中计算得到的值小。

如上所述，根据第二实施例，根据缺陷图像的视点位置来确定基准视点。通过改变权重以使得所拍摄图像的权重关于基准视点维持对称性来生成模糊图像。这允许维持模糊图像中模糊的对称性。

第三实施例

以下将说明本发明的第三实施例。在上述第一实施例中，当合成图像时，将较小的权重给予获取到缺陷图像的摄像单元所获取的所拍摄图像以及位于关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所获取的所拍摄图像。在第三实施例中，与假定获取到缺陷图像的各摄像单元相对应地预先将用于确定摄像单元所获取的所拍摄图像的权重的方法保持在数据库中。使用数据库来确定摄像单元所获取的所拍摄图像的权重。

注意，根据第三实施例的摄像设备的配置与上述第一实施例的图1和2中所示的配置相同，并且将省略其说明。根据第三实施例的处理除了由权重设置单元502执行的处理以外与第一实施例相同。以下将详细说明根据第三实施例的权重设置处理(S802)。

权重设置处理(S802)

以下将说明根据第三实施例的权重设置单元502所执行的处理。在第三实施例中，如第一实施例中那样，计算并调整由等式(1)和(2)表示的权重wi。在第一实施例中，针对获取到缺陷图像的摄像单元设置较小的权重。针对关于基准视点与获取到缺陷图像的摄像单元对称的位置处的摄像单元所拍摄的图像设置较小的权重。然而，在第三实施例中，基于后述的权重调整数据库来调整所拍摄图像的权重。

以下将参考图18说明权重调整数据库的例子。参考图18，各行与要调整权重的摄像单元相对应，以及各列与获取到缺陷图像的摄像单元相对应。各要素与在摄像单元a获取到缺陷图像时要用于调整摄像单元i的权重的系数Gai相对应。当摄像单元a获取到缺陷图像时，权重设置单元502针对具有权重wi的摄像单元i通过以下计算调整后的权重wi”：

wi”＝Gai·wi                            ...(10)

权重调整数据库的要素Gai具有任意值。从摄像单元i至基准视点的距离和从摄像单元a至基准视点的距离之间的差越小，要素Gai的值可以越小。例如，通过以下确定权重调整数据库的要素Gai的值：

$\mathrm{Gai}=\exp (-\mathrm{abs}(\sqrt{({\mathrm{lxa}}^2+{\mathrm{lya}}^2)}-\sqrt{({\mathrm{lxi}}^2+{\mathrm{lyi}}^2)}\·D))...\left(11\right)$

其中，lxa和lya是基准视点和摄像单元a之间的在水平方向和与水平方向垂直的垂直方向上的距离，以及lxi和lyi是基准视点和摄像单元i之间的在水平方向和与水平方向垂直的垂直方向上的距离。另外，abs(b)是b的绝对值。注意，D是任意常数。除了从摄像单元i至基准视点的距离和从摄像单元a至基准视点的距离充分接近时，D可以接近于1。根据等式(11)创建权重调整数据库，这使得可以针对以基准视点为中心的同心圆上的包括摄像单元a的摄像单元所拍摄的图像设置较小的权重。

注意，不需要基于权重调整数据库来调整所有所拍摄图像的权重。以下将说明使用权重调整数据库选择性地调整所拍摄图像的权重的处理。图19示意性示出摄像单元。参考图19，摄像单元125是获取到缺陷图像的摄像单元。摄像单元103和111是权重调整对象的摄像单元。如图19所示，可以通过选择权重调整对象的摄像单元以使得重心与基准视点位置更接近来保持模糊的形式对称。例如，可以通过利用下式选择权重调整对象的摄像单元来保持模糊的形式对称：

$\left|\underset{j}{\mathrm{\&Sigma;}}{l}_{\mathrm{xj}}^{\&prime;}\right|<{\mathrm{\&epsiv;}}_x...\left(12\right)$

$\left|\underset{j}{\mathrm{\&Sigma;}}{l}_{\mathrm{yj}}^{\&prime;}\right|<{\mathrm{\&epsiv;}}_y...\left(13\right)$

其中，j表示包括获取到缺陷图像的摄像单元的所选择的摄像单元，l’xj和l’yj分别是从基准视点至摄像单元j的方向矢量的水平成分和与水平方向垂直的垂直成分，以及εx和εy是预定阈值。当将充分小的值设置为εx和εy时，权重调整对象的摄像单元的重心变得与基准视点位置更接近。结果，可以保持模糊的形式对称。作为εx的值，例如，可以使用基准视点113和与基准视点相邻的摄像单元108、112、114和118中的一个之间的水平距离或比该距离小的值。作为εy的值，例如，可以使用基准视点113和与基准视点相邻的摄像单元108、112、114和118中的一个之间的垂直距离或比该距离小的值。

可选地，考虑权重调整数据库的要素Gai的值，可以通过下式选择权重调整对象的摄像单元：

$\left|\underset{j}{\mathrm{\&Sigma;}}{G_{\mathrm{aj}}l}_{\mathrm{xj}}^{\&prime;}\right|<{\mathrm{\&epsiv;}}_x...\left(14\right)$

$\left|\underset{j}{\mathrm{\&Sigma;}}{G_{\mathrm{aj}}l}_{\mathrm{yj}}^{\&prime;}\right|<{\mathrm{\&epsiv;}}_y...\left(15\right)$

根据不等式(14)和(15)，可以选择权重调整对象的摄像单元以使得权重的重心变得更接近基准视点。

注意，当权重调整对象的摄像单元的数量较小时，可以生成更自然的模糊图像。因此，在满足不等式(12)和(13)或者不等式(14)和(15)的摄像单元组合中，可以将包括最小数量的摄像单元的组合选择为权重调整对象的摄像单元。另一方面，权重调整对象的摄像单元(除了获取到缺陷图像的摄像单元以外)的数量仅需要是一个以上。然而，从维持模糊的对称性的视点，可以选择权重调整对象的两个以上摄像单元，或者可以选择三个以上摄像单元。

如上所述，根据第三实施例，基于权重调整数据库来调整所拍摄图像的权重。另外，选择权重调整图像以使得权重调整对象的摄像单元的重心变得更接近基准视点。这允许维持模糊图像中模糊的对称性。

如上所述，根据第三实施例，当缺陷图像存在时，基于拍摄到缺陷图像的摄像单元的位置来确定对图像进行加权和合成时的图像的权重。更具体地，基于拍摄到缺陷图像的摄像单元的位置来选择与缺陷图像不同的权重调整图像(选择图像)。然后调整权重调整图像的权重。在第三实施例中，选择权重调整图像以使得拍摄权重调整图像的摄像单元的重心变得更接近基准视点。此时，如第二实施例那样，可以基于拍摄到缺陷图像的摄像单元的位置来改变基准视点的位置。更具体地，可以基于拍摄未被选择为权重调整图像的图像的摄像单元的位置来改变基准视点的位置。更具体地，可以在拍摄未被选择为权重调整图像的图像的摄像单元的重心位置处设置基准视点的位置。

在第三实施例中，通过等式(1)和(2)计算权重，然后调整权重。如上所述，可以如第一实施例所述，使用数据库或公式、或者通过将权重与常数相乘来进行调整。可以使用不同方法针对缺陷图像和除缺陷图像以外的权重调整图像来调整权重。例如，可以将缺陷图像的权重设置为0，并且可以利用上述方法计算除缺陷图像以外的权重调整图像的权重。在选择权重调整图像以使得摄像单元的加权后的重心变得更接近基准视点的上述例子中，该方法是有效的。

在第三实施例中，通过等式(1)和(2)计算权重，然后调整权重。然而，可以基于数据库或公式来直接计算所拍摄图像的权重。在该情况下，与未将所拍摄图像选择为权重调整图像时相比，在将所拍摄图像选择为权重调整图像时，将各所拍摄图像的权重设置得较小。

第四实施例

以下将说明本发明的第四实施例。在上述第一至第三实施例中，说明了通过包括在单个平面上的格子点处配置的摄像单元的多眼照相机所拍摄的图像包括缺陷图像的情况。然而，本发明不仅可以应用至包括所配置的摄像单元的多眼照相机，还可以应用至包括任意配置的摄像单元的多眼照相机。在第四实施例中，将作为例子说明在通过包括在单个平面上的同心圆上配置的摄像单元的多眼照相机所拍摄的图像包括利用手指覆盖等的缺陷拍摄图像时、生成维持模糊的对称性的模糊图像的方法。

注意，根据第四实施例的摄像设备的配置除了摄像单元的配置以外，与上述第一实施例的图1和2所示的配置相同，并且将省略其说明。根据第四实施例的处理除了权重设置单元502所执行的处理以外，与第一实施例的处理相同。以下将详细说明根据第四实施例的权重设置处理(S802)。

权重设置处理(S802)

以下将参考图20说明根据第四实施例的权重调整图像选择方法。图20示意性示出在同心圆上配置的摄像单元2001～2026和穿过摄像单元的基准视点2026的4个对称轴2027～2030。当摄像单元2005获取到缺陷图像时，可以如第一实施例中那样，将摄像单元2002、2003、2006、2008、2009、2011和2012所获取的所拍摄图像选择为权重调整图像。可以如第三实施例中那样，基于权重调整数据库来调整权重。

如上所述，在第四实施例中，由包括在同心圆上配置的摄像单元的多眼照相机拍摄图像。即使图像包括利用手指覆盖等的缺陷拍摄图像，也可以通过调整所拍摄图像的权重来维持模糊图像中模糊的对称性。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种图像处理设备，包括：

获取单元，用于获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；

指定单元，用于从所述多个所拍摄图像中指定缺陷图像；

确定单元，用于基于拍摄到所述指定单元所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及

合成单元，用于通过基于所述确定单元所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像，

其中，所述确定单元从所述多个所拍摄图像中选择与所述缺陷图像不同的至少一个所拍摄图像作为选择图像，并且将针对所述缺陷图像和所述选择图像中的各个的权重确定为小于既不是所述缺陷图像也不是所述选择图像的所拍摄图像的权重，以及

将用作所述合成图像的视点的基准视点放在既未拍摄到所述缺陷图像也未拍摄到所述选择图像的摄像单元的重心处。

2.根据权利要求1所述的图像处理设备，其特征在于，所述指定单元通过比较所述多个所拍摄图像来指定所述缺陷图像。

3.根据权利要求1所述的图像处理设备，其特征在于，所述确定单元将针对所述缺陷图像的权重设置为0。

4.根据权利要求1所述的图像处理设备，其特征在于，所述确定单元：

将权重分配给所述多个所拍摄图像中的各所拍摄图像，以及

针对所述缺陷图像和所述选择图像将所分配的权重调整为更小。

5.根据权利要求4所述的图像处理设备，其特征在于，所述确定单元将权重分配给所述多个所拍摄图像中的各所拍摄图像，以使得权重随着从拍摄到所拍摄图像的摄像单元至用作所述合成图像的视点的基准视点的距离的增大而变小。

6.根据权利要求1所述的图像处理设备，其特征在于，所述选择图像是由位于关于用作所述合成图像的视点的基准视点、与拍摄到所述缺陷图像的摄像单元的位置对称的位置处的摄像单元拍摄的图像。

7.根据权利要求6所述的图像处理设备，其特征在于，所述选择图像是由位于关于穿过所述基准视点的对称轴、与拍摄到所述缺陷图像的摄像单元的位置线对称的位置处的摄像单元拍摄的图像。

8.根据权利要求1所述的图像处理设备，其特征在于，所述确定单元通过参考数据库来确定所述选择图像的权重。

9.根据权利要求1所述的图像处理设备，其特征在于，选择所述选择图像，以使得从拍摄到所述缺陷图像或所述选择图像的摄像单元的重心至用作所述合成图像的视点的基准视点的距离小于预定阈值。

10.根据权利要求1所述的图像处理设备，其特征在于，所述确定单元根据所确定的权重，将既未拍摄到所述缺陷图像也未拍摄到所述选择图像的摄像单元的重心位置设置为所述基准视点。

11.根据权利要求1所述的图像处理设备，其特征在于，在格子点上配置所述多个摄像单元。

12.根据权利要求1所述的图像处理设备，其特征在于，在同心圆上配置所述多个摄像单元。

13.根据权利要求1所述的图像处理设备，其特征在于，还包括计算单元，所述计算单元用于计算所述多个所拍摄图像中的各所拍摄图像为了与通过从基准视点摄像所获得的图像对准所需的偏移量，

其中，所述合成单元基于所述计算单元所计算得到的偏移量来偏移所述多个所拍摄图像中的各所拍摄图像，并且合成偏移后的图像。

14.一种摄像设备，包括：

根据权利要求1所述的图像处理设备；以及

多个摄像单元，用于从不同视点拍摄被摄体。

15.一种图像处理方法，包括以下步骤：

获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；

指定步骤，用于从所述多个所拍摄图像中指定缺陷图像；

确定步骤，用于基于拍摄到所述指定步骤中所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及

通过基于所述确定步骤中所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像，

其中，在所述确定步骤中，从所述多个所拍摄图像中选择与所述缺陷图像不同的至少一个所拍摄图像作为选择图像，并且将针对所述缺陷图像和所述选择图像中的各个的权重确定为小于既不是所述缺陷图像也不是所述选择图像的所拍摄图像的权重，以及

将用作所述合成图像的视点的基准视点放在既未拍摄到所述缺陷图像也未拍摄到所述选择图像的摄像单元的重心处。