CN110662013B - 摄像装置、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供摄像装置、图像处理方法和存储介质。该装置包括：摄像元件，其用于通过不同像素接收通过光学系统的光瞳的不同区域的多个光束，来获得多个视差图像；以及处理器，其用于对通过使用摄像元件获得的图像进行图像处理。处理器包括第一获得单元、第二获得单元和第三获得单元，第一获得单元基于通过使用摄像元件在包括至少三个不同光源条件的光源条件下摄影的多个光度立体图像，来获得第一形状信息，第二获得单元通过使用所述多个视差图像来获得第二形状信息，第三获得单元通过使用第一形状信息和第二形状信息来获得第三形状信息。

Description

摄像装置、图像处理方法和存储介质

技术领域

实施例的方面涉及能够计算被摄体的形状信息的图像处理方法以及摄像装置。

背景技术

当拍摄被摄体时，能够以拍摄被摄体使得能够获得形状信息(例如距离信息和表面法线信息)的方式，基于摄像后的物理模型来进行图像处理。为此，期望开发出使得能够容易地获得精确的形状信息的技术。

日本特开昭61-198015号公报公开了能够以如下方式来增加距离信息的计算速度，其中，与立体相机的距离测量一起来使用光度立体方法(该方法被已知为一种直接获得被摄体的表面法线的方法)。

在日本特开昭61-198015号公报中公开的方法中，基于通过光度立体方法获得的表面法线信息来将摄像区域划分为多个区域，通过立体相机从视差图像中获得划分的多个区域的重心之间的距离，并且从通过光度立体方法获得的表面法线信息中获得位于各区域中的被摄体中的相对距离。

然而，利用该方法，使用多个光学系统来获得视差图像。因此，装置复杂，并且装置尺寸增大。另外，由于光学系统的像差和遮蔽，难以计算视差图像之间的匹配。此外，需要提供立体相机的各光学系统的校准以及光学系统之间的关系的结构。

发明内容

实施例的方面提供了一种装置，该装置包括摄像元件，其用于通过不同像素接收通过光学系统的光瞳的不同区域的多个光束，来获得多个视差图像；以及处理器，其用于对通过使用摄像元件获得的图像进行图像处理。处理器包括第一获得单元、第二获得单元和第三获得单元，第一获得单元基于通过使用摄像元件在包括至少三个不同光源条件的光源条件下摄影的多个光度立体图像，来获得被摄体的第一形状信息，第二获得单元通过使用所述多个视差图像来获得被摄体的第二形状信息，第三获得单元通过使用第一形状信息和第二形状信息来获得被摄体的第三形状信息。

通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。

附图说明

图1例示了根据实施例的摄像装置。

图2例示了根据实施例的摄像装置。

图3是根据实施例的摄像装置的框图。

图4是例示由根据实施例的摄像装置的图像处理器进行的图像处理的流程图。

图5例示了根据另一实施例的摄像装置和图像处理装置。

图6是根据另一实施例的图像处理装置的框图。

图7是例示由根据另一实施例的图像处理装置进行的图像处理的流程图。

图8例示了镜面反射分量。

图9例示了双视点摄影方法。

图10例示了根据实施例的摄像元件的光接收单元与摄像光学系统的光瞳之间的关系。

图11例示了根据实施例的摄像元件的光接收单元与被摄体之间的关系。

具体实施方式

下面将参照附图描述根据本公开的实施例的摄像装置，该摄像装置包括进行图像处理的图像处理器。

根据本实施例的摄像装置的图像处理器通过使用通过光度立体方法获得的形状信息(第一形状信息)和从视差图像获得的形状信息(第二形状信息)，来获得精确的形状信息(第三形状信息)。在本申请的描述中，形状信息包括被摄体的表面法线信息、关于距基准位置(例如光学系统的位置)的绝对距离的绝对距离信息、以及关于被摄体区域中的相对距离的相对距离信息。

在描述根据本实施例的摄像装置的结构之前，将描述通过光度立体方法计算表面法线信息的方法和通过使用视差图像计算距离信息的方法。

光度立体方法是：根据多个光源位置处的被摄体的辉度信息、以及基于被摄体的表面法线和从被摄体朝向各光源的方向(光源方向)而推定的被摄体的反射特性，来计算表面法线信息的方法。在给定预定表面法线和各光源的位置时不唯一地确定反射率的情况下，可以根据朗伯余弦定律(Lambert’s cosine law)通过朗伯反射模型来近似反射特性。如图8所示，镜面反射分量取决于光源向量s和眼睛向量v之间的二等分线和表面法线n的角度α。因此，反射特性可以基于眼睛方向。辉度信息可以是以如下方式去除了例如除环境光源之外的光源的影响的信息，在该方式中，当开启光源时和关闭光源时对被摄体的图像进行摄影，并计算二者之间的差异。

在以下描述中，通过使用朗伯反射模型来推定反射特性。根据朗伯余弦定律将辉度值i表示为下面的表达式(1)，其中i是反射光的辉度值，ρ_d是被摄体的朗伯漫反射率，E是入射光的强度，s是表示从被摄体朝向光源的方向的单位向量(光源方向上的向量)，n是被摄体的单位表面法线向量。

i＝Eρ_ds·n (1)

表达式(1)被表示为下面的表达式(2)，其中s₁,s₂,···,s_M是数量为M(M≥3)的不同光源向量的分量，并且i₁,i₂,···i_M是光源向量的分量的辉度值。

[数学式1]

在表达式(2)中，左侧是M行1列的辉度向量，右侧的[s₁ ^T,···,s_M ^T]是表示M行3列的光源方向的入射光矩阵S，n是3行1列的单位表面法线向量。在M＝3的情况下，通过使用入射光矩阵S的逆矩阵S^-1将Eρ_dn表示为以下表达式(3)。

[数学式2]

表达式(3)中左侧向量的范数是入射光的强度E和朗伯漫反射率ρ_d的乘积。计算归一化向量作为被摄体的表面法线向量。也就是说，入射光的强度E和朗伯漫反射率ρ_d仅以乘积的形式出现在条件表达式中。为此，当Eρ_d被视为单个变量时，表达式(3)被视为联立方程，从而除了单位表面法线向量n的两个自由度之外还确定三个未知变量。因此，可以通过使用至少三个光源获得辉度信息，来确定各个变量。当入射光矩阵S不是规则矩阵时，不存在逆矩阵，并且选择入射光矩阵S的分量s₁至s₃，使得入射光矩阵S是规则矩阵。也就是说，相对于分量s₁和s₂线性独立地选择分量s₃。

在M>3的情况下，获得的条件表达式的数量大于要获得的未知变量的数量。因此，以与M＝3的情况相同的方式来根据自由选择的三个条件表达式计算单位表面法线向量n。在使用四个或更多个条件表达式的情况下，入射光矩阵S不是规则矩阵，并且可以通过使用例如Moore-Penrose伪逆矩阵来计算近似解。单位表面法线向量n可以通过拟合方法或最优化方法来计算。

在通过使用与朗伯反射模型不同的模型推定被摄体的反射特性的一些情况下，条件表达式不是针对单位表面法线向量n的分量的线性表达式。在这种情况下，获得其数量等于或大于未知变量的条件表达式使得能够使用拟合方法或最优化方法。

在M>3的情况下，所获得的条件表达式的数量不小于3且不大于M-1，并且可以获得单位表面法线向量n的解的候选。在这种情况下，可以通过使用其他条件从解的候选中选择解。例如，可以使用单位表面法线向量n的连续性作为条件。当针对摄像装置的每个像素计算单位表面法线向量n时，可以选择解，使得表达为下面的表达式(4)的评估函数最小化，其中n(x,y)是像素(x,y)的表面法线向量，并且n(x-1,y)是已知的。

1-n(x,y)·n(x-1,y) (4)

在n(x+1,y)和n(x,y±1)也是已知的情况下，可以选择解使得以下表达式(5)最小化。

4-n(x,y)·n(x-1,y)-n(x,y)·n(x+1,y)-n(x,y)·n(x,y-1)-n(x,y)·n(x,y+1) (5)

当没有已知的表面法线并且在所有像素的位置处没有表面法线是确定的时，可以选择解使得所有像素中的表达式(5)的总和(该总和被表达为下面的表达式(6))被最小化。

[数学式3]

可以使用不是最近像素的像素的表面法线。可以使用根据与关注的像素位置的距离而加权的评估函数。

在自由选择的光源的位置处的辉度信息可以用作另一个条件。在由朗伯反射模型表示的漫反射模型中，反射光的辉度随着单位表面法线向量与光源方向上的向量之间的距离减小而增加。因此，当辉度值是光源方向上的辉度值中的最大值时，可以通过选择解来确定单位表面法线向量，使得解接近光源方向上的向量。

在镜面反射模型中，下面的表达式(7)成立，其中s是光源向量，v是从被摄体朝向相机的方向上的单位向量(相机的眼睛向量)。

s+v＝2(v·n)n (7)

如表达式(7)所表达的，当已知光源向量s和相机的眼睛向量v时，可以计算单位表面法线向量n。当被摄体具有粗糙表面时，即使在镜面反射中，出射角也增加。在这种情况下，镜面反射光在平滑表面的情况下获得的解附近扩散，并且可以从解的候选中选择最接近在平滑表面的情况下解的候选。可以通过使用解的候选的平均来确定真实解。

现在将描述通过使用视差图像来对被摄体进行距离计算的原理。图9例示了双视点摄影方法的模型。坐标原点是左右相机C1和C2的中心。其x轴在水平方向上延伸。其y轴在深度方向上延伸。为简单起见，省略了高度方向。左相机C1的图像形成光学系统的主点位于(-Wc，0)。右相机C2的图像形成光学系统的主点位于(Wc，0)。左右相机的各个图像形成光学系统的焦距由f表示。可以认为，在该状态下，通过相机来对位于y轴上的(0，y1)处的被摄体A的图像进行摄影。被摄体A的图像与左右相机的传感器(摄像元件)的中心的位置差异被称为摄影视差，并且由Plc和Prc表示，其可以表示为以下表达式。

[数学式4]

[数学式5]

根据上述原理，从不同视点对相同被摄体的图像进行摄影，并且可以获得在视点差异方向(平行于基线的方向)上具有表达式(8)和(9)表示的差异的左右视差图像。可以通过使用以下表达式来根据差异计算到被摄体A的距离y1。

[数学式6]

因此，指定与视差图像相关的被摄体区域以通过使用视差图像来计算被摄体的距离。可以使用各种方法为图像指定相同的被摄体区域。例如，可以使用块匹配方法，其中一个视差图像用作基准图像。

可以通过使用摄像器来获得视差图像，该摄像器将已经通过单个摄像光学系统的光瞳的不同区域的多个光束导向单个摄像元件的不同光接收单元(像素)，以进行光电转换。也就是说，单个摄像器(包括单个光学系统和单个摄像元件)可以获得距离计算所需的视差图像。

图10例示了摄像器中的摄像元件的光接收单元与摄像光学系统的光瞳之间的关系。微透镜由ML表示。滤色镜由CF表示。摄像光学系统的出射光瞳由EXP表示。光接收单元(以下称为G1像素和G2像素)由G1和G2表示。单个G1像素和单个G2像素彼此配对。G1像素和G2像素的对(像素对)布置在摄像元件中。G1像素和G2像素的对与出射光瞳EXP具有共轭关系，公共微透镜ML(针对每个像素对设置)插入在像素对与EXP之间。布置在摄像元件中的G1像素被称为G1像素组。类似地，布置在摄像元件中的G2像素被称为G2像素组。

图11示意性地例示了假设在图10中的出射光瞳EXP的位置处包括薄透镜的摄像器。G1像素中的一个像素接收已经通过出射光瞳EXP的P1区域的光束。G2像素中的一个像素接收已经通过出射光瞳EXP的P2区域的光束。摄影的物点由OSP表示。被摄体不一定位于物点OSP处。通过该点的光束根据光束通过的光瞳中的区域(位置)入射在G1像素或G2像素上。光束通过光瞳中的不同区域意味着，来自物点OSP的入射光以角度(视差)划分。也就是说，在与各微透镜ML相对布置的G1和G2像素当中，通过使用来自G1像素的输出信号生成的图像和通过使用来自G2像素的输出信号生成的图像是具有视差的视差图像(一对)。在以上描述中，通过不同的光接收单元(像素)接收通过光瞳中的不同区域的光束被称为光瞳分割。在图10和图11所示的结构中，通过将G1像素和G2像素相加而获得的图像与通过使用G1像素或G2像素获得的图像也具有视差。因此，通过将G1像素和G2像素相加而获得的图像可以是视差图像之一。

在图10和图11中，在一些情况下，例如，当出射光瞳EXP移位时，上述共轭关系变得不完全或者P1区域和P2区域部分交叠。此外，在这种情况下，可以将获得的图像作为视差图像处理。

通过上述方法根据视差图像计算距离信息。这使得单个摄像器能够通过提取与视差图像相关的像素来计算距离。

现在将描述根据本实施例的摄像装置。根据本实施例的摄像装置的图像处理器通过使用表面法线信息作为通过光度立体方法获得的形状信息和使用距离信息作为根据视差图像获得的形状信息，来获得高精度的形状信息。

图1例示了根据本实施例的摄像装置1000和照明设备1001。照明设备1001包括发光器200和发射光源控制单元106，并且可以安装在包括摄像器100的摄像装置中和从该摄像装置拆卸移除。图2例示了用作数码相机的摄像装置1000，其中安装有照明设备1001。

图3是根据本实施例的摄像装置1000的框图。

摄像装置1000包括拍摄被摄体的摄像器。摄像器包括摄像光学系统101和摄像元件102。

根据本实施例，发光器200包括八个光源，这八个光源围绕摄像光学系统101的光轴以旋转对称的方式同心地布置。发光器200可以通过开启光源(发光)和关闭光源的组合，在多个光源条件下用光照射被摄体。用于执行光度立体方法的光源的数量至少为三个，并且发光器200包括三个或更多个光源。根据本实施例，发光器200的光源围绕摄像光学系统101的光轴以旋转对称的方式同心地布置。然而，光源不必以规则的间隔布置，而是可以以不规则的间隔布置。根据本实施例，发光器200可以安装在摄像装置1000中和从摄像装置1000拆卸，但是也可以内置发光器200。

摄像光学系统101包括透镜和光阑101a，并将从被摄体发射的光聚集在摄像元件102上。根据本实施例，摄像光学系统101以可拆卸的方式作为可互换镜头安装在摄像装置1000中，并且可以与摄像装置1000一体形成。摄像元件102包括光电转换元件，例如CCD传感器或CMOS传感器。摄像器100的整体结构在图10和图11中例示。摄像器100可以从不同视点获得图像。也就是说，已经通过摄像光学系统101的光瞳的不同区域的多个光束被导向摄像元件102的不同光接收单元(像素)以进行光电转换。

通过A/D转换器103将通过摄像元件102的光电转换生成的模拟电信号转换为数字信号，并输入到图像处理器104中。

图像处理器104具有通常对数字信号进行的图像处理的功能、以及获得表面法线信息和距离信息作为被摄体的形状信息的功能。表面法线信息是用于确定表面法线的一个自由度的至少一个或更多个候选的信息、用于从表面法线的候选中选择真实解的信息、以及关于所获得的表面法线的有效性的信息。距离信息是关于基于预定位置的被摄体的深度的信息，并且表示距摄像器中的诸如焦平面的基准位置或预定位置的距离。特别地，当基准位置是焦平面时，信息是被摄体的散焦信息。对于将已经通过摄像光学系统101的光瞳的不同区域的多个光束导向摄像元件102的不同光接收单元的摄像器100，视差差异(由于视差导致的被摄体的位置关系的差异)的基准是焦平面，并且视差差异和散焦信息彼此对应。

将描述图像处理器104的具体结构。图像处理器104包括第一获得单元(表面法线信息获得单元)104a，其通过光度立体方法从光度立体图像中获得被摄体的表面法线信息(第一形状信息)。通过使用发光器200的不同开启模式获得光度立体图像。根据本实施例，在包括至少三种不同开启模式(光源条件)的光源条件下对光度立体图像进行摄影。

图像处理器104还包括第二获得单元(距离信息获得单元)104b，其根据视差图像获得距离信息(第二形状信息)。图像处理器104还包括第三获得单元104c，其根据表面法线信息和距离信息获得第三形状信息。

由图像处理器104处理的输出图像被保存在诸如半导体存储器或光盘的图像存储单元109中。输出图像可以显示在显示单元105上。

信息输入单元108将由用户选择的摄像条件(诸如光阑值、曝光时间和焦距)供给到系统控制器110。

发射光源控制单元106响应于从系统控制器110输出的指令来控制发光器200的发光状态。

摄像控制单元107基于从系统控制器110输出的信息，以用户选择的期望摄影条件获得图像。

ROM 111存储由系统控制器110进行的各种程序和程序所需的数据。

内置在照明设备中的ROM 112存储表，在该表中，包括诸如发光器的光分布特性和发光器的发光量等的特性。可以根据需要将存储的信息发送到图像处理器104，并且第一获得单元104a可以使用该信息来获得第一形状信息。

如上所述，根据本实施例，图像处理器104通过使用通过光度立体方法获得的表面法线信息和根据视差图像获得的距离信息来获得被摄体的形状信息(第三形状信息)。这使得能够以高精度获得被摄体的形状信息(第三形状信息)。

例如，可以通过对通过光度立体方法获得的表面法线信息进行积分来获得距离信息。然而，由于积分期间的误差，绝对距离的精度小于可以根据视差图像获得的距离信息的精度。在如前景和背景的情况下距离沿被摄体的边缘变化的情况下，不能根据表面法线信息获得作为形状信息的距离信息。

然而，使用根据视差图像计算的距离信息使得能够消除由于积分导致的系统误差，并且使得能够将沿着被摄体边缘的绝对距离反映到形状信息。在光度立体方法中，当推定的反射特性不同于被摄体的实际反射特性时，表面法线信息的精度降低。然而，根据视差图像获得的距离信息不受反射特性的影响。来自光度立体图像的表面法线信息比来自视差图像的距离信息更容易受到小的距离变化的影响，并且更容易提高水平方向和垂直方向上的分辨率。

在根据视差图像进行距离计算的情况下，难以计算低对比度图像区域中的距离信息。然而，通过光度立体方法可以容易地进行计算。

因此，通过光度立体方法的表面法线信息和根据视差图像的距离信息的有利组合使得能够获得精确的第三形状信息。第三形状信息可以是距离信息或表面法线信息。

根据本实施例，图像处理器104获得由单个摄像器100获得的视差图像和光度立体图像。因此，不需要使用多个摄像器或多个摄像装置，并且可以获得对于获得被摄体的形状信息所需的图像。因此，对于获得形状信息所需的图像进行拍摄的摄像装置的结构可以是简单的。

另外，由于距离信息是根据由单个摄像器获得的视差图像计算的，因此可以减小由于失真像差和偏心引起的差异的影响。另外，可以减小其他光学像差的影响，并且可以抑制沿前景和背景之间的边界的距离计算处理受到光学系统的视差差异的影响。例如，对沿前景和背景之间的边界的距离计算处理的影响的示例是，遮蔽使得难以提取相应的区域。

另外，由于通过单个摄像器获得光度立体图像和视差图像，因此当获得第三形状信息时，也可以减小光学像差的影响和形状信息中的视差差异的影响，并且可以精确地获得第三形状信息。第一形状信息和第二形状信息之间的视差差异的影响不同于视差图像之间的视差差异的影响，这是因为形状信息基于通过不同原理获得的数据。例如，在诸如视差图像的图像的情况下，关于前景的颜色信息和辉度信息甚至沿着前景和背景之间的边界也是公共的。然而，表面法线信息和距离信息不是公共的，并且难以根据表面法线信息和距离信息确定公共的前景部分。因此，难以减小来自表面法线信息和距离信息的视差差异的影响。

可以通过积分将表面法线信息转换为距离信息以获得第一形状信息。然而，在这种情况下，不能根据上述第一形状信息获得精确的距离信息，并且难以找到与第二形状信息的相似性。因此，重要的是减小从中获得形状信息的摄影图像之间的视差差异，以便基于第一形状信息和第二形状信息精确地获得第三形状信息。

图4是在根据本实施例的摄像装置1000中获得形状信息的方法(处理图像的方法)的流程图。根据本实施例，通过使用系统控制器110和图像处理器104根据图像处理程序进行获得形状信息的方法，该图像处理程序使计算机用作图像处理装置。例如，图像处理程序可以存储在可以由计算机读取的存储介质中。

在步骤S101中，系统控制器110获得用户从信息输入单元108设置的摄像条件(诸如光阑值、曝光时间或焦距)。随后，以与释放按钮(未例示)的全按操作联动的方式，利用设置在不同位置的光源，在设置的摄像条件下对被摄体进行拍摄，以获得光度立体图像和视差图像。具体地，系统控制器110通过使用发射光源控制单元106使被划分成八个部分的发光器200利用来自至少三个或更多个不同位置的光连续照射被摄体，并通过使用摄像控制单元107使摄像器100对被摄体进行拍摄。也在没有发光的状态下拍摄被摄体，以获得视差图像。A/D转换器103进行从摄像元件102输出的模拟信号的A/D转换以形成摄影图像(辉度信息)并将图像输出到图像处理器104。图像处理器104可以进行典型的显影处理和各种图像校正处理以生成图像。

在步骤S102中，第一获得单元104a通过使用在步骤S101中获得的光度立体图像的辉度值，通过光度立体方法推定被摄体的第一形状信息(表面法线信息)。

在步骤S103中，通过参照拍摄图像的辉度与当第一获得单元104a获得表面法线信息时的朗伯反射的假定的辉度之间的差异，来获得表面法线信息的可靠度。该步骤可以与在步骤S102中获得表面法线信息同时进行。

在步骤S104中，第二获得单元104b通过使用在步骤S101中获得的视差图像，通过诸如块匹配的已知方法获得视差，并且还获得距离信息。

在步骤S105中，第二获得单元104b基于块匹配期间的相似性获得距离信息的可靠度。

在步骤S106中，第三获得单元104c通过对表面法线信息进行积分来计算距离信息。

在步骤S107中，第三获得单元104c组合在S106中获得的距离信息和在步骤S104中获得的距离信息，以获得精确的距离信息作为第三形状信息。

具体地，第三获得单元104c以如下方式获得第三形状信息。在S106获得的距离信息基于表面法线信息，具有高分辨率，并且使得能够获得被摄体的细微不规则性。然而，在某些情况下，例如，由于来自发光器的光量的变化引起表面法线的误差，因此产生系统误差，并且获得倾斜的(错误的)被摄体表面。在S105中获得的距离信息具有低分辨率并且不能够获得细微的不规则性，但是能够精确地获得绝对距离。因此，通过校正线性斜率可以获得精确的形状信息，使得根据在S106获得的距离信息计算的被摄体的表面形状与在S105获得的距离信息匹配。还可以以如下方式获得精确距离信息(第三形状信息)，在该方式中，基于在步骤S103和S105获得的可靠度来应用加权平均，使得权重随着可靠度增加而增加。

图像存储单元109保存最终获得的第三形状信息和图像信息，并且流程结束。

步骤S102和S103的流程以及步骤S104和S105的流程可以是串行的(哪个流程是否早于另一个流程不受限制)或并行的。在步骤S106中，第三获得单元104c进行从表面法线信息(第一形状信息)到距离信息的转换。然而，第一获得单元104a可以进行该转换。在步骤S107中不一定使用可靠度。

根据本实施例，可以利用如上所述的简单结构获得精确的形状信息。

在根据本实施例描述的示例中，获得距离信息作为第三形状信息。然而，可以通过使用第一形状信息和第二形状信息来获得表面法线信息。在这种情况下，具体地，将在步骤S104获得的距离信息微分并转换为表面法线信息，以替代在步骤S106中由第三获得单元104c对表面法线信息进行积分。在步骤S107中，组合在S102获得的表面法线信息和在S106获得的表面法线信息，以获得精确的表面法线信息作为第三形状信息。当组合表面法线信息时，可以基于在步骤S103和S105获得的可靠度来应用加权平均，使得与距离信息的组合一样，权重随着可靠度的增加而增加。例如，在推定的反射特性与被摄体的实际反射特性不同的情况下，通过光度立体方法获得的表面法线信息的可靠度降低，并且根据视差图像获得的表面法线信息的权重增加。因此，可以根据第一形状信息和第二形状信息获得更精确的表面法线信息。

现在将描述根据本实施例的结构。

第一形状信息是被摄体的表面法线信息。第二形状信息是被摄体的距离信息。

根据光度立体图像计算表面法线信息作为第一形状信息，并且根据视差图像计算距离信息作为第二形状信息。这使得其优点可以如上所述互补组合。因此，可以精确地获得第三形状信息。

根据本实施例，当获得第三形状信息时，使用表示第一形状信息的可靠度的第一可靠度信息。

第一可靠度信息可以是表示当使用光度立体方法时推定精度是否降低的信息。当使用光度立体方法时推定精度降低的情况的示例包括：光度立体图像具有低辉度值并且SN比不好的情况、许多图像具有光找不到的区域并且在该区域中产生阴影的情况、以及与根据朗伯反射特性预期的辉度存在较大差异的情况。第一可靠度信息的指标(大小)的示例可以包括辉度值超过特定值的光度立体图像的数量、以及在光度立体图像之间的与根据朗伯反射特性预期的辉度的差异的总和。在具有第一形状信息的低可靠度的被摄体区域中，可以通过增加第二形状信息的贡献来精确地获得第三形状信息。

类似地，根据本实施例，当获得第三形状信息时，使用表示第二形状信息的可靠度的第二可靠度信息。

第二可靠度信息可以是表示根据视差图像计算距离信息的精度是否降低的信息。根据视差图像计算距离信息的精度是否降低的情况的示例包括：在视差图像之间的匹配期间相似度低的情况、以及由于匹配所基于的图像对比度低而难以匹配的情况。第二可靠度信息的指标(大小)的示例可以包括匹配期间的相似性和基准图像的对比度。在具有第二形状信息的低可靠度的被摄体区域中，可以通过增加第一形状信息的贡献，来精确地获得第三形状信息。

当对各个光度立体图像摄影时光束通过的摄像光学系统101的光瞳的区域包含：当对至少一个视差图像摄影时光束通过的区域的至少一部分。

在当对各个光度立体图像摄影时光束通过的光瞳的区域与当对至少一个视差图像摄影时光束通过的光瞳的区域具有公共部分的情况下，可以减小当获得第三形状信息时光学像差和视差差异的影响(精度的降低)。例如，通过图10中的G1像素获得一个视差图像，并且通过与上述相同的G1像素获得光度立体图像。这使得能够利用与公共光瞳区域相关的光束来获得图像。然而，光瞳的大小根据摄像期间的光阑值而变化，并且当光阑值变化时，公共部分不完全公共(相同)。可以说，获得光度立体图像和视差图像，使得在获得光度立体图像作为G1像素和G2像素的总的情况下(即，将与G1像素相关的图像和与G2像素相关的图像相加以获得光度立体图像)，光瞳的区域也具有公共部分。

另外，当对各个光度立体图像摄影时光束通过的摄像光学系统101的光瞳的区域与当对至少一个视差图像摄影时光束通过的区域相同。这使得能够进一步减小光学像差和视差差异的影响。

在关于光束通过的光瞳的区域，与光度立体图像具有公共部分的视差图像之一是距离计算中的基准图像的情况下，可以减小在第一形状信息和第二形状信息之间光学像差和视差差异的影响。例如，当基准图像是与G1像素相关的视差图像时，可以仅通过G1像素或者作为G1像素和G2像素的和来获得光度立体图像。在以上描述中，光瞳被划分成两个部分。然而，当将光瞳划分成三个部分或更多部分时也是如此。

当对各个光度立体图像摄影时光束通过的摄像光学系统101的光瞳的区域包含：当对包括在视差图像中的各个图像摄影时光束通过的区域的至少一部分。也就是说，当对各个视差图像摄影时光束通过的光瞳的所有区域与当对光度立体图像摄影时光束通过的光瞳的区域具有公共部分。

这使得能够减小在获得第三形状信息时光学像差和视差差异的影响。因此，可以以更高的精度获得第三形状信息。例如，当视差图像是与G1像素相关的图像和与G2像素相关的图像时，可以说，获得光度立体图像作为G1像素和G2像素的和，使得当对所有光度立体图像和所有视差图像摄影时光束通过的光瞳区域具有公共部分。

通过将与视差图像相关的所有像素相加来获得光度立体图像。与视差图像相关的像素是指，包括在各个微透镜中的像素当中的用于获得视差图像的像素。例如，当通过图10和图11中所示的摄像元件获得两个视差图像时，G1像素与两个视差图像中的一个相关，并且像素G2与另一个视差图像相关。也就是说，如图10和图11所示，摄像元件102包括各个微透镜中的像素，并且包括在微透镜中的所有像素用于获得光度立体图像。

可以以如下方式来提高来自被摄体的光的使用效率，在该方式中，通过将与视差图像相关的所有像素相加来获得光度立体图像。从动态范围和光度立体图像的SN比的角度来看，这是有益的。这使得能够精确地获得第一形状信息。因此，可以精确地获得第三形状信息。

在第二获得单元104b获得距离信息作为第二形状信息的情况下，通过与距离信息所基于的视差图像的基准图像相关的像素获得光度立体图像。

这使得能够减小第一形状信息和第二形状信息之间的光学像差和视差差异的影响。因此，可以精确地获得第三形状信息。

当获得(摄影)视差图像时，在一个实施例中，不从发光器200发射光或者从所有光源发射光。

在距离计算中匹配视差图像期间，利用光均匀照射整个被摄体。这有利于匹配并防止被摄体的整个区域变暗，并且提高了距离计算的精度。当光从发光器的一部分发射时，被摄体被光不均匀地照射，并且在被摄体上产生暗区或阴影。当光从整个发光器发射时，可以用光均匀地照射被摄体。当环境光对于摄像足够亮时，当仅用环境光摄影时，可以用光均匀地照射被摄体。

可以通过在光源条件下对包括在光度立体图像中的图像应用加权平均来获得视差图像。通过如图10和图11所示的根据本实施例的摄像元件获得的光度立体图像中包括的各个图像，可以通过提取各个微透镜中包括的一些像素而被划分为视差图像。因此，包括在光度立体图像中并且与光源条件相关的图像可以被划分为视差图像。可以将加权平均应用于由此在光源条件下获得的视差图像。在应用加权平均之后，可以将包括在光度立体图像中的图像划分为视差图像。

在这种情况下，可以与对光度立体图像摄影的同时获得视差图像。将加权平均应用于光度立体图像使得各个视差图像中的整个被摄体能够明亮而不依赖于光源条件。

可以通过使用光度立体图像之一来获得视差图像。

使用一个光度立体图像作为用于距离计算的视差图像消除了在与光度立体图像的光源条件不同的光源条件下对视差图像摄影的必要性，并且使得能够减少所需的图像的数量。另外，使用一个光度立体图像使得能够减少用于距离计算的视差图像的数量，并且能够减少数据容量和计算负荷。

拍摄光度立体图像的曝光条件与拍摄视差图像的曝光条件不同。

在一个实施例中，曝光条件是指摄像装置的设置条件，例如快门速度、光阑值和ISO感光度。曝光条件不同于发光器的亮度和环境光。对于光度立体图像，增加光阑值以增加可以获得第一形状信息的景深。对于视差图像，景深增加，并且光阑值减小到一定程度以提高距离计算的精度。因此，当拍摄光度立体图像和视差图像时，改变曝光条件。

对于光度立体图像，可以通过将曝光条件设置为包括暗条件来增加来自发光器的光量，并且可以提高基于如何根据来自发光器的光观看被摄体的变化来获得第一形状信息的精度。因此，可以提高获得第三形状信息的精度。

发光器200的至少一个光源发射图案光。

通过从发光器的至少一个光源发射图案光而获得的视差图像的使用提高了对比度低的被摄体的距离计算中的匹配精度。因此，可以提高获得第二形状信息的精度。因此，可以提高获得第三形状信息的精度。

现在将描述其他实施例。

根据以上实施例，摄像装置1000的图像处理器104计算被摄体的形状信息。然而，可以通过使用与摄像装置1000不同的图像处理装置2000来计算被摄体的形状信息。图像处理装置2000的示例是PC。图5示意性地例示了其结构。图6例示了图像处理装置2000的框图。

图像处理装置2000通过线缆或无线连接到摄像装置，并且可以通过通信获得由摄像装置获得的光度立体图像和视差图像。图像处理装置2000包括第一获得单元204a、第二获得单元204b和第三获得单元204c，其对应于上述第一获得单元104a、第二获得单元104b和第三获得单元104c。图像处理装置2000还包括渲染单元204d。

图7是例示根据本实施例的获得形状信息的处理的流程图。

图7中的步骤S201至S207与根据上述第一实施例的步骤S101至S107相同，并且省略其描述。

在步骤S208中，渲染单元204d基于所获得的形状信息生成虚拟光源图像。具体地，使用第三形状信息和通过光度立体方法计算的朗伯漫反射率使得渲染处理能够生成如下图像，在该图像中，基于虚拟设置的光源的位置和光量再现被摄体的外观。原因是被摄体的外观由例如被摄体的形状信息、关于被摄体的反射率的信息和关于光源的信息确定。由于获得了距离信息，因此可以看到被摄体的前后之间的关系，并且可以再现通过屏蔽来自光源的光而产生的阴影。图像存储单元保存渲染图像。这些处理结束。

以上描述了本公开的示例性实施例。然而，本公开不限于这些实施例。可以在其实质的范围内进行各种组合、变型和变更。

根据实施例的方面，图像处理装置可以以简单的结构获得精确的形状信息。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种摄像 装置，其包括：

摄像元件，其用于通过不同像素接收通过光学系统的光瞳的不同区域的多个光束，来获得多个视差图像；以及

处理器，其用于对通过使用摄像元件获得的图像进行图像处理，

其中，处理器包括：

第一获得单元，该第一获得单元基于通过使用摄像元件在包括至少三个不同光源条件的光源条件下摄影的多个光度立体图像，来获得被摄体的第一形状信息，

第二获得单元，该第二获得单元通过使用所述多个视差图像来获得被摄体的第二形状信息，以及

第三获得单元，该第三获得单元通过使用第一形状信息和第二形状信息来获得被摄体的第三形状信息，所述第三形状信息不同于所述第一形状信息和所述第二形状信息。

2.根据权利要求1所述的装置，

其中，第一形状信息是表面法线信息，第二形状信息是距离信息。

3.根据权利要求1所述的装置，

其中，当对所述多个光度立体图像中包括的图像摄影时光束通过的光瞳的区域包含，当对所述多个视差图像中的至少一个摄影时光束通过的区域的至少一部分。

4.根据权利要求1所述的装置，

其中，当对所述多个视差图像中包括的各图像摄影时光束通过的光瞳的区域，与当对所述多个光度立体图像中包括的图像摄影时光束通过的区域，具有公共部分。

5.根据权利要求1所述的装置，

其中，通过将与所述多个视差图像相关的所有像素相加，来获得所述多个光度立体图像中包括的图像。

6.根据权利要求1所述的装置，

其中，当对所述多个光度立体图像中包括的图像摄影时光束通过的光瞳的区域，与当对所述多个视差图像中的至少一个摄影时光束通过的区域，相同。

7.根据权利要求1所述的装置，

其中，第二形状信息是距离信息，并且

其中，通过与距离信息所基于的所述多个视差图像的基准图像相关的像素，来获得所述多个光度立体图像中包括的各图像。

8.根据权利要求1所述的装置，

其中，光源条件是开启多个光源或关闭多个光源的组合的条件，并且

其中，当对所述多个视差图像摄影时，关闭所述多个光源中的全部光源。

9.根据权利要求1所述的装置，

其中，光源条件是开启多个光源或关闭多个光源的组合的条件，并且

其中，当对所述多个视差图像摄影时，开启所述多个光源中的全部光源。

10.根据权利要求8所述的装置，

其中，所述装置包括发光器，所述发光器包括所述多个光源。

11.根据权利要求1所述的装置，

其中，所述多个视差图像包括通过应用所述多个光度立体图像中包括的图像的加权平均而获得的图像。

12.根据权利要求1所述的装置，

其中，所述多个视差图像包括通过使用所述多个光度立体图像中的一个而获得的图像。

13.根据权利要求1至12中的任一项所述的装置，

其中，当对所述多个光度立体图像中包括的图像摄影时的曝光条件，不同于当对所述多个视差图像摄影时的曝光条件。

14.根据权利要求1至12 中的任一项所述的装置，

其中，第三形状信息是表面法线信息或距离信息。

15.一种图像处理方法，所述图像处理方法包括：

基于通过使用摄像元件在包括至少三个不同光源条件的光源条件下摄影的多个光度立体图像，来获得第一形状信息，所述摄像元件用于通过不同像素接收通过光学系统的光瞳的不同区域的多个光束，来获得多个视差图像；

通过使用所述多个视差图像来获得第二形状信息；以及

通过使用第一形状信息和第二形状信息来获得第三形状信息，所述第三形状信息不同于所述第一形状信息和所述第二形状信息。

16.根据权利要求15所述的图像处理方法，

其中，当对所述多个光度立体图像中包括的图像摄影时光束通过的光瞳的区域包含，当对所述多个视差图像中的至少一个摄影时光束通过的区域的至少一部分。

17.根据权利要求15所述的图像处理方法，

其中，当对所述多个视差图像中包括的各图像摄影时光束通过的光瞳的区域，与当对所述多个光度立体图像中包括的图像摄影时光束通过的区域，具有公共部分。

18.一种存储介质，在所述存储介质中存储有使计算机进行如下方法的程序，所述方法包括：

基于通过使用摄像元件在包括至少三个不同光源条件的光源条件下摄影的多个光度立体图像，来获得第一形状信息，所述摄像元件用于通过不同像素接收通过光学系统的光瞳的不同区域的多个光束，来获得多个视差图像；

通过使用所述多个视差图像来获得第二形状信息；以及

通过使用第一形状信息和第二形状信息来获得第三形状信息，所述第三形状信息不同于所述第一形状信息和所述第二形状信息。

19.根据权利要求18所述的存储介质，

其中，当对所述多个光度立体图像中包括的图像摄影时光束通过的光瞳的区域包含，当对所述多个视差图像中的至少一个摄影时光束通过的区域的至少一部分。

20.根据权利要求18所述的存储介质，

其中，当对所述多个视差图像中包括的各图像摄影时光束通过的光瞳的区域，与当对所述多个光度立体图像中包括的图像摄影时光束通过的区域，具有公共部分。

Images