CN103390290B - 信息处理设备及信息处理方法 - Google Patents

Abstract

本发明提供信息处理设备及信息处理方法。传统的光源数据计算需要高负荷并且不稳定。所述信息处理设备基于捕获被摄体的图像时的图像捕获条件数据，来推导光源数据，该光源数据表示由捕获的图像表示的图像的光源的状态。

Description

信息处理设备及信息处理方法

技术领域

本发明涉及光源推定。

背景技术

存在如下的情况，即为了对捕获图像赋予捕获图像的人希望的效果，而进行由图像处理软件等执行的图像处理。例如，有用于改变捕获图像的光源的种类和方向、用于合成虚拟对象等的图像处理。这种图像处理需要技术人员花费大量时间来创建没有不自然的处理后图像，然而，已经能够基于诸如被摄体形状、质感、图像捕获场景中的光源等的信息来自动进行图像处理。此外，已经提出了各种技术用来根据捕获图像推定这类信息。

例如，存在如下的技术，即通过在图像捕获场景中布置诸如配设有镜面球的二维标记物等的特殊装置，来推定光源。在这种情况下，能够通过基于照相机的位置和对光源进行反射的镜面球的捕获图像进行计算处理，来推定光源。然而，需要配设如上所述的特殊装置，并在图像捕获场景中布置特殊装置之后捕获图像，因此，存在需要花费大量精力和时间的问题。在这种情形下，提出了如下的方法，即通过佩戴附装有视频照相机的头戴式显示器的用户来回移动，来获取整个外围图像，从而推定光源（日本专利特开第2008-33531号公报）。

另外还有如下的技术，即把在已知被摄体的形状和质感的条件下、通过调整光源参数并绘制（render）各种光源下的被摄体形状而获得的CG图像数据，与实际拍摄图像数据进行比较，并且将二者差最小的光源推定为真实场景中的光源（TakahiroOkabe,"Sphericalharmonicsvs.Haarwavelets:basisforrecoveringilluminationfromcastshadows"Proc.IEEEConf.ComputerVisionandPatternAnalysis(CVPR04),pp.I-50-57,2004，下文中称为“Okabe”）。

使用根据日本专利特开第2008-33531号公报的推定光源的方法，需要用户在整个外围方向上移动，以便获取整个外围图像，因此，无法容易地执行该方法。

此外，在使用Okabe的推定光源的方法的情况下，光源参数的数量大，因此，存在最优化花费大量时间的问题。此外，如通常在最优化问题中已知的，在将CG图像和实际拍摄图像之差最小化的情况下，存在光源参数导致局部解、由此处理变得不稳定的问题。

发明内容

根据本发明的信息处理设备包括：图像捕获条件数据获取单元，其被配置为获取进行被摄体的图像捕获时的图像捕获条件数据；以及光源数据推导单元，其被配置为基于所述图像捕获条件数据来推导光源数据，该光源数据表示由所捕获的图像的数据表示的图像的光源的状态。

能够容易、高效并且稳定地根据捕获图像数据来推定真实场景中的光源。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出作为根据第一实施例的用于进行光源推定的信息处理设备的照相机的配置的示例的图；

图2是示出根据第一实施例的光源推定单元的内部配置的功能框图；

图3是示出光源和被摄体之间的关系的图；

图4是示出光源数据的示例的图；

图5是示出第一实施例中的光源推定处理的流程的流程图；

图6是示出多边形数据的示例的图；

图7A至7D是示出与彼此不同的图像捕获条件数据相对应的光源数据的示例的图；

图8是示出光源数据表的示例的图；

图9是示出第一实施例中的光源数据推导处理的流程的流程图；

图10A是示出捕获图像的示例的图，并且图10B是示出图像捕获环境中的光源的数据的图；

图11A是示出经过绘制的CG图像的示例的图，并且图11B是示出在进行绘制时使用的光源的数据的图；

图12是示出根据第二实施例的光源推定单元的内部配置的功能框图；

图13是示出作为根据第二实施例的用于进行光源推定的信息处理设备的、包括多个图像捕获单元的照相机的配置的示例的图；

图14A至14C是各自示出从三个不同的视点捕获图像的情况下的多视点图像的示例的图；

图15是示出第二实施例中的光源推定处理的流程的流程图；

图16是示出根据第三实施例的用于进行光源推定的信息处理系统的系统配置示例的图；

图17是示出第三实施例中的光源推定处理的流程的流程图；

图18是示出根据第三实施例的处理服务器中的初始光源数据确定处理的流程的流程图；

图19是示出根据第三实施例的光源数据表的示例的图；

图20是示出根据第四实施例的光源推定单元的内部配置的功能框图；

图21是示出第四实施例中的光源推定处理的流程的流程图；

图22是示出根据第五实施例的光源推定单元的内部配置的功能框图；

图23是示出第五实施例中的光源推定处理的流程的流程图；

图24是示出根据本实施例的光源数据表的示例的图；

图25是示出根据第六实施例的光源推定单元的内部配置的功能框图；

图26是示出第六实施例中的光源推定处理的流程的流程图；

图27是第六实施例中的视差图像推导的概念图；

图28是第六实施例中的从像素偏移量到深度值的转换的概念图；

图29是第六实施例中的步骤2604的详细流程图；

图30A是示出使用仅包括能够被视为位于无限远的被摄体的捕获图像作为光源数据的情况下的CG绘制结果的示例的图，并且图30B是示出使用包括不能被视为位于无限远的被摄体的捕获图像作为光源数据的情况下的CG绘制结果的示例的图；

图31是示出根据第八实施例的光源推定单元的内部配置的功能框图；

图32是示出第八实施例中的光源推定处理的流程的流程图；

图33是示出除外区域的示例的图；

图34是示出在光照射放置在地板上的长方体和立方体的场景中捕获图像的照相机的状态的图；

图35A示出了示出捕获图像的示例的图，图35B是示出仅使用捕获图像的投影区域推导出的光源数据的示例的图，并且图35C是示出使用除了捕获图像的像素区域的投影区域之外的整个区域推导出的光源数据的示例的图；

图36A是示出在不存在除外区域的情况下推导出的光源数据的示例的图，并且图36B是示出在存在除外区域的情况下推导出的光源数据的示例的图；

图37是示出根据第九实施例的光源推定单元的内部配置的功能框图；

图38是示出第九实施例中的光源推定处理的流程的流程图；

图39是示出通过绘制生成的CG图像的示例的图；

图40是用于说明确定被排除区域的处理的图；

图41是示出像素位置与对应于像素位置的方向之间的关系的图；

图42是示出根据第十实施例的用于进行光源推定的信息处理系统的系统配置示例的图；以及

图43是示出第十实施例中的光源推定处理的流程的流程图。

具体实施方式

下面，参照附图说明本发明的优选实施例。

[第一实施例]

<设备配置>

图1是示出作为根据本实施例的用于进行光源推定的信息处理设备的照相机的配置的示例的图。

图像捕获单元101包括变焦透镜、聚焦透镜、照相机抖动校正透镜、光圈、快门、光学低通滤波器、iR截止滤波器、颜色滤波器以及诸如CMOS和CCD的传感器，并且检测被摄体的光量。

A/D转换单元102将被摄体的光量转换为数字值。

信号处理单元103对转换后的数字值进行白平衡处理、伽马处理、噪声降低处理等，以生成数字图像数据。

D/A转换单元104对生成的数字图像数据进行模拟转换。

编码器单元105进行处理，以将数字图像数据转换为诸如Jpeg和Mpeg的文件格式。

媒体接口106是被配置为连接到PC及其他介质（例如硬盘、存储卡、CF卡、SD卡、USB存储器）的接口。此外，媒体接口106连接到诸如因特网的通信网络，并且依照需要进行数据的发送和接收。

CPU107是对各个单元进行总体控制的处理器。

ROM108存储在CPU107中执行的控制程序等。

RAM109用作CPU107的主存储器、工作区等。

图像捕获系统控制单元110进行从CPU107指示的对图像捕获系统的控制，诸如聚焦、快门的释放以及光圈的调整等。

操作单元111包括按钮、模式转盘等，并且接收通过这些按钮、模式转盘等输入的用户指令。

字符生成单元112生成字符、图形等。

作为显示单元113，一般广泛使用液晶显示器，显示单元113显示从字符生成单元112和D/A转换单元104接收到的捕获图像和字符。此外，显示单元113还可以具有触摸屏功能，在这种情况下，也能够将用户指令作为操作单元111的输入来处置。

光源推定单元114根据数字图像数据进行光源推定处理。稍后将描述光源推定单元114的详情。

GPS接收器115获取图像捕获位置数据，并且向光源推定单元114和编码器单元105提供该数据。此外，作为理想方案，GPS接收器115具有作为被配置为获取照相机的方向的电子罗盘的功能。

存在上述构成要素之外的照相机的构成要素，然而，这些之外的构成要素不是本实施例的主要目标，在此省略不必要的说明。

图2是示出根据本实施例的光源推定单元114的内部配置的功能框图。

光源推定单元114包括图像数据获取单元201、被摄体形状数据获取单元202、图像捕获条件数据获取单元203、光源数据推导单元205、初始光源数据确定单元204和光源数据输出单元206。

图像数据获取单元201从信号处理单元103，获取由图像捕获单元101捕获并且经过预定图像处理的图像的数字数据（下文中简称为“图像数据”）。

被摄体形状数据获取单元202从ROM108等，获取与图像数据相关的图像中的被摄体的形状数据。

图像捕获条件数据获取单元203从操作单元111、图像捕获系统控制单元110、信号处理单元103、GPS接收器单元115等，获取与进行图像捕获时的各种条件相关的数据（下文中称为“图像捕获条件数据”）。图像捕获条件数据包括指示进行图像捕获时的照相机的状态和情形的参数。具体而言，在图像捕获条件数据中，包括快门速度、是否使用闪光灯、ISO速度、光圈值、白平衡（WB）、图像捕获日期、GPS信息、诸如人像和夜景的图像捕获模式、注释信息、URL信息、用于进行图像捕获的照相机主体或镜头的型号等。优选地，在图像捕获条件数据中，包括照相机的场角、分辨率、照相机的光学中心的位置、指示照相机的光轴的矢量以及指示照相机的向上方向的矢量的信息。该图像捕获条件数据也可以由用户直接输入和设置，或者可以在进行图像捕获时被自动记录至图像数据的首部或底部。

初始光源数据确定单元204通过参照各种类型的光源数据（在与图像捕获条件数据相关联的状态下，存储在作为光源数据存储单元的ROM108等中），来确定与图像捕获条件数据相对应的初始光源数据。

光源数据推导单元205根据图像数据、被摄体形状数据、图像捕获条件数据和初始光源数据，来推导作为场景中的光源的最佳光源数据。这里，说明本实施例中的光源数据。图3是示出光源和被摄体之间的关系的图。在本说明书中，假设光源表示针对入射到被摄体上的光的、各个入射方向的亮度分布。入射方向由纬度θ和经度表示。图4是示出光源数据的示例的图。在图4中的示例中，行表示经度，列表示纬度，并且示出了指示入射到被摄体上的光的各个入射方向的亮度的数值（0.0到1.0）。纬度90度处的值极大的这类光源数据表示来自高点方向的光源（即来自天顶的光强度高的光源）。作为具有这种光源的场景，比如有白天的晴朗的天空等。

光源数据输出单元206向外部输出推导的光源数据。

通过由CPU107使各种软件（计算机程序）运行，来实现上述各个单元中的处理。

图5是示出本实施例中的光源推定处理的流程的流程图。

在步骤501，图像数据获取单元201从信号处理单元103获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元205。

在步骤502，被摄体形状数据获取单元202获取被摄体的形状数据。获取的被摄体形状数据被发送至光源数据推导单元205。作为被摄体形状数据，优选多边形数据，并且获取通过先前使用3D扫描器等进行测量而获得的、并且预先存储在ROM108等中的数据。作为另选方案，还可以在信息处理设备本身中配设3D扫描器，并且直接获取测量的多边形数据。图6示出了在该步骤获取的多边形数据的示例，图中示出了立方体的多边形数据。如图6所示，多边形数据包括顶点数据和网格数据。在假设被摄体是平面的集合的情况下，立方体是六个平面的集合，并且具有八个顶点。顶点数据保持各个顶点的三维坐标值。网格数据指定各个平面，并且描述如何通过连接顶点来构成平面。例如，图6中的网格数据中的平面S0表示由顶点v0、v1、v2和v3指定的方形平面。在图6中，平面由四个顶点构成；然而，也可以由三个顶点或者五个顶点构成平面。获取这种描述形状的多边形数据，作为被摄体形状数据。

在步骤503，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至初始光源数据确定单元204和光源数据推导单元205。

在步骤504，初始光源数据确定单元204通过参照存储在ROM108等中的光源数据表，确定与获取的图像捕获条件数据相对应的初始光源数据。

这里，说明存储在ROM108等中的光源数据表。在作为光源数据存储单元的ROM108等中，保持包括与图像捕获条件数据相关联的多个光源数据的光源数据表。然后，从多个光源数据中，确定与获取的图像捕获条件数据相对应的一个光源数据，作为初始光源数据。图7A至7D分别示出了与不同的图像捕获条件数据相对应的光源数据的示例。图7A是适合于白平衡的设置是“阴天”的情况的光源数据的示例。在白平衡是“阴天”的情况下，推断图像捕获场景是阴天或者阴暗的场景，因此，进行图像捕获时的光源在所有方向上是均匀的。由于这一原因，优选亮度在所有方向上具有均匀值的光源数据。图7B是适合于白平衡的设置是“阳光”的情况的光源数据的示例。在白平衡是“阳光”的情况下，推断图像捕获场景是晴朗的天空场景。由于这一原因，优选来自天顶方向的光的亮度高的光源数据。在白平衡是“阳光”的情况下，作为理想方案，基于诸如GPS信息和图像捕获日期的信息来预测太阳的准确方向，并且保持在预测的方向上亮度最高的光源数据。图7C是适合于使用闪光灯的光源数据的示例。在水平方向上照射闪光灯的概率高。由于这一原因，优选0°纬度方向上的亮度最高的光源数据。图7D是适合于图像捕获模式的设置是“夜景”的情况的光源数据的示例。在这种情况下，推断图像捕获场景是夜景。由于这一原因，优选由于城镇的灯光而使得水平方向上的亮度相对高的光源数据。

这些各种类型的光源数据在与图像捕获条件数据相关联的状态下保持在ROM108等中。图8是在与图像捕获条件数据相关联的状态下保持多个光源数据的光源数据表的示例。初始光源数据确定单元204通过参照这样的光源数据表，搜索适合于这时的图像捕获条件数据的初始光源数据。具体而言，使用下面的公式(1)针对图8所示的光源数据表的各行计算指标E，并且指定初始光源数据，使得指标E最小。

[公式(1)]

E=Σw_i(v_i-a_i)²

其中，v_i和a_i是图像捕获条件数据的参数，其中，v_i是在步骤503获取的图像捕获条件数据，a_x是由ROM108等保持的表中的图像捕获条件数据。下标i对应于图像捕获条件数据的参数的数量，例如，v₁/a₁是GPS信息的经度，v₂/a₂是GPS信息的纬度，v₃/a₃是图像捕获日期等。对于诸如WB设置的不由数值表示的参数，分配图8中的小括号所示的任意数值等（例如，对WB阳光：分配数值“0”），以便获得能够进行比较的状态。系数w_i是权重系数。在旨在使用GPS信息作为用来确定初始光源数据的主要确定因素的情况下，优选将针对GPS信息的权重系数设置为大于针对其他参数的权重系数。

以上述方式，将与在步骤503获取的图像捕获条件数据相对应的光源数据确定为初始光源数据。

在步骤505，光源数据推导单元205基于获取的图像数据、被摄体形状数据、图像捕获条件数据（步骤501至503）以及确定的初始光源数据（步骤504），来推导对于场景最佳的光源数据。稍后将描述光源数据推导处理的详情。

在步骤506，光源数据输出单元206输出推导的光源数据。

（光源数据推导处理）

图9是示出步骤505的光源数据推导处理的流程的流程图。通过该处理，获得能够用来获得接近实际捕获图像的CG图像的最优化光源数据。

在步骤901，光源数据推导单元205把从初始光源数据确定单元204发送的初始光源数据，设置为要求得的光源数据的初始值。如稍后将描述的，该流程图具有循环结构，并且用表示第i个循环中的光源数据。在步骤901，将设置为初始值。

在步骤902，基于在步骤901设置的初始光源数据以及在先前描述的步骤502和503获取的被摄体形状数据和图像捕获条件数据，光源数据推导单元205进行绘制，以生成CG图像数据。具体而言，这里的图像捕获条件数据是诸如照相机的场角以及照相机的位置的、进行绘制所需的参数。作为绘制方法，优选诸如路径跟踪和照片映射的、目标在于物理精确度的方法，使得能够将CG图像和实际拍摄图像进行比较。有关该步骤的详情，请参见[Okabe]。另外，假设将使用光源数据进行了绘制的CG图像表示为I_i。这里，参照图10和图11，来说明光源数据和CG图像之间的关系。图10A是捕获图像（实际拍摄图像）的示例，图10B示出了该图像捕获环境下的光源的数据（即要推定的光源数据）。从图10B能够看出，在这种情况下，光仅从45°纬度和0°经度方向照射，因此，能够在作为图10A所示的捕获图像中的被摄体的长方体的右斜下方位置看到投影。另一方面，图11A是进行了绘制的CG图像的示例，图11B示出了在绘制时使用的光源的数据。从图11B能够看出，光从错误的方向照射（纬度正确，但经度不是0°而是90°），因此，在图11A所示的绘制结果（CG图像）中，能够在作为被摄体的长方体的左斜下方位置看到投影。从图10和图11所示的示例中，能够获知图11B所示的光源数据不适合作为该场景中的光源数据，因为实际捕获图像与进行了绘制的CG图像之差大。为了便于说明，使用了用来进行绘制的光源数据极其不合适的示例；然而，在根据本实施例的光源数据推导处理中，如已经说明的，将比较接近理想的光源数据设置为初始光源数据。

在步骤903，光源数据推导单元205求得在步骤902生成的CG图像和捕获图像之间的误差Δ_i，并且确定求得的误差Δ_i是否小于预定阈值。作为求得误差的方法，还可以求得需要轻计算负荷的RMS误差，或者使用通过利用人类视觉特性来计算图像之差的VDP（视觉差预测器，VisualDifferencePredictor），或者S-CIELAB。在求得的误差Δ_i小于预定阈值（例如，在使用S-CIELAB求得误差的情况下，将作为人类检测极限的1设置为阈值）的情况下，该过程进行到步骤905。另一方面，在求得的误差Δ_i大于预定阈值的情况下，该过程进行到步骤904。

在步骤904，光源数据推导单元205基于在步骤903求得的误差Δ_i，来更新光源数据的内容。具体而言，使用下面的公式(2)计算下一个光源数据

[公式(2)]

其中，δ是用于指定更新光源数据的程度的参数，并且例如被设置为1。在计算需要大量时间的情况下，将δ设置为较大的值，或者相反，在设置的值过大并且精度低的情况下，将δ设置为较小的值，由此适当地设置δ。在第一循环的时间点（即在i＝0的情况下），Δ_i-1和两者均尚未获得。因此，在第一循环中，代替公式(2)，而使用下面的公式(3)，来更新光源数据。

[公式(3)]

在以这种方式更新了光源数据、并且获得下一个更新后的数据 之后，该过程返回到步骤902，并且基于更新后的光源数据进行绘制。然后，确定新获得的CG图像和捕获图像之间的误差Δ_i是否小于阈值（步骤903），并且重复相同的处理，直到确定误差Δ_i小于阈值为止。

在步骤905，光源数据推导单元205向光源数据输出单元206输出推导的光源数据（被确定为误差Δ_i小于预定阈值的光源数据）。

以这种方式，推导出对于场景最佳的光源数据。

如上所述，根据本实施例的发明，在推导适当的光源数据的处理中，基于表示诸如白平衡设置的光源的特性的图像捕获条件数据，来设置光源数据的初始值（初始光源数据）。由于这一原因，能够使得光源数据的最优化计算较早收敛，此外，能够降低因为最优化导致局部解而获得错误的结果的风险。

在本实施例中，使用照相机作为用于进行光源推定的信息处理设备的示例；然而，本发明不局限于此。例如，也可以通过由接收到数字图像数据的计算机的CPU使各种软件运行，来进行光源推定处理。

[第二实施例]

在第一实施例中，获取预先通过使用3D扫描器等进行测量而获得的、并且存储在ROM108等中的被摄体形状数据，并用于光源数据推导处理。接下来，说明如下的方面作为第二实施例，即基于获取的图像数据和图像捕获条件数据来进行被摄体形状的推定，并且使用获得的形状数据来推导光源数据。与第一实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图12是示出根据本实施例的光源推定单元114的内部配置的功能框图。该光源推定单元114与根据第一实施例的光源推定单元114（参见图2）的显著不同之处在于，配设了被摄体形状推定单元1201，来代替被摄体形状数据获取单元202。

在本实施例的情况下，由图像数据获取单元201获取的图像数据优选是由从多个不同的视点捕获的图像构成的数据（多视点图像数据）。图13是示出作为根据本实施例的用于进行光源推定的信息处理设备的、包括多个图像捕获单元的照相机的配置的示例的图。图13示出了两个图像捕获单元，即图像捕获单元1301和1302；然而，能够任意设置图像捕获单元的数量及其布置。例如，能够考虑在正方形格子上均匀地布置九个图像捕获单元的情况，在这种采用照相机阵列系统的照相机的情况下，能够通过一次图像捕获获得来自九个视点的图像的数据。此外，还可以通过使用具有被配置为通过一次图像捕获来捕获一个图像的单镜头系统图像捕获单元的照相机（参见图1），在将视点移位的同时多次进行图像捕获，来获得多视点图像数据。图14A至14C是各自示出例如使用具有单镜头系统图像捕获单元的照相机、从三个不同的视点捕获图像的情况下的多视点图像的示例的图。

图15是示出本实施例中的光源推定处理的流程的流程图。

在步骤1501，图像数据获取单元201从信号处理单元103，获取经过预定图像处理的多视点图像数据。获取的多视点图像数据被发送至被摄体形状推定单元1201和光源数据推导单元205。

在步骤1502，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至被摄体形状推定单元1201、初始光源数据确定单元204和光源数据推导单元205。

在步骤1503，被摄体形状推定单元1201根据多视点图像数据，来推定被摄体的形状。根据具有不同视点的多个图像来推定被摄体的形状的方法是广泛公知的，例如，能够使用SfM（移动结构，StructurefromMotion）进行计算。虽然这里省略了对具体推定处理的说明，但是在例如采用SfM的情况下，优选在图像捕获条件数据中包括照相机的位置信息等，并且利用该位置信息。与表示数据的精确度或可靠度的评价值一起，计算的被摄体形状数据被发送至光源数据推导单元205。这里，说明评价值。在形状推定中，提取多个图像之间彼此相对应的点（区域）。然后，以对应点之间的一致度越高、则评价值越高的方式，对被摄体形状数据赋予评价值。这时，优选把与一致度相关地设置的阈值（例如90%），取作形状推定的评价值。

在步骤1504，初始光源数据确定单元204通过参照保存在ROM108等中的光源数据表，确定与图像捕获条件数据相对应的初始光源数据。这里的处理与根据第一实施例的图5中的流程图的步骤504的处理相同。

在步骤1505，光源数据推导单元205基于获取的多视点图像数据和图像捕获条件数据、计算的被摄体形状数据以及确定的初始光源数据，来推导该场景中的光源数据。根据本实施例的光源数据推导处理与根据第一实施例的图5中的流程图的步骤505的处理（参见图9中的流程图）基本相同，然而存在以下几点不同。

首先，在步骤1501获取多视点图像数据，因此，还针对具有不同视点的各个图像（即在包括与九个视点相对应的图像的情况下进行九次），来进行步骤902的绘制处理以及步骤903的CG图像和捕获图像的误差确定处理。

此外，按如下方式设置在步骤903评价CG图像和捕获图像之间的误差时的阈值。在根据多个图像推定的被摄体形状数据的情况下，毋庸置疑，与使用诸如3D扫描器的测量设备获得的被摄体形状数据等相比，通常与实际被摄体的偏移大。因此，假定使用具有大偏移的被摄体形状数据进行了绘制的CG图像与实际捕获图像之间的误差也大。由于这一原因，将在该步骤使用的阈值设置为大于第一实施例的情况下的值。具体而言，依照与被摄体形状数据一起接收到的形状推定的评价值，来设置步骤903的阈值。例如，在被摄体形状推定单元1201中提取了对应点时，假设算法采用在对应点附近的图像之差等于或小于阈值C的情况下的对应点。在这种情况下，也将步骤903的阈值设置为C等。作为理想方案，依据假定的误差的大小来适当地设置步骤903的阈值，例如，在由于另一因素出现误差的情况下，将阈值设置为2C。

在步骤1506，光源数据输出单元206输出推导的光源数据。如上所述，在本实施例的情况下，推导与具有不同视点的图像的数量相对应的数据的数量的、被确定为误差小于阈值的光源数据，因此，存在依据设置的阈值、推导出内容对于各个图像不同的光源数据的可能性。在这种情况下，可以通过再次设置阈值，重复步骤1505的处理，直到针对所有图像获得相同的结果为止，或者把在最大数量的图像中被确定为误差小于阈值的光源数据，取作最终光源数据等，从而确定一个光源数据。

如上所述，根据本实施例的发明，根据多视点图像数据来推定被摄体的形状，因此，能够消除预先通过使用3D扫描器等测量被摄体的形状来准备被摄体形状数据的需要。

[第三实施例]

接下来，说明如下的方面作为第三实施例，即通过使用连接到通信网络的外部服务器等，来确定光源数据推导处理使用的初始光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图16是示出根据本实施例的用于进行光源推定的信息处理系统的系统配置示例的图。光源推定设备1600是PC等，并且基本对应于第一实施例中的光源推定单元114。根据本实施例的光源推定设备1600与根据第一实施例的光源推定单元114（参见图2）的显著不同之处在于，光源推定设备1600不包括初始光源数据确定单元，而是代之以包括图像捕获条件数据发送单元1604和初始光源数据接收单元1605。其次，经由诸如因特网的通信网络，光源推定设备1600与作为初始光源数据确定单元的处理服务器1610和作为光源数据存储单元（光源数据库）的数据服务器1620彼此连接。

图17是示出本实施例中的光源推定处理的流程的流程图。

在步骤1701，光源推定设备1600的图像数据获取单元1601从未示意性地示出的照相机等，获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元1606。

在步骤1702，光源推定设备1600的被摄体形状数据获取单元1602从存储被摄体形状数据的HDD（未示意性地示出）等，获取被摄体形状数据。

在步骤1703，光源推定设备1600的图像捕获条件数据获取单元1603从未示意性地示出的照相机等，获取图像捕获条件数据。获取的图像捕获条件数据被发送至光源数据推导单元1606和图像捕获条件数据发送单元1604。

在步骤1704，图像捕获条件数据发送单元1604向作为初始光源数据确定单元的处理服务器1610，发送获取的图像捕获条件数据。

在步骤1705，处理服务器1610从存储在数据服务器1620中的各个光源数据中，确定与图像捕获条件数据相对应的一个初始光源数据，并且向光源推定设备1600发送该数据。

图18是示出根据本实施例的处理服务器1610中的初始光源数据确定处理的流程的流程图。

在步骤1801，处理服务器1610从光源推定设备1600接收图像捕获条件数据。

在步骤1802，处理服务器1610将光源相关信息添加到接收到的图像捕获条件数据中。光源相关信息例如是指包含在图像捕获条件数据中的、从GPS信息、日期等获得的图像捕获地点的天气信息。天气信息可以是指示晴朗或阴天天气的信息，或者是在进行图像捕获时（或者在该时间之前或之后）由气象卫星从天空捕获的图像捕获地点的图像的信息。使用捕获图像具有能够获得更详细的天气信息的优点。通过利用由连接到通信网络的处理设备提供的气象服务等，来获取这类天气信息。作为光源相关信息的另选示例，例如能够考虑通过使用诸如逆地理编码（inverseGeocoding）的服务从GPS信息中获取图像捕获地点的地址而获得的、位于图像捕获地点的建筑物的名称之类的信息。

在步骤1803，处理服务器1610基于添加了光源相关信息的图像捕获条件数据，来访问数据服务器1620，搜索与图像捕获条件数据相对应的光源数据，并确定初始光源数据。确定初始光源数据的方法与第一实施例的步骤504的方法相同。

在步骤1804，处理服务器1610向光源推定设备1600发送确定的初始光源数据。

返回说明图17中的流程图。

在步骤1706，光源推定设备1600的初始光源数据接收单元1605接收初始光源数据。

在步骤1707，光源数据推导单元1606推导光源数据。推导光源数据的方法与在第一实施例的图9中的流程图中说明的方法相同。

在步骤1708，光源数据输出单元1607输出推导的光源数据。这里的输出包括将光源数据保存在例如未示意性地示出的存储卡等的存储介质中。此外，向数据服务器1620发送推导的最优化计算之后的光源数据及其图像捕获条件数据。这时，优选还发送推导的光源数据的评价值（指示与实际光源的匹配程度的值）。评价值例如可以是在图9中的流程图的步骤903使用的阈值，或者用户单独设置的值（0到100%：值越大，则评价越高）。在接收到光源数据及其图像捕获条件数据的数据服务器1620中，进行向光源数据表添加接收到的光源数据及其图像捕获条件数据的处理（更新光源数据表的处理）。图19示出了添加了天气信息1901和评价值1902的更新后的光源数据表的示例，所述的天气信息1901和评价值1902是未包含在根据第一实施例的光源数据表（参见图8）中的项。优选地，作为根据本实施例的光源数据库，最初由制造商方创建包括几种基本光源数据的光源数据表，然后，每次用户创建光源数据之后（或者响应于这时来自用户的更新指令），更新光源数据表。

如上所述，根据本实施例的发明，使用在通信网络上共享的独立光源数据库，因此，能够保持更多的光源数据，并且快速并稳定地推导最适合场景的光源数据。此外，每次创建光源数据时，向光源数据库添加新创建的光源数据，因此，使得能够以更高的精度推导光源数据。

[第四实施例]

接下来，说明如下的方面作为第四实施例，即在不使用实际被摄体的形状数据的情况下容易地推导光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图20是示出根据本实施例的光源推定单元114的内部配置的功能框图。

根据本实施例的光源推定单元114包括图像数据获取单元201、图像捕获条件数据获取单元203、光源数据推导单元205、初始光源数据确定单元204和光源数据输出单元206，而不包括被配置为获取实际被摄体的形状数据的被摄体形状数据获取单元202。

图21是示出本实施例中的光源推定处理的流程的流程图。

在步骤2101，图像数据获取单元201从信号处理单元103获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元205。

在步骤2102，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至光源数据推导单元205和初始光源数据确定单元204。

在步骤2103，初始光源数据确定单元204通过参照保存在ROM108等中的光源数据表，确定与图像捕获条件数据相对应的初始光源数据。

在步骤2104，光源数据推导单元205基于获取的图像数据、图像捕获条件数据（步骤2101、2102）以及确定的初始光源数据（步骤2103），来推导场景的光源数据。在本实施例中的光源数据推导处理中，不输入被摄体的形状数据，因此，代之以使用简化的形状数据来进行绘制。这里，作为简化的形状，例如，优选正对照相机的、具有50%的反射率的材料属性的平面。作为理想方案，把这种情况下的平面和照相机之间的距离，设置为包含在图像捕获条件数据中的被摄体距离。此外，作为理想方案，将平面的尺寸在人像模式的情况下设置为诸如为2m×0.5m的人的尺寸，或者在人像模式之外的情况下，设置为从包含在图像捕获条件数据中的照相机的场角覆盖整个图像的尺寸。预先在HDD等中，提供代替实际被摄体的形状数据的简化形状的数据。通过基于这类简化形状的数据进行绘制，生成CG图像，并且使用CG图像数据来推导最佳光源数据。

在步骤2105，光源数据输出单元206输出推导的光源数据。

也可以将上述使用简化形状数据的方法应用于第三实施例，并且经由通信网络来推导光源数据。这时，作为理想方案，向光源数据库中的光源数据，附加指示在没有被摄体形状数据的状态下推导出光源数据的指标。

如上所述，根据本实施例的发明，使用简化形状数据来代替获取被摄体形状数据，因此，能够更快地推导出最佳光源数据。

[第五实施例]

在第四实施例中，代替被摄体形状数据，使用简化形状数据来推导光源数据。接下来，说明如下的方面作为第五实施例，即在甚至不使用简化形状数据的情况下更容易地推导光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图22是示出根据本实施例的光源推定单元114的详情的功能框图。根据本实施例的光源推定单元114包括图像数据获取单元201、图像捕获条件数据获取单元203、特征量推导单元2201、光源数据推导单元205和光源数据输出单元206。本发明特有的配置是特征量推导单元2201。

特征量推导单元2201对从图像数据获取单元201接收到的图像数据进行分析，并且推导作为用数值表示的图像的特征的特征量（下文中称为“图像特征量”），诸如图像的平均色温、像素值的直方图、光源数据的平均Lab值以及像素值的直方图的方差值。在本实施例中，说明采用图像的平均色温以及像素值的直方图作为图像特征量的情况。

图23是示出本实施例中的光源推定处理的流程的流程图。

在步骤2301，图像数据获取单元201从信号处理单元103获取经过预定图像处理的图像数据。获取的图像数据被发送至特征量推导单元2201。

在步骤2302，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至光源数据推导单元205。

在步骤2303，特征量推导单元2201对从图像数据获取单元201接收到的图像数据进行分析，并且推导图像特征量（这里为图像的平均色温和像素值的直方图）。具体而言，进行如下推导。

在图像的平均色温的情况下，首先，基于图像的使用颜色空间分布图将RGB值转换为色度XYZ，并且将色度转换为相关色温，由此获得图像的色温。然后，对获得的色温求平均，来推导平均色温。

在像素值的直方图的情况下，对图像中的各个像素的亮度值的出现次数进行计数，并求得出现频率，由此推导出直方图。

在步骤2304，光源数据推导单元205参照保存在ROM108等中的光源数据表，并且获取与图像捕获条件数据及图像特征量相对应的光源数据。图24是示出根据本实施例的光源数据表的示例的图。在本实施例中的光源数据表的情况下，在与图像捕获条件数据以及对应于图像特征量的光源数据的特征量相关联的状态下，保持多个光源数据。这里，作为光源数据的特征量，关联并保持平均色温和像素值的直方图的信息。以如下方式获得光源数据的平均色温。首先，将针对各个角度保持的亮度值展开为RGB值。然后，将与各个方向相对应的RGB值转换为色温。对转换后的色温求平均。以如下方式获得直方图。通过设置箱（bin）以0.1的间隔对光源数据中各个亮度（0到1）的出现次数进行计数，并且将计数的数量除以样本的数量。例如，在图7D所示的光源数据的情况下，计数的各个亮度的数量是(0,0,8,0,4,0,0,0,0)，将计数的数量除以样本的数量12，由此作为直方图获得(0,0,0.66,0,0.33,0,0,0,0)。毋庸置疑，在使用平均色温和像素值的直方图之外的指标作为图像特征量的情况下，求得与图像特征量相对应的值，并将该值保持在光源数据表中。

下面示出如下的方法，该方法用于创建能够与诸如由上述(0,0,0.66,0,0.33,0,0,0,0)表示的光源数据的直方图相比较的图像数据的直方图。假设图像数据的像素值被设置在0到255之间的范围内。首先，对图像数据中的各个像素进行转换，使得像素值的范围在0到1之间。可以通过将各个像素的各个像素值除以255，来实现这类转换。接下来，在0到1之间的范围内以0.1的间隔设置箱，并且对转换之后的各个像素的各个像素值的出现次数进行计数。作为计数结果的数据示例，在图像尺寸是1000像素×1000像素的情况下，比如有(5000,10000,650000,320000,10000,5000,0,0)等。将计数结果的数据除以样本的数量即1,000×1,000＝1,000,000，由此获得(0.005,0.01,0.65,0.32,0.01,0.005,0,0)。该数据是能够与光源数据的直方图相比较的图像数据的直方图。

在该步骤，通过如上所述参照光源数据表，选择与在步骤2302获取的图像捕获条件数据以及在步骤2303推导的图像特征量相对应的一个光源数据。可以通过与根据第一实施例的图5中的流程图的、确定初始光源数据的步骤（步骤504）相同的方法，来进行该选择。也就是说，针对如图24所示的光源数据表的各个行，使用先前描述的公式(1)计算指标E，并且选择光源数据，使得指标E变为最小。

在步骤2305，光源数据推导单元205向光源数据输出单元206输出推导的光源数据。作为这种情况下的输出方法，也可以将光源数据记录在要保存的图像数据的首部处，或者与图像文件相分开地生成并保存光源数据文件。

如上所述，根据本实施例的发明，能够容易地推导接近进行图像捕获的环境中的光源的光源数据。

[第六实施例]

接下来，说明如下的方面作为第六实施例，即通过对捕获图像的数据进行处理，来推导光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图25是示出根据本实施例的光源推定单元114的详情的功能框图。根据本实施例的光源推定单元114包括图像数据获取单元201、图像捕获条件数据获取单元203、深度图像生成单元2501、光源数据推导单元205和光源数据输出单元206。本实施例特有的配置是深度图像生成单元2501。

深度图像生成单元2501生成用图像表示从照相机到被摄体的距离的信息的深度图像。稍后将描述深度图像生成的详情。

与在第二实施例中相同，作为优选方案，根据本实施例的图像数据获取单元201获取的图像数据是从多个不同的视点捕获的图像的多视点图像数据。

图26是示出本实施例中的光源推定处理的流程的流程图。

在步骤2601，图像数据获取单元201从信号处理单元103，获取经过预定图像处理的多视点图像数据。获取的多视点图像数据被发送至深度图像生成单元2501和光源数据推导单元205。

在步骤2602，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至深度图像生成单元2501和光源数据推导单元205。

在步骤2603，深度图像生成单元2501根据从图像数据获取单元201接收到的多视点图像数据以及与具有不同视点的多个捕获图像中的各个相对应的图像捕获条件数据，来生成深度图像。可以使用广泛公知的方法来生成深度图像，例如，有在日本专利特开第2009-165115号公报中的第四变形例中记载的方法。这里，作为示例，说明根据两个图像生成深度图像的情况。

在生成深度图像时，首先，基于具有不同视点的两个捕获图像，来生成视差图像。图27是示出根据具有不同视点的两个捕获图像来生成视差图像的方式的图。在图像A和图像B中的各个中，作为被摄体存在人、塔和建筑物。首先，针对捕获图像A的各个像素位置设置预定尺寸（例如11×11像素）的区域，并且从捕获图像B中搜索与该区域具有高相关性的区域。这里，在与捕获图像A的中心为像素位置(xA,yA)的区域具有高相关性的、捕获图像B中的区域，将中心处的像素位置取作(xB,yB)。在被摄体位于有限距离的情况下，(xA,yA)和(xB,yB)彼此不一致，并且出现偏移。已知随着被摄体的距离增大，该像素偏移变小。因此，通过计算像素偏移量dx，并且通过对捕获图像A的各个像素位置分配计算的像素偏移量dx，而获得视差图像。在这种情况下，用下面的公式表示像素偏移量dx。

[公式(4)]

$\mathrm{dx}=\sqrt{{(\mathrm{xA}-\mathrm{xB})}^2+{(\mathrm{yA}-\mathrm{yB})}^2}$

在图27所示的视差图像中，用白色表示像素偏移量dx最大的人，用浅灰色表示像素偏移量dx其次最大的塔和建筑，并且用深灰色表示像素偏移量dx最小的背景。

在获得视差图像数据之后，基于图像捕获条件数据将视差图像数据转换为深度图像数据。依照照相机特性值将像素偏移量转换为距离的方法是广泛公知的；因此，说明简单几何结构的情况。在先前描述的图27中，进行如下的假设，即位于捕获图像A的中心的被摄体，在捕获图像B中位于在水平方向上偏移了像素偏移量dx的位置。这里，从图像捕获条件数据中，获取水平像素数M和照相机的场角θ，此外，根据照相机的位置数据，推导捕获图像A的光学中心和捕获图像B的光学中心之间的距离D。然后，依照下面的公式(5)，将像素偏移量dx转换为到被摄体的距离L（深度值）。

[公式(5)]

$L=\frac{D}{\tan \left(\mathrm{\&theta;}\frac{\mathrm{dx}}{M}\right)}$

图28是示出由上述公式(5)推导到被摄体的距离（深度值）的图。

以这种方式，生成与捕获图像A相对应的深度图像。在上述说明中，毋庸置疑，通过在交换捕获图像A和捕获图像B的角色之后进行处理，获得与捕获图像B相对应的深度图像。

以上述方式，根据多视点图像数据和图像捕获条件数据，生成与具有不同视点的各个捕获图像相对应的深度图像。

返回说明图26中的流程图。

在步骤2604，光源数据推导单元205根据多视点图像数据、图像捕获条件数据和深度图像数据，来推导光源数据。

图29是示出本实施例中的光源数据推导处理的流程的流程图。

在步骤2901，光源数据推导单元205将光源数据初始化。具体而言，光源数据推导单元205针对与光源数据的所有纬度和经度相对应的亮度值，来设置指示未设置状态的数值（例如，-1）等。

在步骤2902，光源数据推导单元205设置多视点图像数据中的要进行处理的捕获图像。

在步骤2903，光源数据推导单元205设置被设置为要进行处理的捕获图像中的、被参照的像素位置n。例如，在紧接在处理开始之后的阶段中、最初设置了图像的左上端的像素位置的情况下，在随后的处理中，将像素位置n从左上端向右下端依次更新为(n+1)等，由此设置新的像素位置n。

在步骤2904，光源数据推导单元205获取深度图像中的像素位置n的深度值L(n)。

在步骤2905，光源数据推导单元205将获取的深度值L(n)与预先确定的阈值进行比较。作为比较结果，在深度值L(n)大于阈值的情况下，该过程进行到步骤2906。另一方面，在深度值L(n)小于阈值的情况下，该过程返回到步骤2903，并且设置下一个像素位置。

这里，说明依照深度值切换处理的原因。作为在CG中通常使用的光源数据，存在无限远光源图。无限远光源图是在光源位于无限远的假定之下、仅通过方向（纬度、经度）来指定光源的亮度的格式。在遵从该格式的情况下，如果针对光源数据，使用具有不能被视为无限远图像区域的图像区域的捕获图像，则可能导致合成结果是不自然的结果的高可能性。因此，最好避免针对光源数据使用包括不能被视为无限远图像区域的图像区域的捕获图像。由于这一原因，基于深度图像，从捕获图像中排除不适合光源数据的图像区域。分别地，图30A示出了在针对光源数据、使用仅包括能够被视为无限远被摄体的被摄体的捕获图像的情况下的CG绘制结果的示例；图30B示出了在针对光源数据、使用包括不能被视为无限远被摄体的被摄体的捕获图像的情况下的CG绘制结果的示例。然后，在图30A和30B中的各个绘制结果上，示出了利用光源数据的CG几何结构，并且使得包围CG对象的立方体的光源数据可见，并用半球形表示。通过对两者的比较，在图30A中，可以看到在绘制结果中作为CG对象的立方体的阴影被投射，这是因为光在塔和建筑物之间进入。在获取光源数据的真实环境中放置真实立方体的情况下，投射相同的阴影，因此能够说，图30A示出了表示真实情况的CG绘制结果。与此对比，在图30B中，应当在建筑物和塔之间进入的光被人遮挡，因此，不投射作为CG对象的立方体的阴影。也就是说，不能说图30B示出了表示真实情况的绘制结果。此外，光源数据表示进行图像捕获的位置处的入射光的亮度，因此，不优选在光源数据中反映与该位置处的照明环境不相关的人的数据。作为优选方案，使得用户能够通过设置来改变被视为无限远的距离。例如，在将上述阈值设置为10m的情况下，使用深度值L(n)大于10m的图像区域，来生成光源数据。

返回说明图29中的流程图。

在步骤2906，光源数据推导单元205根据图像捕获条件数据，来推导与像素位置n相对应的方向（纬度、经度）。图41是示出像素位置n与对应于像素位置n的方向之间的关系的图。在这种情况下，假设通过使用内置在照相机中的电子罗盘、陀螺仪、水平传感器等获取纬度和经度，而预先保持了光轴方向作为图像捕获条件数据。然后，以光轴方向为基准，求得与像素位置n相对应的方向。为了简化说明，假设照相机被水平放置。在这种情况下，从图41中获知，与和图像中心高度相同的像素位置n相对应的方向，是水平旋转θn的光轴方向。通过（像素偏移量÷像素数）×场角求得角度θn，其中，将照相机的场角取作θ。毋庸置疑，从图像捕获条件数据中获取诸如场角和像素数的信息。

在步骤2907，光源数据推导单元205针对与在步骤2906推导的与像素位置n相对应的方向（纬度、经度），来设置像素位置n处的捕获图像的像素值。

在步骤2908，光源数据推导单元205确定是否对被设置为要进行处理的捕获图像的所有像素位置进行了处理。在针对所有像素位置完成了处理的情况下，该过程进行到步骤2909。另一方面，在存在尚未进行处理的像素位置的情况下，该过程返回到步骤2903，并且设置下一个像素位置。

在步骤2909，光源数据推导单元205确定是否针对包含在多视点图像数据中的所有捕获图像完成了处理。在存在尚未进行处理的捕获图像的情况下，该过程返回到步骤2902，将下一个捕获图像设置为要进行处理的图像，并且重复进行步骤2902至步骤2908的处理。另一方面，在针对所有捕获图像完成了处理的情况下，退出该处理。

以上述方式，根据多视点图像数据和图像捕获条件数据，生成与图像捕获环境相对应的光源数据。

在本实施例中，为了简单起见，作为示例说明了从不同的视点捕获的图像的数量是两个的情况，然而，毋庸置疑，还能够获取更多多视点图像，并且通过使用两个或更多个捕获图像进行上述处理来生成光源数据。

返回说明图26中的流程图。

在步骤2605，光源数据输出单元206输出在步骤2604生成的光源数据。作为输出方法，还可以将光源数据记录在要保存的图像数据的首部处，或者与图像文件相分开地生成并保存光源数据文件。

如上所述，根据本实施例的发明，能够根据捕获图像的数据来推导光源数据。

[第七实施例]

在通过基于由多个捕获图像求得的视差获得深度图像来推导光源数据的第六实施例中，在仅有一个捕获图像的情况下，无法获得深度图像。这里，说明如下的方面作为第七实施例，即以伪方式由一个捕获图像生成深度图像。与第六实施例共同的部分的说明被简化或省略，这里主要说明不同点。

本实施例中的光源推定处理的流程与根据第六实施例的图26中的流程图的流程类似；因此，沿着图26中的流程给出说明。

在步骤2601，图像数据获取单元201从信号处理单元103，获取经过预定图像处理的一个捕获图像的数据。获取的图像数据被发送至深度图像生成单元2501和光源数据推导单元205。

在步骤2602，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至深度图像生成单元2501和光源数据推导单元205。

在步骤2603，深度图像生成单元2501根据从图像数据获取单元201接收到的一个捕获图像的数据以及与该捕获图像相对应的图像捕获条件数据，来生成深度图像。

如在第六实施例中所说明的，按原样针对光源数据使用包括不能被视为无限远图像区域的图像区域的捕获图像是不适当的。因此，在由一个捕获图像生成深度图像的情况下，还需要去除位于近距离处的被摄体。在本实施例中，在捕获图像包括位于特定距离内的被摄体（这里为人）的情况下，通过仅将该被摄体之外的被摄体的区域视为无限远区域，来生成深度图像。具体而言，以如下方式生成深度图像。

首先，深度图像生成单元2501进行处理，以针对捕获图像检测人的脸部区域。为了检测脸部区域，可以使用广泛公知的脸部检测技术。脸部检测技术例如包括利用图案匹配的方法，在该方法中，在捕获图像上的多个不同的位置裁出部分图像，确定部分图像是否是脸部区域的图像，由此检测出捕获图像上的脸部区域。

接下来，例如通过将包括检测到的脸部区域的预定区域取作基准，并且通过将到基准区域的外部的距离设置为能够被视为无限远距离的大距离（例如，1km），并将到基准区域内部的距离设置为近距离（1m）等，来设置距离信息，由此获得深度图像。在这种情况下，例如，可以将预定区域设置为如下的圆形区域，该圆形区域具有检测到的脸部区域的面积的两倍的面积。

如上所述，通过检测捕获图像中的脸部区域，并且将包括检测到的脸部区域的固定区域处置作为近距离处的图像区域，而由一个捕获图像近似地生成深度图像。在本实施例中，说明了检测人作为位于近距离处的被摄体的情况；然而，例如，还可以通过图案匹配等来检测诸如狗的动物、建筑物等，并且将检测到的动物或建筑物的外部视为无限远区域。

在步骤2604，光源数据推导单元205根据一个捕获图像的数据、图像捕获条件数据和以上述方式获得的深度图像，来推导光源数据。除了仅要对一个捕获图像进行处理之外，这种情况下的光源数据推导处理与在第六实施例中说明的处理相同。

作为第六实施例的变形例，还可以在不以伪方式生成深度图像的情况下，基于脸部区域等的检测结果，向捕获图像中添加指示作为光源数据使用的区域的信息。在这种情况下，在图29中的流程图的步骤2905，作为结果确定像素位置n是否在设置的区域中，在确定像素位置n在该区域中的情况下，使该过程进行到步骤2906，由此推导光源数据。

[第八实施例]

接下来，说明如下的方面作为第八实施例，即通过在捕获图像中排除投影区域，以高精度推导光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图31是示出根据本实施例的光源推定单元114的内部配置的功能框图。该光源推定单元114与根据第一实施例的光源推定单元114（参见图2）的显著不同之处在于，添加了除外区域确定单元3101。

除外区域确定单元3101进行处理，以提取图像中的投影区域，并且将提取的投影区域的、与图像的边缘部分接触的区域，确定为不在光源推定中使用的除外区域。

图32是示出本实施例中的光源推定处理的流程的流程图。

在步骤3201，图像数据获取单元201从信号处理单元103获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元205和除外区域确定单元3101。

在步骤3202，除外区域确定单元3101对接收到的图像数据进行投影区域提取处理。从捕获图像中提取投影区域的方法是广泛公知的，例如，能够使用图像的XYZ值来进行提取。具体而言，在基于捕获图像的使用颜色空间分布图、将RGB值转换为色度XYZ之后，提取亮度值Y＜Y_th（例如Y_th＝80）的像素区域，作为投影区域。存在其他方法，诸如背景差分法和利用明度的改变的方法；然而，在此省略这些方法的说明。

在步骤3203，除外区域确定单元3101确定在步骤3202提取的各投影区域的、在光源推定中不使用的像素区域（下文中称为“除外区域”）。通过检查提取的投影区域是否与捕获图像的边缘部分接触，并且在投影区域与图像的边缘部分接触的情况下，通过将阴影视为由未包含在图像中的对象所投射，来确定是否将区域视为除外区域。图33是示出除外区域的示例的图。在图33中，示出了两个投影区域3301和3302，并且投影区域3302与图像的左上边缘部分接触。在这种情况下，作为结果将投影区域3302确定为除外区域。

这里，说明通过排除图像的边缘部分处的投影区域、能够以高精度推导光源数据的原因。图34是示出照相机捕获如下场景的图像的方式的图，在所述场景中，用具有亮度1（lux（勒克斯））的光，从位于45°纬度和0°经度的点的方向照射布置在地板上的长方体和立方体。现在，考虑根据在这种状态下捕获的图像来推导光源数据的情况。这里，假设反射是从地板、长方体和立方体反射的光的亮度相对于发射方向是均匀的Lambert反射，并且反射率为1。在本实施例中，为了简化说明，说明具有一个通道的黑白图像的情况；然而，在使用彩色图像的情况下，可以针对R、G和B三个通道中的各个进行相同的处理。图35A示出了如下的捕获图像，该捕获图像包括处于图像中心的立方体及其投影，以及处于图像左上部分的由长方体产生的投影。首先，考虑仅使用捕获图像的像素区域的由长方体产生的投影区域、来推导光源数据的情况。在这种情况下，存在来自地板的Lambert反射，并且投影区域A中的像素值是0，因此，推导的光源数据将是在所有纬度和经度方向上光强度为0（lux）的光源数据（参照图35B）。接下来，考虑使用捕获图像的像素区域的除了投影区域之外的整个区域、来推导光源数据的情况。这时，在第一实施例中说明的光源推定处理（参见图9中的流程图）中，推导CG图像和捕获图像之间的误差Δ_i将小于预定阈值的光源数据，在所述CG图像和捕获图像中，从位于45°纬度和0°经度的点的方向用具有亮度1（lux）的光照射立方体。也就是说，推导的光源数据将是在位于45°纬度和0°经度的点的方向上的光强度为1（lux）的光源数据，如图35C所示。如上所述，能够获知，根据投影区域获得的光源数据和根据除投影区域之外的整个区域获得的光源数据彼此差异很大。图36A和36B示出了在不存在要排除的区域的情况下和在存在要排除的区域的情况下推导的光源数据。图36A示出了在不存在除外区域的情况下（在使用图像中的整个像素区域进行光源推定的情况下）推导的光源数据、在位于45°纬度和0°经度的点的方向上的光强度为0.8（lux）的光源数据。另一方面，图36B示出了在存在除外区域的情况下（在使用捕获图像中的排除了投影区域的像素区域进行光源推定的情况下）推导的光源数据、在位于45°纬度和0°经度的点的方向上的光强度为1.0（lux）的光源数据。从对两者的比较能够看出，在存在除外区域的情况下，以更高的精度推导出图像捕获场景的光源数据。

在本实施例中，将包括捕获图像的边缘部分的投影区域，视为由没有包含在捕获图像中的对象投射的阴影，并且将该投影区域确定为除外区域；然而，也可以将已有的对象识别技术应用于捕获图像，并且将不与被识别为固态的被摄体接触的投影区域确定为除外区域。此外，还可以使得用户能够在UI上指定用户不希望在光源推定中使用的区域。

随后的步骤3204至3206的处理与根据第一实施例的图5中的流程图的步骤502至步骤504相同，这里不再重复说明。

在步骤3207，光源数据推导单元205基于获取的图像数据、被摄体形状数据、图像捕获条件数据和确定的初始光源数据，来推导最适合于场景的光源数据。本实施例中的光源数据推导处理也与根据第一实施例的图9中的流程图的处理基本相同；然而，步骤903的处理不同。也就是说，在本实施例中，在求得CG图像和捕获图像之间的误差Δ_i的情况下，作为结果，使用除除外区域之外的像素区域（该像素区域是排除了除外区域的捕获图像的整个像素区域），求得与CG图像的误差Δ_i。

在步骤3208，光源数据输出单元206输出推导的光源数据。

如上所述，根据本实施例的发明，通过在捕获图像中排除投影区域，并且在光源推定中不使用该投影区域，能够以更高的精度推导光源数据。

[第九实施例]

在第八实施例中，将包含在捕获图像中的投影区域中的、与图像的边缘部分接触的投影区域，确定为不在光源推定中使用的除外区域。然而，在诸如傍晚场景的光倾斜进入的拍摄场景中，或者在图像的边缘部分处包括主被摄体的拍摄场景中等，由包含在捕获图像中的主被摄体投射的阴影也与图像的边缘部分接触，因此，难以适当地确定除外区域。由于这一原因，说明如下的方面作为第九实施例，即使用初始光源数据来确定除外区域，使得在上述这种拍摄场景中捕获的图像中，也能够适当地确定除外区域。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图37是示出根据本实施例的光源推定单元114的内部配置的功能框图。该光源推定单元114与根据第八实施例的光源推定单元114（参见图31）的显著不同之处在于除外区域确定单元3601的布置（与其他各单元的关系）。也就是说，本实施例中的除外区域确定单元3601不仅获取来自图像数据捕获单元201的图像数据，还获取被摄体形状数据、图像捕获条件数据和初始光源数据，并用来确定除外区域。

图38是示出本实施例中的光源推定处理的流程的流程图。

在步骤3801，图像数据获取单元201从信号处理单元103获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元205和除外区域确定单元3601。

在步骤3802，被摄体形状数据获取单元202获取被摄体形状数据。获取的被摄体形状数据被发送至光源数据推导单元205和除外区域确定单元3601。

在步骤3803，图像捕获条件数据获取单元203从操作单元111等获取图像捕获条件数据。获取的图像捕获条件数据被发送至初始光源数据确定单元204、光源数据推导单元205和除外区域确定单元3601。

在步骤3804，初始光源数据确定单元204通过参照保存在ROM108等中的光源数据表，来确定与获取的图像捕获条件数据相对应的初始光源数据。

在步骤3805，除外区域确定单元3601基于获取的图像数据、初始光源数据、被摄体形状数据和图像捕获条件数据进行绘制，以生成CG图像。图39是示出通过进行绘制生成的CG图像的示例的图。由位于画面中心的立方体产生的投影与图像的右下边缘部分接触。

在步骤3806，除外区域确定单元3601分别对在步骤3801获取的捕获图像和在步骤3805生成的CG图像，进行投影区域提取处理。投影区域的提取与在第八实施例中说明的相同（参见图32中的流程图的步骤3202）。

在步骤3807，除外区域确定单元3601针对捕获图像中的各个投影区域，计算与CG图像的投影区域重叠的投影区域的面积与投影区域的面积的比率P。然后，除外区域确定单元3601确定计算的比率P是否小于预定阈值P_th（例如P_th＝0.5），并且将P满足P＜P_th的投影区域确定为不在光源推定中使用的除外区域。图40是用于说明本实施例中的确定除外区域的处理的图。在图40中，与CG图像中的投影区域4003重叠的捕获图像中的投影区域4001的面积，与投影区域4001的面积的比率P是0.85。另一方面，在CG图像中不存在与捕获图像中的投影区域4002相对应的投影区域，因此比率=0。因此，在这种情况下，虽然捕获图像中的投影区域4001与捕获图像中的投影区域4001的右下边缘部分接触，但是计算的比率P大于阈值P_th（0.5），因此，除外区域确定单元3601确定投影区域4001不是除外区域，而仅将投影区域4002确定为除外区域。

在步骤3808，光源数据推导单元205基于获取的图像数据、被摄体形状数据、图像捕获条件数据以及确定的初始光源数据，来推导对于场景最佳的光源数据。本实施例中的光源数据推导处理与第八实施例中的图32中的流程图的步骤3207的处理相同。也就是说，在求得CG图像和捕获图像之间的误差Δ_i的情况下，作为结果，使用除外区域之外的像素区域（排除了除外区域的捕获图像的整个像素区域），求得与CG图像的误差Δ_i。

在步骤3809，光源数据输出单元206输出推导的光源数据。

如上所述，根据本实施例的发明，使得即使根据在光倾斜进入的傍晚的拍摄场景中捕获的图像，或者被摄体位于边缘部分的捕获图像，也能够以高精度推导光源数据。

[第十实施例]

在第一实施例中，说明了在确定用于光源推定的计算的初始值的情况下、使用图像捕获条件数据的方面。接下来，说明如下的方面作为第十实施例，即在计算光源推定时、求得多个候选解的情况下，使用图像捕获条件数据来确定一个光源数据。与其他实施例共同的部分的说明被简化或省略，这里主要说明不同点。

图42是示出根据本实施例的用于进行光源推定的信息处理系统的系统配置示例的图。光源推定设备4200是PC等，并且基本对应于第一实施例中的光源推定单元114。根据本实施例的光源推定设备4200包括最佳光源数据确定单元4201。最佳光源数据确定单元4201基于图像捕获条件数据，从由光源数据推导单元205推导的多个候选解中，确定一个光源数据。

图43是示出本实施例中的光源推定处理的流程的流程图。

在步骤4301，光源推定设备4200的图像数据获取单元201从未示意性地示出的照相机等，获取经过预定图像处理的图像数据。获取的图像数据被发送至光源数据推导单元205。

在步骤4302，光源推定设备4200的被摄体形状数据获取单元202从存储被摄体形状数据的HDD（未示意性地示出）等，来获取被摄体形状数据。

在步骤4303，光源推定设备4200的图像捕获条件数据获取单元203从未示意性地示出的照相机等，来获取图像捕获条件数据。获取的图像捕获条件数据被发送至光源数据推导单元205。

在步骤4304，光源数据推导单元205基于被摄体形状数据，来推导光源数据。这时使用的推定算法推导出多个候选解。例如，在如在公式(3)中所记载的通过更新光源数据来求得解的情况下，例如，可以考虑使用遗传算法。在这种情况下，搜索到多个解，并且各个解都是光源数据的候选解。

在步骤4305，从在步骤4304获得的多个候选解中，确定一个候选解，作为最佳光源数据。该确定例如利用在图7A至7D中记载的光源数据。最佳光源数据确定单元4201从针对使用WB（阴天）捕获的图像的数据的多个候选解中，确定最接近在图7A中记载的光源数据的候选解，作为最佳光源数据。在确定最接近的候选解时，将均方误差确定为评价值。

在步骤4306，输出在步骤4305确定的最佳光源数据。

如上所述，在本实施例中，在计算光源推定时求得多个候选解的情况下，使得能够使用图像捕获条件数据来确定一个光源数据。

在本实施例中，从光源数据的多个候选解中，选择一个候选解作为最佳光源数据；然而，例如，也可以对多个候选解中的各个分配适当的权重，并且将这些候选解相加。也就是说，通过基于图像捕获条件数据确定权重系数，并且将多个候选解相加，使得能够推导更合适的最佳光源数据。

（其他实施例）

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (16)

1.一种信息处理设备，该信息处理设备包括：

图像捕获条件数据获取单元，其被配置为获取捕获被摄体的图像时的图像捕获条件数据；以及

光源数据推导单元，其被配置为基于所述图像捕获条件数据来推导光源数据，该光源数据表示由所捕获的图像的数据表示的图像的光源的状态，

其中，通过参照光源数据表，来确定与所述图像捕获条件数据相对应的光源数据，所述光源数据表包括与图像捕获条件数据相关联的多个光源数据。

2.根据权利要求1所述的信息处理设备，其中，

所述光源数据推导单元具有确定单元，该确定单元被配置为基于所述图像捕获条件数据，来确定推定所述光源时的初始值。

3.根据权利要求2所述的信息处理设备，该信息处理设备还包括形状数据获取单元，该形状数据获取单元被配置为获取表示所述被摄体的形状的形状数据，其中，

所述光源数据推导单元使用由所述形状数据获取单元获取的形状数据，来进行绘制。

4.根据权利要求2所述的信息处理设备，该信息处理设备还包括被摄体形状推定单元，该被摄体形状推定单元被配置为根据从多个视点捕获的所述被摄体的图像的多视点数据，来推定所述被摄体的形状，其中，

所述光源数据推导单元使用通过所述推定而获得的被摄体形状数据，来进行绘制。

5.根据权利要求3所述的信息处理设备，其中，

所述光源数据推导单元基于通过所述绘制而获得的图像与所捕获的图像之间的误差，来推导适合于所捕获的图像的光源数据。

6.根据权利要求5所述的信息处理设备，其中，

所述光源数据推导单元推导如下的光源数据作为适合于所捕获的图像的光源数据，其中，针对所推导的光源数据，通过所述绘制而获得的图像与所捕获的图像之间的误差变为小于阈值。

7.根据权利要求6所述的信息处理设备，其中，

所述阈值依照评价值而改变，所述评价值表示由所述被摄体形状推定单元推定的被摄体形状数据的精确度。

8.根据权利要求2所述的信息处理设备，其中，

所述光源数据推导单元使用简化形状数据代替被摄体形状数据来进行绘制，并且基于通过所述绘制而获得的图像与所捕获的图像之间的误差，来推导适合于所捕获的图像的光源数据。

9.根据权利要求1所述的信息处理设备，其中，

由表示入射到被摄体上的光的各个入射方向的亮度的值，来指定包含在光源数据表中的各个光源数据。

10.根据权利要求9所述的信息处理设备，其中，

所述光源数据表包括对各个光源数据的精度的评价。

11.根据权利要求1所述的信息处理设备，该信息处理设备还包括特征量推导单元，该特征量推导单元被配置为根据捕获的图像数据来推导特征量，该特征量表示由所述捕获的图像数据表示的图像的特征，其中，

所述光源数据推导单元推导与所述图像捕获条件数据及所推导出的特征量相对应的光源数据，作为表示光源的状态的光源数据。

12.根据权利要求1所述的信息处理设备，该信息处理设备还包括深度图像生成单元，该深度图像生成单元被配置为通过由图像数据获取单元获取的、由从多个不同的视点捕获的图像构成的多个多视点图像数据，以及所述图像捕获条件数据，来生成深度图像，该深度图像表示到被摄体的距离的信息，其中，

所述光源数据推导单元通过基于所述深度图像，从所述多个多视点图像数据的图像内的各个图像中，排除不适合作为光源的图像区域，来推导表示光源的状态的光源数据。

13.根据权利要求1所述的信息处理设备，该信息处理设备还包括除外区域确定单元，该除外区域确定单元被配置为确定所捕获的图像内的特定区域，作为不用于光源推定的除外区域，其中，

所述光源数据推导单元使用如下的像素区域，来求得与通过绘制而获得的图像的误差，并且基于求得的所述误差来推导适合于所捕获的图像的光源数据，其中，所述像素区域是排除了所述除外区域的所捕获的图像的整个像素区域。

14.根据权利要求1所述的信息处理设备，该信息处理设备还包括除外区域确定单元，该除外区域确定单元被配置为基于通过使用所捕获的图像内的被摄体的形状数据进行绘制而获得的图像，来确定所捕获的图像内的特定区域，作为不在光源推定中使用的除外区域，其中，

所述光源数据推导单元使用如下的像素区域，来求得所捕获的图像与通过所述绘制而获得的图像之间的误差，并且基于求得的所述误差来推导适合于所捕获的图像的光源数据，其中，所述像素区域是排除了所述除外区域的所捕获的图像的整个像素区域。

15.一种照相机，该照相机包括根据权利要求1所述的信息处理设备。

16.一种信息处理方法，该信息处理方法包括以下步骤：

获取捕获被摄体时的图像捕获条件数据；

输入表示所述被摄体的形状的形状数据；以及

基于所述图像捕获条件数据及所述形状数据来推导光源数据，该光源数据表示由所捕获的图像表示的图像的光源的状态，

其中，通过参照光源数据表，来确定与所述图像捕获条件数据相对应的光源数据，所述光源数据表包括与图像捕获条件数据相关联的多个光源数据。