CN103198511A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。输入表示照明场景的光源的光谱特性和光分布特性的光源特性数据。输入表示场景中包括的物体的光谱特性的物体特性数据。针对具有不同波长的各光线进行光线追踪。基于所述光源特性数据和所述物体特性数据计算表示所述场景的计算机图形图像的各像素中的光谱辐射亮度。根据所述各像素中的所述光谱辐射亮度计算各像素的颜色信号值，并且生成所述场景的所述计算机图形图像。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法，更具体地涉及用于使用光线追踪生成图像的图像处理装置及图像处理方法。

背景技术

近年来，计算机图形(CG)已被用于各种领域。CG甚至在设计领域也被广泛使用。在该领域中，需要用于生成更加忠实于实物的图像的技术。

作为用于使用CG忠实地再现实物的方法，已知包括以下技术的各种技术。例如使用多角度光谱反射特性来模拟具有光学复杂特性的涂料等的反射的方法，以及使用物体的多角度光谱反射特性来在监视器上再现高度真实图像的方法。其他示例有使用光谱折射特性来再现反射的颜色的方法，以及使用由多光谱照相机拍摄的多频带数据的方法。

CG中的图像生成方法包括扫描线方法、Z-缓冲方法和光线追踪方法。在这些方法中，光线追踪法适于生成忠实于实物的图像，因为该方法能够通过追踪在3D空间中的光的传播路径来表现反射和折射。然而，光线追踪方法需要重复追踪大量光线的路径。为了在复杂场景中获得高品质图像，该方法需要大量计算。作为光线追踪方法的有效算法，提出了二叉空间分割法、包围体法等。例如，作为使用二叉空间分割的技术，提出了如下方法：预先将虚拟空间分割为多个体素(voxel)，仅针对光线通过的体素中的物体进行交叉检测，并生成图像。

然而，生成CG图像的传统方法没有考虑光源的光分布特性。这些方法无法再现在依赖于具有不同光分布特性的光源(诸如荧光灯和发光二极管(LED)照明)的场景中生成的阴影的变化。

一般的光线追踪方法将光处理为与波长无关的均匀光线。该方法无法精确地再现行为根据波长而变化的物理现象(例如光透过物体后的折射)。

发明内容

在一个方面中，提出了一种图像处理装置，该图像处理装置用于生成计算机图形图像，所述图像处理装置包括：第一输入部，其被配置为输入表示照明场景的至少一个光源的光谱特性和光分布特性的光源特性数据；第二输入部，其被配置为输入表示在所述场景中包括的至少一个物体的光谱特性的物体特性数据；追踪部，其被配置为针对具有不同波长的各光线进行光线追踪，并且基于所述光源特性数据和所述物体特性数据来计算表示所述场景的计算机图形图像中的各像素中的光谱辐射亮度；以及生成器，其被配置为根据所述各像素中的光谱辐射亮度来计算所述各像素的颜色信号值，并且生成所述场景的所述计算机图形图像。

在另一方面中，提出了一种生成计算机图形图像的图像处理方法，所述方法包括以下步骤：输入表示照明场景的至少一个光源的光谱特性和光分布特性的光源特性数据；输入表示在所述场景中包括的至少一个物体的光谱特性的物体特性数据；针对具有不同波长的各光线进行光线追踪，以基于所述光源特性数据和所述物体特性数据来计算表示所述场景的计算机图形图像中的各像素中的光谱辐射亮度；以及根据所述各像素中的所述光谱辐射亮度来计算所述各像素的颜色信号值，以生成所述场景的所述计算机图形图像。

根据这些方面，通过考虑光源的光分布特性和光谱特性以及物体的光谱特性的光线追踪，能够生成忠实地再现场景的计算机图形图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是用于说明物体的光的反射和透射的示意图。

图2是示出第一实施例中图像处理装置的结构的框图。

图3是示出第一实施例中图像处理装置的逻辑结构的框图。

图4是示出第一实施例中图像生成处理的流程图。

图5A和图5B是用于说明光源的光分布特性的示意图。

图6A和图6B是例示光源的光谱辐射亮度(spectral radiance)的图。

图7是用于说明物体的反射特性和透射特性的示意图。

图8是例示视觉特性数据的图。

图9是示出第一实施例中光谱辐射亮度计算处理的流程图。

图10是示出第一实施例中颜色信号值计算处理的流程图。

图11A至11C是分别例示光源的光分布特性的波长依赖性的图。

图12是示出第二实施例中图像生成处理的流程图。

图13是示出第二实施例中光谱辐射亮度计算处理的流程图。

图14是示出第二实施例中光线追踪时的最大交叉计数的设置方法的概念的图。

图15是示出第三实施例中光谱辐射亮度计算处理的流程图。

图16是示出第三实施例中光线追踪时的投射(cast)光线数的设置方法的概念的图。

具体实施方式

现在将参照附图来描述本发明的图像处理装置和图像处理方法。应理解，以下实施例不旨在限制关于所附权利要求的本发明，在实施例中说明的特性的所有组合不都是解决本发明中的问题所必须的。

第一实施例

第一实施例将说明考虑到光源的光分布特性和光谱辐射亮度特性以及物体的光谱反射特性，通过光线追踪忠实地再现场景的计算机图形图像(CG图像)的生成处理。

将参照图1说明根据波长而改变的光的行为。当光照射在物体上时，光被分成被物体的表面反射的光和透过物体的光。透过物体的光的折射角根据与波长λ对应的折射率而改变。例如，将说明如下情况：如图1所示，使用视点作为开始点，已经透过具有光谱折射率n₁(λ)的空间的光线透过具有光谱折射率n₂(λ)的物体101。此时，令φ为光线相对于物体101的入射角，折射角θ(λ)由(1)式给出。

θ(λ)＝sin^-1[{n₁(λ)/n₂(λ)}sinφ]    ...(1)

由于折射角是光的波长λ的函数，所以要通过光线追踪而追踪的光的路径根据波长λ改变。因此，光需要被处理为光谱，以忠实地再现在给定场景中光的透射，在所述给定场景中，例如，已经透过图1中的物体101的光还透过具有光谱折射率n₃(λ)的物体102。

装置结构

将参照图2描述第一实施例中图像处理装置的结构。如图2所示，第一实施例中的图像处理装置包括微处理器(CPU)201、包括随机存取存储器(RAM)和只读存储器(ROM)的主存储器202、硬盘驱动器(HDD)203、通用接口(下文中称为I/F)204、监视器205以及系统总线206。I/F 204将分光光度计207、外部存储设备208等连接到系统总线206。CPU 201执行在HDD 203中存储的各种软件程序(计算机程序)，从而实现各种处理。

CPU 201将在HDD 203中存储的用于图像处理的应用程序(下文中称为图像处理AP)加载到主存储器202中分配的工作区，并且执行图像处理AP。根据图像处理AP，CPU 201将在HDD 203中存储的各种数据、从连接到I/F 204的分光光度计207和外部存储设备208输入的数据等经由系统总线206传送到主存储器202。根据图像处理AP，CPU 201针对在主存储器202的工作区存储的数据执行各种计算，经由系统总线206将计算结果显示在监视器205上，并且将这些结果存储在HDD 203中。

逻辑结构

将详细说明在以上结构中CPU 201根据图像处理AP生成图像并且将图像显示在监视器205上时的图像处理。

图3是示出第一实施例中图像处理装置301的逻辑结构的框图。通过由CPU 201执行图像处理AP来实现图3所示的各个构建组件。

参照图3，光源特性输入单元302输入代表照明场景的至少一个光源的光分布特性和光谱辐射亮度的光源特性数据307。注意，光源的光谱辐射亮度也可以简称为“光源的光谱特性”。物体特性输入单元303输入代表形成场景的至少一个物体的光谱反射特性、光谱透射特性及光谱折射率的物体特性数据308。注意，物体的光谱反射特性、光谱透射特性及光谱折射率也被简称为“物体的反射特性、透射特性及折射率”。视觉特性输入单元304输入观察场景时的视觉特性数据309。

注意，从HDD 203，或者经由I/F 204从分光光度计207或外部存储装置208输入光源特性数据307、物体特性数据308及视觉特性数据309。

光谱辐射亮度计算单元305基于由光源特性输入单元302输入的信息和由物体特性输入单元303输入的信息计算场景的CG图像的各个像素的光谱辐射亮度310。

颜色信号值计算单元306基于由光谱辐射亮度计算单元305计算的各个像素的光谱辐射亮度310及由视觉特性输入单元304输入的视觉特性数据309计算场景的CG图像中各个像素的颜色信号值。颜色信号值例如被计算为R、G和B值，并且被输出作为图像数据311。图像数据311被存储在诸如HDD 203的存储区域，并且由图像数据311表示的图像显示在监视器205上。

场景CG图像生成处理

将参照图4的流程图说明在第一实施例的图像处理装置301中生成场景的CG图像的图像生成处理。注意，通过由CPU 201执行图像处理AP实现的图3所示的逻辑结构执行图4所示的图像生成处理。

首先，光源特性的输入单元302输入光源特性数据307(S401)。如上所述，光源特性数据307表示照明场景的光源的光分布特性和光谱辐射亮度。

下面将参照图5A和图5B说明光源的光分布特性。光分布特性表示由光源发射的光在各方向上的强度分布。一个光源照明场景的范围根据光源的指向性(directivity)的差异而改变。图5A例示了具有低指向性的诸如荧光灯的光源的光分布特性，并且示出该光源大范围照明场景。与此相反，图5B例示具有高指向性的诸如LED的光源的光分布特性，并示出该光源只照明场景的一部分。以这种方式，当光源的光分布特性改变时，在场景中产生的阴影改变较大。光源的光分布特性是忠实地再现场景的重要因素。

作为光分布特性，可以输入在HDD 203等中存储的数据，或者可以输入通过由连接到I/F 204的分光光度计207测量光源而获得的数据。输入数据的格式是任意的，只要获得来自光源的光的输出角与光的强度之间的关系即可。例如，该格式可以是相对于输出角的光的强度的函数，或表示输出角和光的强度之间的对应关系的查找表(LUT)。

将参照图6A和图6B说明光谱辐射亮度。光源的光谱辐射亮度表示各波长的亮度分布，并且特性根据光源改变。图6A例示荧光灯的光谱辐射亮度分布。图6B例示LED照明的光谱辐射亮度分布。当光源的类型改变时，光谱辐射亮度分布也改变，因此物体的颜色外观改变。因此，光源的光谱辐射亮度(光谱特性)是忠实地再现场景的重要因素。作为光谱特性，类似于光分布特性，可以输入在HDD 203等中存储的数据，或者可以输入通过由连接到I/F 204的分光光度计207测量光源获得的数据。

输入数据的格式是任意的，只要获得可见光范围内的波长和辐射亮度之间的对应关系即可。例如，该格式可以是相对于光的波长的辐射亮度的函数，或者表示波长和辐射亮度之间的对应关系的LUT。

然后，物体特性输入单元303输入物体特性数据308(S402)。如上所述，物体特性数据308表示在场景中包含的各物体的反射特性、透射特性及折射率。

将参照图7说明物体的反射特性和透射特性。通常，物体的反射特性是由双向反射率分布函数(BRDF)f_r表示。在物体上的位置x处的反射特性f_r由(2)式给出

$f_r(x,{\stackrel{\→}{\mathrm{\ω}}}_i,{\mathrm{\λ}}_r,{\stackrel{\→}{\mathrm{\ω}}}_r)=\left\{d{L}_r(x,{\mathrm{\λ}}_r,{\stackrel{\→}{\mathrm{\ω}}}_r)\right\}/\left\{L_i(x,{\mathrm{\λ}}_i,{\stackrel{\→}{\mathrm{\ω}}}_i)({\stackrel{\→}{\mathrm{\ω}}}_i\·\stackrel{\→}{n})d{\stackrel{\→}{\mathrm{\ω}}}_i\right\}...\left(2\right)$

其中，λ_i和L_i是从方向ω_i入射的光的波长和强度，

λ_r和dL_r是在方向ω_i上反射的光的波长和强度，以及

n是位置x处的法向矢量。

通常，反射光的强度分布取决于物体的表面形状。随着物体表面变得更平滑，在镜面反射方向，即，θ_i＝θ_r方向上的反射强度变得更高，在漫反射方向上的反射强度变得更低。

作为物体的反射特性f_r的获取方法，可以输入在HDD 203等中存储的数据，或者可以输入通过由连接到I/F 204的分光光度计207测量光源获得的数据。反射特性f_r的数据格式是任意的，只要获得与相对于物体的光的入射角和反射角相对应的反射率即可。例如，反射特性f_r可以被输入作为由等数(2)表示的确定的函数。作为另选方案，可以分开输入反射特性。例如，由于各向同性分布漫反射，所以ω_i＝45°和ω_r＝0°的反射特性适用于漫反射，镜面反射的反射特性单独从LUT获得。

物体的透射特性由双向透射率分布函数(BTDF)f_t表示。在物体上的位置x处的透射特性f_t由等式(3)给出

$f_t(x,{\stackrel{\→}{\mathrm{\ω}}}_i,{\mathrm{\λ}}_t,{\stackrel{\→}{\mathrm{\ω}}}_t)=\left\{d{L}_t(x,{\mathrm{\λ}}_t,{\stackrel{\→}{\mathrm{\ω}}}_t)\right\}/\left\{L_i(x,{\mathrm{\λ}}_i,{\stackrel{\→}{\mathrm{\ω}}}_i)({\stackrel{\→}{\mathrm{\ω}}}_i\·\stackrel{\→}{n})d{\stackrel{\→}{\mathrm{\ω}}}_i\right\}...\left(3\right)$

其中，λ_t和dL_t是在方向ω_t上透射的光的波长和强度。

通常，透射光的强度分布取决于折射率。当ω_t满足等式(1)时，透射光的强度变为最大。

作为物体的透射特性f_t的获取方法，可以输入在HDD 203等中存储的数据，或者可以输入通过由连接到I/F 204的分光光度计207测量光源获得的数据。反射特性f_r的数据格式是任意的，只要获得与相对于物体的光的入射角和反射角相对应的透射率即可。例如，透射特性f_r可以被输入作为由等式(3)表示的确定的函数。作为选择，透射特性可以分开输入。例如，ω_i＝ω_r＝0°的透射特性适用于ω_t等于等式(1)中的折射角θ的情况，并且其他情况的透射特性单独从LUT获得。

之后，视觉特性输入单元304输入视觉特性数据309(S403)。在将光谱辐射亮度转换为图像的颜色信号值时，使用视觉特性数据309。图8示出在CIEXYZ色度系统中使用的颜色匹配函数作为视觉特性数据309的示例。颜色匹配函数表示眼睛对可见光范围内的光的敏感度。可以输入预先存储在HDD 203等中的数据作为视觉特性数据309。

然后，光谱辐射亮度计算单元305扫描场景的CG图像以确定将经过光谱辐射亮度的计算的像素(下文中被称为关注像素)(S404)。注意，关注像素的确定顺序是任意的。

光谱辐射亮度计算单元305计算关注像素中的光谱辐射亮度310(S405)。使用光线追踪法来计算光谱辐射亮度310，稍后将描述处理的细节。

之后，颜色信号值计算单元306计算关注像素的颜色信号值(S406)。稍后将描述颜色信号值计算方法的细节。

CPU 201确定是否针对场景的CG图像的所有像素结束了颜色信号值计算(S407)。如果计算已经结束，则输出由颜色信号值计算单元306生成的图像数据311，并且处理结束。如果计算尚未结束，则处理返回到步骤S404以确定下一关注像素，并且继续。

光谱辐射亮度计算处理

将参照图9详细描述光谱辐射亮度计算处理(S405)。如上所述，第一实施例中的光谱辐射亮度的计算使用光线追踪法。该方法通过虚拟追踪应在视角内各方向的视点接收的光线直至光源，来绘制CG图像。更具体地，直线(光线)从视点向要绘制的像素延伸，并以数学的方式确定物体和光线的交叉的有/无。由反射或透射生成的光线的追踪被递归地重复，并且当光源和光线相互交叉时，光线的追踪结束。也就是说，在第一实施例中，通过递归执行图9的流程图所示的光线追踪来追踪多条光线，并且根据针对各光线计算的光谱辐射亮度的平均值计算关注像素中的光谱辐射亮度。

将参照图9说明针对具有波长λ的单色光的光谱辐射亮度计算处理。通过针对各波长执行相同处理来实际获得关注像素中的光谱辐射亮度。假设从可见光范围内以相等的间隔提取处理目标波长。例如，在380到730nm的可见光范围内以10nm的间隔提取36个波长作为处理目标波长。

首先，搜索已经从追踪的开始点投射的波长为λ的光线与场景中的物体或光源交叉的点(下文中被称为交点)(S901)。追踪的开始点是首次执行图9所示的处理时的关注像素、以及递归执行图9所示的处理时光线和物体之间的交点。注意，交点搜索方法是任意的。例如，针对场景内的所有物体和光源依次进行交叉检测，以获得与追踪的开始点最接近的交点。

确定在光源与光线之间的交点和在物体与光线之间的交点中哪一个是在步骤S901中检测到的交点(S902)。如果光线与光源交叉，则根据光线的强度和交叉光源的光源特性数据307来计算波长λ的光谱辐射亮度(S903)。然后，针对当前波长的光线追踪结束。由于光源特性数据307表示光源的光分布特性和光谱辐射亮度，因此光线的光谱辐射亮度E₀(λ)由等式(4)给出

E₀(λ)＝P₀(λ)×Q(θ)×S(λ)    ...(4)

其中，P₀(λ)是在波长λ处的光线的强度，

θ是由光线和光源限定的角度，

Q(θ)是在θ方向上的光源的光分布特性，以及

S(λ)是在波长λ处的光源的辐射亮度。

如果光线与除光源以外的物体交叉，则首先，获取与光线交叉的物体的物体特性数据308(反射特性、透射特性及折射率)(S904)。

然后，确定要从光线和物体的交点开始投射的光线的数量(下文中被称为要投射的光线的数量)(S905)。虽然可以任意确定要投射的光线的数量，但是要投射的光线的数量越多，所获得的图像的噪声越少。步骤S906和S907中的处理被重复与要投射的光线的数量相对应的次数。

在步骤S906中，计算要投射的光线的方向和强度。根据要投射的光线的数量均匀分布光线的方向。在交点处的反射光的强度P_r(λ)和透射光的强度P_t(λ)分别由等式(5)和等式(6)给出

P_r(λ)＝P₀(λ)×f_r(x，ω_i，λ，ω_r)    ...(5)

P_t(λ)＝P₀(λ)×f_t(x，ω_i，λ，ω_t)    ...(6)

其中，P₀(λ)是在波长λ处与物体交叉之前的光线的强度，

f_r是由等式(2)给出的物体的反射特性，以及

f_t是由等式(3)给出的物体的透射特性。

在步骤S907中，通过递归调用图9所示的光线追踪来对光线进行光线追踪。通过递归处理，当最后不存在交叉物体并且在步骤S903中计算光线的光谱辐射亮度时，步骤S907中的处理结束。换句话说，在步骤S907的递归处理中根据等式(4)最终计算的光谱辐射亮度E₀(λ)成为光线的光谱辐射亮度E_n(λ)。

如果在步骤S908中确定针对要投射的光线的数量的所有光线，步骤S906和S907中的处理已经结束，则计算各光线的光谱辐射亮度E_n(λ)的平均值(S909)。平均光谱辐射亮度值用作在关注像素中追踪目标波长λ处的光谱辐射亮度E_x(λ)。更具体地，根据等式(7)计算关注像素中追踪目标波长λ处的光谱辐射亮度E_x(λ)：

$E_x\left(\mathrm{\λ}\right)=(1/N)\·{\mathrm{\Σ}}_{n=0}^{N-1}{E}_n\left(\mathrm{\λ}\right)...\left(7\right)$

其中，N是要投射的光线的数量，并且0≤n≤N-1。

以这种方式，在光谱辐射亮度计算处理中(S405)，通过递归执行图9所示的光线追踪来计算关注像素中的光谱辐射亮度E_x(λ)。

颜色信号值计算处理

将参照图10说明针对各像素的颜色信号值计算处理(S406)。在第一实施例中，最终输出sRGB系统的颜色信号值。然而，输出颜色信号值可以是诸如AdobeRGB的其他系统的颜色信号值。

首先，例如，从在步骤S403输入的视觉特性数据309获取CIEXYZ色度系统的颜色匹配函数(S1001)。然后，获取在步骤S405中已经计算出的各像素的光谱辐射亮度E_x(λ)(S1002)。根据等式(8)至(10)由获取的颜色匹配函数和光谱辐射亮度E_x(λ)计算CIEXYZ值Xout、Yout及Zout(S1003)：

$\mathrm{Xout}={\∫}_{380}^{730}{E}_x\left(\mathrm{\λ}\right)\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}...\left(8\right)$

$\mathrm{Yout}={\∫}_{380}^{730}{E}_x\left(\mathrm{\λ}\right)\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}...\left(9\right)$

$\mathrm{Zout}={\∫}_{380}^{730}{E}_x\left(\mathrm{\λ}\right)\stackrel{\‾}{z}\left(\mathrm{\λ}\right)\mathrm{d\λ}...\left(10\right)$

其中，

及

是颜色匹配函数。

计算输出图像的颜色信号值(S1004)。由于输出颜色信号值遵守sRGB系统，所以根据等式(11)和(12)计算颜色信号值Rout、Gout及Bout：

$\left[\begin{array}{c}{R}_{\mathrm{Linear}}\\ G_{\mathrm{Linear}}\\ B_{\mathrm{Linear}}\end{array}\right]=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9689& 1.8758& 0.0415\\ 0.0557& -0.2040& 1.0570\end{array}\right]\left[\begin{array}{c}\mathrm{Xout}\\ \mathrm{Yout}\\ \mathrm{Zout}\end{array}\right]...\left(11\right)$

if(R_Linear≤0.0031308)

      Rout＝12.92×R_Linear；

else

      Rout＝1.055×R_Linear ^1/2.4-0.055；

if(G_Linear≤0.0031308)

      Gout＝12.92×G_Linear；

else

      Gout＝1.055×G_Linear ^1/2.4-0.055；

if(B_Linear≤0.0031308)

      Bout＝12.92×B_Linear；

else

      Bout＝1.055×B_Linear ^1/2.4-0.055；    ...(12)

通过上述图像生成处理，生成用作场景的CG图像的输出图像。

如上所述，考虑到光源的光分布特性和光谱特性以及物体的光谱特性(反射特性、透射特性及折射率)来进行场景中的光线追踪。因此，能够生成忠实地再现场景的CG图像。

第一实施例的变形例

在第一实施例中，由光源特性数据307表示的光分布特性被处理为光的强度分布。然而，在某些情况下，光的强度分布根据波长而改变。例如，针对LED照明，有时通过将发射蓝色光的LED 11与发射黄色光的荧光物质12组合来形成光源，如图11A所示。此时，由于LED 11发射具有高指向性的光，如图5B所示，所以在LED 11与荧光物质12组合时产生颜色不均匀。由于光源的光分布特性根据波长变化，如图11B和11C所示，所以光谱辐射亮度也根据由光线和光源所限定的角度θ变化。

因此考虑输入根据波长变化的光分布特性作为光源特性数据307。在这种情况下，除步骤S903中的最终光谱辐射亮度计算处理之外，光谱辐射亮度计算处理(S405)与图9所示的处理几乎相同。更具体地，当光源具有与波长有关的光分布特性时，光分布特性被表示为波长λ与由光线和光源限定的角度θ的函数Q(λ，θ)。在这种情况下，光源的光谱辐射亮度S(λ)从光分布特性Q(λ，θ)获得，并且变得不必要。因此，根据等式(13)计算在步骤S903中的光线的光谱辐射亮度E₀(λ)：

E₀(λ)＝P₀(λ)×Q(λ，θ)    ...(13)

以这种方式，即使光源的光分布特性与波长有关，也能够生成忠实地再现场景的CG图像，类似于第一实施例。

第二实施例

在第一实施例中，通过基于光源的光分布特性和光谱特性以及物体的光谱特性进行光线追踪来生成忠实地再现场景的CG图像。然而，当如同第一实施例进行基于光谱的光线追踪(下文中被称为光谱光线追踪)时，计算量根据要追踪的波长的数量增加，从而降低处理速度。通常，在光线追踪中，能够通过减少一条光线与物体的交叉次数以及要追踪的光线的数量来抑制计算量，从而提高处理速度。然而，这些削减产生所生成图像中的噪声，从而降低图像质量。

此外，当使用二叉空间分割法的有效光线追踪法应用于光谱光线追踪时，如果为了更高的处理速度而不考虑光的波长减少交叉次数和光线的数量，则这些削减也产生噪声。第二实施例通过根据光源和物体的光谱特性将控制光线追踪时的计算量的技术特征添加到第一实施例的技术特征来提高处理速度并且降低噪声。

注意，在第二实施例中的图像处理装置的结构与第一实施例中图2和图3所示的相同。相同的附图标记表示相同的构件，并且不重复其描述。

场景CG图像生成处理

将参照图12的流程图描述在第二实施例中的图像处理装置301中生成场景的CG图像的图像生成处理。注意，由通过CPU 201执行图像处理AP实现的图3所示的逻辑结构来执行图12所示的图像生成处理。

首先，光源特性输入单元302输入光源特性数据307(S1401)。光源特性数据307表示如图5A、5B、6A和6B所示的照亮场景的光源的光分布特性和光谱辐射亮度。

然后，物体特性输入单元303输入物体特性数据308(S1402)。如图7所示，物体特性数据308表示在场景中包括的各物体的反射特性、透射特性及折射率。

视觉特性输入单元304输入视觉特性数据309(S1403)。在将光谱辐射亮度转换为图像的颜色信号值时，使用视觉特性数据309。视觉特性数据309包括例如图8所示的颜色匹配函数。

光谱辐射亮度计算单元305扫描场景的CG图像的以确定将经过光谱辐射亮度计算的关注像素。注意，关注像素的确定顺序是任意的。

光谱辐射亮度计算单元305将作为用于在路径追踪期间对从关注像素传输的光线与物体的交叉次数进行计数的变量的交叉计数C初始化为0(S1405)。随后，光谱辐射亮度计算单元305初始化用作各波长λ的交叉计数的上限的最大交叉计数M(λ)(S1406)。

最大交叉计数M(λ)是在从关注像素传输的光线直到到达光源为止与多个物体交叉的情况下，根据光线到达光源之前的交叉计数C中止光线追踪的阈值。期望追踪光线，直到光线到达光源为止，但是这需要大量的计算。因此，当直至最大交叉计数M(λ)为止光线仍未到达光源时，光线追踪被中止以减少计算量并且缩短计算时间。

作为最大交叉计数M(λ)的初始值，1或大于1的任意值被设置给光的各波长λ。如果最大交叉计数M(λ)是小的，则能够快速地进行计算，但是在图像生成结果中产生噪声。因此，考虑所需要的计算时间和噪声量来优选设置最大交叉计数M(λ)的初始值。作为最大交叉计数M(λ)的初始值，优选设置与光的波长λ无关的固定值。

之后，光谱辐射亮度计算单元305计算关注像素中的光谱辐射亮度310(S1407)。使用光线追踪计算光谱辐射亮度310，稍后将描述处理的细节。

颜色信号值计算单元306计算关注像素的颜色信号值(S1408)。颜色信号值计算方法与参照图10描述的方法相同，不重复其描述。

然后，CPU 201确定针对场景的CG图像的所有像素是否已经结束颜色信号值计算(S1409)。如果计算已经结束，则输出由颜色信号值计算单元306生成的图像数据311，并且处理结束。如果计算尚未结束，则处理返回到步骤S1404以确定下一关注像素，并且继续。

光谱辐射亮度计算处理

将参照图13详细描述光谱辐射亮度计算处理(S1407)。即使在第二实施例中，通过递归执行图13的流程图所示的光线追踪来追踪多条光线，也根据针对各光线计算的光谱辐射亮度的平均值来计算关注像素中的光谱辐射亮度。

将参照图13说明针对波长λ的单色光的光谱辐射亮度计算处理。通过针对各波长执行与第一实施例类似的处理来实际获得关注像素中的光谱辐射亮度。

首先，搜索已经从追踪的开始点投射的波长为λ的光线与场景中的物体或光源交叉的点(交点)(S1901)。与第一实施例类似，追踪的开始点是首次执行图13所示的处理时的关注像素、以及递归执行图13所示的处理时的光线和物体之间的交点。与第一实施例类似，交点搜索方法是任意的。

确定在光源与光线之间的交点和在物体与光线之间的交点中哪一个是在步骤S1901中检测到的交点(S1902)。如果光线与光源交叉，则根据等式(4)由光线的强度和交叉光源的光源特性数据307来计算波长λ的光谱辐射亮度E₀(λ)(S1914)。然后，针对当前波长的光线追踪结束。

如果光线与除光源以外的物体交叉，则通过将光线的交叉计数C递增1来更新计数值(S1903)。获取与光线交叉的物体的物体特性数据308(反射特性、透射特性及折射率)(S1904)。

然后，将交叉计数C与波长为λ的光线的最大交叉计数M(λ)进行比较(S1905)。如果交叉计数C超过了最大交叉计数M(λ)(C＞M(λ))，则处理进行到步骤S1913，即使光线尚未到达光源也结束光线追踪。如果交叉计数C等于或小于最大交叉计数M(λ)(C≤M(λ))，则处理进行到步骤S1906，以从光线和物体之间的交点开始新投射多条光线，并且针对各光线进行光线追踪。

以这种方式，在第二实施例中，直至预设的最大交叉计数M(λ)为止，光线仍未到达光源时，中止光线到达光源之间的光线追踪来提高处理速度。降低最大交叉数M(λ)能够提高计算速度，但是增加所生成的图像中的噪声。为了防止这种情况，第二实施例根据与光线最初交叉的物体的反射特性和透射特性、光源的辐射亮度以及在步骤S1406中设置的最大交叉计数M(λ)的初始值来为光的各波长最优设置最大交叉计数M(λ)，稍后将描述其细节。

针对C≤M(λ)，确定从光线和物体的交点开始要投射的光线数量(要投射的光线数量N)(S1906)。可以任意确定要投射的光线数量。然而，由于要投射的光线的数量增加，所以获得噪声较少的图像，但是计算量增加。假设新投射的各光线的交叉计数C的计数值和最大交叉计数M(λ)的值继承原始光线的值。步骤S1907到步骤S1910中的处理被重复与要投射的光线数量N相对应的次数。

在步骤S1907中，计算要投射的光线的方向和强度。光线的方向根据要投射的光线数量N来均匀分布。在交点处的反射光的强度P_r(λ)和透射光的强度P_t(λ)分别由等式(5)和等式(6)给出，类似于第一实施例。

在步骤S1908中，确定光线的当前交叉计数C的计数值是否为1。如果交叉计数C是1，即，在步骤S1902中确定的物体的交叉是最初交叉，则处理进行到步骤S1909。如果交叉计数C的计数值不是1，即，在步骤S1902中确定的物体的交叉是第二交叉或后续交叉，则处理进行到步骤S1910。

在步骤S1909中，根据光源的光谱特性和物体的光谱特性计算和更新在波长λ处的最大交叉计数M(λ)。将详细说明最大交叉计数M(λ)的设置方法。最大交叉计数M(λ)设置给相对于包括在场景中的物体的光线的反射分量和透射分量中的各个。

例如，在物体的反射率低的波长处的光线在与物体交叉时大幅衰减辐射亮度。在该交叉之后，在与另一物体交叉时的辐射亮度的改变变得相对较小。为此，在小交叉计数处的辐射亮度与在大交叉计数处的辐射亮度互相基本相同。

与此相反，在物体的反射率高的波长处的光线即使在与物体交叉时也难以衰减辐射亮度。在该交叉之后，在与另一物体交叉时的辐射亮度的改变可以变得相对较大。因此，在小交叉计数处的辐射亮度与在大交叉计数处的辐射亮度互相大不相同。除非考虑该情况，否则可能产生噪声。该特性也应用于透过物体的光线。

由此，针对与给定波长的光线交叉的各物体，第二实施例在与给定波长的光线最初交叉的物体(下文中被称为最初交叉物体)的反射率或透射率是高的情况下，将最大交叉计数M(λ)设置为大的，并且在物体的反射率或透射率低的情况下，将最大交叉计数M(λ)设置为小的。由于光源的辐射亮度直接反映在交叉之后的辐射亮度中，因此在设置最大交叉计数M(λ)时考虑光源的辐射亮度。更具体地，在与最初交叉物体交叉之后残存的光线的强度越高，将最大交叉计数M(λ)设置地越大。以这种方式，根据光源的辐射亮度和物体的光谱特性(反射特性或透射特性)来设置最大交叉计数M(λ)。在抑制产生噪声的同时能够减少计算量。

参照图14说明特别针对由物体反射的分量的最大交叉计数M(λ)的设置方法。当以给定的入射角和出射角与光线交叉的物体具有图14所示的光谱反射率时，在例如反射率是高的波长480nm处将最大交叉计数M(480)设置为大的。与之相反，在例如反射率是低的波长680nm处将最大交叉计数M(680)设置为小的。

更具体地，关于物体的反射光和透射光的最大交叉计数M_r(λ)和M_t(λ)由等式(14)和等式(15)给出：

M_r(λ)＝g{M(λ)，f_r(x，ω_i，λ，ω_r)，S(λ)}    ...(14)

M_t(λ)＝g{M(λ)，f_t(x，ω_i，λ，ω_t)，S(λ)}    ...(15)

等式(14)和(15)表示作为在步骤S1406中初始化的最大交叉计数M(λ)、由等式(2)和(3)给出的光谱特性f_r和f_t、及光源的光谱辐射亮度S(λ)的函数g的最大交叉计数M_r(λ)和M_t(λ)。

注意，就函数g而言，使得在反射率或透射率较高的波长处的最大交叉计数M(λ)较大的函数即可。例如，可以使用由等式(16)和(17)表示的函数：

g{M(λ)，f_r(x，ω_i，λ，ω_r)，S(λ)}＝M(λ)×f_r(x，ω_i，λ，ω_r)×S(λ)    ...(16)

$g\{M\left(\mathrm{\λ}\right),f_t(x,{\mathrm{\ω}}_i,\mathrm{\λ},{\mathrm{\ω}}_t),S\left(\mathrm{\λ}\right)\}=M\left(\mathrm{\λ}\right)\×\sqrt{\{f_t(x,{\mathrm{\ω}}_i,\mathrm{\λ},{\mathrm{\ω}}_t)\×S\left(\mathrm{\λ}\right)\}}...\left(17\right)$

在步骤S1910中，通过递归调用图13所示的光线追踪法针对光线进行光线追踪。通过递归处理，当最后不存在交叉物体，或者光线和物体的交叉计数C超过最大交叉计数M_r(λ)或M_t(λ)，并且在步骤S1914中计算光线的光谱辐射亮度时，步骤S1910中的处理结束。换句话说，在步骤S1910的递归处理中根据等式(4)最终计算的光谱辐射亮度E₀(λ)成为光线的光谱辐射亮度E_n(λ)。

如果在步骤S1911中确定针对要投射的光线数量N的所有光线已经结束步骤S1907到S1910的处理，则计算各光线的光谱辐射亮度E_n(λ)的平均值。平均光谱辐射亮度值用作关注像素中在追踪目标波长λ处的光谱辐射亮度E_x(λ)。

如果在步骤S1905中交叉计数C超过了最大交叉计数M(λ)(C＞M(λ))，则计算在中止光线追踪时的光线的方向和强度(S1913)。更具体地，光源的从交点开始的方向被设置为光线的方向。在另一物体存在于从交点延伸到光源的直线上时，光线的强度P(λ)被设置为0。当另一物体不存在时，根据等式(18)仅考虑反射的分量：

P(λ)＝P₀(λ)×f_r(x，ω_i，λ，ω_r)    ...(18)

其中，P₀(λ)是在波长λ处与物体交叉之前的光线强度，

f_r是由等式(2)给出的物体的反射特性。

之后，根据等式(4)计算波长λ的光谱辐射亮度E₀(λ)(S1914)，从而结束该波长的光线追踪。在步骤S1914的计算中，应用了在步骤S1913中已经计算出的光线的强度P(λ)、光源的光分布特性Q(θ)和光谱辐射亮度S(λ)。

如上所述，在进行光谱光线追踪时，考虑到光源的辐射亮度和物体的光谱特性针对光线的各波长限制交叉计数。仅针对在各波长处的交叉的最小数量进行执行计算。这能够提高计算速度并且减少所生成的图像中的噪声。

第三实施例

在第二实施例中，根据光源的辐射亮度和物体的光谱特性，将最大交叉计数设置给光线的各波长。第三实施例通过根据物体的光谱特性针对各波长设置要投射的光线数量来提高计算速度，并且减少所生成的图像中的噪声。

注意，第三实施例中的图像处理装置的结构与第一实施例中图2和图3所示的结构相同。相同的附图标记表示相同的构件，不重复其描述。

场景CG图像生成处理

除了步骤S1407中的光谱辐射亮度计算处理之外，在第三实施例中的图像处理装置301中生成场景的CG图像的图像生成处理与第二实施例中的图12所示的处理相同。

光谱辐射亮度计算处理

将参照图15说明在第三实施例中的光谱辐射亮度计算处理(S1407)。即使在第三实施例中，也通过递归执行图15的流程图所示的光线追踪来追踪多条光线，并且根据针对各光线计算的光谱辐射亮度的平均值计算关注像素中的光谱辐射亮度。

将参照图15说明针对波长λ的单色光的光谱辐射亮度计算处理。通过针对各波长执行与第一实施例和第二实施例相同的处理来实际获得关注像素中的光谱辐射亮度。

在图15中，除确定要投射的光线数量N的处理(S1201)以外的处理与第二实施例中图13所示的处理相同。

第三实施例中也使用在步骤S1406中初始化的最大交叉计数M(λ)，类似于第二实施例。然而最大交叉计数M(λ)与最初交叉物体无关，是固定的，不被更新。换句话说，在图13的处理中包括的步骤S1908和S1909中的处理不包括在图15的处理中。

将说明在第三实施例中确定要投射的光线数量N的处理(S1201)中根据物体的光谱特性的要投射的光线数量N的确定。

如第二实施例中所述，在物体的反射率或折射率低的波长处的光线在与物体交叉时改变辐射亮度较大。之后在与另一物体交叉时的辐射亮度的改变变得相对较小。为此，在从交点开始新投射的光线数量较小时获得的辐射亮度与在新投射的光线数量较大时获得的辐射亮度基本相同。

与此相反，在物体的反射率或折射率高的波长处的光线即使在与物体交叉时也难以改变辐射亮度。之后在与另一物体交叉时的辐射亮度的改变可以变得相对较大。因此，在新投射的光线数量较小时获得的辐射亮度与在新投射的光线数量较大时获得的辐射亮度大不相同。除非考虑该情况，否则可能产生噪声。

针对与给定波长的光线交叉的各物体，第三实施例在物体的反射率或透射率高的情况下，将要投射的光线的数量N(λ)设置为大的，并且在物体的反射率或透射率低的情况下，将要投射的光线数量N(λ)设置为小的。类似于第二实施例，在设置要投射的光线数量N(λ)时应考虑光源的辐射亮度。更具体地，在与物体交叉之后残存的光线的强度越高，将要投射的光线数量N(λ)设置地越大。以这种方式，根据光源的辐射亮度和物体的光谱特性(反射特性或透射特性)来设置要投射的光线数量N(λ)。在抑制产生噪声的同时能够减少计算量。

参照图16说明特别针对由物体反射的分量的要投射的光线数量N(λ)的设置方法。当以给定的入射角和出射角与光线交叉的物体具有图16所示的光谱反射率，在例如反射率高的波长480nm处将要投射的光线数量N(480)设置为大的。与之相反，在例如反射率低的波长680nm处将要投射的光线数量N(680)设置为小的。

更具体地，由等式(2)和(3)给出的光谱特性f_r和f_t、以及光源的光谱辐射亮度S(λ)的函数分别给出关于物体的反射光和透射光的要投射的光线数量N_r(λ)和N_t(λ)：

N_r(λ)＝h{f_r(x，ω_i，λ，ω_r)，S(λ)}    ...(19)

N_t(λ)＝h{f_t(x，ω_i，λ，ω_t)，S(λ)}    ...(20)

注意，就函数h而言，使得在反射率较高的波长处的要透射的光线数量N(λ)较大的函数即可函数h足够作为增加反射率是高的波长处的要投射的光线数量的函数。例如，可以使用由等式(21)和(22)表示的函数：

h{f_r(x，ω_i，λ，ω_r)，S(λ)}＝Rmax×f_r(x，ω_i，λ，ω_r)×S(λ)    ...(21)

$h\{f_t(x,{\mathrm{\ω}}_i,\mathrm{\λ},{\mathrm{\ω}}_t),S\left(\mathrm{\λ}\right)\}=R\max \×\sqrt{\{f_t(x,{\mathrm{\ω}}_i,\mathrm{\λ},{\mathrm{\ω}}_t)\×S\left(\mathrm{\λ}\right)\}}...\left(22\right)$

在等式(21)和(22)中，Rmax为具有任意值的常数，并且是当反射率或透射率是1时要投射的光线数。由于Rmax增加，所以获得噪声较少的图像得，但是计算量增加。

在第三实施例中，根据光源的辐射亮度和物体的光谱特性设置要投射的光线数量N(λ)，根据要投射的光线数量N(λ)从交点开始投射新的光线。通过重复追踪光线路径，计算关注像素中的辐射亮度。

如上所述，当进行光谱光线追踪时，通过考虑光源的辐射亮度和物体的光谱特性来设置要投射的光线数量N(λ)。仅以各波长的最小光线数量执行计算。这可以提高计算速度并且减少所生成的图像中的噪声。

注意，在第三实施例中的处理也可以与第二实施例同时执行。只要能够根据光源的辐射亮度和物体的光谱特性，针对各波长设置最大交叉计数M(λ)和要投射的光线数量N(λ)即可。

第二实施例和第三实施例的变形例

在第二和第三实施例中，光源的辐射亮度以及物体的反射特性和透射特性具有波长依赖性，并且这些特性具有光谱特性。然而，本发明不限于使用光谱信息的光线追踪的应用，并且也适用于针对仅具有浓度信息的一种颜色的光线追踪，或R、G及B三种颜色的光线追踪。在这种情况下，当物体的反射特性或透射特性是低的时，将要投射光线的数量或最大交叉计数设置为较小，从而提高处理速度。当物体的反射特性或透射特性是高的时，将要投射光线的数量或最大交叉计数设置为较大，优先考虑降低噪声而不是提高处理速度。

其他实施例

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (12)

1.一种用于生成计算机图形图像的图像处理装置，所述图像处理装置包括：

第一输入部，其被配置为输入表示照明场景的至少一个光源的光谱特性和光分布特性的光源特性数据；

第二输入部，其被配置为输入表示在所述场景中包括的至少一个物体的光谱特性的物体特性数据；

追踪部，其被配置为针对具有不同波长的各光线进行光线追踪，并且基于所述光源特性数据和所述物体特性数据来计算表示所述场景的计算机图形图像的各像素中的光谱辐射亮度；以及

生成器，其被配置为根据所述各像素中的光谱辐射亮度来计算所述各像素的颜色信号值，并且生成所述场景的所述计算机图形图像，

其中，使用处理器实现所述第一输入部、所述第二输入部、所述追踪部及所述生成器中的至少一个。

2.根据权利要求1所述的图像处理装置，其中，所述追踪部基于与所述光线最初交叉的物体的所述物体特性数据以及所述光源特性数据来设置最大交叉计数，并且在防止所述光线和物体的交叉计数超过所述最大交叉计数的情况下进行所述光线追踪。

3.根据权利要求2所述的图像处理装置，其中，所述追踪部将所述最大交叉计数设置为，与所述最初交叉物体交叉之后残存的所述光线的强度越大，所述最大交叉计数越大。

4.根据权利要求2所述的图像处理装置，其中，所述追踪部针对所述最初交叉物体的所述光线的反射分量和透射分量中的各个，来设置所述最大交叉计数。

5.根据权利要求1所述的图像处理装置，其中，所述追踪部基于所述最初交叉物体的所述物体特性数据以及所述光源特性数据，来设置要从所述光线与所述最初交叉物体之间的交点追踪的光线的数量，并进行所述光线追踪。

6.根据权利要求5所述的图像处理装置，其中，所述追踪部将所述要追踪的光线的数量设置为，与所述最初交叉物体交叉之后残存的所述光线的强度越大，所述要追踪的光线的数量越大。

7.根据权利要求5所述的图像处理装置，其中，所述追踪部针对所述最初交叉物体的所述光线的反射分量和透射分量中的各个，来设置所述要追踪的光线的数量。

8.根据权利要求1所述的图像处理装置，其中，所述光分布特性表示从所述光源在任意方向上辐射的光的强度分布。

9.根据权利要求1所述的图像处理装置，其中，所述物体的光谱特性包括所述物体的光谱反射特性、光谱透射特性及光谱折射率。

10.根据权利要求9所述的图像处理装置，其中，所述光谱反射特性包括所述物体的双向反射分布函数。

11.根据权利要求9所述的图像处理装置，其中，所述光谱透射特性包括所述物体的双向透射分布函数。

12.一种用于生成计算机图形图像的图像处理方法，所述图像处理方法包括使用处理器执行以下步骤：

输入表示照明场景的至少一个光源的光谱特性和光分布特性的光源特性数据；

输入表示在所述场景中包括的至少一个物体的光谱特性的物体特性数据；

针对具有不同波长的各光线进行光线追踪，并且基于所述光源特性数据和所述物体特性数据来计算表示所述场景的计算机图形图像的各像素中的光谱辐射亮度；以及

根据所述各像素中的光谱辐射亮度来计算所述各像素的颜色信号值，并且生成所述场景的所述计算机图形图像。

Images