CN104781851B - 图像处理装置和图像处理方法 - Google Patents

Abstract

此图像处理装置(10a)中的信息处理单元(32)根据用户指令输入，执行信息处理。图像处理单元(34)的阿尔法缓冲区生成单元(38)当观察作为一个对象的指定的多个对象时生成表示图像平面上的每个像素的阿尔法值的阿尔法缓冲区。描绘单元(42)从图像数据存储单元(36)读取每个模型数据，并通过包括除了所指定的对象之外的对象描绘图像。阴影处理单元(44)计算环境光在所述图像平面上的遮蔽度的近似，并基于结果对所描绘的图像执行阴影处理。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种渲染图像或操纵拍摄的图像的图像处理装置、以及在该装置中使用的图像处理方法。

背景技术

已经提出了不仅执行游戏程序、而且还可以再现移动图像的家用娱乐系统。在此家用娱乐系统中，GPU使用多边形生成三维图像(例如，参见文献1)。此时，向待渲染的对象设置表示透明度的阿尔法(alpha)值，并且可以在渲染时通过阿尔法混合处理表示具有透明性的对象，该阿尔法混合处理考虑阿尔法值，以从视点观察在后面的对象开始，按顺序叠加对象。

另外，容易地基于用户操作和装置设置不仅对由装置渲染的三维图像、而且对由相机等拍摄的图像执行各种操纵处理已经成为可能。在这样的环境中，图像生成的效率和响应性总是重要的问题。因此，已经开发了诸如图像数据压缩技术、传输技术、图像处理技术、显示技术等的各种技术，并且已经在许多领域中将它们投入了实际使用。因此，在各种情形中在附近享受高清晰度图像已经成为可能。

引用列表

专利文献

PTL 1

美国专利No.6563999

发明内容

技术问题

图像的清晰度越高并且显示内容越复杂，渲染和操作所需的处理负荷就增加得越多，因此可操作性和响应性的问题就趋于变得越明显。例如，当要精确表示大量微小对象时，处理符合增加以执行正确的阿尔法混合处理。因此，根据装置的处理能力，响应性可能下降，或者图像质量能够降低。因此，需要能够在任何装置环境中不变地生成或显示高清晰度图像的技术。

另外，当操纵拍摄的图像或渲染的图像时，通常基于图像平面确定待操纵区域(诸如整个图像、图像的一部分中的矩形区域等)。在此情况下，不考虑图像的内容本身。因此，根据操纵的目的，甚至可以另外操纵原本意想不到的区域，或者操纵区域与另一区域之间的边界可变得明显。因此，需要用于容易地执行产生自然处理结果的图像操纵的技术，其中考虑包括图像中表示的人或物体的空间的结构。

已经鉴于这些问题而做出了本发明。本发明的目的是提供一种图像处理技术，其即使当图像是高清晰图图像时也可以以良好响应性执行图像渲染和图像显示。本发明的另一目的是提供一种图像处理技术，其可以容易地执行产生自然处理结果的图像操纵。

问题的解决方案

本发明的模式涉及图像处理装置。图像处理装置是用于渲染包括被设置表示透明度的阿尔法值的对象的图像的图像处理装置，所述图像处理装置包括：渲染块，在图像平面中根据视点渲染待渲染的空间中的对象；以及阴影处理块，对于由所述渲染块渲染的图像，获得遮蔽(occlusion)度的评估值的分布，基于所述分布对所渲染的图像加阴影(shade)，并将所得到的数据存储在存储器中，其中所述评估值能够通过估计环境光在待渲染的空间中的遮蔽度而计算。

本发明的另一模式涉及图像处理方法。图像处理方法是渲染包括被设置表示透明度的阿尔法值的对象的图像的图像处理装置的图像处理方法，所述图像处理方法包括：在从存储装置读取对象的模型数据之后在图像平面中根据视点渲染待渲染的空间中的对象的步骤；对于渲染的图像获得遮蔽度的评估值的分布的步骤，其中所述评估值能够通过估计环境光在待渲染的空间中的遮蔽度而计算；基于所述评估值的分布对所渲染的图像加阴影的步骤；以及将加阴影的图像的数据存储在存储器中的步骤。

本发明的再一模式涉及图像处理装置。此图像处理装置包括：缓冲区(buffer)获得部分，基于关于图像中表示的目标对象相对于图像平面在深度方向上的位置坐标的信息，获得表示位置坐标在图像平面中的分布的Z缓冲区；凸出(projection)和凹陷(depression)评估部分，通过使用Z缓冲区计算图像平面中的各个位置的评估值，获得近似表示三维空间中的目标对象的表面形状的凹陷或凸出的程度的评估值的分布，其中凹陷或凸出的程度是相对于周围事物的；以及图像操纵部分，基于评估值的分布提取原始图像的局部区域，使得该区域经受预定操纵，并将所得到的数据存储在存储器中。

本发明的又一模式涉及图像处理方法。此图像处理方法是操纵从存储器读取的原始图像的图像处理装置的图像处理方法，所述图像处理方法包括：基于关于原始图像中表示的目标对象相对于图像平面在深度方向上的位置坐标的信息，获得表示位置坐标在图像平面中的分布的Z缓冲区的步骤；通过使用Z缓冲区计算图像平面中的各个位置的评估值，获得近似表示三维空间中的目标对象的表面形状的凹陷或凸出的程度的评估值的分布的步骤，其中凹陷或凸出的程度是相对于周围事物的；基于评估值的分布提取原始图像的局部区域，并使得该区域经受预定操纵的步骤；以及将操纵之后的图像的数据存储在存储器中的步骤。

应注意，上述构成要素的任意组合以及通过在方法、装置、系统、计算机程序等之间转换本发明的表述而获得的模式作为本发明的模式也有效。

发明的有益效果

根据本发明，可以在任何装置环境中以良好的响应性渲染和显示同等质量的图像。另外，可以容易地执行适合需要的各个图像操纵。

附图说明

图1是示出根据第一实施例的图像处理装置的内部电路配置的图。

图2是根据第一实施例的图像处理装置的功能框图。

图3是帮助说明普通阿尔法混合的处理的图。

图4是第一实施例中由阿尔法缓冲区生成块生成的阿尔法缓冲区的概念图。

图5是帮助说明第一实施例中使用的SSAO的计算方法的图。

图6是示出第一实施例中生成的图像中的转变(transition)的示例的图。

图7是示出在当通过传统技术渲染包括毛发的对象时获得的图像、与当在第一实施例中渲染包括毛发的对象时获得图像之间的比较的图。

图8是示出在当通过传统技术渲染包括毛发的对象时获得的图像、与当在第一实施例中渲染包括毛发的对象时获得图像之间的比较的图。

图9是第一实施例中图像处理装置生成显示图像的处理过程的流程图。

图10是第二实施例中的图像处理装置的功能框图。

图11是第二实施例中图像处理装置操纵原始图像的处理过程的流程图。

图12是示出在由相机拍摄的原始图像与通过第二实施例操纵的图像之间的比较的图。

具体实施方式

第一实施例

图1示出根据本实施例的图像处理装置的内部电路配置的图。图像处理装置10包括CPU(中央处理单元)12、GPU(图形处理单元)14、以及主存储器16。CPU 12基于诸如操作系统、应用等的程序，控制信号处理和内部构成要素。GPU 14执行图像处理。

这些部分经由总线20彼此互连。总线20还与输入-输出接口18连接。输入-输出接口18与包括用于USB、IEEE 1394等的外围装置和用于有线或无线LAN的网络接口的通信部分22、诸如硬盘驱动器、非易失性存储器等的存储部分24、将数据输出至诸如显示装置、扬声器等的输出装置的输出部分26、从诸如键盘、鼠标、游戏控制器、麦克风、相机等的输入装置接收数据的输入部分28、以及驱动诸如磁盘、光盘、半导体存储器等的可移除记录介质的记录介质驱动部分30连接。

CPU 12通过执行存储部分24中存储的操作系统控制整个图像处理装置10。CPU 12还执行从可移除记录介质读取且加载到主存储器16中、或者经由通信部分22下载的各种程序。GPU 14具有几何传递(transfer)引擎的功能和渲染处理器的功能。GPU 14根据来自CPU12的渲染指令执行渲染处理，并将显示图像存储在图中未示出的帧存储器中。然后，GPU 14将帧存储器中存储的显示图像转换为视频信号，并将视频信号输出至输出部分26等。

图2示出图像处理装置10的功能框图。描述为图2和稍后描述的图10中的执行各种处理的功能块的要素可以如上所述在硬件方面由CPU(中央处理单元)、GPU(图形处理单元)和存储器、或另一LSI配置，并且在软件方面由执行图像处理的程序以及各种操作等实施。因此，本领域技术人员应理解，这些功能块可以仅通过硬件、仅通过软件、或者通过硬件和软件的组合以各种形式实施，并且不限于所述形式的任何一个。

图像处理装置10a包括：信息处理部分32，其根据由用户输入的指令执行信息处理；图像处理部分34，其根据来自信息处理部分32的请求执行图像处理；以及图像数据存储部分36，其存储图像处理所需的数据。信息处理部分32从诸如游戏控制器、键盘等的输入装置获得与用户操作有关的信息，并根据该信息执行信息处理。只要信息处理涉及图像显示(如在游戏中)、移动图像的再现、静止图像的再现、网页的查看等，就不具体限制由信息处理部分32执行的信息处理的细节。

在执行游戏的情况下，例如，可能存在如下模式：用户在观看表示虚拟世界的图像的同时，移动视点或通过使用输入装置产生某个动作，其中该图像显示在显示装置上。此时，信息处理部分32接收与由用户对输入装置的操作的细节对应的输入信号，确定视点或对象的改变以便对应于操作的细节，并请求图像处理部分34生成显示图像。由信息处理部分32执行的处理可以等效于由普通游戏装置或普通信息处理装置中的CPU执行的处理。

图像处理部分34根据来自信息处理部分32的请求生成要显示在显示装置上的图像。基本上，图像处理部分34根据视点确定坐标系，并相应地使用存储在图像数据存储部分36中的每个对象的模型数据和背景数据渲染图像。在此情况下渲染的对象包括具有作为颜色信息的阿尔法通道的对象。如众所周知的，当渲染对象时，可以通过使用由阿尔法通道保持的阿尔法值(透明度)执行阿尔法混合，来表示具有透明性的物质。

在本实施例中，对于指定的多个对象，不执行普通的阿尔法混合，但是由使用阿尔法通道的简单处理表示透明性。要经受这种处理的多个对象、或多个对象的组在下文中将称为“指定的对象”。图像处理部分34包括：阿尔法缓冲区生成块38，其当指定的对象总体上被看作一个对象时，生成在图像平面中表示每个像素的阿尔法值的阿尔法缓冲区；阿尔法缓冲区40；渲染块42，其渲染还包括除了指定的对象之外的其它对象的图像；阴影处理块44，其向所渲染的图像应用阴影处理；以及帧存储器46，其存储要输出至显示装置的图像的数据。

当渲染对象包括指定的对象时，阿尔法缓冲区生成块38从图像数据存储部分36读取属于所指定的对象的多个对象的阿尔法值。然后，在图像平面中计算当将这些对象总体上设置为一个对象时的阿尔法值，并且将其写入到阿尔法缓冲区40中。这里，由图像制作者等在程序或设置文件中指定所指定的对象。

例如，通过以半透明方式表示诸如毛发等的精细且密集的对象，容易地使得该对象逼真。另一方面，在表示透明性的同时逐个渲染对象施加了繁重的处理负荷，因此随着对象的数量增加以及随着重叠的数目增加而降低了响应性。因此，本实施例通过将这种性质的对象设置为指定的对象、并总体上生成一个阿尔法缓冲区，减小渲染处理的负荷。除了毛发之外，本实施例对于密集状态下的对象(诸如，草地、树叶、月亮水母等)也尤其有效，其中期望在将透明性赋予所述对象的同时自然地表示所述对象。然而，本实施例不意图限于这些对象。

渲染块42根据从信息处理部分32通知的视点渲染包括指定的对象的对象。此处理是普通渲染处理就足够了，该普通渲染处理使得背景和对象经受根据视点的坐标变换，并将背景和对象投影到屏幕上。也可以通过普通方法执行阿尔法混合处理。然而，通过使用阿尔法缓冲区40总体设置所指定的对象的阿尔法值。因此，不规定渲染属于所指定的对象的对象的顺序。

阴影处理块44使得图像经受阴影处理，并将结果作为显示图像而输出至帧存储器46。虽然已经提出了阴影处理的各种方法，在此情况下具体地使用SSAO(屏幕-空间环境遮蔽)作为全局照明计算方法。SSAO和另一方法可以彼此组合。

图3是帮助说明普通阿尔法混合的处理的图。首先，假设三个球形对象72a、72b和72c在三维空间中以距视点74的距离减小的顺序存在。当对象被投影到屏幕76上时，首先渲染背景，然后背景上最后面的对象72a、中间对象72b和最前面的对象72c以此顺序被渲染。假设Csrc为待渲染对象的设置颜色，假设αsrc是阿尔法值，并假设Cdst是在屏幕上的渲染区域中渲染之前的像素的颜色，则对于每个像素计算当已经渲染了每个对象时的对象的渲染颜色Cout如下。

Cout＝Csrc·αsrc+Cdst·(1-αsrc)

也就是，对象的渲染颜色Cout受到进一步至后面的对象和背景的颜色影响。因此，如在图3中的屏幕76的情况下，可以白哦是对象72a的一部分以便通过其它两个对象可见，并且可以表示对象72b的一部分以便通过对象72c可见。另一方面，当在渲染顺序中存在错误时，改变渲染颜色Cout，使得未获得正确的显示图像。

因此，普通阿尔法混合处理需要用于在渲染之前获得对象或多边形从原理视点的位置的正确布置顺序的排序处理。然而，特别当渲染诸如毛发等的密集对象时，此排序处理的负荷增加。另外，毛发的根部与另一根毛发的前后关系可能从该毛发的尖部与该另一根毛发的前后关系而改变。因此，可能发生如下情形：无法通过对每个对象排序而进行表示。因此，也可以设想以像素为单位的排序，但是进一步增加了处理的负荷。

因此，在本实施例中，如上所述，对于属于指定的对象的多个对象总体上生成阿尔法缓冲区，由此可以省略排序处理。当渲染图3中所示的对象时，阿尔法缓冲区生成块38对于三个对象的渲染区域在屏幕平面中彼此组合的区域内的每个像素计算阿尔法值，并将阿尔法值写入到阿尔法缓冲区。获得每个像素的阿尔法值αout如下。

αout＝1-Πα_k

在此等式中，α_k是渲染区域覆盖目标像素的位置的对象的阿尔法值，或者，当在目标像素的位置上重叠多个对象时，α_k是这些对象的阿尔法值的集合。图4是由阿尔法缓冲区生成块38生成的阿尔法缓冲区的概念图。因为阿尔法值在范围0≤α_k≤1中，所以叠加的对象的数目越大，右侧的总积就越接近0。结果，阿尔法值αout接近1。也就是，叠加的对象的数目越大，透过率越低。另外，总积的结果不依赖于积分的顺序。因此，甚至在阿尔法缓冲区的生成中也不需要排序处理。

当如图4中所示以最大值表示白色的灰度表示这样的阿尔法缓冲区的图像时，该图像是如下这样：没有其它对象重叠的一部分接近黑色(例如，区域78a)，并且随着重叠的数目增加，一部分变得更接近白色(例如，区域78b)。顺便提及，在指定的对象的区域之外αout＝0。当渲染块42渲染所指定的对象时，渲染块42在不执行排序处理的情况下渲染每个对象，并且总是读取阿尔法缓冲区中的对应像素的值作为此时使用的阿尔法值。

接下来将描述由阴影处理块44执行的阴影处理。如上所述，在例如非专利文献中详细描述SSAO的具体方法(Morgan McGuire等人的“The Alchemy Screen-Space AmbientObscurance Algorithm”,ACM SIGGRAPH/Eurographics高性能图形2011(HPG’11)会议)。

SSAO是对于对象被投影到的屏幕平面上的每个位置近似地计算由周围的对象对环境光的遮蔽的方法。在真实世界中，周围的遮蔽对象的数目越大，或者作为形状的凹陷越深，遮蔽的环境光就越多，因此增加了暗度。因此，通过SSAO将遮蔽度转换为数字形式，并且相应地对图像加阴影。在本实施例中，应用SSAO技术，并且注意如下事实：阿尔法缓冲区中低透过率的部分(即，密集对象的部分)很有可能与根据SSAO具有高遮蔽度的部分一致。

然后，产生阴影以便其从诸如毛发的根部等的密度特别高的部分到密度相对低的部分逐渐变薄。因此，利用色调的平滑改变表示上述阿尔法缓冲区中透过率减小的部分以及透过率仍为高的部分。

图5是帮助说明SSAO的计算方法的图。首先，将给出对通过对于视点80将对象84投影到屏幕82上而渲染图像的情况给出考虑。此时，生成法线缓冲区，其表示对于屏幕平面中的对象84的每个位置的对象84的三维空间中的法线矢量，并且生成Z缓冲区，其表示在屏幕平面中对象84在从该视点的深度的方向(深度方向)上的位置。然后，对于期望获得遮蔽度的目标点86，通过预定规则在对象84上生成多个采样点88a、88b、88c、88d、……。

顺便提及，在相同图中，在三维空间中在对象84上表示采样点88a、88b、88c、88d、……。然而，实际上，在屏幕平面上生成采样点88a、88b、88c、88d、……。例如，预定数目的采样点可以随机分布在以目标点86为中心的具有预定半径的圆内，或者可以以预定方差而正态分布。然后，对于每个采样点，计算从目标点86到采样点的参照矢量和在目标点86的法线矢量n的内积。

可以说，内积的值越大，法线矢量n与参照矢量之间形成的锐角越尖锐，即，对象84中的相同点的部分对目标点86的遮蔽的贡献越大。第i个采样点对遮蔽的贡献的大小S_i可以实际计算如下。

[数学式.1]

在此等式中，矢量是到第i个采样点的矢量，并且矢量n是目标点的法线矢量。前者可以从对象的表面上的每个位置在三维空间中的位置坐标获得，该位置坐标从Z缓冲区获得。后者可以从法线缓冲区获得。Z_c是目标点在深度方向上的位置，该位置由Z缓冲区保持。即，当根据目标对象距视点的距离改变阴影的深度时引入分子的最后一项，β是控制效果的程度的权重系数。通过归一化这样的内积的值获得S_i。

顺便提及，ε是用于防止分母变为0的常数。因此，提前将微小值设置为ε。另外，当内积呈现负值时，法线矢量n和参照矢量形成钝角，因此对应的采样部分不对遮蔽做出贡献。因此，S_i具有0作为下限，如在上述等式中那样。通过关于所有采样点而求和S_i并获得其平均值而获得在目标点86的遮蔽度。在0至1的范围中并且随着遮蔽度增加而接近0的评估值A通过以下等式表示。

[数学.2]

在此等式中，s表示采样点的数目，σ是确定要赋予的阴影的深度的系数，并且k是确定阴影的方位性(locality)并且根据待显示的图像的内容等而被调节合适的参数。通过对被设置为目标点的屏幕平面中的所有对象执行类似的计算，获得评估值A在屏幕平面中的分布。在分布的基础上，应用阴影以使得对具有较小评估值A的部分提供较深的阴影，或者例如使得该部分显得较暗。SSAO的这种方法使得可以高速渲染逼真图像。

图6示出本实施例中生成的图像中的转变的示例。在本示例中，在矩形区域中生长的毛发、牛的特质(character)、以及长方体被显示为对象。首先，在阿尔法缓冲区生成块38识别被设置为指定的对象的毛发的对象的模型以及其渲染位置之后，阿尔法缓冲区生成块38创建阿尔法缓冲区90a。如上所述，不中覆盖的毛发的数目越多，即，密度越高，该部分中的阿尔法值就越大，因此当以灰度表示时，该部分变为更接近白色。在毛发的情况下，毛发的密度在毛发的根部增大。因此，如阿尔法缓冲区90a中所示，根部的部分尤其接近于白色。

接下来，渲染块42识别其它对象的模型以及其渲染位置，并且将其它对象与所指定的对象一起渲染。渲染块42由此生成图像90b。这里，当渲染所指定的对象时，并非如上所述执行排序处理，但是，使用阿尔法缓冲区90a中对应像素的值执行与已经渲染的背景或对象的阿尔法混合。普通的混合方法可以用于其它对象。渲染块42此时如上所述还生成法线缓冲区和Z缓冲区。

接下来，阴影处理块44使得图像90b经受阴影处理。在此情况下，使用由渲染块42生成的法线缓冲区和Z缓冲区，通过上述计算获得评估值A的分布，并且基于分布对该图像加阴影。然后，如在图像90c中，生成逼真的图像，其示出阴影主要在对象的凹陷以及对象的边缘的部分平滑改变，其中该边缘与地面接触。

图7和图8示出在当通过传统技术渲染包括毛发的对象时获得的图像、与当在本实施例中渲染包括毛发的对象时获得图像之间的比较的图。在图7中，通过由传统技术对毛发的对象排序、然后以所排序的对象的顺序执行通常的阿尔法混合，渲染图像92a。另一方面，由根据本实施例的图像处理装置渲染图像94a而不执行排序。两个图像都已经经受了通过SSAO的阴影处理。

在各个图像92a和94a中放大的毛发部分的图像92b与94b之间的比较示出本实施例中渲染的图像94b的透明性在毛发的根部部分有些丢失，但是朝向毛发的尖部部分而表现更多透明性。另外，存在从根部部分到尖部部分的平滑改变。可以说，在这样的对象中，由于阴影的效果等，透明性在密集根部部分压根儿不产生较大效果。结果，通过本实施例的方法获得图像94b给出与已经执行了排序处理和阿尔法混合的图像92b没有太大区别的整体印象。即，示出即使在大量精细对象的情况下，也可以在不增加处理负荷的情况下渲染自然图像。

在并非在传统技术中对毛发的对象进行排序的情况下，通过以错误的顺序执行阿尔法混合而渲染图8中的图像96a。由根据本实施例的图像处理装置在不执行排序的情况下渲染图像98a。两个图像都已经经受了通过SSAO的阴影处理。在各个图像96a和98a中放大的毛发部分的图像96b与96b之间的比较示出本实施例中渲染的图像98b如上所述表示自然毛发。

另一方面，在以错误的顺序执行传统的阿尔法混合的情况下的图像96b中，已经首先渲染的在前面的毛发不与在后面出现的毛发混合，并且不渲染出现在后面的毛发。因此，作为整体，图像96b是如下这样的：可以通过毛发看见背景。即，示出在不执行排序处理的相同条件下，本实施例所提供的图像具有高得多的质量。

接下来将描述通过到目前为止所描述的配置实现的图像处理装置10的操作。图9是图像处理装置10生成显示图像的处理过程的流程图。当用户向图像处理装置10给予用于开始用于游戏等的信息处理的指令输入时，开始此流程图。首先，信息处理部分32确定三维空间中的视点，并将视点与关于待渲染的对象的模型数据等的信息一起通知给图像处理部分34(S10)。紧挨在处理开始之后的视点可以是提前设置以显示图示图像的视点。

接下来，图像处理部分34中的阿尔法缓冲区生成块38从图像数据存储部分36读取待渲染的对象的数据，并从对象提取指定的对象(S12)。然后，如上所述，通过对在屏幕平面中的每个像素的位置叠加的对象的阿尔法值积分并从1中减去结果，生成用于所指定的对象的阿尔法缓冲区(S14)。

接下来，渲染块42将包括所指定的对象的待渲染的对象与背景一起渲染(S16)。除了参考用于所指定的对象的阿尔法缓冲区之外，此处理可以是将已经经受了根据视点的坐标变换的对象投影到屏幕平面上的普通的渲染处理。同时，创建法线缓冲区和Z缓冲区。接下来，阴影处理块44使得所渲染的图像经受阴影处理(S18)，并将图像数据存储在帧存储器16中(S18)。以适当的定时将图像数据输出至显示装置，由此显示图像(S20)。

例如，直到用户执行用于结束显示的输入之前、或者直到在显示完成之后到结束出现结束显示的需要之前(S22中的N)，都重复从S12到S20的处理，同时根据用户的操作或设置改变视点。由此，进行根据视点改变的图像显示。然后，当出现结束显示的需要时，结束处理(S22中的Y)。

根据上述本实施例，在渲染指定的对象之前，对于包括具有阿尔法通道的多个对象的所指定的对象，生成阿尔法缓冲区。然后，在渲染时，在未执行排序处理的情况下渲染所指定的对象中包括的多个对象，使用由阿尔法缓冲区保持的值作为所指定的对象中包括的多个对象的阿尔法值。然后，应用阴影处理。因此，即使不包括排序处理的情况下的简单处理也可以进行不丢失透明性的感觉更重要的部分的透明性并且在密集且阴影部分中具有自然的阴影的图像表示。

结果，可以以良好的响应性且以高质量显示包括尤其诸如毛发等的、处理负荷趋于增加的大量精细对象的图像。顺便提及，SSAO在本实施例中用作阴影处理。SSAO是有用的，尤其因为SSAO容易地适用为渲染之后的后处理。然而，只要另一方法是能够提供在对象中从高密度部分到低密度部分的色调平滑改变的阴影处理技术，就可以应用该方法。

第二实施例

在本实施例中，拍摄的图像或渲染的图像经受使用被摄体或对象的凸出和凹陷信息的操纵。这里，关于对象的凹陷的信息可以转译为第一实施例中的“遮蔽度”。

图10是本实施例中的图像处理装置的功能框图。顺便提及，图像处理装置的内部电路配置类似于图1的内部电路配置。图像处理装置10b包括：原始图像获得部分100，其获得待操纵的原始图像；图像数据存储部分108，其存储图像的数据以及所生成的中间数据；缓冲区生成部分102，其生成用于原始图像中的被摄体或对象的Z缓冲区和法线缓冲区；凸出和凹陷评估部分104，其将被摄体或对象的凸出和凹陷转换为数字形式；图像操纵部分106，其使得图像经受基于被摄体的凸出和凹陷的预定操纵；以及帧存储器110，其存储待显示的图像的数据。

原始图像获得部分100从连接至图像处理装置10b的相机获得待操纵的原始图像的数据。替代地，原始图像获得部分100可以配备有与第一实施例中的信息处理部分32和图像处理部分34的功能类似的功能，使得将通过在虚拟三维空间中渲染对象而获得的图像设置为原始图像。在此情况下，不需要提供阿尔法缓冲区生成块38的功能。

缓冲区生成部分102获得被摄体在从相机的深度方向上的位置，并基于被摄体在深度方向上的位置生成Z缓冲区和法线缓冲区。例如，相机是立体相机，并且原始图像获得部分100获得通过从其间具有已知间隔的左位置和右位置同时拍摄拍摄目标而获得的立体图像的数据。然后，基于立体图像，缓冲区生成部分102通过诸如立体匹配等的普通方法计算被摄体在深度方向上的位置，并生成Z缓冲区。在此情况下，待操纵的原始图像可以是立体图像之一。

替代地，可以与拍摄原始图像的相机分开地提供使用红外线等的参照光照射式的相机，并且可以由原始图像获得部分100获得基于反射时间的关于被摄体的距离的信息，从而生成Z缓冲区。然后，可以通过基于包括被摄体在深度方向上的位置和被摄体在图像平面上的位置的由Z缓冲区指示的三维坐标获得被摄体的表面的斜率、并计算对于该斜率的法线，生成法线缓冲区。

凸出和凹陷评估部分104使用由缓冲区生成部分102生成的Z缓冲区和法线缓冲区，将被摄体的凸出和凹陷转换为数字值并评估被摄体的凸出和凹陷。通过执行与指示遮蔽度的评估值A的计算等效的计算获得数字值，已经在第一实施例中描述了该评估值A。然而，在本实施例中，不仅将对象的凹陷、而且将对象的凸出转换为数字值。在此情况下，随着凸出更凸出而接近0的评估值B通过以下等式给出。

[数学.3]

每个参数与评估值A的参数相同。当从目标点到第i个采样点的矢量与目标点的法线矢量n的内积为负时，内积的绝对值越大，在法线矢量n与参照矢量之间形成的钝角就越大，即，目标点的凸出越深。因此，可以通过将评估值A中的内积乘以-1而定义该凸出的等效评估值B。凸出和凹陷评估部分104对于图像平面中的每个像素，生成指示评估值A的凹陷评估值缓冲区和指示评估值B的凸出评估值缓冲区中的至少一个。根据图像操纵的目的确定生成哪个评估值缓冲区。

图像操纵部分106使得原始图像经受使用根据操纵的目的的评估值缓冲区的预定操纵。例如，对拍摄的图像中被摄体的凹陷或密集对象的部分加阴影。因此，因为该部分较暗，所以该部分的细节趋于模糊或者难以看见。因此，凹陷的评估值A越小，即，凹陷越明显，初始的原始图像的辉度值就设置得越大。这使得辉度值可以被部分地校正，因此可以仅使得较暗部分看起来更亮，而不改变原本看起来较亮的区域的辉度。如此操纵的图像的数据被输出到帧存储器110，由此被显示在显示装置上。替代地，如此操纵的图像的数据可以存储在主存储器16或存储部分24中以稍后能够被显示。

另外，图像操纵部分106可以使用凸出评估值缓冲区来增加凸出的辉度，并由此提高对比度。替代地，利用将凸出估计为诸如人、动物、物体等的主要拍摄目标的事实，可以通过应用使得除了凸出之外的区域模糊或者使得除了凸出之外的区域的色调变暗的后效果(post effect)，生成使得主要拍摄目标更明显的图像。可以将凸出的三维坐标反馈至相机以控制相机以使得在被认为是拍摄目标的部分对准焦点的同时执行拍摄。

另外，图像操纵部分106可以通过与凸出和凹陷评估部分104的方法不同的方法辨识特定被摄体的图像，并根据辨识的结果显示待操纵的区域、或者调节操纵的程度。例如，当应用现有的面部辨识技术时，仅可以提取在凸出评估值缓冲区中识别为凸出的区域中的人的面部。然后，如上所述的后效果处理可以使得面部部分明显、或者使得相机聚焦在面部部分上。替代地，可以进行甚至考虑被摄体的种类的局部调节，从而使得面部部分比其它区域更亮，仅使得面部周围的凹陷较亮，或者使得该凹陷比图像中的其它凹陷更亮。相反，例如，可以使得特定被摄体或者该特定被摄体周围的凹陷比其它部分更暗。

不限于面部，具有特定形状、颜色或运动的各种被摄体可以通过诸如图案匹配、运动辨识等的普通方法而被辨识。与如此辨识的特定被摄体的图像的区域与由凸出和凹陷评估部分104评估的凹陷和突出的组合相关联地，提前确定待执行的操纵的种类和操纵的程度，并将其存储在图像操纵部分106的存储器等中。替代地，可以允许用户选择用于上述组合的待执行的操纵的种类以及操纵的程度。

接下来将描述到目前为止描述的图像处理装置的操作。图11是图像处理装置操纵原始图像的处理过程的流程图。当根据由用户输入的指令，相机开始拍摄、或者开始用于游戏等的信息处理时，开始此流程图。首先，原始图像获得部分100从相机获得拍摄的图像的数据、或者执行信息处理并且渲染显示图像(S30)。当将所拍摄的图像设置为原始图像时，从相机获得立体图像、或者从参照光照射式的相机直接获得关于深度方向上的位置的信息。将所获得的数据存储在图像数据存储部分108中。

接下来，缓冲区生成部分102从图像数据存储部分108读取必要的数据，例如通过执行立体匹配而生成Z缓冲区，并使用Z缓冲区的生成的结果生成法线缓冲区(S32)。将每个所生成的缓冲区存储在图像数据存储部分108中。顺便提及，当原始图像获得部分100渲染显示图像时，原始图像获得部分100可以与渲染一起生成每个缓冲区，并将每个缓冲区存储在图像数据存储部分108中。

接下来，凸出和凹陷评估部分104从图像数据存储部分108读取Z缓冲区和法线缓冲区，并根据目的使用Z缓冲区和法线缓冲区生成凹陷评估值缓冲区和突出评估值缓冲区中的至少一个(S34)。将所生成的评估值缓冲区存储在图像数据存储部分108中。图像操纵部分106从图像数据存储部分108读取必要的评估值缓冲区和原始图像的数据，并使得原始图像经受基于评估值缓冲区的值的预定操纵(S36)。可以在图像处理装置内提前设置、或者可以由用户指定在此步骤中执行的操纵。

另外，作为在S36之前的预处理，图像操纵部分106可以确定操纵是否是必要的。例如，从凹陷评估值缓冲区检测凹陷的区域，并且例如当原始图像中的区域的辉度等于或低于阈值、或者该区域的辉度与另一区域的辉度的差等于或大于阈值时，确定用于增加辉度的操纵是必要的。在这种情况下，与待执行的操纵相关联地确定用于确定操纵是必要的还是不必要的标准，并将其存储在图中未示出的内部存储器等中。

将所操纵的图像的数据存储在帧存储器110中，并以合适的定时经由输出部分26输出至显示装置，由此显示图像(S38)。例如，直到用户执行用于结束拍摄或显示的输入之前、或者直到在显示完成之后到结束出现结束显示的需要之前(S40中的N)，都继续拍摄、或者接收用户操作，并且重复从S30到S38的处理。由此，进行根据被摄体的运动或者视点改变的图像显示。然后，当出现结束显示的需要时，结束处理(S40中的Y)。

图12示出在由相机拍摄的原始图像120a与通过本实施例操纵的图像122a之间的比较。在本示例中，放置在窗户前面的扶手椅是主要拍摄目标，并且在椅子的座位的下侧形成由椅子的背面和侧面、椅子的座位的底面以及地面包围的凹陷空间。同一图还示出原始图像120a和操纵之后的图像122a中的凹陷空间的放大图像120b和122b。在原始图像120a和120b中，凹陷空间显得比其它空间更暗，这部分地由于来自窗户等的入射光的影响。操纵之后的图像122a和122b从使原始图像120a中的凹陷空间变亮的校正得到。示出此操纵仅增加凹陷空间的亮度，而不改变图像整体的亮度。

顺便提及，作为用于使凹陷变亮的方法，可以将原始图像的色空间转换为YCbCr，并且可以对于较小的评估值A而将Y(辉度)的值增加较大的增加量。替代地，可以在不改变RGB色空间的情况下调节颜色自身。此时，提前设置关于评估值A的改变而改变Y或RGB的值的规则。可以使用伽马校正过滤器。可以在装置侧提前设置、或者可以允许由用户根据图像的内容或者偏好而调节变亮的程度，即，Y或RGB的值的改变量。

替代地，可以获得图像整体的直方图，并且可以根据图像整体的色调确定改变量。例如，获得Y值的直方图，并且将平均值的一半加到凹陷的Y值上。另外，可以根据评估值A的空间改变而改变Y值的改变量，或者可以向评估值A提供阈值以限制凹陷的区域，并且可以将该区域改变相同的改变量。使用评估值B对凸出的操纵也是如此。

根据上述本实施例，通过测量、或者在渲染时获得被摄体或对象在深度方向上的位置，生成Z缓冲区和法线缓冲区。然后，这些缓冲区用于计算图像平面中的评估值，该评估值指示由被摄体自身的形状、或者多个被摄体的布置形成的凹陷或凸出。根据计算的结果使得拍摄的图像或渲染的图像经受操纵。由此，可以使得因为地方为凹陷空间而显得较暗的该地方变亮，或者可以通过凸出和凹陷而提高对比度。另外，被视为主要拍摄目标或对象的凸出可以被执行模糊处理，以便使得该部分比其它部分更明显，或者可以将相机聚焦在该部分上。可以执行评估值的计算以及图像的操纵，作为后处理。因此，预期将本实施例应用至广泛的领域，而与待操纵的图像是拍摄的图像还是渲染的图像无关。

以上已经基于本发明的实施例而描述了本发明。前述实施例是说明性的，并且本领域技术人员将理解，实施例的构成要素和处理过程的组合容许各种修改，并且这些修改也落在本发明的范围内。

例如，在第二实施例中，可以向相机的主体提供图像处理装置10b的功能。在此情况下，可以设想如下模式：用户在现场在相机中包括的显示装置上检查拍摄的静止图像或拍摄的运动图像，当用户感觉到对于操纵处理的需要时使得相机对凹陷或凸出执行操纵处理，然后将最终的图像数据存储在内部存储装置中。相机本身可以确定操纵是必要的还是不必要的。替代地，相机可以检测凸出，并且自动聚焦在凸出上、或者将焦点限制到该凸出。

参考标记列表

10图像处理装置，12CPU，14GPU，16主存储器，32信息处理部分，34图像处理部分，36图像数据存储部分，38阿尔法缓冲区生成块，40阿尔法缓冲区，42渲染块，44阴影处理块，100原始图像获得部分，102缓冲区生成部分，104凸出和凹陷评估部分，106图像操纵部分，108图像数据存储部分。

工业适用性

如上所述，本发明适用于诸如计算机、图像处理装置、图像显示装置、游戏机等的信息处理装置。

Claims (4)

1.一种图像处理装置，用于渲染包括被设置表示透明度的阿尔法值的对象的图像，所述图像处理装置包括：

渲染块，在图像平面中根据视点渲染待渲染的空间中的对象；

阴影处理块，对于由所述渲染块渲染的图像，获得遮蔽度的评估值的分布，基于所述分布对所渲染的图像加阴影，并将所得到的数据存储在存储器中，其中所述评估值能够通过估计环境光在待渲染的空间中的遮蔽度而计算；以及

阿尔法缓冲区生成块，通过使用分别向在待渲染的对象之中提前被指定为指定的对象的多个对象设置的阿尔法值，确定所述图像平面中所指定的对象的渲染区域内的多个位置的阿尔法值，对于所指定的对象总体上生成阿尔法值的分布，其中，当所述渲染块渲染所指定的对象时，所述渲染块使用所述图像平面中对应位置的阿尔法值，所述阿尔法值由所述阿尔法缓冲区生成块确定，

其中，当在所指定的对象中存在多个其渲染区域包括被确定阿尔法值的位置的对象时，所述阿尔法缓冲区生成块基于这些对象的阿尔法值的总积确定所述位置的阿尔法值。

2.如权利要求1所述的图像处理装置，还包括：

信息处理部分，根据用户的操作确定视点的改变，并将视点的改变通知给所述渲染块和所述阴影处理块，

其中，所述渲染块根据所通知的视点的改变而更新渲染结果，并且所述阴影处理块根据所通知的视点的改变而更新所述评估值的分布，并基于所更新的分布应用阴影。

3.如权利要求1或2所述的图像处理装置，

其中，对于在待渲染的对象之中提前指定的多个对象，所述渲染块不执行用于获得所述多个对象的排列的排序处理，所述排列在从所述视点的深度方向上。

4.一种渲染包括被设置表示透明度的阿尔法值的对象的图像的图像处理装置的图像处理方法，所述图像处理方法包括：

通过使用分别向在待渲染的对象之中提前被指定为指定的对象的多个对象设置的阿尔法值，确定所述图像平面中所指定的对象的渲染区域内的多个位置的阿尔法值，对于所指定的对象总体上生成阿尔法值的分布的步骤，其中，当在所指定的对象中存在多个其渲染区域包括被确定阿尔法值的位置的对象时，基于这些对象的阿尔法值的总积确定所述位置的阿尔法值；

在从存储装置读取对象的模型数据之后在图像平面中根据视点渲染待渲染的空间中的所述对象的步骤；

对于渲染的图像获得遮蔽度的评估值的分布的步骤，其中所述评估值能够通过估计环境光在待渲染的空间中的遮蔽度而计算；

基于所述评估值的分布对所渲染的图像加阴影的步骤；以及

将加阴影的图像的数据存储在存储器中的步骤，

其中，当渲染所指定的对象时，使用由生成阿尔法值的分布的步骤确定的所述图像平面中对应位置的阿尔法值。