CN101276478A - 纹理处理设备与方法 - Google Patents
纹理处理设备与方法 Download PDFInfo
- Publication number
- CN101276478A CN101276478A CNA2008100872809A CN200810087280A CN101276478A CN 101276478 A CN101276478 A CN 101276478A CN A2008100872809 A CNA2008100872809 A CN A2008100872809A CN 200810087280 A CN200810087280 A CN 200810087280A CN 101276478 A CN101276478 A CN 101276478A
- Authority
- CN
- China
- Prior art keywords
- data
- weight
- camera
- texture
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种纹理处理设备,包括:CG数据获取单元,其获取计算机图形(CG)数据,其包括用于纹理映射处理的CG模型数据、相机数据、光源数据、多个纹理数据项和预设的加重参数,所述CG模型数据、相机数据和光源数据组成用于渲染CG图像的数据,所述多个纹理数据项是在各种不同条件下获取或产生的;计算单元,其使用所述CG数据计算与所述预设的加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;提取单元,其根据所述纹理处理条件,从所获取的多个纹理数据项中提取特定的纹理数据项;以及处理单元,其根据所述预设的加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
Description
技术领域
本发明涉及一种纹理处理设备与方法,用于在计算机图形(CG)领域中的高质量纹理映射技术。
背景技术
近年来,CG技术已经得到快速发展,并且与照片非常相似的写实图形渲染已经变为可能。然而,用于电影和TV节目的很多高质量CG作品非常昂贵,因为它们经常需要长时间的繁重的手工劳动来创作。在未来,将会对各种CG渲染有着更多的需求,因此需要以低成本简单地创作高质量CG作品的技术。
纹理映射技术是一种用于渲染CG模型表面纹理的技术,其广泛地用于CG图像创作。具体而言,其用于根据为CG数据所准备的纹理坐标,将通过摄影获得的图像或者内容制造商所绘制的图像贴附到CG模型的表面上。在渲染CG模型表面的纹理时,被认为特别困难的是渲染布、皮肤或者毛皮。为了渲染柔质感的材料,非常重要的是,表现出在材料表面颜色上的变化,或者在材料的自阴影(self shadow)上的变化,这两者取决于观看该材料时的方向(即,视点方向)以及施加光照的方向(即,光源方向)。
针对以上所述,已经开始积极地使用一种方案,其拍摄实际材料并再现该材料的特性来生成写实的CG图像。
对于与视点方向和光源方向相对应的表面纹理渲染,已经发展了对于称为例如双向参考分布函数(Bidirectional Reference Distribution Function,BRDF)、双向纹理函数(Bi-directional Texture Function,BTF)和多项式纹理映射(Polynomial Texture Maps,PTM)的建模方案的研究。这些方案采用多种方法来分析所获得的数据,以便推导出函数模型。此外,例如JP-A2006-146326(公开)已经提出了一种方法,用于将通过拍摄获得的图像保存为纹理数据,然后根据诸如视点方向和光源方向之类的参数自适应地选择并映射纹理。这些方法实现了对难以建模的材料(即,包含复杂颜色/亮度变化的材料)的写实纹理渲染。
另一方面,用于提供如上所述的CG图像的媒体也已经快速发展。例如,最近已经开发了各种方案的三维或立体显示装置,其能够显示三维运动图像。特别是,存在对于不需要例如专用眼镜的平板型显示器的日益增长的需求。已知一种能够相对容易实现的方案,该方案在具有位置固定的像素的显示面板(显示装置,例如直视型或投影型液晶显示装置或者等离子显示装置)前面紧邻着提供一种光线控制部件,其用于将从显示面板发射的光线导向到观察者。
该光线控制部件通常称为视差栅栏(parallax barrier),其用于对光线进行控制,以便即使是在光线控制部件的同一位置处,也能使观察者在不同角度上看到不同的图像。具体而言,当仅引入水平视差时,使用狭缝片(slit)或者透镜片(圆柱型透镜阵列)。当引入水平视差和垂直视差时,使用针孔阵列或者透镜阵列。利用视差栅栏的方案还被分类为双目型方案、多视点型(multi-view)方案、超多视点型(super multi-view)方案(多视点类型的超多视点情况)、以及全景摄影(integral photography)(以下也称为“IP”)。这些方案的基本原理与大约100年前发明的立体摄影所使用原理基本相同。
在IP方案和多视点方案两者中,观看距离通常有限,因此显示图像被形成为好像实际看到在观看距离处的透视投影图像。在仅引入了水平视差(即,不引入垂直视差)的IP方案(一维IP方案)的情况下,如果视差栅栏的水平间距是像素水平间距的整数倍,则存在多个平行光线。在该情况下,对通过在垂直方向上执行恒定观看距离的透视投影并在水平方向执行平行投影而获得的图像以像素行为单位进行分割,并且将所得到的图像成分添加到视差合成图像中作为用于在显示表面上显示图像的图像形式,从而能够获得正确投影的立体图像(例如,见JP-A 2005-086414(公开))。在多视点方案中,通过分配借助于简单的透视投影而获得的多个图像,能够获得正确投影的立体图像。
此外,在垂直方向和水平方向上采用了不同投影方法或者不同投影中心距离的成像设备必须采用与在具体执行平行投影时的对象相同尺寸的相机或透镜。因此,难以实现这种设备。就因为如此,为了通过摄影获得平行投影数据,使用对通过透视投影所获得的数据进行转换的方法更为实际。该方法包括例如一种已知的光线间隔方法,其采用使用EPI(核面(Epipolarplane))的内插。
以上技术是用于增强CG中材料纹理并且用于在立体显示器上实现立体视觉的背景技术。然而,存在一种情况,其中,通过对与摄影所获得的材料图像相对应的纹理数据进行映射,不能简单地获得令用户满意的纹理或立体效果。这是因为媒体的颜色表现力或者立体显示器的深度表现力上存在一些约束(规格)。因此,存在对于一种技术的需求,该技术在纹理映射处理之前加重(emphasize)纹理数据,从而增强了CG中的材料纹理或者立体显示的立体效果。
当将在各种不同视点条件和光源条件下所获取的多片纹理数据直接映射到CG模型上时,所得到的图像可能不具有令用户满意的质量,这取决于呈现图像的媒体。这是因为用于呈现CG图像的媒体的颜色表现力或者立体显示器的深度表现力上存在一些约束(规格)。
在处理单个纹理数据项的情况下,能够通过例如对纹理数据进行图像处理以增强其对比度,来加重CG图像表面的纹理。然而,在处理多个纹理数据项的情况下,对于用于从多个纹理数据项中选出要映射的数据项的方法或者用于处理所选出的纹理数据项的方法,还没有建立用于加重CG图像表面的纹理的任何手段。
发明内容
根据本发明的一个方面,提供了一种纹理处理设备,包括:CG数据获取单元,配置为获取计算机图形(CG)数据,其包括用于纹理映射处理的CG模型数据、相机数据、光源数据、多个纹理数据项和预设的加重参数,所述CG模型数据、所述相机数据和所述光源数据用于渲染CG图像,所述多个纹理数据项是在各种不同条件下获取或产生的;计算单元,配置为使用所述CG数据计算与所述预设的加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;提取单元,配置为根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及处理单元,配置为根据所述预设的加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
根据本发明的另一方面,提供了一种纹理处理设备,包括:CG数据获取单元,配置为获取计算机图形(CG)数据,其包含用于纹理映射处理的CG模型数据、相机数据、光源数据和多个纹理数据项,所述CG模型数据、所述相机数据和所述光源数据组成用于渲染CG图像的数据,所述多个纹理数据项是在各种不同条件下获取或产生的;参数获取单元,配置为获取用于纹理映射处理的加重参数;计算单元,配置为使用所述CG数据计算与所述加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;提取单元,配置为根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及处理单元,配置为根据所述加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
附图说明
图1是示出在第一和第二实施例中所采用的纹理映射设备的框图;
图2是示出图1的纹理映射设备的操作实例的流程图;
图3是示出在第一和第二实施例中所采用的纹理生成设备的框图;
图4是示出图3的纹理生成设备的操作实例的流程图;
图5是可用于解释在各种不同视点/光源条件下的纹理获取方法的视图;
图6是示出用于加重作为单个视点的相机的位置上的变化的方法的视图;
图7是示出在采用单个视点时所采用的、用于加重光源位置上的变化的方法的视图;
图8是示出用于在移动作为单个视点的相机的位置时加重光源位置上的变化的方法的视图;
图9是示出当采用单个视点时,用于加重模型形状上的变化(动画)的方法的视图;
图10是示出当采用单个视点时,用于加重模型形状上的变化的方法的视图;
图11是示出当采用单个视点时,用于加重颜色上的变化的方法的视图;
图12是可用于解释使用多个视点执行的渲染的视图;
图13是示出用于加重在作为多个视点的多个相机的位置上的变化的方法的视图;
图14是示出当采用多个视点时,用于加重光源位置上的变化的方法的视图;
图15是示出当采用多个视点时,用于加重模型形状上的变化的方法的视图;
图16是示出在第三实施例中采用的纹理映射设备的框图;
图17是示出图16的纹理生成设备的操作实例的流程图;
图18是示出在第三实施例中采用的纹理生成设备的框图;
图19是示出图18的纹理生成设备的操作实例的流程图;
图20是可用于解释当执行与CG模型数据无关的加重处理时所检测到的限界的视图;
图21是可用于解释当执行与CG模型数据无关的加重处理时所发生的第一问题的视图;
图22是可用于解释当执行与CG模型数据无关的加重处理时所发生的第二问题的视图;
图23是示出用于渲染材料纹理的每个相机位置条件的范围的示意图;
图24是可用于解释对于根据CG模型数据执行加重处理所必须的3个点的视图;
图25是示出用于根据CG模型数据改变相机间隔的方法的视图;
图26是示出在用于根据CG模型数据改变相机间隔的方法中所包含的异常处理的视图;以及
图27是示出用于根据CG模型数据加重相机位置上的变化的方法的流程图。
具体实施方式
将参考附图详细描述根据本发明的各个实施例的纹理处理设备与方法。在各个实施例中,类似的参考标记表示类似的构成要素,并且省略了重复解释。
各个实施例的纹理处理设备与方法是用于加重要映射到CG表面上的纹理中的变化,以便增强材料质感和/或者CG立体效果的技术。
在各个实施例的纹理处理设备与方法中,从在各种不同条件下所获取或产生的多个纹理中选择适当的纹理,并对其进行加重处理,从而增强了材料质感和/或者CG立体效果。
在实施例中,当从在各种不同条件下所获取或者产生的多个纹理数据项中选择要映射的纹理时,通过加重相机或光源位置上的变化或者CG模型形状上的变化,来计算选择条件。此外,通过加重在所选择的纹理数据的颜色上的变化,来产生要映射到CG模型上的纹理数据。作为结果,能够增强材料质感或者CG立体效果。
各个实施例的纹理映射设备获取对于CG渲染所必需的CG模型数据、相机数据、光源数据、和在各种条件(例如视点条件或者光源条件)下所获得的多个纹理数据项。使用预设的或者外部获取的加重参数,来确定纹理数据的处理条件。随后,提取与所确定的处理条件相对应的纹理数据,并使用预设的或者外部获取的参数对其进行加重处理。将由此加重的纹理数据映射到CG模型上,从而增强材料质感和CG立体效果。
在第一实施例中,将描述由纹理映射设备和纹理生成设备(以下将其合称为“纹理处理设备”)执行的一系列处理。此外,在第一实施例中,将描述在使用一个相机(即,使用单个视点)渲染CG图像时所采用的各种加重方法。
在第二实施例中,将描述在使用多个相机(即,使用多个视点)渲染CG图像时所采用的加重方法。当使用多个视点执行渲染时,可以使用与使用单个视点执行的渲染所采用的方法不同的加重方法。在第二实施例中,将描述使用多个视点执行的渲染的纹理映射加重方法及其效果。
在第三实施例中,将描述能够接收外部加重参数的纹理映射设备。将描述根据例如CG数据的特征或者呈现CG数据的媒体的规格来改变加重参数的一种方法,以及手工改变关于参数的设定的一种方法的具体实例。
(第一实施例)
首先参考图1,将描述根据第一实施例的纹理映射设备。图1是示出该纹理映射设备的结构的视图。
如图所示,第一实施例的纹理映射设备包括:CG数据获取单元101、处理条件计算单元102、纹理数据提取单元103、纹理数据处理单元104、映射单元105、以及CG呈现单元106。该设备接收对于渲染CG图像所必需的CG模型数据、相机数据、光源数据、以及在各种条件(例如视点条件和光源条件)下所获取的多片纹理数据,并基于预设的加重参数来执行加重纹理映射处理。
CG数据获取单元101获取对于渲染CG图像所必需的CG模型数据、相机数据、光源数据、以及在各种不同条件下获取或产生的多片纹理数据(以下,合称为“CG数据”)。各种不同条件包括例如,用于拍摄纹理的视点/光源位置条件。假设在第一实施例中,输入纹理数据,该纹理数据是通过在由θc、φc、θI和φI表示的视点条件和光源条件下进行拍摄所获取的,正如在以下参考图5所述的方法中所采用的那样。可以将纹理映射设备设置为,使其也可以根据基于各种自然条件(例如时间、速度、加速度、压力、温度和湿度)以及视点/光源条件而变化的各种信号来操作。
处理条件计算单元102使用由CG数据获取单元101所获取的CG数据,从而基于预设的加重参数来计算用于纹理生成的加重纹理处理条件。具体而言,处理条件计算单元102计算处理条件,以便从通过拍摄而获得的多片纹理数据中选择要映射到CG模型上或者要生成的纹理数据。在现有技术中,为在CG模型表面上的每个点,计算由θc、φc、θI和φI表示的视点条件和光源条件。相对照地,在本实施例中,根据预设的加重参数来确定用于各种处理条件的计算方法。所述预设的加重参数包括:例如,角度条件加重率、相机位置加重率(用于单视点)、光源加重率(用于单视点)、以及模型形状加重率(用于单视点)。使用这些加重率,能够加重诸如角度条件、相机位置条件、光源条件以及模型形状条件之类的处理条件。稍后将描述各种加重方法和效果。
纹理数据提取单元103根据由处理条件计算单元102所计算的纹理处理条件,从由CG数据获取单元101所获取的纹理数据中提取特定的纹理数据。例如,从在所计算的视点条件和光源条件下所获得的多片纹理数据中提取适当的纹理数据。如果没有与处理条件匹配的纹理数据,或者如果在接下来的纹理数据处理步骤中执行颜色数据加重,则必须提取满足相邻条件的纹理数据。
纹理数据处理单元104使用预设的加重参数,对由纹理数据提取单元103所提取的纹理数据执行加重处理。在现有技术中,仅仅在没有与处理条件匹配的纹理数据时,才必须对满足所述相邻条件的所提取纹理数据进行内插。相对照地,在本实施例的设备中,基于预设的加重参数来执行用于加重纹理数据的处理。例如,使用被设定为加重参数的颜色变化加重率(用于单视点),来执行颜色变化的加重。稍后将参考图11来描述颜色变化的加重(用于单视点)。
映射单元105将经加重的纹理数据映射到由CG数据获取单元101所获取的CG模型数据上,从而生成CG图像。CG呈现单元106呈现由映射单元105所产生的CG图像。
然后参考图2,将描述图1的纹理映射设备的操作实例。图2示出了图1的纹理映射设备所执行的一系列处理。
首先,CG数据获取单元101获取CG数据(步骤S201)。随后,处理条件计算单元102使用在步骤S201获取的CG数据,基于预设的加重参数来计算用于纹理生成的加重纹理处理条件(步骤S202)。纹理数据提取单元103基于所述纹理处理条件,从在步骤S201所获取的纹理数据中提取特定的纹理数据(步骤S203)。纹理数据处理单元104使用预设的加重参数,对在步骤S203中所提取的纹理数据执行加重处理(步骤S204)。映射单元105将经加重的纹理数据映射到在步骤S201所获取的CG模型数据上,从而生成CG图像(步骤S205)。CG呈现单元106呈现在步骤S205所产生的CG图像(步骤S206)。
将参考图3和4描述本实施例的纹理生成设备。
如图3所示,通过从图1的纹理映射设备中去掉映射单元105和CG呈现单元106,获得了本实施例的纹理生成设备。本实施例的纹理生成设备执行例如如图4中所示的操作,即,图2中除了步骤S205和S206之外的其他操作。
图1的纹理映射设备和图3的纹理生成设备主要的特征在于,处理条件计算单元102和纹理数据处理单元104基于预设的加重参数来确定用于选择和处理纹理数据的方法。
然后参考图5,简要描述一个传统纹理映射处理实例,其中,输入在各种不同视点条件和/或者光源条件下所获得的纹理数据,并基于与CG模型相关的视点条件和光源条件,从其中选择适当的纹理数据,并对其进行映射。
首先,在各种拍摄条件下,即,在相机(视点)或光源倾斜或旋转时,拍摄材料。具体而言,将材料放置在如图5中所示的空间中,并在视点和光源的位置θc、φc、θI和φI规则变化的情况下对材料进行拍摄,其结果是获得了用于指示在各种不同条件下所拍摄的多个纹理的数据项。将由此获得的纹理数据项与其拍摄条件彼此相关联,并存储为数据库。
随后,对于在CG模型表面上的每个点,计算视点条件和光源条件。与在拍摄时的情况一样,用角度来表示视点条件和光源条件,即,θc、φc、θI和φI。此后,从该数据库中提取适合于所计算的视点条件和光源条件的纹理数据。如果没有与所述条件匹配的纹理数据,则提取满足相邻条件的纹理数据,并对其内插,从而生成要映射的纹理数据。最后,将与所提取的纹理数据指定的纹理坐标相对应的像素数据(颜色数据)映射到CG模型的目标点上,由此获得具有相对高质量纹理的CG图像部分。
在第一实施例中,将要描述与现有技术相比,所提出的纹理映射设备或纹理生成设备如果能够实现被加重的纹理的映射或生成。此外,第一实施例针对使用单个相机(单个视点)执行CG渲染的情况。
首先将描述处理条件计算单元102所计算的加重纹理处理条件的实例,即,(1)加重角度条件,(2)加重相机位置条件(用于单个视点),(3)加重光源条件(用于单个视点),以及(4)加重模型形状条件(用于单个视点)。
(1)加重角度条件
在加重角度条件中,使用角度条件加重率对传统方法所计算的视点条件和光源条件(θc、φc、θI和φI)进行加重处理。例如,如果角度条件加重率为1.5且原始视点条件和光源条件(θc、φc、θI和φI)为(20,10,30,15),则加重结果为(θc、φc、θI和φI)=(30,15,45,22.5)。由此,将角度条件加重。即,该处理使得即使是在模型形状中的较小变化也被加重。然而,由于为角度条件设定了一个特定值域,因此如果加重结果落入了该值域之外,则需要将结果进行舍入。
(2)加重相机位置条件(用于单个视点)
在加重相机位置条件中,对于在相机位置以帧为单位进行移动时(即,当相机运行存在时)所获得的CG数据,使用相机位置变化加重率产生虚拟相机数据,从而加重相机位置上的变化。图6示出了用于加重相机位置上的变化的一种方法。例如,当存在由位置从C0移动到C4的相机所获得的CG数据时,计算用于指示相机位置从C0到C1的变化的矢量,并将其乘以相机位置变化加重率。使用由此获得的矢量,计算从C0进行移动所达到的虚拟相机位置C1’。使用同样的方法,获得C2’,C3’和C4’,从而生成加重的相机运行(camera work)。通过使用这些虚拟相机位置计算四个视点条件,能够加重由于相机移动所造成的纹理变化。
(3)加重光源条件(用于单个视点)
在加重光源条件中,对于在光源位置以帧为单位进行移动时所获得的CG数据,使用光源位置变化加重率产生虚拟光源数据,从而加重光源位置上的变化。图7示出了用于加重光源位置上的变化的一种方法。例如,当存在由位置从L0移动到L4的光源所获得的CG数据时,计算用于指示光源位置从L0到L1的变化的矢量,并将其乘以光源位置变化加重率。使用由此获得的矢量,计算从L0进行移动所达到的虚拟光源位置L1’。使用同样的方法,获得L2’,L3’和L4’,从而生成加重的光源移动。通过使用这些虚拟光源位置计算四个光源条件,能够加重由于光源移动所造成的纹理变化。
此外,能够执行如图8所示的对光源位置变化的加重。该方法还能够用于光源位置未移动时所获得的CG数据的加重。例如,当存在光源位置数据L且相机位置以帧为单位从C0移动到C2时,计算用于指示相机位置从C0到C1的变化的矢量,并且在与该矢量相反的方向上移动光源位置。作为结果,能够获得当相机位置为C1时的虚拟光源数据L1。光源的移动距离能够根据所使用的光源位置变化加重率来确定。类似地,获得L2,从而能够实现相对于相机运行的相对较大变化率的虚拟光源运动。通过使用该虚拟光源运动计算两个光源条件,能够加重由于相机移动所造成的纹理变化。
此外,对于光源变化的加重,除了上述处理之外,还能够通过随着时间而改变光源强度,来加重外观上的变化。
(4)加重模型形状条件(用于单个视点)
为了加重在CG模型形状上的变化,如果CG模型以帧为单位发生形状改变(即,该数据是动画数据),则使用模型形状加重率产生虚拟CG模型数据,从而执行模型形状加重处理。图9示出了用于加重模型形状上的变化的方法。假设在帧t-1中的点P0到P3(对应于纹理的各个顶点)处以及在帧t中的点Q0到Q3处,获得了多个CG模型数据项,则计算用于指示例如从点P0到点Q0的点移动的矢量,然后将其乘以模型形状变化加重率,从而生成在帧t中的虚拟顶点Q0’。类似地,获得Q1’,Q2’和Q3’,来加重在帧t-1与t之间的模型形状变化。使用由此获得的虚拟CG模型数据,计算视点和光源点,从而能够加重帧之间的纹理(例如,动画纹理)变化。然而,在顶点数量在帧之间变化的CG数据中,可能不存在相应的顶点。在该情况下,无论何时确定相应顶点不存在,都必须执行顶点分割处理,从而生成相应的顶点。
此外,能够执行如图10所示的模型形状变化加重。所示出的方法还能够用于除了CG动画之外的其他CG数据。当CG模型数据包括顶点P0到P4时,通过加重相邻顶点的变化,能够加重模型形状自身的变化。在例如P2的情况下,计算用于指示从P1到P2的位置变化的矢量以及用于指示从P3到P2的位置变化的矢量,然后将每一个矢量都乘以模型条件加重率。将所得到的矢量相加,来计算虚拟顶点P2’。类似地,获得虚拟顶点P1’和P3’,从而加重模型形状自身的变化。
然而,不是必须要将模型条件加重率固定在一个特定值上。例如,当如图10所示,仅仅加重由顶点P0到P4所形成的模型形状时,可以不加重顶点P0和P4,应该使用一个特定的模型条件加重率来加重P2,并且使用该特定的模型条件加重率的一半来加重顶点P1和P3。可替换地,可以使用一个特定的模型条件加重率来加重与相机或光源最接近的顶点,并且使用通过将该特定模型条件加重率逐渐减小而得到的结果来加重在该顶点周围的顶点,而不是直接指定顶点范围来设定待加重的模型形状区域。在该情况中,必须输入一个减小率,来确定模型条件加重率是如何根据每个顶点与该和相机或光源最接近的顶点之间的距离而减小的。通过使用以上的这种虚拟CG模型数据来计算视点条件和光源条件,能够相对于模型形状上的变化来加重纹理上的变化。
以上所述的条件(1)到(4)是加重处理条件的实例。可以同时采用这些加重条件中的全部或者一些。执行什么类型的加重,取决于设定加重参数的方式。
将参考图11描述由纹理数据处理单元104使用被设定为加重参数的颜色变化加重率(用于单个视点)所执行的对颜色变化的加重(用于单个视点)。
在对颜色变化的加重中,对纹理数据中取决于相机位置条件或光源条件上的变化的颜色变化进行加重,以便生成虚拟颜色数据。当关注在特定纹理中包含的特定像素数据时,还能够提取这样的像素数据:其包含于在相邻视点条件或者光源条件下获得的纹理中,并且位于与所述特定像素数据相同的位置处。图11示出了视点条件和光源条件中每一个的一维变化域。然而,实际上,实施例采用了二维变化域(即,光源条件变化(θc,φc)和视点条件变化(θI,φI))。在该情况下,计算用于指示目标像素数据与相邻条件的像素数据之间颜色数据上的变化的矢量,然后将其乘以预设的颜色变化加重率。此后,将这些加重的矢量叠加,其结果是能够产生相对于目标像素数据的虚拟颜色数据。由此在纹理处理过程中产生的虚拟颜色数据使得能够相对于视点条件或光源条件的变化来加重纹理的变化。
此外,能够实现单个纹理的空间加重。当关注特定纹理数据时,如图11所示,还能够提取与该特定纹理数据在空间上相邻的像素数据项。在该情况下,计算用于指示目标像素数据与和目标像素数据空间上相邻的每个像素数据项之间颜色数据变化的矢量,并将这些矢量乘以一个特定的颜色变化加重率,然后进行叠加。作为结果,能够获得相对于目标像素数据的虚拟颜色数据。在纹理处理过程中由此产生的虚拟颜色数据使得能够加重纹理中的空间变化。
此外,如果采用使用各种函数所获得的模型数据来代替纹理数据,则通过增加这些函数的输出值能够实现与上述颜色变化加重相同的加重。
通过执行如上所述的纹理数据处理,能够输出加重的纹理数据。在如图3所示的纹理生成设备中,从该设备中输出纹理数据。在如图1所示的纹理映射设备中,映射单元105将纹理数据映射到CG模型数据,CG呈现单元106最后呈现所渲染的CG图像。
注意,图1的纹理映射设备能够从图3的纹理生成设备接收纹理数据。
如上所述,在第一实施例中,当从在各种不同条件下获得或产生的多片纹理数据中选择要映射的纹理数据时,通过对相机位置的变化、光源位置或强度的变化、或者CG模型形状的变化进行加重,来计算选择条件。此外,通过对所选择的纹理数据的颜色上的变化进行加重,来产生要映射到CG模型上的纹理数据。作为结果,能够增强材料质感和/或者CG立体效果。
此外,通过预先输入加重的纹理数据,能够降低用于纹理映射处理的计算负载。
(第二实施例)
第二实施例针对图1的纹理映射设备或图3的纹理生成设备使用多个相机(即,使用多个视点)来渲染CG图像的情况。即,将描述为使用多个视点进行渲染而执行的加重处理。由于整个流程已经在第一实施例中参考图2和4进行了描述,因此仅仅描述在第二实施例中的不同的处理。
在使用多个视点进行渲染时,将由例如图12中所示的五个相机(C0、C1、C2、C3和C4)所获取的多个数据项(C0、C1、C2、C3和C4)定义为CG数据项,并且使用所述CG数据项来渲染CG图像。注意,假设C0、C1、C2、C3和C4指示相机位置和数据项两者。当形成了将主要显示在立体显示器上的图像(要素图像)时,执行该渲染。在该情况下,能够执行与第一实施例中所采用的加重处理不同的加重处理。
首先,将描述为了从由拍摄所获得的多片纹理数据中选择要映射到CG模型上或者要产生的纹理数据,而由处理条件计算单元102所执行的处理条件计算(步骤S202)。
在第二实施例中,根据预设的加重参数,来确定用于各种处理条件的计算方法。例如,使用(5)相机位置变化加重率(用于多个视点),(6)光源变化加重率(用于多个视点),以及(7)模型形状加重率(用于多个视点),作为预设的加重参数,来加重在相机位置、光源和模型形状条件上的变化,从而计算处理条件。将描述这些加重方法及其优点。
(5)加重相机位置条件(用于多个视点)
在加重相机位置条件中,由于将多个相机数据项定义为用于使用多个视点所执行的渲染的CG数据,因此能够使用相机位置加重率将所述多个相机数据项改变为虚拟数据。图13示出了一种相机位置变化加重方法。当定义了多个相机数据项,即C0到C4,并且在C2处的相机数据指示参考相机时,计算用于指示相机位置从例如C2到例如C3的变化的矢量,并将其乘以特定的相机位置变化加重率。使用该加重矢量,计算虚拟相机位置C3’。类似地,计算C0’,C1’和C4’,从而能够定义多个虚拟相机数据项(或者虚拟相机位置)。使用这些虚拟相机数据项,计算多个视点条件,从而能够加重与相机位置(视点)变化相对应的纹理变化。
当使用多个相机为立体显示执行渲染时,可以在将相机间隔与实际间隔相比减小的情况下来执行渲染,以便增强CG立体效果。然而,在该情况下,虽然立体效果增强了,但是相机之间的视差差异不可避免地降低了。为了避免这种情况,能够使用上述方法。即,能够通过将间隔变窄的相机返回到原始位置,来校正所获得的纹理。
然而,当多个相机在一条特定直线(以下将该直线称为“相机移动线”)上以固定间隔设置时,不像上述情况,不管CG模型数据如何,在用于唯一性地定义虚拟相机数据的方法上存在特定局限。不管CG模型数据如何而放大相机间隔的操作仅仅意味着仅对位于要拍摄的对象中心处的点P执行适当加重的操作,并且将其法向矢量N设定为垂直于相机移动线,如图20中所示。此外,从当在P点处获得了相对于相机位置变化的最大纹理变化时到纹理的渲染被加重的时间段,是直到用于位于移动线相对两端处的相机的极角(polar angle)的条件θ1和θ2到达被获取作为纹理数据的限界条件(θlimit)为止,同时相机的间隔增加。因此,可以使用极角限界条件θlimit作为用于确定相机间隔的标准。应该注意,即使是预先获取了极角限界θlimit作为纹理数据,如果极角太大,也可能存在其纹理难以渲染的材料。此外,如果不管CG模型数据如何而放大相机间隔,则会发生以下问题:
i)将会发生无意义的加重
ii)将会发生水平翻转(flip)
当顶点位置从图20中的点P移动时,或者当顶点的法向矢量N变化时,就会发生这些问题。图21示出了当顶点位置变化时发生的问题。从图21能够理解,当基于该相机极角限界相对于点P0确定相机间隔时,在顶点位置所移动到的点P1处,发生上述两个问题。例如,最左侧的相机定义了在比极角限界区更大的区域中的虚拟相机数据,即,执行了无意义的加重。此外,尽管最右侧的相机从左侧观看点P1,但是相应的虚拟相机执行对纹理的采样,就好像从右侧观看该纹理一样。
图22示出了当法向矢量变化时所发生的问题。从图22能够理解,当基于相机极角限界相对于点P0处的法向矢量N0确定相机间隔时,在法向矢量所移动到的点P1处,发生上述两个问题。
考虑以上问题变得显著的情况,将描述一种用于根据CG模型数据加重相机位置变化的方法。如上所述,当使用在各种条件下获得的各种纹理数据项时,能够在CG模型数据上的每个点渲染材料纹理的每个相机位置条件的范围受到限制。尽管对于光源条件也是一样,但是为了便于描述,将仅仅描述每个相机位置条件的范围。图23示意性地示出了可以进行纹理渲染的每个相机位置条件的范围。在此,假设纹理数据是在多个相机位置条件下获得的。在该情况下,例如,能够将方向的角度范围设定为0°到小于360°,并且能够将极角的范围设定为从0°到某个特定极角限界(例如,50°或70°)。因此,在图23中,认为能够在点P处进行纹理渲染的相机条件的范围是箭头所指定的范围。此外,认为“可以在每个点上进行纹理渲染的相机条件的范围的最有效使用,导致了纹理的加重。”据此,已经设计了用于基于CG模型数据进行纹理加重的算法。
主要考虑以下条件来设计该算法:
<1>虚拟相机以固定间隔设置;
<2>虚拟相机设置在相机移动线上;
<3>避免无意义的加重;
<4>避免水平翻转;以及
<5>保持空间连续性。
提供条件<1>用来保持使用相机渲染的多个图像的连续性,提供<2>用来防止由于每个相机的移动造成的视差波动。提供条件<3>和<4>用来克服在不依赖于CG模型数据的加重中所涉及的问题。添加条件<5>是因为在对与顶点位置和法向矢量相对应的不同纹理进行采样时,其必须至少彼此连续。
首先将描述在相机移动线上的三个点Cmin,Cmid和Cmax,需要这三个点来考虑满足以上条件的算法。图24示出了在相机移动线上的这三个点。对于具有法向矢量N的顶点P和相机移动线,首先,计算在相机移动线上的、相机位置条件等于极角限界θlimit的点,并将其设定为Cmin和Cmax(当这两个点不存在时所执行的处理将稍后描述)。进一步,计算通过将法向矢量N投影到经过顶点P和相机移动线的平面f上所得到的矢量Nm。将相机移动线与通过将矢量Nm从点P延伸所获得的直线之间的交点设定为Cmid。这三个点是用于指示能够在点P进行纹理渲染的相机位置条件范围(Cmin,Cmax)以及发生水平翻转处的相机位置(Cmid)的重要的点。
以下,将描述用于使用这三个点与原始相机位置之间的关系,在满足上述条件的情况下尽可能地放大相机间隔的方法。在该情况下,能够如图25的(A)、(B)和(C)中所示地放置虚拟相机。假设当所有相机都被放置在能够进行纹理渲染的相机位置条件范围(Cmin,Cmax)之内,且所有相机都被放置为使得位置Cmid被插入其之间时,能够执行缩放,直到最左侧或者最右侧的虚拟相机相对于作为中心的位置Cmid到达了位置Cmin或Cmax。还假设当相机被放置为不在其之间插入位置Cmid时,使用与Cmid最接近的相机作为原点来执行缩放,直到与Cmid相距最远的相机到达Cmin或Cmax。相反地,假设如果至少有一个相机没有被放置在能够进行纹理渲染的相机位置条件范围(Cmin,Cmax)之内,则不执行相机移动。
此外,还需要如图26所示的这种异常处理。如果Cmin或Cmax是太小或者太大的值,或者不存在,则准备足够小的值CMIN或者足够大的值CMAX,并且定义使纹理渲染能够进行的相机条件范围。此外,如果即不存在Cmin也不存在Cmax,则不执行相机移动。
图27是用于解释上述算法及其异常处理的流程图。首先,计算Cmin和Cmax(步骤S2701)。如果存在两个解,则程序前进到步骤S2705。如果没有解,则不执行相机移动,即,将相机间隔保持原样(步骤S2702,S2703)。如果仅存在一个解,则计算在相机被放置在该解(相机位置)的相对两侧处时要设定的角度条件(步骤S2702,S2704),从而确定能够进行纹理渲染的相机位置条件范围是存在于该解(相机位置)的左侧还是该解的右侧(步骤S2706)。此后,程序前进到步骤S2705。在步骤S2705,分别将Cmin和Cmax设定为CMIN和CMAX。随后,在步骤S2707中确定是否每个相机都在可以进行纹理渲染的相机位置条件范围(Cmin,Cmax)之内。如果在该范围内不存在相机,则不执行相机移动(步骤S2703)。相反地,如果所有相机都在该范围之内,则第一次计算Cmid(步骤S2708)。如果Cmid存在,则程序前进到步骤S2711。如果Cmid不存在,则就意味着将Cmin和Cmax中的一个设定为CMIN和CMAX中相应的一个。在该情况下,如果将Cmin设定为CMIN,则也将Cmid设定为CMIN,而如果将Cmax设定为CMAX,则也将Cmid设定为CMAX(步骤S2709,S2711)。然后,程序前进到步骤S2710。在步骤S2710中,执行相机移动,即相机间隔改变。根据相机移动操作来执行这些缩放处理。
以上基于CG模型数据的相机位置变化加重使得可以加重在特定相机中的空间颜色变化或者相机之间的颜色变化。
(6)加重光源条件(用于多个视点)
在加重光源条件中,以虚拟方式相对于所定义的每个相机数据项来移动光源数据。图14是用于解释对光源位置变化进行加重的视图。在此,假设定义了多个相机位置C0到C4(C2对应于参考相机)和单个光源数据项“L”(“L”也指示光源位置)。在该情况下,如果计算了用于指示相机位置变化(例如从C2到C3)的矢量并且在与该矢量相反的方向上移动光源位置,则能够获得与相机位置C3相对应的虚拟光源数据L3。能够使用光源位置变化加重率来计算光源位置的移动距离。通过采用与以上相同的方式来获得L0、L1和L4,获得了虚拟光源数据,其指示相对于相机位置(视点)变化的光源位置的巨大变化。通过使用该虚拟光源数据来计算光源位置条件,能够加重相对于相机位置(视点)变化的纹理变化。
此外,对于光源变化的加重,除了上述处理之外,还通过根据视点变化改变光源强度,来加重外表上的变化。例如,如果对参考相机增加光源强度,并且对与参考相机距离遥远的相机降低光源强度,则能够进一步加重在由不同相机(视点)所获得的数据中的变化。
(7)加重模型形状条件(用于多视点)
在加重模型形状条件中,CG模型数据以虚拟方式相对于所定义的每个相机数据项而变化。图15是用于解释用于加重模型形状上的变化的方法的视图。假设定义了包含多个相机位置C0到C4(C2对应于参考相机)和顶点P的CG模型数据。在该情况下,如果计算了用于指示相机位置变化(例如从C2到C3)的矢量并且在与该矢量相反的方向上移动CG模型数据(例如顶点P),则能够获得与相机位置C3相对应的虚拟CG模型数据(例如顶点P3)。类似地,能够获得P0、P1和P4。对于CG模型数据的移动距离,能够使用模型形状变化加重率来确定CG模型数据相对于相机位置偏移量进行偏移的速率。并不总是必须要将单个模型形状变化加重率给予所有顶点。例如,可以采样如图15所示的加重处理。即,使用指定的模型形状变化加重率来加重与参考相机位置C2最接近的顶点P,并且在逐渐减小模型形状变化率的同时加重顶点P周围的多个顶点。在该情况下,必须输入一个用于根据与顶点P之间的距离来确定模型形状变化加重率的减小程度的减小率。通过使用该虚拟CG模型数据计算视点条件和光源条件,能够加重相对于相机位置(视点)变化的纹理变化,这使得纹理看上去更加立体。
以上条件是用于使用多个视点进行渲染的加重处理条件的实例。可以同时采用这些加重条件中的全部或者一些。执行何种加重取决于设置加重参数的方式。
将描述步骤S204的特征,在此,纹理数据处理单元104对所提取的纹理数据执行处理,在第二实施例中,使用特定的预设加重参数来加重纹理数据。具体而言,使用被设定为加重参数的颜色变化加重率(用于多个视点)来加重颜色上的变化。
对于颜色变化加重而言,从所定义的各个相机数据项中提取多个颜色数据项,并且使用颜色变化加重率来加重多个颜色数据项之间的变化,从而生成虚拟颜色数据。假设如图12所示,定义了多个相机位置C0到C4(C2对应于参考相机),能够从每个相机数据项中提取像素数据(颜色数据)。例如,如果计算了用于指示颜色数据上的变化(例如,从C2到C3)的矢量并且将其乘以颜色变化加重率。使用由此得到的矢量,能够获得与相机位置C3相对应的虚拟颜色数据。类似地,能够获得与C0、C1和C4相对应的虚拟颜色数据项。通过在纹理处理过程中生成这种虚拟颜色数据,能够加重相对于相机位置(视点)变化的纹理变化。
在第二实施例中,如上所述,通过使用多个视点执行渲染,能够加重由多个相机所获得的CG数据中的变化。该加重方法不仅增强在立体显示器上的立体渲染,而且还提供了以下优点:视点能够以虚拟方式在很宽的范围上移动(即,能够保证很宽的视野)。
(第三实施例)
在第三实施例中,将描述不包含加重参数并且获取外部的加重参数的纹理处理设备(图16的纹理映射设备和图18的纹理生成设备)。通过将加重参数获取单元1601添加到图1的纹理映射设备和图3的纹理生成设备中来获得这些设备。注意,在第三实施例中采用的处理条件计算单元1602与第一和第二实施例中的处理条件计算单元之间的差别仅在于前者接收加重参数。
图17和19分别是用于示出第三实施例的纹理映射设备的操作和纹理生成设备的操作的流程图。
首先,加重参数获取单元1601获取加重参数(步骤S1701)。处理条件计算单元1602使用在步骤S201中获取的CG数据,根据在步骤S1701中获取的加重参数计算用于生成纹理的加重纹理处理条件(步骤S1702)。其他处理与第一和第二实施例中的相同。
如在第一和第二实施例中所述,存在各种加重参数。其包括:例如,加重角度条件率(1)、加重相机位置变化率(用于单个视点/多个视点)(2)和(5)、加重光源变化率(用于单个视点/多个视点)(3)和(6)、加重模型形状变化率(用于单个视点/多个视点)(4)和(7),以及颜色变化加重率(用于单个视点/多个视点)。每个加重参数应该被设定为哪个比率取决于所需要的最终呈现的CG图像质量。将描述如何设定各个参数。
<与CG数据相对应的加重参数的设定>
首先将描述与CG数据相对应的加重参数设定。如果输入的CG数据与预期相比具有较小的动态性,则通过增加相机位置变化加重率来增大相对于相机位置变化的纹理变化。
此外,当希望动态表现在纹理中的全部变化时,如果输入的纹理数据与预期相比在视点条件和/或者光源条件变化较小(即,输入的纹理数据各向异性较低),或者具有较少的颜色上的空间变化,则能够通过增大颜色变化加重率来加重纹理中的全部变化。
<与用于呈现CG数据的媒体相对应的加重参数设定>
其次,将描述与用于呈现CG数据的媒体相对应的加重参数设定。该设定具体涉及显示器或者印刷品的颜色表现力,或者立体显示器的深度表现力。当使用具有较低颜色表现力的媒体时,对比度可能下降。因此,明智的是,将每个加重参数的加重率设定为相对较高的值。此外,当使用具有较低颜色表现力的媒体时,在没有任何加重的情况下就能够再现细腻的变化,因此明智的是,将每个加重参数的加重率设定为相对较低的值,从而渲染更接近实际物体的CG图像。
另一方面,还可以根据立体显示器的深度表现力来设定加重参数。在具有较低深度表现力的立体显示器的情况下,能够通过设定较高的相机变化加重率(用于多视点)来加重立体效果。
<交互式加重参数的设定>
第三,将描述交互式加重参数的设定。即使在设定了与CG数据或者用于呈现CG数据的媒体相对应的加重参数时,也可能会有在观察所渲染的CG图像的同时调整加重参数的要求。在该实施例中所采用的设备能够执行交互式加重参数设定。
在以上所述的第三实施例中,能够通过用户主动的加重参数设定,渲染满足所要求的高质量的CG图像。
在以上所述的各个实施例中,当从在各种不同条件下获取或产生的多个纹理数据项中选择要映射的纹理数据时,计算用于加重相机位置、光源以及CG模型形状中的变化的选择条件。此外,通过加重在所选择的纹理数据中的颜色变化来产生要映射到CG模型上的纹理数据。作为结果,能够增强材料质感和/或者CG立体效果。
例如,使用图1或16的纹理映射设备或者图3或18的纹理生成设备,能够加重在各种不同条件下所造成的纹理变化。图1或16的纹理映射设备能够将加重的纹理数据映射到CG模型上。
此外,如上所述,用来计算用于选择纹理数据的条件的计算装置和用于实际处理纹理的纹理数据处理装置能够采用各种纹理加重方法。这些方法的特征在于,采用不同的方式处理用于渲染的CG数据(即,CG模型数据、相机位置数据、光源数据、纹理数据)和用于纹理计算的CG数据。重要的是,使用最高效的虚拟CG数据来进行纹理计算。
在以上实施例中,纹理数据并不局限于颜色数据,其可以是任何矢量数据。矢量数据能够用于例如在着色处理中以及在纹理映射处理中执行的加重的渲染,以及用于除CG数据之外的其他数据的加重的渲染。此外,在不同实施例中所使用的构成要素能够适当地合并。
Claims (23)
1、一种纹理处理设备,包括:
CG数据获取单元,配置为获取计算机图形(CG)数据,其包括用于纹理映射处理的CG模型数据、相机数据、光源数据、多个纹理数据项和预设的加重参数,所述CG模型数据、所述相机数据和所述光源数据用于渲染CG图像,所述多个纹理数据项是在各种不同条件下获取或产生的;
计算单元,配置为使用所述CG数据计算与所述预设的加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;
提取单元,配置为根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及
处理单元,配置为根据所述预设的加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
2、如权利要求1所述的设备,还包括:
映射单元,配置为将所述经加重的纹理数据项映射到所述CG模型上,以产生CG图像;以及
呈现单元,配置为呈现所述CG图像。
3、如权利要求1所述的设备,其中,所述计算单元为包含在所述CG模型数据中的每个点,计算用于指示每个点与所述相机数据之间的第一位置关系的相机条件和用于指示每个点与所述光源数据之间的第二位置关系的光源条件,所述相机条件和所述光源条件用角度表示;并且所述计算单元用作为所述加重参数的角度条件加重率乘以所述相机条件和所述光源条件,以计算用于加重所述相机条件和所述光源条件的所述加重纹理处理条件。
4、如权利要求1所述的设备,其中,当在以帧为单位移动后的相机位置或光源位置上获得所述CG数据时,所述计算单元通过根据用于单个视点的相机变化加重率或者用于所述单个视点的光源变化加重率加重一矢量,来生成在一帧中的虚拟相机数据或虚拟光源数据,所述矢量用于指示在所述帧与一先前帧之间在所述相机位置上或所述光源位置上的差异以便在所述帧中移动所述相机位置或所述光源位置,所述相机变化加重率或所述光源变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述模型数据上的每个点与所述虚拟相机数据之间的第一位置关系的相机条件或者用于指示在所述CG模型数据上的每个点与所述虚拟光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
5、如权利要求1所述的设备,其中,当所述CG数据以帧为单位变化时,所述计算单元通过根据用于单个视点的模型变化加重率加重第一矢量,来生成第一虚拟CG模型数据,所述第一矢量用于指示所述CG数据中的一顶点的位置坐标在一个帧与一先前帧之间的第一差异;所述计算单元通过根据用于单个视点的模型变化加重率加重第二矢量,来生成第二虚拟CG模型数据,所述第二矢量用于指示在所述帧中、在所述顶点和与其相邻的另一顶点之间的、在所述CG数据中的坐标位置上的第二差异;并且所述计算单元计算用于指示在所述第一或第二虚拟CG模型数据上的每个点与所述相机数据之间的第一位置关系的相机条件和用于指示在每个点与所述光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
6、如权利要求1所述的设备,其中,当所述多个纹理数据项依据条件而不同时,所述处理单元通过根据用于单个视点的颜色变化加重率加重第一矢量,来生成第一虚拟颜色数据,所述第一矢量用于指示在包含在所述多个纹理数据项中并在一条件下在一像素位置处获得的第一颜色数据与包含在所述多个纹理数据项中并在一相邻条件下获得的第二颜色数据之间的第一差异,所述颜色变化加重率是所述加重参数;所述处理单元通过根据用于所述单个视点的所述颜色变化加重率加重第二矢量,来生成第二虚拟颜色数据,所述第二矢量用于指示在一像素位置处的第三颜色数据与在一相邻位置处的第四颜色数据之间的第二差异;并且所述处理单元输出所述第一或第二虚拟颜色数据,作为经加重的纹理数据。
7、如权利要求1所述的设备,其中,当所述CG数据包括多个相机数据项时,所述计算单元通过根据用于多个视点的相机变化加重率加重第一矢量并且通过改变所述相机位置,来生成虚拟相机数据,所述第一矢量用于指示在由所述多个相机数据项中的一项所指示的相机位置与由所述多个相机数据项中相邻的一项所指示的另一相机位置之间的第一差异;所述计算单元通过根据用于多个视点的光源变化加重率和在所述多个相机数据项中的变化改变光源位置,来生成虚拟光源数据,所述相机变化加重率和所述光源变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述CG模型数据上的每个点与所述虚拟相机数据之间的第一位置关系的相机条件和用于指示在每个点与所述虚拟光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
8、如权利要求1所述的设备,其中,当所述CG数据包括多个相机数据项并对应于一顶点时,所述计算单元通过根据用于多个视点的模型变化加重率加重一矢量,来生成虚拟CG模型数据,所述矢量用于指示在所述多个相机数据项中的一项和与该相机数据项相邻的另一相机数据项之间的位置坐标差异,所述模型变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述虚拟CG模型数据上的每个点与所述多个相机数据项中每一项之间的第一位置关系的相机条件和用于指示在每个点与所述光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
9、如权利要求1所述的设备,其中,当所述CG数据包括多个相机数据项时,所述处理单元通过根据用于多个视点的颜色变化加重率加重一矢量,来生成虚拟颜色数据,所述矢量用于指示在与所述多个相机数据项中的一项及一像素位置相对应的颜色数据与和相邻于该相机数据项的一相机数据项相对应的颜色数据之间的差异,所述颜色变化加重率是所述加重参数;并且所述处理单元输出所述虚拟颜色数据,作为经加重的纹理数据。
10、如权利要求2所述的设备,其中:
所述加重参数包括角度条件加重率、用于单个视点或多个视点的相机变化加重率、用于单个视点或多个视点的光源变化加重率、用于单个视点或多个视点的模型变化加重率、以及用于单个视点或多个视点的颜色变化加重率;并且
所述计算单元和所述处理单元中的至少一个,使用所述加重参数执行对所述处理条件或所述多个纹理数据项的加重计算,并执行以下至少一项:由用户选择的任意设定、基于所述CG数据的特征的设定、以及基于所述呈现单元的规格的设定。
11、一种纹理处理设备,包括:
CG数据获取单元,配置为获取计算机图形(CG)数据,其包含用于纹理映射处理的CG模型数据、相机数据、光源数据和多个纹理数据项,所述CG模型数据、所述相机数据和所述光源数据组成用于渲染CG图像的数据,所述多个纹理数据项是在各种不同条件下获取或产生的;
参数获取单元,配置为获取用于纹理映射处理的加重参数;
计算单元,配置为使用所述CG数据计算与所述加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;
提取单元,配置为根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及
处理单元,配置为根据所述加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
12、如权利要求11所述的设备,还包括:
映射单元,配置为将所述经加重的纹理数据项映射到所述CG模型上,以产生CG图像;以及
呈现单元,配置为呈现所述CG图像。
13、如权利要求12所述的设备,其中:
所述加重参数包括角度条件加重率、用于单个视点或多个视点的相机变化加重率、用于单个视点或多个视点的光源变化加重率、用于单个视点或多个视点的模型变化加重率、以及用于单个视点或多个视点的颜色变化加重率;并且
所述参数获取单元根据呈现在所述呈现单元上的CG图像,互动地获取新的加重参数。
14、如权利要求11所述的设备,其中,所述计算单元为包含在所述CG模型数据中的每个点,计算用于指示每个点与所述相机数据之间的第一位置关系的相机条件和用于指示每个点与所述光源数据之间的第二位置关系的光源条件,所述相机条件和所述光源条件用角度表示;并且所述计算单元用作为所述加重参数的角度条件加重率乘以所述相机条件和所述光源条件,以计算用于加重所述相机条件和所述光源条件的所述加重纹理处理条件。
15、如权利要求11所述的设备,其中,当在以帧为单位移动后的相机位置或光源位置上获得所述CG数据时,所述计算单元通过根据用于单个视点的相机变化加重率或者用于所述单个视点的光源变化加重率加重一矢量,来生成在一个帧中的虚拟相机数据或虚拟光源数据,所述矢量用于指示在所述帧与一先前帧之间在所述相机位置上或所述光源位置上的差异以便在所述帧中移动所述相机位置或所述光源位置,所述相机变化加重率或所述光源变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述模型数据上的每个点与所述虚拟相机数据之间的第一位置关系的相机条件或者用于指示在所述CG模型数据上的每个点与所述虚拟光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
16、如权利要求11所述的设备,其中,当所述CG数据以帧为单位变化时,所述计算单元通过根据用于单个视点的模型变化加重率加重第一矢量,来生成第一虚拟CG模型数据,所述第一矢量用于指示所述CG数据中的一顶点的位置坐标在一个帧与一先前帧之间的第一差异;所述计算单元通过根据用于单个视点的模型变化加重率加重第二矢量,来生成第二虚拟CG模型数据,所述第二矢量用于指示在所述帧中、在所述顶点和与其相邻的另一顶点之间的、在所述CG数据中的坐标位置上的第二差异;并且所述计算单元计算用于指示在所述第一或第二虚拟CG模型数据上的每个点与所述相机数据之间的第一位置关系的相机条件和用于指示在每个点与所述光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
17、如权利要求11所述的设备,其中,当所述多个纹理数据项依据条件而不同时,所述处理单元通过根据用于单个视点的颜色变化加重率加重第一矢量,来生成第一虚拟颜色数据,所述第一矢量用于指示在包含在所述多个纹理数据项中并在一条件下在一像素位置处获得的第一颜色数据与包含在所述多个纹理数据项中并在一相邻条件下获得的第二颜色数据之间的第一差异,所述颜色变化加重率是所述加重参数;所述处理单元通过根据用于所述单个视点的所述颜色变化加重率加重第二矢量,来生成第二虚拟颜色数据,所述第二矢量用于指示在一像素位置处的第三颜色数据与在一相邻位置处的第四颜色数据之间的第二差异;并且所述处理单元输出所述第一或第二虚拟颜色数据,作为经加重的纹理数据。
18、如权利要求11所述的设备,其中,当所述CG数据包括多个相机数据项时,所述计算单元通过根据用于多个视点的相机变化加重率加重第一矢量并且通过改变所述相机位置,来生成虚拟相机数据,所述第一矢量用于指示在由所述多个相机数据项中的一项所指示的相机位置与由所述多个相机数据项中相邻的一项所指示的另一相机位置之间的第一差异;所述计算单元通过根据用于多个视点的光源变化加重率和在所述多个相机数据项中的变化改变光源位置,来生成虚拟光源数据,所述相机变化加重率和所述光源变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述CG模型数据上的每个点与所述虚拟相机数据之间的第一位置关系的相机条件和用于指示在每个点与所述虚拟光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
19、如权利要求11所述的设备,其中,所述CG数据包括多个相机数据项并对应于一顶点,所述计算单元通过根据用于多个视点的模型变化加重率加重一矢量,来生成虚拟CG模型数据,所述矢量用于指示在所述多个相机数据项中的一项和与该相机数据项相邻的另一相机数据项之间的位置坐标差异,所述模型变化加重率是所述加重参数;并且所述计算单元计算用于指示在所述虚拟CG模型数据上的每个点与所述多个相机数据项中每一项之间的第一位置关系的相机条件和用于指示在每个点与所述光源数据之间的第二位置关系的光源条件,作为所述加重纹理处理条件。
20、如权利要求11所述的设备,其中,当所述CG数据包括多个相机数据项时,所述处理单元通过根据用于多个视点的颜色变化加重率加重一矢量,来生成虚拟颜色数据,所述矢量用于指示在与所述多个相机数据项中的一项及一像素位置相对应的颜色数据与和相邻于该相机数据项的一相机数据项相对应的颜色数据之间的差异,所述颜色变化加重率是所述加重参数;并且所述处理单元输出所述虚拟颜色数据,作为经加重的纹理数据。
21、如权利要求12所述的设备,其中:
所述加重参数包括角度条件加重率、用于单个视点或多个视点的相机变化加重率、用于单个视点或多个视点的光源变化加重率、用于单个视点或多个视点的模型变化加重率、以及用于单个视点或多个视点的颜色变化加重率;并且
所述计算单元和所述处理单元中的至少一个,使用所述加重参数对所述处理条件或所述多个纹理数据项执行加重计算,并执行以下至少一项:由用户选择的任意设定、基于所述CG数据的特征的设定、以及基于所述呈现单元的规格的设定。
22、一种纹理处理方法,包括以下步骤:
获取计算机图形(CG)数据,其包含用于纹理映射处理的CG模型数据、相机数据、光源数据、多个纹理数据项和预设的加重参数,所述CG模型数据、所述相机数据和所述光源数据组成用于渲染CG图像的数据,所述多个纹理数据项是在各种不同条件下获取或产生的;
使用所述CG数据计算与所述预设的加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;
根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及
根据所述预设的加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
23、一种纹理处理方法,包括以下步骤:
获取计算机图形(CG)数据,其包含用于纹理映射处理的CG模型数据、相机数据、光源数据和多个纹理数据项,所述CG模型数据、所述相机数据和所述光源数据组成用于渲染CG图像的数据,所述多个纹理数据项是在各种不同条件下获取或产生的;
获取用于纹理映射处理的加重参数;
使用所述CG数据计算与所述加重参数相对应的加重纹理处理条件,所述加重纹理处理条件用于对CG模型执行纹理映射处理;
根据所述纹理处理条件,从所述获取的多个纹理数据项中提取特定的纹理数据项;以及
根据所述加重参数对所述特定的纹理数据项执行加重处理,以获得经加重的纹理数据项。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP085706/2007 | 2007-03-28 | ||
JP2007085706A JP4266233B2 (ja) | 2007-03-28 | 2007-03-28 | テクスチャ処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101276478A true CN101276478A (zh) | 2008-10-01 |
Family
ID=39793477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008100872809A Pending CN101276478A (zh) | 2007-03-28 | 2008-03-26 | 纹理处理设备与方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8094148B2 (zh) |
JP (1) | JP4266233B2 (zh) |
CN (1) | CN101276478A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958004A (zh) * | 2009-07-14 | 2011-01-26 | 索尼公司 | 图像处理装置以及图像处理方法 |
CN101958002A (zh) * | 2009-07-14 | 2011-01-26 | 索尼公司 | 图像处理装置以及图像处理方法 |
CN105303599A (zh) * | 2014-06-04 | 2016-02-03 | 想象技术有限公司 | 用于在渲染图像时使用的可重照纹理 |
CN103548333B (zh) * | 2011-05-23 | 2017-05-03 | 索尼公司 | 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 |
CN111696189A (zh) * | 2020-06-17 | 2020-09-22 | 北京中科深智科技有限公司 | 一种毛发自阴影实时绘制方法及绘制系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101117035B1 (ko) | 2009-03-24 | 2012-03-15 | 삼성메디슨 주식회사 | 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법 |
ES2400998B1 (es) * | 2011-05-23 | 2014-03-11 | Universidad Europea Miguel De Cervantes | Sistema y procedimiento de captura y procesado de imágenes tridimensionales con movimiento |
ES2400153B1 (es) * | 2011-07-22 | 2014-08-11 | David CLAVERIA GABARRE | Sistema de tutoría para instrumentos musicales e instrumento realizado con dicho sistema. |
US9894384B2 (en) * | 2012-10-08 | 2018-02-13 | Lg Electronics Inc. | Multiview video signal encoding method and decoding method, and device therefor |
JP6918648B2 (ja) * | 2017-08-31 | 2021-08-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN117670642A (zh) * | 2022-09-07 | 2024-03-08 | 象帝先计算技术(重庆)有限公司 | 图像渲染方法、图形处理器、图形处理系统、装置及设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6281904B1 (en) * | 1998-06-09 | 2001-08-28 | Adobe Systems Incorporated | Multi-source texture reconstruction and fusion |
JP3442344B2 (ja) | 2000-05-17 | 2003-09-02 | 株式会社ナムコ | ゲームシステム及び情報記憶媒体 |
US6750873B1 (en) * | 2000-06-27 | 2004-06-15 | International Business Machines Corporation | High quality texture reconstruction from multiple scans |
US6906714B2 (en) * | 2002-06-21 | 2005-06-14 | Intel Corporation | Accelerated visualization of surface light fields |
JP3901644B2 (ja) * | 2003-01-30 | 2007-04-04 | 株式会社東芝 | テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体 |
US7129954B2 (en) | 2003-03-07 | 2006-10-31 | Kabushiki Kaisha Toshiba | Apparatus and method for synthesizing multi-dimensional texture |
US7738725B2 (en) * | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
US7359562B2 (en) * | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
JP4015090B2 (ja) | 2003-09-08 | 2007-11-28 | 株式会社東芝 | 立体表示装置および画像表示方法 |
JP4199170B2 (ja) | 2004-07-20 | 2008-12-17 | 株式会社東芝 | 高次元テクスチャマッピング装置、方法及びプログラム |
KR100603601B1 (ko) * | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
JP4282587B2 (ja) | 2004-11-16 | 2009-06-24 | 株式会社東芝 | テクスチャ・マッピング装置 |
JP4444180B2 (ja) | 2005-07-20 | 2010-03-31 | 株式会社東芝 | テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム |
-
2007
- 2007-03-28 JP JP2007085706A patent/JP4266233B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-18 US US12/050,568 patent/US8094148B2/en not_active Expired - Fee Related
- 2008-03-26 CN CNA2008100872809A patent/CN101276478A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958004A (zh) * | 2009-07-14 | 2011-01-26 | 索尼公司 | 图像处理装置以及图像处理方法 |
CN101958002A (zh) * | 2009-07-14 | 2011-01-26 | 索尼公司 | 图像处理装置以及图像处理方法 |
CN103548333B (zh) * | 2011-05-23 | 2017-05-03 | 索尼公司 | 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 |
CN105303599A (zh) * | 2014-06-04 | 2016-02-03 | 想象技术有限公司 | 用于在渲染图像时使用的可重照纹理 |
CN111696189A (zh) * | 2020-06-17 | 2020-09-22 | 北京中科深智科技有限公司 | 一种毛发自阴影实时绘制方法及绘制系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4266233B2 (ja) | 2009-05-20 |
US20080238930A1 (en) | 2008-10-02 |
JP2008243046A (ja) | 2008-10-09 |
US8094148B2 (en) | 2012-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
CN101276478A (zh) | 纹理处理设备与方法 | |
JP4555722B2 (ja) | 立体映像生成装置 | |
JP4740135B2 (ja) | 3次元画像ディスプレイの画面に3次元画像を描画するシステム及び方法 | |
US20100110068A1 (en) | Method, apparatus, and computer program product for generating stereoscopic image | |
US20050219695A1 (en) | Horizontal perspective display | |
AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
CN101189643A (zh) | 3d图像生成和显示系统 | |
JP2009080578A (ja) | 多視点データ生成装置、方法及びプログラム | |
US20060221071A1 (en) | Horizontal perspective display | |
US20060250390A1 (en) | Horizontal perspective display | |
US10115227B2 (en) | Digital video rendering | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
JP4996922B2 (ja) | 立体映像化 | |
WO2012140397A2 (en) | Three-dimensional display system | |
CN110458929B (zh) | 一种基于Three.js的室内布景渲染方法及系统 | |
CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
Ward et al. | VRVision: A new tool for the display of 3-D images in behavioral research | |
Wang et al. | Naked Eye Pseudo 3D Display Technology Outside the Screen | |
Wang et al. | Review of multi view auto-stereoscopic display system based on depth image analysis | |
CN103513433B (zh) | 一种基于显示设备的3d集成图像的生成方法及系统 | |
NZ757902B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
Rued | Stereoscopic Rendering in Hardware Using Shaders | |
JP2003030676A (ja) | 三次元画像描画方法及び装置並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081001 |