CN102301399A - 图像生成系统、图像生成方法、计算机程序及其记录介质 - Google Patents

图像生成系统、图像生成方法、计算机程序及其记录介质 Download PDF

Info

Publication number
CN102301399A
CN102301399A CN2010800055752A CN201080005575A CN102301399A CN 102301399 A CN102301399 A CN 102301399A CN 2010800055752 A CN2010800055752 A CN 2010800055752A CN 201080005575 A CN201080005575 A CN 201080005575A CN 102301399 A CN102301399 A CN 102301399A
Authority
CN
China
Prior art keywords
brightness value
polygonal
external force
texture image
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800055752A
Other languages
English (en)
Other versions
CN102301399B (zh
Inventor
本村秀人
冲本纯幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102301399A publication Critical patent/CN102301399A/zh
Application granted granted Critical
Publication of CN102301399B publication Critical patent/CN102301399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/28Force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种图像生成系统、图像生成方法、计算机程序及其记录介质。即便附加有纹理的形状发生变形,也可实现逼真度高的纹理映射。图像生成系统具备:获取部,保持施加外力而变形的被摄体的纹理图像的数据;存储器部,针对多个多边形的每个多边形,保持将与未施加外力的多边形的位置相关的位置信息、基于对多边形的位置施加的外力的应力向量的信息、及施加外力时的纹理图像的各亮度值的信息对应起来的表;和纹理映射部,基于未施加外力的对象物的多边形的位置的信息、以及作用于对象物的多边形的应力向量的信息来参照表。

Description

图像生成系统、图像生成方法、计算机程序及其记录介质
技术领域
本发明涉及用于制作计算机图形的纹理映射技术。
背景技术
近年来,随着计算机(computer)性能的提高,逼真度高的计算机图形的制作环境不断完善。特别是,专用于图形处理动作的GPU(GraphicProcessing Unit)性能飞跃性提高,具有实时地运算运动图像的能力的GPU也容易获得。另外,利用计算机图形的机会也有所增加,在以电影为主的电视机、因特网、杂志等的媒体广告、产品目录、新闻节目表中的说明影像等、所谓的介质中,利用计算机图形。
在产品目录中,登载了将“产品”这一客观存在的物体用计算机图形的方式描绘出的图像、影像。利用计算机图形的优点在于:可从实际准备实物进行拍摄时的各种制约中解放出来。例如,在要用录像机拍摄车辆的行驶场景的情况下,需要首先确定行驶场所。此时,为了不有损广告效果,需要确保满足特定条件的外景拍摄场所。另外,实拍会收到天气的影响,拍摄期间的长期化也会影响到成本增加、产品的销售规划。另外,为了提高广告效果,有时积极运用影像表现也是有效的。例如,在实拍过程中要以伴有危险的角度制作影像的情况下,也能有效地运用计算机图形。
近年来,开发了各种计算机图形的制作方法。作为其中之一,已知一种“纹理映射”的方法。所谓“纹理映射”是指通过计算机来提高物体表面的图案及光泽感的真实感的技术,犹如可看到实物那样提高“逼真度”。所谓“纹理”是指物体表面所具有的图案、光泽感、质感等的总称。例如,非专利文献1公开了纹理映射所涉及的技术。
图20表示纹理映射的步骤的一例。按物体的形状(圆柱)1001附加物体表面的纹理1002,由此生成逼真度高的图像1003。
在纹理映射技术中,在将二维图像的纹理附加于三维形状时,通常按照三维形状来改变作为四角形的纹理图像的亮度值。在图20的例子中,根据圆柱1001的侧面的亮度值,改变四角形的纹理图像1002的亮度值。其结果,在所得到的图像1003中,在圆柱1001附加的、带有圆润感的纹理图像的亮度值随着圆柱1001的形状变化。因此,视觉上没有不协调的感觉。也就是说得到了逼真度高的图像1003。
计算机图形是通过如下方法制作的,即:用计算机求出原本来自光源的光被物体反射而到达视点的光的亮度值。在将实物这样的纹理制作在物体表面的过程中,一般情况下作为纹理图像使用由数码静态相机等拍摄到的实拍图像,利用其实拍图像的亮度值。
近年来,根据对逼真度要求的提高,利用模型库(model-base)计算全部内容明显受到限制。例如,随着对图像高清晰度要求的提高,应处理的像素数增大,使得计算负荷急剧增加。由此,也表现出在模型库中无法描述完全的限制。
由于近年来计算机图形利用范围的变宽和对逼真度要求的提高,多数情况下使用拍摄或测量实拍图像然后用于纹理映射的图像库。图像库在计算机图形制作中是必须的。
非专利文献1:“三维计算机图形明解”,荒屋真二,共同出版,pp.24-26,pp.127-132,pp.144-146,2003年
但是,在现有技术中,可对应于受到外力而物体形状变形的纹理映射方法是不存在的。换言之,虽然能针对预先提供的形状改变纹理图像的亮度值,但在物体形状变形的情况下,对应该变形改变纹理图像的亮度值是不可行的。其结果,存在纹理映射的逼真度劣化的问题。
为了提高纹理映射的逼真度,直接使用拍摄或测量实物而得到的数据是重要的,这是图像库方法的特征。可是,在现有技术中,用作实拍图像的纹理图像的亮度值是固定的,形状发生变化的物体未被利用。其结果,例如直接反射光源光的镜面反射的纹理变得不自然,或者附加了由于形状变化导致从视点出发应该被遮蔽而看不到的纹理,由此产生与实物不同的不自然的纹理,存在着逼真度劣化的问题。
发明内容
本发明是为了解决上述问题进行的,其目的在于即便附加有纹理的形状发生变化也可实现逼真度高的纹理映射。
本发明的一种图像生成系统,参照纹理图像决定对象物的多边形的亮度值,该图像生成系统具备:获取部,保持施加外力而变形的被摄体的纹理图像的数据;存储器部,针对多个多边形的每个多边形,保存将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;和纹理映射部,根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表。
也可:所述获取部还测量外力,所述纹理映射部基于测量的所述外力来计算作用于所述对象物的多边形的应力向量,参照所述表。
也可:所述获取部拍摄施加所述外力而变形的被摄体的纹理图像来生成所述纹理图像的数据,对根据施加于所述被摄体的外力的应力向量的大小及起点位置进行测量,从而生成所述应力向量的信息,所述存储器部将所述应力向量的信息存储到所述表中。
也可:所述图像生成系统还具备:形状设定部,对所述对象物的三维形状设定多个多边形;应力运算部,计算由所述外力产生的各多边形的应力向量;和检测部,根据与各多边形的位置相关的位置信息及应力向量,确定具有与所述应力向量最接近的地址的所述纹理图像的亮度值,在所述存储器部的表中,所述应力向量的大小及起点位置作为地址被保存,所述存储器部将所述纹理图像的亮度值作为所述对象物的多边形的亮度值输出。
也可:所述获取部具有应变传感器和测距传感器,所述应变传感器测量所述应力向量的大小,所述测距传感器测量所述应力向量的起点位置。
也可:所述获取部在使对所述被摄体施加的外力相同的状态下,分别进行所述应力向量的测量及所述纹理图像的拍摄。
也可:在所述应力向量的大小的变化超过了规定的基准时、或者应力向量的起点位置的变化超过了规定的基准时,所述获取部对所述纹理图像进行摄影。
也可:所述应变传感器与所述被摄体相接触配置以测量所述外力,所述应力运算部接收测量的所述外力的信息,计算由所述外力产生的各多边形的应力向量。
也可:所述应力运算部通过利用了以多边形为单位设定的质点及连接所述质点的弹簧弹性的模型,计算所述应力向量。
也可:所述图像生成系统还具备投影变换部,该投影变换部基于参照之后所得到的亮度值的信息,改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
本发明的一种图像生成方法,是在参照纹理图像决定对象物的多边形的亮度值的图像生成系统中利用的方法,该图像生成方法包括如下步骤:准备施加外力而变形的被摄体的纹理图像的数据;针对多个多边形的每个多边形,准备将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表;和根据参照之后所得到的亮度值的信息,改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
本发明的一种计算机程序,是通过参照纹理图像决定对象物的多边形的亮度值的图像生成系统的计算机所执行的计算机程序,所述计算机程序使所述计算机执行如下步骤:准备施加外力而变形的被摄体的纹理图像的数据;针对多个多边形的每个多边形,准备将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表;和根据参照之后所得到的亮度值的信息,改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
本发明的一种记录介质可以是记录了上述的计算机程序记录介质。
根据本发明,由于实拍产生了变形的实物来获取纹理图像的亮度值,故能够以逼真度高的运动图像的计算机图形表现由于物体接触而产生的变形。由此,可提高影像表现力。
附图说明
图1是表示二维图像的纹理映射技术的框图。
图2是多边形的说明图。
图3是说明纹理映射中的多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系的图。
图4是说明代表点搜索部1106的功能的图。
图5是说明使用了三维坐标(x,y,z)的纹理映射的图。
图6是以三维坐标(x,y,z)获取纹理图像的亮度值的纹理映射的框图。
图7是表示组入了受到外力而物体形状变形的模型的纹理映射的框图。
图8是说明质点弹簧设定部1702的功能的图。
图9是说明地址变换表1901的图。
图10是表示纹理映射的步骤的一例的图。
图11是表示实施方式1的图像生成装置100的结构的框图。
图12是说明伴随着形状变化产生的应力向量的图。
图13是表示纹理图像的亮度值的获取方法的例子的图。
图14是表示测量到被摄体的距离的方法的例子的图。
图15是表示图像生成装置100的处理顺序的流程图。
图16是表示实施方式2的图像生成装置600的结构的框图。
图17是表示纹理图像获取部602的结构例的图。
图18是表示亮度值获取控制部314的调整画面706的图。
图19是表示实施方式3的图像生成装置900的结构的框图。
图20是说明二维图像的纹理映射的图。
符号说明:
100  图像生成装置
101  应力运算部
102  纹理映射部
103  亮度值存储器部
108  最接近检测部
1110 投影变换部
1111 显示部
1702 质点弹簧设定部
1703 外力设定部
1706 弹簧力计算部
1712 形状设定部
具体实施方式
以下,参照附图,对本发明的图像生成系统的实施方式进行说明。在下面的实施方式1及实施方式2中,说明多个构成要素被设置于一个框体内的、作为图像生成装置实现的图像生成系统的例子。另一方面,在实施方式3中,说明多个构成要素通过网络连接的图像生成系统的例子。
实施方式1
在本实施方式中,首先说明根据附加有纹理的多边形的坐标来获取纹理图像的亮度值的图像生成装置。在该图像生成装置中,将三维坐标系变换成计算机图形表现的二维坐标系之后,参照将二维坐标和纹理图像的亮度值对应起来的表。其结果,能够获得与纹理的附加位置相应的亮度值。
首先,说明上述图像生成装置。然后,说明实拍发生形状变化的对象物的纹理图像的亮度值且测量伴随着形状变化产生的对象物的应力,并将附加有纹理的多边形的坐标和应力作为地址来获取纹理图像的亮度值的图像生成装置。
此外,所谓“多边形”是指在由三维计算机图形表现立体时用到的多边形的平面数据。物体表面是基于坐标数据连结多边形的各顶点从而表现出的。如果各多边形越小,则作为其集合描绘出的物体越能够平滑地表现出来,但由于同时需要大量地计算巨大量的顶点坐标数据,因此运算处理、描绘会带来大量的处理负荷。
图1是表示图像生成装置的结构及构成要素之间的数据流的框图。在该图中,示出了以纹理映射为中心的计算机图形的制作流程(图中的箭头)。图像生成装置除了图1中的显示部1111之外,还可通过作为计算机的处理器和计算机程序来实现,也可通过专用于纹理映射处理的处理器来实现。
图像生成装置的几何运算部1101将物体的位置及形状等定义为三维,并输出三维形状信号1102。通常,物体形状被分割为多个多边形进行描述。图2是将山行形状分割成四角形的多边形的例子。每个多边形是由直线组成的四角形,多边形的尺寸越小则越能圆滑地表现曲线。这样,三维形状信号1102由多个多边形的坐标(x,y,z)组成。此外,在本说明书中,将多边形形状设为四角形,但这只是一个例子。多边形形状也可是其他多边形,例如三角形。
纹理映射部1103参照亮度值存储器部1104所具有的纹理图像的亮度值来计算多边形的亮度值。作为三维形状信号1102而取得的多边形的坐标(x,y,z)如图3所示,被变换成纹理图像的亮度值的坐标(u,v)。在图3的例子中,为了提高说明的明确性,将纹理设为文字E。纹理图像的亮度值1301通过纹理映射被附加到山形的物体形状1302上。例如,位于文字部分的点1303的坐标(x,y,z)对应于点1304的坐标(u,v),因此点1303的多边形的亮度值被确定为表示黑色的0。另一方面,位于背景部分的点1305的坐标(x,y,z)对应于点1306的坐标(u,v),因此点1305的多边形的亮度值被确定为表示白色的1。
多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间的对应关系,也可以在设计者设计时针对全部组合而给出。但是,在制作逼真度高的图像、影像的情况下,像素数巨大,设计者一组一组地指定对应关系是难以实现的。因此,一般情况下,设计者提供代表性的对应关系,基于此对应关系,计算机利用插值运算等执行所有像素的处理。例如,在图4的例子中,纹理图像的亮度值1301上的点1304、点1306、点1401和物体形状1302上的点1305、点1402、点1403是指定多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系的代表点。不属于指定位置的多边形例如多边形1404的亮度值,根据位于附近的点1305、点1402、点1403所具有的多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间的对应关系,通过插值方法来计算。具体而言,多边形1404的亮度值L如下式1所示那样,用多边形1404与点1305之间的距离D1、多边形1404与点1402之间的距离D2、多边形1404与点1403之间的距离D3的倒数进行加权,然后使用线性插值。
L = Σ i = 1 3 w i L i
w i = Σ j = 1 3 1 D i 1 D j …式1
这里,Li是纹理图像的亮度值上的点1304、点1306、点1401的亮度值。
以上,纹理映射部1103为了获得插值运算所需的多边形的亮度值,而将多边形坐标信号1105发送至亮度值存储器部1104。在图4的例子中,进行纹理映射的对象是点1404的多边形。为了确定该点1404的亮度值,从亮度值存储器部1104中获取多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系已知的代表点1305、1402、1403的亮度值。
代表点搜索部1106搜索进行纹理映射的对象的点1404附近的代表点,并输出点1305、点1402、点1403。(x,y,z)→(u,v)变换部1107具有计算机图形的设计者设定的多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系,并按照该对应关系,将点1305、点1402、点1403的坐标变换成(u,v)坐标。最接近检测部1112从亮度值存储器部1104中检测与代表点的(u,v)坐标最接近的(u,v)坐标,并作为多边形坐标信号1105进行输出。亮度值存储器部1104将作为多边形坐标信号1105收到的(u,v)坐标设为数据地址来获取纹理图像的亮度值,然后将其作为纹理亮度信号1108返回到纹理映射部1103中。亮度插值部1109进行式1的运算,计算点1404的多边形的亮度值。
投影变换部1110将三维形状变换成二维的投影面,生成显示部的二维图像。如非专利文献1公开那样,在投影变换中存在获取远近感的透视投影法等的多种方法。
显示部1111例如是液晶显示装置,在液晶显示器上显示计算机图形的二维图像。
以上,通过将实拍图像附加于形状,从而能够生成真实性高的纹理。
但是,实拍图像的光泽、阴影是从二维形状的实物中得到的,与具有三维立体构造的实物的光泽、阴影有所不同。例如,由于具有镜面反射的被摄体对来自光源的光进行正反射,故局部性地具有亮度值高的阴影,从而成为决定光泽感及质感的要素。根据二维纹理图像的亮度值1002附加到圆柱形状的纹理图像的亮度值1003具有作为二维图像的光泽、阴影,与三维形状折射的光泽、阴影有所不同。
因此,为使纹理图像的亮度值的光泽、质感与实物相符,还与三维坐标一起测量纹理图像的亮度值。也就是说,如图5所示,用相机302拍摄三维形状的被摄体1501而得到纹理图像的亮度值。此外,由测距传感器313测量到被摄体1501的距离,并按纹理图像的亮度值的每个像素,获取(x,y,z)坐标。纹理图像的亮度值1502按每个像素,具有(x,y,z)坐标和亮度值,表示被摄体1501上的测量点(x,y,z)的亮度值。在纹理映射中,检测与圆柱1001的多边形的坐标(x,y,z)最接近的纹理图像1502的亮度值的(x,y,z)坐标,并将该纹理图像的亮度值附加于描绘图像1505。
图6示出用于实现上述处理的结构。图6是表示基于多边形的坐标获取纹理图像的亮度值的图像生成装置的结构及构成要素之间的数据流的框图。图像生成装置执行图5中说明过的利用多边形的坐标(x,y,z)来获取纹理图像的亮度值的纹理映射。在亮度值存储器部1601中登记了预先测量出的被摄体1501上的测量点的(x,y,z)坐标和亮度值。最接近检测部1602检测与由三维形状信号1102提供的多边形的坐标(x,y,z)最接近的测量点,并将其作为多边形坐标信号1105对亮度值存储器部1601进行寻址。
由此,在映射方法中需要图1所示的二维纹理图像的亮度值的、多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系的设定是不需要的。具体而言,图1中的代表点搜索部1106和(x,y,z)→(u,v)变换部1106是不需要的,取而代之,最接近检测部1602访问亮度值存储器部1601。另外,由于从亮度值存储器部1601获取到的纹理图像的亮度值本身被映射,故亮度插值部1109也是不需要的。
因此,在图6中,不仅能基于实物以实拍图像获取纹理图像的亮度值,还可测量获取纹理图像的亮度值的(x,y,z)坐标,因此多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系的设定是不需要的。
到此为止,说明了以静态被摄体作为对象来改变纹理图像的亮度值的处理。
在计算机图形被应用于电影、广告、新闻等各种媒体时,多数情况下被制作成由多个帧图像构成的运动图像。如果使用运动图像进行物体的活动、视点位置的移动等,则其效果在于提高了表现力以及说明的易懂程度。在这样的运动图像表现中,基于物体与物体的接触的“物体的变形”是在较多场合求出的描绘要素,是对计算机图形的逼真度提高有较大贡献的因素。如果可以使上述的纹理映射对应于物体的变形,则非常优选。为了对应于“物体的变形”,几何运算部1101(图1、图6)中需要进行与物体的变形相关联的运算的功能。
考虑这些因素,下面说明伴有变形的物体的纹理映射。
图7是进行组入了受到外力而物体形状变形的模型的纹理映射的图像生成装置的框图。几何运算部1701除了图2所示的多边形的组合的形状描述之外,如图8所示,还具有质点1801和弹簧1802。
根据《基于真空内的布的移动的比较的布仿真的精度验证》(田川和義、林宏卓、木島竜吾、小鹿丈夫、日本虚拟现实协会第7次大会论文集,pp.361-364,2002年),将物体的弹性离散成弹簧的弹性,设定相对于外力的拉伸恢复力、弯曲恢复力等,来描述物体的弹性。相当于重量特性的质点通常被设于多边形顶点,因此弹簧被配置于连结多边形顶点的多边形的边。
在上述文献中,假定布作为物体。可是,例如《利用触觉·纹理的医疗训练系统的开发》(田村信彦,津村德道,三宅洋一,田辺政裕,山浦晶、VR医学,Vol.No.1,pp.30-37,2004年)所公开的那样,能应用于皮肤、内脏器官等具有弹性的各种物体上。拉伸恢复力Fstretch用下式2表示,弯曲恢复力Fbend用下式3表示。求出作用于所有弹簧上的力,计算作用于各质点上的力的合力,然后用下式4求出质点i的坐标xi。
F stretch = T ( l - l 0 l 0 ) L ij …式2
Fbend=B(K)Ni    …式3
x i n + 1 = x i n + v i n + 1 dt
v i n + 1 = v i n + F i n dt m i …式4
在式2中,T()表示伸缩率-拉伸恢复力的函数,l表示计算时间点上的弹簧的长度,l0表示弹簧的初始长度,向量Lij表示从质点Pi向质点Pj的单位方向向量。在式3中,B()表示曲率-力矩的函数,K表示曲率,向量Ni表示与连结质点Pi和质点Pj的直线垂直的单位法线向量。在式4中,mi表示质点i的质量,向量vi表示质点i的速度向量,向量Fi表示质点i的力向量,n表示当前时刻,n+1表示下一时刻。
基于上述模型,可一般地表现形状变化。也就是说,在物体受到外力而发生变形时,可将形状变化作为质点的移动来描述。与该形状变化相关联地,变更用于对亮度值存储器进行访问的地址(坐标值),读出该坐标值的亮度值。这样,通过变更由坐标值示出的地址,从而可实现采用了适当亮度值的纹理映射。
几何运算部1701计算变形后的质点的新坐标。具体而言,由几何运算部1701中的形状设定部1712设定物体形状,由质点弹簧设定部1702设定质点的位置和质量、弹簧的构造和弹性,从外力设定部1703接受外力向量1704,由质点位置更新部1705进行式2至式4的运算,从而计算变形后的质点的新坐标。
质点位置更新部1705由弹簧力计算部1706例如使用式2或式3,将作用于弹簧上的力Fi作为弹簧力向量1707计算。之后,由质点坐标计算部1708根据式4将力向量Fi变更成质点的位置信息xi。也就是说,物体变形的原因在于施加力(外力向量1704)。之后,质点坐标计算部1708将力学系统的弹簧力向量1707置换成几何学系的三维形状信号1102,并作为质点的移动来描述物体变形。
可是,如果亮度值存储器部1720存储的测量点(x,y,z)的亮度值被质点位置更新部1705发现,则对应于当前时刻n而不对应于下一时刻n+1。因此,有必要对亮度值存储器部1720也实施质点坐标计算部1708进行的质点移动导致的物体变形的描述。具体而言,响应于质点的移动,来变更访问亮度值存储器部1720的地址。
地址变换部1710执行伴随着物体变形的亮度值存储器部1720的地址变更。如果质点坐标计算部1708检测出质点移动(即、坐标xi,n+1和xi,n不同),则将质点的移动信息作为质点移动信号1711送往地址变换部1710。之后,制作地址变换表,以使当前时刻n的(x,y,z)坐标参照下一时刻n+1的(x,y,z)坐标。图9表示地址变换表1901的一例。例如,数据1902表示:在当前时刻n,质点为(x,y,z)=(20,100,90),在下一时刻n+1,质点移动至(x,y,z)=(20,100,75)。
最接近检测部1602如果在当前时刻n检测出作为三维形状信号1102接收到的(x,y,z)=(20,100,90)最接近,则得到适当的纹理图像的亮度值。可是,在下一时刻n+1,如果也直接在相同的位置(x,y,z)=(20,100,90)参照亮度值存储器部1720,则会参照沿z方向偏移了25像素的错误的纹理图像的亮度值。
因此,最接近检测部1602在下一时刻n+1,在(x,y,z)=(20,100,75)参照地址变换表1901。其结果,选出数据1902,获取在当前时刻n处于(x,y,z)=(20,100,90)测量点的纹理图像的亮度值的亮度。
地址变换表1901每逢下一时刻n+1后续的时刻n+2、时刻n+3,都需要更新(x,y,z)坐标。因此,地址变换表1901中的下一时刻n+1的列1903,在下一时刻n+1以后,每当发生质点移动,就以覆盖的方式更新(x,y,z)坐标。
另一方面,对于当前时刻n的列1904,由于与亮度值存储器部1601维持固定的关系,故不会发生(x,y,z)坐标的覆盖。因此,即便时刻进入n+1、n+2,质点坐标计算部1708也必需继续保持时刻n的(x,y,z)坐标。如式4所示,质点坐标计算部1708描述连续时间的2个部分的变化,但不保存过去的信息。因此,质点坐标计算部1708需要预先保持亮度值存储器部1720制作的时刻n的测量点信息。例如,在执行时刻n+10的纹理映射的情况下,在下一时刻n+1的列1903中,登记着在时刻n至时刻n+10之间有移动的质点的最新时刻的(x,y,z)坐标。
可是,直至地址变换表1901的更新作业完成为止,需要暂时停止纹理映射的处理。因此,如果质点坐标计算部1708检测出质点移动,则使质点移动识别信号1712为ON,暂时停止最接近检测部1602的动作。如果质点坐标计算部1708结束所有质点的检查,则地址变换表1901的更新动作结束。之后,使质点移动识别信号1712变为OFF,以解除最接近检测部1602的暂时停止,并重新开始纹理映射的处理。在图10中,地址变换部1710将多边形坐标信号1105用作地址来参照亮度存储器部1601,能够获取纹理图像的亮度值。
以上,在物体受到外力而发生变形时,将形状变化作为质点移动进行描述,变更对纹理图像的亮度值存储器进行访问的地址,从而可实现纹理映射。
在到此为止的例子中,根据质点位置的变化来修正地址变换表,得到了适当的纹理图像的亮度值。可是,由于在素材位置的变化和应力大小之间存在关联性,故也可代替先前说明的坐标变换,而利用应力向量。也就是说,不是通过多边形位置移动这种的地址变换来确定因外力引起的形状变化,而是基于应力来确定因外力引起的形状变化。例如,柔软的素材,其坐标容易发生变化,但相应地拉伸恢复力及弯曲恢复力(即、应力)大。相反地,坚固的素材,由于其坐标难以发生变化,所以应力比较小。
图11表示本实施方式的图像生成装置100的框图。
图像生成装置100具有:形状设定部1712、应力运算部101、外力设定部1703、纹理映射部102、亮度值存储器部103。
图像生成装置100基于设计者设定的物体形状、弹性、外力等,参照亮度值存储器部103中存储的表。具体而言,参照将与多个多边形的每个多边形相关的、各多边形的位置坐标(地址)所涉及的位置信息、作用于各多边形的位置的应力向量的信息、及施加外力时的纹理图像的各亮度值的信息对应起来的表。将参照的结果所得到的亮度值作为纹理图像的亮度值加以采用,对变形的物体形状附加该亮度值的纹理图像。
形状设定部1712设定图3所示的物体形状1302,设定未受到外力的没有变形的形状。该物体形状1302作为三维形状信号1102提供给质点弹簧设定部1702。
应力运算部101具有质点弹簧设定部1702、弹簧力计算部1706,并对作为三维形状信号1102提供的多边形计算应力。
质点弹簧设定部1702如图8所示,对多边形顶点设定质点,设定连结质点的弹簧特性。在本实施方式中,弹簧特性的设定方法是任意的,例如利用非专利文献2公开的式2、式3,设定拉伸恢复力Fstretch、弯曲恢复力Fbend的计算方法。
弹簧力计算部1706按照质点弹簧设定部1702的设定,执行式2、式3的运算来计算力向量Fi,并将其作为应力信号105进行输出。也就是说,外力向量1704或者拉伸弹簧或者压缩弹簧,从而改变式2的弹簧的长度l、式3的曲率K。由此,产生拉伸恢复力Fstretch、弯曲恢复力Fbend,计算式4的力向量Fi。该力向量为各多边形的应力。
外力设定部1703设定使物体变形的外力向量1704。关于物体的变形,计算机图形的设计者作为描绘内容进行设计。如果是图12的例子,则相当于决定外力向量1704的大小和物体形状H01中的力点的位置。
由此,对各多边形赋予了多边形坐标(x,y,z)和应力向量Fi的属性。
亮度值存储器部103将多边形坐标(x,y,z)和应力向量Fi作为地址,根据纹理映射部102的指示输出纹理图像的亮度值。纹理图像的亮度值与现有技术相同,预先进行拍摄。
如上述,在本实施方式中,在对象物实际存在的前提下,说明将该对象物要作为计算机图形表现时的处理。由此,可预先获取实际存在的对象物的纹理及亮度值。下面,说明用于获取对象物的纹理及亮度值的具体结构。
图13表示纹理图像获取部106(图11)的结构例。纹理图像获取部106不仅可获取作为对象物的被摄体的纹理图像,还可获取纹理图像的亮度值。纹理图像获取部106具有亮度值获取控制部314。亮度值获取控制部314承担纹理图像获取部106整体控制,控制XYZ平板(stage)304、相机302、测距传感器313的动作。此外,经由通信线306与图像生成装置100进行通信。图13的通信线306在图11的框图中对应于通信线107。
被摄体301是用于获取纹理的拍摄用的物体。当被摄体301设置于XZY平板304时,亮度值获取控制部314控制支撑杆307和支撑杆308,由接触点305使被摄体301变形。相机302拍摄被摄体301,获取纹理图像的亮度值。在被摄体301的表面安装有多个的应变传感器303,测量被摄体301的应力,测量应力向量的大小。测距传感器313被组入相机302,测量相机302到应变传感器303的距离。
触头305移动的指示是从外力设定部1703(图11)经由数据线315提供的。外力设定部1703通过计算机图形的设计者进行操作。其结果,触头305如设计者的设定那样,向被摄体301施加外力。
其中,应力运算部101具有的弹簧弹性被捕捉为相对于被摄体301的实际弹性具有误差是妥当的,应该采取相应对策。因此,对触头305安装应变传感器309,测量施加于被摄体301的外力。以来自应变传感器309的测量数据与被外力设定部1703设定的外力向量相一致的方式,控制触头305的移动,以补偿应力运算部101具有的弹簧弹性的误差。
应变传感器303的测量数据,经由应力数据线310被图像生成装置100获取。
相机302的拍摄数据和测距传感器313的测量数据,经由图像数据线312被图像生成装置100获取。
此外,在本实施方式中,触头305的控制、相机302进行的纹理图像的亮度值的拍摄、应变传感器303、309测量的定时控制是任意的,也可始终将应变传感器303、309的测量数据取入到图像生成装置100。另外,也可按照纹理图像的亮度值被拍摄的定时,来获取应变传感器303、309的测量数据。也就是说,与相机302的快门动作同步地,对来自应力数据线310的模拟信号进行采样离散化。进而,也可由计算机图形的设计者按下相机302的快门,相机302将快门动作的识别信号经由亮度值获取控制部314发送至图像生成装置100。
测距传感器313被用于使用了多个应变传感器303的三维位置的测量。各应变传感器303的位置相当于应力向量的起点位置。在本实施方式中,测距方法是任意的,例如可利用三角测量。图14是说明三角测量的图。所谓三角测量是指利用当三角形的一边及其两端的角度确定时三角形唯一确定的测距方法。将相距已知距离l的两点A,B观看点P的角度分别设为α、β,则如下所示赋予点P的坐标值(x、y)。
x = l tan β tan α + tan α y = l tan α tan β tan α + tan α …式(5)
现在,将激光光源置于点A,向物体表面上的点P照射激光,由置于点B的相机捕捉点P的激光来测量点P的坐标值(x、y)。将点A的激光光源和点B的相机搭载于相机302。点B的相机也可兼具有相机302的拍摄系统。
以上,作为用于参照亮度值存储器部103的地址所需要的应力向量和应力向量的起点位置的三维坐标(x,y,z)能作为测量数据取得,在实拍图像中能够获取作为数据所需的纹理图像的亮度值。一连串的动作是由纹理图像获取部106进行的。此外,纹理图像获取部106不仅具有图13所示的结构(例如,XYZ平板304),也可具有对所获取到的纹理图像的数据进行保持的存储器(未图示)。
此外,如果可测量应力向量的方向,则也可对亮度值存储器部103的地址加上应力向量的方向。在亮度值存储器部103的地址仅仅由应力向量的大小和应力向量的起点位置构成的情况下,即便应力向量的方向不同,也可参照相同纹理图像的亮度值。
另外,对于在被摄体301安装的应变传感器303被安装的位置,从相机302处观看,纹理图像的亮度值被遮蔽,而无法进行拍摄。通常,由于应变传感器303是小型的,所以能够用应变传感器303的相邻部分的纹理图像的亮度值进行代替。可是,在被摄体较小且应变传感器303的大小无法忽略的情况下,分别进行应变传感器303的应力测量和相机302的纹理图像的亮度值拍摄即可。也就是说,外力向量1704的控制能够由图像生成装置100保证再现性,能够多次以相同的移动来控制触头305。因此,两次设定相同变形状态、即两次设定使施加于被摄体的外力相同的状态,分别执行应力测量和纹理图像的亮度值拍摄即可。此外,也可以在先进行了应力测量之后进行拍摄,还可以以相反的顺序进行。
每当发生因外力引起的形状变化时,能够适当地获取纹理图像的亮度值,提高计算机图形的运动图像的逼真度。
此外,在应力测量中,为了减少应变传感器303的安装数目,也可由有限要素法等的计算机模型来获取应力分布。本实施方式遵从将已变形的纹理图像的亮度值作为实拍图像获取的图像库方法,在获取纹理图像的亮度值的过程中不使用计算模型。另一方面,关于应力获取,也可与本实施方式不同,由计算机模型来获取应力。另外,也可应用兼具应力测量和应力计算模型等的任意方法。
此外,在图13中,为了说明的方便,各设备的控制、数据发送为有线方式,但在本实施方式中并不限于此,能够利用无线通信、记录介质等的任意方法。亮度值存储器部103能够由内置于图像生成装置100的硬盘、半导体存储器等进行安装,也可应用可拆卸的便携式媒体的光盘。
另外,在图13中,触头305仅安装一个应变传感器309,但本实施方式并不限制外力向量1704的个数。也就是说,也可准备多个外力向量1704的测量点,在某一时刻测量多个外力向量1704。
再次参照图11。纹理映射部102具有最接近检测部108,从亮度值存储器部103中检测与作为三维形状信号1102提供的多边形的坐标(x,y,z)和作为应力信号105提供的应力向量最相似的数据。在这里,所谓“相似”是指应力向量最接近的意思。具体而言,意味着具有与多边形的坐标(x,y,z)最接近的起点位置,且应力向量的大小最接近。
最接近检测部108从亮度值存储器部103的地址检测与作为三维形状信号1102提供的多边形的坐标(x,y,z)最相似的(x,y,z)坐标。其次,从亮度值存储器部103的地址检测具有被检测的(x,y,z)坐标的数据之中的、与作为应力信号105提供的应力向量最相似的应力向量。通过这二阶段检测,来确定纹理图像的亮度值。
在本实施方式中,仅在力学系统中处理物体的变形信息,在多边形坐标等的几何学系统中不处理变形信息。因此,亮度值存储器部103的地址、即应力向量的起点位置坐标(x,y,z),其目的在于与作为三维形状信号1102提供的多边形坐标建立对应,伴随物体变形的(x,y,z)坐标的更新是不需要的。亮度值存储器部103的地址、即应力向量的起点位置坐标(x,y,z)是固定的,因此在(x,y,z)坐标测量应变传感器303的安装位置之后测距传感器303进行的距离测量是不需要的。最接近检测部108最初检测(x,y,z)坐标的最接近,接着检测应力向量的最接近,采用这种二阶段方式的理由在于此。
(x,y,z)坐标的最接近检测用于确定与作为三维形状信号1102提供的多边形的坐标(x,y,z)最接近的应力向量的起点位置坐标(x,y,z)。接着,在被检测的应力向量的起点位置进行与形状相关的数据搜索,具体而言检测与应力信号105最相似的应力向量。
例如,在图13中,对被摄体301安装100个应变传感器303,当相机302拍摄1000次时,亮度值存储器部103中存储了10万个(100点×1000次)的纹理图像的亮度值。(x,y,z)坐标的最接近检测从100个应变传感器303中检测出一个,接着,应力向量的最接近检测从1000个应力向量中检测出一个。
图15是表示图像生成装置100的处理顺序的流程图。
描绘设计步骤501是计算机图形的设计者进行描绘设计的步骤。第一、在形状设定部1712中将所描绘的物体的三维形状作为多边形的集合进行设定。该形状被设计成未受到外力的无变形的形状。第二、在质点弹簧设定部1702中将所描绘的物体的弹性作为弹簧弹性进行设定。第三、在外力设定部1703中将所描绘的物体受到的外力作为外力向量1704进行设定。
步骤S502以后,主要是通过图像生成装置100进行的处理。
在纹理图像的亮度值设定步骤502中,进行纹理图像的亮度值的拍摄和应力向量的测量。计算机图形的设计者为了获取纹理图像的亮度值,准备被摄体301,进行应变传感器303的附加和相机302、测距传感器313的设置。相机302拍摄纹理图像的亮度值,应变传感器303测量应力向量。应变传感器303的三维位置坐标(x,y,z)是由测距传感器313进行测量的。将应变传感器303的三维位置坐标(x,y,z)和应力向量作为地址,将纹理图像的亮度值作为数据,存储到亮度值存储器部103中。一连串的动作是由纹理图像获取部106进行的,按照被摄体301的变形将产生从外力设定部1703受到的外力向量1704的方式控制XYZ平板。
在多边形坐标送出步骤503中,形状设定部1712作为三维形状信号1102而将多边形坐标(x,y,z)送到应力运算部101和纹理映射部102。
在应力运算步骤504中,弹簧力计算部1706基于质点弹簧设定部1702的设定和来自外力设定部1703的外力向量1704,运算多边形坐标(x,y,z)的应力向量。
在最接近检测步骤505中,纹理映射部102内的最接近检测部108,首先检测与多边形坐标(x,y,z)最接近的亮度值存储器部103的(x,y,z)地址。然后,接着从具有该(x,y,z)地址的数据之中检测要作用于该多边形的应力向量最接近的地址,并输出纹理图像的亮度值。
在投影变换步骤506中,投影变换部1110将三维形状变换成二维投影面,从而生成显示器显示用的二维图像。更具体而言,投影变换部1110应用参照了亮度值存储器部103的表之后得到的亮度值来改变纹理图像的亮度值,并在各多边形的位置附加该纹理图像。在显示步骤507中,显示部1111将二维图像显示于显示器。
以上,图像生成装置100将因外力引起的形状变化归总为应力运算部101这种的“力学系统”,没有向多边形位置移动这种的“几何学系统”的变换,可实现物体变形的纹理映射。换言之,本实施方式中的几何学系统的设定是固定的,伴随变形的状况变化都被归总为力学系统。
另一方面,对于图7所示的纹理映射,在由弹簧力计算部1706计算的弹簧力向量1707以力学系统的方式描述了变形信息之后,由质点坐标计算部1708变换成多边形位置移动这种的几何学系统。因此,在因外力引起的形状变化仅归总为力学系统的本实施方式的处理中,在从力学系统向几何学系统变换时所需的地址变换是不需要的,大幅度地简化了纹理映射的处理。并且,参照纹理图像的亮度值,能够对伴随形状变化的实拍图像进行纹理映射,因此,能够制作逼真度高的计算机图形。另外,能够发挥维持高的逼真度的同时,纹理映射的高速处理、运算电路的小型化的效果。换言之,能够减轻纹理映射处理的负荷。其结果,也可应用于向便携设备等各种设备的搭载、通信频带受限的网络利用等,进一步提高了通用性。
此外,作为一种考虑方式,也存在图3中说明过的每当对象物发生变形就对多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系的设定进行追加设定的步骤。也就是说是如下方法:不使用如本实施方式那样以应力变化捕捉形状变化或者如现有技术那样以多边形位置的变化进行捕捉的功能,每次计算机图形的设计者都亲自追加多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系。但是,人为地追加多边形的坐标(x,y,z)和纹理图像的亮度值的坐标(u,v)之间对应关系,从作业量考虑是不现实的,特别是在描绘物体变形的过程中需要运动图像。因此,如本实施方式或现有技术那样,生成计算机图形的设备用某些机构捕捉伴随形状变化的状态变化是必然的。
实施方式2
在实施方式1中,预先规定了使对象物的形状如何变化。
在本实施方式中,不预先规定对象物的形状变化,而对已发生形状变化的对象物的纹理图像的亮度值进行实拍,并且测量伴随着形状变化产生的对象物的应力。并且,利用该结果说明将附加纹理的多边形的坐标和应力作为地址来获取纹理图像的亮度值的图像生成装置。特别是,使对象物变形的同时测量外力向量,并在外力设定部中设定该测量数据。
图16是表示本实施方式的图像生成装置600的框图。此外,对与图11相同的部分赋予相同符号,并省略详细说明。
图像生成装置600具有:形状设定部1712、应力运算部101、外力设定部601、纹理映射部102、亮度值存储器部103。图像生成装置600基于设计者设定的物体形状、弹性、外力等,将所确定的亮度值的纹理图像附加到变形的物体形状。
外力设定部601通过从纹理图像获取部602送出的外力测量信号603进行设定。
纹理图像值获取部602测量人(例如设计者)给对象物施加的外力,并将该测量值送到外力设定部601。图17表示纹理图像获取部602(图16)的结构例。人移动触头701,使被摄体301变形。XYZ平板702利用使用安装于支撑杆307和支撑杆308的编码器703、编码器704、编码器705,测量触头701的(x,y,z)坐标。测量到的(x,y,z)坐标经由亮度值获取控制部314,经由数据线315向图像生成装置600送出。触头701施加给被摄体301的外力向量1704由应变传感器309进行测量,并且与应变传感器303的测量数据一起,经由应力数据线310被图像生成装置600获取。外力向量1704的方向是根据触头701的位置变化获取的。
拍摄指示的定时是任意的,纹理图像获取部602也可以以一定间隔(例如,1/30秒)连续地获取纹理图像的亮度值。可是,纹理图像获取部602监视应变传感器309和/或测距传感器313的变化量,在应力向量大小的变化超过规定的变化量时、或应力向量的起点位置的变化超过了规定的基准值时,也考虑输出拍摄指示的方法等。在相机302根据变化量来拍摄纹理图像的亮度值的情况下,触头701发挥所谓的“相机的快门按钮”的功能。
图18表示亮度值获取控制部314的调整画面706的显示例。
图18所示的“相机设定”的框801是进行相机302设定的菜单。其中的“快门动作”项目802是对相机302的快门动作进行设定的菜单。当设计者经由按钮(未图示)等输入装置选择“一定间隔”的单选按钮时,相机302的快门就以由一秒期间的拍摄枚数确定的时间间隔连续地拍摄纹理图像的亮度值。当选择“应力变化”的单选按钮时,相机302的快门每当测量出指定的应力变化时拍摄纹理图像的亮度值。当选择“形状变化”的单选按钮时,在时间序列上描绘测距传感器313的测量数据,每当测量出指定的距离变化时拍摄纹理图像,并获取该亮度值。当按下“快门按钮”的单选按钮时,每次按下相机302的快门就拍摄纹理图像的亮度值。
图18所示的“触头设定”的框803是进行触头701设定的菜单。其中,“动作指示”项目804是对触头移动的指定方法进行设定的菜单。当按下“输入”的单选按钮时,从纹理图像获取部602以外的外部接收指示触头的移动方式。所谓来自外部的指示例如是指外力设定部601。当按下“无(人的输入动作)”的单选按钮时,没有触头的移动方式的指示,人手持触头进行使其移动,XYZ平板702由编码器703、704、705测量触头的移动。
以上,计算机图形的设计者不需要直接设计外力向量1704,一边通过以视觉或触觉的方式确认实物的变形状况,一边调整对被摄体301的加压程度,从而能够设定外力设定部601。例如,如果将相同外力向量施加给硬度不同的对象物,则柔软的对象物发生较大变形。如果变形的程度大,则纹理图像的亮度值的变化也大,在时间上就需要更精确地拍摄纹理图像的亮度值。相反地,硬的对象物变形小,故纹理图像的亮度值的拍摄枚数也少。对于作为设计者的描绘意图所设计的变形的状况,以实物进行确认的同时,外力设定部601通过应力向量的测量进行设定。因此,可实现计算机图形的物体变形如实物那样自然且逼真度高的纹理制作。
此外,图16中的对被摄体的外力施加方式和外力向量的测量方法只是一个例子,能应用在手上戴上已安装有应变传感器的手套并用多根手指加压等的任意方法。其中,为了进行外力的赋予和外力向量的测量,在被摄体301与相机302之间加入遮蔽物,从而有可能无法拍摄纹理图像的亮度值。这种情况下,如上述那样,一旦测量外力向量1740和应力向量,则另外用遮蔽少的XYZ平板使被摄体301变形,由相机302拍摄纹理图像的亮度值。此时,通过使在各个情况下对被摄体施加的外力相同,从而应力测量的传感器等不必掩盖被摄体在必要以上,就能够拍摄纹理图像的亮度值。
实施方式3
在本实施方式中,说明实拍形状变化的对象物的纹理图像的亮度值且测量伴随着形状变化产生的对象物的应力,并将附加纹理的多边形的坐标和应力作为地址来获取纹理图像的亮度值的图像生成装置。特别地,使物体变形的外力是从与图像生成装置分离设置的输入设备输入。
图19是本实施方式的图像生成装置900的框图。此外,对与图11同样的部分赋予相同的符号,并省略其详细说明。
图像生成装置900具有形状设定部1712、应力运算部101、外力接收部601、纹理映射部102、亮度值存储器部103,并基于设计者设定的物体形状、弹性,将纹理图像的亮度值附加到变形的物体形状。使物体变形的外力是从图像生成装置900的外部接收的。
外力接收部901经由网络902从外力发送部903获取外力向量1704。外力发送部903例如从预先编程的外力生成模型获取外力向量1704进行发送,或者发送应变传感器的测量数据。
外力生成模型具体而言,假定由计算机进行运算,可实现经由网络的力觉信息的远程通信。
一般地,外力生成模型如有限要素法那样,将对象物划分成细微的单元,按单元设定外力生成模型。模型参数(例如弹性率等)的设定是在各单元中进行的,总体上确定对象物的形状。因此,由于按被大量设定的小的单元设定模型参数,故通常计算量巨大,且利用大规模的计算资源。图像生成装置900专用于纹理映射,运算负荷大的外力向量1704的设定被移到图像生成装置900的外部。
例如,在有限要素法中,对每个要素需要计算在各种状况下施加什么样的力,计算负荷非常大。利用与图像生成装置不同的外部计算机进行这样的负荷大的计算,在图像生成装置900中设定作为计算结果的外力施加方式即可。
在将应变传感器用于外部发送部903的情况下,例如假定视频游戏的输入终端等。在显示部1111显示视频游戏的影像,视频游戏的游戏者边观看视频游戏的影像,边从手持的应变传感器中输入与游戏播放相关的各种动作。例如,在输入压扁物体的动作的情况下,将手持的应变传感器压到桌面上,从外力发送部903向图像生成装置900输入更大的外力。图像生成装置900根据外力接收部901接收到的外力向量1704,在应力运算部101计算应力信号105,纹理映射部102将伴随形状变形的纹理图像的亮度值映射成形状。
虽然以视频游戏为例进行了说明,但是这只是一个例子,例如也可进行医疗应用。例如,应变传感器被安装于内窥镜,由应变传感器检测内脏器官的硬度,用计算机图形描绘内脏器官变形的样态,医生观看显示部1111能够进行视觉确认。在对象物处于远处、或者处于体内、或者处于不允许人进入的危险场所、或者因某种制约无法直接接触对象物的情况下,将外力发送部903从图像生成装置900分开。
以上,在对象物不在身边的情况下,纹理图像的亮度值无法从对象物本身中获得。因此,纹理图像获取部106准备替代的被摄体,并对该替代的被摄体进行拍摄测量,然后将必要的信息登记到亮度值存储器部103中。例如,在由内窥镜描绘内脏器官的变形的情况下,由于确定纹理是内脏器官,所以可预先准备。另外,也能直接将以前拍摄到的影像用作纹理图像的亮度值。在视频游戏的情况下,准备已描绘的所有游戏画面,并预先存储到亮度值存储器部103中。
假设,即便施加了亮度值存储器部103中未登记的对象物的外力向量1704,最接近检测部108也检测最相似的应力向量。因此,纹理映射的处理不会停止,将某些纹理图像的亮度值附加到形状上继续进行描绘。在想要提高显示部1111所显示的描绘图像的逼真度的情况下,准备尽量与对象物相接近的代替的被摄体,由纹理图像获取部106追加纹理图像的亮度值。
此外,网络902不仅包括因特网这样的广域的数据通信,还包括连结计算机和周边设备的USB(Universal Serial Bus)、Bluetooth这样的个人级别的局部数据通信。另外,使用SD(Secure Digital)存储卡这种的记录介质,能够实现与网络902等效的功能,本实施方式不受连结设备的方法限制,能利用任意方法。
以上,能够接收在图像生成装置900以外制作的外力向量1704然后执行纹理映射,在亮度值存储器部103中预先准备了相当于对象物的纹理图像的亮度值的情况下,可制作逼真度高的计算机图形。
上述的各实施方式的图像生成装置的动作,是通过搭载于图像生成装置的计算机(处理器)执行RAM(未图示)中存储的计算机程序来实现的。图像生成装置根据该计算机程序进行上述动作。例如,实施方式1的图像生成装置100通过对图15的步骤S502至步骤S506的处理进行规定的计算机程序进行动作的。该计算机程序被记录到CD-RAM等记录介质作为产品在市场上流通,或者通过因特网等通信线路进行传送。此外,也可作为在半导体电路中组入了计算机程序的DSP等硬件进行实现。
根据上述实施方式所述的发明,可实现影像表现力的提高。
此外,能够将由使用了实物的实拍影像进行影像制作的情形置换成计算机图形,可从天气、拍摄场所等的物理制约中解放出来,此外在实拍过程中可实现伴有危险的拍摄角度的影像制作。
以上,本发明可提高以电影制作为主的电视机、因特网、杂志等的媒体广告、产品目录等各种媒体中被广泛应用的计算机图形的逼真度,对影像表现力、广告效果的提高有较大贡献。特别是能描绘形状变化的运动图像的计算机图形,能通过捕捉到形状变化的实拍图像来表现逼真度高的纹理,故有助于计算机图形的利用者层面的扩大。

Claims (13)

1.一种图像生成系统,参照纹理图像决定对象物的多边形的亮度值,该图像生成系统具备:
获取部,保持施加外力而变形的被摄体的纹理图像的数据;
存储器部,针对多个多边形的每个多边形,保存将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;和
纹理映射部,根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表。
2.根据权利要求1所述的图像生成系统,其中,
所述获取部还测量外力,
所述纹理映射部,基于测量的所述外力来计算作用于所述对象物的多边形的应力向量,并参照所述表。
3.根据权利要求1所述的图像生成系统,其中,
所述获取部拍摄施加所述外力而变形的被摄体的纹理图像来生成所述纹理图像的数据,对基于施加于所述被摄体的外力的应力向量的大小及起点位置进行测量,从而生成所述应力向量的信息,
所述存储器部将所述应力向量的信息存储到所述表中。
4.根据权利要求3所述的图像生成系统,其中,
所述图像生成系统还具备:
形状设定部,对所述对象物的三维形状设定多个多边形;
应力运算部,计算由所述外力产生的各多边形的应力向量;和
检测部,根据与各多边形的位置相关的位置信息及应力向量,确定具有与所述应力向量最接近的地址的所述纹理图像的亮度值,
在所述存储器部的表中,所述应力向量的大小及起点位置作为地址被保存,所述存储器部将所述纹理图像的亮度值作为所述对象物的多边形的亮度值输出。
5.根据权利要求3所述的图像生成系统,其中,
所述获取部具有应变传感器和测距传感器,
所述应变传感器测量所述应力向量的大小,
所述测距传感器测量所述应力向量的起点位置。
6.根据权利要求1至5任一项所述的图像生成系统,其中,
所述获取部在使对所述被摄体施加的外力相同的状态下,分别进行所述应力向量的测量及所述纹理图像的摄影。
7.根据权利要求5所述的图像生成系统,其中,
在所述应力向量的大小的变化超过了规定的基准时、或者应力向量的起点位置的变化超过了规定的基准时,所述获取部对所述纹理图像进行摄影。
8.根据权利要求4所述的图像生成系统,其中,
所述应变传感器与所述被摄体相接触配置,以测量所述外力,
所述应力运算部接收所测量的所述外力的信息,计算由所述外力产生的各多边形的应力向量。
9.根据权利要求4所述的图像生成系统,其中,
所述应力运算部通过利用了以多边形为单位设定的质点及连接所述质点的弹簧弹性的模型,计算所述应力向量。
10.根据权利要求1所述的图像生成系统,其中,
所述图像生成系统还具备投影变换部,该投影变换部根据参照之后得到的亮度值的信息改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
11.一种图像生成方法,用于参照纹理图像决定对象物的多边形的亮度值的图像生成系统,该图像生成方法包括如下步骤:
准备施加外力而变形的被摄体的纹理图像的数据;
针对多个多边形的每个多边形,准备将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;
根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表;和
根据参照之后所得到的亮度值的信息,改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
12.一种计算机程序,是通过参照纹理图像决定对象物的多边形的亮度值的图像生成系统的计算机所执行的计算机程序,
所述计算机程序让所述计算机执行如下步骤:
准备施加外力而变形的被摄体的纹理图像的数据;
针对多个多边形的每个多边形,准备将与未施加外力的多边形的位置相关的位置信息、基于对所述多边形的位置施加的外力的应力向量的信息、及施加所述外力时的纹理图像的亮度值的信息对应起来的表;
根据未受到外力的对象物的多边形的位置的信息、及作用于所述对象物的多边形的应力向量的信息,参照所述表;和
根据参照之后所得到的亮度值的信息,改变对所述对象物的多边形应用的纹理图像的亮度值,并输出所述纹理图像。
13.一种记录介质,记录了权利要求12所述的计算机程序。
CN201080005575.2A 2009-09-04 2010-08-30 图像生成系统及图像生成方法 Active CN102301399B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009204997 2009-09-04
JP2009-204997 2009-09-04
PCT/JP2010/005336 WO2011027534A1 (ja) 2009-09-04 2010-08-30 画像生成システム、画像生成方法、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN102301399A true CN102301399A (zh) 2011-12-28
CN102301399B CN102301399B (zh) 2014-12-03

Family

ID=43649090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080005575.2A Active CN102301399B (zh) 2009-09-04 2010-08-30 图像生成系统及图像生成方法

Country Status (5)

Country Link
US (1) US8139076B2 (zh)
EP (1) EP2474951A4 (zh)
JP (1) JP4746717B2 (zh)
CN (1) CN102301399B (zh)
WO (1) WO2011027534A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411493A (zh) * 2015-07-27 2017-02-15 腾讯科技(深圳)有限公司 街景采集数据同步方法、装置及系统
WO2023029892A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003090715A (ja) * 2002-03-06 2003-03-28 Techno Dream 21:Kk 画像データ計測装置及び画像データを用いた対象物体の自由変形を含む任意視点画像作成方法
US6606095B1 (en) * 1998-06-08 2003-08-12 Microsoft Corporation Compression of animated geometry using basis decomposition
CN1846234A (zh) * 2003-09-03 2006-10-11 日本电气株式会社 形态变形装置、物体动作编码装置以及物体动作解码装置
JP2008117147A (ja) * 2006-11-02 2008-05-22 Konami Digital Entertainment:Kk 画像処理装置、画像処理方法、ならびに、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3024145B2 (ja) * 1989-07-12 2000-03-21 株式会社日立製作所 テクスチャマッピング方法
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6650335B2 (en) * 2001-02-22 2003-11-18 Mitsubishi Electric Research Laboratories, Inc. Method for extracting static and dynamic super-resolution textures form a sequence of images
JP2005190261A (ja) 2003-12-26 2005-07-14 Toyota Motor Corp 画像作成装置
US7969447B2 (en) * 2004-05-06 2011-06-28 Pixar Dynamic wrinkle mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606095B1 (en) * 1998-06-08 2003-08-12 Microsoft Corporation Compression of animated geometry using basis decomposition
JP2003090715A (ja) * 2002-03-06 2003-03-28 Techno Dream 21:Kk 画像データ計測装置及び画像データを用いた対象物体の自由変形を含む任意視点画像作成方法
CN1846234A (zh) * 2003-09-03 2006-10-11 日本电气株式会社 形态变形装置、物体动作编码装置以及物体动作解码装置
JP2008117147A (ja) * 2006-11-02 2008-05-22 Konami Digital Entertainment:Kk 画像処理装置、画像処理方法、ならびに、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411493A (zh) * 2015-07-27 2017-02-15 腾讯科技(深圳)有限公司 街景采集数据同步方法、装置及系统
CN106411493B (zh) * 2015-07-27 2019-03-15 腾讯科技(深圳)有限公司 街景采集数据同步方法、装置及系统
WO2023029892A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP4746717B2 (ja) 2011-08-10
EP2474951A4 (en) 2017-05-10
US8139076B2 (en) 2012-03-20
EP2474951A1 (en) 2012-07-11
CN102301399B (zh) 2014-12-03
WO2011027534A1 (ja) 2011-03-10
JPWO2011027534A1 (ja) 2013-01-31
US20110221759A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US8803880B2 (en) Image-based lighting simulation for objects
JP2006506742A (ja) 皮膚又は類似物をデジタル式にレンダリングする方法
CN101685535A (zh) 图象处理方法
CN104011768A (zh) 数字图像放大用户界面
CN102136156B (zh) 用于介观几何结构调制的系统和方法
CN110648274B (zh) 鱼眼图像的生成方法及装置
US20030234784A1 (en) Accelerated visualization of surface light fields
CN115601484B (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
CN113220251A (zh) 物体显示方法、装置、电子设备及存储介质
JP4162398B2 (ja) 映像表示システムおよびその方法
CN102301399B (zh) 图像生成系统及图像生成方法
CN113039816A (zh) 信息处理装置、信息处理方法和信息处理程序
Alexiou et al. Benchmarking of objective quality metrics for colorless point clouds
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及系统
CN115661232A (zh) 位姿估算方法、模型训练方法和装置
WO2006051841A1 (ja) 質感再現システム
CN114565511B (zh) 基于全局单应性估计的轻量级图像配准方法、系统及装置
WO2004095321A1 (ja) 製品形状設計装置
CN107615278B (zh) 显示系统、数据处理装置以及显示用数据生成装置
CN114913287A (zh) 一种三维人体模型重建方法及系统
US11954867B2 (en) Motion vector generation apparatus, projection image generation apparatus, motion vector generation method, and program
CN108921908B (zh) 表面光场的采集方法、装置及电子设备
CN107478227B (zh) 交互式大型空间的定位算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant