CN101156175B - 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备 - Google Patents

3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备 Download PDF

Info

Publication number
CN101156175B
CN101156175B CN2006800115812A CN200680011581A CN101156175B CN 101156175 B CN101156175 B CN 101156175B CN 2006800115812 A CN2006800115812 A CN 2006800115812A CN 200680011581 A CN200680011581 A CN 200680011581A CN 101156175 B CN101156175 B CN 101156175B
Authority
CN
China
Prior art keywords
data
camera
dibr
real time
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800115812A
Other languages
English (en)
Other versions
CN101156175A (zh
Inventor
张敬子
韩万镇
金根豪
李信俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2006/001325 external-priority patent/WO2006109980A1/en
Publication of CN101156175A publication Critical patent/CN101156175A/zh
Application granted granted Critical
Publication of CN101156175B publication Critical patent/CN101156175B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Abstract

一种对三维(3D)对象建模的基于深度图像呈现(DIBR)方法,通过所述方法用深度信息、颜色信息和相机参数或者几何信息、颜色信息和相机参数来表示3D对象。相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),并且当执行3D对象的建模和渲染中的至少一个时,实时改变相机参数的值。

Description

3D对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
技术领域
本发明涉及三维(3D)对象的基于深度图像呈现(DIBR),更具体地讲,涉及这样一种对3D对象建模的DIBR方法:能够使动画数据的相机(camera)参数实时改变以提高3D对象的动画功能,并涉及使用该方法的3D对象的建模方法和设备以及渲染(render)方法和设备。
背景技术
图1是示出对基于深度图像呈现(DIBR)的对象建模以及使用在建模器(modeler)中产生的DIBR格式渲染DIBR对象的过程的系列示图。现在将参照图1解释DIBR建模过程。首先,使用创作工具(authoring tool),3D对象作为3D数据或动画3D数据被产生。使用DIBR模型,通过固定相机参数以及相机参数的深度和颜色信息表示3D数据,从而以MPEG DIBR格式产生3D数据。
此外,根据DIBR渲染过程,通过使用DIBR渲染器并通过使用在建模器中产生的相机参数以及相机参数的深度和颜色信息,产生视体(viewvolume)和DIBR对象,如图1所示。随后,产生相机视锥(camera view frustum),并将视锥中的DIBR对象投影到屏幕上。
当使用DIBR方法产生或渲染3D数据时,在MPEG规范的DepthImage节点和DepthImage V2节点表示需要的相机参数、深度信息和颜色信息。MPEG DepthImage节点和DepthImage V2节点如下所示。这里,相机参数包括在DepthImage节点和DepthImage V2节点的字段中。
DepthImage{#%NDT=SF3Dnode
field SFVec3f position 0 0 1 0
field SFRotation orientation 0 0 1 0
field SFVec2f fieldOfView 0.785398 0.785398
field SFFloat nearPlane 10
field SFFloat farPlane 100
field SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
DepthImageV2{#%NDT=SF3DNode
field SFVec3fposition 0 0 10
field SFRotation orientation 0 0 1 0
field SFVec2f fieldOfView 0.785398 0.785398
field SFFloat nearPlane 10
field SFFloat farPlane 100
field SFVec2f splatMinMax 0.1115 0.9875
field SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
表示相机参数信息的字段包括:位置(position)字段、方位(orientation)字段、相机的视界或角度的范围(fieldOfView)字段、相机视体(camera volume)的前面和后面(nearPlane和farPlane)字段、关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic)字段以及具有深度和颜色信息的diTexture字段。此外,除了这些字段,DepthImageV2节点还包括指示在屏幕上绘出的形状(即,splat向量长度的最小值和最大值)的字段(splatMinMax)。
包括在DepthImage节点和DepthImage V2节点中的指示相机参数信息的字段为:位置(position)、方位(orientation)、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic)(相机参数:position、orientation、fieldOfView、nearPlane、farPlane、orthographic),并且所述字段被定义为字段(field)类型。
这里,当相机参数字段被定义为字段类型时,一旦相机参数值被设置,则所述参数值不能被改变。因此,当通过使用DepthImage节点和DepthImageV2节点产生静止或动画和/或变形的DIBR数据时,相机参数仅能够被设置一次。此外,当渲染DIBR数据时,应该没有改变地使用在建模器中设置的相机参数,以产生视体,并且应该在所述视体中表示DIBR对象。
图2是示出使用固定相机参数产生和渲染静止或动画的DIBR数据的过程的示意图,所述固定相机参数具有字段类型(位置(position)、方位(orientation)、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic))。
由于在建模阶段一旦设置了相机参数值,该值就不能被改变,所以不考虑相机动画的可能性。因此,即使在渲染阶段,也只有在建模阶段设置的固定相机参数才能被使用。
还是在建模阶段,由于只使用具有字段类型的固定相机参数,因此改变相机参数从而该相机参数变得适合于动态地使对象变形以对动态变形的对象建模是不可行的。因此,如图3所示,当产生动画和变形的对象的动画时,可看到期望产生的动画的所有帧。随后,应计算对象的最大边界框(boundingbox)。这是需要适当地设置对象的边界框以在执行建模时保持所有对象的合适的分辨率所需的过程。因此,与视锥对应的相机参数被设置。随后,当在建模阶段添加超出边界框的动画帧时,需要更新最大边界框。应该更新边界框,并且应该从第一帧再次产生动画(2Pass)。因此,在传统的使用固定相机参数对图像建模和/或渲染图像的处理中,额外的操作减小了创作速度并导致不方便。此外,使用不必要的存储空间。因此,不能产生反映相机参数的实时动画。
此外,当执行建模和渲染时,存在恢复的图像的画面质量下降的可能性。更具体地说,不能改变相机参数值的静止相机不能跟踪随时间改变的运动对象。此外,静止相机可能丢失隐藏区域中以及运动对象的变形区域中的数据。
发明内容
本发明的多个方面提供一种具有适合于在DIBR建模器中对变形的运动对象建模的相机参数对三维(3D)对象建模的基于深度图像呈现(DIBR)方法。
本发明的多个方面还提供一种使用对3D对象建模的DIBR方法的适合于DIBR动画的3D对象建模的方法和设备。
本发明的多个方面还提供一种用于渲染实时反映相机参数的改变的DIBR动画的方法和设备,其中,使用对3D对象建模的DIBR方法建模的数据被渲染。
根据本发明的多个方面,根据3D对象的DIBR方法和使用该方法的建模方法及设备以及渲染方法和设备,在DepthImage节点中,相机参数被设置为“exposedField”,以便相机的运动和视锥可以根据3D对象的运动或变形而改变。此外,通过使用DepthImage的相机参数,可在建模阶段获得适合于DIBR模型的特性的参考图像。此外,通过使用相机运动、可变视锥和作为建模结果产生的参考图像,在渲染阶段产生视锥和DIBR对象。
即,在建模期间,通过提供适合于运动对象的建模方法(即,允许相机自由运动的视锥以及根据运动对象的运动或变形的对相机的控制),创作可容易被执行。此外,在渲染期间,用被设置为修改的字段类型(即,exposedField类型)的DepthImage节点规范中的相机,动画可被适应性地渲染而画面质量不会下降。
使用修改为“exposedField”类型的相机参数的相机动画的产生具有下面的优点。由于可为对象的边界框合适地设置相机视体(相机视锥),因此可节省存储空间。
此外,当执行建模时,如图4所示,提取适合于正在产生的动画的每一帧的对象的边界框,从而不需要提取包括正在产生的动画的所有帧的最大边界框的相机动画信息,并且可容易地执行创作而不降低建模速度(1Pass)。此外,由于提取具有适合于每一帧的大小的边界框,因此提高了渲染的画面质量。此外,在建模阶段,相机参数控制功能使相机的位置、方位和视锥能够被调整。
对于对象的动画路径,也可改变相机的位置。此外,当执行建模时,可容易地执行创作。
在渲染阶段,可使用动态相机参数调整画面质量。因此,通过适应性地调整分辨率,与传统方法相比,可提高画面质量。
根据本发明的一方面,提供一种对三维(3D)对象建模的基于深度图像呈现(DIBR)方法,通过所述方法,用深度信息、颜色信息和相机参数或者几何信息、颜色信息和相机参数来表示3D对象,其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),并且在执行3D对象的建模和渲染中的至少一个时,可实时改变相机参数的值。可将表示实时改变的相机参数的数据结构的字段类型设置为指示字段能够实时改变的exposedField。
根据本发明的另一方面,提供一种用于对3D对象建模的DIBR设备,包括:3D数据处理单元,将相机参数添加到输入的3D对象的静止数据和动画数据的至少一个,如果动画数据实时改变,则实时改变对应于动画数据的相机参数,从所述静止数据或动画数据中提取表示3D对象的点或点云基元;DIBR数据产生单元,将在3D数据处理单元中产生的数据转换为DIBR数据格式;相机动画数据产生单元,从在3D数据处理单元中产生的数据中提取动画数据的时间信息和对应于动画数据并实时改变的相机参数值。
根据本发明的另一方面,提供一种对3D对象建模的DIBR方法,包括:将相机参数添加到输入的3D对象的静止数据和动画数据的至少一个,如果动画数据实时改变,则实时改变对应于动画数据的相机参数;从所述静止数据或动画数据中提取表示3D对象的点和/或点云基元;将处理的数据转换为DIBR数据格式;从处理的数据中提取动画数据的时间信息和对应于动画数据并实时改变的相机参数值。
根据本发明的另一方面,提供一种用于渲染3D对象的DIBR设备,包括:DIBR输入单元,接收3D对象的DIBR数据;相机动画数据输入单元,接收3D对象的动画数据的时间信息以及对应于动画数据并实时改变的相机参数值;动画再现单元,通过使用DIBR数据、动画数据的时间信息和对应于所述动画数据的相机参数值来再现3D对象的动画。
根据本发明的另一方面,提供一种渲染3D对象的DIBR方法,包括:接收3D对象的DIBR数据;接收3D对象的动画数据的时间信息以及对应于动画数据并实时改变的相机参数值;通过使用DIBR数据、动画数据的时间信息和对应于所述动画数据的相机参数值来再现3D对象的动画。
根据本发明的另一方面,提供一种渲染3D对象的DIBR方法,包括:接收相机运动信息、可变视锥信息和通过对3D对象建模产生的参考图像;使用所述相机运动信息、所述可变视锥信息和所述参考图像产生DIBR对象,并在渲染时使用可变视锥信息和相机运动信息。
根据本发明的另一方面,提供一种实施有用于执行所述方法的计算机程序的计算机可读记录介质。
附图说明
图1是示出对基于深度图像呈现(DIBR)对象建模以及使用在建模器中产生的DIBR格式渲染DIBR对象的过程的系列示图;
图2是示出根据传统方法使用固定相机参数对图像建模和渲染图像的过程的示意性流程图;
图3示出当使用固定相机参数实现DIBR动画时获得对象的边界框的传统步骤;
图4示出根据本发明实施例的当实现DIBR动画时获得对象的边界框的步骤;
图5是添加了根据本发明实施例的相机动画支持功能的用于对3D对象建模的DIBR建模设备的结构的框图;
图6是示出根据本发明实施例的对3D对象建模的DIBR建模方法的流程图;
图7是添加了根据本发明实施例的相机动画支持功能的用于对3D对象建模的DIBR渲染设备的结构的框图;
图8是示出根据本发明实施例的对3D对象建模的DIBR渲染方法的流程图;
图9是添加了根据本发明实施例的相机动画支持功能的用于3D对象的建模和渲染设备的整个结构的框图;
图10示出作为用于3D图形数据的创作工具的3DS MAX创作工具屏幕。
具体实施方式
现在将详细描述本发明的实施例,本发明的示例在附图中示出,其中,相同的标号始终代表相同的部件。下面参考附图描述实施例以解释本发明。
现在将参照附图更全面地描述对三维(3D)对象建模的基于深度图像呈现(DIBR)方法以及使用该方法的用于3D对象的建模方法和设备及渲染方法和设备,本发明的示例性实施例在附图中示出。
首先,现在将解释根据本发明实施例的对3D对象建模的DIBR方法。
为了产生实时反映相机参数的DIBR动画,应该在MPEG DepthImage节点和DepthImage V2节点中改变指示位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic)的相机参数字段(position、orientation、fieldOfView、nearPlane、farPlane、orthographic)的类型。
如下所示,这些字段的类型从指示固定相机参数的“字段(field)”类型改变为实时反映相机参数改变的“exposedField”类型。
DepthImage{#%NDT=SF3DNode
exposedField SFVec3f position 0 0 10
exposedField SFRotation orientation 0 0 1 0
exposedField SFVec2f fieldOfViewπ/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
exposedField SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
DepthImageV2{#%NDT=SF3DNode
exposedField SFVec3 f position 0 0 1 0
exposedField SFRotation orientation 0 0 1 0
exposedField SFVec2f fieldOfViewπ/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
field SFVec2f splatMinMax 0.1115 0.9875
exposedField SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
如果其类型改变为“exposedField”类型的相机参数用于相机动画,则可相对于对象的边界框适当地调整相机视体(相机视锥)。此外,当执行建模时,提取适合于正产生的动画的每一帧的对象的边界框,如图4所示。因此,不需要提取包括正产生的动画的所有帧的最大边界框(BB)的相机动画信息。因此,可容易地执行创作而不会降低建模速度(1Pass)。此外,由于提取了具有适合于每一帧的大小的边界框,因此提高了渲染的画面质量。在建模阶段,提供改变相机参数的功能,从而可调整相机的位置、方位和视锥。此外,可沿着对象的动画路径改变相机的位置。在渲染阶段,可使用动态相机参数调整画面质量。
在MPEG标准中,已将关于DepthImage节点和DepthImage V2节点的相机参数的字段的类型改变为“exposedField”。因此,在建模过程中,可改变相机参数。此外,已经采用DIBR中的外部相机参数的修改草稿。
图5是添加了相机动画支持功能的用于3D对象的DIBR建模设备的结构的框图。如图5所示,DIBR建模设备包括:3D数据处理单元500、DIBR数据产生单元520和相机动画数据产生单元540。
3D数据处理单元500将相机信息添加到输入的3D对象的静止数据和动画数据中的至少一个。如果动画数据实时改变,则3D数据处理单元500实时改变对应于动画数据的相机参数。此外,3D数据处理单元500从静止数据或动画数据中提取表示3D对象的点或点云基元(Point cloud primitive)。
通常由图10中示出的创作工具产生静止数据或动画数据。相机信息包括相机的数量以及相机参数信息。
DIBR数据产生单元520将在3D数据处理单元500中产生的数据转换为DIBR数据格式。例如,产生在MPEG中提供的节点(DepthImage、SimpleTexture、PointTexture、OctreeIma、DepthImageV2、SimpleTextureV2和PointTextureV2)作为DIBR数据。DIBR数据格式包括参考图像。
相机动画数据产生单元540提取动画数据的时间信息和相机参数值,该相机参数值对应于动画数据,并随着在3D数据处理单元500中产生的数据实时改变。
所述相机参数基本上类似于在对3D对象建模的DIBR方法中所使用的相机参数。也就是说,相机参数包括:位置(position)、方位(orientation)、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),并且当执行对3D对象建模和渲染3D对象的至少一个时,可实时改变相机参数的值。
如上所述,本发明涉及三维(3D)对象的基于深度图像呈现(DIBR),更具体地讲,涉及这样一种对3D对象建模的DIBR方法:能够使动画数据的相机参数实时改变以提高3D对象的动画功能,并涉及使用该方法的用于3D对象的建模方法和设备以及渲染方法和设备。图6是示出对3D对象建模的DIBR方法的流程图。参考图5和图6,现在将解释对3D对象建模的DIBR方法和使用该DIBR方法的图5的建模设备的操作。
如果3D对象的静止数据和动画数据的至少一个输入到3D数据处理单元500,则在操作600中,3D数据处理单元500将相机信息添加到静止数据或动画数据。这里,如果在操作610中动画数据实时改变,则在操作620中对应于动画数据的相机参数也实时改变。此外,在操作630中,3D数据处理单元500从静止数据或动画数据中提取表示3D对象的点或点云基元。
在操作640中,在操作600至630中由DIBR数据产生单元520处理的数据被转换为DIBR数据格式。DIBR数据格式包括参考图像。
此外,在操作650中,相机动画数据产生单元540从在操作600至630处理的数据中提取动画数据的时间信息以及对应于动画数据并实时改变的相机参数值。
图7是添加了相机动画支持功能的用于对3D对象建模的DIBR渲染设备的结构的框图。DIBR渲染设备包括:DIBR数据输入单元700、相机动画数据输入单元720以及动画再现单元740。
DIBR数据输入单元700接收3D对象的DIBR数据。相机动画数据输入单元720接收动画数据的时间信息以及对应于动画数据并实时改变的相机参数值。通过使用DIBR数据、动画数据的时间信息和对应于动画数据并实时改变的相机参数值,DIBR动画再现单元740再现3D对象的动画。
图8是示出渲染3D对象的DIBR方法的流程图。参照图7和图8,现在将解释渲染3D对象的DIBR方法和使用所述DIBR方法的图7的渲染设备的操作。
在操作800中,通过DIBR数据输入单元700接收3D对象的DIBR数据。此外,在操作820中,通过相机动画数据输入单元720,接收3D对象的动画数据的时间信息以及对应于动画数据并实时改变的相机参数值。如果接收到DIBR数据、动画数据的时间信息以及对应于动画数据并实时改变的相机参数值,则在操作840中,通过使用DIBR数据、动画数据的时间信息和对应于动画数据并实时改变的相机参数值,DIBR动画再现单元740再现3D对象的动画。结果,实现了反映相机参数的实时DIBR动画。
图9是添加了相机动画支持功能的用于3D对象的建模和渲染设备的整个结构的框图。
在图10中示出实施例。
同时,本发明可用于产生并渲染静止或动画DIBR数据。
本发明还可实施为在一个或多个计算机上使用的一个或多个计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是任何存储其后可以被计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的示例包括:只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置、或者它们的组合。
尽管已经显示和描述了本发明的几个实施例,但是本领域的技术人员应该理解,在不脱离本发明的原理和精神的情况下,可以对这些实施例进行改变,其中,本发明的范围由权利要求及其等同物限定。

Claims (14)

1.一种对三维(3D)对象建模的基于深度图像呈现(DIBR)方法,通过所述方法用深度信息、颜色信息和相机参数或者几何信息来表示3D对象,所述方法包括:
根据相机参数对3D对象建模和/或渲染;在执行3D对象的建模和/或渲染的同时,通过建模和/或渲染设备实时改变多个不同相机参数的值,其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfview)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,产生反映实时改变的多个不同相机参数的值的DIBR数据。
2.如权利要求1所述的方法,其中,将表示相机参数的数据结构的字段类型设置为指示字段能够被实时改变的exposedField。
3.如权利要求2所述的方法,其中,对于所述DepthImage节点,可实时改变的相机参数中的节点的名称、字段的类型、字段的数据格式、字段的名称以及字段的初始值被表示为下面的数据结构:
DepthImage{#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfViewπ/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
exposedField SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}。
4.如权利要求2所述的方法,其中,对于所述DepthImageV2节点,可实时改变的相机参数中的节点的名称、字段的类型、字段的数据格式、字段的名称以及字段的初始值被表示为下面的数据结构:
DepthImageV2{#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfViewπ/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
field SFVec2f splatMinMax 0.11150.9875
exposedField SFBool orthographic TRUE
field SFDepth TextureNode diTexture NULL
}。
5.一种用于对三维(3D)对象建模的基于深度图像呈现(DIBR)设备,所述设备包括:
3D数据处理单元,将相机参数添加到输入的3D对象的静止数据和/或动画数据的至少一个,当动画数据实时改变时,根据动画数据实时改变多个不同相机参数,从所述静止数据和/或动画数据中提取表示3D对象的点和/或点云基元,
其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),
其中,3D数据处理单元通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,产生反映实时改变的多个不同相机参数的值的DIBR数据;
DIBR数据产生单元,将在3D数据处理单元中产生的数据转换为DIBR数据格式;
相机动画数据产生单元,从在3D数据处理单元中产生的数据中提取动画数据的时间信息和对应于动画数据并实时改变的相机参数值。
6.如权利要求5所述的设备,其中,DIBR数据产生单元的DIBR数据格式包括参考图像。
7.一种对3D对象建模的基于深度图像呈现(DIBR)方法,所述方法包括:
将相机参数添加到输入的3D对象的静止数据和/或动画数据,当动画数据实时改变时,根据动画数据实时改变多个不同相机参数,
其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,产生反映实时改变的多个不同相机参数的值的DIBR数据;
从所述静止数据和/或动画数据中提取表示3D对象的点和/或点云基元;
将处理的数据转换为DIBR数据格式;
从处理的数据中提取动画数据的时间信息和对应于实时改变的动画数据的相机参数值。
8.如权利要求7所述的方法,其中,在将处理的数据转换为DIBR数据格式的步骤中,DIBR数据产生单元的DIBR数据格式包括参考图像。
9.一种用于渲染3D对象的基于深度图像呈现(DIBR)设备,所述设备包括:
DIBR输入单元,接收3D对象的DIBR数据;
相机动画数据输入单元,接收3D对象的动画数据的时间信息以及对应于动画数据并实时改变的多个不同相机参数值,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),并且当执行3D对象的建模和渲染中的至少一个时,实时改变所述相机参数的值;
动画再现单元,使用DIBR数据、动画数据的时间信息和对应于所述动画数据的相机参数值再现3D对象的动画,
其中,通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,DIBR输入单元接收的所述DIBR数据反映实时改变的不同相机参数的值。
10.一种渲染3D对象的基于深度图像呈现(DIBR)方法,所述方法包括:
接收3D对象的DIBR数据;
接收3D对象的动画数据的时间信息以及对应于所述动画数据并可实时改变的多个不同相机参数值,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
使用DIBR数据、动画数据的时间信息和对应于所述动画数据的相机参数值再现3D对象的动画,
其中,通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,接收的3D对象的DIBR数据反映实时改变的不同相机参数的值。
11.一种渲染3D对象的基于深度图像呈现(DIBR)方法,所述方法包括:
接收相机运动信息、可变视锥信息和通过对3D对象建模产生的参考图像;
使用所述相机运动信息、可变视锥信息和参考图像产生DIBR对象,并在渲染时使用可变视锥信息和相机运动信息,
其中,在执行3D对象的建模和/或渲染的同时,改变多个不同相机参数的值,其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
其中,通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,产生反映实时改变的多个不同相机参数的值的DIBR数据。
12.一种用于对3D对象建模的基于深度图像呈现(DIBR)渲染设备,所述渲染设备被添加了相机动画支持功能,所述渲染设备包括:
DIBR数据输入单元,接收3D对象的DIBR数据;
相机动画数据输入单元,接收实时改变的动画数据的时间信息以及对应于所述实时改变的动画数据的相机参数值,其中,相机参数值中,实时改变多个不同相机参数的值,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
动画再现单元,使用所述DIBR数据、所述时间信息和所述相机参数值再现3D对象的动画,
其中,通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,DIBR数据输入单元接收的所述DIBR数据反映实时改变的多个不同相机参数的值的DIBR数据。
13.一种用于对三维(3D)对象建模和渲染3D对象的基于深度图像呈现(DIBR)设备,所述设备包括:
用于将多个不同相机参数添加到输入的3D对象的图像数据的单元,当图像数据实时改变时,所述单元根据图像数据的改变来改变多个不同相机参数的值,从图像数据中提取表示3D对象的数据,并将提取的数据转换为DIBR数据,
其中,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic),
其中,通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,所述单元产生反映实时改变的多个不同相机参数的值的DIBR数据;
相机动画数据产生单元,从由3D数据处理单元提取的数据中提取时间信息和对应于图像数据并可根据图像数据的改变而实时改变的相机参数值;
DIBR数据输入单元,接收DIBR数据;
相机动画数据输入单元,接收所述时间信息和所述相机参数值;
动画再现单元,使用DIBR数据、所述时间信息和所述相机参数值再现3D对象的动画。
14.一种对三维(3D)对象建模和/或渲染3D对象的基于深度图像呈现(DIBR)方法,所述3D对象由图像信息和相机参数表示,所述方法包括:
根据图像信息和相机参数对3D对象建模和/或渲染;
在执行3D对象的建模和/或渲染的同时,通过建模和/或渲染设备实时改变相机参数的值,相机参数包括:位置、方位、相机的视界或角度的范围(fieldOfView)、相机视体的前面和后面(nearPlane和farPlane)以及关于对象被正交地投影到相机还是被透视地投影到相机的投影信息(orthographic);
通过将MPEG DepthImage节点和DepthImage V2节点中的至少一个中的字段类型改变为反映实时改变的多个不同相机参数的值的字段类型,产生反映实时改变的多个不同相机参数的值的DIBR数据。
CN2006800115812A 2005-04-11 2006-04-11 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备 Expired - Fee Related CN101156175B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US66992605P 2005-04-11 2005-04-11
US60/669,926 2005-04-11
KR1020050100895 2005-10-25
KR1020050100895A KR100707206B1 (ko) 2005-04-11 2005-10-25 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
KR10-2005-0100895 2005-10-25
PCT/KR2006/001325 WO2006109980A1 (en) 2005-04-11 2006-04-11 Depth image-based representation method for 3d object, modeling method and apparatus, and rendering method and apparatus using the same

Publications (2)

Publication Number Publication Date
CN101156175A CN101156175A (zh) 2008-04-02
CN101156175B true CN101156175B (zh) 2011-05-25

Family

ID=37627856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800115812A Expired - Fee Related CN101156175B (zh) 2005-04-11 2006-04-11 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备

Country Status (4)

Country Link
US (1) US8111254B2 (zh)
JP (1) JP4777416B2 (zh)
KR (1) KR100707206B1 (zh)
CN (1) CN101156175B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
US9641822B2 (en) 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
US8279222B2 (en) * 2008-03-14 2012-10-02 Seiko Epson Corporation Processing graphics data for a stereoscopic display
EP2308241B1 (en) 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
EP2360930A4 (en) * 2008-12-18 2015-03-25 Lg Electronics Inc METHOD FOR THREE-DIMENSIONAL IMAGE SIGNAL PROCESSING AND IMAGE DISPLAY SCREEN FOR PROCESS IMPLEMENTATION
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
WO2010088840A1 (en) 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US8531473B2 (en) * 2009-07-28 2013-09-10 Technion R&D Foundation Ltd. Photogrammetric texture mapping using casual images
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
CN103038797B (zh) * 2010-05-25 2016-05-04 田载雄 动画制作系统以及动画制作方法
US20130293547A1 (en) * 2011-12-07 2013-11-07 Yangzhou Du Graphics rendering technique for autostereoscopic three dimensional display
CN104050712B (zh) * 2013-03-15 2018-06-05 索尼公司 三维模型的建立方法和装置
CN103295255B (zh) * 2013-04-02 2016-05-18 深圳市瑞云科技有限公司 一种提供用户进行远程渲染的装置
CN103247067A (zh) * 2013-04-02 2013-08-14 深圳市瑞云科技有限公司 一种远程渲染方法及云渲染平台
US10178366B2 (en) 2014-01-03 2019-01-08 Intel Corporation Real-time 3D reconstruction with a depth camera
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
US20170308736A1 (en) * 2014-10-28 2017-10-26 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
CN105021124B (zh) * 2015-04-16 2018-02-16 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN105100707A (zh) * 2015-06-29 2015-11-25 遵义宏港机械有限公司 一种数控铣床实时建模监控系统
US10032307B2 (en) 2016-08-10 2018-07-24 Viacom International Inc. Systems and methods for a generating an interactive 3D environment using virtual depth
CN107958446B (zh) * 2016-10-17 2023-04-07 索尼公司 信息处理设备和信息处理方法
CN107238374B (zh) * 2017-05-04 2019-05-07 华南农业大学 一种不规则平面零件的分类和识别定位方法
CN108537163A (zh) * 2018-04-04 2018-09-14 天目爱视(北京)科技有限公司 一种基于可见光拍照的生物特征四维数据识别方法及系统
US11070706B2 (en) * 2018-11-15 2021-07-20 Sony Corporation Notifications for deviations in depiction of different objects in filmed shots of video content
CN109784145B (zh) * 2018-12-05 2021-03-16 北京华捷艾米科技有限公司 基于深度图的目标检测方法及存储介质
CN111640173B (zh) * 2020-05-09 2023-04-21 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及系统
CN115428027A (zh) 2020-05-13 2022-12-02 上海科技大学 神经不透明点云
KR20220064045A (ko) 2020-11-11 2022-05-18 삼성전자주식회사 영상을 생성하는 방법 및 장치와 영상 생성을 위한 신경망을 트레이닝하는 방법
CN115131527B (zh) * 2022-05-27 2023-06-02 北京五八信息技术有限公司 相机切换方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331853B1 (en) * 1997-11-28 2001-12-18 Sony Corporation Display control apparatus display control method and presentation medium
EP1321893A2 (en) * 2001-11-27 2003-06-25 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR980010875A (ko) * 1996-07-23 1998-04-30 김광호 3차원 렌더링 방법
US5923330A (en) * 1996-08-12 1999-07-13 Ncr Corporation System and method for navigation and interaction in structured information spaces
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
EP1321894B1 (en) 2001-11-27 2011-11-09 Samsung Electronics Co., Ltd. Apparatus and method for representing 3-dimensional objects using depth images
US20040219980A1 (en) 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
KR200343637Y1 (ko) 2003-11-13 2004-03-04 신안전자 주식회사 줄긋기 홈을 갖는 골프공 케이스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331853B1 (en) * 1997-11-28 2001-12-18 Sony Corporation Display control apparatus display control method and presentation medium
EP1321893A2 (en) * 2001-11-27 2003-06-25 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
CN1430183A (zh) * 2001-11-27 2003-07-16 三星电子株式会社 用深度图像表示三维物体的节点结构

Also Published As

Publication number Publication date
JP2008536234A (ja) 2008-09-04
KR20060107899A (ko) 2006-10-16
CN101156175A (zh) 2008-04-02
JP4777416B2 (ja) 2011-09-21
US8111254B2 (en) 2012-02-07
US20060227132A1 (en) 2006-10-12
KR100707206B1 (ko) 2007-04-13

Similar Documents

Publication Publication Date Title
CN101156175B (zh) 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
US8933928B2 (en) Multiview face content creation
KR101145260B1 (ko) 3d 객체 모델에 텍스쳐를 매핑하는 방법 및 장치
US8154544B1 (en) User specified contact deformations for computer graphics
US8624901B2 (en) Apparatus and method for generating facial animation
EP3533218B1 (en) Simulating depth of field
JP2008102972A (ja) 自動3dモデリングシステム及び方法
US9196076B1 (en) Method for producing two-dimensional animated characters
JP2003091745A (ja) 三次元シーンでイメージベースのレンダリング情報を表現するための方法
CN105892681A (zh) 虚拟现实终端及其场景的处理方法和装置
CN113689538A (zh) 一种视频生成方法、装置、电子设备及存储介质
CN116583881A (zh) 用于体积视频数据的数据流、设备和方法
CN112926614A (zh) 箱体标注图像扩充方法、装置及计算机可读存储介质
Tian et al. Research on Visual Design of Computer 3D Simulation Special Effects Technology in the Shaping of Sci-Fi Animation Characters
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
US11354878B2 (en) Method of computing simulated surfaces for animation generation and other purposes
JP2002092639A (ja) パーティクルの挙動を表示するアニメーション生成方法および装置
JP2011198138A (ja) 漫画作成支援装置、漫画作成支援方法およびプログラム
El Rhalibi et al. Highly realistic mpeg-4 compliant facial animation with charisma
Vanakittistien et al. Game‐ready 3D hair model from a small set of images
JP3708904B2 (ja) 画像処理プログラム
Scandolo et al. Gradient‐Guided Local Disparity Editing
WO2006109980A1 (en) Depth image-based representation method for 3d object, modeling method and apparatus, and rendering method and apparatus using the same
CN116524087A (zh) 融合神经辐射场的音频驱动的说话人视频合成方法及系统
Kondo et al. Directable animation of elastic bodies with point‐constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110525

Termination date: 20170411

CF01 Termination of patent right due to non-payment of annual fee