CN101583976A - 在具备立体功能的显示器上呈现三维视频图像 - Google Patents

在具备立体功能的显示器上呈现三维视频图像 Download PDF

Info

Publication number
CN101583976A
CN101583976A CNA2008800016568A CN200880001656A CN101583976A CN 101583976 A CN101583976 A CN 101583976A CN A2008800016568 A CNA2008800016568 A CN A2008800016568A CN 200880001656 A CN200880001656 A CN 200880001656A CN 101583976 A CN101583976 A CN 101583976A
Authority
CN
China
Prior art keywords
view
background surfaces
foreground facets
facets
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008800016568A
Other languages
English (en)
Inventor
王浩宏
李向川
沙拉什·曼朱纳什
齐英勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101583976A publication Critical patent/CN101583976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

本发明描述在具备立体功能的显示器(例如，立体显示器(stereoscopic display)或自由立体显示器(autostereoscopic display))上呈现3D视频图像。所述过程包括：剔除背对观察者的面；界定左视图和右视图的前景面和共同背景面；针对这些面确定照明；以及使用一个视图(例如，左视图)的面的计算结果执行另一视图(即，右视图)的屏幕映射和场景呈现。在一个实施例中，在低功率装置(例如，移动电话、计算机、视频游戏平台或个人数字助理(PDA)装置)的所述具备立体功能的显示器上提供图像的视觉化。

Description

在具备立体功能的显示器上呈现三维视频图像
技术领域
本发明大体上涉及计算机图形领域，且更具体来说，涉及用于在具备立体功能的显示器上有效地呈现3D图像的技术。
背景技术
立体视频处理的计算复杂性是呈现3D图形且具体来说在低功率(即，电池供电)装置(例如，移动电话、个人数字助理(PDA)装置等)中视觉化3D场景和视频游戏的主要因素。
一般来说，在具备立体功能的显示器(例如，自由立体显示器或立体显示器)上呈现3D图形的困难来自立体视频处理的效率和真实性方面。低功率装置的有限计算资源可使3D图形的呈现为过度耗时的例程。尽管相当可观的努力致力于增加立体视频处理的性能，但将需要进一步改进。
因此，在此项技术中需要用以在具备立体功能的显示器上有效地实施真实性增强的3D视频图像的呈现的技术。
发明内容
本文中描述在具备立体功能的显示器上有效呈现3D视频图像的技术。在一实施例中，在视频数据的3D模型视图变换期间，剔除背对观察者的面。对于第一视图(例如，左视图)来说，选择性地界定对应于比预定深度阈值近地安置的场景元素的第一前景面和对应于超出预定深度阈值而安置的这些元素的第一背景面。对于第二视图来说，界定对应于比预定深度阈值近地安置的场景元素的第二前景面，而采用第一背景面作为第二背景面。针对第一前景面、第一背景面和第二前景面确定照明。分别基于第一前景面和第一背景面而针对第一视图执行屏幕映射和场景呈现计算，且基于第二前景面和第一背景面而针对第二视图执行屏幕映射和场景呈现计算。
在一种设计中，所述方法用于在电池供电型装置(例如，移动电话、移动计算机、视频游戏平台或PDA装置)的立体显示器或自由立体显示器上视觉化视频图像。
以下进一步详细描述本发明的各种方面和实施例。
附图说明
图1展示说明用于在具备立体功能的显示器上呈现3D视频图像的方法的流程图。
图2展示说明用于在图1的方法中使用的面分类程序期间确定深度阈值的方法的示意图。
图3展示适于使用图1的方法的示范性装置的框图。
为了促进理解，除了可能添加后缀(在适当时)以区分相同元件外，在任何可能处已使用相同参考数字表示对于各图为共同的这些元件。出于说明性目的，简化图式中的图像且并未按比例描绘图像。预期在无另外叙述的情况下，一个实施例的特征或步骤可被有利地并入到其它实施例中。
具体实施方式
参看各图，图1描绘说明根据本发明的一个实施例用于在具备立体功能的显示器上呈现3D视频图像的方法100的流程图。在示范性应用中，方法100用以减小在电池供电(例如，低功率)装置上显示立体图形的功率消耗和计算复杂性且改进性能，且具体来说改进经视觉化图像的深度感和真实感。电池供电型装置可包括(但非限制)移动电话、移动计算机、视频游戏平台或PDA装置。
方法100通过从不同角度和观察点视觉化场景而产生左眼和右眼的单独视图(即，左视图和右视图)，其中通过再现由观察者的眼睛之间的眼距引起的双眼视差而增强深度感。视图经选择性地导向观察者的左眼和右眼，且从观察者的观点，左视图与右视图之间的差异增加深度感和真实感。
对应于呈现左视图和右视图的方法步骤的序列分别表示为103和105。下文中，后缀“A”和“B”用以在对用于呈现左视图和右视图的经输入视频数据执行的处理之间进行区分。说明性地，后缀“A”识别经执行以用于呈现左视图的方法步骤。
在各种实施例中，方法100的方法步骤以所描绘的次序执行或这些步骤中的至少两者或其若干部分可同时、并行或以不同次序执行。举例来说，步骤140A和140B或步骤160A和170B可同时或并行执行，且可在步骤150A之前执行步骤152A。所属领域的技术人员将容易了解，执行以下论述的其它方法步骤、处理或例程中的至少一部分的次序也可加以修改。
在步骤110A处，针对左视图执行经输入视频数据的3D模型视图变换。在3D模型视图变换例程期间，观察者面向3D世界坐标系统的z维度而位于中心处，且场景中的几何物件被映射到左视图面(即，三角形面)中。
在步骤120A处，为了节省计算资源且因而增加视频处理的效率，将背对观察者的面(即，观察者不可见的面)从待用于呈现左视图的面的数据库剔除或移除。
在步骤130A处，将剩余左视图面(即，对应于场景的几何物件的观察者的左眼可见的元素的面)分类为两种类别。第一类别包括对应于比预定深度阈值Z0近地安置的场景元素的左视图前景面(展示于图2中)。相应地，第二类别包括对应于超出预定深度阈值而安置的场景元素的左视图背景面。
面的分类基于以下观察：场景中的几何物件之间的视差(如在左视图和右视图中的图像点之间以像素为单位所测量的)随着从观察者到物件的距离增加而减小且最终在这些物件距离观察者足够远而安置时变为零。
可将深度阈值Z0界定为距观察者的最大距离，当通过观察者的眼睛中的任一者观察时，超出所述深度阈值Z0的任何物件对应于相同像素(以下参看图2详细论述)。相应地，如以下参看步骤170A和170B所论述，可仅针对一个视图(本文中为左视图)执行对超出深度阈值Z0而安置的物件的遮影(shading)。
在步骤140A处，执行照明处理以确定左视图前景面和左视图背景面的颜色属性。
在步骤150A处，执行3D到2D透视变换以将左视图前景面投影于2D图像平面上。
在步骤152A处，针对左视图背景面执行3D到2D透视变换。
在步骤160A处，在2D图像平面中，针对左视图执行屏幕映射处理。屏幕映射处理缩放左视图前景面和左视图背景面以适配于显示器的可见屏幕的大小，因此移除在屏幕外的几何物件或其部分。在步骤160A期间，将对应于左视图背景面的屏幕映射的数据的至少一部分选择性地保存于相应存储器媒体(例如，随机存取存储器(RAM))中以将来用于计算右视图，如以下参看步骤160B所论述。
在步骤170A处，针对左视图执行屏幕呈现处理。屏幕呈现处理包括以下计算例程中的至少一部分：(i)确定呈现左视图前景面和背景面的观察者可见部分的像素的亮度值的遮影例程；(ii)确定并移除左视图前景面和背景面的观察者不可见部分的隐藏表面移除(Hidden Surface Removal；HSR)例程；(iii)将可见左视图前景面和背景面转化为左视图物件面的纹理映射例程；以及(iv)选择性地组合左视图物件面的像素以界定像素属性的混合(blending)例程。
在步骤170A期间，将对应于左视图背景面的屏幕呈现的数据的至少一部分选择性地保存于存储器媒体中以将来用于计算右视图，如以下参看步骤170B所论述。
在步骤110B处，针对右视图执行经输入视频数据的3D模型视图变换。使用步骤120A和130A的计算结果(以链接121A展示)，在变换例程期间，三角形面的顶点以一方式进行过滤，所述方式限制条件为仅产生几何物件的观察者的右眼可见的元素的右视图前景面。共同地，这些右视图面对应于比预定深度阈值Z0近地安置的场景元素。此外，采用左视图背景面(在先前步骤130A处界定)作为右视图背景面。
仅基于一侧视图(即，左视图)剔除背对观察者的面减小视频数据处理量，但在某些情况下可在右视图呈现中引起近似误差。然而，实验和计算机模拟已证明，观察者的眼睛彼此的接近在多数应用中允许将这些错误维持于可接受的低水平。
在步骤140B处，执行照明处理以确定右视图前景面的颜色属性。
在步骤150B处，执行将右视图前景面投影于2D图像平面上的3D到2D透视变换。
在步骤160B处，在2D图像平面中，针对右视图执行屏幕映射处理。步骤160B的屏幕映射处理缩放右视图前景面以适配于显示器的可见屏幕的大小，且另外采用在步骤160A处保存的左视图背景面的屏幕映射的计算结果作为右视图背景面的屏幕映射数据(使用链接161A展示)。在操作中，利用在步骤160A期间执行的计算结果会减小针对右视图的屏幕映射处理的数据处理量和计算复杂性。
在步骤170B处，针对右视图执行屏幕呈现处理。步骤170B的屏幕呈现处理包括以下计算例程中的至少一部分：(i)遮影例程，其确定呈现右视图前景面的观察者可见部分的像素的亮度值；(ii)隐藏表面移除(HSR)例程，其确定并移除右视图前景面的观察者不可见部分；(iii)采用在步骤170A处保存的左视图背景面的屏幕呈现结果作为右视图背景面的屏幕呈现数据(使用链接171A展示)；(iv)纹理映射例程，其将可见右视图前景面和可见左视图背景面转化为右视图物件面；以及(v)混合例程，其选择性地组合右视图物件面的像素以界定屏幕像素属性。
由于利用在步骤160a和170A处针对左视图背景面执行的计算的结果，因此进一步显著地减小了针对右视图的屏幕呈现处理的数据处理量和计算复杂性。
在步骤175处，在帧形成过程中使用步骤170A与170B的混合例程的计算结果，将包含于经输入视频数据中的3D图像视觉化于自由立体显示器上。
或者，在步骤180处，使用步骤170A与170B的混合例程的结果，产生互补色立体(anaglyph)图像，且在步骤185处，帧形成过程在立体显示器上生成对应的3D图像。
在操作中，循环地重复上述方法步骤，从而以立体图形的形式循序视觉化包含于经输入数据流中的图像。
在示范性实施例中，方法100可以计算机程序产品形式实施于硬件、软件、固件或其任何组合中，所述计算机程序产品包含一个或一个以上计算机可执行指令。当实施于软件中时，计算机程序产品可存储于计算机可读媒体上或使用计算机可读媒体来传输，所述计算机可读媒体包括计算机存储媒体和计算机通信媒体。
术语“计算机存储媒体”在本文中是指适于存储致使计算机执行所述方法的指令的任何媒体。以实例说明且并非限制，计算机存储媒体可包含固态存储器装置，包括电子存储器装置(例如，RAM、ROM、EEPROM等)、光学存储器装置(例如，紧密光盘(CD)、数字通用光盘(DVD)等)或磁性存储器装置(例如，硬盘驱动器、快闪驱动器、磁带驱动器等)，或适于存储计算机程序产品的其它存储器装置，或这些存储器装置的组合。
术语“计算机通信媒体”在本文中是指适于使用(例如)经调制的载波、光学信号、DC电流或AC电流和类似手段将计算机程序产品从一处传输到另一处的任何物理接口。以实例说明且并非限制，计算机通信媒体可包含双绞线(twisted wire pair)、印刷或扁平电缆、同轴电缆、光纤电缆、数字订户线(DSL)或其它有线、无线或光学串行或并行接口，或其组合。
图2展示说明用于在图1的方法100中使用的面分类程序期间确定深度阈值Z0的方法的示意图200。明确地说，图2描绘观察者的左(L)眼和右眼的视域201L和201R、所显示场景210中的3D点T(x，y，z)、投影平面202和深度阈值Z0。
可使用以下等式来计算对于观察者的左(T1)眼和右(T2)眼3D点T(x，y，z)在投影平面202上的投影点的坐标T1和T2：
T 1 = x 1 y 1 = CA x y z , 以及                                等式(1)
T 2 = x 2 y 2 = CB x y z ,                                     等式(2)
其中A和B分别为对于观察者的左眼和右眼3D点T(x，y，z)的模型视图变换矩阵，且C为投影和屏幕映射矩阵。
当3D点T(x，y，z)远于深度阈值Z0定位时，在投影平面202中，投影点重叠。相应地，当3D点T(x，y，z)近于深度阈值Z0定位时，投影点经水平移位，且在投影平面202中，这些点之间的距离界定左视图与右视图之间的视差d＝X1-X2，其中X1和X2为T1和T2的水平坐标。对于超出深度阈值Z0定位的3D点来说，视差大于1(即，|d|＞1)，且对应于左视图和右视图的像素重叠。
使用等式(1)和(2)且基于透视观察的单调属性(即，随着物件与观察者之间的距离增加，物件单调地看起来变小)，可通过求解等式
T 1 - T 2 = 0 1 = C ( A - B ) x y z ,            等式(4)
且在等式(4)的m个解zk中选择最大分量以用于所显示场景中的取样顶点来计算深度阈值Z0，即，Z0＝max(z1，z2，…xm)，其中1≤k≤m。当在3D模型视图变换(方法100的步骤110A、110B)期间产生的三角形面的所有顶点近于深度阈值Z0定位时，所述三角形面被分类为前景面，否则所述面被分类为背景面。
图3展示适于使用图1的方法100的示范性装置300的框图。说明性地，装置300(例如，移动电话、移动计算机、视频游戏平台、个人数字助理(PDA)装置等)包括立体显示器或自由立体显示器310、处理器320、存储器330、支持电路340、输入/输出(I/O)模块350和用户控制装置360。
存储器330(例如，动态随机存取存储器(DRAM)、硬盘驱动器、紧密光盘(CD)或任何其它电子、磁性或光学计算机可读媒体)除其它程序码外还含有一程序码，所述程序码当由处理器320执行时促进执行方法100。支持电路340共同包括总线、电路和将装置300的功能组件集成在一可操作单元中的装置。视频数据经由输入/输出(I/O)模块350被提供到装置300且接着由处理器320处理，以在显示器310上产生立体图形图像。
本发明的先前描述经提供以使所属领域的技术人员能够制造或使用本发明。所属领域的技术人员将容易了解对本发明的各种修改，且本文中界定的一般原理可应用于其它变化而不背离本发明的精神或范围。因此，本发明并非希望限于本文中所描述的实例，而是应被赋予与本文中所揭示的原理和新颖特征一致的最广泛范围。

Claims (42)

1.一种用于在具备立体功能的显示器上呈现3D视频图像的方法，其包含：
(a)在视频数据的3D模型视图变换期间：
剔除背对观察者的面；
对于第一视图，界定对应于比预定深度阈值近地安置的场景元素的第一前景面和对应于超出所述阈值而安置的所述场景元素的第一背景面；以及
对于第二视图，选择性地界定对应于比所述阈值近地安置的所述场景元素的第二前景面且采用所述第一背景面作为第二背景面；
(b)确定所述第一前景面、所述第一背景面和所述第二前景面的照明；
(c)基于所述第一前景面和所述第一背景面执行所述第一视图的屏幕映射和场景呈现计算；以及
(d)基于所述第二前景面和所述第一背景面执行所述第二视图的屏幕映射和场景呈现计算。
2.根据权利要求1所述的方法，其中并行或同时执行所述步骤(a)到(d)中的至少两者或其若干部分。
3.根据权利要求1所述的方法，其中所述第一视图为左视图且所述第二视图为右视图。
4.根据权利要求1所述的方法，其中所述第一视图为右视图且所述第二视图为左视图。
5.根据权利要求1所述的方法，其中所述具备立体功能的显示器为立体显示器。
6.根据权利要求1所述的方法，其进一步包含：
产生互补色立体图像。
7.根据权利要求6所述的方法，其中所述具备立体功能的显示器为自由立体显示器。
8.根据权利要求1所述的方法，其中所述显示器为电池供电型装置的一部分。
9.根据权利要求8所述的方法，其中所述电池供电型装置包含移动电话、移动计算机、视频游戏平台或个人数字助理(PDA)装置。
10.根据权利要求1所述的方法，其中所述步骤(b)进一步包含：
计算所述面的顶点的颜色属性。
11.根据权利要求1所述的方法，其中所述步骤(c)进一步包含：
针对所述第一前景面和所述第一背景面执行透视3D到2D变换；
存储针对所述第一背景面的所述变换的结果；
执行遮影例程以计算呈现所述第一视图的所述观察者可见的部分的像素的亮度值；
执行隐藏表面移除(HSR)例程以移除所述第一视图的所述观察者不可见的部分；以及
存储针对所述第一视图的所述HSR处理的结果。
12.根据权利要求11所述的方法，其中所述步骤(d)进一步包含：
针对所述第二前景面执行所述透视3D到2D变换；
针对所述第一背景面调适所述变换的结果；
执行遮影例程以计算呈现所述第二视图的所述观察者可见的部分的像素的亮度值；
使用对于所述第一视图的所述HSR例程的所述结果移除所述第二视图的所述观察者不可见的部分；以及
计算呈现所述第二视图的所述观察者可见的部分的像素的亮度值。
13.一种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体具有用于致使计算机通过以下操纵在具备立体功能的显示器上呈现3D视频图像的指令：
(a)在视频数据的3D模型视图变换期间：
剔除背对观察者的面；
对于第一视图，界定对应于比预定深度阈值近地安置的场景元素的第一前景面和对应于超出所述阈值而安置的所述场景元素的第一背景面；以及
对于第二视图，选择性地界定对应于比所述阈值近地安置的所述场景元素的第二前景面且采用所述第一背景面作为第二背景面；
(b)确定所述第一前景面、所述第一背景面和所述第二前景面的照明；
(c)基于所述第一前景面和所述第一背景面执行所述第一视图的屏幕映射和场景呈现计算；以及
(d)基于所述第二前景面和所述第一背景面执行所述第二视图的屏幕映射和场景呈现计算。
14.一种用于在具备立体功能的显示器上呈现3D视频图像的方法，其包含：
(a)针对左视图执行视频数据的3D模型视图变换以产生第一面；
(b)将面向观察者的第一多个所述第一面与背对所述观察者的第二多个所述第一面分离；
(c)剔除所述第二多个所述第一面；
(d)在所述第一多个所述第一面中，将对应于比预定深度阈值近地安置的元素的第一前景面与对应于超出所述阈值而安置的元素的第一背景面分离；
(e)针对右视图执行所述视频数据的3D模型视图变换，以选择性地产生比所述阈值近地安置的所述元素的第二前景面，且采用所述第一背景面作为第二背景面；
(f)确定所述第一前景面、所述第一背景面和所述第二前景面的照明；
(g)基于所述第一前景面和所述第一背景面执行所述左视图的屏幕映射和场景呈现计算；以及
(h)基于所述第二前景面执行所述右视图的屏幕映射和场景呈现计算。
15.根据权利要求14所述的方法，其中并行或同时执行所述步骤(a)到(h)中的至少两者或其若干部分。
16.根据权利要求14所述的方法，其中所述具备立体功能的显示器为立体显示器。
17.根据权利要求14所述的方法，其进一步包含：
产生互补色立体图像。
18.根据权利要求17所述的方法，其中所述具备立体功能的显示器为自由立体显示器。
19.根据权利要求14所述的方法，其中所述显示器为移动电话、移动计算机、视频游戏平台或个人数字助理(PDA)装置的一部分。
20.根据权利要求14所述的方法，其中所述步骤(f)进一步包含：
计算所述面的顶点的颜色属性。
21.根据权利要求14所述的方法，其中所述步骤(g)进一步包含：
针对所述第一前景面和所述第一背景面执行透视3D到2D变换；
存储针对所述第一背景面的所述变换的结果；
执行遮影例程以计算呈现所述左视图的所述观察者可见的部分的像素的亮度值；
执行隐藏表面移除(HSR)例程以移除所述左视图的所述观察者不可见的部分；以及
存储对于所述左视图的所述HSR处理的结果。
22.根据权利要求21所述的方法，其中所述步骤(h)进一步包含：
针对所述第二前景面执行所述透视3D到2D变换；
针对所述第一背景面调适所述变换的结果；
执行遮影例程以计算呈现所述右视图的所述观察者可见的部分的像素的亮度值；
使用对于所述左视图的所述HSR例程的所述结果移除所述右视图的所述观察者不可见的部分；以及
计算呈现所述右视图的所述观察者可见的部分的像素的亮度值。
23.一种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体具有致使计算机通过以下操纵在具备立体功能的显示器上呈现3D视频图像的指令：
(a)针对左视图执行视频数据的3D模型视图变换以产生第一面；
(b)将面向观察者的第一多个所述第一面与背对所述观察者的第二多个所述第一面分离；
(c)剔除所述第二多个所述第一面；
(d)在所述第一多个所述第一面中，将对应于比预定深度阈值近地安置的元素的第一前景面与对应于超出所述阈值而安置的元素的第一背景面分离；
(e)针对右视图执行所述视频数据的3D模型视图变换，以选择性地产生比所述阈值近地安置的所述元素的第二前景面，且采用所述第一背景面作为第二背景面；
(f)确定所述第一前景面、所述第一背景面和所述第二前景面的照明；
(g)基于所述第一前景面和所述第一背景面执行所述左视图的屏幕映射和场景呈现计算；以及
(h)基于所述第二前景面执行所述右视图的屏幕映射和场景程现计算。
24.一种用于在具备立体功能的显示器上呈现3D视频图像的设备，其包含：
具备立体功能的显示器；
处理器；以及
存储程序码的存储器，所述程序码具有致使所述处理器执行以下操作的指令：
(a)在视频数据的3D模型视图变换期间：
剔除背对观察者的面；
对于第一视图，界定对应于比预定深度阈值近地安置的场景元素的第一前景面和对应于超出所述阈值而安置的所述场景元素的第一背景面；以及
对于第二视图，选择性地界定对应于比所述阈值近地安置的所述场景元素的第二前景面且采用所述第一背景面作为第二背景面；
(b)确定所述第一前景面、所述第一背景面和所述第二前景面的照明；
(c)基于所述第一前景面和所述第一背景面执行所述第一视图的屏幕映射和场景呈现计算；以及
(d)基于所述第二前景面和所述第一背景面执行所述第二视图的屏幕映射和场景呈现计算。
25.根据权利要求24所述的设备，其中所述步骤(a)到(d)中的至少两者或其若干部分是并行或同时执行的。
26.根据权利要求24所述的设备，其中所述第一视图为左视图且所述第二视图为右视图。
27.根据权利要求24所述的设备，其中所述第一视图为右视图且所述第二视图为左视图。
28.根据权利要求24所述的设备，其中所述设备为移动电话、移动计算机、视频游戏平台或个人数字助理(PDA)装置。
29.根据权利要求24所述的设备，其中所述具备立体功能的显示器为立体显示器或自由立体显示器。
30.根据权利要求24所述的设备，其中所述步骤(b)进一步包含：
计算所述面的顶点的颜色属性。
31.根据权利要求24所述的设备，其中所述步骤(c)进一步包含：
针对所述第一前景面和所述第一背景面执行透视3D到2D变换；
存储针对所述第一背景面的所述变换的结果；
执行遮影例程以计算呈现所述第一视图的所述观察者可见的部分的像素的亮度值；
执行隐藏表面移除(HSR)例程以移除所述第一视图的所述观察者不可见的部分；以及
存储针对所述第一视图的所述HSR处理的结果。
32.根据权利要求31所述的设备，其中所述步骤(d)进一步包含：
针对所述第二前景面执行所述透视3D到2D变换；
针对所述第一背景面调适所述变换的结果；
执行遮影例程以计算呈现所述第二视图的所述观察者可见的部分的像素的亮度值；
使用对于所述第一视图的所述HSR例程的所述结果移除所述第二视图的所述观察者不可见的部分；以及
计算呈现所述第二视图的所述观察者可见的部分的像素的亮度值。
33.一种用于在具备立体功能的显示器上呈现3D视频图像的方法，其包含：
(a)在用于第一视图的视频数据的3D模型视图变换期间：
确定第一前景面和第一背景面；
(b)在用于第二视图的视频数据的3D模型视图变换期间：
确定第二前景面和第二背景面；
剔除所述第二背景面；以及
采用所述第一背景面；
(c)确定所述第一和第二前景面以及所述第一背景面的照明；以及
(d)基于所述第一前景面和所述第一背景面执行所述第一视图的屏幕映射和场景呈现计算；以及
(e)基于所述第二前景面和所述第一背景面执行所述第二视图的屏幕映射和场景呈现计算。
34.根据权利要求33所述的方法，其中并行或同时执行所述步骤(a)到(e)中的至少两者或其若干部分。
35.根据权利要求33所述的方法，其中所述第一视图为左视图且所述第二视图为右视图。
36.根据权利要求33所述的方法，其中所述第一视图为右视图且所述第二视图为左视图。
37.根据权利要求33所述的方法，其中所述步骤(a)进一步包含以下操作中的至少一者：
剔除背对观察者的面；以及
剔除对应于超出预定深度阈值而安置的场景元素的面。
38.一种用于在具备立体功能的显示器上呈现3D视频图像的设备，其包含：
具备立体功能的显示器；
处理器；以及
存储程序码的存储器，所述程序码具有致使所述处理器执行以下操作的指令：
(a)在用于第一视图的视频数据的3D模型视图变换期间：
确定第一前景面和第一背景面；
(b)在用于第二视图的视频数据的3D模型视图变换期间：
确定第二前景面和第二背景面；
剔除所述第二背景面；以及
采用所述第一背景面；
(c)确定所述第一和第二前景面以及所述第一背景面的照明；以及
(d)基于所述第一前景面和所述第一背景面执行所述第一视图的屏幕映射和场景呈现计算；以及
(e)基于所述第二前景面和所述第一背景面执行所述第二视图的屏幕映射和场景呈现计算。
39.根据权利要求38所述的设备，其中所述步骤(a)到(e)中的至少两者或其若干部分是并行或同时执行的。
40.根据权利要求38所述的设备，其中所述第一视图为左视图且所述第二视图为右视图。
41.根据权利要求38所述的设备，其中所述第一视图为右视图且所述第二视图为左视图。
42.根据权利要求38所述的设备，其中所述步骤(a)进一步包含以下操作中的至少一者：
剔除背对观察者的面；以及
剔除对应于超出预定深度阈值而安置的场景元素的面。
CNA2008800016568A 2007-01-05 2008-01-02 在具备立体功能的显示器上呈现三维视频图像 Pending CN101583976A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/620,621 US7982733B2 (en) 2007-01-05 2007-01-05 Rendering 3D video images on a stereo-enabled display
US11/620,621 2007-01-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201511000889.4A Division CN105678836A (zh) 2007-01-05 2008-01-02 在具备立体功能的显示器上呈现三维视频图像

Publications (1)

Publication Number Publication Date
CN101583976A true CN101583976A (zh) 2009-11-18

Family

ID=39311082

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2008800016568A Pending CN101583976A (zh) 2007-01-05 2008-01-02 在具备立体功能的显示器上呈现三维视频图像
CN201511000889.4A Pending CN105678836A (zh) 2007-01-05 2008-01-02 在具备立体功能的显示器上呈现三维视频图像

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201511000889.4A Pending CN105678836A (zh) 2007-01-05 2008-01-02 在具备立体功能的显示器上呈现三维视频图像

Country Status (7)

Country Link
US (1) US7982733B2 (zh)
EP (1) EP2122576A1 (zh)
JP (3) JP2010515974A (zh)
KR (1) KR101065230B1 (zh)
CN (2) CN101583976A (zh)
TW (1) TW200842759A (zh)
WO (1) WO2008086049A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663400B (zh) * 2014-08-14 2020-06-09 高通股份有限公司 用于可穿戴显示器的管理

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080182647A1 (en) * 2007-01-26 2008-07-31 Cyberview Technology, Inc. 3D rendering of 2D legacy game assets
EP2235957A1 (en) * 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
KR101631514B1 (ko) * 2009-11-19 2016-06-17 삼성전자주식회사 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
EP2528334A4 (en) * 2010-01-22 2014-01-15 Sony Corp RECEIVING DEVICE, SENDING DEVICE, COMMUNICATION SYSTEM, METHOD FOR CONTROLLING THE RECEIVER AND PROGRAM
KR101090981B1 (ko) * 2011-05-09 2011-12-08 주식회사 쓰리디누리 3차원 영상신호 처리방법 및 이를 구현하는 휴대형 3차원 디스플레이 장치
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
CN102812497B (zh) * 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
US9578299B2 (en) 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
US8797620B2 (en) 2011-12-20 2014-08-05 Ergophos, Llc Autostereoscopic display assembly based on digital semiplanar holography
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面系统及界面交互方法、装置
WO2015142936A1 (en) * 2014-03-17 2015-09-24 Meggitt Training Systems Inc. Method and apparatus for rendering a 3-dimensional scene
CN103995926B (zh) * 2014-05-15 2017-05-24 广东壮丽彩印股份有限公司 立体印刷无跳变图案的制作方法
KR102341267B1 (ko) 2015-05-04 2021-12-20 삼성전자주식회사 양안 시차 영상에 대한 렌더링 방법 및 장치
US9892141B2 (en) * 2015-12-10 2018-02-13 Microsoft Technology Licensing, Llc Extensibility of collectable data structures
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
KR102658690B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 변환 방법 및 장치
KR102466004B1 (ko) * 2022-05-11 2022-11-11 (주)라인테크 딥러닝 기술을 이용한 차선 도색시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232953A (ja) 1997-02-20 1998-09-02 Mitsubishi Electric Corp 立体視画像生成装置
JP3081589B2 (ja) * 1998-10-02 2000-08-28 日本電信電話株式会社 三次元表示方法および装置
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
US6771264B1 (en) 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6366370B1 (en) * 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6559844B1 (en) * 1999-05-05 2003-05-06 Ati International, Srl Method and apparatus for generating multiple views using a graphics engine
US6501471B1 (en) * 1999-12-13 2002-12-31 Intel Corporation Volume rendering
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
CN1358032A (zh) * 2000-12-14 2002-07-10 艾派克科技股份有限公司 可产生立体感的视频信号显示系统
JP4729812B2 (ja) 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2361341A1 (en) 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
JP4467267B2 (ja) * 2002-09-06 2010-05-26 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、画像処理装置、および画像処理システム
GB2394850A (en) 2002-10-29 2004-05-05 Nec Technologies A cell phone that can take stereo images
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR100759393B1 (ko) 2005-06-29 2007-09-19 삼성에스디아이 주식회사 패럴랙스 배리어 및 이를 구비한 입체 영상 표시장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663400B (zh) * 2014-08-14 2020-06-09 高通股份有限公司 用于可穿戴显示器的管理

Also Published As

Publication number Publication date
EP2122576A1 (en) 2009-11-25
JP5536115B2 (ja) 2014-07-02
WO2008086049A1 (en) 2008-07-17
CN105678836A (zh) 2016-06-15
JP2014063501A (ja) 2014-04-10
KR101065230B1 (ko) 2011-09-16
JP2012104144A (ja) 2012-05-31
US20080165181A1 (en) 2008-07-10
TW200842759A (en) 2008-11-01
KR20090085704A (ko) 2009-08-07
US7982733B2 (en) 2011-07-19
JP2010515974A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
CN101583976A (zh) 在具备立体功能的显示器上呈现三维视频图像
CN103096106B (zh) 图像处理设备和方法
CN102165495B (zh) 三维图像数据处理
CN106341676B (zh) 基于超像素的深度图像预处理和深度空洞填充方法
CN105144234A (zh) 使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图
US8866812B2 (en) Apparatus and method for processing three dimensional image on multi-layer display
CN101873509B (zh) 消除深度图序列背景和边缘抖动的方法
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
JP2011223566A (ja) 画像変換装置及びこれを含む立体画像表示装置
CN107660338A (zh) 对象的立体显示
CN104639933A (zh) 一种立体视图的深度图实时获取方法及系统
CN108833877A (zh) 图像处理方法及装置、计算机装置及可读存储介质
CN103369331A (zh) 图像空洞的填补方法和装置及视频图像的处理方法和装置
EP2562717A1 (en) Three-dimensional display system with depth map mechanism and method of operation thereof
WO2008152607A1 (en) Method, apparatus, system and computer program product for depth-related information propagation
CN104778685B (zh) 一种图像匹配方法及装置
US11039168B2 (en) Stereoscopic image data compression
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
CN101931825B (zh) 一种自由视角视频流中3d目标显示方法
CN102404583A (zh) 三维影像的深度加强系统及方法
Cho et al. Depth-image-based 3D rendering with edge dependent preprocessing
KR101814174B1 (ko) 영상 타입 판별 장치와 방법 및 영상 타입 판별 장치를 포함하는 스마트 기기
CN116612175B (zh) 基于三分支混合特征提取的双目立体匹配方法及系统
CN107172406A (zh) 图像处理方法及装置
CN105432081A (zh) 三维图像生成设备、三维图像生成方法、程序和信息存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20091118