CN103959340A - 用于自动立体三维显示器的图形呈现技术 - Google Patents
用于自动立体三维显示器的图形呈现技术 Download PDFInfo
- Publication number
- CN103959340A CN103959340A CN201180075396.0A CN201180075396A CN103959340A CN 103959340 A CN103959340 A CN 103959340A CN 201180075396 A CN201180075396 A CN 201180075396A CN 103959340 A CN103959340 A CN 103959340A
- Authority
- CN
- China
- Prior art keywords
- scene
- video camera
- camera array
- virtual video
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000009877 rendering Methods 0.000 title abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000005055 memory storage Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Abstract
本文中提供各个实施例，其可在自动立体3D显示器上呈现图像帧。包括运行呈现应用的处理器电路的计算机平台可确定三维(3D)场景中的虚拟摄像机阵列的当前定向以及3D场景的至少一个附加3D成像参数。借助于光线跟踪引擎，呈现应用还可确定3D场景的深度范围。光线跟踪引擎则可使用光线跟踪过程来促进代表3D场景的图像帧的呈现。
Description
背景技术
用于在自动立体3D显示器上呈现三维(3D)图像的当前实现将呈现过程保持为与子像素交织过程无关。首先进行多视图呈现、之后接着按照某个子像素图案来交织多视图图像。多视图呈现所需的时间与视图的数量成比例。因此，实时3D图像呈现或交互呈现在客户级图形硬件上非常困难。相应地，可需要解决这些及其它问题的改进技术。
附图说明
图1示出用于多视图自动立体3D显示器的示例透镜状阵列和对应子像素交织格式。
图2示出按照本发明的实施例的样本像素编组。
图3示出3D场景的样本空间。
图4示出适合执行本公开的实施例的架构的一个实施例。
图5示出呈现应用功能图的一个实施例。
图6示出逻辑流程的一个实施例。
图7示出可适合于实现本公开的实施例的系统的一个实施例。
图8示出可实施图7的系统的小形状因数装置的实施例。
具体实施方式
本文中提供各个实施例，其可在自动立体3D显示器上呈现图像帧。包括运行呈现应用的处理器电路的计算机平台可确定三维(3D)场景中的虚拟摄像机阵列的当前位置和定向以及3D场景的至少一个附加3D成像参数。附加3D成像参数可包括虚拟摄像机阵列的基线长度以及虚拟摄像机阵列的焦点。借助于光线跟踪引擎，呈现应用还可确定3D场景的深度范围。光线跟踪引擎则可使用光线跟踪过程来促进代表3D场景的图像帧的呈现。
现在参照附图，其中相似参考标号通篇用来表示相似元件。为了说明的目的，以下描述中提出大量具体细节，以便提供对其的透彻了解。但是可显而易见，即使没有这些具体细节也能够实施新实施例。在其它情况下，众所周知的结构和装置采取框图形式示出，以便利于其描述。本发明将涵盖落入要求保护主题的精神和范围之内的所有修改、等效方案和备选方案。
自动立体学是在观众的部分没有使用特殊头盔或眼镜的情况下显示立体图像(增加3D深度的双眼感知)的任何方法。许多自动立体显示器是多视图显示器。图1示出LCD面板之上的透镜状阵列的斜片的结构和用于多视图(例如九个)自动立体3D显示器的对应子像素交织格式。一组相邻红(R)、绿(G)和蓝(B)颜色分量形成像素，同时各颜色分量来自图像的不同视图，如各矩形中的标号所示。标记为“4”和“5”的虚线指示给定视图的RGB颜色分量。如果实现常规光栅化呈现技术，则九(9)个独立图像(各视图一个)需要被呈现，并且然后按照特定格式来交织。图形管线中的处理时间与视图的数量成比例。因此，呈现时间还将主要与视图的数量成比例，从而使得很难采用常规图形硬件来实现实时呈现。
但是，像素的总数对多视图3D显示保持不变。使用光线跟踪的呈现时间与所发出光线(例如像素)的数量成比例。因此，呈现性能与视图的数量无关。这意味着，呈现性能对自动立体3D中的呈现保持相同，因为它用于二维(2D)分辨率中的呈现。
当呈现给定视图时，红(R)、绿(G)和蓝(B)颜色分量形成如图2所示的像素组210。像素的编组的中心220不一定位于整数坐标处。光线跟踪引擎支持从非整数定位中心像素发出光线，并且在帧缓冲器的特定位置中填充所确定像素颜色。在帧缓冲器中填充所有子像素时，所发出光线的数量将完全等于像素的总数。但是，如果使用常规呈现、例如光栅化，则将要求附加插值操作，以得到非整数坐标处的像素的准确颜色。与单视图图像呈现相比，这会引起显著的附加开销。
图3示出3D场景的样本空间300。样本空间300可说明视频游戏中的化合物或化身。化身可代表视频游戏的玩家。化身的视角（perspective）可通过虚拟摄像机阵列来表示。这个示例意在基于帧之间的化身运动来示出视角的变化。第一虚拟摄像机阵列310按照第一帧中的化身的视角来定位和定向。虚拟摄像机阵列310可以能够基于多个成像参数来示出或“看到”视野320。成像参数可包括(x, y, z)坐标位置、指示虚拟摄像机阵列平移的角度左/右视角(α)、指示虚拟摄像机阵列倾斜的上/下视角(δ)以及指示放大因数的放大/缩小视角(zm)。各种坐标系和位置表示只是说明性的。本领域的技术人员可易于实现附加或备选位置和定向信息，而没有背离本文的实施例的范围。实施例并不局限于这个上下文。
在图3的示例中，第一虚拟摄像机阵列310可与成像参数集(x1, y1, z1, α1,δ1, zm1)关联。x1、y1、z1坐标可定义当前定位第一虚拟摄像机阵列310的空间中的点。α1、δ1参数可定义第一虚拟摄像机阵列310的定向。定向α1、δ1参数可描述定向第一虚拟摄像机阵列310的方向和仰角。zm1参数可描述当前设置第一虚拟摄像机阵列310的放大因数。例如，化身可在这个距离使用双筒望远镜，以增加缩放因子。所有成像参数相结合以创建第一虚拟摄像机阵列310的视野320。视野320可代表游戏中的3D场景，其必须在显示器上作为帧来为视频游戏的玩家呈现。
第二虚拟摄像机阵列330可代表在视频游戏的玩家已经提供用户输入、从而改变化身的视角或有利位置之后的新视野340。为了为视频游戏的玩家呈现作为帧的已改变3D场景，必须确定和使用新成像参数。第二虚拟摄像机阵列330可与成像参数集(x2, y2, z2, α2,δ2, zm2)关联。x2、y2、z2坐标可定义当前定义第二虚拟摄像机阵列330的空间中的点。α2、δ2参数可定义第二虚拟摄像机阵列330的定向。定向α2、δ2参数可描述定向第二虚拟摄像机阵列330的方向和仰角。zm2参数可描述当前设置第二虚拟摄像机阵列330的放大因数。例如，化身可在这个距离使用双筒望远镜，以增加缩放因子。所有成像参数相结合以创建第二虚拟摄像机阵列330的新视野340。新视野340可代表游戏中的3D场景，其必须在显示器上作为下一帧来为视频游戏的玩家呈现。
图4示出适合执行本公开的实施例的架构400的一个实施例。计算机平台410可包括中央处理器(CPU)、图形处理单元(GPU)或者两者的某个组合。CPU和/或GPU由能够运行指令的一个或多个处理器电路组成。呈现应用420可以是在计算机平台410上可操作的。呈现应用可包括专门针对呈现代表3D场景的图像帧的软件。例如，呈现应用420可由一个或多个独立软件应用、例如视频游戏用来执行视频游戏的图像呈现功能。实施例并不局限于这个上下文。
光线跟踪引擎430也可以是在计算机平台410上可操作的。光线跟踪引擎430可以是与呈现应用420可通信的，并且提供呈现3D图像帧中的附加支持和辅助。在计算机图形中，光线跟踪是用于通过跟踪经过图像平面中的像素的光路并且模拟它与虚拟对象的相遇效果来生成图像的技术。该技术能够产生通常比典型扫描线呈现方法、例如光栅化要高的极高程度的可视现实。另外，通过光栅化的呈现没有提供场景的准确深度估计。当涉及反射/折射对象时，来自深度缓冲器的深度信息不能指示所呈现场景的深度的准确范围。光线跟踪能够模拟大量光学效果，例如反射和折射、散射以及扩散现象。
计算平台410可从用户接口输入装置440、例如视频游戏控制器接收输入。用户接口输入装置440可提供采取指示3D场景中的运动的信号形式的输入数据。信号可包括指示3D场景中的向前移动、3D场景中的向后移动、3D场景中向左移动、3D场景中的向右移动、3D场景中向左看、3D场景中向右看、3D场景中向上看、3D场景中向下看、3D场景中放大/缩小以及以上所述的任何组合。实施例并不局限于这个上下文。
计算平台410可向显示器、例如自动立体3D显示装置450输出3D场景的(一个或多个)呈现图像帧。自动立体3D显示装置450可以能够在观众的部分没有使用特殊头盔或眼镜的情况下显示立体图像(增加3D深度的双眼感知)。实施例并不局限于这个上下文。
图5示出呈现应用420的功能图500。呈现应用420一般可由四个功能组成。这些功能经过任意命名，并且包括位置功能510、深度功能520、图像更新功能530和呈现功能540。应当注意，在逻辑上组织由这些功能所执行的任务。本领域的技术人员可将呈现过程中涉及的一个或多个任务移动到不同功能，而没有背离本文所述实施例的范围。实施例并不局限于这个上下文。
位置功能510可负责确定和更新与待呈现的3D场景中的虚拟摄像机阵列有关的数据。虚拟摄像机阵列可指示3D场景中的视角和有利位置。例如，在进行视频游戏的同时，玩家可通过游戏本身中的化合物或化身来表示。化身可代表虚拟摄像机阵列，使得化身看到的内容由虚拟摄像机阵列来解释。化身可以能够经过对用户输入装置440所采取的动作(其被转发给呈现应用430)，来影响游戏的结果。动作可指示场景中改变虚拟摄像机阵列的视角的运动。在摄像机术语中，左或右的运动可称作平移，上或下的运动可称作倾斜。因此，位置功能510从用户接口输入装置440接收输入，并且使用那个输入来重新计算3D场景参数。
深度功能520可负责确定3D场景的总深度维。呈现3D图像的另一方面可以是确定3D场景的某些参数。一种这样的参数可以是虚拟摄像机阵列的基线长度。为了确定虚拟摄像机阵列的基线长度，可需要确定3D场景的深度范围的估计。在光栅化呈现中，深度信息可使用深度帧缓冲器来访问。但是，如果在3D场景中涉及反射/折射表面，则必须考虑超过视线的第一相遇对象的更大深度。在光线跟踪呈现中，可发出一个或多个探测光线，其在反射表面上或者经过反射表面递归地传播，并且返回3D场景中的最大路径(例如深度)。当探测光线照射表面时，它可生成总共三种新类型的光线：反射、折射和阴影。反射光线沿镜反射方向从发光面继续进行。它然后与场景中的对象相交，其中它相交的最接近对象是在反射中将看到的内容。穿过透明材料的折射光线类似地进行工作，其中加上折射光线可能进入或离开材料。
图像更新功能530可负责确定3D场景的附加成像参数。一旦由深度功能520确定了深度维，则可确定虚拟摄像机阵列的基线长度。另外，图像更新功能530还可使用由位置功能510所接收的输入，来确定虚拟摄像机阵列的焦点。
在这点上，呈现应用420可接收到并且处理构成3D场景所需的必要数据。已经确定虚拟摄像机阵列的位置和定向，并且已经确定3D场景的总深度维。下一个步骤是使呈现功能540使用光线跟踪、从虚拟摄像机阵列的有利位置并且按照由位置功能510、深度功能520和图像更新功能530所确定的参数来呈现3D场景。
光线跟踪可产生在3D计算机图形环境中构成的可视图像。可按数学方式来描述使用光线跟踪所呈现的场景。由光线跟踪引擎430所发出的各光线对应于3D场景中的像素。3D场景的分辨率通过3D场景中的像素的数量来确定。因此，呈现3D场景所需的光线的数量对应于3D场景中的像素的数量。通常，可测试各光线与场景中的对象的某个子集的相交。一旦识别了最近对象，算法可估计相交点处的进入光，检查对象的材料性质，并且组合这个信息以计算像素的最终颜色。
呈现过程使用光线跟踪来执行子像素交织。按照子像素交织，像素编组的中心可以不一定位于图像平面的整数坐标处。与通过光栅化的呈现不同，光线跟踪技术可从非整数坐标发出射线，以及所返回的颜色分量可直接填充到对应RGB像素位置中，而无需执行附加插值过程。
为了更好的数据局部性（locality），光线跟踪引擎430可按照8×8片（tile）组发出光线。当完全填充被呈现的3D场景的帧缓冲器时，当前帧可在显示器450上采用自动立体3D效果来显示。
光线跟踪的呈现时间在理论上与光线(像素)的数量成比例，而光栅化呈现的时间基本上与视图的数量成比例。因此，通过光线跟踪的呈现在用于多视图自动立体3D显示器的呈现中引入极少开销。
本文所包含的是代表用于执行所公开架构的新方面的示范方法的一个或多个流程图。虽然为了简化说明的目的，本文中例如采取流程图形式所示的一个或多个方法示为和描述为一系列动作，但是要知道和理解，方法并不受动作的顺序限制，因为按照这些方法，一些动作按照不同顺序和/或与本文所示和所述动作不同的动作同时进行。例如，本领域的技术人员会知道和理解，方法备选地可表示为例如状态图中的一系列相关状态或事件。此外，对于新实现并非可要求方法中所示的全部动作。
图6示出按照本发明的实施例的逻辑流程600的一个实施例，其中可为自动立体3D显示呈现3D场景。为了呈现图像帧，计算机平台410可从用户接口输入装置、例如游戏控制器接收用户输入。输入可指示视频游戏中的化合物或化身向前/向后移动、左转/右转、向上/向下看以及放大/缩小等。这个信息可用来更新虚拟摄像机阵列的位置和定向。探测光线束可由光线跟踪引擎430来发出，以得到当前3D场景的深度范围。3D成像参数、例如虚拟摄像机阵列的基线长度和焦点可使用所接收输入信息来确定。然后，呈现过程可按照8×8束或片发出。产生于光线的所产生RGB颜色数据可以是交织到帧缓冲器的像素位置中、代表被呈现3D场景的子像素。当完全填充帧缓冲器时，当前帧可采用自动立体3D效果来显示。逻辑流程600可表示由本文所述的一个或多个实施例所运行的操作的部分或全部。
在图6所示的图示实施例中，逻辑流程400可在框610确定虚拟摄像机阵列的当前位置。例如，CPU 110可运行呈现应用420，使得输入数据可从用户接口输入装置440来接收。虚拟摄像机阵列可指示3D场景中的视角和有利位置(例如定向)。有利位置可自最后一帧以来因所采取的某些动作而已经改变。动作可指示3D场景中改变虚拟摄像机阵列的视角的运动。用户接口输入装置440可将符合用户动作的信号转发到呈现应用420。例如，用户可在3D场景中向前或向后移动、在3D场景中向左或向右移动、在3D场景中向左或向右看、在3D场景中向上或向下看以及在3D场景中放大或缩小。各动作可改变3D场景的视角。呈现应用使用从用户输入接口440所接收的数据来帮助确定3D场景中的虚拟摄像机阵列的新位置和定向。实施例并不局限于这个上下文。
在图6所示的图示实施例中，逻辑流程400可在框620确定3D场景的深度范围。例如，为了确定虚拟摄像机阵列的基线长度，可需要确定3D场景的深度范围的准确估计。光线跟踪引擎430可发出一个或多个探测光线，其在反射表面上或者经过3D场景中的反射表面递归地传播，并且返回3D场景中的最大路径(例如深度)。实施例并不局限于这个上下文。
在图6所示的图示实施例中，逻辑流程400可在框630确定3D场景的成像参数。例如，可确定虚拟摄像机阵列的基线长度和虚拟摄像机阵列的焦点。一旦确定了深度维，则可确定虚拟摄像机阵列的基线长度。另外，在框610所接收的输入可用来确定虚拟摄像机阵列的焦点和定向。呈现应用420与光线跟踪引擎430相结合可处理在框610所接收的输入以及在框620所确定的深度范围，以确定虚拟摄像机阵列的基线长度和虚拟摄像机阵列的焦点。实施例并不局限于这个上下文。
在图6所示的图示实施例中，逻辑流程400可在框640呈现新的3D场景。例如，呈现应用420与光线跟踪引擎430相结合可从在框610、620和630所确定的虚拟摄像机阵列的已更新位置和定向发出多个光线。由光线跟踪引擎430所发出的各光线对应于3D场景中的像素。3D场景的分辨率通过3D场景中的像素的数量来确定。因此，呈现3D场景所需的光线的数量对应于3D场景中的像素的数量。通常，可测试各光线与场景中的对象的某个子集的相交。一旦识别了最近对象，算法可估计相交点处的进入光，检查对象的材料性质，并且组合这个信息以计算像素的最终颜色。呈现过程使用光线跟踪来执行子像素交织。按照子像素交织，像素编组的中心可以不一定位于图像平面的整数坐标处。光线跟踪技术可从非整数坐标发出射线，以及所返回的颜色分量可直接填充到对应RGB像素位置中，而无需执行附加插值过程。为了更好的数据局部性，光线跟踪引擎430可按照8×8片组发出光线。实施例并不局限于这个上下文。
在完成当前帧的光线跟踪呈现过程时，呈现应用420将控制返回到框610，以对下一帧重复进行该过程。可存在取决于呈现应用420正使用的帧率的等待周期645。
在图6所示的图示实施例中，逻辑流程400可在框650向显示器传递指示新3D场景的所呈现帧。例如，呈现应用420可将表示3D场景的当前视图的图像帧转发到显示器450。当填充被呈现的整个3D场景的帧缓冲器时，当前帧可在显示器450上采用自动立体3D效果来显示。实施例并不局限于这个上下文。
在一个实验中，光线跟踪引擎用来测试自动立体3D显示器的不同分辨率和不同数量的视图的组合的呈现性能。视频游戏、特别是其开始场景用作测试帧。硬件平台使用二十四(24)个线程来运行光线跟踪引擎。在下表1中，“原始”行表示用于呈现2D帧的光线跟踪引擎的性能。“通过呈现的交织”行实现上述过程(例如发出光线并且立即填充结果颜色)。为了提供更好的数据局部性，发出8×8光线片，并且立即对8×8片填充像素。能够看到，对于通过呈现的交织的1视频情况，性能非常接近“原始”，而通过呈现的交织的8视图情况对HD分辨率仅引入47%性能损失。最后一行“呈现后的交织”表示呈现全部8个视图图像，并且然后进行子像素交织。这引起65%性能损失，因为它要求额外缓冲器来存储中间视图图像。
表1
各个实施例可使用硬件元件、软件元件或者它们两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或者它们的任何组合。确定实施例是否使用硬件元件和/或软件元件来实现的步骤可按照任何数量的因素而改变，例如预期计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计和性能限制。
图7示出可适合于实现本公开的光线跟踪呈现实施例的系统700的一个实施例。在实施例中，系统700可以是能够实现光线跟踪实施例的系统，但是系统700并不局限于这个上下文。例如，系统700可结合到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置、游戏系统等。
在实施例中，系统700包括耦合到显示器720的平台702。平台702可从诸如(一个或多个)内容服务装置730或者(一个或多个)内容传递装置740之类的内容装置或者其它类似内容源来接收内容。包括一个或多个导航特征的导航控制器750可用来与例如平台702和/或显示器720进行交互。下面更详细描述这些组件的每个。
在实施例中，平台702可包括芯片组705、(一个或多个)处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718的任何组合。芯片组705可提供处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718之间的相互通信。例如，芯片组705可包括存储适配器(未示出)，其能够提供与存储装置714的相互通信。
(一个或多个)处理器710可实现为复杂指令集计算机(CISC)或简化指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或者任何其它微处理器或中央处理器(CPU)。在实施例中，(一个或多个)处理器710可包括(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器712可实现为易失性存储器装置，非限制性地例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储装置714可实现为非易失性存储装置，非限制性地例如磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连存储装置、闪速存储器、电池备用SDRAM(同步DRAM)和/或网络可访问存储装置。在实施例中，例如，存储装置714可包括在包括多个硬盘驱动器时增加有价值数字媒体的存储性能增强保护的技术。
图形子系统715可执行诸如静止或视频之类的图像的处理供显示。例如，图形子系统715可以是图形处理单元(GPU)或者视觉处理单元(VPU)。模拟或数字接口可用来在通信上耦合图形子系统715和显示器720。例如，接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI和/或符合无线HD的技术中的任一个。图形子系统715可集成到处理器710或芯片组705中。图形子系统715可能是通信上耦合到芯片组705的独立卡。
本文所述的图形和/或视频处理技术可通过各种硬件架构来实现。例如，图形和/或视频功能性可集成在芯片组中。备选地，可使用分立图形和/或视频处理器。作为又一个实施例，图形和/或视频功能可通过包括多核处理器的通用处理器来实现。在另一实施例中，功能可在消费电子装置中实现。
无线电装置718可包括一个或多个无线电装置，其能够使用各种适当的无线通信技术来传送和接收信号。这类技术可涉及跨一个或多个无线网络的通信。示范无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这类网络的通信中，无线电装置718可按照任何版本的一个或多个适用标准进行操作。
在实施例中，显示器720可包括任何电视机类型监视器或显示器。显示器720可包括例如计算机显示屏幕、触摸屏显示器、视频监视器、类似电视机的装置和/或电视机。显示器720可以是数字和/或模拟的。在实施例中，显示器720可以是全息显示器。另外，显示器720可以是可接收视觉投影的透明表面。这类投影可传送各种形式的信息、图像和/或对象。例如，这类投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可在显示器720上显示用户接口722。
在实施例中，(一个或多个)内容服务装置730可由任何国家、国际和/或单独服务来托管，并且因而是平台702经由例如因特网可访问的。(一个或多个)内容服务装置730可耦合到平台702和/或显示器720。显示器702和/或(一个或多个)内容服务装置730可耦合到网络760，以便向/从网络760传递(例如发送和/或接收)媒体信息。(一个或多个)内容传递装置740还可耦合到平台702和/或显示器720。
在实施例中，内容服务装置730可包括有线电视盒、个人计算机、网络、电话、因特网使能装置或者能够传递数字信息和/或内容的设备以及能够在内容提供商与平台702和/或显示器720之间、经由网络760或者直接地单向或双向传递内容的任何其它类似装置。将会理解，可经由网络760向/从系统700中的组件的任一个和内容提供商单向和/或双向传递内容。内容的示例可包括任何媒体信息，其中包括例如视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务装置730接收内容，例如包括媒体信息的有线电视节目、数字信息和/或其它内容。内容提供商的示例可包括任何有线或卫星电视或无线电或者因特网内容提供商。所提供的示例并不是意在限制本发明的实施例。
在实施例中，平台702可从具有一个或多个导航特征的导航控制器750接收控制信号。例如，控制器750的导航特征可用来与用户接口722进行交互。在实施例中，导航控制器750可以是指针装置，其可以是允许用户将空间(例如连续并且多维的)数据输入计算机中的计算机硬件组件(特别是人接口装置)。诸如图形用户接口(GUI)之类的许多系统以及电视机和监视器允许用户使用形体姿态来控制并且将数据提供给计算机或电视机。
通过显示器上显示的移动指针、光标、聚焦环或者其它视觉指示符，可在显示器(例如显示器720)上仿效控制器750的导航特征的移动。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可映射到例如用户接口722上显示的虚拟导航特征。在实施例中，控制器750可以不是独立组件，而是集成到平台702和/或显示器720中。但是，实施例并不局限于本文所示或所述的元件或上下文。
在实施例中，驱动器(未示出)可包括使用户能够例如通过在引导之后触摸按钮(在被启用时)来立即接通和关断平台702（比如电视机）的技术。程序逻辑可允许平台702在平台“关断”时，将内容流播到媒体适配器或者(一个或多个)其它内容服务装置730或者(一个或多个)内容传递装置740。另外，例如，芯片组705可包括对6.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括集成图形平台的图形平台。在实施例中，图形驱动器可包括外设部件互连(PCI)Express图形卡。
在各个实施例中，可集成系统700中所示组件的任一个或多个。例如，可集成平台702和(一个或多个)内容服务装置730，或者可集成平台702和(一个或多个)内容传递装置740，或者例如可集成平台702、(一个或多个)内容服务装置730和(一个或多个)内容传递装置740。在各个实施例中，平台702和显示器720可以是集成单元。例如，可集成显示器720和(一个或多个)内容服务装置730，或者可集成显示器720和(一个或多个)内容传递装置740。这些示例并不是要限制本发明。
在各个实施例中，系统700实现为无线系统、有线系统或者两者的组合。当实现为无线系统时，系统700可包括适合于通过无线共享媒体(例如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等)进行通信的组件和接口。无线共享媒体的一个示例包括无线谱的部分，例如RF谱等。当实现为有线系统时，系统700可包括适合于通过有线通信媒体(例如输入/输出(I/O)适配器、将I/O适配器与对应有线通信媒体连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信媒体的示例可包括电线、电缆、金属引线、印刷电路板（PCB）、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台702可建立一个或多个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可以指表示预计用于用户的内容的任何数据。内容的示例可包括例如来自语音转换的数据、电视会议、流播视频、电子邮件(“电子邮件”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音转换的数据可以是例如话音信息、静寂周期、背景噪声、舒适噪声、信号音等。控制信息可以指预计用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或者指示节点以预定方式处理媒体信息。但是，实施例并不局限于图7所示或所述的元件或上下文。
如上所述，系统700可按照变化物理样式或形状因数来实施。图8示出其中可包含系统700的小形状因数装置800的实施例。在实施例中，例如，装置800可实现为具有无线能力的移动计算装置。例如，移动计算装置可指具有处理系统和移动电源或电力供应、例如一个或多个电池的任何装置。
如上所述，移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置、游戏装置等。
移动计算装置的示例还可包括设置成供人佩戴的计算机，例如手腕计算机、手指计算机、指环计算机、眼镜计算机、皮带夹计算机、臂章计算机、靴式计算机、服饰计算机和其它可佩戴计算机。在实施例中，例如，移动计算装置可实现为智能电话，其能够运行计算机应用以及进行语音通信和/或数据通信。虽然作为举例可采用实现为智能电话的移动计算装置来描述一些实施例，但是可理解，其它实施例也可使用其它无线移动计算装置来实现。实施例并不局限于这个上下文。
如图8所示，装置800可包括壳体802、显示器804、输入/输出(I/O)装置806和天线808。装置800还可包括导航特征812。显示器804可包括用于显示信息、适合于移动计算装置的任何适当显示单元。I/O装置806可包括用于将信息输入移动计算装置中的任何适当I/O装置。I/O装置806的示例可包括字母数字键盘、数字键盘、触摸板、输入按键、按钮、开关、摇臂开关、话筒、喇叭、语音识别装置和软件等。信息也可通过话筒输入到装置800中。这种信息可由语音识别装置来数字化。实施例并不局限于这个上下文。
各个实施例可使用硬件元件、软件元件或者它们两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或者它们的任何组合。确定实施例是否使用硬件元件和/或软件元件来实现的步骤可按照任何数量的因素而改变，例如预期计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计和性能限制。
实施例还可至少部分实现为包含于非暂时计算机可读媒体的指令，指令可由一个或多个处理器来读取和运行以实现本文所述操作的执行。
至少一个实施例的一个或多个方面可通过机器可读媒体上存储的、表示处理器中的各种逻辑的代表指令来实现，其在由机器读取时使机器制作执行本文所述技术的逻辑。称作“IP核”的这类表示可存储在有形机器可读媒体上，并且提供给各种客户或制造设施，以便加载到实际制作逻辑或处理器的制造机器中。
至少一个实施例的一个或多个方面可通过机器可读媒体上存储的、表示处理器中的各种逻辑的代表指令来实现，其在由机器读取时使机器制作执行本文所述技术的逻辑。称作“IP核”的这类表示可存储在有形机器可读媒体上，并且提供给各种客户或制造设施，以便加载到实际制作逻辑或处理器的制造机器中。
一些实施例可使用表达“一个实施例”或“实施例”及其派生来描述。这些术语表示结合该实施例所述的特定特征、结构或特性包含在至少一个实施例中。词语在“一个实施例中”在本说明书的各个位置中的出现不一定都表示同一实施例。此外，一些实施例可使用表达“耦合”和“连接”及其派生来描述。这些术语不一定是要作为彼此的同义词。例如，一些实施例可使用术语“连接”和/或“耦合”来描述，以便指示两个或更多元件相互直接物理或电接触。但是，术语“耦合”还可表示两个或更多元件不是相互直接接触，但仍然相互配合或交互。
要强调，提供本公开的摘要以允许读者快速确定技术公开的性质。要理解，它的提供并不是要用于解释或限制权利要求的范围或含意。另外，在以上具体实施方式中能够看到，各种特征在单个实施例中被编组在一起，以用于精简本公开的目的。公开的这种方法不是要被解释为反映了要求保护的实施例要求超过各权利要求中明确描述的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开实施例的全部特征。因此，以下权利要求被结合到具体实施方式中，其中各权利要求本身代表独立实施例。在所附权利要求中，术语“包括”和“其中”分别用作相应术语“包含”和“其中”的普通英语等效体。此外，术语“第一”、“第二”、“第三”等只用作标记，而不是要对其对象施加数字要求。
以上描述的是所公开架构的示例。当然，不可能描述组件和/或方法的每一个可设想组合，但是本领域的技术人员可知道，许多其它组合和置换是可能的。相应地，该新颖架构旨在涵盖落入所附权利要求的精神和范围之内的所有这类改变、修改和变更。
Claims (24)
1. 一种设备，包括：
处理器电路；
呈现应用，在所述处理器电路上操作以：
确定要在自动立体3D显示器上呈现的三维(3D)场景中的虚拟摄像机阵列的位置和定向；以及
确定所述3D场景的至少一个附加3D成像参数，以及
光线跟踪引擎，在所述处理器电路上操作以：
确定所述3D场景的深度范围；以及
呈现代表所述3D场景的图像帧。
2. 如权利要求1所述的设备，所述光线跟踪引擎在所述处理器电路上操作以对于多视图自动立体3D显示器呈现代表所述3D场景的图像帧。
3. 如权利要求1所述的设备，所述光线跟踪引擎在所述处理器电路上操作以：
将光线发出到所述3D场景中的已知位置；
对所述已知位置计算与所发出光线对应的像素颜色，
在帧缓冲器中将所述像素颜色与所述已知位置的像素关联，所述帧缓冲器包含代表所述3D场景的像素图像数据。
4. 如权利要求3所述的设备，其中，所述像素颜色包括红(R)、绿(G)和蓝(B)(RGB)子像素分量。
5. 如权利要求1所述的设备，所述呈现应用在所述处理器电路上操作以：
从用户接口输入装置接收输入，所述输入与所述虚拟摄像机阵列的位置和定向有关。
6. 如权利要求5所述的设备，其中，所述输入包括代表自呈现最后一帧以来的运动的数据信号，所述运动包括：
所述3D场景中的向前运动；
所述3D场景中的向后运动；
所述3D场景中的向左运动；
所述3D场景中的向右运动；
所述3D场景中的向上运动；
所述3D场景中的向下运动；
所述3D场景中的所述虚拟摄像机阵列的平移运动；
所述3D场景中的所述虚拟摄像机阵列的倾斜运动；以及
所述3D场景中的所述虚拟摄像机阵列的缩放调整。
7. 如权利要求6所述的设备，其中，所述用户接口输入装置包括游戏控制器。
8. 如权利要求1所述的设备，所述光线跟踪引擎在所述处理器电路上操作以：
将多个探测光线发出到所述3D场景中；以及
基于所述多个探测光线来确定所述3D场景的深度。
9. 如权利要求1所述的设备，所述呈现应用在所述处理器电路上操作以：
确定所述虚拟摄像机阵列的基线长度；以及
确定所述虚拟摄像机阵列的焦点。
10. 一种方法，包括：
确定要在自动立体3D显示器上呈现的三维(3D)场景中的虚拟摄像机阵列的位置和定向；
确定所述3D场景的深度范围；
确定所述3D场景的至少一个附加3D成像参数；以及
使用光线跟踪过程来呈现代表所述3D场景的图像帧。
11. 如权利要求10所述的方法，包括对于多视图自动立体3D显示器呈现代表所述3D场景的所述图像帧。
12. 如权利要求10所述的方法，其中，呈现所述3D场景包括：
将光线发出到所述3D场景中的已知位置；
对所述已知位置计算与所发出光线对应的像素颜色，
在帧缓冲器中将所述像素颜色与所述已知位置的像素关联，所述帧缓冲器包含代表所述3D场景的像素图像数据。
13. 如权利要求12所述的方法，其中，所述像素颜色包括红(R)、绿(G)和蓝(B)(RGB)子像素分量。
14. 如权利要求10所述的方法，其中，确定所述虚拟摄像机阵列的当前定向包括：
接收与自呈现最后一帧以来的所述虚拟摄像机阵列的位置和定向有关的输入，所述输入包括代表下列项的数据：
所述3D场景中的向前运动；
所述3D场景中的向后运动；
所述3D场景中的向左运动；
所述3D场景中的向右运动；
所述3D场景中的向上运动；
所述3D场景中的向下运动；
所述3D场景中的所述虚拟摄像机阵列的平移运动；
所述3D场景中的所述虚拟摄像机阵列的倾斜运动；以及
所述3D场景中的所述虚拟摄像机阵列的缩放调整。
15. 如权利要求10所述的方法，其中，确定所述3D场景的深度范围包括：
将多个探测光线发出到所述3D场景中；以及
基于所述多个探测光线来确定所述3D场景的深度。
16. 如权利要求10所述的方法，其中，确定所述3D场景的至少一个附加3D成像参数包括：
确定所述虚拟摄像机阵列的基线长度；以及
确定所述虚拟摄像机阵列的焦点。
17. 至少一个计算机可读存储媒体，包括指令，所述指令在被运行时使系统：
确定要在自动立体3D显示器上呈现的三维(3D)场景中的虚拟摄像机阵列的位置和定向；
确定所述3D场景的深度范围；
确定所述3D场景的至少一个附加3D成像参数；以及
使用光线跟踪过程来呈现代表所述3D场景的图像帧。
18. 如权利要求17所述的计算机可读存储媒体，包含在被运行时使系统对于多视图自动立体3D显示器呈现代表所述3D场景的所述图像帧的指令。
19. 如权利要求17所述的计算机可读存储媒体，包含在被运行时使系统执行下列操作的指令：
将光线发出到所述3D场景中的已知位置；
对所述已知位置计算与所发出光线对应的像素颜色，
在帧缓冲器中将所述像素颜色与所述已知位置的像素关联，所述帧缓冲器包含代表所述3D场景的像素图像数据。
20. 如权利要求19所述的计算机可读存储媒体，其中，所述像素颜色包括红(R)、绿(G)和蓝(B)(RGB)子像素分量。
21. 如权利要求17所述的计算机可读存储媒体，包含在被运行时使系统接收与自呈现最后一帧以来的所述虚拟摄像机阵列的位置和定向有关的输入的指令。
22. 如权利要求21所述的计算机可读存储媒体，其中，所述输入包括代表下列项的数据：
所述3D场景中的向前运动；
所述3D场景中的向后运动；
所述3D场景中的向左运动；
所述3D场景中的向右运动；
所述3D场景中的向上运动；
所述3D场景中的向下运动；
所述3D场景中的所述虚拟摄像机阵列的平移运动；
所述3D场景中的所述虚拟摄像机阵列的倾斜运动；以及
所述3D场景中的所述虚拟摄像机阵列的缩放调整。
23. 如权利要求17所述的计算机可读存储媒体，包含在被运行时使系统执行下列操作的指令：
将多个探测光线发出到所述3D场景中；以及
基于所述多个探测光线来确定所述3D场景的深度。
24. 如权利要求17所述的计算机可读存储媒体，包含在被运行时使系统执行下列操作的指令：
确定所述虚拟摄像机阵列的基线长度；以及
确定所述虚拟摄像机阵列的焦点。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2011/063835 WO2013085513A1 (en) | 2011-12-07 | 2011-12-07 | Graphics rendering technique for autostereoscopic three dimensional display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103959340A true CN103959340A (zh) | 2014-07-30 |
Family
ID=48574725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180075396.0A Pending CN103959340A (zh) | 2011-12-07 | 2011-12-07 | 用于自动立体三维显示器的图形呈现技术 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20130293547A1 (zh) |
| CN (1) | CN103959340A (zh) |
| DE (1) | DE112011105927T5 (zh) |
| WO (1) | WO2013085513A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110178370A (zh) * | 2017-01-04 | 2019-08-27 | 辉达公司 | 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染 |
| CN114119797A (zh) * | 2021-11-23 | 2022-03-01 | 北京世冠金洋科技发展有限公司 | 数据处理方法、装置、计算机可读介质、处理器及电子设备 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9269219B2 (en) * | 2010-11-15 | 2016-02-23 | Bally Gaming, Inc. | System and method for augmented reality with complex augmented reality video image tags |
| US9052518B2 (en) * | 2012-11-30 | 2015-06-09 | Lumenco, Llc | Slant lens interlacing with linearly arranged sets of lenses |
| EP3132283A4 (en) * | 2014-04-14 | 2017-11-15 | Vricon Systems AB | Method and system for rendering a synthetic aperture radar image |
| US10290149B2 (en) * | 2016-04-08 | 2019-05-14 | Maxx Media Group, LLC | System, method and software for interacting with virtual three dimensional images that appear to project forward of or above an electronic display |
| KR102655810B1 (ko) | 2016-11-22 | 2024-04-09 | 삼성전자주식회사 | 3d 영상 렌더링 방법 및 장치 |
| US20190073820A1 (en) * | 2017-09-01 | 2019-03-07 | Mira Labs, Inc. | Ray Tracing System for Optical Headsets |
| US10817055B2 (en) | 2018-05-24 | 2020-10-27 | Innolux Corporation | Auto-stereoscopic display device |
| US11308682B2 (en) * | 2019-10-28 | 2022-04-19 | Apical Limited | Dynamic stereoscopic rendering method and processor |
| US11936844B1 (en) | 2020-08-11 | 2024-03-19 | Apple Inc. | Pre-processing in a display pipeline |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060038890A1 (en) * | 2004-08-23 | 2006-02-23 | Gamecaster, Inc. | Apparatus, methods, and systems for viewing and manipulating a virtual environment |
| US20070035544A1 (en) * | 2005-08-11 | 2007-02-15 | Fossum Gordon C | System and method for ray tracing with depth buffered display |
| US20080129819A1 (en) * | 2001-08-02 | 2008-06-05 | Mark Resources, Llc | Autostereoscopic display system |
| US20100239186A1 (en) * | 2009-03-19 | 2010-09-23 | International Business Machines Corporation | Accelerated Data Structure Positioning Based Upon View Orientation |
| CN101909219A (zh) * | 2010-07-09 | 2010-12-08 | 深圳超多维光电子有限公司 | 一种立体显示方法、跟踪式立体显示器及图像处理装置 |
Family Cites Families (108)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5024521A (en) * | 1990-11-19 | 1991-06-18 | Larry Zuchowski | Autostereoscopic presentation system |
| AU652051B2 (en) * | 1991-06-27 | 1994-08-11 | Eastman Kodak Company | Electronically interpolated integral photography system |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| EP0713331B1 (en) * | 1994-11-17 | 2001-03-14 | Canon Kabushiki Kaisha | Camera control device and method |
| US6732170B2 (en) * | 1996-02-13 | 2004-05-04 | Hitachi, Ltd. | Network managing method, medium and system |
| US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
| US6057847A (en) * | 1996-12-20 | 2000-05-02 | Jenkins; Barry | System and method of image generation and encoding using primitive reprojection |
| US7082236B1 (en) * | 1997-02-27 | 2006-07-25 | Chad Byron Moore | Fiber-based displays containing lenses and methods of making same |
| US6262738B1 (en) * | 1998-12-04 | 2001-07-17 | Sarah F. F. Gibson | Method for estimating volumetric distance maps from 2D depth images |
| JP3619063B2 (ja) * | 1999-07-08 | 2005-02-09 | キヤノン株式会社 | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 |
| US6556200B1 (en) * | 1999-09-01 | 2003-04-29 | Mitsubishi Electric Research Laboratories, Inc. | Temporal and spatial coherent ray tracing for rendering scenes with sampled and geometry data |
| GB2354389A (en) * | 1999-09-15 | 2001-03-21 | Sharp Kk | Stereo images with comfortable perceived depth |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| GB2358980B (en) * | 2000-02-07 | 2004-09-01 | British Broadcasting Corp | Processing of images for 3D display |
| EP1264281A4 (en) * | 2000-02-25 | 2007-07-11 | Univ New York State Res Found | ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME |
| JP2002095018A (ja) * | 2000-09-12 | 2002-03-29 | Canon Inc | 画像表示制御装置及び画像表示システム、並びに画像データの表示方法 |
| US20030107643A1 (en) * | 2001-08-17 | 2003-06-12 | Byoungyi Yoon | Method and system for controlling the motion of stereoscopic cameras based on a viewer's eye motion |
| US20030160788A1 (en) * | 2002-02-28 | 2003-08-28 | Buehler David B. | Pixel pruning and rendering apparatus and method |
| US7466336B2 (en) * | 2002-09-05 | 2008-12-16 | Eastman Kodak Company | Camera and method for composing multi-perspective images |
| US7583275B2 (en) * | 2002-10-15 | 2009-09-01 | University Of Southern California | Modeling and video projection for augmented virtual environments |
| EP1570436B1 (en) * | 2002-11-27 | 2009-06-10 | Vision III Imaging, Inc. | Parallax scanning through scene object position manipulation |
| US7095409B2 (en) * | 2003-04-30 | 2006-08-22 | Pixar | Shot shading method and apparatus |
| US20060109202A1 (en) * | 2004-11-22 | 2006-05-25 | Alden Ray M | Multiple program and 3D display and 3D camera apparatus and process |
| US20060023197A1 (en) * | 2004-07-27 | 2006-02-02 | Joel Andrew H | Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media |
| US7576737B2 (en) * | 2004-09-24 | 2009-08-18 | Konica Minolta Medical & Graphic, Inc. | Image processing device and program |
| US20120182403A1 (en) * | 2004-09-30 | 2012-07-19 | Eric Belk Lange | Stereoscopic imaging |
| JP4764624B2 (ja) * | 2004-12-07 | 2011-09-07 | 株式会社 日立ディスプレイズ | 立体視表示装置及び立体視用画像生成方法 |
| DE102005040597A1 (de) * | 2005-02-25 | 2007-02-22 | Seereal Technologies Gmbh | Verfahren und Einrichtung zum Nachführen von Sweet-Spots |
| US20060203338A1 (en) * | 2005-03-12 | 2006-09-14 | Polaris Sensor Technologies, Inc. | System and method for dual stacked panel display |
| KR100707206B1 (ko) * | 2005-04-11 | 2007-04-13 | 삼성전자주식회사 | 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치 |
| US7746340B2 (en) * | 2005-04-13 | 2010-06-29 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for generating a 2D image having pixels corresponding to voxels of a 3D image |
| CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
| US7333107B2 (en) * | 2005-08-18 | 2008-02-19 | Voxar Limited | Volume rendering apparatus and process |
| US7697751B2 (en) * | 2005-12-29 | 2010-04-13 | Graphics Properties Holdings, Inc. | Use of ray tracing for generating images for auto-stereo displays |
| US8531396B2 (en) * | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US20100060640A1 (en) * | 2008-06-25 | 2010-03-11 | Memco, Inc. | Interactive atmosphere - active environmental rendering |
| EP2054829A2 (en) * | 2006-08-11 | 2009-05-06 | Koninklijke Philips Electronics N.V. | Anatomy-related image-context-dependent applications for efficient diagnosis |
| US8150100B2 (en) * | 2006-11-13 | 2012-04-03 | University Of Connecticut, Center For Science And Technology Commercialization | System and method for recognition of a three-dimensional target |
| US8022950B2 (en) * | 2007-01-26 | 2011-09-20 | International Business Machines Corporation | Stochastic culling of rays with increased depth of recursion |
| JP4836814B2 (ja) * | 2007-01-30 | 2011-12-14 | 株式会社東芝 | ３ｄディスプレイ用ｃｇ画像生成装置、３ｄディスプレイ用ｃｇ画像生成方法、及びプログラム |
| US8085267B2 (en) * | 2007-01-30 | 2011-12-27 | International Business Machines Corporation | Stochastic addition of rays in a ray tracing image processing system |
| US7808708B2 (en) * | 2007-02-01 | 2010-10-05 | Reald Inc. | Aperture correction for lenticular screens |
| US8139780B2 (en) * | 2007-03-20 | 2012-03-20 | International Business Machines Corporation | Using ray tracing for real time audio synthesis |
| US7773087B2 (en) * | 2007-04-19 | 2010-08-10 | International Business Machines Corporation | Dynamically configuring and selecting multiple ray tracing intersection methods |
| US8174524B1 (en) * | 2007-05-23 | 2012-05-08 | Pixar | Ray hit coalescing in a computer rendering program |
| US8134556B2 (en) * | 2007-05-30 | 2012-03-13 | Elsberg Nathan | Method and apparatus for real-time 3D viewer with ray trace on demand |
| US20090021513A1 (en) * | 2007-07-18 | 2009-01-22 | Pixblitz Studios Inc. | Method of Customizing 3D Computer-Generated Scenes |
| JP4739291B2 (ja) * | 2007-08-09 | 2011-08-03 | 富士フイルム株式会社 | 撮影画角算出装置 |
| EP2208354A4 (en) * | 2007-10-10 | 2010-12-22 | Gerard Dirk Smits | IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING |
| US8368692B2 (en) * | 2007-10-19 | 2013-02-05 | Siemens Aktiengesellschaft | Clipping geometries in ray-casting |
| US8355019B2 (en) * | 2007-11-02 | 2013-01-15 | Dimension Technologies, Inc. | 3D optical illusions from off-axis displays |
| US8126279B2 (en) * | 2007-11-19 | 2012-02-28 | The University Of Arizona | Lifting-based view compensated compression and remote visualization of volume rendered images |
| US8400448B1 (en) * | 2007-12-05 | 2013-03-19 | The United States Of America, As Represented By The Secretary Of The Navy | Real-time lines-of-sight and viewsheds determination system |
| KR100924122B1 (ko) * | 2007-12-17 | 2009-10-29 | 한국전자통신연구원 | 픽셀 단위 처리 요소 기반의 광선 추적 장치 및 방법 |
| KR20100123710A (ko) * | 2008-02-08 | 2010-11-24 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 자동 입체 디스플레이 디바이스 |
| BRPI0908372A8 (pt) * | 2008-02-11 | 2016-08-02 | Koninklijke Philips Electronics Nv | Dispositivo de saída de imagem auto-estereoscópica |
| US8411087B2 (en) * | 2008-02-28 | 2013-04-02 | Microsoft Corporation | Non-linear beam tracing for computer graphics |
| US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
| US8228327B2 (en) * | 2008-02-29 | 2012-07-24 | Disney Enterprises, Inc. | Non-linear depth rendering of stereoscopic animated images |
| US7937245B2 (en) * | 2008-04-02 | 2011-05-03 | Dreamworks Animation Llc | Rendering of subsurface scattering effects in translucent objects |
| US8089479B2 (en) * | 2008-04-11 | 2012-01-03 | Apple Inc. | Directing camera behavior in 3-D imaging system |
| DE102008001644B4 (de) * | 2008-05-08 | 2010-03-04 | Seereal Technologies S.A. | Vorrichtung zur Darstellung von dreidimensionalen Bildern |
| CN102047189B (zh) * | 2008-05-29 | 2013-04-17 | 三菱电机株式会社 | 切削加工仿真显示装置以及切削加工仿真显示方法 |
| KR101475779B1 (ko) * | 2008-06-02 | 2014-12-23 | 삼성전자주식회사 | 3ｄ 영상 처리 방법 |
| JP5271615B2 (ja) * | 2008-06-30 | 2013-08-21 | パナソニック株式会社 | 超音波診断装置 |
| US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| US9251621B2 (en) * | 2008-08-14 | 2016-02-02 | Reald Inc. | Point reposition depth mapping |
| US8300089B2 (en) * | 2008-08-14 | 2012-10-30 | Reald Inc. | Stereoscopic depth mapping |
| US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
| KR101497503B1 (ko) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 |
| US9336624B2 (en) * | 2008-10-07 | 2016-05-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for rendering 3D distance fields |
| KR101511281B1 (ko) * | 2008-12-29 | 2015-04-13 | 삼성전자주식회사 | 레이 트레이싱 고속화 방법 및 장치 |
| US8350846B2 (en) * | 2009-01-28 | 2013-01-08 | International Business Machines Corporation | Updating ray traced acceleration data structures between frames based on changing perspective |
| KR101324440B1 (ko) * | 2009-02-11 | 2013-10-31 | 엘지디스플레이 주식회사 | 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치 |
| US8248412B2 (en) * | 2009-03-19 | 2012-08-21 | International Business Machines Corporation | Physical rendering with textured bounding volume primitive mapping |
| US8248401B2 (en) * | 2009-03-19 | 2012-08-21 | International Business Machines Corporation | Accelerated data structure optimization based upon view orientation |
| US8314832B2 (en) * | 2009-04-01 | 2012-11-20 | Microsoft Corporation | Systems and methods for generating stereoscopic images |
| US8665260B2 (en) * | 2009-04-16 | 2014-03-04 | Autodesk, Inc. | Multiscale three-dimensional navigation |
| US8368694B2 (en) * | 2009-06-04 | 2013-02-05 | Autodesk, Inc | Efficient rendering of multiple frame buffers with independent ray-tracing parameters |
| US9648346B2 (en) * | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
| CN102714739A (zh) * | 2009-12-04 | 2012-10-03 | 诺基亚公司 | 处理器、设备以及相关联的方法 |
| US8493383B1 (en) * | 2009-12-10 | 2013-07-23 | Pixar | Adaptive depth of field sampling |
| US8564617B2 (en) * | 2010-01-12 | 2013-10-22 | International Business Machines Corporation | Accelerated volume rendering |
| DE102010009291A1 (de) * | 2010-02-25 | 2011-08-25 | Expert Treuhand GmbH, 20459 | Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display |
| US20120218393A1 (en) * | 2010-03-09 | 2012-08-30 | Berfort Management Inc. | Generating 3D multi-view interweaved image(s) from stereoscopic pairs |
| US9177416B2 (en) * | 2010-03-22 | 2015-11-03 | Microsoft Technology Licensing, Llc | Space skipping for multi-dimensional image rendering |
| JPWO2011118208A1 (ja) * | 2010-03-24 | 2013-07-04 | パナソニック株式会社 | 切削シミュレーション装置 |
| WO2011127273A1 (en) * | 2010-04-07 | 2011-10-13 | Vision Iii Imaging, Inc. | Parallax scanning methods for stereoscopic three-dimensional imaging |
| KR101682205B1 (ko) * | 2010-05-03 | 2016-12-05 | 삼성전자주식회사 | 입체영상의 시청피로를 저감하는 장치 및 방법 |
| US8619078B2 (en) * | 2010-05-21 | 2013-12-31 | International Business Machines Corporation | Parallelized ray tracing |
| KR101291071B1 (ko) * | 2010-06-08 | 2013-08-01 | 주식회사 에스칩스 | 입체 영상 오류 개선 방법 및 장치 |
| US8692825B2 (en) * | 2010-06-24 | 2014-04-08 | International Business Machines Corporation | Parallelized streaming accelerated data structure generation |
| US8627329B2 (en) * | 2010-06-24 | 2014-01-07 | International Business Machines Corporation | Multithreaded physics engine with predictive load balancing |
| US8442306B2 (en) * | 2010-08-13 | 2013-05-14 | Mitsubishi Electric Research Laboratories, Inc. | Volume-based coverage analysis for sensor placement in 3D environments |
| WO2012021967A1 (en) * | 2010-08-16 | 2012-02-23 | Tandemlaunch Technologies Inc. | System and method for analyzing three-dimensional (3d) media content |
| JP5814532B2 (ja) * | 2010-09-24 | 2015-11-17 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 |
| US8659597B2 (en) * | 2010-09-27 | 2014-02-25 | Intel Corporation | Multi-view ray tracing using edge detection and shader reuse |
| US9270970B2 (en) * | 2010-10-27 | 2016-02-23 | Dolby International Ab | Device apparatus and method for 3D image interpolation based on a degree of similarity between a motion vector and a range motion vector |
| TWI462568B (zh) * | 2010-10-29 | 2014-11-21 | Au Optronics Corp | 立體顯示器之影像顯示方法 |
| WO2012073336A1 (ja) * | 2010-11-30 | 2012-06-07 | 株式会社 東芝 | 立体映像表示装置及び方法 |
| US8514225B2 (en) * | 2011-01-07 | 2013-08-20 | Sony Computer Entertainment America Llc | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene |
| US9041774B2 (en) * | 2011-01-07 | 2015-05-26 | Sony Computer Entertainment America, LLC | Dynamic adjustment of predetermined three-dimensional video settings based on scene content |
| US8830230B2 (en) * | 2011-01-31 | 2014-09-09 | Honeywell International Inc. | Sensor placement and analysis using a virtual environment |
| US8854424B2 (en) * | 2011-06-08 | 2014-10-07 | City University Of Hong Kong | Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images |
| JP5784379B2 (ja) * | 2011-06-15 | 2015-09-24 | 株式会社東芝 | 画像処理システム、装置及び方法 |
| US8866813B2 (en) * | 2011-06-30 | 2014-10-21 | Dreamworks Animation Llc | Point-based guided importance sampling |
| US20130127861A1 (en) * | 2011-11-18 | 2013-05-23 | Jacques Gollier | Display apparatuses and methods for simulating an autostereoscopic display device |
| KR101334188B1 (ko) * | 2011-11-25 | 2013-11-28 | 삼성전자주식회사 | 볼륨 데이터의 렌더링 장치 및 방법 |
-
2011
- 2011-12-07 WO PCT/US2011/063835 patent/WO2013085513A1/en active Application Filing
- 2011-12-07 CN CN201180075396.0A patent/CN103959340A/zh active Pending
- 2011-12-07 DE DE112011105927.2T patent/DE112011105927T5/de not_active Withdrawn
- 2011-12-07 US US13/976,015 patent/US20130293547A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080129819A1 (en) * | 2001-08-02 | 2008-06-05 | Mark Resources, Llc | Autostereoscopic display system |
| US20060038890A1 (en) * | 2004-08-23 | 2006-02-23 | Gamecaster, Inc. | Apparatus, methods, and systems for viewing and manipulating a virtual environment |
| US20070035544A1 (en) * | 2005-08-11 | 2007-02-15 | Fossum Gordon C | System and method for ray tracing with depth buffered display |
| US20100239186A1 (en) * | 2009-03-19 | 2010-09-23 | International Business Machines Corporation | Accelerated Data Structure Positioning Based Upon View Orientation |
| CN101909219A (zh) * | 2010-07-09 | 2010-12-08 | 深圳超多维光电子有限公司 | 一种立体显示方法、跟踪式立体显示器及图像处理装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110178370A (zh) * | 2017-01-04 | 2019-08-27 | 辉达公司 | 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染 |
| CN114119797A (zh) * | 2021-11-23 | 2022-03-01 | 北京世冠金洋科技发展有限公司 | 数据处理方法、装置、计算机可读介质、处理器及电子设备 |
| CN114119797B (zh) * | 2021-11-23 | 2023-08-15 | 北京世冠金洋科技发展有限公司 | 数据处理方法、装置、计算机可读介质、处理器及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013085513A1 (en) | 2013-06-13 |
| DE112011105927T5 (de) | 2014-09-11 |
| US20130293547A1 (en) | 2013-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103959340A (zh) | 用于自动立体三维显示器的图形呈现技术 | |
| CN110809750B (zh) | 在保持物理性质的同时虚拟地表示空间和对象 | |
| US10127722B2 (en) | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery | |
| US10192363B2 (en) | Math operations in mixed or virtual reality | |
| CN110163976A (zh) | 一种虚拟场景转换的方法、装置、终端设备及存储介质 | |
| CN112933599B (zh) | 三维模型渲染方法、装置、设备及存储介质 | |
| CN108227916A (zh) | 用于确定沉浸式内容中的兴趣点的方法和设备 | |
| CN101631257A (zh) | 一种实现二维视频码流立体播放的方法及装置 | |
| KR20090117531A (ko) | 혼합현실 구현 시스템 및 그 방법 | |
| CN109725956B (zh) | 一种场景渲染的方法以及相关装置 | |
| US10540918B2 (en) | Multi-window smart content rendering and optimizing method and projection method based on cave system | |
| CN114175097A (zh) | 用于对象类别建模的生成潜在纹理代理 | |
| US10325403B2 (en) | Image based rendering techniques for virtual reality | |
| CN108881886A (zh) | 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法 | |
| US11315306B2 (en) | Systems and methods for processing volumetric data | |
| CN116672706B (zh) | 光照渲染方法、装置、终端和存储介质 | |
| CN1979508A (zh) | 计算机可执行仿真人体经穴动画呈现系统及其方法 | |
| CN113724309A (zh) | 图像生成方法、装置、设备及存储介质 | |
| US20230368432A1 (en) | Synthesized Camera Arrays for Rendering Novel Viewpoints | |
| JP2012234411A (ja) | 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法 | |
| CN114518825A (zh) | 一种基于xr技术的人机交互方法及系统 | |
| KR20140019199A (ko) | 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스 기반 입체 지구본의 제조 방법 | |
| Schmidt | Blended Spaces: Perception and Interaction in Projection-Based Spatial Augmented Reality Environments | |
| Wetzstein | Augmented and virtual reality | |
| Thatte | Cinematic virtual reality with head-motion parallax |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140730 |
|
| WD01 | Invention patent application deemed withdrawn after publication |