CN103348384B - 使用边缘检测和描影器再使用的多视图光线跟踪的方法和设备 - Google Patents
使用边缘检测和描影器再使用的多视图光线跟踪的方法和设备 Download PDFInfo
- Publication number
- CN103348384B CN103348384B CN201180056962.3A CN201180056962A CN103348384B CN 103348384 B CN103348384 B CN 103348384B CN 201180056962 A CN201180056962 A CN 201180056962A CN 103348384 B CN103348384 B CN 103348384B
- Authority
- CN
- China
- Prior art keywords
- triangle
- edge
- filming apparatus
- contour edge
- traceback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 title description 3
- 230000005855 radiation Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000003116 impacting effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims 2
- 238000003780 insertion Methods 0.000 claims 2
- 230000037431 insertion Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 13
- 238000005520 cutting process Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
多视图图像可通过使用多视图轮廓边缘来检测辐射函数中的不连续而生成。多视图轮廓边缘是与反向跟踪平面相交的三角的边缘,并且另外,如从交点看到的,该三角是背向的,并且边缘未进一步连接到任何背向三角。可计算拍摄装置线和描影点之间的解析能见度并且共享的描影计算可再使用。
Description
技术领域
这涉及多视图显示器和用于对多视图显示器生成图像的图形处理。
背景技术
立体渲染和3D立体显示器很快成为主流。自然延伸是使用视差屏障或双凸透镜来适应许多同步观众而不需要主动或被动式眼镜的自动立体多视图显示器。因为这些显示器在可预见的将来将仅支持数量相当有限的视图,对高质量透视图间抗混叠的需求很大。
附图说明
图1是用于在简单示例中图示拍摄装置线、正向光线、反向跟踪三角形和图像平面的概念的示意图描绘;
图2是如何根据本发明的一个实施例计算解析能见度的图示;
图3是根据一个实施例的多视图轮廓边缘(multi-viewsilhouetteedge)生成的示意图描绘;
图4是在v维中裁剪的多视图轮廓的描绘;
图5是根据一个实施例的共享插值描影(shading)的描绘;
图6描绘在一个实施例中如何使用重建滤波器来进行重建;
图7是由于反向跟踪引起的不均匀样本密度的描绘;
图8是根据一个实施例用于抗混叠的多视图轮廓边缘相交的描绘;
图9是一个实施例的流程图;
图10是一个实施例的硬件描绘。
具体实施方式
我们呈现使用光线跟踪的高效多视图图像生成的专门算法。我们引入多视图轮廓边缘来检测由场景中的几何边缘产生的辐射函数中的急剧不连续。另外,我们通过计算拍摄装置线和描影点之间的解析能见度并且通过共享描影计算而利用描影器一致性。
我们希望采样的空间具有三个维度,指示为(x,y,v),其中v是沿拍摄装置线的视图参数,并且(x,y)是图像平面参数。这在图1中图示。
我们的目标是采样并且重建光场L(x,y,v),以便在自动立体显示器上高质量地显示它。这些显示器在概念上具有像素网格,其中每个像素可以同时显示沿拍摄装置线朝不同位置vi投影的n个截然不同的辐射值。每个这样的视图在小范围内是可见的,并且通常基于显示器的光学性质而在视图之间存在一定重叠。因为视图的数量局限于小的数量(例如,8-64),显示器沿v极大地受带宽限制。
为了避免透视图间混叠,在重建步骤中相对于视图相关型滤波器对L求积分来计算n个截然不同的图像Li:
(1)
其中gi是视图i的滤波器内核。这有效地替换在观察人移动时所看到的在聚焦平面的前方和后方具有模糊对象的闪动效应。注意,在确定最后的像素值时,也像往常一样针对空间抗混叠滤波器对Li求积分。
L的随机采样是昂贵的。对于每个样本,“正向光线”从v发送通过(x,y),以便找到与场景的相交,以及估计的描影。
L中的不连续有两个主要原因:描影中的突然变化,以及场景中的几何边缘。我们提出用于多视图光线跟踪的专门算法,其通过利用在多视图设定值中固有的描影一致性而生成廉价的样本。我们通过“反向跟踪”来从交点朝拍摄装置线向后跟踪三角形而解析地检测这样的边缘,来代替使用正向光线的几何轮廓边缘的随机采样。参见图9,框102。我们引入概念叫作多视图轮廓边缘来对该数据编码。对于描影不连续性,我们继续依赖自适应采样,因为描影器是黑盒子,对其未获知进一步的信息。
由于几何边缘的解析检测,作为副效应,我们还获知描影点与拍摄装置线之间的能见度的确切范围。因此,我们可以沿已知为可见的段插入任何数量的额外样本,而对进一步的光线跟踪没有任何需要。因为所有视图无关的计算(例如,入射辐射的采样)可以再使用,这些附加的“反向跟踪样本”的描影具有相对低的成本。
在重建步骤中,基于存储的样本和边缘信息创建连续函数。鉴于先前的方法经过很大的努力来通过计算每个样本的梯度而检测边缘,我们知道几何轮廓边缘的确切位点。在一些实施例中,这明显提高重建的质量,并且因此提高最后的积分结果的质量。
我们描述如何生成样本、如何计算多视图轮廓以及如何可以再使用描影计算。当正向光线(如在图1中看到的)撞击表面时,通常计算描影并且将其作为样本存储在(x,y,v)集中。我们注意到,对于拍摄装置线的部分(即,对于可以“看见”该交点的v的值),可以对所有这样的v再使用该描影的所有视图无关的部分。利用该一致性的直接方法是跟踪从正向光线的交点回到拍摄装置线的光线集。然而,这可在不同区域的样本密度中引起变化,并且除非在重建期间注意,否则这可使几何边缘略微平移。参见图7。
我们的算法的反向跟踪部分在正向光线已经在交点处撞击物体后开始。从该交点和拍摄装置线创建反向跟踪三角形,如在图1中看到的。目标则是计算拍摄装置线中的哪些部分从交点可见。这一点我们使用其中最后的部分类似于平面中阴影体积渲染的方法而解析地进行。我们场景中的所有三角形几何形状使用轴对准的包围盒(AABB)而存储在层次包围体积(BVH)中。首先,穿过BVH,并且检查AABB相对于反向跟踪三角形的重叠。这使用优化三角形/AABB重叠测试来进行。在概念上,如果三角形边缘与反向跟踪三角形相交,与反向跟踪平面相交的该三角形的所有边缘插入哈希表内,其中哈希密钥从边缘的两个顶点的指数来创建。
我们对轮廓边缘的定义是与反向跟踪平面相交的三角形边缘,并且另外,三角形从交点看是背向的,并且边缘未进一步连接到任何背向三角形。这意指可以操纵打开以及关闭的2歧管表面。因为当从交点观看时只有轮廓边缘定义能见度,我们希望快速检测这些轮廓边缘。
我们使用一些优化来找到轮廓边缘。参考图9,框104。首先,我们只处理从交点看到的背向三角形。其次,我们所测试的三角形必须与背向三角形的平面相交,并且反之亦然。第三,如果我们在哈希中得到碰撞,这意指共享边缘的两个背向三角形都插入共享边缘。因为两个三角形都是背向的,共享边缘不可能是轮廓边缘,并且因此两个条目从哈希表中去除。另外,我们检测三角形何时具有位于交点后面的顶点以及在前方的至少一个顶点。在那些情况(其很少发生)下,我们相对于背向三角形来裁剪三角形,并且在这之后插入边缘。在完成所有处理后,所有潜在的轮廓边缘将在哈希表中。
图2是如何从交点(IP)回退到拍摄装置线来计算解析能见度的图示。仅在二维中示出遮光板来简化图示。因此,在三维中的三角形在二维中变成线,并且轮廓边缘变成“轮廓点”(黑点)。如从交点看到的朝前的线是虚的。在图2的左边,早期未能相对于背向三角形而剔除的物体的三角形被处理。哈希表用于迅速找到剩余线上的轮廓点。在图2的中间,轮廓点的卷绕用于对它们给出权重+1或-1。在图2中的右边,当从左到右对权重求和时,遮挡部分是具有大于零的总计权重的段。拍摄装置线上的黑段S被遮挡。
当已经找到所有轮廓边缘时,沿拍摄装置线从左到右来处理轮廓边缘与反向跟踪三角形的平面的交点。参考图9,框106。计数器初始化为轮廓边缘的数量,这些轮廓边缘的三角形起源于外部并且达到反向跟踪三角形的左边。每个点根据它的卷绕顺序(在图2中用小箭头指示的)而具有权重+1或-1。我们计算沿拍摄装置线的权重的总和,并且当总和大于零时,拍摄装置线被遮挡。否则,它从交点是可见的。最后,我们仅保留外部轮廓点,即,图2中黑段S的终点。注意,因为交点从拍摄装置线上的至少一个点是可见的,整个拍摄装置线被遮挡的情形不可能出现。
多视图轮廓对场景中几何边缘的代表性子集编码。在上文描述的反向跟踪步骤中,我们已经识别许多外部轮廓点。从三角形边缘产生每个这样的点,该三角形边缘是拍摄装置线上的至少一定v以及在图像平面中的y的轮廓。投影到图像平面时,每个三角形边缘是特定v的线。在三维(x,y,v)空间中看到,这些线将勾绘出成为双线性补片的表面。我们把这些补片叫作多视图轮廓边缘,但我们将能互换地使用术语补片。几何情形在图3中图示,其中多视图轮廓边缘由四个点p i()限定。通过将三角形边缘终点朝拍摄装置线的终点投影到图像平面上来获得这四个点。当将轮廓边缘的终点朝拍摄装置线的终点投影时,获得四个点p 0、p 1、p 2、p 3。这些限定了成为双线性补片的多视图轮廓边缘。在我们的重建算法中使用多视图轮廓边缘来更好地维护几何边缘。注意,聚焦平面与图3中的图像平面相同。
每个多视图轮廓边缘局部地将采样域分隔成不相交区域,其代表场景中的几何不连续。在重建步骤中,我们将基本上通过使用边缘已知重建滤波器来使用该信息以相当大地提高质量。在下面,我们将描述如何处理多视图轮廓来构造具有合理性能的近似边缘表示。参考图9,框108。
首先,我们注意到仅从拍摄装置线可见的轮廓是感兴趣的。我们知道每个补片上的至少一个点是可见的(在反向跟踪步骤中找到的外轮廓点),但其他部分可通过其他补片而很好地被遮挡。一般,每个补片仅有限的区域将从拍摄装置线可见。
作为第一优化,如可能的话,v维中多视图轮廓边缘的范围减小。我们使用共享轮廓边缘的三角形的两个平面来确定在v中的范围,如从拍摄装置线看到的,在该v中的范围上边缘是真实轮廓,而不仅仅是内部边缘。相对于拍摄装置线对这些平面进行相交测试,并且相应地裁剪拍摄装置线。
常见情况以及两个特别情况在图4中示出。在v维中裁剪多视图轮廓。我们使用入射到轮廓边缘的平面来限制多视图轮廓边缘沿v轴的范围。多视图轮廓边缘裁剪为在图4中的v轴上的间隔I。在全部的三个情况中,我们可以只保留拍摄装置线的一部分,其中边缘实际上是轮廓,并且其中交点是可见的(从至少一个点)。我们仅保留多视图轮廓的其中存在已知从拍摄装置线可见的点的部分(即,正向光线起源的部分)。
其次,我们通过使y维离散为所谓的y桶来降低问题的维数。每个桶以坐标yi为中心。通常每个扫描线具有一个或几个桶是足够的,但在具有复杂几何形状的场景中可以使用更多的桶。我们将多视图轮廓存储为在y桶的(x,v)平面中的线段,来代替将它视为双线性补片。因为所有剪裁和处理在2D中进行,这明显简化算法。
对于每个桶,二维kD树用于保持线段。无论何时插入新的轮廓,相对于该桶中现有的边缘来裁剪它。为此目的,考虑深度值和边缘卷绕是重要的,即,它是朝左还是朝右的轮廓。当将新的边缘引入kD树时,相对于更接近拍摄装置线的边缘来裁剪它,并且裁剪离它更远的边缘。最前面的边缘的卷绕确定要保留裁剪边缘的哪段。
由于性能原因,在一些实施例中我们仅在当前y桶中(而不是补片重叠的所有桶中)插入多视图轮廓数据。相反,我们依赖从其他交点的反向跟踪来重复找到相同的多视图轮廓边缘并且将它插入其他桶中。这似乎可能违反直觉,但在一些实例中以相当的质量产生更好的性能。为了降低计算复杂性,所有每补片设置(即,它的拐角点pi,以及其他必要信息)只计算一次并且存储在哈希图中,键控在构成边缘的三角形id:s。
最后,为了找到多视图轮廓,在一些实施例中,我们使正向光线只投射通过y桶中心,而不是在y中抖动。这避免以下问题:得到仅沿正向光线的y坐标可见而从y桶中心(这在个别情况下可引起视觉伪像)不可见的补片。在该实例中,我们的目标不是创建所有多视图轮廓边缘的详尽表示,相反是迅速构造边缘的代表集来辅助误差测量和重建。在已经失去几何边缘的域的区域中,由于使用对比测量来检测描影器不连续性,算法自动求助于惯用的多维自适应采样(MDAS)。参见2008年Hachisuka,T.,Jarosz,W.,Weistroffer,R.,K.Dale,G.H.Zwicker,M.,andJensen,H.W.的“MultidimensionalAdaptiveSamplingandReconstructionforRayTracing(光线跟踪的多维自适应采样和重建)”,ACMTransactionsonGraphics,27,3,33.1-33.10。
一旦解析反向跟踪已经识别拍摄装置线上的可见段的集,在那些段中产生反向跟踪样本集,并且这些样本被插入保持所有样本的三维kD树中。反向跟踪样本是起源于正向光线撞击的交点的辐射,如从拍摄装置线v上的点看到的那样。我们通过对从相同交点产生的反向跟踪样本再使用描影计算而利用描影器一致性。参见图9,框110。
每个正向光线将撞击需要被描影的交点。在最简单的实现中,我们将描影器划分成视图相关部分和视图无关部分。对于每一个反向跟踪样本,估计双向反射分布函数(BRDF)的视图相关部分。这包括,例如,镜面强光、反射和折射。BRDF的视图无关部分对于每个正向光线仅估计一次。此示例是辐照聚集、能见度计算(例如,阴影)和漫射光照。这单独导致明显的加速。我们还注意到从mipmap纹理滤波或各向异性纹理滤波得到的颜色是视图相关的。当朝表面上的点看去时,纹理查找将根据拍摄装置线上的视点而获得不同的足迹。迄今为止,我们的描影优化已经是精确的。
近似的描影器再使用方法允许以不同频率描影并且可使用插值或最近邻查找来获得任意拍摄装置位置处的描影样本。例如,BRDF的镜面分量可快速变化,并且因此可需要被密集地采样以用于描影样本的可靠重建。然而,在一些实施例中,以较低的频率对镜面分量采样并且然后对中间的样本插值,这可以是可接受的。相似地,纹理查找通常以甚至更低的频率变化并且可更稀疏地被采样。
描影再使用的一个实施例在图5中示出。正向光线(在图中向左)在交点处撞击圆形物体。通过我们的算法来计算解析能见度。仅不是粗体的垂直拍摄装置线的部分从交点是可见的。生成五个新的反向跟踪样本(光线转向右边)。漫射描影计算(如果这不牵涉任何纹理查找)可以对全部六个光线进行一次,并且然后由所有光线再使用。在一个实施例中,右边的字母试图使镜面描影计算的频率可视化。标记有s的所有光线由划痕来计算镜面描影,而标记有i的那些光线从它的近邻插值。因为已经从先前的步骤解析地确定能见度,在反向跟踪中不牵涉能见度计算。
在描影再使用的另一个实施例中,在沿拍摄装置线v的随机位点处进行描影,并且比反向跟踪样本更稀疏地进行该描影。然后对反向跟踪样本线性地插值所得的描影值。如果反向跟踪样本应该位于最外部描影样本的拍摄装置线参数v的上方或下方,分配给那些反向跟踪样本的描影颜色值被钳位在最接近描影样本。相似地,纹理查找甚至可以比描影样本更稀疏地进行。纹理颜色值根据对于描影样本和反向跟踪样本描述的插值和钳位规则而分配给描影样本。
每正向光线的反向跟踪样本数量是可变参数,并且可以根据描影器来调整。然而,一般,我们使反向跟踪的样本的数量与通过解析反向跟踪步骤找到的拍摄装置线的可见段的长度总和成比例。另外,反向跟踪样本在拍摄装置线上抖动,并且对于正向光线所起源的子段,去除对应的反向跟踪样本。相反,在那里使用正向光线,因为正向光线具有高性能(因为它是由其中误差测量最大的MDAS产生)。一般,反向跟踪样本将比由MDAS产生的“全”样本具有更低的重要性。因此,没有点放入过量反向跟踪样本中,因为这将使kD树查找相当地更慢。然而,对于昂贵的描影器,再使用描影器计算和以较低频率估计描影器的部分的益处仍将是显著的,尤其是在具有数量增加的视图的情况下。
接着,我们描述我们的重建算法。参见图9,框112。回想所有样本是三维的,即,具有坐标(x,y,v)。另外,每个样本具有一些辅助数据,例如颜色和z坐标。将从该样本集重建n个不同的图像,其中n取决于目标显示。例如,对于立体显示,n=2。
如在图6中示出的,在我们的算法中的样本产生步骤之后,我们具有样本的三维空间(x,y,v),其中v是视图维度,即,沿拍摄装置线的参数。从该样本集重建n个图像。在该情况下,n=9,但在右边仅示出三个。可以使用沿v轴的任意滤波器内核gi。在图6的底部,示出全部九个图像。
第一步骤与MDAS的重建算法相同。简要地,kD树首先被细分直到每个节点持有一个样本。当处理每个样本时,找到最近的近邻、计算梯度并且最后计算每样本的结构张量。在该处理后,通过在像素的中间在v维中(即,具有固定的(x,y)坐标)沿线(在这里叫作v线)求积分来找到像素的最终颜色。在多视图设置中,对于特定视图仅特定范围的v需要处理(参见图6)。MDAS然后找到与v线重叠的kD树节点,并且累积每个kD树节点对像素颜色的贡献。该贡献通过在kD树节点的中间的v线(x,y)上放置积分点并且计算相邻样本对于该积分点的颜色贡献来计算。这一点由MDAS通过在欧几里德意义上找到最接近节点中心的kD树中的s个样本来进行以便获得近似最近邻的粗糙集,并且该集存储在每个节点内。然后使用结构张量对这些样本计算马氏距离。积分点的颜色则是最近样本的颜色。
当kD树具有其自身中的真实边缘的可靠表示时,MDAS重建高质量边缘。然而,在大多数情况下,在插入我们的廉价反向跟踪样本时事实不是这样。此示例在图7中图示,其示出由于反向跟踪引起的不均匀样本密度。
图7中的最左边描绘示出具有两个聚焦水平线R和背景中的水平线B的场景的xz平面中的扫描线。对于每个正向光线,在交点处,一组光线被反向跟踪至拍摄装置线。如可以看到的,对于撞击线B的正向光线,反向光线中仅一部分将到达拍摄装置线。在中间图中,在中等数量的正向光线后示出外极面(epipolarplane)并且对应的反向光线已经被跟踪。“外极面”是对于某一y的xv空间。来自线R的样本示出为方形Q,并且来自背景B的样本示出为黑点D。注意,样本密度在区域R中明显较低。最后,在右边图中,示出来自外极面的缩放视图。阴影背景指示真实几何边缘的位置,但由于不同的采样密度,重建边缘(垂直线S)可渗到密度较低的采样区域M内,并且因此处于与真实边缘T不同的位点处。注意,该图是说明性示例,而不是真实的样本分布。因此,我们开发使用多视图轮廓来解决此的重建技术,并且提高我们的算法所产生的那类样本集的重建质量。
接着,我们描述在处理与v线重叠的每个kD树时如何相当大地提高在像素面积上的积分。对于特定kD树节点和像素(xp,yp),我们还在处创建积分点。在概念上,我们然后在x方向上在我们的多视图轮廓数据结构中寻找与积分点的两个最接近边缘。这进行如下。多视图轮廓边缘(其是双线性补片(图3))与平面y=yp的相交在xv空间中通过构造将是直线。该直线方程然后用于计算在处多视图轮廓的x坐标。这一点对于所有最近多视图轮廓来进行,并且保留具有x<xp的最接近边缘和具有x≥xp的最接近边缘。该情形在图8中的左边图示。
在图8中在左边,在外极面xv中查看来自样本的kD树的节点(盒G)。交叉是为该kD树节点所选的积分线上的积分点,并且黑圈是样本。在处,我们的算法在x中寻找两个最接近多视图轮廓(线E和F)。估计对于像素中心的y值的最接近多视图轮廓。
一旦已经找到最近多视图轮廓边缘,我们通过在处从多视图轮廓边缘创建新的直线方程而将它们投影到图像平面(x,y)。然后相对于像素范围裁剪这些线。利用两个边缘,这可以导致四个不同配置,如在图8中在右边示出的,其中像素被分成1-4个区域。然后使用每个区域中的最接近(在马氏距离上)样本来计算每个区域的颜色。同时,计算这些像素区域的面积ai(),其中这些面积的总和等于像素的面积。接着,直接从节点提取节点的中心点周围的s个最近样本(在欧几里德意义上)。然后将这些最近样本归类到这些不同的区域,并且与像素重叠的每个区域的颜色ci仅使用该区域中的样本基于马氏距离来选择。kD树节点的最终颜色贡献则是,其中ai可以是零。因此,当对于kD树节点存在与像素重叠的1-2个边缘时,我们的算法在图像中产生高质量抗混叠边缘。注意,如果边缘将像素分裂为两片(图8中的右上方示例),则a3=a4=0。在一些实施例中,用户可希望使用超过两个的分裂边缘。
应该注意在一些非常罕见的情况下,在一个或多个区域中将没有任何样本。在该情况下,重建的颜色简单地将是不正确的,并且我们对此的补救办法是使新的光线射入那些区域,并且在重建中使用该样本的颜色。为了避免重组kD树、重新计算梯度和结构张量等,我们在新的样本已经使用后简单地丢弃它。
y维被离散为每扫描线少量的y桶中心。因此,这十分倾向于在y方向上混叠。为了减少该效应,我们在重建期间对于每个节点和扫描线使积分点的y值在像素内抖动。最接近抖动积分点的y桶用作局部几何形状的代表。这替换了具有噪声的混叠(假定有足量的y桶)。
计算机系统130(在图10中示出)可包括硬驱动器134和可移动介质136,其通过总线104耦合于芯片集核逻辑110。键盘和鼠标120或其他常规部件可经由总线108耦合于该芯片集核逻辑。核逻辑可经由总线105耦合于图形处理器112,并且在一个实施例中耦合于主或主机处理器100。图形处理器112还可通过总线106耦合于帧缓冲器114。帧缓冲器114可通过总线107耦合于显示屏118。在一个实施例中,图形处理器112可以是使用单指令多数据(SIMD)架构的多线程、多核并行处理器。
在软件实现的情况下,相关代码可存储在任何适合的半导体、磁或光存储器(包括主存储器132)、或图形处理器内的任何可用存储器中。从而,在一个实施例中,用于执行图9的序列的代码可存储在机器或计算机可读介质(例如存储器132或图形处理器112)中,并且在一个实施例中可由处理器100或图形处理器112执行。
图9是流程图。在一些实施例中,在该流程图中描绘的序列可在硬件、软件或固件中实现。在软件实施例中,例如半导体存储器、磁存储器或光存储器等非暂时性计算机可读介质可用于存储指令并且可由处理器执行来实现在图9中示出的序列。
本文描述的图形处理技术可在各种硬件架构中实现。例如,图形功能性可集成在芯片集内。备选地,可使用离散图形处理器。作为再另一个实施例,图形功能可由通用处理器(其包括多核处理器)实现。
整个说明书中对“一个实施例”或“实施例”的引用意指连同实施例描述的特定特征、结构或特性包括在包含在本发明内的至少一个实现中。从而,短语“一个实施例”或“在实施例中”的出现不一定指相同的实施例。此外,特定特征、结构或特性可采用除图示的特定实施例外的其他适合的形式而设立并且所有这样的形式可包含在本申请的权利要求内。
尽管已经关于有限数量的实施例描述本发明,本领域内技术人员将意识到从此而进行的许多修改和改动。规定附上的权利要求涵盖所有这样的修改和改动,它们落入本发明的真正精神和范围内。
Claims (20)
1.一种多视图图像生成的方法,包括:
通过从交点反向跟踪三角而解析地检测作为多视图轮廓边缘的几何边缘,正向光学已经朝拍摄装置线在所述交点处撞击物体,所述三角是从所述交点和所述拍摄装置线来创建的,
通过使用所述多视图轮廓边缘检测光场的辐射函数中的不连续来生成多视图图像。
2.如权利要求1所述的方法,其包括计算拍摄装置线和描影点之间的解析能见度。
3.如权利要求2所述的方法,其包括使用多视图轮廓边缘来重建,其中像素被划分为一定数量的区域。
4.如权利要求2所述的方法,其包括基于解析能见度插入反向跟踪样本。
5.如权利要求3所述的方法,其包括对没有样本的区域投射新的光线。
6.如权利要求2所述的方法,其包括对所述拍摄装置线上的能见度段共享描影计算。
7.如权利要求6所述的方法,其包括将描影计算分为分量并且以不同频率评估所述分量。
8.如权利要求1所述的方法,其包括检测所述三角内部的多视图轮廓边缘。
9.如权利要求1所述的方法,其包括通过只处理存储在使用轴对准包围盒(AABB)的层次包围体积(BVH)中的三角来发现轮廓边缘,所述三角从所述交点来看是背向的。
10.如权利要求1所述的方法,其包括通过只测试与反向跟踪三角平面相交的三角来发现轮廓边缘。
11.一种用于处理图形的设备,包括:
处理器,用于:通过从交点反向跟踪三角而解析地检测作为多视图轮廓边缘的几何边缘,正向光学已经朝拍摄装置线在所述交点处撞击物体,所述三角是从所述交点和所述拍摄装置线来创建的,通过使用所述多视图轮廓边缘检测光场的辐射函数中的不连续来生成多视图图像;以及
存储装置,其耦合于所述处理器。
12.如权利要求11所述的设备,所述处理器用于计算拍摄装置线中的描影点之间的解析能见度。
13.如权利要求12所述的设备,所述处理器用于使用多视图轮廓边缘来重建,其中像素被划分为一定数量的区域。
14.如权利要求12所述的设备,所述处理器用于基于解析能见度插入反向跟踪三角。
15.如权利要求13所述的设备,所述处理器用于对没有样本的区域投射新的光线。
16.如权利要求12所述的设备,所述处理器用于对所述拍摄装置线上的能见度段共享描影计算并且以不同的频率描影。
17.如权利要求11所述的设备,所述处理器用于检测所述三角内部的多视图轮廓边缘。
18.如权利要求11所述的设备,所述处理器用于通过只处理存储在使用轴对准包围盒(AABB)的层次包围体积(BVH)中的三角来发现轮廓边缘,所述三角从所述交点来看是背向的。
19.如权利要求11所述的设备,所述处理器用于通过只测试与背向三角平面相交的三角来发现轮廓边缘。
20.如权利要求11所述的设备,所述处理器用于发现共享边缘的反向跟踪三角并且在轮廓边缘发现期间忽略共享边缘。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/890,754 US8659597B2 (en) | 2010-09-27 | 2010-09-27 | Multi-view ray tracing using edge detection and shader reuse |
US12/890754 | 2010-09-27 | ||
PCT/US2011/053549 WO2012047681A2 (en) | 2010-09-27 | 2011-09-27 | Multi-view ray tracing using edge detection and shader reuse |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103348384A CN103348384A (zh) | 2013-10-09 |
CN103348384B true CN103348384B (zh) | 2016-07-06 |
Family
ID=45870182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180056962.3A Expired - Fee Related CN103348384B (zh) | 2010-09-27 | 2011-09-27 | 使用边缘检测和描影器再使用的多视图光线跟踪的方法和设备 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8659597B2 (zh) |
EP (1) | EP2622581B1 (zh) |
JP (1) | JP5651909B2 (zh) |
KR (1) | KR101482578B1 (zh) |
CN (1) | CN103348384B (zh) |
SG (1) | SG188646A1 (zh) |
TW (1) | TWI564839B (zh) |
WO (1) | WO2012047681A2 (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171396B2 (en) * | 2010-06-30 | 2015-10-27 | Primal Space Systems Inc. | System and method of procedural visibility for interactive and broadcast streaming of entertainment, advertising, and tactical 3D graphical information using a visibility event codec |
CN103959340A (zh) * | 2011-12-07 | 2014-07-30 | 英特尔公司 | 用于自动立体三维显示器的图形呈现技术 |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9767598B2 (en) | 2012-05-31 | 2017-09-19 | Microsoft Technology Licensing, Llc | Smoothing and robust normal estimation for 3D point clouds |
US8976224B2 (en) | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
KR101538658B1 (ko) | 2012-11-20 | 2015-07-22 | 삼성메디슨 주식회사 | 의료 영상 표시 방법 및 장치 |
DE102014105146B4 (de) * | 2013-04-22 | 2021-11-04 | Nvidia Corporation | System, Verfahren und Computerprogrammprodukt zum Durchführen einer Pfad-Raum-Filterung |
US9953457B2 (en) | 2013-04-22 | 2018-04-24 | Nvidia Corporation | System, method, and computer program product for performing path space filtering |
KR102110819B1 (ko) * | 2013-05-08 | 2020-05-15 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9799091B2 (en) | 2014-11-20 | 2017-10-24 | Intel Corporation | Apparatus and method for efficient frame-to-frame coherency exploitation for sort-last architectures |
KR102276252B1 (ko) * | 2014-12-29 | 2021-07-12 | 엘지디스플레이 주식회사 | 3d 필터의 부착오차가 보정된 입체영상표시장치 및 부착오차 보정방법 |
US9679398B2 (en) * | 2015-10-19 | 2017-06-13 | Chaos Software Ltd. | Rendering images using color contribution values of render elements |
AU2017250112B2 (en) | 2016-04-12 | 2020-09-17 | Quidient, Llc | Quotidian scene reconstruction engine |
US10403033B2 (en) * | 2016-07-12 | 2019-09-03 | Microsoft Technology Licensing, Llc | Preserving scene lighting effects across viewing perspectives |
CN106780704B (zh) * | 2016-12-07 | 2019-11-08 | 长春理工大学 | 基于可见性重用的三维场景直接光照效果近似绘制方法 |
US10038894B1 (en) * | 2017-01-17 | 2018-07-31 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
EP3788595A4 (en) | 2018-05-02 | 2022-01-05 | Quidient, LLC | CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS |
US11069123B2 (en) | 2018-12-28 | 2021-07-20 | Intel Corporation | Cloud-based realtime raytracing |
CN113628316B (zh) * | 2020-05-08 | 2023-12-01 | 辉达公司 | 使用射线锥进行各向异性纹理滤波的技术 |
US11443475B2 (en) * | 2020-05-08 | 2022-09-13 | Nvidia Corporation | Techniques for ray cone tracing and texture filtering |
US11450057B2 (en) * | 2020-06-15 | 2022-09-20 | Nvidia Corporation | Hardware acceleration for ray tracing primitives that share vertices |
US11734890B2 (en) * | 2020-08-17 | 2023-08-22 | Nvidia Corporation | Three-dimensional model recovery from two-dimensional images |
KR20220170090A (ko) | 2021-06-22 | 2022-12-29 | 에스케이하이닉스 주식회사 | 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803910B2 (en) * | 2002-06-17 | 2004-10-12 | Mitsubishi Electric Research Laboratories, Inc. | Rendering compressed surface reflectance fields of 3D objects |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822658B1 (en) | 1999-10-25 | 2004-11-23 | Intel Corporation | Rendering a silhouette edge |
US6560722B1 (en) * | 1999-12-30 | 2003-05-06 | Texas Instruments Incorporated | Developing and deploying real-time high-performance applications with DSPs |
US7286138B2 (en) | 2001-05-08 | 2007-10-23 | Microsoft Corporation | Discontinuity edge overdraw |
US7164784B2 (en) * | 2002-07-30 | 2007-01-16 | Mitsubishi Electric Research Laboratories, Inc. | Edge chaining using smoothly-varying stereo disparity |
US7145565B2 (en) * | 2003-02-27 | 2006-12-05 | Nvidia Corporation | Depth bounds testing |
US7142726B2 (en) * | 2003-03-19 | 2006-11-28 | Mitsubishi Electric Research Labs, Inc. | Three-dimensional scene reconstruction from labeled two-dimensional images |
US7738725B2 (en) | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
US7206449B2 (en) | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
US20050088515A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Camera ring for three-dimensional (3D) surface imaging |
EP1714251A1 (en) * | 2004-02-03 | 2006-10-25 | Koninklijke Philips Electronics N.V. | Creating a depth map |
ATE383627T1 (de) * | 2004-11-19 | 2008-01-15 | Ericsson Telefon Ab L M | Verfahren und vorrichtung zur erzeugung dreidimensionaler bilder |
JP2006163547A (ja) * | 2004-12-03 | 2006-06-22 | Canon Inc | 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。 |
JP4902748B2 (ja) * | 2006-12-08 | 2012-03-21 | メンタル イメージズ ゲーエムベーハー | 階層型オクルージョンカリングを使用するコンピュータグラフィックシャドウボリューム |
US8237711B2 (en) * | 2007-11-19 | 2012-08-07 | Caustic Graphics, Inc. | Tracing of shader-generated ray groups using coupled intersection testing |
-
2010
- 2010-09-27 US US12/890,754 patent/US8659597B2/en active Active
-
2011
- 2011-09-16 TW TW100133480A patent/TWI564839B/zh not_active IP Right Cessation
- 2011-09-27 JP JP2013530427A patent/JP5651909B2/ja not_active Expired - Fee Related
- 2011-09-27 EP EP11831322.0A patent/EP2622581B1/en not_active Not-in-force
- 2011-09-27 SG SG2013021761A patent/SG188646A1/en unknown
- 2011-09-27 KR KR20137010829A patent/KR101482578B1/ko active IP Right Grant
- 2011-09-27 WO PCT/US2011/053549 patent/WO2012047681A2/en active Application Filing
- 2011-09-27 CN CN201180056962.3A patent/CN103348384B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803910B2 (en) * | 2002-06-17 | 2004-10-12 | Mitsubishi Electric Research Laboratories, Inc. | Rendering compressed surface reflectance fields of 3D objects |
Also Published As
Publication number | Publication date |
---|---|
JP2013537997A (ja) | 2013-10-07 |
WO2012047681A3 (en) | 2012-06-14 |
TW201234313A (en) | 2012-08-16 |
KR101482578B1 (ko) | 2015-01-14 |
EP2622581B1 (en) | 2017-11-29 |
JP5651909B2 (ja) | 2015-01-14 |
EP2622581A4 (en) | 2014-03-19 |
WO2012047681A2 (en) | 2012-04-12 |
KR20130058759A (ko) | 2013-06-04 |
US20120075303A1 (en) | 2012-03-29 |
CN103348384A (zh) | 2013-10-09 |
TWI564839B (zh) | 2017-01-01 |
US8659597B2 (en) | 2014-02-25 |
SG188646A1 (en) | 2013-05-31 |
EP2622581A2 (en) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103348384B (zh) | 使用边缘检测和描影器再使用的多视图光线跟踪的方法和设备 | |
US11688138B2 (en) | Methods and systems for detecting and combining structural features in 3D reconstruction | |
Furukawa et al. | Accurate, dense, and robust multiview stereopsis | |
Agarwala et al. | Photographing long scenes with multi-viewpoint panoramas | |
Chauve et al. | Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data | |
CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
EP3918570B1 (en) | Localization of elements in the space | |
Rothermel et al. | A median-based depthmap fusion strategy for the generation of oriented points | |
CN104123715B (zh) | 配置视差值的方法和系统 | |
Slabaugh et al. | Image-based photo hulls for fast and photo-realistic new view synthesis | |
Leung et al. | Embedded voxel colouring with adaptive threshold selection using globally minimal surfaces | |
Wei et al. | Dense and occlusion-robust multi-view stereo for unstructured videos | |
Zhang et al. | An Improved Building Reconstruction Algorithm Based on Manhattan World Assumption and Line‐Restricted Hypothetical Plane Fitting | |
Blåwiik | Fusing Stereo Measurements into a Global 3D Representation | |
NZ739813B2 (en) | Methods and systems for detecting and combining structural features in 3d reconstruction | |
Zapotocky | Image-based modeling with polyhedral primitives | |
Aarts et al. | Depth estimation using segmentation and geometric model matching | |
Wang | Disparity Estimation Using a Color Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 Termination date: 20210927 |
|
CF01 | Termination of patent right due to non-payment of annual fee |