CN103283241B - 二维图像的再投影的多样本解析 - Google Patents
二维图像的再投影的多样本解析 Download PDFInfo
- Publication number
- CN103283241B CN103283241B CN201180063836.0A CN201180063836A CN103283241B CN 103283241 B CN103283241 B CN 103283241B CN 201180063836 A CN201180063836 A CN 201180063836A CN 103283241 B CN103283241 B CN 103283241B
- Authority
- CN
- China
- Prior art keywords
- sample
- pixel
- reprojection
- dimensional
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 21
- 230000004438 eyesight Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 13
- 239000011521 glass Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000010287 polarization Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 208000013521 Visual disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005039 memory span Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开二维图像的再投影的多样本解析。识别三维再投影中每个像素的二维图像的一个或多个样本。确定所述再投影的每个像素的一个或多个样本覆盖量。每个覆盖量识别由对应的二维样本所覆盖的像素的面积。通过将与所述像素相关联的每个二维样本根据所述样本的加权样本覆盖量进行组合，解析所述再投影的每个像素的终值。
Description
相关申请的交叉引用
本申请涉及2011年1月7日提交的名称为“DYNAMICADJUSTMENTOFPREDETERMINEDTHREE-DIMENSIONALRE-PROJECTIONSETTINGSBASEDONSCENECONTENT”的共同受让、共同待决的申请号12/986,814(代理人案号SCEA10052US00)。
本申请涉及2011年1月7日提交的名称为“SCALINGPIXELDEPTHVALUESOFUSER-CONTROLLEDVIRTUALOBJECTINTHREE-DIMENSIONALSCENE”的共同受让、共同待决的申请号12/986,827(代理人案号SCEA10053US00)。
本申请涉及2011年1月7日提交的名称为“MORPHOLOGICALANTI-ALIASING(MLAA)OFARE-PROJECTIONOFATWO-DIMENSIONALIMAGE”的共同受让、共同待决的申请号12/986,854(代理人案号SCEA10054US00)。
发明领域
本发明的实施方案涉及用于二维图像的三维再投影的多样本解析的方法。
发明背景
过去几年来，通过许多不同的技术来以三维方式感知二维图像的能力已经变得相当大众化。向二维图像提供一个深度方面就可能为任何所描绘的场景创建出更强的真实感。三维视觉表现的这种引入大大地增强了观众体验，尤其是在视频游戏境界中的体验。
存在许多用于给定图像的三维渲染的技术。最近，已经提出一种用于将一个或多个二维图像投影至三维空间中的技术，所述技术被称为基于深度图像的渲染(DIBR)。与常常依赖于“立体”视频的基本概念(即，对两个分离的视频流—一个用于左眼而一个用于右眼—的采集、传输以及显示)的以前的提案相比，这个新想法是基于对单像视频(即，单一视频流)和相关联的逐像素深度信息的更加灵活的联合传输。根据这种数据表现，然后可以借助所谓的DIBR技术在接收侧实时地生成3-D场景的一个或多个“虚拟”视图。三维图像渲染的这种新途径带来超过先前途径的若干优点。
一般存在两种方式来向观众呈现两个单独的图像以便创建深度的错觉。在通常用于将3D图像投影到屏幕上的系统中，存在用于左眼图像和右眼图像的两个单独的同步化投影机。用于双眼的图像被同时投影到屏幕上，但是采用了正交极化，例如左眼图像的垂直极化和右眼图像的水平极化。观众佩戴一副专门的极化3D观看眼镜，所述眼镜具有针对左眼和右眼适当极化的镜片(例如，针对左眼的垂直极化和针对右眼的水平极化)。因为图像和镜片的极化，观众的左眼仅感知左眼图像并且右眼仅感知右眼图像。深度的错觉的程度部分地随屏幕上的两个图像之间的偏移而变化。
在3D视频系统中，左眼图像和右眼图像通过视频显示屏幕来显示，但所述显示并不是完全同时的。相反，左眼图像和右眼图像以一种交替方式来显示。观众佩戴一副有源快门眼镜，在显示右眼图像时，所述有源快门眼镜遮挡左眼，并且反之亦然。
3-D视频的体验可能在某种程度上取决于人视觉的独特性。例如，人眼具有一定数量的光受体，但是人不能辨别任何像素，即使是外围视觉中的像素。更令人惊异的是，人视网膜中的感色视锥细胞的数量可在个体之间显著不同—高达40的因子。尽管如此，人们似乎是以同一方式感知色彩—我们基本上是利用我们的大脑来看。人视觉系统还具有以视锥细胞宽度的一部分探知对象的对齐的能力(视觉超分辨能力)。这解释了空间混叠伪像(即，视觉紊乱)比色彩误差更加显著的原因。
意识到这个事实，图形硬件供应商将大量精力放在通过以色彩准确性换得空间连续性来补偿混叠伪像上。基于将加权色彩样本混合，类似于数码摄像机的整合性质，多种技术获硬件的支持。
当然，随着显示器分辨率和采样率的提高，任何混叠伪像最终将会消失。通过计算每个像素的多个样本并且求取平均值，也可能在较低分辨率下处理混叠伪像。尽管如此，对于大多数的图像渲染算法来说，考虑到硬件约束，这些解决方案可能不是非常实用。
本发明的实施方案在这种情境下产生。
附图简述
图1A至图1D是示出对应的三维像素之间的距离将会对观众的感知深度产生的影响的示意图。
图2A至图2C是示出二维图像的三维再投影中深度撕裂的影响的示意图。
图3A至图3C是示出根据现有技术的用于二维图像的三维再投影的多样本解析的方法的示意图。
图4是示出根据本发明的实施方案的用于二维图像的三维再投影的多样本解析的方法的流程图。
图5A至图5B是示出根据本发明的实施方案的用于二维图像的三维再投影的多样本解析的方法的示意图。
图5C是示出根据本发明的实施方案的在二维图像的三维再投影的多样本解析中像素样本之间的重叠的示意图。
图6是示出根据本发明的实施方案的用于二维图像的三维再投影的多样本解析的设备的方框图。
图7是示出根据本发明的实施方案的用于二维图像的三维再投影的多样本解析的设备的单元处理器实现方式的实施例的方框图。
图8示出根据本发明的实施方案的具有用于实施二维图像的三维再投影的多样本解析的指令的非瞬时性计算机可读存储介质的实施例。
详述
介绍
通过显示图像的两个单独的视图(即，每只眼睛一个图像)以使得观众感知深度的错觉，可以观看二维图像的三维再投影。当看向三维图像时，左眼和右眼将会使两个对应的像素(即，左眼像素和右眼像素)会聚，以便模拟具有深度的单一像素。
图1A至图1D是示出对应的像素之间的距离将会对观众的感知深度产生的影响的示意图。像素大小是由所显示的分辨率所强加的固定边界，所述像素大小不可避免地受到视觉显示器(例如，三维电视)中的硬件的限制。随着对应的像素间隔的增大，感知深度位置逐渐地离屏幕更远。
图1A描绘重叠的两个对应的像素。这两个像素将会创建位于屏幕(例如，视觉显示器)的表面处的感知深度101。在图1B中，随着对应的像素变得分开(即，彼此邻近定位)，感知深度101加强并且位于稍微进入所述屏幕中的一定距离处。在图1C中，随着对应的像素变得分开得更远(即，间隔了一个像素宽度)，感知深度101似乎位于所述屏幕中的更深处。在图1D中，通过使得左眼像素位于右眼像素的右侧，感知深度将会显得比屏幕更近。重要的是应注意：感知深度与对应的像素之间的距离不成线性比例。因此，对应的像素间隔上的小的增大可以引起与那些对应的像素相关联的感知深度上的明显增大。
对应的像素间隔与感知深度之间的相互关系使得深度值的平滑变换相当困难。这是因为每对对应的像素被投影至由所述像素之间的间隔所确定的具体深度平面。图2A至图2C是示出在本文中将会被称为深度撕裂的这种效果的示意图。
如图2A中所示，在尝试以倾斜的深度放置三维元件201时，出现被称为深度撕裂的三维视觉伪像。如图2B中所示，不是在元件201位于单一对角平面上时感知所述元件，而是所述元件将有可能在位于与屏幕平行的多个平面203上时被感知。
在理想情况下，仅增大所显示的图像的分辨率就将解决深度撕裂的问题。然而，因为三维再投影的过程受到硬件约束的限制，所以这个解决方案是不切实际的。相反，深度撕裂的影响是通过混合/混配相邻三维像素的色彩或其它像素值而最小化。如图2C中所示，其结果是柔和波形205而不是笔直的对角平面。虽然有缺点，但是这为观众提供了外观更加自然的三维图像。
为混配三维像素以创建较平滑的深度平面，使用反混叠解决方案。现有技术的反混叠解决方案包括暂时反混叠，所述暂时反混叠需要对另外的缓冲数据的存储。例如，在3D图像的情况下，这意味着存储预先再投影的色彩和深度缓冲区或左眼图像和右眼图像的两个色彩缓冲区。对于720P的图像来说，这需要用于约7兆字节的数据的存储空间。考虑到3D游戏已经需要增大的存储缓冲区来用于第二眼图像，这正使得已经高的存储压力情况更糟。
被称为全屏幕反混叠(FSAA)的另一种现有技术解决方案也需要较大的缓冲区，从而增大了存储压力。FSAA基本上只涉及提高分辨率并且然后应用智能降采样(downsample)。除了仍具有深度撕裂之外，大的问题是较高分辨率的性能降低。
另一种解决方案被称为多重采样反混叠(MSAA)，它类似于FSAA，但是却以比样本分辨率低的分辨率完成选择色彩值的工作。就处理负载和存储器而言，这产生了更廉价的实现方式。MSAA通常需要在图片上完成其它工作之前完成解析。这常常意味着，由于源图像的后处理，在应用再投影时，已丢失了所有另外的样本数据。即使保存了样本信息，在所述再投影中仍存在深度撕裂(由于已论述过的固定样本位置)。FSAA和MSAA的存储要求比暂时反混叠更加短暂。
图3A至图3D示出用于多重采样的现有技术多重采样反混叠方法连同与现有技术相关联的问题。可以用一个小块表示三维图像(即，左视图或右视图)的每个三维像素。像素小块通常将仅含有单一样本。举例而不以限制方式来说，这个样本可以是来自有待以三维再投影的对应的二维图像的像素、子像素或像素的任何群组。样本的特征可以为描述其色彩设定的一组值。因此，在不实施多重采样的再投影方案中，三维像素的色彩设定的特征可以为所述三维像素所含有的单一样本。
在多重采样中，允许每个像素小块含有一个以上的样本。在典型的多重采样方案中，在三维像素内指派样本位置，并且如果样本由当前渲染的几何图形覆盖，那么将所述样本写入那个位置。图3A示出实施2X多重采样的一行三维像素301。黑点表示指派给将会在多重采样过程中使用的每个三维像素301的样本位置。在2X多重采样中，每个三维像素301的特征可以为来自对应的二维图像的最多2个样本。虽然所显示的实施例限制于每个三维像素使用两个样本，但是重要的是应注意：在多重采样方案中可以使用任何数量的样本。此外，取决于再投影位移方向，样本可以衍生自任何方向。如果再投影位移仅出现在水平方向上(即，使用平行位移的摄像机)，那么样本可以由二维图像的水平扫描得到。这种技术需要相对小的存储开销，因为一次仅需要存储一条扫描线。
多重采样将样本从二维图像指派至三维再投影中每个像素的样本位置。然而，组合多个样本以获得单一色彩设定的实际过程称为解析。两个步骤都是实现以上所描述的对角平面的柔和波形所必要的。典型的解析过程假设每个样本的覆盖与每个三维像素的样本总数成比例。因此，在2X多重采样/解析中，对给定三维像素中的每个样本给予50%的权重，并且将值加在一起。因此，如果左样本是100%的红并且右样本是100%的蓝，那么三维像素将会采取50%的红和50%的蓝的色彩设定(或某种紫色色彩)。类似地，如果我们在处理4X多重采样/解析，那么每个样本将会带有25%的权重。可以使用其它的混配组合，但是所述组合都是基于来自所解析的像素的样本点的固定位置。
多重采样的现有技术方法的问题在于：样本位置在给定三维像素内的实际位置。图3B至图3D示出2X多重采样/解析的情境下的这个问题。在我们的实施例中，来自二维图像的每个样本将会是来自那个二维图像的个别像素。三维再投影的每个像素301可以由最多两个不同的样本来表示。每个三维像素内的样本位置都是固定的。
在图3B中，在二维图像中，正在投影至右侧的两个黑色像素样本303A、303B后接两个白色像素样本305A、305B。第一黑色像素303A覆盖所述行301中的第一(最左侧)再投影像素301A中的左侧样本位置。第二黑色像素303B覆盖第一再投影像素中的右侧样本位置和第二再投影像素301B中的左侧样本位置。第一白色像素305A覆盖第二再投影像素301B的右侧样本位置和第三再投影像素301C中的左侧样本位置。第二白色像素305B覆盖第三再投影像素301C中的右侧样本位置和第四再投影像素301D中的左侧样本位置。出于这个实施例的目的，第四再投影像素301D的右侧样本位置可以被指派初始值(例如，无色彩或白色)，因为所述右侧样本位置不根据所述二维图像来指派对应的像素值。给予每个样本位置50%的权重得到第一再投影像素307A，产生黑色，因为这个像素的两个样本位置都被黑色像素值覆盖。第二再投影像素307B被解析成灰色(即，50%的白色和50%的黑色)，因为这个像素的一个样本位置被黑色像素覆盖并且另一个样本位置被白色像素覆盖。所解析的像素行307中的第三再投影像素307C被解析成白色，因为这个像素的两个样本位置都被白色像素值所覆盖。所解析的像素行307中的第四再投影像素307D被解析成白色，因为一个样本位置被白色像素307D覆盖，并且在这个实施例中，另一个样本位置已被初始化成白色的值。应注意：在典型的MSAA实现方式中，需要用某个初始值(例如，黑色、白色或灰色)来覆盖所有样本点。明确来说，如果初始地将缓冲区清除成白色，那么可以忽略白色像素样本305A、305B。
在图3C中，像素303A、303B、305A、305B已经稍微向右侧位移。然而，位移足够小，以致所述行301中样本位置的覆盖未发生变化。明确来说，第一再投影像素301A中的样本位置由黑色像素303A、303B覆盖，第二再投影像素中的样本位置由黑色像素303B和白色像素305A覆盖，第三再投影像素301C中的样本位置由白色像素305A、305B覆盖，并且第四像素301D中的一个样本位置由白色像素305B覆盖而另一个样本位置未被覆盖并且被初始化成白色。结果是，所解析的像素行307中的像素307A、307B、307C以及307D再次分别被解析成黑色、灰色、白色以及白色，如图3B中所示。因为再投影像素301A、301B、301C以及301D具有固定的样本位置，所以当二维像素303A、303B、305A、305B向右位移时，二维图像的再投影中的小的位移将不会更改再投影像素的值设定。
然而，如果二维像素303A、303B、305A、305B比图3C中稍微进一步向右侧位移，那么再投影像素301A、301B、301C以及301D中样本位置的覆盖突然发生变化。明确来说，如图3D中所示，作为向右侧的稍微位移的结果，第一再投影像素301A和第二再投影像素301B的样本位置二者现在分别由黑色像素303A、303B覆盖，第三再投影像素301C和第四再投影像素301D的样本位置二者分别由白色像素305A、305B覆盖。结果是，前两个被解析的再投影像素307A、307B被解析成黑色，而后两个被解析的再投影像素307C、307D被解析成白色。
图3B至图3D证实：在典型的2X多重采样/解析方案中，当在二维图像的再投影中已经存在不连续位移时，被解析的像素中将仅存在值差。典型的多重采样/解析方法不是允许所解析的三维像素的值随着再投影中每次渐进位移而渐进地转变，而是仅允许三维像素值(如色彩值)中的不连续改变。因为人眼可以相当准确地使色彩匹配起来，这引起感知深度平面的增多(即，更强的深度撕裂)。
增加样本计数将会允许三维像素值设定的更加渐进的变换，同时还导致观众感知到更大数量的深度平面。在单一扫描线中，视觉伪像不是太坏(观众仅仅感知整个部分稍微位移)。然而，在使用多条扫描线的全图像中，所述问题被放大。通过多条扫描线，观众可以注意到一条线位移深度，而另一条线保持在相同深度。
大大地增加每个三维像素的样本位置的数量将会减少由观众所感知到的视觉伪像的数量。然而，因为系统的存储约束，所以显著地增加样本计数是不可行的。例如，使用RGBA的典型的720p缓冲区粗略地耗用3.5M。向三维像素添加第二样本位置使所需要的存储器的数量加倍。
本发明的实施方案试图限制给定三维像素所需要的二维样本的数量，同时还针对再投影中的位移创建三维像素色彩设定的更加渐进的变换。本发明的实施方案可以使用两个以上的样本。然而，已经观察到，对于仅在水平方向上有再投影位移的实施方案来说，当使用四个样本代替两个样本时，视觉改进是可忽略的。在不受任何操作理论的限制情况下下，这可能是由于以下事实：测试所有像素的实施方案在被投影时是相同大小。在典型的场景中，存在几种样式的样本，所述样本将不会以这样一种方式重叠：有必要在我们允许最多4个样本的情况下保持两个以上的样本。水平地并且垂直地再投影像素的实施方案可以使用两个以上的样本产生改进的视觉质量。在本发明的实施方案中，基于对应的样本的“覆盖”量计算三维再投影中每个像素的像素值。实际上，在计算再投影中的对应的三维像素值时，可以使用覆盖量来确定应用于每个二维样本值的权重。
实施方案
图4是示出根据本发明的实施方案的用于二维图像的三维再投影的多样本解析的方法的流程图。在将二维图像401以三维方式投影之前，必须识别样本以便与对应的三维像素一起使用403。三维再投影真正地是会聚来创建深度的错觉的多个单独视图(即，右眼视图和左眼视图)的组合。对于三维再投影的每个视图来说，必须首先确定哪些二维样本对应于那个具体视图的每个三维像素。如以上所论述，样本是指二维图像内的像素、子像素，或像素的任何其它群组。取决于在二维图像上所实行的再投影的类型，三维像素的特征可以是任何数量的样本。此外，任何二维样本可以与一个以上的三维像素重叠。
因为每个三维像素可能存在多于最大可允许数量的样本，所以可能存在对使用哪些样本的选择。当再投影时，可以选择样本以保持前景对象。这可以用对每个样本的深度测试来完成，或在平行位移的摄像机的情况下，用选择二维像素样本的具体穿行顺序以允许保持写入的初始或最后样本。保持多个样本可以经由典型的高速缓存收回策略(如FIFO)进行选择来实现。
为允许对样本的简单选择，在我们的实施方案中，我们指定两种类型的样本：‘前导’和‘收尾’样本。前导样本是与三维像素的左边缘相交的样本。同样地，收尾样本是与三维像素的右边缘接触或相交的样本。这将不与任一个边缘相交的样本分类为尾随样本。在被投影时二维像素的宽度与三维像素的宽度相同的实施方案中，保证所述尾随样本与一个边缘接触或相交。应注意：其它实施方案不需要要求二维像素的宽度与再投影中的像素的宽度相同。举例来说，在图5A中，黑色像素样本503是像素行501的第一像素中的收尾样本并且是所述横排中的第二像素中的前导样本。在使用四个样本的情况下，可以保持多个前导样本和多个收尾样本，并且可以基于其它前导样本和收尾样本来调整覆盖量。已经观察到，这样做具有很小的视觉影响。
一旦已经确定哪些二维样本对应于每个三维像素，就必须确定每个样本的样本覆盖量405。样本覆盖量是指由对应的二维样本所覆盖的像素的面积。取决于再投影位移方向，样本可以从任何方向得到。举例而不以限制方式来说，使用平行位移的摄像机的三维再投影系统将会从二维图像的水平方向扫描得到样本，因为再投影位移仅出现在水平方向上。与现有技术相对比，在样本位置用于解析三维像素值的情况下，本发明的实施方案跟踪与给定三维像素相关联的每个样本的实际覆盖量。一个样本的覆盖量可以受到另一个样本的影响。所述覆盖的初次发生将来自重叠的样本。由于正在被投影的两个二维像素之间的深度值常常是不同的，像素通常将会重叠。如以上所提及，关于前景对象的信息常常比背景对象更加重要。
应注意：在403处识别样本和在405处确定覆盖量可以同时发生，并且对样本的选择可以基于覆盖量(如进行选择以保持具有较高覆盖量的样本)。
图5C示出两个不同样本512、514的重叠的效果以及“前导”和“收尾”样本的概念。两条虚线之间的面积表示两个样本之间的重叠的面积。黑色样本512是行501中的第二像素的前导样本。灰色样本514是所述第二像素的收尾样本。在图5C中所描绘的实施例中，灰色样本514还表示离观众更近的样本。在这种情况下，可以使黑色前导样本512的覆盖量减小与灰色样本重叠的覆盖量。一个样本的覆盖有可能完全地消除另一个样本(或将另一个样本的覆盖减小到零)。
在确定对应于所有三维像素的所有样本的覆盖量之后，可以实行根据那些覆盖量的最终像素值(例如，色彩)解析407。对于给定的三维像素来说，对应于那个像素的每个样本将会根据其覆盖量而被加权并且然后加以组合来产生最终像素值。所述最终像素值可以是用于界定图像中的像素的任何通道的数据的终值。举例而不以限制方式来说，所述最终像素值可以是最终色彩值。然而，本发明的实施方案不限于其中所述终值是色彩值的实现方式。
在用于解析最终像素值的样本的权重总计不是100%的情况下，可出现典型的再投影漏洞填补。举例而不以限制方式来说，可以用所述覆盖量除以三维像素的总覆盖量，这帮助补偿任何缺口。如果给定三维像素完全没有样本，那么可以允许这样一个像素通过以用于漏洞填补。在某些实施方案中，图4中所示的方法可以包括在408处所指示的任选漏洞填补步骤。一般来说，漏洞填补可以调整任何像素的终值，所述任何像素的所有样本的促成所述终值的总加权覆盖量小于100%。举例而不以限制方式来说，在漏洞填补步骤中，可以涉及将相邻像素背景值复制到给定的像素，因为所述背景值常常不是显著的。在一些实现方式中，这可以在解析过程中作为在407处的最终像素值解析的部分经由具体处理顺序来完成。
一旦已经针对三维再投影解析三维像素值，就可以显示再投影的图像，如409处所指示。
应注意：可以暂时地以许多不同的方式来存储样本的覆盖量。举例来说，可以阵列方式存储覆盖值。例如，在RGBA数据作为32位值来存储的情况下，每个再投影像素将会存在两个32位值(因为使用了两个样本)。这并不排除本发明的实施方案使用列表或索引来减小存储开销。然而，在两个样本的情况下，列表更有可能引入额外的开销而不是减小开销。这可以例如通过使用大小可变的列表来克服。
应注意：在三维立体左眼图像和右眼图像的情况下，可以解析所述左眼图像和右眼图像的像素值，如图4中所述。在这种情况下，针对每个再投影目标(即：左眼和右眼)存在单独的样本集，并且每个目标需要独立地加以解析。针对性能，可以同时但是仍独立地解析两个目标。应注意：自动立体图像(例如，如透镜状镜片阵列显示器中所使用的来自不同视图的交错图像)的像素值也可以独立地加以解析。如果有需要，那么可以同时地、独立地解析这类图像，例如，使用适当配置的并行处理系统和软件。
取决于显示器的性质，可以连续地或同时地显示左眼图像和右眼图像。例如，在与有源快门眼镜一起使用的3D电视显示器的情况下，可以连续地显示左眼图像和右眼图像。替代地，在与无源3D观看眼镜(其具有以不同方式着色的或以不同方式极化的左眼镜片和右眼镜片)一起使用的双投影型显示器的情况下，可以同时地显示左眼图像和右眼图像。
图5A至图5B进一步示出在二维图像的三维再投影的多样本解析中覆盖的使用。举例而不是限制地来说，图5A至图5B示出根据本发明的实施方案的用于二维图像的三维再投影的2X多样本解析的方法。在2X多重采样中，行501中的给定再投影像素可以具有与其相关联的最多两个二维样本。在图5A中，在二维图像中，正在投影至右侧的两个黑色像素样本503A、503B后接两个白色像素样本505A、505B。应注意：在典型场景的再投影中，合理的是期望大多数像素将不会位移以使得它们依然与邻近的像素邻接。如同允许介于位移像素之间的间隙一样，允许所述位移像素的一些重叠。然后确定每个二维样本503A、503B、505A、505B的覆盖量。在图5A中所示的实施例中，第一黑色样本503A在第一再投影像素501A中具有50%的覆盖率。第二黑色样本503B在第一再投影像素501A中具有50%的覆盖率且第二再投影像素501B中具有50%的覆盖率。第一白色样本505A在第二再投影像素501B中具有50%的覆盖率且在第三再投影像素501C中具有50%的覆盖率。第二白色样本505B在第三三维像素501C中具有50%的覆盖率且在第四再投影像素501D中具有50%的覆盖率。出于这个实施例的目的，假设已经将再投影像素初始化成不具有样本或零覆盖。使用覆盖量作为权重并且将以上所述的总覆盖量除法应用于第四再投影像素，我们在解析的再投影行507中获得所解析的再投影像素507A、507B、507C、507D，其分别具有黑色、灰色、白色以及白色的值。
然而，如果仅是覆盖稍微不同，那么情况就不同。明确来说，在图5B中，将二维像素503A、503B、505A、505B进一步再投影至右侧，从而导致所述二维像素503A、503B、505A以及505B的不同的覆盖量。在图5B中所描绘的实施例中，这些覆盖率如下。第一黑色样本503A在第一再投影像素501A中具有75%的覆盖率。第二黑色样本503B在第一再投影像素501A中具有25%的覆盖率且在第二再投影像素501B中具有75%的覆盖率。第一白色样本505A在第二再投影像素501B中具有25%的覆盖率且在第三再投影像素501C中具有75%的覆盖率。第二白色样本505B在第三三维像素501C中具有25%的覆盖率且在第四再投影像素501D中具有75%的覆盖率。同样，出于这个实施例的目的，假设将再投影像素(包括第四再投影像素501D)初始化成不具有样本或零覆盖。使用覆盖量作为权重并且将总覆盖量除法应用于第四再投影像素，我们获得在解析的再投影行507中获得所解析的再投影像素507A、507B、507C、507D，其分别具有黑色、深灰色、白色以及白色的值。第二解析的再投影像素507B的较深灰色值是黑色像素503B与白色像素505A相比对第二再投影像素501B的较高覆盖百分比的结果。
尽管现有技术方法依赖于三维像素内的样本位置来确定最终三维像素值，但是本发明的方法着眼于在对三维像素的最终彩色进行解析中所述三维像素的样本覆盖。这允许与现有技术相比更准确的解析步骤。如以上所论述，现有技术仅允许三维像素的像素值变换，其中出现不连续位移。另一方面，本发明的方法使用样本覆盖量解析每个三维像素的终值，这允许响应于再投影中任何位移的平滑色彩变换。
因此，本发明的实施方案不仅解决三维再投影过程中的深度撕裂问题，还产生外观更加自然的三维图像。
在使用自动立体显示器(如透镜状镜片阵列)来显示最终三维图像的情况下，期望介于每个视点对应图像与另一个视点图像之间的位移的量将会相当小。本发明的实施方案还帮助减少在视点之间移动时所感知到的跳跃。在现有技术3D系统中，当观众在不同的视点之间进行改变时，不同的对象趋向于“卡入”到它们的位置。在观众使位置位移时，本发明的实施方案允许三维场景中的所有对象的更加自然的位移。
应注意：图5A至图5B描绘其中样本503、505相对于三维像素501水平地而不是垂直地位移的实施例。然而，本发明的实施方案可以包括其中样本垂直地位移或其中样本既垂直地又水平地位移的实现方式。
图6示出可以用于实施用于二维图像的三维再投影的多样本解析的方法的计算机设备的方框图。设备600一般可以包括处理器模块601和存储器605。处理器模块601可以包括一个或多个处理器核心。使用多个处理器模块的处理系统的实施例是单元处理器，其实施例详细描述于例如CellBroadbandEngineArchitecture中，它可在线地以http://www-306.ibm.com/chip/techlib/techlib.nsf/techdocs/1AEEE1270EA2776387257060006E61BA/$file/CBEA_01_pub.pdf来获得，将其以引用方式并入本文。
存储器605可以呈集成电路的形式，例如RAM、DRAM、ROM等。存储器605还可以是可由所有处理器模块存取的主存储器。在一些实施方案中，处理器模块601可以具有与每个核心相关联的局部存储器。程序603可以可在所述处理器模块上执行的处理器可读指令的形式存储在主存储器605中。程序603可以被配置来实行二维图像的三维再投影的多样本解析。可以任何适合的处理器可读语言(例如，C、C++、JAVA、Assembly、MATLAB、FORTRAN)和许多其它语言来写入程序603。输入数据607也可以存储在存储器中。这类输入数据607可以包括关于对将要使用的样本的识别的信息和样本覆盖量。在程序603的执行过程中，程序代码和/或数据的部分可以加载至存储器或处理器核心的局部存储器中，以用于由多个处理器核心并行处理。
设备600还可以包括众所周知的支持功能609，如输入/输出(I/O)元件611、电源(P/S)613、时钟(CLK)615以及高速缓存617。设备600可以任选地包括海量存储装置619，如磁盘驱动器、CD-ROM驱动器、磁带驱动器或类似物以存储程序和/或数据。装置600可以任选地包括显示器单元621和用户接口单元625以促进所述设备与用户之间的交互。举例而不以限制方式来说，显示器单元621可以呈3-D就绪电视机的形式，其将文本、数字、图形符号或其它视觉对象显示成将由一对3-D观看眼镜627感知的立体图像。
用户接口625可以包括键盘、鼠标、摇杆、光笔，或可以与图形用户接口(GUI)结合使用的其它装置。设备600还可以包括网络接口623以允许所述装置经网络(如互联网)与其它装置进行通信。
系统600的部件，包括处理器601、存储器605、支持功能609、海量存储装置619、用户接口625、网络接口623以及视觉显示器621可以经由一个或多个数据总线629可操作地彼此连接。这些部件可以实施在硬件、软件、固件或这些部件中两个或更多个的一些组合中。
存在许多其它的方式来使得使用所述设备中的多个处理器的并行处理合理化。举例来说，例如通过在两个或更多个处理器核心上复制代码并且使得每个处理器核心实施所述代码以处理不同数据块，有可能“解开”处理回路。这种实现方式可以避免与设定所述回路相关联的等待时间。在应用于我们的发明时，多个处理器可以并行地识别对应于三维再投影中的像素的二维样本。另外，多个处理器可以并行地确定三维像素样本覆盖量或并行地解析三维像素的最终色彩。并行地处理数据的能力节约宝贵的处理时间，从而得到用于二维图像的三维再投影的多样本解析的更有效和合理化的系统。
除了能够在三个或更多个处理器上实施并行处理的处理系统之外的一个实施例是单元处理器。存在可以被分类为单元处理器的许多不同的处理器体系结构。举例而不以限制方式来说，图7示出一种类型的单元处理器。单元处理器700包括主存储器701、单电源处理器元件(PPE)707，以及八个协同处理器元件(SPE)711。替代地，所述单元处理器可以被配置有任何数量的SPE。参照图7，存储器701、PPE707以及SPE711可以经环形互连总线717而彼此通信并且与I/O装置715通信。
存储器701含有具有与以上所述的程序相同的特征的输入数据703。SPE711中的至少一个可以在其局部存储器(LS)中包括二维图像的三维再投影的多样本解析的指令713和/或输入数据的有待进行并行处理的部分，例如，如以上所描述。PPE707可以在其L1高速缓存中包括二维图像的三维再投影的多样本解析的指令709，所述指令具有与以上所述的程序相同的特征。指令705和数据703还可以存储在存储器701中以用于在需要时由SPE711和PPE707存取。应当注意：使用单元处理器可以使本发明的二维图像的三维再投影的多样本解析的方法所涉及的任何数量的过程并行。
举例来说，PPE707可以是具有相关联的高速缓存的64位PowerPC处理器单元(PPU)。PPE707可以包括任选的矢量多媒体扩展单元。每个SPE711包括协同处理器单元(SPU)和局部储存器(LS)。在一些实现方式中，局部存储器可以具有用于程序和数据的例如约256千字节的存储器容量。SPU是与PPU相比较不复杂的计算单元，因为所述SPU通常不实行系统管理功能。SPU可以具有单指令多数据(SIMD)能力并且通常处理数据并且初始化任何所需要的数据传送(受制于由PPE所设定的存取性质)，以便实行它们获分配的任务。SPU允许系统实施需要更高计算单元密度的应用程序并且可以有效地使用所提供的指令集。由PPE所管理的系统中的大量SPU允许经广泛范围的应用程序进行成本有效的处理。
举例来说，单元处理器的特征可以为被称为单元带宽引擎体系结构(CBEA)的体系结构。在CBEA兼容体系结构中，多个PPE可以组合成一个PPE组，并且多个SPE可以组合成一个SPE组。出于实施例的目的，单元处理器被描绘为具有带有单SPE的单SPE组和带有单PPE的单PPE组。替代地，单元处理器可以包括多组功率处理器元件(PPE组)和多组协同处理器元件(SPE组)。CBEA兼容处理器详细描述于例如CellBroadbandEngineArchitecture中，其以引用方式并入本文并且可在线地以https://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/1AEEE1270EA277638725706000E61BA/$file/CBEA_01_pub.pdf来获得。
根据另一个实施方案，用于二维图像的三维再投影的多样本解析的指令可以存储在计算机可读存储介质中。举例而不以限制方式来说，图8示出根据本发明的实施方案的非瞬时性计算机可读存储介质800的实施例。存储介质800含有以一种可以由计算机处理装置检索、解译并且执行的格式存储的计算机可读指令。举例而不以限制方式来说，计算机可读存储介质可以是计算机可读存储器，如随机存取存储器(RAM)或只读存储器(ROM)、用于固定磁盘驱动器(例如，硬盘驱动器)的计算机可读存储磁盘，或可移动磁盘驱动器。另外，计算机可读存储介质800可以是闪存装置、计算机可读磁带、CD-ROM、DVD-ROM、蓝光光碟、HD-DVD、UMD，或其它光学存储介质。
存储介质800含有用于二维图像的三维再投影的多样本解析的指令801。用于二维图像的三维再投影的多样本解析的指令801可以被配置来根据以上所述的方法实施多样本解析。具体来说，多样本解析指令801可以包括识别二维样本的指令803，所述指令用于确定来自所述二维图像的对应于三维再投影的像素的一个或多个样本。
多样本解析指令801还可以包括确定样本覆盖量的指令805，所述指令被配置来确定给定二维样本在三维像素中所占有的面积。对于实施并行摄像机位移的三维再投影来说，仅在水平方向上完成这个采样(即，对于任何三维像素来说，样本在垂直方向上是统一的)。重要的是应注意：可以在任何数量的不同方向上完成多重采样。
多样本解析指令801还可以包括解析最终像素色彩的指令807，所述指令被配置来通过组合加权样本覆盖量来确定三维像素色彩。例如，如果给定三维像素具有覆盖率为80%的红色样本和覆盖率为20%的蓝色样本，那么由于红色较高的覆盖率，解析最终像素色彩的指令807可以将三维像素色彩解析成少许紫色和更大强度的红色。重要的是应注意：任何数量的加权方法可以用于基于样本覆盖量来解析最终色彩。
多样本解析指令801可以任选地包括在执行时可以调整任何像素的终值的漏洞填补指令808，所述任何像素的所有样本的促成所述终值的总加权覆盖量小于100%。
多样本解析指令801另外可以包括显示三维再投影的指令809，所述指令在已经发生多样本解析之后显示二维图像的三维再投影。
尽管已经描述其中使用无源或有源3D观看眼镜来观看立体3D图像的实现方式的实施例，但是本发明的实施方案不限于这类实现方式。明确来说，本发明的实施方案可以适用于不依赖于头部跟踪或无源或有源3D观看眼镜的立体3D视频技术。这类“免带眼镜”的立体3D视频技术的实施例有时称作自动立体技术或自由体视术。这类技术的实施例包括但不限于基于透镜状镜片的使用的技术。透镜状镜片是放大镜的阵列，其被设计来使得当从稍微不同的角度观看时，放大不同的图像。可以选择不同的图像以在以不同的角度观看透镜状屏幕时提供三维观看效果。所生成的图像的数量随所述屏幕的视点数量成比例地增加。
更明确来说，在透镜状镜片视频系统中，可以根据原始2D图像和所述图像中的每个像素的深度信息来生成场景的来自稍微不同的观看角度的再投影图像。使用再投影技术，可以根据所述原始2D图像和深度信息来生成所述场景的来自渐进地不同观看角度的不同视图。表示不同视图的图像可以被分成条带并且以交错样式显示在自动立体显示器上，所述自动立体显示器具有位于透镜状镜片阵列与观看位置之间的显示器屏幕。构成所述透镜状镜片的镜片可以是与所述条带对齐并且一般是所述条带两倍宽的圆柱形放大镜。取决于观看屏幕的角度，观众感知到场景的不同视图。可以选择不同的视图来提供深度在所显示的场景中的错觉。
此外，尽管本发明的某些实施方案可以解决在二维图像的三维再投影的情况下的深度撕裂问题，并且涉及生成所述再投影的一个以上的图像，但是实施方案一般更适用于非3D情况下的再投影。本文所述的再投影像素的多样本解析可以由于位移的梯度而在再投影的图像中产生更高的图像质量。可以例如在再投影的图像的典型光栅化过程中实施这种多样本解析。
另外，在一些三维实现方式中，可能没有必要生成两个或更多个图像。例如，在立体显示器的情况下，可能没有必要经由再投影生成左眼图像和右眼图像二者。替代地，可以仅生成一个新的图像。例如，有可能以左眼图像的每个像素的色彩和深度信息来开始并且经由再投影生成对应的右眼图像(或反之亦然)，从而产生以立体显示器来显示充足图像。这将会涉及仅生成单一再投影的图像。
虽然以上是对本发明的优选实施方案的完整描述，但是有可能使用各种替代选择、修改以及等效物。
尽管已经参照本发明的某些优选型式对本发明进行相当详细的描述，但是其它型式是有可能的。因此，所附权利要求书的精神和范围应该不限于对本文所含的优选型式的描述。相反，应该参照所附权利要求书连同它们等效物的全部范围来确定本发明的范围。
本说明书(包括任何随附的权利要求、摘要以及图式)中所公开的所有特征可以由用于相同、等价或类似目的替代特征替换，除非另有明确规定。因此，除非另有明确规定，所公开的每个特征仅是一系列通用等效或类似特征的一个实施例。任何特征(不论是否是优选的)可以与任何其它特征(不论是否是优选的)组合。在随附的权利要求书中，不定冠词“一(个/种)”是指所述冠词之后的项中的一个或多个的量，除非另有明确规定为例外的情况。如在美国法典第35篇第112条第6款中所指定，未明确规定用于实行指定功能的“装置”的一条权利要求中的任何要素将不按“装置”或“步骤”条款来解释。具体来说，本文权利要求书中“步骤(stepof)”的使用不意图援引美国法典第35篇第112条第6款的规定。
读者可将注意力转向与本说明书同时提交并且与本说明书一起公开供公众审查的所有文件和公文，并且任何文件和公文的内容以引用方式并入本文。
Claims (22)
1.一种用于二维图像的再投影的多样本解析的方法，所述方法包括：
a)识别所述再投影中每个像素的二维图像的一个或多个样本；
b)确定所述再投影的每个像素的一个或多个样本覆盖量，其中每个样本覆盖量识别由对应的二维样本所覆盖的像素的面积，并且其中所述再投影的所有像素具有相同的大小；
c)通过将与所述像素相关联的每个二维样本根据所述样本的加权样本覆盖量进行组合，解析所述再投影的每个像素的终值；以及
d)显示所述再投影。
2.如权利要求1所述的方法，其中使用水平扫描来完成a)中的识别每个样本。
3.如权利要求1所述的方法，其中a)涉及识别所述三维再投影中每个像素的最多两个样本。
4.如权利要求1所述的方法，其中b)进一步包括确定与三维像素相关联的具体样本是否具有处于相邻像素中的前导样本。
5.如权利要求4所述的方法，其中b)进一步包括确定与三维像素相关联的具体样本是否具有处于相邻像素中的收尾样本。
6.如权利要求1所述的方法，其中针对用于立体显示器的对应的左眼图像和右眼图像来实行a)、b)、c)以及d)。
7.如权利要求1所述的方法，其中所述二维图像是用于立体显示器的第一眼睛视图，并且针对对应的第二眼睛视图来实行a)、b)以及c)。
8.如权利要求1所述的方法，其中针对对应于用于自动立体显示器的两个或更多个不同视图的两个或更多个图像来实行a)、b)、c)以及d)。
9.如权利要求1所述的方法，其中b)包括确定两个或更多个样本之间的重叠，并且其中c)包括使所述两个或更多个样本中具有离观众更远的深度的一个样本的覆盖量减小与所述两个或更多个样本中的一个或多个其它样本重叠的覆盖量。
10.如权利要求1所述的方法，所述方法进一步包括调整任何像素的所述终值，所述任何像素的所有样本的促成所述终值的总加权覆盖量小于100％。
11.一种用于多重采样的设备，所述设备包括：
存储器；以及
处理器，配置为：
a)识别二维图像的对应于所述再投影中的每个像素的一个或多个样本；
b)确定所述再投影的每个像素的一个或多个样本覆盖量，其中每个样本覆盖量识别由对应的二维样本所覆盖的像素的面积，并且其中所述再投影的所有像素具有相同的大小；以及
c)通过将与所述像素相关联的每个二维样本根据所述样本的加权样本覆盖量进行组合，解析所述再投影的每个像素的终值。
12.如权利要求11所述的设备，其进一步包括被配置来在多样本解析之后显示所述再投影的三维视觉显示器。
13.如权利要求12所述的设备，其中所述处理器进一步被配置为：
d)将所述再投影显示在所述三维视觉显示器上。
14.如权利要求11所述的设备，其中使用水平扫描来完成a)中的识别每个样本。
15.如权利要求11所述的设备，其中a)涉及识别所述三维再投影中每个像素的最多两个样本。
16.如权利要求11所述的设备，其中b)进一步包括确定与所述再投影中的像素相关联的具体样本是否具有处于相邻像素中的前导样本。
17.如权利要求16所述的设备，其中b)进一步包括确定与所述再投影中的像素相关联的具体样本是否具有处于相邻像素中的收尾样本。
18.如权利要求11所述的设备，其中针对用于立体显示器的对应的左眼图像和右眼图像来实行a)、b)以及c)。
19.如权利要求11所述的设备，其中针对对应于用于自动立体显示器的两个或更多个不同视图的两个或更多个图像来实行a)、b)、c)以及d)。
20.如权利要求11所述的设备，其中所述二维图像是用于立体显示器的第一眼睛视图，并且针对对应的第二眼睛视图来实行a)、b)以及c)。
21.如权利要求11所述的设备，其中b)包括确定两个或更多个样本之间的重叠，并且其中c)包括使所述两个或更多个样本中具有离观众更远的深度的一个样本的覆盖量减小与所述两个或更多个样本中的一个或多个其它样本重叠的覆盖量。
22.如权利要求11所述的设备，其中所述处理器进一步被配置为调整任何像素的所述终值，所述任何像素的所有样本的促成所述终值的总加权覆盖量小于100％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610095198.5A CN105898273B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的多样本解析 |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/986,814 US9041774B2 (en) | 2011-01-07 | 2011-01-07 | Dynamic adjustment of predetermined three-dimensional video settings based on scene content |
| US12/986,872 | 2011-01-07 | ||
| US12/986,827 | 2011-01-07 | ||
| US12/986,854 US8619094B2 (en) | 2011-01-07 | 2011-01-07 | Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image |
| US12/986,854 | 2011-01-07 | ||
| US12/986,827 US8514225B2 (en) | 2011-01-07 | 2011-01-07 | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene |
| US12/986,872 US9183670B2 (en) | 2011-01-07 | 2011-01-07 | Multi-sample resolving of re-projection of two-dimensional image |
| US12/986,814 | 2011-01-07 | ||
| PCT/US2011/063010 WO2012094077A1 (en) | 2011-01-07 | 2011-12-02 | Multi-sample resolving of re-projection of two-dimensional image |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610095198.5A Division CN105898273B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的多样本解析 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103283241A CN103283241A (zh) | 2013-09-04 |
| CN103283241B true CN103283241B (zh) | 2016-03-16 |
Family
ID=46457655
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610191451.7A Active CN105894567B (zh) | 2011-01-07 | 2011-12-02 | 放缩三维场景中的用户控制的虚拟对象的像素深度值 |
| CN201610095198.5A Active CN105898273B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的多样本解析 |
| CN201180063836.0A Active CN103283241B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的多样本解析 |
| CN201180063720.7A Active CN103947198B (zh) | 2011-01-07 | 2011-12-02 | 基于场景内容的预定三维视频设置的动态调整 |
| CN201610191875.3A Active CN105959664B (zh) | 2011-01-07 | 2011-12-02 | 基于场景内容的预定三维视频设置的动态调整 |
| CN201180063813.XA Active CN103348360B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的形态学反混叠(mlaa) |
| CN201180064484.0A Active CN103329165B (zh) | 2011-01-07 | 2011-12-02 | 放缩三维场景中的用户控制的虚拟对象的像素深度值 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610191451.7A Active CN105894567B (zh) | 2011-01-07 | 2011-12-02 | 放缩三维场景中的用户控制的虚拟对象的像素深度值 |
| CN201610095198.5A Active CN105898273B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的多样本解析 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180063720.7A Active CN103947198B (zh) | 2011-01-07 | 2011-12-02 | 基于场景内容的预定三维视频设置的动态调整 |
| CN201610191875.3A Active CN105959664B (zh) | 2011-01-07 | 2011-12-02 | 基于场景内容的预定三维视频设置的动态调整 |
| CN201180063813.XA Active CN103348360B (zh) | 2011-01-07 | 2011-12-02 | 二维图像的再投影的形态学反混叠(mlaa) |
| CN201180064484.0A Active CN103329165B (zh) | 2011-01-07 | 2011-12-02 | 放缩三维场景中的用户控制的虚拟对象的像素深度值 |
Country Status (5)
| Country | Link |
|---|---|
| KR (2) | KR101741468B1 (zh) |
| CN (7) | CN105894567B (zh) |
| BR (2) | BR112013016887B1 (zh) |
| RU (2) | RU2562759C2 (zh) |
| WO (4) | WO2012094076A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015049684A1 (en) * | 2013-10-02 | 2015-04-09 | Given Imaging Ltd. | System and method for size estimation of in-vivo objects |
| CN105323573B (zh) * | 2014-07-16 | 2019-02-05 | 北京三星通信技术研究有限公司 | 三维图像显示装置和方法 |
| WO2016010246A1 (ko) * | 2014-07-16 | 2016-01-21 | 삼성전자주식회사 | 3d 영상 디스플레이 장치 및 방법 |
| EP3232406B1 (en) * | 2016-04-15 | 2020-03-11 | Ecole Nationale de l'Aviation Civile | Selective display in a computer generated environment |
| CN107329690B (zh) * | 2017-06-29 | 2020-04-17 | 网易（杭州）网络有限公司 | 虚拟对象控制方法及装置、存储介质、电子设备 |
| CN109398731B (zh) | 2017-08-18 | 2020-09-08 | 深圳市道通智能航空技术有限公司 | 一种提升3d图像深度信息的方法、装置及无人机 |
| GB2571306A (en) * | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Video recording and playback systems and methods |
| CN109992175B (zh) * | 2019-04-03 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 用于模拟盲人感受的物体显示方法、装置及存储介质 |
| RU2749749C1 (ru) * | 2020-04-15 | 2021-06-16 | Самсунг Электроникс Ко., Лтд. | Способ синтеза двумерного изображения сцены, просматриваемой с требуемой точки обзора, и электронное вычислительное устройство для его реализации |
| CN111275611B (zh) * | 2020-01-13 | 2024-02-06 | 深圳市华橙数字科技有限公司 | 三维场景中物体深度确定方法、装置、终端及存储介质 |
| CN112684883A (zh) * | 2020-12-18 | 2021-04-20 | 上海影创信息科技有限公司 | 多用户对象区分处理的方法和系统 |
| US11882295B2 (en) | 2022-04-15 | 2024-01-23 | Meta Platforms Technologies, Llc | Low-power high throughput hardware decoder with random block access |
| US20230334736A1 (en) * | 2022-04-15 | 2023-10-19 | Meta Platforms Technologies, Llc | Rasterization Optimization for Analytic Anti-Aliasing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009096912A1 (en) * | 2008-01-29 | 2009-08-06 | Thomson Licensing | Method and system for converting 2d image data to stereoscopic image data |
| CN101783966A (zh) * | 2009-01-21 | 2010-07-21 | 中国科学院自动化研究所 | 一种真三维显示系统及显示方法 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
| US5790086A (en) * | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
| GB9511519D0 (en) * | 1995-06-07 | 1995-08-02 | Richmond Holographic Res | Autostereoscopic display with enlargeable image volume |
| EP2357838B1 (en) * | 2002-03-27 | 2016-03-16 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| EP1514236A2 (en) * | 2002-06-03 | 2005-03-16 | Koninklijke Philips Electronics N.V. | Adaptive scaling of video signals |
| EP1437898A1 (en) * | 2002-12-30 | 2004-07-14 | Koninklijke Philips Electronics N.V. | Video filtering for stereo images |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US8094927B2 (en) * | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
| US20050248560A1 (en) * | 2004-05-10 | 2005-11-10 | Microsoft Corporation | Interactive exploded views from 2D images |
| US7643672B2 (en) * | 2004-10-21 | 2010-01-05 | Kazunari Era | Image processing apparatus, image pickup device and program therefor |
| EP1851727A4 (en) * | 2005-02-23 | 2008-12-03 | Craig Summers | AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO |
| JP4555722B2 (ja) * | 2005-04-13 | 2010-10-06 | 株式会社 日立ディスプレイズ | 立体映像生成装置 |
| US20070146360A1 (en) * | 2005-12-18 | 2007-06-28 | Powerproduction Software | System And Method For Generating 3D Scenes |
| GB0601287D0 (en) * | 2006-01-23 | 2006-03-01 | Ocuity Ltd | Printed image display apparatus |
| US8044994B2 (en) * | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
| US7778491B2 (en) | 2006-04-10 | 2010-08-17 | Microsoft Corporation | Oblique image stitching |
| CN100510773C (zh) * | 2006-04-14 | 2009-07-08 | 武汉大学 | 单幅卫星遥感影像小目标超分辨率重建方法 |
| US20080085040A1 (en) * | 2006-10-05 | 2008-04-10 | General Electric Company | System and method for iterative reconstruction using mask images |
| US20080174659A1 (en) | 2007-01-18 | 2008-07-24 | Mcdowall Ian | Wide field of view display device and method |
| GB0716776D0 (en) * | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
| KR101484487B1 (ko) * | 2007-10-11 | 2015-01-28 | 코닌클리케 필립스 엔.브이. | 깊이-맵을 프로세싱하는 방법 및 디바이스 |
| US8493437B2 (en) * | 2007-12-11 | 2013-07-23 | Raytheon Bbn Technologies Corp. | Methods and systems for marking stereo pairs of images |
| JP4695664B2 (ja) * | 2008-03-26 | 2011-06-08 | 富士フイルム株式会社 | 立体動画像処理装置および方法並びにプログラム |
| US9019381B2 (en) * | 2008-05-09 | 2015-04-28 | Intuvision Inc. | Video tracking systems and methods employing cognitive vision |
| US8106924B2 (en) | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| US8743114B2 (en) * | 2008-09-22 | 2014-06-03 | Intel Corporation | Methods and systems to determine conservative view cell occlusion |
| CN101383046B (zh) * | 2008-10-17 | 2011-03-16 | 北京大学 | 一种基于图像的三维重建方法 |
| JP5514219B2 (ja) * | 2008-10-28 | 2014-06-04 | コーニンクレッカ フィリップス エヌ ヴェ | 三次元表示システム |
| US8335425B2 (en) * | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
| RU2421933C2 (ru) * | 2009-03-24 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ формирования и воспроизведения трехмерного видеоизображения |
| US8289346B2 (en) | 2009-05-06 | 2012-10-16 | Christie Digital Systems Usa, Inc. | DLP edge blending artefact reduction |
| US9269184B2 (en) * | 2009-05-21 | 2016-02-23 | Sony Computer Entertainment America Llc | Method and apparatus for rendering image based projected shadows with multiple depth aware blurs |
| US8933925B2 (en) | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
| CN101937079B (zh) * | 2010-06-29 | 2012-07-25 | 中国农业大学 | 基于区域相似度的遥感影像变化检测方法 |
-
2011
- 2011-12-02 WO PCT/US2011/063003 patent/WO2012094076A1/en active Application Filing
- 2011-12-02 WO PCT/US2011/062998 patent/WO2012094074A2/en active Application Filing
- 2011-12-02 CN CN201610191451.7A patent/CN105894567B/zh active Active
- 2011-12-02 WO PCT/US2011/063001 patent/WO2012094075A1/en active Application Filing
- 2011-12-02 CN CN201610095198.5A patent/CN105898273B/zh active Active
- 2011-12-02 KR KR1020137018730A patent/KR101741468B1/ko active IP Right Grant
- 2011-12-02 CN CN201180063836.0A patent/CN103283241B/zh active Active
- 2011-12-02 CN CN201180063720.7A patent/CN103947198B/zh active Active
- 2011-12-02 KR KR1020137016936A patent/KR101851180B1/ko active IP Right Grant
- 2011-12-02 BR BR112013016887-0A patent/BR112013016887B1/pt active IP Right Grant
- 2011-12-02 RU RU2013129687/08A patent/RU2562759C2/ru active
- 2011-12-02 WO PCT/US2011/063010 patent/WO2012094077A1/en active Application Filing
- 2011-12-02 CN CN201610191875.3A patent/CN105959664B/zh active Active
- 2011-12-02 RU RU2013136687/08A patent/RU2573737C2/ru active
- 2011-12-02 CN CN201180063813.XA patent/CN103348360B/zh active Active
- 2011-12-02 BR BR112013017321A patent/BR112013017321A2/pt not_active IP Right Cessation
- 2011-12-02 CN CN201180064484.0A patent/CN103329165B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009096912A1 (en) * | 2008-01-29 | 2009-08-06 | Thomson Licensing | Method and system for converting 2d image data to stereoscopic image data |
| CN101933335A (zh) * | 2008-01-29 | 2010-12-29 | 汤姆森特许公司 | 将二维图像数据转换为立体图像数据的方法和系统 |
| CN101783966A (zh) * | 2009-01-21 | 2010-07-21 | 中国科学院自动化研究所 | 一种真三维显示系统及显示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105898273B (zh) | 2018-04-10 |
| RU2013136687A (ru) | 2015-02-20 |
| WO2012094077A1 (en) | 2012-07-12 |
| KR20140004115A (ko) | 2014-01-10 |
| RU2562759C2 (ru) | 2015-09-10 |
| KR101741468B1 (ko) | 2017-05-30 |
| CN105959664A (zh) | 2016-09-21 |
| CN105959664B (zh) | 2018-10-30 |
| BR112013016887B1 (pt) | 2021-12-14 |
| WO2012094074A2 (en) | 2012-07-12 |
| CN103947198A (zh) | 2014-07-23 |
| WO2012094076A9 (en) | 2013-07-25 |
| BR112013016887A2 (pt) | 2020-06-30 |
| CN105894567A (zh) | 2016-08-24 |
| WO2012094076A1 (en) | 2012-07-12 |
| WO2012094074A3 (en) | 2014-04-10 |
| CN103348360A (zh) | 2013-10-09 |
| CN105894567B (zh) | 2020-06-30 |
| BR112013017321A2 (pt) | 2019-09-24 |
| KR101851180B1 (ko) | 2018-04-24 |
| CN103947198B (zh) | 2017-02-15 |
| RU2013129687A (ru) | 2015-02-20 |
| WO2012094075A1 (en) | 2012-07-12 |
| CN105898273A (zh) | 2016-08-24 |
| RU2573737C2 (ru) | 2016-01-27 |
| KR20130132922A (ko) | 2013-12-05 |
| CN103329165A (zh) | 2013-09-25 |
| CN103329165B (zh) | 2016-08-24 |
| CN103283241A (zh) | 2013-09-04 |
| CN103348360B (zh) | 2017-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103283241B (zh) | 二维图像的再投影的多样本解析 | |
| Alexiou et al. | Towards subjective quality assessment of point cloud imaging in augmented reality | |
| Anderson et al. | Jump: virtual reality video | |
| KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
| US20190215507A1 (en) | 3d system including a marker mode | |
| US9183670B2 (en) | Multi-sample resolving of re-projection of two-dimensional image | |
| US9924153B2 (en) | Parallel scaling engine for multi-view 3DTV display and method thereof | |
| Mercier et al. | Fast gaze-contingent optimal decompositions for multifocal displays. | |
| US20010048507A1 (en) | Processing of images for 3D display | |
| CN108141578B (zh) | 呈现相机 | |
| CN101729791A (zh) | 图像处理设备和方法 | |
| RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
| CN108416751A (zh) | 一种基于深度辅助全分辨率网络的新视点图像合成方法 | |
| US20100302234A1 (en) | Method of establishing dof data of 3d image and system thereof | |
| Kellnhofer et al. | Motion parallax in stereo 3D: Model and applications | |
| US20120176367A1 (en) | Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image | |
| CN106991715A (zh) | 基于光场采集的光栅棱柱三维显示渲染方法 | |
| Lucas et al. | 3D Video: From Capture to Diffusion | |
| Ramachandran et al. | Multiview synthesis from stereo views | |
| Kim et al. | Global texture mapping for dynamic objects | |
| Lin et al. | Optimized anaglyph colorization | |
| CN113821107B (zh) | 一种实时、自由视点的室内外裸眼3d系统 | |
| RU2792721C2 (ru) | Способ асинхронной репроекции изображения 3d-сцены | |
| Thatte | Cinematic virtual reality with head-motion parallax | |
| KR101784208B1 (ko) | 다수의 깊이 카메라를 이용한 3차원 디스플레이 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |