CN110140151B - 用于生成光强度图像的装置和方法 - Google Patents

用于生成光强度图像的装置和方法 Download PDF

Info

Publication number
CN110140151B
CN110140151B CN201780082446.5A CN201780082446A CN110140151B CN 110140151 B CN110140151 B CN 110140151B CN 201780082446 A CN201780082446 A CN 201780082446A CN 110140151 B CN110140151 B CN 110140151B
Authority
CN
China
Prior art keywords
light intensity
depth
viewpoint
mesh
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780082446.5A
Other languages
English (en)
Other versions
CN110140151A (zh
Inventor
C·韦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110140151A publication Critical patent/CN110140151A/zh
Application granted granted Critical
Publication of CN110140151B publication Critical patent/CN110140151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Abstract

一种生成图像的方法包括分别接收(301、303)来自第一视点和第二视点的表示场景的第一和第二纹理图以及网格。针对第三视点生成(305)光强度图像。对于第一位置，这包括通过分别基于所述第一纹理图和所述第一网格并且基于所述第二纹理图和所述第二网格的视点变换来确定(401、403)针对所述第一位置的第一和第二光强度值。然后通过第一和第二光强度值的加权组合来确定(405)所述光强度值。所述加权取决于所述第一网格中的与所述第一位置相对应的第一网格位置处的深度梯度相对于所述第二网格中的与所述第一位置相对应的第二网格处的深度梯度。

Description

用于生成光强度图像的装置和方法
技术领域
本发明涉及一种用于生成光强度图像的装置和方法，并且具体而言涉及基于来自多个不同视点的纹理图和网格来生成适于加速硬件处理的针对新视点的光强度图像。
背景技术
基于三维场景的图形应用已经在许多应用中变得普遍，例如特别是计算机图形应用。为了支持快速三维图形处理，已经开发了许多标准和规范。这不仅提供了更快的设计和实现，因为它可以为许多标准操作(例如视点移位)提供标准化的功能和例程，而且还允许针对这些例程开发和优化专用硬件图形引擎。实际上，对于许多计算机，图形处理单元(GPU)现在通常至少与中央处理单元(CPU)一样强大和重要。
用于支持快速图形处理的标准的示例是OpenGL规范，其提供具有若干支持图形处理的功能的请求者处理接口(API)。该规范通常用于提供硬件加速图形处理，其中，特定例程由GPU形式的专用加速硬件实现。
在大多数这样的图形规范中，场景的表示是通过纹理图和三维网格的组合。实际上，在许多情况下，一种特别有效的方法是通过多边形网格来表示图像对象，或者实际上整个场景，其中一组多边形通过它们的公共边或角(顶点)连接，其是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，包括可能的整幅图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。
作为示例，立体相机可以从给定视点记录场景的图像。对于每个像素，可以执行视差估计以估计到由像素表示的对象的距离。这可以针对每个像素执行，从而提供针对每个像素的x,y,z的三维位置。然后可以将这些位置用作三角形网格的顶点，其中为每个2×2像素的组形成两个三角形。由于这可能导致大量三角形，所述过程可以包括将一些初始三角形组合成更大的三角形(或者在一些场景中更一般地组合成更大的多边形)。这将减少三角形的数量，但也会降低网格的空间分辨率。因此，它通常取决于深度变化并且主要在较平坦的区域中进行。
每个顶点还与纹理图的光强度值相关联。纹理图实质上为顶点的像素位置处的对象提供场景中的光/颜色强度。通常，光强度图像/纹理图与网格一起提供，每个顶点包含表示顶点的x,y,z位置的数据，识别纹理图中的链接的位置的u,v数据，即它指向在纹理图中捕获的x,y,z位置处的光强度。
在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常作为单独的数据结构提供。具体地，纹理通常作为单独的二维图提供，其通过处理算法可以叠加在三维几何结构上。
三角形网格的使用特别适合于通过计算机图形算法进行处理和操纵，并且已经开发了许多有效的软件和硬件解决方案并且其可以在市场上获得。通过针对多个多边形共同处理各个顶点而不是分别处理每个多边形的算法在许多系统实现了显著的计算效率。例如，对于典型的三角形网格，单个顶点通常是几个(通常是3-8个)三角形的公共点。因此，对单个顶点的处理可以应用于相对大量的三角形，从而实质上减少了正在处理的图像或其他对象中的点的数量。
作为具体示例，许多当前的片上系统(SoC)包含GPU，其针对3D图形的处理进行了高度优化。例如，3D对象几何结构和3D对象纹理的处理在所谓的OpenGL渲染管道(或许多其他API，例如DirectX)中是使用两个很大程度上分离的路径完成的。只要3D源以顶点(通常为三角形)和纹理的形式呈现给GPU，SoC上的GPU的硬件就可以有效地处理3D图形。然后，OpenGL应用接口允许设置和控制虚拟透视相机，所述相机确定3D对象在2D屏幕上的投影方式。虽然OpenGL使用3D对象作为输入，但输出通常是适合于普通2D显示的2D图像。
然而，这种方法需要由多边形网格和相关的纹理信息提供三维信息。尽管这在一些应用中可能相对容易提供，例如基于完全由计算机生成的虚拟场景和环境的游戏，但是在其他实施例中可能不太容易。特别是，在基于捕获真实场景的应用程序中，需要将它们转换为纹理和网格表示。如前所述，这可以基于立体图像或基于场景的图像和深度表示。然而，尽管已知许多用于执行这种转换的方法，但这并不是微不足道的并且带来若干复杂的问题和挑战。
图形处理中的常见操作是视点变化，其中，针对与输入纹理图和网格的视点不同的视点来生成图像。图形API通常具有非常有效地执行这种视点转换的功能。然而，由于输入网格通常不是完美的，因此这样的视点变换可能导致移位的质量下降过于显著。此外，来自视点的场景的表示通常将包括多个被遮挡的元素，其中前景对象遮挡其后面的元素。这些元素可以从新的方向可见，即视点改变可以导致去遮挡(de-occlusion)。然而，在这种情况下，输入纹理图和网格将不包括针对这些去遮挡部分的任何信息。因此，由于无法获得所需信息，因此无法对其进行最佳表示。
由于这些原因，视点变换通常基于对应于不同视图方向的多个纹理图和网格。实际上，为了合成新的(看不见的)视点，通常优选或甚至必须将来自不同视点的多个捕获的网格与相关联的相机图像(纹理)组合。组合来自不同视点的数据的主要原因是恢复在一个视图中隐藏(被遮挡)但在另一个视图中可见的对象。此问题通常称为视点插值。
然而，传统方法仍然倾向于次优。
例如，一种用于生成新的视点的方法是将源自不同视点的网格变换到单个全局坐标系，然后在新的相机平面上执行透视投影。这些步骤可以在标准图形硬件中完成。但是，这通常不会正确显示隐藏的表面。具体而言，当点在单个像素处组合时，图形硬件使用深度测试来选择的最前面的点。该方法用于解决自遮挡，其中，视点移位可导致图像对象相对于彼此移动，使得发生新的遮挡，即，在新的视点处，可能存在针对两个在原始视点未被遮挡点。但是，当应用于不同的图像时，这可能导致错误或劣化。实际上，深度通常是线性内插的，使得它延伸超出前景对象(像光晕效果)，最前面的点通常对应于由于紧邻前景对象而可能被遮挡的区域。
在C.L.Zitnick等人的"High-quality video view interpolation using alayered representation".SIGGRAPH’04ACM SIGGRAPH 2004,第600-608页中提供了用于基于深度图像的视图插值的技术的示例。为了实现高质量，所述技术使用由主层和边界层(围绕深度过渡)组成的两层表示。这些是使用alpha计算(alpha matting)(考虑透明度)构建的，并且在渲染过程中两者都被翘曲(并与其他视图混合)。该方法的缺点是需要断开网格以生成双层表示。该过程需要选择深度图的阈值并在深度不连续处擦除相应网格的三角形。这是不期望的，因为使用阈值可能潜在地降低绘制中的时间稳定性。
因此，一种用于针对不同视点生成图像的改进方法将是有利的，并且特别是允许增加灵活性、增加准确性、降低复杂性、提高计算效率、改进与现有图形处理方法的兼容性、改善图像质量、改进去遮挡性能和/或改进的性能的方法将是有利的。
发明内容
因此，本发明寻求单独地或以任何组合来优选地减弱、减轻或消除一个或多个上述缺点。
根据本发明的一个方面，提供了一种生成光强度图像的方法，所述方法包括：接收表示来自第一视点的场景的第一纹理图和第一网格；接收表示来自第二视点的场景的第二纹理图和第二网格；响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格，确定来自第三视点的表示所述场景的光强度图像；其中，确定所述光强度图像包括针对所述光强度图像中的第一位置执行以下步骤：确定通过视点的针对第一位置的第一光强度值基于所述第一纹理图和所述第一网格进行变换；通过基于第二纹理图和第二网格的视点变换来确定针对所述第一位置的第二光强度值；通过所述第一光强度值与所述第二光强度值的加权组合来确定针对所述光强度图像的所述第一位置处的光强度值；通过加权组合的对第一光强度值相对于第二光强度值的加权取决于对应于第一位置的第一网格位置处的第一网格中的第一深度梯度相对于对应于所述第一位置的第二网格位置处的第二网格中的第二深度梯度。
在许多实施例中，本发明可以基于纹理图和来自其他视点的网格为给定视点提供改进的光强度图像的生成。在许多场景中，实现了相对于输入视点中的一个被去遮挡而相对于另一个没有被去遮挡的区域的改进的表示。该方法尤其可以在许多实施例中提供围绕前景对象边缘的改进的质量。
该方法可以避免根据其他方法已知的网格孔的产生，并且可以提供改进的深度一致性。
该方法的一个特殊优点是在许多实施例中它可以由标准图形例程紧密支持。例如，在许多实施例中，视点变换可以由标准化、专用和优化的图形处理硬件来执行。例如，所述方法可以与标准化图形处理兼容并且可以有效地利用这些处理。实际上，所述方法可以通过限制允许用户调整的渲染/处理流水线部分的非标准方法来与这样的标准化方法(例如OpenGL规范)兼容。例如，所述组合可以作为OpenGL渲染管线的片段着色器阶段的一部分来执行。
对处理的资源密集型元件使用标准化硬件加速处理的可能性可以大大增加例如系统的速度或性能。在许多实施例中，它可以降低复杂性和/或资源需求。
该方法可以允许对组合进行调整，使得对于比具有较低像素密度的纹理图高的给定区域，其自动地对具有较高像素密度的纹理图进行加权。
在一些实施例中，针对第一光强度值的视点变换可以包括：将从第一视点到第三视点的网格视点变换应用到第一网格以生成经变换的网格，响应于针对第三视点的透视映射而确定变换网格中的与所述第一位置相对应的位置，确定包括所述经变换的网格中的位置的经变换的网格的多边形，并且将第一光强度值确定为第一纹理图中的光强度值链接到多边形的顶点的插值。
应当理解，在其他实施例中可以使用用于视点变换的其他方法。
第一和/或第二深度梯度可以由任何值或参数表示，其提供适当网格中的对应位置处的深度梯度的指示。
在一些实施例中，所述组合可以包括从纹理图导出的额外的光强度值和针对其他视点的网格。
网格可以是三维网格，其中每个顶点与三维位置相关联(具有三维位置)。每个顶点可以具体地由至少三维空间位置x,y,z表示。网格的每个顶点可以进一步与相应纹理图中的位置链接。例如，对于每个顶点，可以存储纹理图中对应于空间位置x,y,z的位置u,v。
网格可以包括与所表示的对象的深度有关的信息，但不限于此(例如，如所描述的，顶点可以由三维坐标而不是仅由深度坐标表示)。
针对对应于第一位置的输入视点的输入网格中的网格位置可以是输入网格中的位置，其通过所述视点变换将被变换到所述第一位置。等效地，针对输入视点的输入网格中的对应于第一位置的网格位置可以是输入网格中的被链接到纹理图中的位置的位置，所述位置通过视点变换将被变换到所述第一位置。
具体地，所述第一网格位置可以是所述第一网格中的位置，其通过视点变换将被变换/映射到第一位置(或者类似地，第一网格位置可以是第一网格中的位置，其被链接到第一纹理图中的位置，其通过视点转换将被变换/映射到所述第一位置)。类似地，所述第二网格位置可以是所述第二网格中的位置，其通过视点变换将被变换/映射到所述第一位置(或者类似地，第二网格位置可以是第二网格中的位置，其被链接到第二纹理图中的位置，其通过视点转换将被变换/映射到所述第一位置)。
所述加权组合可以将权重应用于所述第一光强度值，其相对于第二光强度值的权重取决于第一深度梯度相对于第二深度梯度。
深度可以例如由视差表示，例如深度图可以是视差图的指示。
根据本发明的任选特征，第一光强度值相对于第二光强度值的加权是第一深度梯度的绝对值的单调递减函数。
这可以提供改进的性能，并且特别是在许多情况下可以将组合偏向于表示输入纹理图中的非遮挡的值而不是遮挡的值的光强度值。
在一些实施例中，第二光强度值的加权可以同时是第二深度梯度的绝对值的单调递减函数。
根据本发明的任选特征，第一光强度值相对于第二光强度值的加权是第二深度梯度的绝对值的单调递增函数。
这可以提供改进的性能，并且特别是在许多情况下可以将组合偏向于表示输入纹理图中的非遮挡的值而不是遮挡的值的光强度值。
在一些实施例中，第二光强度值的加权可以同时是第一深度梯度的绝对值的单调递增函数。
根据本发明的任选特征，所述方法还包括：确定针对所述第一网格的至少一些顶点的深度梯度；并且响应于针对所述至少一些顶点的所述深度梯度来确定所述第一深度梯度。
在许多实施例中，这可以提供具有高性能的特别有效的实现方式。
短语“绝对值”将进一步表示为“幅值”。
根据本发明的任选特征，确定深度梯度包括响应于顶点的深度确定针对所述第一网格的至少一些顶点中的顶点的深度梯度，针对第一网格的至少一个其他顶点的深度，以及顶点与至少一个其他顶点之间的距离。
在许多实施例中，这可以提供具有高性能的特别有效的实现方式。
根据本发明的任选特征，确定深度梯度包括响应于从顶点到多个相邻顶点的深度梯度，确定针对所述第一网格的至少一些顶点中的顶点的深度梯度。
在许多实施例中，这可以提供具有高性能的特别有效的实现方式。特别地，它可以允许改进来自给定顶点的在任何方向上的深度转变的检测。深度梯度可以例如被确定为从第一顶点到多个相邻顶点的深度梯度的平均值或最大值。
根据本发明的任选特征，还包括响应于针对第一纹理图的深度图中的深度变化而确定第一深度梯度。
在许多实施例中，这可以提供具有高性能的特别有效的实现方式。特别是它可以允许合适的深度梯度的较低复杂性的确定。深度图可以例如是用于生成网格的深度图(特别地包括视差图)。深度图可以例如是由捕获场景的相机提供的原始深度图，并且与可以用作纹理图的图像相关联地生成深度图。
根据本发明的任选特征，所述方法还包括以下步骤：确定针对第一纹理图的深度梯度图；将视点变换应用于深度梯度以生成经视图变换的深度梯度图，并且响应于与第一位置对应的经视图变换的深度梯度图中的位置处的深度梯度来确定第一深度梯度。
这可以提供特别有效的操作，并且可以大大减少资源需求和/或提高处理速度。特别地，在许多实施例中，它可以允许针对过程的资源关键元素使用标准化硬件加速。
根据本发明的任选特征，所述方法还包括以下步骤：响应于深度梯度确定包括针对加权组合的权重的权重图；将视点变换应用于所述权重图以生成经视图变换的权重图，并且响应于经视图变换的深度梯度图中的第一位置处的权重来确定加权组合的权重。
在许多实施例中这可以提供具有高性能的特别有效的实现方式。其可以提供特别有效的操作，并且可以大大减少资源需求和/或提高处理速度。特别地，在许多实施例中，它可以允许针对过程的资源关键元素使用标准化硬件加速。
根据本发明的任选特征，针对第一纹理图、第二纹理图以及深度梯度图和权重图中的至少一个的视点变换是相同的视点变换。
该方法可以允许极其有效和低复杂度的操作，其中相同的优化功能(例如GPU)可以针对处理的资源关键元素重新使用。
根据本发明的任选特征，第一纹理图和第一网格是从现实生活场景的捕获生成的。
该方法可以允许针对捕获现实场景高性能和有效地确定的新视点的图像，并且不限于例如由虚拟现实图形引擎提供的图像。
根据本发明的任选特征，加权还取决于第一视点与第三视点之间的差异。
这可以在许多实施例中改进性能。
根据本发明的任选特征，第一光强度值相对于第二光强度值的加权还取决于可靠性指示，所述可靠性指示指示用于确定在第一深度图中的第一网格处的深度的深度估计的可靠性，对于所述可靠性指示，第一光强度值相对于第二光强度值增加指示深度估计的可靠性增加。
这可以在许多实施例中改进性能。
根据本发明的一个方面，提供了一种生成光强度图像的装置，所述装置包括：用于接收表示来自第一视点的场景的第一纹理图和第一网格的接收器；用于接收表示来自第二视点的场景的第二纹理图和第二网格的接收器；图像生成器，其用于响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格而生成来自第三视点的表示所述场景的光强度图像；其中，所述图像生成器包括：第一视图变换器，其用于通过基于所述第一纹理图和所述第一网格的视点变换来确定所述光强度图像中的针对第一位置的第一光强度值；第二视图变换器，其用于通过基于所述第二纹理图和所述第二网格的视点变换来确定针对所述第一位置的第二光强度值；组合器，其用于通过所述第一光强度值与所述第二光强度值的加权组合来确定针对所述第一位置的所述光强度图像的光强度值；加权组合的加权取决于与所述第一位置相对应的所述第一网格中的第一网格位置处的第一深度梯度相对于与所述第一位置相对应的所述第二网格中的第二网格中的第二深度梯度。
参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优势将变得显而易见并将得以阐述。
附图说明
仅以范例的方式参考附图描述本发明的实施例，其中，
图1图示了具有一个背景对象和前景对象的场景的视点变换的示例；
图2图示了根据本发明的一些实施例的用于生成图像的装置的元件的示例；
图3图示了根据本发明的一些实施例的用于生成图像的方法的元素的示例；
图4图示了根据本发明的一些实施例的用于生成图像的方法的元素的示例；
图5图示了具有一个背景对象和前景对象的场景的视点变换的示例；
图6图示了针对不同视点的深度梯度的示例；并且
图7图示了网格的视点变换的示例。
具体实施方式
以下描述集中于适用于基于纹理图和根据不同视点(即，不同的相机视图)捕获的现实生活三维场景而生成的网格的二维图像的渲染的本发明的实施例。然而，应当理解，本发明不限于该应用，而是可以应用于例如基于计算机生成的深度图和用于虚拟现实场景的网格生成图像。
许多3D图像(包括视频)处理算法和过程基于三角形网格的使用，因为这可以在许多实施例中提供高的计算效率。提供三维信息以及相关纹理图的深度网格在许多图形处理系统中被广泛使用，例如特别是在计算机图形中。网格可以提供包括深度信息的几何结构的信息(但是当然不限于仅提供深度信息，例如，它通常可以为每个顶点提供三维坐标)。为简洁起见，网格及其相关纹理图组合在下文中也将称为网格图像。
该方法非常适合于在渲染场景时灵活地修改视图方向，并且特别适合于视点不限于严格水平线中的移动而是期望视点的自由移动的场景。生成新视点的有效方法是将源自不同视点的网格变换为单个全局坐标系，然后在新的相机平面上执行透视投影。这些步骤可以使用标准优化的图形硬件非常有效地完成，例如基于OpenGL标准的硬件。然而，为了优化质量并为通过视点变换去遮挡的区域提供附加信息，从新视点生成渲染图像优选地基于针对多个不同视点提供的纹理图和网格。
发明人已经意识到，这可能经常导致具有伪迹的次优结果，并且特别是深度失真和去遮挡区域的不正确填充。
这可以通过图1来说明，其图示了在一个背景对象前面具有一个前景对象的示例。在示例中，每个点/斑点可以被认为对应于可以由顶点表示的场景位置，并且通常点可以表示像素并且实际上是网格的顶点。图1图示了为第一视点1和第二视点2提供网格图像的示例。基于这些网格图像，针对第一视点1与第二视点2之间的第三视点3生成二维图像。因此，在该示例中，第一和第二视点1、2对应于捕获场景时的相机视点，并且视点3对应于场景的期望视点。图像是针对渲染而生成的光强度图像。它可以直接反映要由显示器渲染/显示的图像的各个像素的光强度值。
应当理解，光强度值可以是指示光强度的任何值，并且具体地可以是例如针对一个颜色通道的光强度。例如，光强度值可以是RGB表示的R，G或B值，或者可以例如是Yuv表示的Y值，或者可以确实是这种Yuv表示的u值或v值。注意，u和v值可以是色度值，并且这些值还提供与渲染时各个颜色通道的光强度有关的信息。因此，光强度值可以是颜色表示的亮度、色度或实际上色度值。
在图1中，第一图示出了通过块(实心)点从视点1可见的位置，并且由前景对象遮挡的背景对象上的位置由白色(非实心)点示出。第二图图示从第2点开始的相应情况。因此，两个第一子图示出了针对两个不同相机视点1和2的场景点的可见性。
第三个子图图示了组合来自视点1和2的网格和纹理以及将这些网格和纹理翘曲(视点转换)到视点3的结果。源自视点2的网格将被局部拉伸并形成间隙(对应于部分背景物体的去遮挡)。在投影到虚拟视点3之后，间隙的深度在具有不同深度的点之间线性插值。灰色圆圈表示源自视点2的点，并且当在视点3的相机坐标中投影场景时，这些点在网格中的已知3D点之间被线性插值。因此，灰圆点/点指示在从视点2到视点3的视点变换导致的去遮挡之后深度位置被生成为对应于来自视点3的图像中的位置。这些点比它们后面的黑点更靠近视点3，它们后面的黑点表示从视点1可见的背景对象上的点。
然而，当针对视点2生成图像时，典型的方法是选择最前面的位置。因此，系统将选择源自视点2的灰点，而不是理想地选择源自视点1并且从视点1可见的黑点。因此，在这些点处的光强度图像值将基于视点2的纹理图而不是基于视点1的纹理图生成。这将导致去遮挡区域的图像是从对应的对象被遮挡的纹理图确定的，而不是从对象未被遮挡的纹理图确定。结果，生成的图像的质量降低，并且通常尽管实际适当信息可用于处理，但是不能准确地呈现去遮挡区域的元素。
应该注意的是，尽管可以修改标准化硬件中使用的深度测试逻辑，但这只能用于给定的渲染调用。因此，有必要将网格再次分成几部分，具有前面提到的使用阈值的缺点。标准深度测试是解决自遮挡的处理的一部分，其中来自单独的视点的网格可以折叠到自身上(自遮挡)，其中，深度测试用于解决由此产生的模糊。
在下文中，将参考图2描述用于根据针对不同视点的多个网格和相关联的纹理图来生成光强度图像的装置和方法，其图示了这样的装置的一些示例性元件，并且图3图示了这样的方法的一些示例性元件。
图2和图3的装置和方法旨在减轻所描述的缺点中的一些。具体地，不是选择最前面的点，而是系统被设置为基于两个纹理图的值的加权组合来生成输出图像的光强度值，其中，加权取决于两个网格中的对应深度梯度。
该装置包括第一接收器201，其执行步骤301，其中接收第一网格图像，即接收第一网格和第一纹理图。第一网格图像表示来自给定视点的场景。
可以从任何内部或外部源接收网格图像。例如，在一些实施例中，网格图像可以例如经由通信系统从外部源接收，或者具体地经由网络(例如因特网)接收。在一些实施例中，可以从的内部源接收网格图像，所述内部源可操作以读取合适的分布介质，例如可以从DVD提取网格图像。在一些实施例中，网格图像可以例如从硬盘或本地存储器中提取，或者实际上在一些实施例中，网格图像可以例如由本地虚拟现实应用本地生成。
在许多实施例中，可以从现实生活场景的捕获来生成第一纹理图和第一网格。捕获可以通过合适的一组相机来进行。例如，单个立体相机或景深相机可以捕获现实生活场景并生成图像和深度(/视差)图。在其他实施例中，处于不同位置的多个相机可以捕获二维图像，并且可以从捕获的图像生成深度图，例如通过视差估计。其中一幅图像可以用作纹理图，并且可以从对应的深度图生成网格。因此，网格图像可以是提供对真实场景的捕获的图像，其中纹理图表示在给定视点处由相机捕获的光强度值并且捕获的深度信息由网格表示。因此，网格图像提供关于场景的有限信息，因为它仅表示可以从给定视点确定的信息(与例如对于例如本地虚拟现实引擎的情况可用的详细几何模型不同)。
该装置还包括第二接收器203，其执行步骤303，在步骤303中它接收第二网格图像，即它接收第二纹理图和第二网格。第二网格图像提供相同场景的表示，但是来自不同的视点。应当理解，关于第一网格图像提供的评论同样适用于第二网格图像。
第一接收器201和第二接收器203被耦合到图像生成器205，图像生成器205执行步骤305，其中，响应于第一纹理图、第一网格、第二纹理图和第二个网格而生成表示来自第三视点的场景的光强度图像。因此，基于分别用于第一和第二视点的第一和第二网格图像，生成针对第三视点的图像。第一和第二视点通常可以是场景的相机视点，其中，第三视点表示期望的视点。该图像是光强度图像，并且可以具体地对应于可以直接呈现在显示器上的图像，以提供来自第三视点的场景视图。具体地，所述光强度图像可以包括一组光强度值，每个光强度值指示图像中的位置处的光强度。通常，图像可以包括一组像素，每个像素具有一个或多个光强度值。因此，每个光强度值可以对应于像素值。
应当理解，在一些实施例中，每个位置(像素)可以与单个光强度值相关联/由其描述/由其限定。例如，对于单色图像可以是这种情况。在其他实施例中，每个位置(像素)可以与多个光强度值相关联/由多个光强度值描述/由多个光强度值定义，像例如针对颜色表示的每个通道有一个光强度值。因此，光强度值可以被认为是颜色强度值，并且光强度图像可以是颜色强度图像。在多个每个像素由多个光强度值表示的情况下，例如对应于不同的颜色通道，所描述的方法可以例如单独地应用于每个颜色通道光强度值。
因此，图像生成器205被布置为生成针对不同视点的图像。例如，在一些实施例中，图像生成器205可以被提供有定义期望视点的输入部，例如响应于用户输入而生成的期望视点。然后，图像生成器205可以基于所接收的网格图像来生成与该视点对应的输出显示图像。然后可以例如通过合适的显示器来渲染该图像。
将参考图2和图4更详细地描述图像生成器205的操作，其图示了图像生成器205的方法的示例。
图像生成器205包括第一视图变换器207，其执行步骤401，在步骤401中，视点变换被应用于第一网格图像，其中，视点变换提供从第一视点到第三视点的视点变换。具体地，对于光强度图像中的第一位置(通常是像素位置)，第一视图变换器207基于从第一视点到第三视点的视点变换来确定光强度值，其中，所述视点变换是基于第一纹理图和第一网格的。
类似地，图像生成器205包括第二视图变换器209，其执行步骤403，在步骤403中，视点变换被应用于第二网格图像，其中，视点变换提供从第二视点到第三视点的视点变换。具体地，对于光强度图像中的第一位置(通常是像素位置)，第二视图变换器209基于从第二视点到第三视点的视点变换来确定第二光强度值，其中，视点变换是基于第二纹理图和第二网格的。
应当理解，已知许多不同的方法用于基于纹理图和网格的视点变换，并且可以使用任何合适的方法而不偏离本发明。
在许多实施例中，视点变换可以有利地包括首先将网格视点变换从输入视点应用到针对网格的输出视点。本领域技术人员将意识到这样做的各种方法，因此将不再更详细地描述这些方法。
当针对第三视点确定输出图像中的给定位置的光强度值时，图像生成器205然后可以确定变换网格中与给定位置相对应的位置。如本领域技术人员已知的，这可以响应于来自第三视点的透视投影来完成。
然后，图像生成器205可以通过对网格位置所落入的多边形的顶点的纹理映射值进行内插来确定光强度值。内插可以取决于网格位置与各个顶点的距离。
例如，在变换之前的原始网格中，每个顶点可以基于当前视点在坐标系中具有相关联的位置(例如，为每个顶点定义x,y,z坐标)。另外，每个顶点将指向对应纹理图中的特定光强度值/像素值，即，还针对每个顶点存储一组二维纹理图坐标(u,v)。
网格的视点变换导致顶点位置的修改，使得x,y,z值将被变换为第三视点的坐标系中的适当坐标。将确定对应于光强度图像中的第一位置的网格上的点，并且将识别其落入其中的多边形的顶点。将确定从该点到每个顶点的距离，并且对于每个顶点，确定在顶点的u,v位置处的纹理图的光强度图像。然后通过这些纹理图值的加权内插确定第一位置的光强度值，其中权重取决于到单个顶点的距离。
作为另一示例，可以如下地执行视点变换：
1.使用透视投影将3D三角形网格投影到针对输出图像的视点(即第三视点)中
2.针对输出图像中的每个2D像素位置：
a.确定其落在哪个网格多边形中；
b.使用3D三角形顶点坐标和线性插值来确定其在网格的原始坐标系中的3D位置；
c.使用三角形顶点的(u,v)纹理坐标和线性插值来确定输入纹理图中的(u,v)纹理坐标；
d.将输出图像的像素值设置为纹理图的位置(u,v)处的纹理值。
应当理解，在其他实施例中可以使用其他视点变换。
基于视点变换，第一视图变换器207和第二视图变换器209相应地生成对应于第三视点的输出图像。然而，由于视点变换，图像的一些区域可能具有去遮挡的区域。然而，对于不同的图像，这些通常是不同的。
第一视图变换器207和第二视图变换器209被耦合到组合器211，组合器211执行步骤407，其中，通过组合来自两个视图变换器207、209的图像来生成光强度图像的输出光强度值。具体地，对于输出图像中的给定(像素)位置，组合器211应用由第一视图变换器207生成的图像中的位置处的第一光强度值和由第二视图变换器209生成的图像中的该位置处的第二光强度值的加权组合。
加权组合的加权取决于网格中相应位置的相对深度梯度。具体地，加权取决于第一网格中的与第一位置相对应的网格位置处的深度梯度指示相对于第二网格中与所述第一位置相对应的网格位置处的深度梯度指示。因此，加权取决于位置处的相对深度梯度。应当理解，可以在不同实施例中以不同方式确定深度梯度，并且可以将深度梯度的值或幅值的任何指示视为该深度梯度的表示。例如，在一些实施例中，深度梯度可以由二进制值表示，所述二进制值简单地指示深度梯度高于或低于阈值。
组合器211可以具体地减小重量以增加梯度。例如，在许多实施例中，来自第一视图变换器207的第一光强度值的加权可以是第一网格中的梯度的幅值的单调递减函数。等效地，来自第一视图变换器207的第一光强度值的加权可以是第二网格中的梯度的幅值的单调递增函数。以相同的方式可以对称地应用于来自第二视图变换器209的第二光强度值的加权。每个纹理的权重可以具体地与深度/视差图或与每个纹理相关联的网格中的局部梯度幅值成反比。
因此，输出光值不仅被选择为最前面的点而是基于深度梯度(图像中的深度变化率)的渐变组合被执行。因此，所述方法偏向于较平坦区域的光强度值，同时偏离具有高的深度变化的区域，例如特别是深度过渡。
发明人已经认识到，这种基于深度梯度的自适应加权组合可以在许多场景中提供改进的图像，并且通常可以提供显著改进的性能和图像质量。
可以关于图5的示例说明该效果，其对应于图1的示例。
在该示例中，使用深度梯度的非常简单的指示，其中，值1被分配给深度梯度幅度超过阈值的位置，否则指定0值。图5a和5b分别示出了针对视点1和视点2的为0(在恒定区域中)或1(在深度跳跃附近)的梯度幅度值。图5c示出了在翘曲/视点变换到第三视点之后的结果。同样，灰圆点指示通过插值导出的值。
对于输出光强度图像中的给定位置，即对于来自视点3的给定透视线，输出光强度值现在被确定为两个生成图像中的对应光强度值的加权组合。具有较低深度梯度幅值的图像将被加权更高，因此在该示例中，前面的灰点后面的扁平黑点将被加权更高，并且通常高得多。因此，输出值将主要由包括背景对象的实际·信息的图像的值给出，而不是通过对去遮挡值进行插值而给出。已经发现该方法提供了非常显著的改进，并且特别是在去遮挡区域中提供了显著改善的质量。
应当理解，可以在不同的实施例中使用不同的加权组合。作为具体示例，可以使用加权线性组合。例如，对于第三视点的输出图像中的每个像素，可以执行以下组合：
波浪号～表示相应的变量已经通过视点变换而被变换到第三视点的输出坐标系/网格。当变量被表示为没有波浪号时，它们仍然隐含地在原始坐标中表示。作为先前组合的替代，加权可以被执行为：
其中，F是固定的分数，并且是两个权重可以采用的最大值。分数F通常在0.1至0.3的范围内，并且优选地相比于接近0.3更接近0.1。
在这种情况下，仅对第一视点具有低置信度的空间位置执行加权。这具有以下优点：在第一视点精确的区域(高权重值，图像质量没有由于翘曲的第一和第二视点的非完美纹理对准而降低。
前面公式中的权重取决于原始网格图像中的局部梯度幅度：
w1＝f(g1)，w2＝f(g2).
函数f通常是梯度幅值的单调递减函数，即，大的梯度幅值导致混合操作中的对应纹理的小的权重。
作为图5中的数据的示例，f可以通过下式给出：
f＝e-10g.
当梯度幅度g＝0时，权重将为1。当梯度幅度g＝1时，权重将为4.54·10-5。
作为示例，考虑图5，对于视点3(图5c)，可以看出，由于梯度幅度为零，源自视点2的从左到右的前3个样本将接收相对大的权重1。然而，在视点2中从左到右的源样本4和5具有梯度幅值1(梯度高于阈值)。输出视点3中的内插(灰色)样本4、5、6在这两个值之间被内插，因此全部接收到梯度幅度值1的内插，相关联的为4.54·10-5的非常小的权重。对于这些样本，源自视点1的权重将是高(1)，这意味着对于输出视图3中的灰色样本4、5、6，来自视点1的隐藏表面将是完全可见的。输出视点3中的样本7将源自视点1的小的权重4.54·10-5与源自视点2的小的权重4.54-10-5进行组合。结果是该位置的纹理以相同的权重混合。
在上面的示例中，给定网格图像的权重仅取决于该网格图像的(经翘曲的)深度梯度。然而，在其他实施例中，针对一个光强度值的权重可以取决于第一和第二网格图像中的局部梯度。
例如，第一权重可以被给出为：
w1＝f(g1，g2)
其中，g1是第一网格中的局部梯度大小，g2是第二网格中的局部梯度大小，f是g1的单调递减函数和g2的单调递增函数。
在一些实施例中，w2可以直接从w1给出。例如，f可以被限制在从0到1的范围内，并且第二权重可以被简单地给出为：
w2＝1-w1
所提出的加权方法具有以下优点：每个原始视点的网格不需要使用阈值在深度不连续处“切割”。来自不同视点的信息以柔和的方式合并(混合在一起)，这种操作通常比使用阈值处理给出更好的结果。
该方法的另一个优点是，在倾斜表面上，在组合/混合操作中传递最高样本密度的相机将自动获得最高重量。该机制如图6中所示。
上面基于梯度的加权是局部的，即变量隐含地取决于空间位置。为了简化表示法，从上述公式中删除了该位置依赖性。为了明确这些，可以进行以下替换：
g≡gk
f≡fk
w≡wk
c≡ck
其中，k是针对给定视点的网格顶点的指标或2D图像坐标：(xk，yk)的指标。
图5图示了关于一维表示的效果。图7图示了关于网格的二维表示的对应场景。在该示例中，第一幅图示了针对第一视点的网格，并且第二幅图力求了在被翘曲到第三个视点之后的相应网格。在第一幅图的示例中，由粗边界定的多边形在前景(f)中处于恒定深度，并且由细边界定的多边形仅在背景(b)中处于恒定深度。由粗边和细边两者界定的多边形具有不同的深度，并且因此具有大的梯度。如果应用视点变换，则前景对象移位，并且结果是网格被局部拉伸，如第二幅图所示。该拉伸区域是所描述的方法允许出现潜在背景纹理的地方。
该方法的另一个非常显著的优点在于，在许多实施例中，由第一视图变换器207和第二视图变换器209执行的操作可以通过标准硬件优化的图形处理来执行。例如，所描述的两个视图变换器205、207的处理可以由支持例如OpenGL标准的GPU执行。这可以降低成本，便于设计和实现，并且通常具有大大提高的处理速度来提供更有效的实现。此外，组合器211的操作是作为用户可定义处理而被支持的操作。实际上，它可以根据例如OpenGL标准适合于图形处理流水线，即，它是可以在流水线的阶段中执行的操作，其允许用户调整和编程。具体来说，它可以在OpenGL渲染管道的片段着色器阶段执行。
用于确定梯度幅值的不同方法可以在不同的实施例中使用。在许多实施例中，梯度幅值可以由装置本地确定。在图2的示例中，图像生成器205还包括深度梯度处理器213，其被布置为确定局部梯度幅值。
在一些实施例中，深度梯度处理器213可以被布置为生成针对原始网格的顶点的深度梯度。例如，对于第一网格中的每个顶点，可以确定深度梯度并将其与顶点相关联。然后可以基于这些顶点深度梯度来确定输出光强度图像中给定位置的梯度。例如，可以使用与先前描述的用于由视图变换器207、209生成光强度值的方法相对应的方法，即，可以确定对应于光强度图像中的位置的网格中的多边形，并且可以针对多边形的顶点的深度梯度的插值来确定该位置处的深度梯度。然后可以将其用于加权。
在一些实施例中，深度梯度可以用于确定深度梯度图。具体地，可以确定深度梯度图，其对于纹理图中的每个位置具有一深度梯度(具体地，深度梯度幅值)。因此，深度梯度可以具有与纹理图相同的分辨率(尽管这在所有实施例中都不是必需的)。给定像素位置的深度梯度值可以例如通过根据像素位置落入的多边形的顶点的深度梯度进行插值来确定。
然后可以将得到的深度梯度图视图变换到第三视点。该视点变换可以例如使用与用于纹理图的完全相同的视点变换处理。因此，深度梯度处理器213可以生成深度梯度图，所述深度梯度图包括第一纹理图的每个像素的深度梯度。该确定可以基于确定第一网格的每个顶点的深度梯度。然后将深度梯度图与第一网格一起馈送到第一视图变换器207，并且当生成第一变换图像/纹理图时，对第一纹理图应用完全相同的处理。结果，提供了翘曲的深度梯度图，其与翘曲的图像精确对齐。因此，当组合翘曲的图像时，可以根据两个经变形/变换的深度梯度图中的相同像素位置处的深度梯度直接确定给定像素的权重。
在许多实施例中，所述方法可以是非常有效的，因为它可以允许使用完全相同的处理。实际上，深度梯度图可以与纹理图无法区分(它们可以简单地都是值的图)，因此可以完全像处理纹理图一样进行处理。这可以允许加速的图形硬件用于该过程，从而提供快速和有效的处理。它进一步促进了组合，因为这可以简单地从变换的深度梯度图中检索相应的值。
在不同实施例中，用于确定顶点的深度梯度的方法可以是不同的。在许多实施例中，可以基于该顶点的深度和网格中的至少一个其他顶点的深度(通常是相邻顶点)来确定给定顶点的深度梯度。具体地，可以响应于两个顶点的深度差异来确定深度梯度。此外，由于网格中的顶点之间的距离通常可以变化，因此可以针对它们之间的距离补偿深度差异。在许多实施例中，深度梯度可以被确定为两个顶点之间的深度差除以它们之间的距离。
在从稠密深度或视差图导出3D网格的情况下，给定顶点处的梯度可以从在它的从视差图导出的梯度图中的位置采集。以这种方式，当从深度图创建网格时，创建了深度梯度信息。
在一些实施例中，可以仅考虑一个其他顶点，例如最近的顶点，但是在大多数实施例中，基于从顶点到多个相邻顶点的深度梯度的平均来确定给定顶点的深度梯度。这可以特别地允许考虑多个方向上的深度变化。通常，考虑所有相邻顶点以便确保考虑所有深度变化(例如，在物体的边缘处，深度过渡可导致在一个方向上的非常高的梯度，而在例如在相反的方向上非常低)。
该方法还可以允许对网格进行有效的梯度确定，其中多边形的大小可以显著变化。例如，当考虑从相机捕获而生成的网格形式的典型3D数据时，在计算梯度时必须小心。在这种情况下，出于压缩效率的原因，对于所谓的平坦区域，网格通常可以由较大的三角形表示，深度不随空间坐标的变化而快速变化。相反，在深度不连续处，网格中的三角形很小以表示深度步长。然而，这可以在所描述的确定图中所有相邻顶点的平均绝对深度变化并且通过2D边缘长度将每个相邻贡献归一化的方法中得到补偿。
例如，可以使用以下公式：
/>
其中，N是顶点k的相邻顶点m的数量，(u,v)是指纹理映射中的位置，并且D是指深度。
在一些实施例中，深度梯度处理器213可以被布置为响应于第一纹理图的深度图中的深度变化来确定深度梯度。因此，并非(或可能两者)深度梯度处理器213响应于顶点深度确定深度梯度，它可以处理深度图以确定梯度。例如，在许多实施例中，相机可以直接提供图像和相关联的深度图。这可以转换为网格和纹理图(纹理图通常直接是捕获的图像)。在这种情况下，深度梯度处理器213可以直接处理原始深度图以生成深度图梯度。例如，对于给定像素，可以确定例如四个或八个不同方向上的深度变化，并且可以将梯度设置为这些中的平均值或最高梯度。
在许多实施例中，这可以提供精确的深度梯度图的低复杂度确定。然后可以如先前针对基于顶点确定的深度梯度图所描述的那样将深度梯度图翘曲到第三视点。
在先前的示例中，生成深度梯度图，然后将其翘曲到第三视点，然后在组合之前确定权重。然而，在其他实施例中，可以在翘曲之前执行权重确定。
例如，可以通过将函数应用于每个像素的深度梯度来为第一网格图像生成第一权重图。例如，可能使用如下函数：
w1＝f(g1)。
对于第二网格图像可以进行相同的操作，从而分别产生分别用于第一和第二网格图像的两个权重图。然后可以将这些权重图翘曲到第三视点，并且可以在组合中直接使用经变换的权重图中的权重。
在一些实施例中，给定像素位置的权重的确定可以取决于第一和第二网格图像的深度梯度，例如：
w1＝f(g1，g2)
在一些实施例中，可以仅确定单个权重图。例如，在一些实施例中，在组合中应用的权重可以被布置为总是加1，即w1+w2＝1。在这种情况下，可以仅确定权重图并将其翘曲到第三视点。
在许多实施例中，使用深度梯度或权重图的方法的特定优点提供了非常有效的处理。特别地，它允许如应用于纹理图地将相同的视点变换应用于深度梯度/权重图，并且具体地，可以使用基于相同网格的相同视点变换。具体地，在许多实施例中，这允许使用有效的加速硬件图形处理。
在许多实施例中，组合的权重可以还对其他参数进行响应。在许多实施例中，权重还可以取决于第一视点与第三视点之间的差异。具体而言，差异越大，权重越低。该差异可以例如被确定为视点之间的x,y,z坐标之间的几何差异，或者可以例如直接从提供给图像生成器205的视点改变参数确定。该方法可以使较小的视点变换权重大于较大的变换，反映了视点的变化越小质量越高的事实。
因此，在一些实施例中，权重还可以取决于测量输出视点(第三视点)与输入视点的差异(例如，在角度差方面)有多大的全局参数。如果该角度差很大，则可以选择较低的权重，使得附近的相机在混合操作中具有较大的贡献。
在一些实施例中，加权可以取决于针对第一梯度的可靠性指示，其中可靠性指示指示用于确定第一网格位置处的深度的深度估计的可靠性。
许多深度相机或深度估计技术提供可靠性指示，其指示所生成的深度估计被认为是有多可靠。例如，深度传感器，无论是立体对还是结构光传感器，通常具有相关的不确定性。这种不确定性可以来自视差估计过程或来自深度传感器的红外测量过程。可靠性信息可以例如被提供为像素置信度图。在这种情况下，具有较高不确定性的像素可以在组合中比具有较低不确定性的像素更低地加权。例如，当在视点变换之前确定权重图时可以考虑不确定性，或者例如可以将置信图翘曲到第三视点并且在确定第三视点域中的权重时考虑该不确定性。
在一些实施例中，可以从内部或外部源提供深度梯度或权重，例如，可以从视频文件读取深度梯度或权重，或者从视频文件读取的视差/深度图计算深度梯度或权重。第一选项可以具有以下优点：可以将其他置信度与基于梯度的置信度组合到单个置信度图中。可以从深度传感器或视差估计步骤输出该置信度的一部分，并且这可以在视频流中编码。
应当注意，在使用较高值(表示较高梯度)来减少加权的意义上，可以认为深度梯度值类似置信度值。因此，在许多场景中，可以直接组合深度估计置信度值和深度梯度值以提供像素的组合总置信度值。深度估计置信度值越高并且深度梯度越低，相应的光强度值适合于产生输出值的置信度就越高，因此权重越高。
应当注意，深度梯度可以在不同的时间确定，并且在不同的实施例中由不同的功能实体确定。例如，在一些实施例中，可以提供两个(或更多个)视频流，每个视频流包括图像序列和相关联的深度图。然后，渲染设备可以继续生成对应的网格，并且例如基于深度图生成深度梯度图。然后，可以基于所确定的网格将深度梯度图和纹理图翘曲到新的视点。实际上，在一些实施例中，给定视点的每个视频流可能甚至不包括深度图，而是例如可以是立体图像的形式。在这种情况下，渲染设备还可以被布置为执行视差估计以生成显式深度信息，基于该显式深度信息可以生成网格和深度梯度图。
然而，在其他实施例中，这些功能中的一些可以在内容提供者侧执行。例如，当在不同位置使用多个立体相机捕获场景时，内容提供者实体可以继续对这些中的每一个执行视差估计，并且可以生成深度图。然后，可以继续确定深度图以及网格的深度梯度图(或实际上是权重图)。在这种情况下，可以生成视频信号，所述视频信号针对每个相机视点包括视频序列，所述视频序列包括用于每个相机视点的一组纹理图、网格和深度梯度图。在许多实施例中，进一步提供深度估计置信度图以指示视差估计的可靠性。该信息可以作为单独的置信度图提供，或者可以与如前所述的深度梯度图组合。
然后可以将该视频信号分发给大量终端用户。在这种情况下，渲染单元可以简单地继续通过针对每个相机视点基于网格来将纹理图和梯度图(以及可能的置信图)翘曲到期望的视点来针对每个相机视点生成针对新视点的图像。对于输出图像中的每个像素，然后基于该位置处的变形梯度值(以及可能的置信度值)组合该位置处的变形纹理值。这提供了高效的过程，因为所需的唯一功能是低资源加权组合和标准化视图变换(变形)，其可以由专用硬件有效地执行。
该方法可以提供非常有效的操作，同时保持低资源需求。实际上，可以预见，功能可以嵌入例如3D眼镜中，3D眼镜可以简单地直接提供这样的视频信号，但是能够基于此提供高质量的动态虚拟现实体验。
应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显而易见的是，可以在不背离本发明的情况下使用不同功能电路、单元或处理器之间的任何合适的功能分布。例如，被示为由分别的处理器或控制器执行的功能可以由相同的处理器执行。因此，对特定功能单元或电路的引用仅被视为对用于提供所描述的功能的合适设备的引用，而不是指示严格的逻辑或物理结构或组织。
本发明可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。本发明任选地地可以被至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式来物理地、功能地和逻辑地实现。实际上，功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同的单元、电路和处理器之间物理地和功能地分布。
尽管已经结合一些实施例描述了本发明，但是并不旨在将本发明限于这里阐述的特定形式。相反，本发明的范围仅受所附权利要求的限制。另外，尽管可能看起来结合特定实施例描述了特征，但是本领域技术人员将认识到，可以根据本发明组合所描述的实施例的各种特征。在权利要求中，术语“包括”不排除存在其他元件或步骤。
此外，尽管单独列出，但是多个设备、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实现。另外，尽管各个特征可以包括在不同的权利要求中，但是这些特征可以有利地组合，并且包含在不同的权利要求中并不意味着特征的组合是不可行和/或不利的。在一类权利要求中包含特征并不意味着对该类别的限制，而是指示该特征在合适时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着特征必须工作的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序并不意味着必须以该顺序执行这些步骤。而是，可以以任何合适的顺序来执行这些步骤。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供用于地使示例清楚，不应被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种生成光强度图像的方法，所述方法包括：
接收表示来自第一视点的场景的第一纹理图和第一网格；
接收表示来自第二视点的所述场景的第二纹理图和第二网格；
响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格而确定表示来自第三视点的所述场景的所述光强度图像，
其中，确定所述光强度图像包括针对所述光强度图像中的第一位置执行以下步骤：
通过基于所述第一纹理图和所述第一网格的视点变换来确定针对所述第一位置的第一光强度值；
通过基于所述第二纹理图和所述第二网格的视点变换来确定针对所述第一位置的第二光强度值；
通过所述第一光强度值与所述第二光强度值的加权组合来确定针对所述光强度图像的所述第一位置处的光强度值；通过所述加权组合的所述第一光强度值相对于所述第二光强度值的加权取决于所述第一网格中的对应于所述第一位置的第一网格位置处的第一深度梯度相对于所述第二网格中的对应于所述第一位置的第二网格位置处的第二深度梯度。
2.根据权利要求1所述的方法，其中，所述加权包括所述第一光强度值相对于所述第二光强度值的加权，对所述第一光强度值的所述加权是所述第一深度梯度的绝对值的单调递减函数。
3.根据权利要求1所述的方法，其中，所述加权包括所述第一光强度值相对于所述第二光强度值的加权，对所述第一光强度值的所述加权是所述第二深度梯度的绝对值的单调递增函数。
4.根据权利要求1所述的方法，还包括确定针对所述第一网格的至少一些顶点的深度梯度；并且响应于针对所述至少一些顶点的所述深度梯度来确定所述第一深度梯度。
5.根据权利要求4所述的方法，其中，确定所述深度梯度包括响应于所述顶点的深度、所述第一网格中的至少一个其他顶点的深度以及所述顶点与所述至少一个其他顶点之间的距离来确定针对所述第一网格的所述至少一些顶点中的顶点的深度梯度。
6.根据权利要求4所述的方法，其中，确定所述深度梯度包括响应于从所述顶点到多个相邻顶点的深度梯度来确定针对所述第一网格的所述至少一些顶点中的顶点的深度梯度。
7.根据权利要求1所述的方法，还包括：响应于针对所述第一纹理图的深度图中的深度变化，确定所述第一深度梯度。
8.根据权利要求1所述的方法，还包括以下步骤：
确定针对所述第一纹理图的深度梯度图；
将视点变换应用到所述深度梯度图以生成经视图变换的深度梯度图，以及
响应于与所述第一位置相对应的所述经视图变换的深度梯度图中的位置处的深度梯度来确定所述第一深度梯度。
9.根据权利要求1-8中的任一项所述的方法，还包括以下步骤：
响应于所述深度梯度而确定权重图，所述权重图包括针对所述加权组合的权重；
将视点变换应用于所述权重图以生成经视图变换的权重图，以及
响应于所述经视图变换的深度梯度图中的所述第一位置处的权重而确定针对所述加权组合的权重。
10.根据权利要求9所述的方法，其中，针对所述深度梯度图和所述权重图中的至少一个、所述第一纹理图和所述第二纹理图的视点变换是相同的视点变换。
11.根据权利要求1-8中的任一项所述的方法，其中，所述第一纹理图和所述第一网格是根据对现实场景的捕获来生成的。
12.根据权利要求1-8中的任一项所述的方法，其中，所述加权还取决于所述第一视点与所述第三视点之间的差异。
13.根据权利要求1-8中的任一项所述的方法，其中，所述第一光强度值相对于所述第二光强度值的所述加权还取决于可靠性指标，所述可靠性指标指示深度估计的可靠性，所述深度估计用于确定所述第一深度梯度中的所述第一网格位置处的深度，所述第一光强度值相对于所述第二光强度值的所述加权针对指示所述深度估计的增加的可靠性的所述可靠性指标而增加。
14.一种用于生成光强度图像的装置，所述装置包括：
第一接收器（201），其用于接收表示来自第一视点的场景的第一纹理图和第一网格；
第二接收器（203），其用于接收表示来自第二视点的所述场景的第二纹理图和第二网格；
图像生成器（205），其用于响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格而确定表示来自第三视点的所述场景的光强度图像；
其中，所述图像生成器（205）包括：
第一视图变换器（207），其用于通过基于所述第一纹理图和所述第一网格的视点变换来确定针对所述光强度图像中的第一位置的第一光强度值；
第二视图变换器（209），其用于通过基于所述第二纹理图和所述第二网格的视点变换来确定针对所述第一位置的第二光强度值；
组合器（211），其用于通过所述第一光强度值和所述第二光强度值的加权组合来确定针对所述光强度图像的所述第一位置处的光强度值；通过所述加权组合的所述第一光强度值相对于所述第二光强度值的加权取决于所述第一网格中的对应于所述第一位置的第一网格位置处的第一深度梯度相对于所述第二网格中的对应于所述第一位置的第二网格位置处的第二深度梯度。
15.一种存储计算机程序的计算机可读介质，其适于执行根据权利要求1至13中的任一项所述的方法。
CN201780082446.5A 2016-12-06 2017-11-28 用于生成光强度图像的装置和方法 Active CN110140151B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16202469.9 2016-12-06
EP16202469 2016-12-06
PCT/EP2017/080597 WO2018104102A1 (en) 2016-12-06 2017-11-28 Apparatus and method for generating a light intensity image

Publications (2)

Publication Number Publication Date
CN110140151A CN110140151A (zh) 2019-08-16
CN110140151B true CN110140151B (zh) 2023-08-29

Family

ID=57517749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082446.5A Active CN110140151B (zh) 2016-12-06 2017-11-28 用于生成光强度图像的装置和方法

Country Status (9)

Country Link
US (1) US10699466B2 (zh)
EP (1) EP3552183B1 (zh)
JP (1) JP6651679B2 (zh)
KR (1) KR102581134B1 (zh)
CN (1) CN110140151B (zh)
BR (1) BR112019011254A8 (zh)
RU (1) RU2754721C2 (zh)
TW (1) TWI764959B (zh)
WO (1) WO2018104102A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923438A (zh) * 2017-04-27 2022-01-11 谷歌有限责任公司 合成立体视觉图像内容捕获
EP3419286A1 (en) 2017-06-23 2018-12-26 Koninklijke Philips N.V. Processing of 3d image information based on texture maps and meshes
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
US20200186776A1 (en) * 2018-11-14 2020-06-11 Htc Corporation Image processing system and image processing method
EP3696773A1 (en) * 2019-02-15 2020-08-19 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424556A (en) * 1993-11-30 1995-06-13 Honeywell Inc. Gradient reflector location sensing system
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
CN104488357A (zh) * 2012-07-27 2015-04-01 皇家飞利浦有限公司 使用反射光谱对对象的颜色突出和保护

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348213A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
KR101697598B1 (ko) * 2008-10-27 2017-02-01 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
US9117310B2 (en) 2010-04-02 2015-08-25 Imec Virtual camera system
JP5858380B2 (ja) 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
KR20120079794A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 영상 처리 장치 및 방법
WO2013145554A1 (ja) 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
FR2993662B1 (fr) * 2012-07-23 2015-05-15 Msc & Sgcc Procede et installation pour la detection notamment de defauts refractants
CA2881131A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US9437039B2 (en) * 2012-09-11 2016-09-06 Nvidia Corporation Method and system for graphics rendering employing gradient domain metropolis light transport
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9905039B2 (en) * 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
US10484697B2 (en) 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
US10546421B2 (en) 2015-09-23 2020-01-28 Koninklijke Philips N.V. Generation of triangle mesh for a three dimensional image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424556A (en) * 1993-11-30 1995-06-13 Honeywell Inc. Gradient reflector location sensing system
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
CN104488357A (zh) * 2012-07-27 2015-04-01 皇家飞利浦有限公司 使用反射光谱对对象的颜色突出和保护

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
灰度等级处理中的OSTU动态阈值法研究;张辉等;《传感器世界》;20080725(第07期);第24-27页 *

Also Published As

Publication number Publication date
EP3552183A1 (en) 2019-10-16
KR20190091500A (ko) 2019-08-06
TW201828255A (zh) 2018-08-01
RU2019120831A3 (zh) 2021-03-10
KR102581134B1 (ko) 2023-09-21
EP3552183B1 (en) 2021-09-15
JP2019536174A (ja) 2019-12-12
BR112019011254A2 (pt) 2019-10-08
BR112019011254A8 (pt) 2023-04-04
CN110140151A (zh) 2019-08-16
WO2018104102A1 (en) 2018-06-14
TWI764959B (zh) 2022-05-21
RU2754721C2 (ru) 2021-09-06
RU2019120831A (ru) 2021-01-12
US10699466B2 (en) 2020-06-30
US20190385352A1 (en) 2019-12-19
JP6651679B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110140151B (zh) 用于生成光强度图像的装置和方法
EP3735677A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
US20190098278A1 (en) Image processing apparatus, image processing method, and storage medium
CN110999285B (zh) 基于纹理图与网格的3d图像信息的处理
KR102247565B1 (ko) 렌더링 방법 및 장치
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
TWI831919B (zh) 用於產生光強度影像之設備及方法
EP1926052B1 (en) Method, medium, and system rendering 3 dimensional graphics data considering fog effect
EP4345759A1 (en) Generation of adapted mesh representation for a scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant