CN115695761A - 使用多视点纹理的多边形网格渲染方法和装置 - Google Patents

Abstract

公开一种使用多视点纹理的多边形网格渲染方法和装置，该装置包括：处理器；以及存储指令的存储器，其中，所述处理器通过执行所述指令来：获得多个多视点图像，其与通过在彼此不同的捕获相机位置捕获对象而获得的多个捕获图像对应；获得相对于所述对象的3D多边形网格；基于渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个纹理图像；以及基于所选择的一个或更多个纹理图像将所述3D多边形网格渲染到二维(2D)图像。

Description

使用多视点纹理的多边形网格渲染方法和装置

相关申请的交叉引证

本申请要求于2021年7月22日提交的韩国专利申请号10-2021-0096720和于2021年8月31日提交的韩国专利申请号10-2021-0115810的优先权和权益，其通过引用合并于此用于所有目的，如同在此完全阐述一样。

技术领域

本公开的多个实施例涉及一种使用多视点(multi-view)纹理的三维(3D)多边形网格渲染方法和装置。

背景技术

随着三维(3D)图形技术的发展，通过对实际物体进行3D建模并将其渲染到二维(2D)图像中的技术也在不断发展，特别地，最近，通过使用在不同位置拍摄实际物体而得的多个捕获图像对实际物体进行3D建模的方法已被广泛使用。

发明内容

本公开的一实施例通过提供一种使用多视点纹理的3D多边形网格渲染方法和装置，从而可获得接近实像的图像。

本公开一实施例可提供一种三维(3D)多边形网格渲染装置，其包括：处理器；以及存储指令的存储器，其中，所述处理器通过执行所述指令来：获得多个多视点图像(multi-view image)，其与在彼此不同的捕获相机位置(capture camera position)捕获对象而获得的多个捕获图像对应；获得相对于所述对象的3D多边形网格；基于渲染相机位置(rendering camera position)和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个纹理图像；以及基于所选择的一个或更多个纹理图像将所述3D多边形网格渲染到二维(2D)图像中。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述多个多视点图像和所述2D图像分别包括阿尔法通道，所述处理器基于所选择的一个或更多个纹理图像的阿尔法值来确定所述2D图像的阿尔法值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像中的每一个的加权值，并且基于所述加权值来选择所述多个多视点图像中的一个或更多个作所述一个或更多个纹理图像。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器确定所述加权值以使得基于所述3D多边形网格的第一点的位置的所述多个多视点图像的捕获相机位置矢量的所述加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差最小化。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于所述3D多边形网格的第一点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个第一纹理图像，基于所选择的一个或更多个第一纹理图像将所述第一点渲染到2D图像中，基于所述3D多边形网格的第二点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个第二纹理图像，基于所选择的一个或更多个第二纹理图像将所述第二点渲染到2D图像中。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作所述一个或更多个第一纹理图像，并且

基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作所述一个或更多个第二纹理图像。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于所述第一点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像的每一个的第一加权值基于所述第一加权值选择所述多个多视点图像中的一个或更多个作所述一个或更多个第一纹理图像，基于所述第二点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像的每一个的第二加权值，基于所述第二加权值选择所述多个多视点图像中的一个或更多个作所述一个或更多个第二纹理图像。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述多个多视点图像的捕获相机位置确定所述第一加权值，并且基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述多个多视点图像的捕获相机位置确定所述第二加权值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器确定所述第一加权值，以使得基于所述第一点的位置的所述多个多视点图像的捕获相机位置矢量的所述第一加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差最小化，并且确定所述第二加权值，以使得基于所述第二点的位置的所述多个多视点图像的捕获相机位置矢量的所述第二加权值的加权和与基于所述第二点的位置的渲染相机位置矢量之间的误差最小化。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器通过将所述3D多边形网格的第一点重新投影(reprojection)到所述一个或更多个纹理图像中的每一个中来确定所述一个或更多个纹理图像上与所述第一点对应的一个或更多个第一纹理点，并且基于所述一个或更多个第一纹理点确定所述2D图像上与所述第一点对应的第一渲染点的颜色。

在一实施例中，可以提供一种3D多边形网格渲染装置，其中，所述处理器获得在通过基于所述多个捕获图像的3D重建生成3D多边形网格过程中确定的相机参数，并且使用所述相机参数执行所述重新投影。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述多个多视点图像和所述2D图像分别包括阿尔法通道，所述处理器基于所述一个或更多个第一纹理点确定所述第一渲染点的阿尔法值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置确定所述一个或更多个纹理图像中的每一个的加权值，并且基于所述加权值和所述一个或更多个第一纹理点的颜色来确定所述第一渲染点的颜色。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述多个多视点图像和所述2D图像分别包括阿尔法通道，所述处理器基于所述加权值和所述一个或更多个第一纹理点的阿尔法值来确定所述第一渲染点的阿尔法值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器根据基于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述加权值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于所述第一点的位置、所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置确定所述一个或更多个纹理图像中的每一个的第一加权值，基于所述第一加权值和所述一个或更多个第一纹理点的颜色确定所述第一渲染点的颜色，通过将所述3D多边形网格的第二点重新投影到所述一个或更多个纹理图像中的每一个中来确定所述一个或更多个纹理图像上与所述第二点对应的一个或更多个第二纹理点，基于所述第二点的位置、所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置确定所述一个或更多个纹理图像中的每一个的第二加权值，基于所述第二加权值和所述一个或更多个第二纹理点的颜色来确定所述2D图像上与所述第二点对应的第二渲染点的颜色。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置来确定所述第一加权值，基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述一个或更多个纹理图像的捕获相机位置来确定所述第二加权值。

在一实施例中，可提供一种3D多边形网格渲染装置，其中，所述处理器根据基于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述第一加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述第一加权值，并且根据基于所述第二点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述第二加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述第二加权值。

本公开一实施例可提供一种三维(3D)多边形网格渲染装置的操作方法，所述方法包括：获得多个多视点图像，其与通过在彼此不同的捕获相机位置捕获对象而获得的多个捕获图像对应；获得相对于所述对象的3D多边形网格；基于渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个纹理图像；以及基于所选择的一个或更多个纹理图像将所述3D多边形网格渲染为二维(2D)图像。

本公开一实施例可提供一种计算机可读记录介质，其中记录有用于在计算机上执行根据本公开一实施例的方法的程序。

附图说明

图1为概略地示出根据本公开一实施例的三维(3D)多边形网格渲染装置的组成的框图。

图2为用于说明根据本公开一实施例的3D多边形网格渲染装置的操作的图。

图3为概略地示出根据本公开一实施例的3D多边形网格渲染装置的操作方法的流程的流程图。

图4为用于获得捕获个体的多个捕获图像的3D捕获系统的例子。

图5为示出其中根据本公开一实施例的3D多边形网格渲染装置选择一个或更多个的纹理图像的示例的图。

图6为用于说明捕获相机位置矢量和渲染相机位置矢量的图。

图7为用于说明基于由根据本公开一实施例的3D多边形网格渲染装置选择的一个或更多个的纹理图像将3D多边形网格渲染到2D图像中的方法的图。

图8为示出由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像的图。

图9至图11为比较通过根据本公开一实施例的3D多边形网格渲染方法生成的2D图像和通过现有的3D多边形网格渲染方法生成的2D图像的图。

具体实施方式

为了阐明本公开的技术思想，将参照附图详细描述本公开的实施例。在描述本公开时，如果判定相关公知功能或组件的详细描述可能不必要地模糊本公开的主题，则将省略其详细描述。附图中具有基本相同功能组成的组件被给予尽可能相同的附图标记和符号，即使它们显示在不同的附图中。为便于说明，如有必要，将一并说明装置和方法。本公开的每个操作不必按照所描述的顺序执行，并且可并行地、选择性地或单独地执行。

图1为概略地示出根据本公开一实施例的三维(3D)多边形网格渲染装置100的组成的框图。参照图1，根据本公开一实施例的3D多边形网格渲染装置100可包括处理器110和存储可由处理器110执行的一个或更多个指令的存储器120。处理器110可以是一个处理器或多个处理器。存储器120可以是一个存储器或多个存储器。下文将参照图2至图8详细描述3D多边形网格渲染装置100的操作，其通过处理器110执行存储在存储器120中的一个或更多个指令来进行。

图2为用于说明根据本公开一实施例的3D多边形网格渲染装置100的操作的图。图3为概略地示出根据本公开一实施例的3D多边形网格渲染装置100的操作方法的流程的流程图。参照图3，3D多边形网格渲染装置100的处理器110可在操作S310中获得多个多视点图像(multi-view image)，其对应于在彼此不同的捕获相机位置(capture cameraposition)中捕获对象而获得的多个捕获图像。

可使用已知方法获得捕获对象而获得的多个捕获图像。图4为用于获得多个捕获图像的3D捕获系统的例子。参照图4，可通过由设置在彼此不同位置的多个相机捕获对象来获得多个捕获图像。在此，捕获对象的相机的位置被称为“捕获相机位置”，并且捕获各捕获图像的相机位置被称为该捕获图像的捕获相机位置。在一实施例中，捕获相机位置可表示为相对于特定位置(例如，3D捕获系统的中心，或对象的中心)的位置。如上所述，当使用多个相机时，可在彼此不同的捕获相机位置中同时捕获对象。在另一实施例中，可在改变一个相机的位置的同时多次捕获对象来获得多个捕获图像。此外，可通过使用多种多视点捕获方法来获得多个捕获图像。

多个多视点图像中的每一个是与多个捕获图像中的每一个对应的图像。多视点图像可以是对对应的捕获图像进行变换而获得的图像，并且可以是基于对应的捕获图像而生成的图像。例如，如图2所示，可通过对多个捕获图像进行阿尔法计算240来获得多视点图像210。在这种情况下，多视点图像可包括阿尔法通道，并且阿尔法通道可包括对象的阿尔法值。每个捕获图像的捕获相机位置可被视为对应的多视点图像的捕获相机的位置。换言之，每个多视点图像的捕获相机的位置是捕获对应的捕获图像的相机的位置。多视点图像可以是对应的捕获图像。换言之，由相机捕获对象而获得的捕获图像可用作多视点图像。

再次参照图3，3D多边形网格渲染装置100的处理器110可在操作S320中获得相对于对象的3D多边形网格。可使用已知的3D重建(reconstruction)方法获得相对于对象的3D多边形网格。例如，如图2所示，通过将3D重建250应用于捕获对象而获得的多个捕获图像的全部或一部分，从而可获得相对于对象的3D多边形网格220。也可通过将3D重建应用于多个多视点图像210来获得相对于对象的3D多边形网格。还可通过使用单独的方法而不使用多个捕获图像来获得3D多边形网格。

再次参考图3，3D多边形网格渲染装置100的处理器110可在操作S330中基于渲染相机位置(render camera position)和多个多视点图像的捕获相机位置选择多个多视点图像中的一个或更多个作一个或更多个纹理图像。在此，渲染相机位置是指当将3D多边形网格渲染到2D图像时，虚拟相机注视2D图像的位置。注视2D图像的虚拟相机称为渲染相机。在一实施例中，渲染相机的注视方向(view direction)可朝向对象的中心。

在操作S340中，3D多边形网格渲染装置100的处理器110可基于选择的一个或更多个纹理图像来将3D多边形网格渲染到2D图像中。如上所述，3D多边形网格渲染装置100并不使用所有获得的多个多视点图像作纹理图像，而是可以根据渲染相机位置选择其中一部分作纹理图像。2D图像可包括阿尔法通道，并且3D多边形网格渲染装置可基于选择的一个或更多个纹理图像的阿尔法值来确定2D图像的阿尔法值。

生成的2D图像可与背景图像合成260以生成最终图像。合成260可包括阿尔法混合。阿尔法计算240、3D重建250和合成260中的至少一个可由3D多边形网格渲染装置100执行。3D多边形网格渲染装置100可获得多个捕获图像，并对获得的多个捕获图像进行阿尔法计算以生成包括阿尔法通道的多视点图像。3D多边形网格渲染装置100可获得多个捕获图像并对获得的多个捕获图像进行3D重建以生成3D多边形网格。3D多边形网格渲染装置100可获得背景图像并通过将对象的2D图像合成到获得的背景图像中来生成最终图像。3D多边形网格渲染装置100可通过将对象的2D图像阿尔法混合到背景图像中来生成最终图像。

图5为示出其中根据本公开一实施例的3D多边形网格渲染装置选择一个或更多个的纹理图像的示例的图。参照图5，3D多边形网格渲染装置100可在与3D多边形网格220有关的多个多视点图像210-1至210-6中选择其中捕获相机的位置靠近渲染相机的位置510的两个图像210-4和210-5作纹理图像。如上所述，3D多边形网格渲染装置100可通过使用在接近渲染相机的位置的位置中捕获的图像作纹理图像来获得接近对象的实际外观的2D图像。

3D多边形网格渲染装置100可使用所选择的纹理图像来渲染整个3D多边形网格或渲染多边形网格的一部分(例如，一个顶点(vertex)或一个多边形)。例如，对于每个顶点，3D多边形网格渲染装置100可选择一个或更多个纹理图像以渲染对应的顶点。3D多边形网格渲染装置100可选择一个或更多个纹理图像来渲染包括多个顶点或多个多边形的3D多边形网格的一部分。

3D多边形网格渲染装置100可选择用于渲染3D多边形网格的第一点的一个或更多个第一纹理图像，并且选择用于渲染3D多边形网格的第二点的一个或更多个第二纹理图像。在此，第一点和第二点可以是3D多边形网格表面上的点。第一点和第二点可以是3D多边形网格的顶点。第一点和第二点可以是显示在2D图像上的点。3D多边形网格渲染装置100可基于3D多边形网格的第一点的位置、渲染相机位置以及多个多视点图像的捕获相机位置来选择多个多视点图像中的一个或更多个作一个或更多个第一纹理图像，并基于所选择的一个或更多个第一纹理图像将第一点渲染到2D图像中，并且可基于3D多边形网格的第二点的位置、渲染相机位置以及多个多视点图像的捕获相机位置来选择多个多视点图像中的一个或更多个作一个或更多个第二纹理图像，并基于选择的一个或更多个第二纹理图像将第二点渲染到2D图像中。

3D多边形网格渲染装置100可基于相对于第一点的位置的渲染相机位置和相对于第一点的位置的多个多视点图像的捕获相机位置选择多个多视点图像中的一个或更多个作一个或更多个第一纹理图像，并且可基于相对于第二点的位置的渲染相机位置和相对于第二点的位置的多个多视点图像的捕获相机位置选择多个多视点图像中的一个或更多个作一个或更多个第二纹理图像。在此，相对于第一点的位置的渲染相机位置可被称为基于第一点的位置的渲染相机位置矢量。相对于第一点的位置的捕捉相机位置可被称为相对于第一点的位置的捕捉相机位置矢量。这同样适用于第二点。图6为用于说明捕获相机位置矢量和渲染相机位置矢量的图。参照图6，第一点620是3D多边形网格220的多个顶点之一，从第一点620朝向捕获相机位置610的矢量630是基于第一点620的捕获相机位置矢量，并且从第一点620朝向渲染相机位置510的矢量640是基于第一点620的渲染相机位置矢量。

3D多边形网格渲染装置100可从多个多视点图像中选择其中捕获相机的位置最接近渲染相机的位置的k个图像作纹理图像。在此，k可以是，例如，1、3或8。3D多边形网格渲染装置100可从多个多视点图像中选择多个图像作纹理图像。当使用多个纹理图像时，可在渲染相机的位置移动时获得自然的动画效果而没有断开的感觉。3D多边形网格渲染装置100可从多个多视点图像中选择其中捕获相机的位置在相对于渲染相机的位置的预定范围内的图像作纹理图像。3D多边形网格渲染装置100可从多个多视点图像中选择其中捕获相机位置相对于对象的中心在从渲染相机位置的预定角度内的图像作纹理图像。3D多边形网格渲染装置100可从多个多视点图像中选择其中捕获相机位置基于对象的特定位置(例如：要渲染的点)在从渲染相机位置的预定角度内的图像作纹理图像。

3D多边形网格渲染装置100可对于多个多视点图像中的每一个确定基于渲染相机位置的加权值，并基于确定的加权值选择一个或更多个纹理图像。3D多边形网格渲染装置100可基于渲染相机位置和多个多视点图像的捕获相机位置来确定多个多视点图像中的每一个的加权值，并且基于确定的加权值选择多个多视点图像中的一个或更多个作一个或更多个纹理图像。在一实施例中，3D多边形网格渲染装置100可将该多视点图像的加权值确定为随着其捕获相机位置越接近渲染相机位置而越高。

3D多边形网格渲染装置100可基于相对于3D多边形网格的第一点的位置的渲染相机位置和相对于第一点的多个多视点图像的捕获相机位置来确定加权值。这里，第一点可以是3D多边形网格的中心或对象的中心。第一点可以是3D多边形网格的顶点。第一点可以是要渲染为2D图像的点。3D多边形网格渲染装置100可确定加权值，以使得基于3D多边形网格的第一点的位置的多个多视点图像的捕获相机位置矢量的加权值的加权和与基于第一点的位置的渲染相机位置矢量之间的误差最小化。3D多边形网格渲染装置100可通过以下式确定加权值。

其中，W_i为第i个多视点图像的加权值，C_i为基于第一点位置的第i个多视点图像的捕获相机位置矢量，V为基于第一点位置的渲染相机位置矢量，且N为多视点图像的数量。

3D多边形网格渲染装置100可从多个多视点图像中选择其中加权值等于或大于预定阈值的多视点图像作纹理图像。3D多边形网格渲染装置100可选择一个或更多个纹理图像，使得所选择的纹理图像的加权值的加权和等于或大于预定阈值。3D多边形网格渲染装置100可选择其中加权值不是0的图像作纹理图像。从多个多视点图像中选择纹理图像可包括将多个多视点图像中的一部分的加权值确定为0。稍后将看到，如果确定多视点图像的加权值为0时，该多视点图像可不用于2D渲染。当所选择的纹理图像的加权值的总和不是1时，3D多边形网格渲染装置100可进行归一化(normalization)以使得加权值的总和变为1。

3D多边形网格渲染装置100可使用确定的加权值来渲染整个3D多边形网格或渲染多边形网格的一部分(例如，一个顶点)。例如，对于每个顶点，3D多边形网格渲染装置100可确定用于渲染该顶点的加权值。

3D多边形网格渲染装置100可选择用于渲染3D多边形网格的第一点的一个或更多个第一加权值，并选择用于渲染3D多边形网格的第二点的一个或更多个第二加权值。在此，第一点和第二点可以是3D多边形网格表面上的点。第一点和第二点可以是3D多边形网格的顶点。第一点和第二点可以是显示在2D图像上的点。3D多边形网格渲染装置100可基于第一点的位置、渲染相机位置和多个多视点图像的捕获相机位置来确定多个多视点图像中的每一个的第一加权值并基于确定的第一加权值来选择多个多视点图像中的一个或更多个作一个或更多个第一纹理图像，且基于第二点的位置、渲染相机位置和多个多视点图像的捕获相机位置来确定多个多视点图像中的每一个的第二加权值并基于确定的第二加权值来选择多个多视点图像中的一个或更多个作一个或更多个第二纹理图像。3D多边形网格渲染装置100可基于选择的一个或更多个第一纹理图像将第一点渲染到2D图像中，并基于选择的一个或更多个第二纹理图像将第二点渲染到2D图像中。

3D多边形网格渲染装置100可基于相对于第一点的位置的渲染相机位置以及相对于第一点的位置的多个多视点图像的捕获相机位置来确定第一加权值，并基于相对于第二点的位置的渲染相机位置和相对于第二点的位置的多个多视点图像的捕获相机位置来确定第二加权值。3D多边形网格渲染装置100可确定第一加权值，以使得基于第一点的位置的多个多视点图像的捕获相机位置矢量的第一加权值的加权和与基于第一点的位置渲染相机位置矢量之间的误差最小化，并可确定第二加权值，以使得基于第二点的位置的多个多视点图像的捕获相机位置矢量的第二加权值的加权和与基于第二点的位置渲染相机位置矢量之间的误差最小化。3D多边形网格渲染装置100可使用式(1)来确定第一加权值和第二加权值。

图7为用于说明通过基于由根据本公开一实施例的3D多边形网格渲染装置100基于所选择的一个或更多个纹理图像将3D多边形网格渲染到2D图像中的方法的图。参照图7，3D多边形网格渲染装置100可将3D多边形网格220的第一点720重新投影(reprojection)到一个或更多个纹理图像210中的每一个，从而可确定纹理图像上与第一点720对应的点710。为了便于说明，将纹理图像中的点称为纹理点。在此，第一点可以是3D多边形网格表面上的点。第一点可以是3D多边形网格的顶点。第一点可以是要渲染到2D图像中的点。第一点可以是显示在2D图像上的点。确定纹理点可以是确定纹理点在纹理图像上的位置。确定纹理点可以是确定纹理图像上纹理点的u、v坐标值。

3D多边形网格渲染装置100可基于所确定的一个或更多个纹理点710的颜色来确定2D图像230上与第一点720对应的点730的颜色。为了便于说明，2D图像中的点将称为渲染点。3D多边形网格渲染装置100将3D多边形网格220的第一点720重新投影到一个或更多个纹理图像210中的每一个，从而可确定一个或更多个纹理图像上与第一点720对应的一个或更多个第一纹理点710，并基于一个或更多个第一纹理点710的颜色来确定2D图像230上与第一点720对应的第一渲染点730的颜色。例如，3D多边形网格渲染装置100可将第一纹理点的每个红绿蓝(RGB)值的平均值确定为第一渲染点的每个RGB值。

3D多边形网格渲染装置100可基于一个或更多个第一纹理点的阿尔法值来确定第一渲染点的阿尔法值。例如，3D多边形网格渲染装置100可将第一纹理点的阿尔法值的平均值确定为第一渲染点的阿尔法值。

3D多边形网格渲染装置100可获得在通过基于多个捕获图像的3D重建而生成3D多边形网格的过程中确定的多个相机参数，并通过使用获得的多个相机参数来进行重新投影。

3D多边形网格渲染装置100可使用纹理图像的加权值来确定渲染点的颜色。在一实施例中，3D多边形网格渲染装置100可将该纹理图像的加权值确定为随着其捕获相机位置越接近渲染相机位置而越高。3D多边形网格渲染装置100可基于渲染相机位置和一个或更多个纹理图像的捕获相机位置来确定一个或更多个纹理图像中的每一个的加权值，并基于确定的加权值和一个或更多个第一纹理点的颜色来确定第一渲染点的颜色。例如，3D多边形网格渲染装置100可使用确定的加权值将第一纹理点的每个RGB值的加权和确定为第一渲染点的每个RGB值。此时，当纹理图像的加权和不是1时，3D多边形网格渲染装置100可进行归一化以使得加权和变为1。3D多边形网格渲染装置100可通过以下式确定第一渲染点的颜色。

其中，W'_i为第i个纹理图像的加权值，TextureImage_i(u,v)为第i个纹理图像上的坐标u、v处的纹理点的颜色，且Rendering color为该渲染点的颜色，且M为纹理图像的数量。M可与式(1)中的N相同或不同。W'_i可与式(1)中的W_i相同或不同。上述式可应用于每个红绿蓝阿尔法(Red，Green，Blue，Alpha：RGBA)通道。

3D多边形网格渲染装置100可基于所确定加权值和一个或更多个第一纹理点的的阿尔法值来确定第一渲染点的阿尔法值。例如，3D多边形网格渲染装置100可通过使用确定的加权值将第一纹理点的阿尔法值的加权和确定为第一渲染点的阿尔法值。

3D多边形网格渲染装置100可在从多视点图像中选择一个或更多个纹理图像之后确定选择的一个或更多个纹理图像的加权值，或在确定所有多视点图像的加权值之后从多个多视点图像中选择一个或更多个纹理图像。可使用上述方法来确定所有多视点图像的加权值，并且可以以类似的方式进行确定选择的一个或更多个纹理图像的加权值的方法。其中加权值为0的图像可不用于2D渲染。

3D多边形网格渲染装置100可基于根据基于3D多边形网格的第一点的位置的一个或更多个纹理图像的捕获相机位置矢量的加权值的加权和与基于第一点的位置的渲染相机位置矢量之间的误差来确定加权值。3D多边形网格渲染装置100可确定加权值以使得该误差最小化。3D多边形网格渲染装置100可通过以下式确定加权值。

其中，W_i为第i个纹理图像的加权值，C'_i为基于第一点位置的第i个纹理图像的捕获相机位置矢量，V为基于第一点位置的渲染相机位置矢量，且M为纹理图像的数量。

3D多边形网格渲染装置100确定多个多视点图像的加权值，以使得基于第一点的位置的多个多视点图像的捕获相机位置矢量的加权值的加权和与基于第一点的位置的渲染相机位置矢量之间的误差最小化，从而可确定纹理图像的加权值。3D多边形网格渲染装置100通过使用式(1)确定多视点图像的加权值，从而可确定纹理图像的加权值。

3D多边形网格渲染装置100可使用确定的加权值来渲染整个3D多边形网格或渲染多边形网格的一部分(例如，一个顶点)。例如，对于每个顶点，3D多边形网格渲染装置100可确定用于确定2D图像上与该顶点对应的渲染点的颜色的加权值。

3D多边形网格渲染装置100可选择用于渲染3D多边形网格的第一点的一个或更多个第一加权值，并选择用于渲染3D多边形网格的第二点的一个或更多个第二加权值。3D多边形网格渲染装置100可基于第一点的位置、渲染相机位置和一个或更多个纹理图像的捕获相机位置来确定一个或更多个纹理图像中的每一个的第一加权值，并基于第一加权值和一个或更多个第一纹理点的颜色来确定第一渲染点的颜色，且将第二点重新投影到一个或更多个纹理图像中的每一个中，从而可确定一个或更多个纹理图像上与第二点对应的一个或更多个第二纹理点，并基于第二点的位置、渲染相机位置和一个或更多个纹理图像的捕获相机位置来确定一个或更多个纹理图像中的每一个的第二加权值，且基于第二加权值和一个或更多个第二纹理点的颜色确定2D图像上与第二点对应的第二渲染点的颜色。

3D多边形网格渲染装置100可基于相对于第一点的位置的渲染相机位置和相对于第一点的位置的一个或更多个纹理图像的捕获相机位置来确定第一加权值，并基于相对于第二点的位置的渲染相机位置和相对于第二点的位置的一个或更多个纹理图像的捕获相机位置来确定第二加权值。

3D多边形网格渲染装置100可根据基于第一点的位置的一个或更多个纹理图像的捕获相机位置矢量的第一加权值的加权和与基于第一点的位置的渲染相机位置矢量之间的误差来确定第一加权值，并根据基于第二点的位置的一个或更多个纹理图像的捕获相机位置矢量的第二加权值的加权和与基于第二点的位置的渲染相机位置矢量之间的误差来确定第二加权值。3D多边形网格渲染装置100可使用式(2)来确定第一加权值和第二加权值。3D多边形网格渲染装置100可通过使用式(1)确定相对于第一点和第二点的多视点图像的加权值，从而可确定相对于第一点的纹理图像的第一加权值和相对于第二点的纹理图像的第二加权值。

图8为示出由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像的图。图8的左侧图为根据本公开一实施例通过在没有纹理图像的情况下渲染3D多边形网格而生成的2D图像。图8的中间图为根据本公开一实施例在不使用阿尔法值的情况下基于纹理图像渲染3D多边形网格而生成的2D图像。图8的右侧图为根据本公开一实施例在使用阿尔法值的情况下基于纹理图像渲染3D多边形网格而生成的2D图像。从图8中可以看出，当使用阿尔法值时，可以像现实一样细腻地表达诸如对象边缘处的头发轮廓等的细节。由于现有的3D多边形网格渲染方法使用多边形展开(unfolded)的2D纹理映射，纹理图像不是从特定方向注视的图像，因此无法使用阿尔法值，但是，因为根据本公开一实施例的3D多边形网格渲染方法基于渲染相机位置选择纹理图像，并基于选择的纹理图像的颜色确定2D图像的颜色，因此可使用阿尔法值，从而可细腻地表达图像的轮廓细节。

图9至图11为比较通过根据本公开一实施例的3D多边形网格渲染方法生成的2D图像和通过现有的3D多边形网格渲染方法生成的2D图像的图。在图9至图11的每一个中，左侧图为由根据本公开一实施例的3D多边形网格渲染方法生成的对象的2D图像，右侧图为由现有的3D多边形网格渲染方法生成的对象的2D图像。

参照图9，可以看出，由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像比由现有的方法生成的图像具有更细腻的轮廓细节(例如，头发)且与实际对象相似。另外，可以看出，相比于由现有的方法生成的图像，由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像中的照明(lighting)效果表现得更加清晰。根据注视对象的位置，即捕获相机的位置，照明效果看起来会有所不同，但是，现有的3D多边形网格渲染方法使在不同位置捕获到的捕获图像的颜色平均以生成3D多边形网格展开的2D纹理图，因此根据捕获相机的位置的照明效果消失，并且即使对于任何渲染相机位置生成3D图像，并且对于任何渲染相机位置生成3D图像，都应用了相同的纹理，因此无法根据渲染相机位置显示照明效果。相反，根据本公开一实施例的3D多边形网格渲染方法，由于根据渲染相机位置从在不同位置捕获的捕获图像中选择一些图像用作纹理图像，因此可按原样表达从渲染相机位置注视的照明效果。在图10中，同样地可以看出，相比于由现有的方法生成的图像，由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像的轮廓细节和照明效果更优异。

参照图11，不同于由现有的方法生成的图像，可以看出在由根据本公开一实施例的3D多边形网格渲染方法生成的2D图像中的人的额头和脸颊等上清楚地表现了照明效果。另外，在现有的3D多边形网格渲染方法中，由于使从不同位置捕获的所有捕获图像的颜色平均以生成多边形展开的2D纹理图，因此图像的清晰度显着降低，但是，在根据本公开一实施例的3D多边形网格渲染方法中，由于仅使用少量(例如，1、3或8)的图像的颜色，因此图像的清晰度非常高。此外，通过应用根据渲染相机的位置的加权值而无需平均使用的纹理图像的颜色，可进一步提高图像的清晰度。

根据本公开一实施例的3D多边形网格渲染方法，由于纹理的质量非常好，即使使用少量的多边形，结果的质量也很高。因此，根据本公开一实施例的3D多边形网格渲染方法，通过使用包括少量的多边形的3D多边形网格，可在减小数据大小和提高运算速度的同时获得高质量的2D图像。在根据本公开一实施例的3D多边形网格渲染方法中，可使用在不同位置捕获的多个捕获图像对人进行3D建模，以渲染几乎与实际人相同的2D图像，并将有可能生成与实际人一样做表情和说话的虚拟形象。

本公开的实施例可实现为计算机可读记录介质上的计算机可执行代码。计算机可读记录介质包括磁介质、光介质、只读存储器(Read-Only Memory：ROM)、随机存取存储器(Random Access Memory：RAM)等所有记录介质。计算机可读记录介质可以以非暂时性(non-transitory)存储介质的形式提供。在此，“非暂时性存储介质”是一种实际(tangible)装置，仅表示它不包括信号(signal)(例如，电磁波)，该术语不区分将数据半永久性地存储在存储介质中的情况和临时存储数据的情况。例如，“非暂时性存储介质”可包括临时存储数据的缓冲器。

根据一实施例，根据本文件中公开的各种实施例的方法可以被包括并提供在计算机程序产品(computer program product)中。计算机程序产品可以作为商品在买卖双方之间进行交易。计算机程序产品在计算机可读记录介质上存储和分发，或可通过应用商店(例如，Play Store^TM)或在两个用户装置(例如，智能手机)之间直接在线分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品(例如，可下载的应用程序)的至少一部分临时存储或临时生成在制造商的服务器、应用商店的服务器或诸如中继服务器的存储器的计算机可读记录介质中。

本公开一实施例通过提供一种使用多视点纹理的3D多边形网格渲染方法和装置，从而可获得在清晰度、照明效果和轮廓细节方面比现有的方法更接近实像的图像。

到目前为止，对于本公开，已经详细描述了附图中所示的优选实施例。这些实施例不旨在限制本公开，而仅是示例性的，并且应该被视为说明性的而非限制性的观点。本公开所属技术领域的普通技术人员将理解，在不改变本公开的技术思想或基本的特征的情况下，可容易地将这些实施例修改为其他具体形式。例如，描述为单一类型的每个组件可以以分布式方式实施，同样描述为分布式的组件也可以以组合形式实施。包括权利要求书和附图的本公开的所有特征和/或操作可以以任何组合结合，除非特征和/或操作中的至少一些彼此背离。尽管在本说明书中使用了特定术语，但该特定术语仅用于描述本公开的概念的目的，而不用于限制权利要求书中所述的本公开的范围。

本公开真正的技术保护范围应以所附权利要求书的技术思想为准，而不应以上述说明为准，凡因权利要求书的含义和范围以及其均等概念而衍生出的所有变化或修改应解释为包括在本公开的范围中。应当理解，均等物包括当前已知的均等物以及未来开发的均等物，即，无论结构如何，执行相同功能的所公开的所有元件。

Claims (20)

1.一种三维3D多边形网格渲染装置，包括：

处理器；以及

存储指令的存储器，

其中，所述处理器通过执行所述指令来：

获得多个多视点图像，其与通过在彼此不同的捕获相机位置捕获对象而获得的多个捕获图像对应；

获得相对于所述对象的3D多边形网格；

基于渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个纹理图像；以及

基于所选择的一个或更多个纹理图像将所述3D多边形网格渲染到二维2D图像中。

2.根据权利要求1所述的3D多边形网格渲染装置，其中，

所述多个多视点图像和所述2D图像分别包括阿尔法通道，

所述处理器基于所选择的一个或更多个纹理图像的阿尔法值来确定所述2D图像的阿尔法值。

3.根据权利要求1所述的3D多边形网格渲染装置，其中，

所述处理器基于所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像中的每一个的加权值，并且

基于所述加权值来选择所述多个多视点图像中的一个或更多个作所述一个或更多个纹理图像。

4.根据权利要求3所述的3D多边形网格渲染装置，其中，

所述处理器确定所述加权值，以使得基于所述3D多边形网格的第一点的位置的所述多个多视点图像的捕获相机位置矢量的所述加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差最小化。

5.根据权利要求1所述的3D多边形网格渲染装置，其中，

所述处理器基于所述3D多边形网格的第一点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个第一纹理图像，

基于所选择的一个或更多个第一纹理图像将所述第一点渲染到所述2D图像中，

基于所述3D多边形网格的第二点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个第二纹理图像，

基于所选择的一个或更多个第二纹理图像将所述第二点渲染到所述2D图像中。

6.根据权利要求5所述的3D多边形网格渲染装置，其中，

所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作所述一个或更多个第一纹理图像，并且

基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作所述一个或更多个第二纹理图像。

7.根据权利要求5所述的3D多边形网格渲染装置，其中，

所述处理器基于所述第一点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像中的每一个的第一加权值，

基于所述第一加权值选择所述多个多视点图像中的一个或更多个作所述一个或更多个第一纹理图像，

基于所述第二点的位置、所述渲染相机位置和所述多个多视点图像的捕获相机位置来确定所述多个多视点图像中的每一个的第二加权值，

基于所述第二加权值选择所述多个多视点图像中的一个或更多个作所述一个或更多个第二纹理图像。

8.根据权利要求7所述的3D多边形网格渲染装置，其中，

所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述多个多视点图像的捕获相机位置确定所述第一加权值，并且

基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述多个多视点图像的捕获相机位置确定所述第二加权值。

9.根据权利要求8所述的3D多边形网格渲染装置，其中，

所述处理器确定所述第一加权值，以使得基于所述第一点的位置的所述多个多视点图像的捕获相机位置矢量的所述第一加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差最小化，并且

确定所述第二加权值，以使得基于所述第二点的位置的所述多个多视点图像的捕获相机位置矢量的所述第二加权值的加权和与基于所述第二点的位置的渲染相机位置矢量之间的误差最小化。

10.根据权利要求1所述的3D多边形网格渲染装置，其中，

所述处理器通过将所述3D多边形网格的第一点重新投影到所述一个或更多个纹理图像中的每一个中来确定所述一个或更多个纹理图像上与所述第一点对应的一个或更多个第一纹理点，并且

基于所述一个或更多个第一纹理点确定所述2D图像上与所述第一点对应的第一渲染点的颜色。

11.根据权利要求10所述的3D多边形网格渲染装置，其中，

所述处理器获得在通过基于所述多个捕获图像的3D重建生成3D多边形网格过程中确定的多个相机参数，并且使用所述多个相机参数执行所述重新投影。

12.根据权利要求10所述的3D多边形网格渲染装置，其中，

所述多个多视点图像和所述2D图像分别包括阿尔法通道，

所述处理器基于所述一个或更多个第一纹理点确定所述第一渲染点的阿尔法值。

13.根据权利要求10所述的3D多边形网格渲染装置，其中，

所述处理器基于所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置来确定所述一个或更多个纹理图像中的每一个的加权值，并且

基于所述加权值和所述一个或更多个第一纹理点的颜色来确定所述第一渲染点的颜色。

14.根据权利要求13所述的3D多边形网格渲染装置，其中，

所述多个多视点图像和所述2D图像分别包括阿尔法通道，

所述处理器基于所述加权值和所述一个或更多个第一纹理点的阿尔法值来确定所述第一渲染点的阿尔法值。

15.根据权利要求13所述的3D多边形网格渲染装置，其中，

所述处理器根据基于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述加权值。

16.根据权利要求13所述的3D多边形网格渲染装置，其中

所述处理器基于所述第一点的位置、所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置来确定所述一个或更多个纹理图像中的每一个的第一加权值，

基于所述第一加权值和所述一个或更多个第一纹理点的颜色确定所述第一渲染点的颜色，

通过将所述3D多边形网格的第二点重新投影到所述一个或更多个纹理图像中的每一个中来确定所述一个或更多个纹理图像上与所述第二点对应的一个或更多个第二纹理点，

基于所述第二点的位置、所述渲染相机位置和所述一个或更多个纹理图像的捕获相机位置来确定所述一个或更多个纹理图像中的每一个的第二加权值，

基于所述第二加权值和所述一个或更多个第二纹理点的颜色来确定所述2D图像上与所述第二点对应的第二渲染点的颜色。

17.根据权利要求16所述的3D多边形网格渲染装置，其中

所述处理器基于相对于所述第一点的位置的所述渲染相机位置和相对于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置来确定所述第一加权值，

基于相对于所述第二点的位置的所述渲染相机位置和相对于所述第二点的位置的所述一个或更多个纹理图像的捕获相机位置来确定所述第二加权值。

18.根据权利要求17所述的3D多边形网格渲染装置，其中

所述处理器根据基于所述第一点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述第一加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述第一加权值，并且

根据基于所述第二点的位置的所述一个或更多个纹理图像的捕获相机位置矢量的所述第二加权值的加权和与基于所述第一点的位置的渲染相机位置矢量之间的误差来确定所述第二加权值。

19.一种三维3D多边形网格渲染装置的操作方法，所述方法包括：获得多个多视点图像，其与通过在彼此不同的捕获相机位置捕获对象而获得的多个捕获图像对应；

获得相对于所述对象的3D多边形网格；

基于渲染相机位置和所述多个多视点图像的捕获相机位置来选择所述多个多视点图像中的一个或更多个作一个或更多个纹理图像；以及

基于所选择的一个或更多个纹理图像将所述3D多边形网格渲染到二维2D图像中。

20.一种计算机可读记录介质，其中记录有用于在计算机上执行根据权利要求19所述的方法的程序。

Images